2015 年 8月 3 日随笔档案 - duanxz

2015年8月3日

摘要： Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。Transactional Topo... 阅读全文

posted @ 2015-08-03 22:58 duanxz 阅读(384) 评论(0) 推荐(0)

storm入门教程第四章消息的可靠处理【转】

摘要： 4.1 简介 storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。 4.2 理解消息被完整处理一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此阅读全文

posted @ 2015-08-03 22:57 duanxz 阅读(380) 评论(0) 推荐(0)

Storm入门教程第三章Storm集群安装部署步骤、storm开发环境

摘要：一. Storm集群组件 Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态阅读全文

posted @ 2015-08-03 22:54 duanxz 阅读(1188) 评论(0) 推荐(0)

Storm 01之 Storm基本概念及第一个demo

摘要： 2.1 Storm基本概念在运行一个Storm任务之前，需要了解一些概念： supervisor:英[ˈsu:pəvaɪzə(r)]监督者，管理者; 镇长; Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行的是拓扑（top 阅读全文

posted @ 2015-08-03 22:38 duanxz 阅读(857) 评论(0) 推荐(0)

storm入门教程第一章前言[转]

摘要： 1.1 实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转阅读全文

posted @ 2015-08-03 22:11 duanxz 阅读(562) 评论(0) 推荐(0)