Storm是一个分布式流处理框架。

入门

Word count作为分布式的"hello world"， 这里由word count引出Storm的topology概念。

问题

有一系列DNS查询，需要统计被查询最多次的域名

从函数式编程的角度来讲，可以把算法归纳为下图

即为
h ( g ( f (data) ) )

转换为Storm topology

概念

1. Topology：拓扑结构

2. Spout：spout作为整个拓扑的数据源，一个topology中可能存在多个数据源。上图中即为提供DNS查询的数据源

3. Bolt： bolt是topology中的基本数据处理单元。上图中，即为f,g,h三个函数。

4. Tuple: 基本数据单元。例 （1.1.1.1， "foo.com"）

5. Stream: 无止境一串的tuple流 ... (2.2.2.2, “bar.net”)， (3.3.3.3, “foo.com”)， (4.4.4.4, “foo.com”) ...

Stream Grouping 常用分组方式

1. Shuffle grouping
   随机分配tuple给后续节点

2. Fields grouping
   根据定义的fields字段，将相同key值的字段分配给同一后续节点。常用于统计同一key值的数量

3. All grouping

Storm和Hadoop的区别

Hadoop主要用来处理batch（批处理）数据， Storm主要用来处理Stream（流式）数据。 主要区别如下图所示：

big-data

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！