iamstar 发表于 2015-7-31 08:04:37

Apache Storm技术实战之1

  欢迎转载,转载请注意出处,徽沪一郎。
  “源码走读系列”从代码层面分析了storm的具体实现,接下来通过具体的实例来说明storm的使用。因为目前storm已经正式迁移到Apache,文章系列也由twitter storm转为apache storm.
  WordCountTopology 使用storm来统计文件中的每个单词的出现次数。
  通过该例子来说明tuple发送时的几个要素


[*]source component   发送源
[*]destination component 接收者
[*]stream 消息通道
[*]tuple    消息本身
  本文涉及到的开发环境搭建可以参考前面的两篇博文。


[*]arch linux简明安装指南
[*]在archlinux上搭建storm cluster

awk实现
  其实对文件中的单词进行统计是Linux下一个很常见的任务,用awk就可以轻松的解决(如果文件不是太大的话),下面是进行word counting的awk脚本,将其保存为名为wordcount.awk文件。
  wordcount.awk



{
for (i = 1; i
页: [1]
查看完整版本: Apache Storm技术实战之1