MapReduce
首先我们有一个数据集，关于天气的，然后它的每一条记录是这样的：
|
|
当然以上数据是经过处理之后的，一开始它长这样：
|
|
Hmmm….
这个天气数据集按照气象站编号-年份的形式来组织的：
|
|
这个原始数据显然用起来不方便，所以按照年份给它聚个类，用了如下方法：
|
|
然后里面用到的ncdc_files以及load_ncdc_map.sh这两个文件是这样的：
|
|
|
|
嗯…顺便说一句，这个文件是存在AWS上的，所以想用的话要有一个AWS账号，想要有个账号呢，你得先有个可以支付美刀的信用卡。
Hmmmmm…
其实作者给的sample data也挺好的我觉得，在这里.
那么我们的问题就是说，找出每一年的最高的温度。先看看不用Hadoop的实现方法，事实证明我shell脚本还是宝刀未老的。
|
|
结果如下：
|
|
啊嘞，还不错的样子，但是对于大数据速度还是慢了点儿，所以直接上Hadoop看看。
对于以上的问题呢，MapReduce是这样解决的
注意了，上面一行是hadoop的术语，下面呢，其实就是Unix的pipe了，这给我们不用Java来实现提供了可能。
好了下面开始coding了，拿起键盘就是GAN
为了实现我们的任务，我们需要三个java文件，一个mapper，一个reducer。这俩是苦工，还要一个监工。
Mapper
|
|
Reducer
|
|
Job
|
|
然后这么运行：
|
|
但是如果数据量非常大的话，需要在Mapper和Reducer之间传递大量的数据，这个时候可以引入Combiner，它的机理是这样的。假如我有两个mapper，它们的输出结果是这样子的：
|
|
以及这样子的：
|
|
如果没有combiner的话，它们会先变成这样子：
|
|
然后作为reducer的输入，但是如果加入了combiner的话，相当于上面的问题变成了这样
max(0, 20, 10, 25, 15) = max(max(0, 20, 10), max(25, 15)) = max(20, 25) = 25
是不是简单多了。但是注意了，并不是所有的问题都是这样，比如下面这个问题：
mean(0, 20, 10, 25, 15) = 14
mean(mean(0, 20, 10), mean(25, 15)) = mean(10, 20) = 15
所以说要根据具体情况来定，不能直接套用。
好了我们继续combiner的话题，我们怎么把这货加到hadoop的流程中去呢，其实很简单，这样就可以：
|
|
没错，combiner和reducer是一样的。其实仔细想想这也很自然，因为它们俩实际实现的功能是一样的。
Hadoop Streaming
作为一个machine learning专业的，有时候用Java还是感觉挺不爽的，哪有Python啊，Ruby啊这种脚本语言方便嘛。所以hadoop还是很人性地提供了解决方法，就是标题所表示的技术。直接看代码怎么用吧。
Ruby
Map
|
|
Reduce
|
|
然后这样调用：
|
|
是不是很方便？如果要加上combiner的话，更方便了，都不用再写额外的文件：
|
|
注意，以上的-files命令是为了在集群环境下运行时，将脚本复制到各子节点上。
Python
啊，Python大大出场，其实和Ruby没啥区别。
Map
|
|
Reduce
|
|
运行都是一样的，就不多做赘述了。