Hadoop Streaming 实战： c++编写map&reduce程序

wendu

　　1. 输入文件：

姓名 年龄（以'/t’分割）

eg：

张三 15

李四 15

张三 16

张三 15


输出：将姓名和年龄相同的归一，并输出其人数

eg：上述输入，输出为：
　　姓名 年龄 人数（以'/t’分割）

张三 15 2

李四 15 1

张三 16 1


2. map程序：

#include
#include

using namespace std;

int main(int argc, char** argv)
{
    string name,age;

    //读入姓名、年龄
    while(cin >> name >> age)
    {
        //输出姓名、年龄、人数
        cout << name << "/t" << age  << "/t" << "1" << endl;
    }
    return 0;
}



　　编译生成可执行程序：

g++ -o mapper mapper.cpp
　　3. reducer程序：

#include
#include
#include

using namespace std;

int main(int argc, char** argv)
{
    string key, value;
    int num;
   
    //个数统计
    mapint> count_stat;
    mapint>::iterator it_count_stat;
   
    //读入数据并插入map
    while(cin >> key >> value >> num)
    {
        string tmp_key = key + "/t" + value;
   
        //插入数据
        it_count_stat = count_stat.find(tmp_key);
        if(it_count_stat != count_stat.end())
        {
            (it_count_stat->second)++;
        }
        else
        {
            count_stat.insert(make_pair(tmp_key, 1));
        }
    }

    //输出统计结果
    for(it_count_stat = count_stat.begin(); it_count_stat != count_stat.end(); it_count_stat++)
    {
        cout<first<<"/t"<second<

    }    return 0;}



　　

编译生成可执行程序：

g++ -o reducer reducer.cpp
　　4. 测试数据：

张三    15
李四    20
张三    15
张三    16



　　5. 单机测试运行：

$ cat test.txt | ./mapper  | ./reducer
    李四    20    1
    张三    15    2
    张三    16    1



　　6. Hadoop集群运行：

以'/t’作为分隔符，并以前两个字段作为key，reduce任务3个，输入命令：

$ hadoop fs -put test.txt /user/test.txt
$ hadoop streaming -D stream.map.output.field.separator='/t' /
    -D stream.num.map.output.key.fields=2 /
    -input /user/test.txt /
    -output /user/tmp_1324 /
    -mapper ./mapper -reducer ./reducer /
    -file mapper -file reducer /
    -jobconf mapred.reduce.tasks=3 /
    -jobconf mapre.job.name="c++_test"



　　7.查看输出：

$ hadoop fs -cat /user/tmp_1324/part-00000
李四    20      1
张三    16      1
$ hadoop fs -cat /user/part-00001
$ hadoop fs -cat /user/part-00002
张三    15      2