hadoop实现简单的倒排索引

fox111

　　最近在学习hadoop编程，在大概理解了wordcount之后又接触了一个叫倒排索引的东东，所以就用它来练练手吧！
     
　　       首先介绍一下什么是倒牌索引！（以下请参考各种百科）.
       倒排索引，索引对象是文档或者文档集合中的单词等，用来存储这些单词在一个文档或者一组文档中的存储位置，是对文档或者文档集合的一种最常用的索引机制。由于不是根据文档所包含的内容，而是进行相反的操作，因而称为倒排索引！
　　
      通常情况下倒排索引由一个单词（或词组）以及相关文档的列表组成，文档列表中的文档或者标识文档的ID，或者是指定文档所在位置的URI。在这里我实现了这样一种形式的倒排索引。
     首先是单词在某个目录下出现的总的次数，空格之后是单词，再空格之后是它的文档列表以及在每个文档种出现的次数。
　　
     总的次数      文档1 次数 文档2  次数 文档3   次数。。。。。。
　　
      所采取的策略依然是wordcount，我先对目录下每个文档进行wordcount，但是map输出的key是单词+文件标识也就是文件名，value依然是单词one，reduce阶段在统计。
　　    当然之前我在主目录下新建了一个目录，然后在里面新建了几个文本文件，随意写入一些单词。
　　
      看代码：

public class InvertedIndexMapper extends
Mapper<Object, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
private FileSplit split;
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
split=(FileSplit)context.getInputSplit();
StringTokenizer itr = new StringTokenizer(value.toString(),
"\t\r\n\f., !");
while (itr.hasMoreElements()) {
word.set(itr.nextToken());
// 输出;
context.write(new Text(word.toString()+"@"+split.getPath().toString()), one);
}
}
}
public class InvertedIndexReducer extends
Reducer<Text, IntWritable, Text, Text> {
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum=0;
//得到文件名;
for(IntWritable val:values){
sum+=val.get();
}
Text word=new Text((key.toString()).substring(0,key.toString().indexOf("@")));
context.write(word, new Text(key.toString().substring(key.toString().indexOf("@")+1)+" "+sum));
}
}

　　
       之后再进行一个mapreduce将所有的单词组成的文档构成一个列表。

public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
String[] strs=value.toString().split("\t");
context.write(new Text(strs[0]),new Text(strs[1]));

}
}
public class ListReducer extends Reducer<Text,Text,Text,Text> {
public void reduce(Text key,Iterable<Text>values,Context context)throws IOException,InterruptedException{
String res=new String();
//总的次数;
int sum=0;
//将所有的结果输出就可以了;
for(Text val:values){
//取得次数的值;
sum+=Integer.parseInt(val.toString().substring(val.toString().lastIndexOf(" ")+1));
res+=val+"  ";
}
context.write(new Text(String.valueOf(sum)), new Text(key.toString()+" "+res));
}
}

　　
      当然我们知道搜索引擎会对于每个单词出现的次数进行排序，但是对于hadoop的排序机制还不是太了解，所以就利用它默认的排序方式做了一个比较坑爹的排序maprduce。
　　


public class RankMapper extends Mapper<Object, Text, Text, Text> {
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
String[] line = value.toString().split("\t");
context.write(new Text(line[0]),new Text(line[1]));

}
}
public class RankReducer extends Reducer<Text,Text,Text,Text> {
public void reduce(Text key,Iterable<Text>values,Context context)throws IOException,InterruptedException{
//将所有的结果输出就可以了;
for(Text val:values){
context.write(key, val);
}
}
}
好了就这些，如果后期当然还有很多值得优化的地方，随着学习的深入，还会继续优化！