Hadoop调试信息的输出办法

list1234

　　
Hadoop
调试是比较麻烦的事情，考虑到只能通过reduce输出数据，我们可以把调试信息输出到reduce中，然后固定到某个文件中。<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

我们可以把所有的调试数据都是用key=“Debug”，调试信息作为value=“debugInfo”。
（1）在map中直接使用
output.collect(new Text("debug"), new Text("调试信息"));
（2）在reduce中判断
　　

• if(key.equals("debug"))
  
• {
  
• while(values.hasNext())
  
• {
  
• Stringline=values.next().toString();
  
• output.collect(newText("debug"),newText(line));
  
• }
  
• }
  

(3)
增加类ReportOutFormat

• publicstaticclassReportOutFormat<KextendsWritableComparable<?>,VextendsWritable>
  
• extendsMultipleOutputFormat<K,V>{
  
• 
  
• privateTextOutputFormat<K,V>theTextOutputFormat=null;
  
• 
  
• @Override
  
• protectedRecordWriter<K,V>getBaseRecordWriter(FileSystemfs,
  
• JobConfjob,Stringname,Progressablearg3)throwsIOException{
  
• if(theTextOutputFormat==null){
  
• theTextOutputFormat=newTextOutputFormat<K,V>();
  
• }
  
• returntheTextOutputFormat.getRecordWriter(fs,job,name,arg3);
  
• }
  
• @Override
  
• protectedStringgenerateFileNameForKeyValue(Kkey,Vvalue,Stringname){
  
• if(key.equals("debug"))///注意这个判断
  
• return"debug"+name;
  
• returnname;
  
• }
  
• }
  

（
4）在configJob里面添加代码

• protectedvoidconfigJob(JobConfconf)
  
• {
  
• conf.setMapOutputKeyClass(Text.class);
  
• conf.setMapOutputValueClass(Text.class);
  
• conf.setOutputKeyClass(Text.class);
  
• conf.setOutputValueClass(Text.class);
  
• conf.setOutputFormat(ReportOutFormat.class);//增加该行
  
• }
  

这样在输出文件中我们就可以得到调试信息了。这个办法有点曲线救国的意思，不知道有没有其他方便的办法。