在Mesos上运行Hadoop

gmdzxx

　　在Mesos上运行Hadoop，需要对代码进行修改。在Mesos-0.9.0中，带有Hadoop-0.20.205.0，并有patch。我们将在Mesos上，运行Hadoop-0.20.205.0。
　　1、部署环境
　　master： blade6
　　slaves： blade10 blade13
　　2、安装hadoop
　　这一步骤需保证服务器联通外网。我们假设Mesos的安装目录是，进入/hadoop目录下，运行./TUTORIAL.sh,一直回车。
　　执行之后，在目录下找到两个文件/protobuf-2.4.1.jar、/src/mesos-0.9.0.jar，然后执行
cp /protobuf-2.4.1.jar/hadoop/hadoop-0.20.205.0　　
cp/src/mesos-0.9.0.jar /hadoop/hadoop-0.20.205.0
　　3、修改配置文件
　　大部分配置文件与hadoop配置相同，可参见《Hadoop部署运行》 http://speakingbaicai.blog.51cto.com/5667326/1221932，区别主要在mapred-site.xml，hadoop-env.sh两个文件。
　　(1) mapred-site.xml
　　
  
　　
    mapred.job.tracker
　　
    blade6:19101
　　
   
　　
   
　　
  
　　
  
　　
   mapred.jobtracker.taskScheduler
　　
   org.apache.hadoop.mapred.MesosScheduler
　　
  
　　
  
　　
   mapred.mesos.master
　　
   blade6:5050
　　
  
　　

　　(2) conf/hadoop-env.sh
exportHADOOP_HOME=/home/wangmin/mesos/mesos-0.9.0/hadoop/hadoop-0.20.205.0/　　
# Google protobuf (necessary for runningthe MesosScheduler).
　　
exportPROTOBUF_JAR=${HADOOP_HOME}/protobuf-2.4.1.jar
　　
# Mesos.
　　
exportMESOS_JAR=${HADOOP_HOME}/mesos-0.9.0.jar
　　
# Native Mesos library.
　　
exportMESOS_NATIVE_LIBRARY=/home/wangmin/mesos/mesos-0.9.0/src/.libs/libmesos.so
　　
# The java implementation to use.  Required.
　　
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
　　
exportJAVA_HOME=/etc/alternatives/java_sdk_1.6.0
　　
# Extra Java CLASSPATH elements.  Optional.
　　
exportHADOOP_CLASSPATH=${HADOOP_HOME}/build/contrib/mesos/classes:${MESOS_JAR}:${PROTOBUF_JAR}
　　
export HADOOP_HOME_WARN_SUPPRESS=TRUE
　　4、启动Hadoop
　　(1) 启动hdfs
bin/start-dfs.sh　　(2) 启动jobtracker（不需要启动tasktracker）
bin/hadoop jobtracker　　之后可以像使用hadoop一样，提交作业