spark 1.5、hadoop 2.7 集群环境搭建

378

core-site.xml文件示例如下：　　
   
　　
            
　　
                    fs.defaultFS
　　
                    hdfs://linux-1:9000
　　
            
　　
            
　　
                    hadoop.tmp.dir
　　
                    file:/home/clusterwork/hadoop-2.7.2/tmp
　　
                    Abase for other temporary directories.
　　
            
　　
   
　　

　　
hdfs-site.xml文件示例如下：
　　
     
　　
            
　　
                    dfs.namenode.secondary.http-address
　　
                    linux-2:50090
　　
            
　　
            
　　
                    dfs.replication
　　
                    2
　　
            
　　
            
　　
                    dfs.namenode.name.dir
　　
                    file:/home/clusterwork/hadoop-2.7.2/tmp/dfs/name
　　
            
　　
            
　　
                    dfs.datanode.data.dir
　　
                    file:/home/clusterwork/hadoop-2.7.2/tmp/dfs/data
　　
            
　　
   
　　

　　
mapred-site.xml文件示例如下(没有这个文件先从mapred-site.xml.template拷贝一份，如果不使用map-reduce不配也可以)：
　　
     
　　
            
　　
                    mapreduce.framework.name
　　
                    yarn
　　
            
　　
            
　　
                    mapreduce.jobhistory.address
　　
                    linux-1:10020
　　
            
　　
            
　　
                    mapreduce.jobhistory.webapp.address
　　
                    linux-1:19888
　　
            
　　
   
　　

　　
yarn-site.xml文件示例如下：
　　
   
　　
            
　　
                    yarn.resourcemanager.hostname
　　
                    linux-1
　　
            
　　
            
　　
                    yarn.nodemanager.aux-services
　　
                    mapreduce_shuffle