spark 入门及集群环境搭建

xiaowei8782088

　　软件环境: VMware workstation 11.0

　　linux ：CentOS 6.7
　　hadoop-2.7.3
　　jdk-1.0.7_67
　　spark-2.1.0-bin-hadoop2.7/
　　安装虚拟机和jdk就不再此赘述。

　　直接讲解安装hadoop和spark的安装。
　　一。下载hadoop源码包。点击此处下载: http://hadoop.apache.org/
　　1.下载后解压到指定的目录下。
　　tar -zxvf hadoop-2.7.3.tar.gz   -C /usr/hadoop
　　2.解压后进入目录  cd /usr/hadoop/hadoop-2.7.3
　　3.修改配置文件: 进入到cd /hadoop-2.7.3/etc/hadoop下需要修改几个配置文件
　　1> cp etc/hadoop/hadoop-env.sh.template.hadoop-env.sh
　　cp etc/hadoop/hdfs-site.xml.templete  hdfs-site.xml
　　cp etc/hadoop/core-site.templete  core-site.xml
　　cp etc/hadoop/mapred-env.sh.templete  mapred-env.sh
　　cp etc/hadoop/mapred-site.templete  mapred-site.sh
　　cp etc/hadoop/slaves.templete  slaves
　　cp etc/yarn-env.sh.templete  yarn-env.sh
　　cp etc/yarn-site.xml.templete  yarn-site.xml
　　注意: 一般修改系统配置文件时最好做一个备份或者复制后修改，就像这样的。
　　hadoop-env.sh 配置文件的内容
# The java implementation to use.
   export JAVA_HOME=/opt/modules/jdk1.7.0_67/
这是需要修改为自己机器安装的jdk的位置。其他文件内容不需要修改。hdfs-site.xml

        dfs.replication
        2
        
        
        dfs.block.size
        134217728
        
        
        dfs.namenode.name.dir
        /home/hadoopdata/dfs/name
        
        
        dfs.datanode.data.dir
        /home/hadoopdata/dfs/data
        
        
        fs.checkpoint.dir
        /home/hadoopdata/checkpoint/dfs/cname
        
        
        fs.checkpoint.edits.dir
        /home/hadoopdata/checkpoint/dfs/cname
        
        
         dfs.http.address
        master:50070
         
         
           dfs.secondary.http.address
           slave1:50090
         
           
          dfs.webhdfs.enabled
        true
           
         
          dfs.permissions
          true
         
　　3> core-site.xml
　　
　　
　　fs.defaultFS
　　hdfs://master:8020
　　
　　
　　io.file.buffer.size
　　4096
　　
　　
　　hadoop.tmp.dir
　　/opt/modules/hadoop-2.7.3/data/tmp
　　
　　
　　4> mapred-env.sh
export JAVA_HOME=/usr/local/java/jdk1.7.0_67/　　修改为自己电脑的jdk路径。

　　5> mapred-site.xml
　　
　　
　　mapreduce.framework.name
　　yarn
　　true
　　
　　

　　
　　mapreduce.jobhistory.address
　　master:10020
　　
　　

　　
　　mapreduce.jobhistory.webapp.address
　　master:19888
　　
　　
　　mapreduce.job.ubertask.enable
　　true
　　
　　

　　
　　
　　mapred.job.tracker
　　master:9001
　　
　　6> slaves 设置需要几个节点运行
　　master
　　slave1
　　slave2
　　7> yarn-env.sh
　　JAVA=$JAVA_HOME/bin/java   引用jdk的路径
　　8> yarn-site.xml
　　
　　yarn.resourcemanager.hostname
　　salve2
　　
　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　
　　yarn.resourcemanager.address
　　slave2:8032
　　
　　
　　yarn.resourcemanager.scheduler.address
　　slave2:8030
　　
　　
　　yarn.resourcemanager.resource-tracker.address
　　slave2:8031
　　
　　
　　yarn.resourcemanager.admin.address
　　slave2:8033
　　
　　
　　yarn.resourcemanager.webapp.address
　　slave2:8088
　　
　　
　　yarn.log-aggregation-enable
　　true
　　
　　
　　yarn.nodemanager.remote-app-log-dir
　　/opt/modules/hadoop-2.7.3/tmp/logs
　　
　　注意: 修改完配置后，需要将hadoop分发到其他节点。 slave1和slave2.
　　scp -r /usr/hadoop/hadoop-2.7.3  root@slave1:/usr/hadoop
　　scp -r /usr/hadoop/hadoop-2.7.3  root@slave2:/usr/hadoop
　　然后需要修改环境变量文件。可以修改当前用户的 环境变量文件，就是~./bash_rc 或全局变量文件 /etc/profile
　　export  JAVA_HOME=/usr/local/jdk-1.7.0_67
　　export  PATH=:PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
　　保存 :wq;  然后可以把环境变量文件发送给其他节点。
　　二. 格式化namenode节点
　　hadoop namenode -format  会看到一堆输出信息。然后会提示namenode 格式化成功的提示。
　　三。启动集群.
　　可以全部启动，也可以单独 启动。
　　hadoop 安装路径下有个sbin 目录，下是存放的是系统的启动脚本。
　　全部启动: start-all.sh
　　单独启动节点: hadoop-daemon.sh  start namenode/datanode xxx.
　　启动后用jps查看进程。