Hadoop:搭建hadoop集群
[*]操作系统环境准备：
准备几台服务器（我这里是三台虚拟机）：
linux ubuntu 14.04 server x64（下载地址：http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso）
master:192.168.1.200
node1:192.168.1.201
node2:192.168.1.202
备注:我在安装ubuntu虚拟机时，我把账号名和密码都设置为：hadoop，所有虚拟机的账户名密码一致。
[*]为每台虚拟机配置ip及连网:
请参考我的文章：Linux:宿主机通过桥接方式连接的VMware内部Linux14.04虚拟机（静态IP）实现上网方案
[*]为每台虚拟机安装Java&Scala:
备注：因为我后边要集成spark进来所以也就直接把scala安装了。
安装java8在ubuntu14.04上，具体操作请参考我的文章：Linux:Ubuntu 14.04 Server 离线安装Jjava8（及在线安装）
安装scala在ubuntu14.04上，具体操作请参考我的文章：Linux:Ubuntu14.04离线安装scala（在线安装）
[*]为每台虚拟机添加hadoop账户组，并把hadoop账户添加添加到hadoop账户组：
1、怎么添加hadoop用户组，具体操作请参考我的文章：Linux下添加用户及用户组
2、添加完用户组后，修改hadoop用户组权限（赋予hadoop用户组管理员权限）：
$ sudo vim /etc/sudoers
# 在sudoers文件中修改|添加hadoop用户组拥有管理员权限
# Members of the admin group may gain root privileges
%admin ALL=(ALL) ALL
hadoop ALL=(ALL) ALL
[*]为每台虚拟机安装ssh(openssh-server)服务及为Master虚拟机配置ssh无密码登录：
具体操作请参考我的文章：Linux：实现Hadoop集群Master无密码登录（SSH）各个子节点
[*]为Master虚拟机安装Hadoop(我这里需要的是Hadoop+Spark，所以没有配置Maperduce):
1、首先下载hadoop安装包到Master桌面上（http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz）
linux下载命令：
~$ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
2、解压并修改hadoop安装目录权限：
# 解压hadoop-2.6.4.tar.gz 到/usr/local目录下
sudo tar -zxvf hadoop-2.6.4.tar.gz -C /usr/local
cd /usr/local
# 重名
sudo mv ./hadoop-2.6.4/ ./hadoop
# 把hadoop安装目录控制权限分配给hadoop用户组的hadoop账户
sudo chown –R hadoop:hadoop ./hadoop
3、创建tmp文件夹：
mkdir usr/local/hadoop/tmp
4、修改/ect/profile，将hadoop安装目录配置到/etc/profile中:
在/etc/profile最后追加：
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JRE_HOME=/usr/lib/jvm/java-8-oracle
export SCALA_HOME=/opt/scala/scala-2.10.5
# add hadoop bin/ directory to PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$JAVA_HOME:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$PATH
export CLASSPATH=$CLASS_PATH::$JAVA_HOME/lib:$JAVA_HOME/jre/lib
5、配置hadoop-env.sh：
sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
在文件末尾追加java8的安装目录：
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
备注：
1）尽管我们在/etc/profile中已经配置了JAVA_HOME,且hadoop-env.sh中已经包含了
# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}
我们依然需要最佳上边这行配置。
2）Hadoop配置文件全部在conf目录下，有三个配置文件：core-site.xml，hdfs-site.xml，mapred-site.xml。
core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件，core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。
6、配置core-site.xml:
hadoop的核心配置文件，我们这里配置hdfs的地址和端口号。
vim /usr/local/hadoop/etc/hadoop/core-site.xml
配置内容如下：
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.200:9000</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.200:9000</value>
</property>
<property>
<name>hadoop.native.lib</name>
<value>false</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
</configuration>
7、配置hdfs-site.xml:
vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
配置内容如下：
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
8、配置slaves文件（master机器特有）：
vim /usr/local/hadoop/etc/hadoop/slaves
注意：每行写一个ip。
我的集群配置如下：
192.168.1.200
192.168.1.201
192.168.1.202
9、手动创建目录(该项可以避免/usr/local/hadoop/dfs/logs、/usr/local/hadoop/dfs/name和/usr/local/hadoop/dfs/data出现权限问题)：
1）为了不出问题，一般我们需要手动创建目录/usr/local/hadoop/dfs/logs、/usr/local/hadoop/dfs/name和/usr/local/hadoop/dfs/data目录,并分配777权限。
2）在hadoop初始化启动后，在master上/usr/local/hadoop/dfs/name下会自动创建./current/VERSION文件路径。
3）在hadoop初始化启动后，在所有node(node1、node2)上/usr/local/hadoop/dfs/data下会自动创建./current/VERSION文件路径。
[*]将Master虚拟机配置后的Hadoop目录复制（拷贝，反正不是剪切）到各个子节点（Node1,Node2）:
1、复制master上的hosts文件到所有节点(node1、node2)上：
hadoop@master:~/ scp /etc/hosts hadoop@node1:/ect/hosts
hadoop@master:~/ scp /etc/hosts hadoop@node2:/ect/hosts
备注：
1）如果遇到权限文件，修改master下/etc/host权限为777（sudo chmod 777 /etc/hosts）
2）如果修改权限后，还是拷贝失败，请直接ssh node1(node2)去修改，把所有子节点(node1、node2)上的/etc/hosts修改与master的/etc/hosts文件内容一致。
3）我这/etc/hosts文件内容如下：
192.168.1.200 master
192.168.1.201 node1
192.168.1.202 node2
# The following lines are desirable for IPv6 capable hosts
#::1 localhost ip6-localhost ip6-loopback
#ff02::1 ip6-allnodes
#ff02::2 ip6-allrouters
2、复制master上配置好的hadoop文件到所有节点（node1、node2）下:
首先，需要在各个节点（node1、node2）上创建目录/usr/local/hadoop,并分配777权限：
hadoop@master:~/ ssh hadoop@node1
hadoop@node1:~/ mkdir /etc/local/hadoop
hadoop@node1:~/ sudo chmod 777 /etc/local/hadoop
#........
hadoop@node1:~/ exit
hadoop@master:~/ ssh hadoop@node2
hadoop@node2:~/ mkdir /etc/local/hadoop
hadoop@node2:~/ sudo chmod 777 /etc/local/hadoop
#........
hadoop@node2:~/ exit
然后，拷贝master上配置好的hadoop文件到所有节点（node1、node2）下：
hadoop@master:~/ scp -r /usr/loca/hadoop hadoop@node1:/usr/local/
hadoop@master:~/ scp -r /usr/loca/hadoop hadoop@node2:/usr/local/
最后，修改各个节点（node1、node2）/etc/profile文件，追加HADOOP_HOME.
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JRE_HOME=/usr/lib/jvm/java-8-oracle
export SCALA_HOME=/opt/scala/scala-2.10.5
# add hadoop bin/ directory to PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$JAVA_HOME:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$PATH
export CLASSPATH=$CLASS_PATH::$JAVA_HOME/lib:$JAVA_HOME/jre/lib
[*]启动及测试Hadoop集群是否配置好:
1、格式化hdfs文件系统：
以hadoop账户登录master，执行命令：
hadoop namenode -format
如果有必要可以执行格式化datanode命令：
hadoop datanode -format
2、启动hadoop:
再启动前可以关闭所有防火墙：
service iptables stop
# 或者
ufw disable
启动hadoop集群：
hadoop@master:~/ start-all.sh
#如果这里不识别该命令，到/usr/loca/hadoop/sbin下执行该命令。
3、测试是否安装&启动正常
方法一：jps命令，如果在master查看到如下几个进程：
ssh 进入node1、node2，执行jps命令：
方法二：用hadoop dfsadmin -report命令
hadoop@master:~$ hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
Configured Capacity: 37234434048 (34.68 GB)
Present Capacity: 30607450112 (28.51 GB)
DFS Remaining: 30607400960 (28.51 GB)
DFS Used: 49152 (48 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Live datanodes (2):
Name: 192.168.1.201:50010 (node1)
Hostname: node1
Decommission Status : Normal
Configured Capacity: 18617217024 (17.34 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 3238232064 (3.02 GB)
DFS Remaining: 15378960384 (14.32 GB)
DFS Used%: 0.00%
DFS Remaining%: 82.61%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Sep 22 00:21:32 CST 2016
Name: 192.168.1.202:50010 (node2)
Hostname: node2
Decommission Status : Normal
Configured Capacity: 18617217024 (17.34 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 3388751872 (3.16 GB)
DFS Remaining: 15228440576 (14.18 GB)
DFS Used%: 0.00%
DFS Remaining%: 81.80%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Sep 22 00:21:33 CST 2016
hadoop@master:~$
方法三：输入http://(master ip):50070
[*]参考文章：
(如何验证是否hadoop配置成功)http://blog.csdn.net/chenyuangege/article/details/45582831
(坐标类型转化)：http://api.zdoz.net/gcj2wgs.aspx?lat=34.121&lng=115.21212
页:
[1]