Python菜鸟的Hadoop实战——Hadoop2.6.0集群搭建

bco

[hadoop@iZ94cjwg86gZ ~]$ uname -a　　
Linux iZ94cjwg86gZ 2.6.32-220.23.2.al.ali1.1.alios6.x86_64 #1 SMP Sun Jan 4 15:01:53 CST 2015 x86_64 x86_64 x86_64 GNU/Linux
　　

　　
[hadoop@iZ94cjwg86gZ ~]$ java -version
　　
java version "1.6.0_22"
　　
OpenJDK Runtime Environment (IcedTea6 1.10.4) (rhel-1.41.1.10.4.5.alios6-x86_64)
　　
OpenJDK 64-Bit Server VM (build 20.0-b11, mixed mode)
　　

　　
[hadoop@iZ94cjwg86gZ ~]$ python --version
　　
Python 2.6.6
　　
[hadoop@iZ94cjwg86gZ ~]$
　　
Hey, 兄弟，真不赖，什么Java/Python安装起来也不轻松。不用操心，太好了。
　　

　　

　　
检查下， Java中的JPS工具是否有，后面会依赖这个工具。这个时候，你会纳闷，咦，怎么检查呢，Java目录在哪里呢？
　　
这个时候，你会发现两个命令可以帮你，一个是find， 当然，另外一个就是rpm。这里就不介绍这些命令了。（如果有问题，大家搜索下就了解了）
　　
rpm -qa|grep java
　　
[hadoop@iZ94cjwg86gZ ~]$ rpm -qa|grep java
　　
libvirt-java-0.4.7-1.3.alios6.noarch
　　
java-1.6.0-openjdk-devel-1.6.0.0-1.41.1.10.4.5.alios6.x86_64
　　
libvirt-java-devel-0.4.7-1.3.alios6.noarch
　　
tzdata-java-2011l-4.4.alios6.noarch
　　
java-1.6.0-openjdk-1.6.0.0-1.41.1.10.4.5.alios6.x86_64
　　

　　
[hadoop@iZ94cjwg86gZ ~]$ rpm -ql java-1.6.0-openjdk-1.6.0.0-1.41.1.10.4.5.alios6.x86_64|grep bin
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/java
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/keytool
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/orbd
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/pack200
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/policytool
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/rmid
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/rmiregistry
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/servertool
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/tnameserv
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/unpack200
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/lib/amd64/libinstrument.so
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/lib/zi/Asia/Harbin
　　

　　

　　

　　
哦， maybe  /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/就是java的主目录啦~~~~~~~~~
　　

　　
[hadoop@iZ94cjwg86gZ bin]$ pwd
　　
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/bin
　　
[hadoop@iZ94cjwg86gZ bin]$ ls jps
　　
jps
　　
[hadoop@iZ94cjwg86gZ bin]$
　　

　　
[hadoop@iZ94cjwg86gZ bin]$ rpm -qa|grep rsync
　　
rsync-3.0.6-5.4.alios6.1.x86_64
　　
[hadoop@iZ94cjwg86gZ bin]$
　　

　　
Fortunately,  Java环境， Python环境, rsync 都是ok的。
　　
另外，就是集群管理，毫无疑问， PSSH需要有一个的，不然， 一台机器一台机器操作， 没有人愿意。
　　

　　
安装setuptools，即easy_install。
　　
wget http://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz#md5=7df2a529a074f613b509fb44feefe74e
　　
tar zxf setuptools-0.6c11.tar.gz
　　
cd setuptools-0.6c11 & python setup.py install
　　

　　
然后， easy_install pssh， 就这样，基础工具就这样准备好啦。