设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 667|回复: 0

[经验分享] hadoop2.2.0部署

[复制链接]
3r32r222
累计签到：1 天
连续签到：1 天
发表于 2014-4-16 08:57:34 | 显示全部楼层 |阅读模式
hadoop2.2.0部署
下载安装包
hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz
解压
tar zxvf hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz
ln -s /opt/hadoop-2.2.0-cdh5.0.0-beta-1 ~/hadoop
所有节点都解压
ssh双向认证
配置所有机器hosts
vi /etc/hosts
10.10.1.1 hadoop1
10.10.1.2 hadoop2
10.10.1.3 hadoop3

使用hostname 设置主机名
修改/etc/sysconfig/network 中的内容改为相应的主机名
在.ssh目录生成id_rsa.pub ，添加到本机~/.ssh/authorized_keys文件里面
ssh-keygen -q -t rsa
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
本机登入验证：ssh localhost
复制authorized_keys到其他机器上
scp ~/.ssh/id_rsa.pub hadoop3:~/
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh
其他机器重复以上步骤
修改环境参数
vi /etc/profile
增加以下内容：
export JAVA_HOME=/opt/jdk1.7.0_51
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_DEV_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_DEV_HOME/bin

修改ulimit
vi /etc/security/limits.d/90-nproc.conf
* soft nproc 502400

执行环境参数
source /etc/profile
修改hadoop配置
1.编辑同步脚本:vi hadoop/cp2slaves.sh
BASE_PATH=`dirname $0`
cd $BASE_PATH
echo `/bin/pwd`
scp etc/hadoop/* hadoop2:~/hadoop/etc/hadoop/
scp etc/hadoop/* hadoop3:~/hadoop/etc/hadoop/

2.配置hadoop/etc/hadoop/hadoop-env.sh
JAVA_HOME修改为：
export JAVA_HOME=/opt/jdk
HADOOP_PID_DIR修改为：
export HADOOP_PID_DIR=${HADOOP_LOG_DIR}

3.创建hadoop工作目录
mkdir -p /home/hadoop/tmp
mkdir -p /home/hadoop/hdfs/name
mkdir -p /home/hadoop/hdfs/data
mkdir -p /home/hadoop/hadoop-yarn
4.配置hadoop/etc/hadoop/core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>hadoop1</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
5.配置hadoop/etc/hadoop/mapred-site.xml
mv hadoop/etc/hadoop/mapred-site.xml.template hadoop/etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
</property>
<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/mr-history/tmp</value>
</property>
<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/mr-history/done</value>
</property>
6.配置hadoop/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>file:/home/hadoop/hdfs/name</value>
<description> </description>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop1:9001</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:/home/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.http.address</name>
<value>hadoop1:9002</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
7.编辑hadoop/etc/hadoop/masters
haoop1
8.编辑hadoop/etc/hadoop/slaves
hadoop1
hadoop2
hadoop3
9.编辑hadoop/etc/hadoop/yarn-site.xml
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>hadoop1:8032</value>
        </property>
        <property>
                <description>The address of the scheduler interface.</description>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>hadoop1:8030</value>
        </property>
        <property>
                <description>The address of the RM web application.</description>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>hadoop1:8088</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>hadoop1:8031</value>
        </property>
        <property>
                <description>The address of the RM admin interface.</description>
                <name>yarn.resourcemanager.admin.address</name>
                <value>hadoop1:8033</value>
        </property>
        <property>
                <description>The hostname of the NM.</description>
                <name>yarn.nodemanager.hostname</name>
                <value>0.0.0.0</value>
        </property>
        <property>
                <description>The address of the container manager in the NM.
                </description>
                <name>yarn.nodemanager.address</name>
                <value>${yarn.nodemanager.hostname}:0</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <description>List of directories to store localized files in.
                </description>
                <name>yarn.nodemanager.local-dirs</name>
                <value>/home/hadoop/hadoop-yarn/cache/${user.name}/nm-local-dir</value>
        </property>
        <property>
                <description>Where to store container logs.</description>
                <name>yarn.nodemanager.log-dirs</name>
                <value>/home/hadoop/hadoop-yarn/containers</value>
        </property>
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/hadoop/hadoop-yarn/apps</value>
        </property>
        <property>
                <name>yarn.app.mapreduce.am.staging-dir</name>
                <value>/hadoop/staging</value>
        </property>
10.同步配置文件
sh hadoop/cp2slaves.sh
格式化namenode
hadoop/bin/hdfs namenode -format
启动
hadoop/sbin/start-all.sh
测试验证
http://hadoop1:8088hadoop/bin/hadoop fs -df -hhadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0-cdh5.0.0-beta-1.jar pi 5 10
停止
hadoop/sbin/stop-all.sh


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.yunweiku.com/thread-17532-1-1.html 上篇帖子： LINUX安装MEMCACHED 下篇帖子： Hadoop TaskScheduler源码分析
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表