设为首页 收藏本站
查看: 643|回复: 0

[经验分享] Hadoop--2.NFS结合SSH免密登录

[复制链接]

尚未签到

发表于 2018-10-29 11:02:03 | 显示全部楼层 |阅读模式
  NFS+SSH的应用主要是解决Hadoop集群更换公钥的麻烦。
  一、NFS配置
  1.安装
  [root@kry132 ~]# yum -y install rpcbind nfs-utils
  rpcbind:用于通信
  nfs-utils:nfs程序
  2.创建共享目录
  [root@kry132 ~]# mkdir  /data/nfsdata
  [root@kry132 ~]# chown hadoop.hadoop /data/nfsdata/
  3.配置nfs
  [root@kry132 ~]# vim /etc/exports
  添加以下内容:
/data/nfsdata 192.168.0.135(rw,sync)  如果需要指定用户,还需要加入all_squash,anonuid=502,anongid=502。
  注意服务端跟客户端用户的UID跟GID必须一致。比如服务端一个用户为abc,uid跟gid都为502,那么客户端也应该存在一个abc的用户,uid跟gid也为502.
  4.启动服务
  [root@kry132 ~]# /etc/init.d/rpcbind start
  [root@kry132 ~]# /etc/init.d/nfs start
  5.设置开机启动
  [root@kry132 ~]# chkconfig --level 35 rpcbind on
  [root@kry132 ~]#  chkconfig --level 35 nfs on
  6.查看共享目录(客户端)
  [root@Kry135 ~]# showmount -e 192.168.0.132
  Export list for 192.168.0.132:
  /data/nfsdata 192.168.0.135
  二、SSH配置
  1.安装ssh
  [root@kry132 ~]# yum -y install openssh-server openssh-clients
  2.配置
  [root@kry132 ~]# vim  /etc/ssh/sshd_config
RSAAuthentication yes  PubkeyAuthentication yes
  AuthorizedKeysFile .ssh/authorized_keys
  3.生成密钥
  [root@kry132 ~]# ssh-keygen -t rsa
  4.修改公钥
  [root@kry132 ~]# cd  .ssh

  [root@kry132 .ssh]# cat>  [root@kry132 .ssh]# chown hadoop.hadoop authorized_keys
  [root@kry132 .ssh]# chmod 600 authorized_keys
  5.将公钥放到NFS共享目录
  [root@kry132 .ssh]# cp -p authorized_keys  /data/nfsdata/
  三、客户端配置
  1.安装ssh
  [root@Kry135 ~]# yum -y install openssh-server openssh-clients
  2.配置
  [root@Kry135 ~]# vim  /etc/ssh/sshd_config
RSAAuthentication yes  PubkeyAuthentication yes
  AuthorizedKeysFile .ssh/authorized_keys
  3.创建nfs共享目录
  [root@Kry135 ~]# mkdir /data/nfsdata/
  [root@Kry135 ~]#chown hadoop.hadoop /data/nfsdata/
  4.挂载NFS共享目录
  [root@Kry135 ~]# mount -t nfs 192.168.0.132:/data/nfsdata /data/nfsdata
  5.创建公钥存放目录
  [root@Kry135 ~]# mkdir /home/hadoop/.ssh
  [root@Kry135 ~]# chown hadoop.hadoop /home/hadoop/.ssh/
  [root@Kry135 ~]# chmod 700 /home/hadoop/.ssh/
  注意:如果切换到hadoop用户操作就不需要更改用户所属主群主
  6.创建软连接
  [root@Kry135 ~]# ln -s  /data/nfsdata/authorized_keys  /home/hadoop/.ssh/authorized_keys
  四、测试
  1.关闭selinux
  [root@Kry135 ~]# setenfore 0
  [root@Kry135 ~]# vim /etc/selinux/config
SELINUX=permissive  或 disabled  注意:客户端也需要关闭,执行以上相同操作
  2.配置NFS固定端口
  [root@Kry135 ~]#vim /etc/service(端口号必须在1024以下,且未被占用)
mountd 1011/tcp #rpc.mountd  mountd 1011/udp #rpc.mountd
  rquotad 1012/tcp #rpc.rquotad
  rquotad 1012/udp #rpc.rquotad
  重启nfs服务后,端口即固定了。
  和nfs相关的端口有:
  portmap 111
  nfsd 2049
  mountd 1011
  rquotad 1012
  注意:然后在服务端跟客户端配置iptables放行端口,如果只是测试直接关闭iptabls即可。
  3.测试免密登录
  [hadoop@kry132 ~]$ ssh hadoop@192.168.0.135
  Last login: Thu Aug  4 18:08:31 2016 from slave.hadoop
  4.测试免密传输文件
  [root@kry132 ~]# su - hadoop
  [hadoop@kry132 ~]$ scp test.txt hadoop@192.168.0.135:/home/hadoop/
  test.txt                    100%   13     0.0KB/s   00:00
  测试登录跟文件传输都没有要求输入密码,说明NFS+SSH搭建成功!
  扩展内容
  1.nfs优化
  [root@kry132 ~]# vim /etc/init.d/nfs
[ -z "$RPCNFSDCOUNT" ] && RPCNFSDCOUNT=8  修改为
  [ -z "$RPCNFSDCOUNT" ] && RPCNFSDCOUNT=32
  默认的内核参数为:
  cat /proc/sys/net/core/rmem_default
  229376
  cat /proc/sys/net/core/rmem_max
  229376
  cat /proc/sys/net/core/wmem_default
  229376
  cat /proc/sys/net/core/wmem_max
  229376
  修改为:
  echo 262144 > /proc/sys/net/core/rmem_default - 最大的TCP数据接收缓冲
  echo 262144 > /proc/sys/net/core/rmem_max -  最大的TCP数据发送缓冲
  echo 262144 > /proc/sys/net/core/wmem_default - 默认的发送窗口大小
  echo 262144 > /proc/sys/net/core/wmem_max - 发送窗口的最大大小


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-627918-1-1.html 上篇帖子: Hadoop--1.环境准备 下篇帖子: 北京上海Cloudera Hadoop大数据培训:CCAH(管理员)、CCA(程序员)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表