设为首页 收藏本站
查看: 936|回复: 0

[经验分享] build hadoop, spark, hbase cluster

[复制链接]

尚未签到

发表于 2017-12-17 13:46:43 | 显示全部楼层 |阅读模式
  1,something:
  1,arc land
  506  git branch
  507  git status
  508  git reset multicloud/qcloud/cluster_management/spark_cluster/dependent_file/spark-1.6.2-bin-hadoop2.6.tgz
  509  git status
  510  git add multicloud/qcloud/tools/ssh.py
  511  git status
  512  git log
  513  git commit -a
  514  git status
  515  git log
  516  git pull --rebase origin master
  517  git log
  518  arc diff
  519  arc diff
  520  history

DSC0000.gif DSC0001.gif   

git checkout -b test1432  git status433  git branch434  ls435  cd core/  436  ls
  437  cd ..
  438  cd multicloud/
  439  ls
  440  cd qcloud/
  441  ls
  442  cd ..
  443  cd ..
  444  ls
  445  ls multicloud/qcloud/spark_cluster/README.md
  446  vim multicloud/qcloud/spark_cluster/README.md
  447  git branch
  448  git status
  449  git commit -a 'test1'
  450  git commit -a
  451  git log
  452  clear
  453  git pull --rebase origin master
  454  arc diff
  455  pwd
  456  arc help
  457  source ~/.bashrc
  458  arc
  459  arc help
  460  ls ~/.bashrc
  461  arc diff
  462  arc diff
  463  arc land
  


View Code  2,ssh aliyun
  ssh -i aliyun.pem root@101.201.233.28
  chmod 600 aliyun.pem
  3,ssh免密码登录
  (1)
  ssh-keygen -t rsa

  scp -i ~/aliyun.pem>  (2)in 172.17.148.92

  cat>  chmod 600 authorized_keys
  http://blog.csdn.net/m15851813962/article/details/53150967
  4,docker
  docker exec -it ssss /bin/bash
  5, scp:
  scp -i ~/work/keys/alicloud.pem * hadoopmaster:/root
  6, firewall
  systemctl stop firewalld
  7,auto build command
  spark:
  python auto_build_spark.py -f /Users/chunyueli/work/github/infra/multicloud/qcloud/cluster_management/spark_cluster/dev_conf/alicloud_dev_spark_cluster_conf.json -k /Users/chunyueli/work/keys/alicloud.pem -F /Users/chunyueli/work/github/infra/multicloud/qcloud/cluster_management/spark_cluster/restart_qcloud_cluster.py -i 114.240.80.157 -a restart
  hadoop
  python auto_build_hadoop.py -f /Users/chunyueli/work/github/infra/multicloud/qcloud/cluster_management/spark_cluster/dev_conf/alicloud_dev_hadoop_cluster_conf.json -k /Users/chunyueli/work/keys/alicloud.pem -F /Users/chunyueli/work/github/infra/multicloud/qcloud/cluster_management/spark_cluster/restart_qcloud_cluster.py -i 114.240.85.26
  8, docker command

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-425027-1-1.html 上篇帖子: java.sql.SQLException: Error while processing statement: FAILED: Execution Error 下篇帖子: Hadoop分布式远程Debug方式
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表