Apache Hadoop 入门教程第三章

dream789

　　免密码 ssh 设置
　　现在确认能否不输入口令就用 ssh 登录 localhost:
　　$ ssh localhost
　　1
　　如果不输入口令就无法用 ssh 登陆 localhost，执行下面的命令：
　　$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
　　$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
　　$ chmod 0600 ~/.ssh/authorized_keys
　　1
　　2
　　3
　　执行
　　下面演示本地运行一个 MapReduce 的 job，以下是运行步骤。
　　（1）格式化一个新的分布式文件系统：
　　$ bin/hdfs namenode -format
　　1
　　（2）启动 NameNode 守护进程和 DataNode 守护进程：
　　$ sbin/start-dfs.sh
　　1
　　Hadoop 守护进程的日志写入到 $HADOOP_LOG_DIR目录（默认是 $HADOOP_HOME/logs）
　　（3）浏览 NameNode 的网络接口，它们的地址默认为：
　　NameNode - http://localhost:50070/
　　1
　　（4）创建 HDFS 目录来执行 MapReduce 的 job：
　　$ bin/hdfs dfs -mkdir /user
　　$ bin/hdfs dfs -mkdir /user/
　　1
　　2
　　（5）将输入文件拷贝到分布式文件系统：
　　$ bin/hdfs dfs -put etc/hadoop input
　　1
　　（6）运行发行版提供的示例程序：
　　$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
　　1
　　（7）查看输出文件
　　将输出文件从分布式文件系统拷贝到本地文件系统查看：
　　$ bin/hdfs dfs -get output output
　　$ cat output/*****
　　1
　　2
　　或者，在分布式文件系统上查看输出文件：
　　$ bin/hdfs dfs -cat output/*
　　1
　　（8）完成全部操作后，停止守护进程：
　　$ sbin/stop-dfs.sh
　　**需要学习的可以继续看下一章。**

　　很多人都知道我有大数据培训资料，都天真的以为我有全套的大数据开发、hadoop、spark等视频学习资料。我想说你们是对的，我的确有大数据开发、hadoop、spark的全套视频资料。
　　如果你对大数据开发感兴趣可以加口群领取免费学习资料： 763835121