windows 10开启bash on windows，配置sshd，部署hadoop

86565656

　　1、安装Bash on Windows
　　这个参考官网步骤，很容易安装，https://msdn.microsoft.com/en-us/commandline/wsl/install_guide
　　安装过程很简单，主要是从应用商店下载bash的时候，比较容易失败，可能需要多试几次。
　　2、配置SSHD
　　自带的命令行比较简陋，操作不方便。可以开启sshd，然后用xshell等终端登录。
　　

/etc/ssh/　　
vim sshd_config
　　

　　
#修改以下几项
　　
Port
2222 #windows 10会默认占用22端口，所以这里需要换成22端口外的其他端口。　　
ListenAddress
0.0.0.0　　
UsePrivilegeSeparation no
　　
PasswordAuthentication yes
　　

　　
#运行
　　

sudo ssh-keygen -A　　#测试可以使用ssh username@localhost -p 2222进行登录了
　　

　　
#编辑
/etc/sudoers 添加下面一行(using sudo visudo for safety):　　

　　

%sudo ALL=(ALL) NOPASSWD: /usr/sbin/sshd -D#便于从外部启动sshd。　　

　　3、开启windows自动运行sshd
　　

新建startssh.bat　　

　　

cd C:\Windows\System32　　
bash
.exe -c "sudo /usr/sbin/sshd -D"　　

　　
新建 autostartssh
.vbe　　

　　

set ws=wscript.createobject("wscript.shell")　　
ws
.run "startssh.bat /start",0　　

　　
双击autostartssh
.vbe，启动sshd　　将autostartssh.vbe加入windows自启动
　　

　　4、创建hadoop用户
　　sudo useradd -m hadoop
　　sudo passwd hadoop
　　sudo adduser hadoop sudo
　　5、设置免密码登录
　　使用hadoop账号登录
　　cd ~
　　ssh-keygen -t rsa
　　cd .ssh
　　cat ./id_rsa.pub >> ./authorized_keys
　　6、配置java环境
　　vim ~/.bashrc
　　export JAVA_HOME=/home/hadoop/programs/jdk1.8.0_131
　　export PATH=$PATH:$JAVA_HOME/bin
　　source ~/.bashrc
　　7、安装hadoop
　　tar -zxf hadoop-2.8.0.tar.gz
　　cd hadoop-2.8.0
　　./bin/hadoop version
　　默认单机版，运行测试例子
　　mkdir ./input
　　cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
　　./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
　　cat ./output/*
　　8、配置伪分布式
　　vim etc/hadoop/core-site.xml
　　#路径必须放在能设置linux权限的目录
　　修改为
　　<configuration>
　　<property>
　　<name>hadoop.tmp.dir</name>
　　<value>file:/home/hadoop/programs/hadoop-2.8.0/tmp</value>
　　<description>Abase for other temporary directories.</description>
　　</property>
　　<property>
　　<name>fs.defaultFS</name>
　　<value>hdfs://localhost:9000</value>
　　</property>
　　</configuration>
　　修改 etc/hadoop/hdfs-site.xml
　　<configuration>
　　<property>
　　<name>dfs.replication</name>
　　<value>1</value>
　　</property>
　　<property>
　　<name>dfs.namenode.name.dir</name>
　　<value>file:/home/hadoop/programs/hadoop-2.8.0/tmp/dfs/name</value>
　　</property>
　　<property>
　　<name>dfs.datanode.data.dir</name>
　　<value>file:/home/hadoop/programs/hadoop-2.8.0/tmp/dfs/data</value>
　　</property>
　　</configuration>
　　格式化hdfs
　　./bin/hdfs namenode -format
　　vim ~/.bashrc
　　export HADOOP_SSH_OPTS="-p 2222" #根据实际情况编写，ssh的端口设置
　　vim etc/hadoop/hadoop-env.sh
　　注释掉export JAVA_HOME=${JAVA_HOME}， 添加新的JAVA_HOME
　　#export JAVA_HOME=${JAVA_HOME}
　　export JAVA_HOME=/home/hadoop/programs/jdk1.8.0_131
　　启动
　　./sbin/start-dfs.sh
　　停止
　　./sbin/stop-dfs.sh
　　使用jps来判断是否启动成功， “NameNode”、”DataNode” 和 “SecondaryNameNode”
　　9、运行伪分布式例子
　　./bin/hdfs dfs -mkdir -p /user/hadoop
　　./bin/hdfs dfs -mkdir input
　　./bin/hdfs dfs -put ./etc/hadoop/*.xml input
　　./bin/hdfs dfs -ls input
　　./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
　　./bin/hdfs dfs -cat output/*
　　10、配置YARN
　　mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
　　vim etc/hadoop/mapred-site.xml
　　<configuration>
　　<property>
　　<name>mapreduce.framework.name</name>
　　<value>yarn</value>
　　</property>
　　</configuration>
　　vim etc/hadoop/yarn.site.xml
　　<configuration>
　　<property>
　　<name>yarn.nodemanager.aux-services</name>
　　<value>mapreduce_shuffle</value>
　　</property>
　　#如果出现running beyond virtual memory limits，添加下面这个配置
　　<property>
　　<name>yarn.nodemanager.vmem-check-enabled</name>
　　<value>false</value>
　　</property>
　　</configuration>
　　./sbin/start-yarn.sh      # 启动YARN
　　./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况
　　运行jps
　　多了 NodeManager 和 ResourceManager 两个后台进程