hadoop零散笔记

dog1888

　　查找有没有这个软件通过管道查询：sudo apt-cache search ssh | grep ssh
　　安装的话：sudo apt-get install xxxxx
　　安装ssh后要生成一个文件即执行：ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
　　最后在soft/haoop/etc/hadoop目录下的三个文件中执行core-site.xml、hdfs-site.xml、mapred-site.xml中配置
　　-----------------------------------------------------
　　查看端口：netstat -lnpt netstat 或netstat -plut 。查看所有的端口：netstat -ano
　　--------------------------------------------------------------
　　把文件放到哪里用 hadoop fs -put xxxx /xxxx/xxxxx/xxx
　　往上面集群上放文件：hadoop --config /soft/hadoop/etc/hadoop_cluster fs -put /home/ubuntu/hell.txt /user/ubuntu/data/
　　在集群上下载文件是：hadoop --config /soft/hadoop/etc/hadoop_cluster fs -get /user/ubuntu/data/hello.txt bb.txt
　　查看文件的健康情况：hdfs --config /soft/hadoop/etc/hadoop/etc/hadoop_cluster fsck /user/ubuntu/data/hello.txt
　　通过scp远程复制 ：scp -r /xxx/x
　　格式化文件系统：hdfs --config /soft/hadoop/etc/hadoop_cluster namenode -format
　　touch 是建一个文本文件
　　从一个虚拟机登录到另个虚拟机ssh s2 ,如果是ssh s2 ls ~ 的话就是显示一列列是的样子 。如果执行
　　ssh s2 ls ~ | xargs 是显示一横的内容
　　查看集群状况：hadoop --config /soft/hadoop/etc/hadoop_cluster fs -lsr /
　　把文件放到集群上面就是hadoop --config /soft/hadoop/etc/hadoop_cluster fs -put xxxxx  后面是加所放的路径位置
　　查看进程 ssh s2 jps   。ps -Af 也是查看进程  。杀死进程是kill -9 后面加进程的端口号
　　su root 根用户
　　--------------------------------------------------
　　HDFS概念：namenode & datanode
　　namenode:镜像文件+编辑日志，存放于本地磁盘，以及数据节点信息，不含block信息。block信息在cluster启动时由datanode重建
　　datanode:work节点，存储检索block定期向namenode发送block list
　　在usr/local/sbin下切换到su root 用户下建脚本，编写你想要的执行脚本
　　修改blocksize大小 ，默认是128m
　　它在[hdfs-site.xml]
　　dfs.blocksize = 8m  设置块大小是8M
　　1、测试方式 ：put 文件  > 8m, 通过webui查看块大小
　　---------------------------------------------------------
　　hadoop:可靠、可伸缩、分布式的计算框架，开源软件
　　四大模块：1、common ----hadoop-commom-xxx.jar
　　2、hdfs
　　3、mapreduce
　　4、yarn
　　hadoop完全分布式：
　　1、hdfs --->NameNode、Datanode、SecondaryNode（辅助名称节点）
　　2、Yarn---->ResourceManager（资源管理器）、NodeManager（节点管理器）
　　---------------------------------------------------
　　配置静态ip进入etc的network里面下编辑sudo nano interfaces：
　　# This file describes the network interfaces available on your system
　　# and how to activate them. For more information, see interfaces(5).
　　# The loopback network interface
　　auto lo
　　iface lo inet loopback
　　# The primary network interface
　　auto eth0
　　iface eth0 inet dhcp
　　iface eth0 inet static（设置为静态的ip）
　　address 192.168.92.148（客户机的ip）
　　netmask:255.255.255.0(客户机的)
　　gateway 192.168.92.2 （NAT网关地址）
　　dns-nameservers 192.168.92.2
　　最后是重启网卡：sudo /etc/init.d/networking restart
　　-------------------------------------------------
　　客户机关机命令：
　　1、sudo poweroff
　　2、sudo shutdown -h o
　　3、sudo halt
　　------------------------------
　　配置文本模式
　　进入到/boot/grub里面查看一下
　　再进入cd /etc/default里面执行gedit grub
　　在#GRUB_CMDLINE_LINUX_DEFAULT="quiet"的下面编写GRUB_CMDLINE_LINUX_DEFAULT="text"
　　在# Uncomment to disable graphical terminal (grub-pc only)下面编写：
　　GRUB_TERMINAL=console//打开注释
　　改后执行sudo update-grub最后执行重启sudo reboot
　　-----------------------------------------
　　启动所有的数据节点：
　　hadoop-daemons.sh start namenode//在名称节点服务器上执行启动名称节点
　　hadoop-daemons.sh start datanode//在指定的datanode上执行，启动所有的数据节点
　　hadoop-daemon.sh start secondsrynamenode//启动辅助名称节点
　　-------------------------------------------------------
　　hdfs getconf 能查看到节点配置信息。比如hdfs getconf -namenode 可以知道是在s1客户机上运行
　　-----------------------------------------------------------------
　　四大模块：
　　1、common
　　hadoop-coommon-xxx.jar
　　core-site.xml
　　core-default.xml
　　2、hdfs
　　hdfs-site.xml
　　hdfs-defailt.xml
　　3、mapreduce
　　mapre-site.xml
　　mapred-default.xml
　　4、yarn
　　yarn-site.xml
　　yarn-default.xml
　　----------------------------------
　　常用的端口：
　　1、namenode     rpc   //8020  webui  //50070
　　2、datanode     rpc  //8032   webui   //50075
　　3、2nn         webui  //50090
　　4、historyServerwebui  //19888
　　5、resourcmanager webui//8088
　　--------------------------------------
　　dfs.hosts:决定能够连接namenode
　　dfs.hosts.exclude:决定不能连接namenode
　　dfs.hosts           dfs.hosts.exclude
　　---------------------------------------------
　　00//不能连接
　　01//不能连
　　10//能连
　　11//能连会退役
　　---------------------------------------------
　　安全模式
　　1、namenode启动时，合并image和edit成新的image,并产生新的edit log
　　2、整个智能safe模式下，客户端只能读取
　　3、查看nameode是否位于安全模式
　　hdfs dfsadmin -safemode get    //查看安全模式
　　hdfs dfsadmin -safemode enter    //进入安全模式
　　hdfs dfsadmin -safemode leave    //离开安全模式
　　hdfs dfsadmin -safemode wait    //等待安全模式
　　4、手动保存名字空间：dfsadmin -saveNamespace
　　5、手动保存镜像文件：hdfs dfsadmin -fetchImage
　　6、保存元数据：(保存在hadoop_home下即：hadoop /logs/下)hdfs dfsadmin -metasave xxx.dsds
　　7、start-balancer.sh :启动均衡器，目的让集群数据存储上更加平均，提高整个集群的性能（一般我们在增加节点的情况下才启动均衡器）
　　8、hadoop fs -count统计目录
　　--------------------------------------------------
　　Hadoop Snapshot快照:就是把当前的情况拍照保存起来。一般目录默认的情况是不能创建快照的。必须执行hdfs dfsadmin -allowSnapshot /user/ubuntu/data。允许创建快照，后面跟的是你想创建快照的地址路径。在这里允许创建快照后我们就可以执行hadoop fs -createSnapshot /user/ubuntu/data snap-1创建快照了。snap-1是你创建快照名。查看快照的话直接hadoop fs -ls -R /user/ubuntu/data/.snapshot/。还有你在创建快照的情况下是不能禁用快照的
　　1、创建快照hadoop fs [-createSnapshot  []]
　　2、删除快照hadoop fs [-deleteSnapshot  ]
　　3、重命名快照hadoop fs [-renameSnappshot  ]
　　4、允许目录快照hadoop dfsadmin [-allowSnapshot ]
　　5、禁用目录快照hadoop dfsamdin[-disallowSnapshot]
　　------------------------------------------
　　回收站
　　1、默认是0秒，意味着禁用回收站
　　2、设置文件回收站的驻留时间[corep-site.xml] fs.trash.interval=1   //分钟数计算
　　3、通过shell命令删除的文件，会进入trash
　　4、每个用户都有自己的回收站（目录） 即：/user/ubuntu/.Trash
　　5、编程方式删除不进入回收站，立即删除，可以调用。moveToTrash()方法，返回false，说明禁用回收站或者已经在站中
　　回收站：hadoop默认的回收站是关闭的，时间单位：分钟对应当前用户文件夹的.Trash目录。rm时会将文件移动到该目录下
　　[core-site.xml]
　　
　　fs.trash.interval
　　30
　　
　　回收站：恢复文件。将.Trash目录的文件移动出即可：hadoop fs -mv /user/ubuntu/.Trash/xx/x/x data/
　　清空回收站：hadoop fs -expunge
　　测试删除回收站：hadoop fs -rm -R /user/ubuntu/.Trash
　　-----------------------------------
　　配额：quota
　　1、目录配额：hdfs dfsadmin -setQuota N /dir//N > 0 ,目录配额。1：表示空目录，不能放置任何元素
　　2、空间配额 ：hdfs dfsadmin -setSpaceQuota
　　hadoop fs === hdfs dfs//文件系统的操作命令
　　-clsSpaceQuota//清除空间配额
　　-clsQuota//清除目录配额
　　---------------------------------------------------
　　oiv可以查看镜像文件内容 -i是输入文件 -o是输出文件。XML是处理器
　　具体操作：hdfs oiv -i fsimage_000000000000000054 -o ~/a.xml -p XML
　　查看edit_xxx编辑日志文件：hdfs oev -i xxx_edit -o xxx.xml -p XML
　　镜像文件是不是在/hadoop/dfs/name/current 这里？
　　cat: fsimage_0000000000000054
　　bg %是让软件在后台运行
　　-----------------------------------------------------------
　　刷新节点：hdfs dfsadmin -refreshNodes
　　-----------------------------------------