零基础学习 Hadoop 如何下手

yanglgzh

　　想学习hadoop，可是苦于自己没有任何的基础，不知道该如何下手，也不知道自己能不能学会。其实零基础学习hadoop，没有想象的那么困难。曾经我也是一位小白，刚接触到云计算，想过培训，但是培训机构的选择也让我很纠结，就自己开始去摸索学习，现在我把自己的学习思路整理一下，希望对大家有帮助。

　　首先整体说一下学习过程给大家借鉴：
　　一、了解hadoop：
　　这里不具体阐述概念，有兴趣的同学可以自己上网去查。我们知道hadoop，有单机安装，伪分布安装和分布安装。同时hadoop的环境是Linux，所以我们还需要安装Linux系统。因为我们的习惯是使用windows，所以对于Linux上来就安装软件之类的，困难度很大。并且我们要搭建集群，需要多台硬件的，不可能为了搭建集群，去买三台电脑。从成本和使用我们需要懂虚拟化方面的知识。这里的虚拟化其实就是我们需要懂得虚拟机的使用。因为hadoop安装在Linux中，才能真正发挥作用。所以我们也不会使用windows。基于以上内容。所以我们需要懂得：1.虚拟化   2.Linux   3.java基础
　　二、详细介绍
　　（一）.虚拟化
　　首先了解虚拟机网络分为三种：
　　（1）briage：桥接模式全都需要手工配置，而且这里还需要明白自己是本机拨号上网，还是路由拨号上网。
　　（2）host-only：创建一个与网内其他机器相隔离的虚拟系统
　　（3）nat：虚拟系统无法和本局域网中的其他真实主机进行通讯
　　这些都不适合我们的hadoop集群。hadoop要求主机与虚拟机与网络，这三者都是通的，在安装的过程中，才不会遇到麻烦，所以这就是虚拟化方面的困难。
　　下面总结了在虚拟化方面需要做的：
　　（1）.明白为什么虚拟化，虚拟化的价值
　　（2）.明白虚拟机的三种网络模式
　　（3）.掌握搭建集群的知识
　　上面的知识具备了我们开始动手：
　　第一步：下载软件：VMwareWorkstation 10.0.0简体中文正式版官方下载
　　第二步：下载我们就需要安装和使用。
　　在这里我们安装完毕虚拟机，安装完毕Linux，我们需要返回第一步，进行网络设置。但是在网络设置中，我们会遇到各种各样的困难，因为缺乏Linux知识。
　　同时这里补充一些虚拟化的基础知识：
　　（1）、虚拟网卡概述
　　（2）、VMware虚拟机网络设置方法
　　（3）、虚拟机（Linux操作系统）三种网络模式切换遇到的问题
　　（二）.Linux
　　（1）、Linux基础知识
　　对于Linux的学习也是一个过程，因为可能你连最简单的开机和关机命令都不会，更不要谈配置网络。这里面给大家提供刚开始学习所查阅的资料和经验总结。
　　首先我们需要使用一些命令，进行网络配置，但是在网络配置中，这里面又必须懂得虚拟机的一些知识，所以前面的虚拟机知识需要掌握扎实一些。
　　对于网络配置：
　　集群搭建：主机宽带拨号上网，虚拟机使用桥接模式，该如何ping通外网
　　集群搭建必备：虚拟机之一实现Host-only方式上网
　　集群搭建必备：nat模式设置静态ip，达到上网与主机相互通信
　　其实还是上面三个，但是我们会遇到各种不会的命令，即使能查到命令，我们也不能使用。为什么会这样，因为各种有的命令，是需要使用安装包的。我们在配置网络过程中，同样会遇到各种各样的奇怪的配置。在我们的Linux的系统，不能找到文件。这里只举ubuntu。网络配置文件/etc/network/interfaces。我们配置完毕之后，有各种网络重启方式：

　　这是一种网络重启方式，但是有时候并不管用。
　　那么这时候我们遇到困难了，刚接触命令不起作用，该怎么办？

　　下面都是经过实践的内容，也算是经验，大家可以参考:
　　1、云技术基础：学习hadoop使用零基础linux(Ubuntu)笔记
　　2、搭建集群必知：Linux常用命令及修改文件总结（不断更新）
　　3、Linux网络接口ifconfig命令及认识网络接口lo
　　4、linux入门详细介绍
　　5、虚拟机安装linux网络配置资料大全
　　6、解决遇到Linux网络配置，从熟悉网络配置文件入手
　　7、linux入门大全：包括零基础入门，Linux详细介绍
　　8、Linux重启方式init 0init1 init 3 init 5 init 6 这几个启动级别都代表什么意思？
　　9、Ubuntu常用命令总结及修改DNS的多种方法总结
　　10、Linux关机各种关机命令总结
　　11、Linux基础必懂：eth0,eth1,eth2,lo是什么意思？
　　12、linux中pwd命令详解
　　13、linux之vi编辑器
　　14、linux yum命令详解
　　15、Linux下chkconfig命令详解
　　（2）、Linux安装hadoop
　　要部署集群，首先需要安装java，然后安装hadoop。首先我们还是从零基础开始。
　　我们需要下载和本地电脑相匹配的jdk，是32位的下载32位，是64位的下载64位。这里我们从最简单的入手。在这过程中，可能遇到问题的是环境变量的配置，造成命令不能识别。而这里你需要学习新的Linux知识。不过如果前面你已经配置完网络，有了这个基础，在学习新的知识，压力明显变小了。
　　下面给大家分享一下，在Linux中如何安装Java和hadoop。
　　Hadoop安装过程：Hadoop单机环境搭建权威指南（ubuntu）
　　安装完毕，我们该怎么用，该怎么测试安装成功。
　　集群安装完毕，该如何测试和使用集群-hadoop单机
　　通过上面帖子，我们很容易安装完成，如果是刚熟悉Linux，需要补充下面知识，才能顺利完成。
　　linux中Java jdk环境变量的含义
　　linux(ubuntu)安装Java jdk环境变量设置总结
　　Linux中source命令学习
　　linux文件目录特殊符号的含义，总结以备以后查询
　　（三）JAVA语言
　　（1）了解Java
　　Java包含下面三种

• 　　J2EE java企业版，主要用于web开发
  
• 　　J2SE java 标准版，主要用于WEB开发，但是缺少企业版的一些特性，一般情况下java下的应用都是指J2SE的开发。
  
• 　　J2ME java 微小版，主要用于手机等的开发
  

　　因此如果我们想处理、并展示数据，可以使用J2EE，更详细参考
　　hadoop开发--Java零基础之J2EE、J2SE、J2ME的区别
　　（2）JAVA使用
　　1.环境变量配置
　　对于惯用集成环境的开发者来讲，这有点不适应，比如.net，安装开发环境vs，直接开发就好了，为啥还需要配置环境变量。
　　环境变量可以让我们找到jdk的命令，这个或许.net的一点好处，就是都封装起来了。别的不用关心了。对于环境变量，我们需要配置java_home,path路径，更详细参考：
　　hadoop开发--Java零基础之开发工具环境变量配置
　　2.开发工具选择
　　开发工具有很多种，不同的人习惯不同，开发工具也不一样，这里列出个人认为比较常用：
　　1.eclipse
　　2.MyEclipse
　　3.maven
　　更多工具参考hadoop开发—Java零基础,开发选择什么开发工具比较合适
　　而其中maven可以和eclipse一起使用，也可以单独使用，后面开发中它还是比较常用的，比如我们下载hadoop源码，编译hadoop，都是需要maven来完成的。maven的学习可以参考
　　源码编译maven系列视频教程汇总
　　3.Java编译
　　Java可以一处编译处处运行，原因是因为jvm。编译后的效果，可以查看：
　　Java零基础，学习hadoop：为什么要编译Java源代码，编译后会有什么效果
　　4.如何打开Java项目
　　Java项目的开发，还是比较特别的，是通过导入的方式，折合其它比如.net项目，直接点击图标就能打开，Java项目，例如通过eclipse的import导入，详细参考：零基础教你如何导入Java项目到eclipse中
　　5.Java资源下载：
　　上面补充了一些基本的知识，可能还不够全面，如果缺少这方面的知识，自己可以上网去查找相关视频文件。
　　以上就是编者根据自己经验总结的一些学习方法，如果还有不清楚或者不明白的地方，可以自己找一些资料去补充，不断丰富和提升自己。这里可以推荐大家去查看微信服务号“大数据时代学习中心”，里面有很多免费的视频共享资源，可以去下载学习，我本人感觉还不错，尤其是针对一些细节性的讲解都很清楚，希望对大家也有帮助。