Hadoop 从零开始（1） ——CentOS 安装配置

qbniojzhbv · 发表于 2016-5-12 07:17:22

Hadoop 从零开始（1）
——CentOS 安装配置

1、 准备安装
（1.1-2.2节大多来自鸟哥的Linxu私房菜与Linux公社，在VMwareWorkstation中安装Linxu虚拟机请直接跳至2.3节，但我还是希望您能接着看下去，细节往往决定之后的很多问题，当然在虚拟机中很多设置我们不会遇到，但这却是我们需要了解的）

1.1 系统简介

CentOS 是什么？

CentOS 是一个基于 Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 CentOS 会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一个安全、低维护、稳定、高预测性、高重复性的Linux 环境。
CentOS（Community Enterprise Operating System）是Linux发行版之一，它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定性的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同，在于 CentOS 并不包含封闭源代码软件。

CentOS 是一个开源软件贡献者和用户的社区。它对 RHEL 源代码进行重新编译，成为众多发布新发行版本的社区当中的一个，并且在不断的发展过程中，CentOS 社区不断与其他的同类社区合并，使CentOS Linux逐渐成为使用最广泛的RHEL 兼容版本。CentOS Linux 的稳定性不比 RHEL 差，唯一不足的就是缺乏技术支持，因为它是由社区发布的免费版。CentOS Linux 与 RHEL 产品有着严格的版本对应关系，例如使用 RHEL4 源代码重新编译发布的是 CentOS Linux 4.0，RHEL5 对应的是CentOS Linux 5.0，RHEL6 对应的是

CentOS Linux 6。由于 RHEL 产品的生命周期较长（通常具有 3~5 年的官方支持），因此Red
Hat 公司在 RHEL 系列产品发布后每隔一段时间，都会将累积的更新程序重新打包成为更新的发行版进行发布，通常称为 RHELUpdate。
例如，RHEL5 的第1 个更新版本叫做RHEL 5 Update1，用户通常也称为RHEL 5.1。对 Red Hat 公司发布的每一个RHEL Update CentOS 社区都会发布对应的更新发行版，例如根据 RHEL 5 的Update 1 更新程序源码包，CentOS会重新编译并打包发布 CentOS Linux 5.1 版。CentOS Linux 和与之对应版本号的 RHEL 发行版具有软件包级别的二进制兼容性，即某个 RPM 软件包如果可以安装运行在 RHEL 产品中，就可以正常地安装运行在对应版本的 CentOS Linux 中。CentOS Linux 由于同时具有与 RHEL 的兼容性和企业级应用的稳定性，又允许用户自由使用，因此得到了越来越广泛的应用。

CentOS 特点

 可以把 CentOS 理解为 Red Hat AS 系列！它完全就是对 Red Hat AS进行改进后发布的！各种操作、使用和 RED HAT 没有区别！
 CentOS 完全免费，不存在RED HAT AS4 需要序列号的问题。

CentOS 独有的 yum 命令支持在线升级，可以即时更新系统，不像RED HAT 那样

需要花钱购买支持服务！
    CentOS 修正了许多 RED HAT AS的 BUG！
    CentOS 版本说明： CentOS3.1 等同于 RED HAT AS3 Update1 CentOS3.4 等同于
RED HAT AS3 Update4 CentOS4.0 等同于 RED HAT AS4。

1.2 安装版本

本次安装我们选择 CetOS6.0 版本，下面从几个方面介绍一下这个版本。

    集成基于内核的虚拟化。CentOS 6.0 集成了基于内核的虚拟化，将 KVM 管理程序完全集成到内核中。这样的功能可以帮助 CentOS 6.0 用户在主机之间轻松迁移虚拟机，更加灵活地部署和管理 IT资源，有效为企业节省资源。利用内核的硬件抽象使应用程序能够独立于底层硬件，并且提高 CPU 和内存可扩展性，使每个服务器可容纳更多虚拟机。
   提升系统和资源管理功能。基于标准的 Linux 可管理性规范（SBLIM）使用基于 Web 的企业管理（WBEM）来管理系统。用 Dracut 取代 mkinitrd，最大限度地减少底层硬件改变的影响，更易于维护，并使支持第三方驱动程序更容易。
   加强电源管理，按时的内核改进使 CentOS 6.0 可以将没有活动任务的处理器置为空闲状态，以达到降低CPU的温度和更进一步减少能耗。
   在一种叫做控制组（即 cgroups）的新框架的帮助下 CentOS 6.0 提供对硬件资源的细颗粒度控制、分配和管理。cgroups 运行在进程组水平上，可被用于为应用管理从 CPU、内存、网络和硬盘 I/O 的资源。
   增强了系统的可靠性、可用性和适用性。CentOS6.0 利用新硬件能力提供热插拔特性，并且可以通过 AER 的 PCIe 设备的增强错误检查。CentOS 6.0 包括高级数据完整性特性（DIF/DIX）。这类特性通过硬件检查和检验来自应用的数据。自动缺陷报告工具（ABRT）的引进提供了确定和报告系统异常情况，包括内核故障和用户空间应用崩溃等。
   改进了可伸缩性和内核性能。CentOS6.0 提供了适应未来系统的可伸缩性，其可伸缩性能力从对大量 CPU 和内存配置的优化的支持到处理更多数量的系统互联总线
和外设的能力。在虚拟化变得同裸机部署一样无处不在之时，这些能力适合于裸机环境和虚拟化环境。
    CentOS 6.0 改进了内核性能，可以通过让更高优先级的进程在最低限度的较低优先级处理干扰的条件下，更公平地在处理器之间分配计算时间。同时 CentOS 6.0 将多种多处理器锁同步进行改进，以消除不必要的锁定事件、用睡眠锁定代替许多旋转（spin）锁定和采用更高效的锁定基元。
    稳定的应用程序开发与生产平台。CentOS 6.0 是一个高性能、高度可扩展、分布式、基于内存的对象缓存系统，大大提高了动态 Web 应用程序的速度。在 Web 基础架构上主要改进了 Apache、 Squid 和 Memcached三个方面的改进。在 Java 性能支持上，CentOS6.0 和 OpenJDK的紧密集成包括在 SystemTap 中支持 Java 探测器，从而可支持更好的 Java 调试。同时，CentOS6.0 也在逐步完善 Tomcat 6 的支持。

官方网站与文档

官方主页： http://www.centos.org/

　　

官方Wiki： http://wiki.centos.org/
官方中文文档：http://wiki.centos.org/zh/Documentation
安装说明： http://www.centos.org/docs/

1.3 硬件信息

现在 Linux 发行版的安装程序的硬件识别能力都比较强，即使不查询什么硬件信息，安装操作系统也没有什么大问题，不过对于非常新的硬件和笔记本电脑这样比较特殊的设备，还是建议在网络上查询一下相关硬件的信息，以确保硬件可以被驱动。这里列举几种可能需要重点考察的硬件，对于任何一种发行版都需要注意如下这些问题。

   主板芯片组支持。这是一组比较重要的硬件信息，可能影响到硬盘是否可以使用、可以启用 UDMA，是否可以使用 ACPI或 APM 电源管理等。这里的支持程序总是和内核版本相关的，考察的时候要注意对应的内核版本。
   网络设备支持。目前，对于一般用户主要是以太网卡和无线网卡，有些无线网卡的驱动还没有被整合进内核，但确实已经有驱动支持了。
   声卡。Linux 对声音芯片的支持在历史上饱受诟病，但自从 ALSA（Advanced Linux Sound Architecture）诞生以来，这个问题已经得到了很大程序的缓解，现在，ALSA 是 2.6 内核的一部分。不过，仍然有一些声卡问题不时地出现。特别的，目前大多数的用户使用的是主板板载声卡，在安装系统之前应该考察一下 Linux 内核对该主板芯片声效功能的支持。
   显卡。主流的显卡目前都可以得到支持，如果需要的话，看一下显卡芯片的厂商、型号、显存大小基本就可以了，如果希望省事的话，可以考虑选择性能虽然不强，但开源驱动的稳定性和性能最好的 Intel 整合显卡，而追求高性能显卡的用户可以考虑 NVIDIA 芯片并在日后使用官方的驱动程序，来获得更好的 3D 性能，ATI/ADM显卡目前的 Linux 驱动是不理想的，但 AMD 已经开放了芯片的技术规范，未来一定会得到开源驱动的良好支持。
   其他外设。USB 键盘和鼠标一般都可以被支持，少数最低端的硬盘盒的移动硬盘可能不会被支持，摄像头这些小硬件大部分都可以被支持了，另外就是一些笔记本电脑，需要考察一下。

为了有备无患，要考察的信息还是比较多的，除了上网查找和询问周围的朋友外，使用
Live CD 进行体验也是一个很不错的办法。

1.4 硬盘分区

在计算机上安装 Linux 系统，对硬盘进行分区是一个非常重要的步骤，下面介绍几个分区方案。

   方案 1（桌面）
/boot：用来存放与Linux 系统启动有关的程序，比如启动引导装载程序等，建议大小为 100MB。
/：Linux 系统的根目录，所有的目录都挂在这个目录下面，建议大小为 5GB 以上。

　　

/home：存放普通用户的数据，是普通用户的宿主目录，建议大小为剩下的空间。
swap：实现虚拟内存，建议大小是物理内存的 1~2 倍。

   方案 2（服务器）
/boot：用来存放与 Linux 系统启动有关的程序，比如启动引导装载程序等，建议大小为 100MB。
/usr：用来存放 Linux 系统中的应用程序，其相关数据较多，建议大于3GB 以上。
/var：用来存放Linux 系统中经常变化的数据以及日志文件，建议大于 1GB 以上。
/home：存放普通用户的数据，是普通用户的宿主目录，建议大小为剩下的空间。
/：Linux 系统的根目录，所有的目录都挂在这个目录下面，建议大小为 5GB 以上。
/tmp：将临时盘在独立的分区，可避免在文件系统被塞满时影响到系统的稳定性。建议大小为 500MB 以上。
swap：实现虚拟内存，建议大小是物理内存的 1~2 倍。

2、光盘安装

2.1 安装引导

首先要设置计算机的 BIOS 启动顺序为光驱启动，保存设置后将安装光盘放入光驱，重新启动计算机。
计算机启动以后会出现如下图所示的界面。

http://onexin.iyunv.com/source/plugin/onexin_bigdata/file:///C:UsersCTAppDataLocalTempmsohtmlclip11clip_image003.png

备注：如果你确定你所下载的DVD 或光盘没有问题的话，那么这里可以选择‘Skip’，
不过，你也可以按下‘OK’来进行 DVD 的分析，因为通过DVD的分析后，后续的安装比较不会出现奇怪的问题。不过如果你按下‘OK’后，程式会开始分析光盘内的所有文件的资讯，会花非常多的时间喔！

2.3 安装欢迎界面

当检测完电脑硬件信息后，会进入欢迎界面。
当您在VMware中安装虚拟机时，会直接进此界面（当然之前会显示一些硬件配置确定的信息等等），这里专注于Linux本身与Hadoop相关的知识，如果您对VMware与虚拟机不甚了解，请参考以下链接：http://wenku.baidu.com/view/3e4e9c2ded630b1c59eeb5a3.html
2.4 选择安装过程中的语言

http://onexin.iyunv.com/source/plugin/onexin_bigdata/file:///C:UsersCTAppDataLocalTempmsohtmlclip11clip_image006.jpg
2.5 选择键盘布局类型

选择完安装过程中的语言后，单击“下一步”按钮进入如下图所示的界面，选择键盘类型一般默认会选择“美国英语式（U.S.English）”，即美式键盘，在此使用默认的选择。
http://onexin.iyunv.com/source/plugin/onexin_bigdata/file:///C:UsersCTAppDataLocalTempmsohtmlclip11clip_image010.jpg

备注：基本存储设备：用于台式机和笔记本等等；指定存储设备：用于服务器等等。

2.7 初始化硬盘

如果硬盘上没有找到分区表，安装程序会要求初始化硬盘。此操作使硬盘上的任何现有数据无法读取。如果您的系统具有全新的硬盘没有操作系统安装，或删除硬盘上的所有分区，则单击 “重新初始化”。



备注：安装程序将为您提供一个单独的对话框，为每个磁盘，它无法读取一个有效的分
区表。单击“忽略所有”按钮，或“重新初始化所有”按钮，可将应用到所有设备相同的答案。

2.8 设置主机名与网络

           主机名设置
           这里，主机名，建议设置为可明确知晓机器性质的名称，一般地，我们使用Master指代Hadoop的NameNode，使用Slaver指代Hadoop的数据节点等等。
设置固定 IP
选择『配置网络』『有线』『eth0』『编辑』，弹出编辑窗口上选择“IPv4 设置”，打开“方法”边上的下拉菜单，选择“手动”。单击 “添加”按钮，依次输入本机的 IP、子网掩码、网关。在下面的“DNS 服务器”处输入 DNS地址。最后，点击“应用”按钮即可。

2.10 设置管理员密码

下面是最重要的“系统管理员的口令”设置，如下图所示。在 Linux 中，系统管理员的默认名称为 root，请注意，这个口令很重要。至少 6 个字符，可以含有特殊符号，并要记好。


备注：当你设置好进入下一步时，由于你的密码可能设置的过于简单，此时会弹出一个对话框，如果你要坚持你设置的密码，可以选择“无论如何都是用”。

2.11 磁盘分区配置

为方便大家分区硬盘，CentOS 预设给了我们分区模式，分别为：



备注：我们实际是直接选的是“使用所有空间”，当时就是图方便，但实际工作中却要
按照实际的要求对硬盘进行分区，合理利用硬盘。而这里选择“创建自定义布局”，按照 1.4
小节给出的服务器分区方案对硬盘重新分区。

　　

下面是对每个选项的详细介绍：

    使用所有空间（Use All Space ）：选择此选项，删除您硬盘上的所有分区（这包括如 Windows 的 NTFS 分区 VFAT 或其
他操作系统创建的分区）。
   替换现有的 Linux 系统（Replace Existing Linux System）：选择此选项，以消除先前的 Linux 安装创建的分区。这不会删除其他分区（如 VFAT
或 FAT32 分区），你可能对您的硬盘驱动器。
   缩小现有系统（Shrink Current System）：选择此选项，调整当前的数据和分区安装在手动释放的空间是一个默认的红帽企业
Linux 布局。
   使用剩余空间（Use Free Space）：选择此选项以保留您当前的数据和分区并安装在未使用的存储驱动器上的空间可用的
Scientific。确保有足够的存储驱动器上的可用空间，然后再选择此选项。
   创建自定义布局（Create Custom Layout）：选择此选项，手动存储设备进行分区并创建自定义布局。
下面是“创建自定义布局”的步骤：第一步：选择“创建自定义布局”，按“下一步”按钮；如下图所示。



第二步：创建“/boot”
选择要分区的空闲空间，按下“创建”后，就会出现如下的画面。选择“标准分区”后，点击“生成”。

　　



挂载点：选择“/boot”；文件系统类型：使用默认“Ext4 日志文件系统”；大小：输入
分配的大小 100，以 MB 为单位；其它大小选项：选择“固定大小”；点“确定”按钮。


第三步：创建“/” 继续选择空闲空间，按下“创建”后，就会出现如下的画面。选择“标准分区”后，点
击“生成”。
挂载点：选择“/”；文件系统类型：使用默认“Ext4 日志文件系统”；大小：输入分配的大小 5000，以 MB 为单位；其它大小选项：选择“固定大小”；点“确定”按钮。

　　


第四步：创建交换空间
继续选择空闲空间，点“创建”后，就会出现如下的画面。选择“标准分区”后，点击 “生成”。
文件系统类型：选择“swap”；大小：输入分配的大小 1000，以 MB 为单位；其它大小选项：选择“固定大小”。点“确定”按钮。



　　

备注：“交换空间”用于实现虚拟内存，建议大小是物理内存的 1~2 倍。
第五步：创建“/usr” 继续选择空闲空间，按下“创建”后，就会出现如下的画面。选择“标准分区”后，点
击“生成”。
挂载点：选择“/usr”；文件系统类型：使用默认“Ext4 日志文件系统”；大小：输入分配的大小 3000，以 MB 为单位；其它大小选项：选择“固定大小”；点“确定”按钮。


第六步：创建“/var” 继续选择空闲空间，按下“创建”后，就会出现如下的画面。选择“标准分区”后，点
击“生成”。
挂载点：选择“/var”；文件系统类型：使用默认“Ext4 日志文件系统”；大小：输入分配的大小 1000，以 MB 为单位；其它大小选项：选择“固定大小”，点“确定”按钮。
备注：图与第五步基本相同，故略。第七步：创建“/tmp” 继续选择空闲空间，按下“创建”后，就会出现如下的画面。选择“标准分区”后，点
击“生成”。
挂载点：选择“/tmp”；文件系统类型：使用默认“Ext4 日志文件系统”；大小：输入分配的大小 500，以 MB 为单位；其它大小选项：选择“固定大小”，点“确定”按钮。
备注：图与第五步基本相同，故略。第八步：“/home”分区继续选择空闲空间，点“创建”后，就会出现如下的画面。选择“标准分区”后，点击
“生成”。
挂载点：选择“/home”；文件系统类型：使用默认“Ext4 日志文件系统”；其它大小选项：选择“使用全部可用空间”，点“确定”按钮。

　　



至此，分区已全部创建完毕，如果不满意，还可以点击“重设”按钮进行更改。如果确
定，就点“下一步”按钮后，弹出“是否格式化以下已存在的硬盘”，选择“格式化”。


安装程序会提示您确认您所选的分区选项。单击“将修改写入磁盘”，以允许安装程序在您的硬盘进行分区，并安装系统更改。

　　



2.12 引导装载程序设置

可选的类型说明如下：
    Desktop：基本的桌面系统，包括常用的桌面软件，如文档查看工具。
    Minimal Desktop：基本的桌面系统，包含的软件更少。
    Minimal：基本的系统，不含有任何可选的软件包。
    Basic Server：安装的基本系统的平台支持，不包含桌面。
    Database Server：基本系统平台，加上 MySQL 和 PostgreSQL数据库，无桌面。
    Web Server：基本系统平台，加上 PHP，Web server，还有 MySQL 和 PostgreSQL
数据库的客户端，无桌面。
   Virtual Host：基本系统加虚拟平台。
   Software Development Workstation：包含软件包较多，基本系统，虚拟化平台，桌面环境，开发工具。

备注：我们这里安装 Linux 是作为服务器使用，没有必要安装图形界面，故选择的是最小化安装（Minimal），如果想安装图形界面，可以选择桌面安装（Desktop）。

因为上一步我们选择的是最小化安装（Minimal），所以在以下软件包设置画面中，所有的软件包默认都是没有被选中的状态。这里我们只选择我们需要的软件包来安装。

首先，选中「基本系统」中的「基本」。

　　



然后，选中「开发」中的「开发工具」。



最后，在「语言支持」中选中「中文支持」。如果您有支持其他语言的需要，也可以在
这里一并选择。最后点击“下一步”，开始安装。

　　



2.14 开始安装Linux系统

3、环境设置

在 CentOS 6 刚刚安装好之后，默认的安全设置以及服务启动等等可能并不符合我们的需求，所以在搭建各种系统服务之前，我们先将系统环境设置为最为简洁的状态，在以后开通各种服务的时候，在按照服务的需求来进行具体的定制。

3.1 建立一般用户

root 用户拥有控制整个系统的最高权限（不尽然），如果在一般的操作中我们用 root 来进行，很容易不小心对系统造成误删、误更改等操作，所以我们首先建立一般用户，用一般用户来应付日常的系统操作。



　　

在一般用户建立成功以后，我们就可以用一般用户来登录系统进行日常的系统管理。在
一些需要 root 权限的情况，我们可以通过以下方式在一般用户的登录状态下直接登录为
root 用户来进行需要 root 权限的操作。



如以上示范，我们可以在一般用户登录的状态下通过“su -”命令来直接登录为 root 用户。

3.2 关闭防火墙及SELinux

防火墙问题在Linux下历来是我们所要关注的重点。由于现阶段我们的系统主要用于开发测试等等公用，所以务必将防火墙关闭而保证我们所进行的一系列操作可以很好的进行，相应的我们也暂时不需要SELinux这种强制性的访问控制，它也将严重影响我们对于系统的所谓“越界”操作，这里的设置都是为了之后的Hadoop以及其他服务器的配置可以准确完成。
关闭防火墙



关闭 SELinux

3.3 关闭不需要的服务

备注：本文档所有的截图并不是当时实际安装，而是为了编写此文档在虚拟机上安装时截的图，所以个别图上的信息反映的是虚拟机的硬件信息，在实际中则不一样，安装时请注意细微差别

特别鸣谢：（本文部分资料来源，排名分先后）
鸟哥的Linux私房菜（第三版）基础学习篇
Linux公社
百度百科
维基百科

账号		自动登录	找回密码
密码			立即注册

大疆运维招人啦，

C++ :try 语句块和异常处理

C++的多态

Red Hat RHCE 8 (EX294) Cert Guide

Java/C++ 区别：看完这一篇，就够用！

别再用过时库了！这 13 个顶级 C++ 库才是

c++ size_t 和 int 的区别

[经验分享] Hadoop 从零开始（1） ——CentOS 安装配置

浏览过的版块

扫码加入运维网微信交流群