FreeBSD下安装配置Hadoop集群(二)

dfee

上次说到FreeBSD下搭建伪分布式，很简单，但是hadoop集群入门最难的可能就是集群的搭建和配置了，配置文件复杂，概念抽象，我尽可能简单描述真实集群的搭建和配置。



hadoop集群从启动进程上来说，分为四种进程，四种，不是四个。在实际应用中，通常每台服务器只启动两种进程。




首先是主节点和任务跟踪器。以下统称为NameNode和JobTracker




主节点在hadoop中叫namenode。负责管理调度集群的运作，跟随主节点的进程叫做jobtracker，负责计算任务的分派和接收。hadoop之所以可以负责大数据量的运算，主要是因为这个分片的概念。比如一个10G的log文件，放在hdfs上，可能你认为他在hdfs上是一个文件，但实际上，这个文件备份成了N多小块，每块保存在不同服务器的物理硬盘上。计算时，任务被分派到每个数据服务器，每个服务器只运算整个数据中的一部分，假设有10台，那么每台被分配1G数据，每个服务器就只运算1G的数据，并将数据返回给jobtracker，最后提供给用户，这样每个服务器的运算速度就都是10G的1/10。计算结果就会比单台快很多。




那么负责分派任务的就是NameNode和JobTracker，而负责数据计算和存储的，就是DataNode和TaskTracker。




也就是说，集群中可以有一台NameNode+JobTracker，但是可以有N多台DataNode和TaskTracker。




整个Hadoop集群的配置在hadoop根目录的conf/可以找到。看一下NameNode+JobTracker的配置，主要在几个xml文件中。




我在基本每个重要的配置项上都标明了注释。




core-site.xml



<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoopmaster-177.tj:9000</value>
        <!--定义hdfs namenode的主机名和端口，本机，主机名在/etc/hosts设置-->
    </property>
    <property>
        <name>io.compression.codecs</name>
        <value>org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache
.hadoop.io.compress.BZip2Codec</value>
        <!--定义hdfs使用压缩-->
    </property>
    <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
        <!--定义压缩格式和解码器类-->
    </property>
</configuration>








hdfs-site.xml



<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/opt/data/hadoop/hdfs/name,/opt/data/hadoop1/hdfs/name,/opt/data/hadoop2/hdfs/name</value>
        <!--定义hdfs namenode所使用的硬盘路径名称-->
        <description>    </description>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/opt/data/hadoop/hdfs/data /opt/data/hadoop1/hdfs/data,/opt/data/hadoop2/hdfs/data</value>
        <!--定义hdfs namenode数据存储的路径-->
        <description> </description>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>hadoopmaster-177.tj:50070</value>
        <!--定义hdfs http管理端口-->
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <value>hadoopslave-189.tj:50090</value>
        <!--定义备用节点的管理地址-->
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
        <!--定义数据的复制份数，份数越多越安全，但速度越慢-->
    </property>
    <property>
        <name>dfs.datanode.du.reserved</name>
        <value>1073741824</value>
        <!--定义du操作返回-->
    </property>
    <property>
        <name>dfs.block.size</name>
        <value>134217728</value>
        <!--定义hdfs的存储块大小，默认64M，我用的128M-->
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
        <!--权限设置，最好不要-->
    </property>
</configuration>





还有一个很重要的配置，map reduce 的配置




mapred-site.xml



<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoopmaster-177.tj:9001</value>
        <!--定义jobtracker的端口和主机-->
    </property>
    <property>
        <name>mapred.local.dir</name>
        <value>/opt/data/hadoop1/mapred/mrlocal</value>
        <!--定义mapreduce所使用的本机分发汇总数据存储路径-->
        <final>true</final>
    </property>
    <property>
        <name>mapred.system.dir</name>
        <value>/opt/data/hadoop1/mapred/mrsystem</value>
        <!--定义map reduce系统的路径-->
        <final>true</final>
    </property>
    <property>
        <name>mapred.tasktracker.map.tasks.maximum</name>
        <value>6</value>
        <!--这个很重要，定义任务map的最大槽位数，太小了会慢，太多了会内存溢出-->
        <final>true</final>
    </property>
    <property>
        <name>mapred.tasktracker.reduce.tasks.maximum</name>
        <value>2</value>
        <!--也很重要，定义任务的reduce最大槽位数，设不好结果同上-->
        <final>true</final>
    </property>
    <property>
        <name>mapred.child.java.opts</name>
        <value>-Xmx1536M</value>
        <!--mapred每个槽位所使用的内存大小，设定错误结果同上，通常是map最大数*虚拟机内存数，也就是6x1536，超过Datanode内存就会溢出-->
    </property>
    <property>
        <name>mapred.compress.map.output</name>
        <value>true</value>
        <!--定义map采用压缩输出-->
    </property>
    <property>
        <name>mapred.map.output.compression.codec</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
        <!--定义map压缩输出所使用的编解码器-->
    </property>
    <property>
        <name>mapred.child.java.opts</name>
        <value>-Djava.library.path=/opt/hadoopgpl/native/Linux-amd64-64</value>
        <!--超重要，这是能正常使用数据压缩的保证，hadoopgpl-->
    </property>
    <property>
        <name>mapred.jobtracker.taskScheduler</name>
     <property>
        <name>mapred.jobtracker.taskScheduler</name>
        <value>org.apache.hadoop.mapred.CapacityTaskScheduler</value>
    </property>
    <property>
        <name>io.sort.mb</name>
        <value>300</value>
    </property>
    <property>
        <name>fs.inmemory.size.mb</name>
        <value>300</value>
    </property>
    <property>
        <name>mapred.jobtracker.restart.recover</name>
        <value>true</value>
    </property>
</configuration>





这个就是hadoop 主节点的主要配置，最近事情太多，下次写DataNode和TaskTracker的配置。

boss44

只有假货是真的，别的都是假的!

feige850726

我答应你，往后不再哭，即使你已不在我身边。

hua001

人类继续繁忙，天使都回家乡。因为人间是人间，天堂是天堂

来看看

◆※’『*.你是我属于自己的内心安定.!!』

万达换票券

这丗界丶羙的耀眼、恶的呛眼丶