Hadoop配置文件core-site.xml

2211we

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73

<property> <name>fs.defaultFS</name>     <value>hdfs://ns1</value>   <description>缺省文件服务的协议和NS逻辑名称，和hdfs-site里的对应此配置替代了1.0里的 fs.default.name，ns1 与 hdfs-site.xml中的dfs.nameservices配置项对应</description> </property> <property> <name>hadoop.tmp.dir</name>     <value>/hadoop/1/tmp/hadoop-${user.name}${hue.suffix}</value>   <description>A base for other temporary directories.存放一些解压jar包后的class文件，类似 hadoop-unjar3569575687995621667，hdfs-site.xml配置文件中 dfs.namenode.name.dir；dfs.datanode.data.dir；dfs.namenode.checkpoint.dir等 配置项会用到该配置项内容</description> </property> <property>         <name>io.compression.codecs</name>         <value>             org.apache.hadoop.io.compress.DefaultCodec,             org.apache.hadoop.io.compress.GzipCodec,             com.hadoop.compression.lzo.LzopCodec,             org.apache.hadoop.io.compress.BZip2Codec,             org.apache.hadoop.io.compress.SnappyCodec,             org.apache.hadoop.io.compress.Lz4Codec         </value>         <description>提供压缩/解压的java工具</description> </property> <property>         <name>io.file.buffer.size</name>         <value>131072</value>  128M         <description>SequenceFiles在读写中可以使用的缓存大小，在x86系统上一般配置4096倍数；决定了在读写过程当中，有多大的缓存</description> </property> <property>         <name>ha.zookeeper.quorum</name>         <value>nn1.cc.bi:2181,nn2.cc.bi:2181,s1.cc.bi:2181</value>           <description>A list of ZooKeeper server addresses, separated by commas, that are to be used by the ZKFailoverController in automatic failover</description> </property> <property>         <name>ipc.client.connection.maxidletime</name>         <value>60000</value>         <description>超出客户端与服务器连接的最大空闲期maxidletime，断开服务器与客户端的连接</description> </property> <property>         <name>io.seqfile.compression.type</name>         <value>BLOCK</value>           <description>Hadoop SequenceFile 是一个由二进制形式key/value的字节流组成的存储文件,SequenceFile可压缩可切分，非常适合hadoop文件存储特 性,SequenceFile的写入由SequenceFile.Writer来实现, 根据压缩类型SequenceFile.Writer又派生出两个子类SequenceFile.BlockCompressWriter和 SequenceFile.RecordCompressWriter, 压缩方式由SequenceFile类的内部枚举类CompressionType来表示，定义了三种方式[NONE|RECORD|BLOCK]， CompressionType.NONE 时 记录信息不压缩 CompressionType.RECORD 时 记录信息压缩(单条记录压缩) CompressionType.BLOCK  一个block内会有多条记录组成,压缩是作用在block之上的，比RECODE方式能获得更好的压缩比 </description> </property> <property>     <name>topology.script.file.name</name>     <value>/usr/local/hadoop/etc/hadoop/topology.sh</value>     <description>机架识别脚本</description> </property>