hadoop 日志错误 java.io.IOException: Premature EOF from inputStream

liti

　　hadoop 日志错误：
　　2015-03-17 11:24:25,467 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: d135.hadoop:50010:DataXceivererror processing WRITE_BLOCK operation  src: /192.168.1.118:64599 dst: /192.168.1.135:50010

java.lang.OutOfMemoryError: GC overhead limit exceeded

        at java.util.HashMap.createEntry(HashMap.java:897)

        at java.util.HashMap.addEntry(HashMap.java:884)

        at java.util.HashMap.put(HashMap.java:505)

        at java.util.HashSet.add(HashSet.java:217)


　　


　　2015-03-17 10:06:30,822 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: d135.hadoop:50010:DataXceivererror processing WRITE_BLOCK operation  src: /192.168.1.135:36440 dst: /192.168.1.135:50010

java.io.IOException: Premature EOF from inputStream

        at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:194)

        at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doReadFully(PacketReceiver.java:213)

        at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doRead(PacketReceiver.java:134)

        at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.receiveNextPacket(PacketReceiver.java:109)

        at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receivePacket(BlockReceiver.java:446)

        at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receiveBlock(BlockReceiver.java:702)

        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:739)

        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opWriteBlock(Receiver.java:124)

        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:71)

        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:232)
　　at java.lang.Thread.run(Thread.java:745)
　　


　　问题原因

文件操作超租期，实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是 4096，该参数取值范围[1 to 8192]





解决办法:

    修改每个datanode节点的hadoop配置文件hdfs-site.xml：

    增加dfs.datanode.max.transfer.threads属性的设置，设置为8192

    <property><name>dfs.datanode.max.transfer.threads</name> <value>8192</value></property>







版权声明：本文为博主原创文章，未经博主允许不得转载。