Flume 中Sink批量参数设置调优
在Flume 配置中，Sink的参数batchSize会影响到整个流程的性能。比如说HDFSsink，它的参数称hdfs.batchSize，这样称呼是由于历史的原因，建议使用hdfs.txnEvenMax。 在sink端调优批量值设置，它依赖于相应的隧道（channel）的事务容量。sink端的批量大小应该小于或者等于channel端的事务容量，而事务容量应该设置为实际需要的最大值（channel端）。下列列举了一下优化的sink批量参数值设置。槽类型（SinkType）配置参数（Config parameter）类型值（Typical value）Avrobatch-size100HDFShdfs.batchSize, hdfs.txnEventMax1000HBaseSinkbatchSize100AsyncHBaseSinkbatchSize100
页:
[1]