xywuyiba8 发表于 2017-5-23 17:36:23

kafka partition文件存储结构

  partition相当于一个大文件呗平均分成多个segment数据文件,每个segment尤两个两个文件构成***.index(索引文件)和***.log(数据文件)组成
  直接上两张图就一目了然了
  


 
 
优点:

[*]文件的命名相当于查找的稀疏索引,省去索引文件
[*]每个segment索引又是一个稀疏索引减少索引文件的大小
  but:查找起来需要消耗更多的时间
查找步骤:

[*]二分查找定位到segment
[*]查找segment定位log在数据文件的相对物理位置
[*]读取数据
  最后甩个链接
  http://tech.meituan.com/kafka-fs-design-theory.html
页: [1]
查看完整版本: kafka partition文件存储结构