yanghongjun 发表于 2016-11-21 07:15:11

PostgreSQL的数据存储(三)---数据缓存去和数据存储层的接口

2.2良好的接口层抽象
  通过研究f_smgr数据结构,我们可以清晰分解出如下IO函数需要的操作:
  接口名称
  接口下层函数
  功能
  smgr_init
  mdinit
  初始化一些系统需要的状态等,调用关系如下:
  smgrinit
  BaseInit
  AutoVacLauncherMain
  AutoVacWorkerMain
  AuxiliaryProcessMain
  PostgresMain
  从上面的调用关系可以看出,系启动的过程中,完成初始化的工作
  smgr_create
  mdcreate
  创建一个“relation”(注意PG中,此处的“relation”指的是一个表的数据,而对象的定义,诸如视图、序列等,都是存储对的定义在系统表pg_class中,没有外存可见的文件存在)
  smgrcreate
  fsm_extend
  RelationCreateStorage
  smgr_redo
  ATExecSetTableSpace
  vm_extend
  XLogReadBufferExtended
  从上面的调用关系可以看出,新建、扩展、日志重做等操作会调用到创建relation。
  smgr_read
  mdread
  从指定的“relation”中读出指定块的数据到“数据缓冲区”,物理读操作。
  smgrread
  ReadBuffer_common
  ReadBufferExtended
  ReadBufferWithoutRelcache
  copy_relation_data
  从上面的调用关系可以看出,物理读操作,只与数据缓冲区打交道
  smgr_prefetch
  mdprefetch
  从外存上预先读入数据到数据缓冲区。
  f_smgr.smgr_prefetch
  f_smgr
  smgrprefetch
  PrefetchBuffer
  BitmapHeapNext
  ExecBitmapHeapScan
  ExecProcNode
  LocalPrefetchBuffer
  PrefetchBuffer
  从上面的调用关系可以看出,预取功能是为bitmap扫描做的。除此外,本函数是为异步IO做的,但实际上PG还是采用的同步IO函数实现的本函数,
  smgr_write
  mdwrite
  物理写操作,把数据缓冲区中的信息,刷出到外存
  f_smgr.smgr_write
  f_smgr
  smgrwrite
  FlushBuffer
  FlushRelationBuffers
  LocalBufferAlloc
  _bt_blwritepage
  从上面的调用关系可以看出,物理写操作,都是与数据缓存区层打交道。
  smgr_nblocks
  mdnblocks
  计算一个“relation”所使用的块(8k一个块)的个数
  smgr_extend
  mdextend
  一个“relation”空间不够的时候,自动扩展文件大小
  smgr_truncate
  mdtruncate
  对一个“relation”空间做截断操作
  smgr_immedsync
  mdimmedsync
  刷出一个“relation”的内容到外存
  smgr_pre_ckpt
  mdpreckpt
  做checkpoint之前,预先做一些操作
  smgr_sync
  mdsync
  同步刷出数据到外存。(恢复过程中使用,暂不研究)
  smgr_post_ckpt
  mdpostckpt
  做checkpoint之后,收尾做一些操作(删除一些在事务没有完成前不能删除的文件)
  smgr_exists
  mdexists
  判断外存文件是否存在
  smgr_unlink
  mdunlink
  删除一个外存文件(一个“relation”)
  smgr_close
  mdclose
  关闭一个外存文件(一个“relation”)
  smgr_shutdown
  NULL
  系统关闭时,存储系统是否需要做些收尾工作,如果需要,可以置于此
  以上函数,init可以对应shutdown,open对应close,read对应write,create对应unlink,其他操作,是一些辅助类型的操作,但是必要。如,计算块的个数、文件扩展、截断、文件是否存在等等。注意,理解这些操作,就能理解一个接口层,抽象后,可以支持哪些操作了。
在数据缓冲区改进方式中,我们曾经提出,使用异步IO改进数据库系统的效率,如果我们改造存储层,则可以先从这一层做起,但接口的抽象,基本类似于上述内容。
页: [1]
查看完整版本: PostgreSQL的数据存储(三)---数据缓存去和数据存储层的接口