思考mysql内核之初级系列11---innodb的页编号 (摘自老杨)

zsy001

　　在上一篇里，bingxi和alex聊了关于mysql内核调试方法。前10篇是一些基础性的内容，从本篇开始，将开始描述inndob的存储结构，为了便于描述的方便，会将一些细节暂时隐去，在后续说到B时会串起来。
我们可以了解到oracle、sqlserver采用的是段、簇、页的方式进行管理。很多其他的数据库也是采用的这样的方法。本篇，bingxi和alex讨论的是页的编号。
对应的文件为：
D:\mysql-5.1.7-beta\storage\innobase\fil\fil0fil.c
D:\mysql-5.1.7-beta\storage\innobase\include\fil0fil.h

Bingxi：“alex，我们的初级系列终于开始进入存储部分了。存储这边内容，包含的还是比较多。Innodb共享存储空间而言（独立表空间也是一样，这里我们只分析共享表空间），以固定大小划分了很多个页。假设共享存储空间只有一个文件，那么编号就是从0开始，默认页大小为16k。也就是文件的大小，按照16k进行划分。假设是10M，那么就是划分为640页，编号从0-639。


现在问题来了，如果是多个文件呢，如何编号。Alex，你来看看。提示下，mysql的共享表空间，只允许最后一个文件为可扩展的。
”
Alex：“ok，我们通过代码来看这个问题。我们先配置下my.ini，内容如下：
[mysqld]
innodb_data_file_path = ibdata1:10M;ibdata2:10M:autoextend
我们看下fil_io代码的实现，
/************************************************************************
Reads or writes data. This operation is asynchronous (aio). */

ulint
fil_io(
/*===*/
/* out: DB_SUCCESS, or DB_TABLESPACE_DELETED
if we are trying to do i/o on a tablespace
which does not exist */
ulint type, /* in: OS_FILE_READ or OS_FILE_WRITE,
ORed to OS_FILE_LOG, if a log i/o
and ORed to OS_AIO_SIMULATED_WAKE_LATER
if simulated aio and we want to post a
batch of i/os; NOTE that a simulated batch
may introduce hidden chances of deadlocks,
because i/os are not actually handled until
all have been posted: use with great
caution! */
ibool sync, /* in: TRUE if synchronous aio is desired */
ulint space_id, /* in: space id */
ulint block_offset, /* in: offset in number of blocks */
ulint byte_offset, /* in: remainder of offset in bytes; in
aio this must be divisible by the OS block
size */
ulint len, /* in: how many bytes to read or write; this
must not cross a file boundary; in aio this
must be a block size multiple */
void* buf, /* in/out: buffer where to store read data
or from where to write; in aio this must be
appropriately aligned */
void* message) /* in: message for aio handler if non-sync
aio used, else ignored */
{

//1.找到对应的表空间结构
HASH_SEARCH(hash, system->spaces, space_id, space,
space->id == space_id);

……

//2.取得第一个文件结点
node = UT_LIST_GET_FIRST(space->chain);

for (;;) {
……
//文件的大小根据my.ini的配置而定
//第一个文件ibdata1是10M，因此对应的node->size为640
//第二个文件ibdata2是10M，因此对应的node->size为640
//3.假设我们查找的文件号为0-639，则对应为第一个文件。
if (node->size > block_offset) {
/* Found! */
break;
} else {
//4.假设我们查找的文件号>640，则查看是否在第二个文件中。
//假设是640，则在第二个文件的偏移量为0*16k字节处开始的一页，也就是文件开始处，也可以勉强称为第二个文件的第0页，实际上是640页。
//假设是641，则在第二个文件的偏移量为(641-640)*16k字节处开始的一页，也可以勉强称为第二个文件的第1页，实际上是641页。
block_offset -= node->size;
node = UT_LIST_GET_NEXT(chain, node);
}
}


……
//5.计算偏移量，见前面代码中的block_offset
offset_high = (block_offset >> (32 - UNIV_PAGE_SIZE_SHIFT));
offset_low = ((block_offset << UNIV_PAGE_SIZE_SHIFT) & 0xFFFFFFFFUL)
+ byte_offset;

……
//6.进行aio操作，offset_low指相对于文件头的字节偏移，len指长度，即获得长度，通常为16k
ret = os_aio(type, mode | wake_later, node->name, node->handle, buf,
offset_low, offset_high, len, node, message);
……
return(DB_SUCCESS);
}
因此，两个文件时的页编号在本例中如图2:


同样，假设有3个文件。对应的大小分别为xMB，yMB，zMB。则第一个文件的编号为0---x*1024/16-1，第二个文件的编号为x*1024/16---(x+y)*1024/16-1，第三个文件的页编号为(x+y)*1024/16---(x+y+z)*1024/16-1。最后一个文件的大小是可变的，可参考fil相关代码。
Bingxi，页编号就是这么回事情了。每个页会一个编号，因此在每一页的开始处，会有38个字节用于描述本页。定义的是相对于页头的偏移量。
/* The byte offsets on a file page for various variables */
#define FIL_PAGE_SPACE_OR_CHKSUM 0 /* in < MySQL-4.0.14 space id the
page belongs to (== 0) but in later
versions the 'new' checksum of the
page */
//这里记录的是页号
#define FIL_PAGE_OFFSET 4 /* page offset inside space */
//有时候页是连在一起的，比如所引页，这里通过prev和next指向前一页，后一页。
//需要注意的是，假设本页是第n页，下一页不需要是n+1，上一页也不需要是n-1
#define FIL_PAGE_PREV 8 /* if there is a 'natural' predecessor
  of the page, its offset */
#define FIL_PAGE_NEXT 12 /* if there is a 'natural' successor
of the page, its offset */
//页中最新日志的日志序列号
#define FIL_PAGE_LSN 16 /* lsn of the end of the newest
modification log record to the page */
//页的类型
#define FIL_PAGE_TYPE 24 /* file page type: FIL_PAGE_INDEX,...,
2 bytes */
#define FIL_PAGE_FILE_FLUSH_LSN 26 /* this is only defined for the
first page in a data file: the file
has been flushed to disk at least up
to this lsn */
#define FIL_PAGE_ARCH_LOG_NO_OR_SPACE_ID 34 /* starting from 4.1.x this
contains the space id of the page */
//这里的38表示的是长度
#define FIL_PAGE_DATA 38 /* start of the data on the page */
因此文件划分为很多页，每一页有38个字节用于描述页头。而我们知道的是，共享存储空间是有很多数据库共同使用的，假设有如下的操作顺序：
1） 创建表1，并插入数据
2） 创建表2，并插入数据
3） 表1插入数据
4） 表2插入数据
如果我们每次分配一个页，就会存储得很凌乱。可能第n页属于t1,n+1页属于t2，n+3页属于t1,n+4页属于t2，……
这样会降低io读写性能，连续读取性能会更好些，减少了磁头的频繁移动。Bingxi，你觉得mysql是怎么解决这个问题的呢？
”
Bingxi：“ok，这里面就引出了一个新的结构：簇。簇是连续的页，数量为64页。这个我们下篇讲。”
Alex：“ok”