MySQL数据库性能优化之缓存参数优化

cheng029

在平时被问及最多的问题就是关于MySQL数据库性能优化方面的问题，所以最近打算写一个MySQL数据库性能优化方面的系列文章，希望对初中级MySQL DBA以及其他对MySQL性能优化感兴趣的朋友们有所帮助。
数据库属于IO密集型的应用程序，其主职责就是数据的管理及存储工作。而我们知道，从内存中读取一个数据库的时间是微秒级别，而从一块普通硬盘上读 取一个IO是在毫秒级别，二者相差3个数量级。所以，要优化数据库，首先第一步需要优化的就是IO，尽可能将磁盘IO转化为内存IO。本文先从MySQL 数据库IO相关参数(缓存参数)的角度来看看可以通过哪些参数进行IO优化：
•query_cache_size/query_cache_type (global)
Query cache作用于整个MySQL  Instance，主要用来缓存MySQL中的ResultSet，也就是一条SQL语句执行的结果集，所以仅仅只能针对select语句。当我们打开了  Query Cache功能，MySQL在接受到一条select语句的请求后，如果该语句满足Query  Cache的要求(未显式说明不允许使用Query Cache，或者已经显式申明需要使用Query  Cache)，MySQL会直接根据预先设定好的HASH算法将接受到的select语句以字符串方式进行hash，然后到Query  Cache中直接查找是否已经缓存。也就是说，如果已经在缓存中，该select请求就会直接将数据返回，从而省略了后面所有的步骤(如SQL语句的解 析，优化器优化以及向存储引擎请求数据等)，极大的提高性能。
当然，Query Cache也有一个致命的缺陷，那就是当某个表的数据有任何任何变化，都会导致所有引用了该表的select语句在Query Cache中的缓存数据失效。所以，当我们的数据变化非常频繁的情况下，使用Query Cache可能会得不偿失。
Query  Cache的使用需要多个参数配合，其中最为关键的是query_cache_size和query_cache_type，前者设置用于缓存 ResultSet的内存大小，后者设置在何场景下使用Query  Cache。在以往的经验来看，如果不是用来缓存基本不变的数据的MySQL数据库，query_cache_size一般256MB是一个比较合适的大 小。当然，这可以通过计算Query  Cache的命中率(Qcache_hits/(Qcache_hits+Qcache_inserts)*100))来进行调整。 query_cache_type可以设置为0(OFF)，1(ON)或者2(DEMOND)，分别表示完全不使用query  cache，除显式要求不使用query cache(使用sql_no_cache)之外的所有的select都使用query  cache，只有显示要求才使用query cache(使用sql_cache)。
•binlog_cache_size (global)
Binlog Cache用于在打开了二进制日志(binlog)记录功能的环境，是MySQL用来提高binlog的记录效率而设计的一个用于短时间内临时缓存binlog数据的内存区域。
一般来说，如果我们的数据库中没有什么大事务，写入也不是特别频繁，2MB～4MB是一个合适的选择。但是如果我们的数据库大事务较多，写入量比较 大，可与适当调高binlog_cache_size。同时，我们可以通过binlog_cache_use以及 binlog_cache_disk_use来分析设置的binlog_cache_size是否足够，是否有大量的binlog_cache由于内存大 小不够而使用临时文件(binlog_cache_disk_use)来缓存了。
•key_buffer_size(global)
Key  Buffer可能是大家最为熟悉的一个MySQL缓存参数了，尤其是在MySQL没有更换默认存储引擎的时候，很多朋友可能会发现，默认的MySQL配置 文件中设置最大的一个内存参数就是这个参数了。key_buffer_size参数用来设置用于缓存MyISAM存储引擎中索引文件的内存区域大小。如果 我们有足够的内存，这个缓存区域最好是能够存放下我们所有的MyISAM引擎表的所有索引，以尽可能提高性能。
此外，当我们在使用MyISAM存储的时候有一个及其重要的点需要注意，由于MyISAM引擎的特性限制了他仅仅只会缓存索引块到内存中，而不会缓存表数据库块。所以，我们的SQL一定要尽可能让过滤条件都在索引中，以便让缓存帮助我们提高查询效率。
•bulk_insert_buffer_size (thread)
和key_buffer_size一样，这个参数同样也仅作用于使用MyISAM存储引擎，用来缓存批量插入数据的时候临时缓存写入数据。当我们使用如下几种数据写入语句的时候，会使用这个内存区域来缓存批量结构的数据以帮助批量写入数据文件：
insert … select …
insert … values (…) ,(…),(…)…
load data infile… into… (非空表)
•innodb_buffer_pool_size(global)
当我们使用InnoDB存储引擎的时候，innodb_buffer_pool_size参数可能是影响我们性能的最为关键的一个参数了，他用来设 置用于缓存InnoDB索引及数据块的内存区域大小，类似于MyISAM存储引擎的key_buffer_size参数，当然，可能更像是Oracle的 db_cache_size。简单来说，当我们操作一个InnoDB表的时候，返回的所有数据或者去数据过程中用到的任何一个索引块，都会在这个内存区域 中走一遭。
和key_buffer_size对于MyISAM引擎一样，innodb_buffer_pool_size设置了InnoDB存储引擎需求最大 的一块内存区域的大小，直接关系到InnoDB存储引擎的性能，所以如果我们有足够的内存，尽可将该参数设置到足够打，将尽可能多的InnoDB的索引及 数据都放入到该缓存区域中，直至全部。
我们可以通过(Innodb_buffer_pool_read_requests – Innodb_buffer_pool_reads) /  Innodb_buffer_pool_read_requests *  100%计算缓存命中率，并根据命中率来调整innodb_buffer_pool_size参数大小进行优化。
•innodb_additional_mem_pool_size(global)
这个参数我们平时调整的可能不是太多，很多人都使用了默认值，可能很多人都不是太熟悉这个参数的作用。 innodb_additional_mem_pool_size设置了InnoDB存储引擎用来存放数据字典信息以及一些内部数据结构的内存空间大小， 所以当我们一个MySQL Instance中的数据库对象非常多的时候，是需要适当调整该参数的大小以确保所有数据都能存放在内存中提高访问效率的。
这个参数大小是否足够还是比较容易知道的，因为当过小的时候，MySQL会记录Warning信息到数据库的error log中，这时候你就知道该调整这个参数大小了。
•innodb_log_buffer_size (global)
这是InnoDB存储引擎的事务日志所使用的缓冲区。类似于Binlog  Buffer，InnoDB在写事务日志的时候，为了提高性能，也是先将信息写入Innofb Log  Buffer中，当满足innodb_flush_log_trx_commit参数所设置的相应条件(或者日志缓冲区写满)之后，才会将日志写到文件 (或者同步到磁盘)中。可以通过innodb_log_buffer_size 参数设置其可以使用的最大内存空间。
注：innodb_flush_log_trx_commit参数对InnoDB Log的写入性能有非常关键的影响。该参数可以设置为0，1，2，解释如下：
0：log buffer中的数据将以每秒一次的频率写入到log file中，且同时会进行文件系统到磁盘的同步操作，但是每个事务的commit并不会触发任何log buffer 到log file的刷新或者文件系统到磁盘的刷新操作;
1：在每次事务提交的时候将log buffer 中的数据都会写入到log file，同时也会触发文件系统到磁盘的同步;
2：事务提交会触发log buffer到log file的刷新，但并不会触发磁盘文件系统到磁盘的同步。此外，每秒会有一次文件系统到磁盘同步操作。
此外，MySQL文档中还提到，这几种设置中的每秒同步一次的机制，可能并不会完全确保非常准确的每秒就一定会发生同步，还取决于进程调度的问题。 实际上，InnoDB能否真正满足此参数所设置值代表的意义正常Recovery还是受到了不同OS下文件系统以及磁盘本身的限制，可能有些时候在并没有 真正完成磁盘同步的情况下也会告诉mysqld 已经完成了磁盘同步。
•innodb_max_dirty_pages_pct (global)
这个参数和上面的各个参数不同，他不是用来设置用于缓存某种数据的内存大小的一个参数，而是用来控制在InnoDB Buffer  Pool中可以不用写入数据文件中的Dirty  Page的比例(已经被修但还没有从内存中写入到数据文件的脏数据)。这个比例值越大，从内存到磁盘的写入操作就会相对减少，所以能够一定程度下减少写入 操作的磁盘IO。
但是，如果这个比例值过大，当数据库Crash之后重启的时间可能就会很长，因为会有大量的事务数据需要从日志文件恢复出来写入数据文件中。同时，过大的比例值同时可能也会造成在达到比例设定上限后的flush操作“过猛”而导致性能波动很大。
上面这几个参数是MySQL中为了减少磁盘物理IO而设计的主要参数，对MySQL的性能起到了至关重要的作用。

微博评论

http://t.cn/zWCGk1M 看下这个IT的职位有没有兴趣\n\n 来自 Vivian-who 的新浪微博

cyc1111

看帖回帖是美德！:lol

hx0011yy

在一辆拥挤的公车上，一位女郎忽然叫了起来：别挤啦！别挤啦！把人家的奶都挤出来啦！（她拿着酸奶呢）。

阿斯顿阿斯顿

俺从不写措字，但俺写通假字!

linuxx

生，容易。活，容易。生活，不容易。

qianqianling

不错不错，楼主您辛苦了。。。