[转]关于KVM虚拟硬盘的CACHE问题

pennate

原帖由 ly58132762 于 2010-9-1 15:42 发表 这个我也正在做这方面测试。 单个文件10G，1M的块大小能达到80MB/s,零散文件也差不多50MB/s左右。 走windows samba单个文件也能到50-60MB/S,但是非常致命的是都出现过网络突然死掉几秒钟，这几秒钟网络应用是0%。这 ... 是的，我们遇到过这个问题，我当时对这个问题进行了一系列的tuning，发现出现此类故障的原因并不是在kvm的网络模块上。 之所以会出现网络利用率突然变为0%，是因为kvm的虚拟硬盘问题。 我们知道对于存储技术来说，数据写入到硬盘中，有多种针对硬盘cache的Write policy，其中常用的有两种：Write Through和Write Back，而kvm虚拟的硬盘支持多种Write policy，如果我们不指定类型的话，他默认用Write Through，也就是说他先将数据写入cache，等到数据落地之后，才算写完，而操作系统接收到硬盘返回来的已成功写入的信号之后，才会写下一段数据。 那么kvm的guest接收到了大量数据时，会通过kvm虚拟的cache，用Write Through策略写到硬盘上，但毕竟是虚拟出来的特性，在处理大量数据时，会使系统产生大量的磁盘IO操作，持续很长一段时间，这个时候硬盘因为繁忙而暂时不能继续处理IO操作，从而使系统将正在运行的windows共享拷贝暂时停止下来，等硬盘忙完后，在继续接收数据，所以就会看到网络利用率突然变为0%这一现象。 那么知道了现象的原因，在启动虚拟机的命令中加入一个参数：cache=none，以关闭kvm磁盘的cache策略，让数据可以直接落在实体硬盘上（实体机上其实也有磁盘cache的，并不需要kvm为cache操心），这时，我们在进行数据拷贝，就可以发现硬盘每秒的IO操作数量已经趋于正常水平了，直到copy完成。 ps：我以为这种问题没有人去关心：）没想到你会提出来，呵呵。