【转】使用YCSB测试Mongodb性能的方法简介

泰山神

【转】使用YCSB测试Mongodb性能的方法简介
    YCSB（Yahoo! Cloud Serving Benchmark）是雅虎开源的一款通用的性能测试工具。通过这个工具我们可以对各类NoSQL产品进行相关的性能测试，包括：HBase、Cassandra、Mongodb、Voldemort、Redis等。通过配置workload文件，YCSB可以灵活的模拟不同的测试负载和读写模式，以下为YCSB测试Mongo性能步骤的简单总结。        首先，下载YCSB。在YCSB的github项目下可以查看和下载最新源码和所有Tag版本，目前最新的Tag版本为0.1.4(https://github.com/brianfrankcooper/YCSB/archive/0.1.4.zip)。下载后的ycsb-0.1.4.zip解压缩后即可直接使用，无需编译安装。在解压后的目录下，主要使用的两个目录是bin和workloads，前者包含了ycsb可执行文件，后者包含了工具自带的各类workload文件。        mongodb.url=mongodb://localhost:27017 # 待测试mongo实例的数据库地址mongodb.database=ycsb # 测试时使用的数据库名称mongodb.writeConcern=normal # 写入安全性为常规recordcount=10000000 # 测试数据集的记录条数operationcount=10000000 # 测试过程中执行的操作总数workload=com.yahoo.ycsb.workloads.CoreWorkload # workload实现类readallfields=true # 查询时是否读取记录的所有字段readproportion=0.5 # 读操作的百分比updateproportion=0.5 # 更新操作的百分比scanproportion=0 # 扫描操作的百分比insertproportion=0 # 插入操作的百分比 requestdistribution=zipfian # 请求分布模式        再次，运行YCSB。YCSB的运行分为两个阶段：测试数据加载阶段和测试操作执行阶段，前者用来加载测试数据集，后者用来执行正真的测试操作，两个阶段都要使用上面的配置文件。数据加载的执行命令为：./bin/ycsb load mongodb -threads 100 -P workloads/workloada，即根据workloada的配置要求启动100个线程并发加载测试数据，在执行完成后YCSB会打印出类似于下面的数据加载性能统计数据：[OVERALL], RunTime(ms), 905346.0 # 数据加载所用时间(毫秒)[OVERALL], Throughput(ops/sec), 11045.500836144412 # 加载操作的吞吐量(ops/sec)[INSERT], Operations, 10000000 # 执行insert操作的总数[INSERT], AverageLatency(us), 9024.8155659 # 每次insert操作的平均延时(微秒)[INSERT], MinLatency(us), 139 # 所有insert操作的最小延时(微秒)[INSERT], MaxLatency(us), 1022876 # 所有insert操作的最大延时(微秒)[INSERT], 95thPercentileLatency(ms), 27 # 95%的insert操作延时在27毫秒以内[INSERT], 99thPercentileLatency(ms), 42 # 99%的insert操作延时在42毫秒以内[INSERT], Return=0, 10000000 # 成功返回数10000000[INSERT], 0, 3793117 # 以下insert操作在各个延时时间区域的分布情况[INSERT], 1, 37171[INSERT], 2, 8035[INSERT], 3, 6294...[INSERT], 999, 0[INSERT], >1000, 5执行压力测试的命令为：./bin/ycsb run mongodb -threads 100 -P workloads/workloada，即根据workloada的配置要求启动100个线程并发执行测试操作，在执行完成后YCSB会打印出类似于下面的性能统计数据，统计项说明可参照上文：[OVERALL], RunTime(ms), 526774.0[OVERALL], Throughput(ops/sec), 18983.472988416284[UPDATE], Operations, 500675[UPDATE], AverageLatency(us), 6493.521553902232[UPDATE], MinLatency(us), 147[UPDATE], MaxLatency(us), 1096742[UPDATE], 95thPercentileLatency(ms), 18[UPDATE], 99thPercentileLatency(ms), 62[UPDATE], Return=0, 500675[UPDATE], 0, 62719[UPDATE], 1, 69850...[UPDATE], 999, 0[UPDATE], >1000, 16[READ], Operations, 9499325[READ], AverageLatency(us), 5173.494588510236[READ], MinLatency(us), 87[READ], MaxLatency(us), 1113170[READ], 95thPercentileLatency(ms), 17[READ], 99thPercentileLatency(ms), 54[READ], Return=0, 9499325[READ], 0, 3394330[READ], 1, 1187011...[READ], 999, 1[READ], >1000, 294　　posted on 2017-05-12 16:57 wuhl_89 阅读(...) 评论(...)  编辑 收藏