linux 性能分析

agangliu0400

　　查看性能顺序：
　　

• 　　[cpu] mpstat -P ALL 1 100  (sar -u,sar -p)
  
• 　　[network] sar -n DEV
  
• 　　[disk] sar -b,sar -d
  
• 　　[mem] sar -W,sar -r,sar -B
  
• 　　top
  
  

　　

　　历史数据查看：
　　ubuntu
　　sar /var/log/sysstat/sa
　　centos
　　sar /var/log/sa/sa12[1-31]
　　

　　优化过程：

• 　　cpu
  

　　root@python-develpment:~# cat /proc/cpuinfo | less
　　processor       : 0
　　vendor_id       : GenuineIntel
　　cpu family      : 6
　　model           : 42
　　model name      : Intel(R) Core(TM) i3-2130 CPU @ 3.40GHz
　　stepping        : 7
　　microcode       : 0x26
　　cpu MHz         : 3399.155
　　cache size      : 3072 KB
　　

　　如果上面标示红色部分差异较大，应该将cpu电源管理关掉（在bios里面调）
　　

　　2. mem
　　

　　root@python-develpment:~# cat /proc/meminfo
　　MemTotal:        3763212 kB
　　MemFree:         2071820 kB
　　MemAvailable:    2753332 kB
　　

　　最好关闭numa
　　修改启动内核加载文件，将numa=off添加进去
　　# grub.conf generated by anaconda
　　#
　　# Note that you do not have to rerun grub after making changes to this file
　　# NOTICE:  You have a /boot partition.  This means that
　　#          all kernel and initrd paths are relative to /boot/, eg.
　　#          root (hd0,0)
　　#          kernel /vmlinuz-version ro root=/dev/sda2
　　#          initrd /initrd-[generic-]version.img
　　#boot=/dev/sda
　　default=0
　　timeout=5
　　splashimage=(hd0,0)/grub/splash.xpm.gz
　　hiddenmenu
　　title CentOS (2.6.32-220.el6.x86_64)
　　root (hd0,0)
　　kernel /vmlinuz-2.6.32-220.el6.x86_64 ro root=UUID=b9e7e53c-e172-479c-aa4c-28c72492a5b6 rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD quiet SYSFONT=
　　latarcyrheb-sun16 rhgb crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM numa=off
　　initrd /initramfs-2.6.32-220.el6.x86_64.img
　　~
　　

　　或者：
　　启动数据库加上numa参数（防止内存泄露）
　　[root@mysql-master ~]# numactl --interleave=nodes mysqld
　　

　　关闭swapiness（数据库将其设置为0，内存型数据库将其关闭，swapoff）
　　[root@mysql-master ~]# sysctl -a | grep swap
　　vm.swappiness = 60
　　

　　vi /etc/sysctl.conf
　　

　　添加：vm.swappiness = 0
　　

　　执行：sysctl -p 使其生效
　　

　　

　　

　　越大越好
　　

　　3. io调度
　　{centos}
　　[root@mysql-master ~]# cat /sys/block/sdb/queue/scheduler
　　noop anticipatory deadline [cfq]
　　[root@mysql-master ~]#
　　

　　{ubuntu}
　　root@python-develpment:~# cat /sys/block/sdb/queue/scheduler
　　noop [deadline] cfq
　　

　　

总结
　　

CPU：关闭电源保护模式
　　

内存： （MySQL数据库）vm.swappiness = 0 ，仅内存数据库（redis，memcached）关闭                                  swap:swapoff,    关闭numa
文件系统： 用noatime，nobarrier挂载系统 ，IO调度策略修改为deadline。
　　

　　-----------mpstat----------------------------
　　

　　Linux CPU实时监控mpstat命令详解
简介
mpstat是Multiprocessor Statistics的缩写，是实时系统监控工具。其报告与CPU的一些统计信息，这些信息存放在/proc/stat文件中。在多CPUs系统里，其不但能查看所有CPU的平均状况信息，而且能够查看特定CPU的信息。mpstat最大的特点是：可以查看多核心cpu中每个计算核心的统计数据；而类似工具vmstat只能查看系统整体cpu情况。

语法
mpstat [-P {|ALL}] [internal [count]]
参数 解释-P {|ALL} 表示监控哪个CPU， cpu在[0,cpu个数-1]中取值
internal 相邻的两次采样的间隔时间、
count 采样的次数，count只能和delay一起使用
当没有参数时，mpstat则显示系统启动以后所有信息的平均值。有interval时，第一行的信息自系统启动以来的平均信息。从第二行开始，输出为前一个interval时间段的平均信息。
实例
查看多核CPU核心的当前运行状况信息， 每2秒更新一次
mpstat  219:45:12 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle19:45:14 all 0.04 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.9619:45:16 all 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 99.9719:45:18 all 0.00 0.07 0.07 0.00 0.00 0.00 0.00 0.00 99.87
如果要看每个cpu核心的详细当前运行状况信息，输出如下：
　　
mpstat  -P ALL 219:43:58     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle19:43:59     all    0.00    0.00    0.04    0.00    0.00    0.00    0.00    0.00   99.9619:43:59       0    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.0019:43:59       1    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00.......19:43:59      13    0.99    0.00    0.00    0.00    0.00    0.00    0.00    0.00   99.0119:43:59      14    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.0019:43:59      15    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00　　

字段的含义如下
　　
%user      在internal时间段里，用户态的CPU时间(%)，不包含nice值为负进程  (usr/total)*100%nice      在internal时间段里，nice值为负进程的CPU时间(%)   (nice/total)*100%sys       在internal时间段里，内核时间(%)       (system/total)*100%iowait    在internal时间段里，硬盘IO等待时间(%) (iowait/total)*100%irq       在internal时间段里，硬中断时间(%)     (irq/total)*100%soft      在internal时间段里，软中断时间(%)     (softirq/total)*100%idle      在internal时间段里，CPU除去等待磁盘IO操作外的因为任何原因而空闲的时间闲置时间(%) (idle/total)*100　　
计算公式如下
total_cur=user+system+nice+idle+iowait+irq+softirq
total_pre=pre_user+ pre_system+ pre_nice+ pre_idle+ pre_iowait+ pre_irq+ pre_softirq
user=user_cur – user_pre
total=total_cur-total_pre
其中_cur 表示当前值，_pre表示interval时间前的值。上表中的所有值可取到两位小数点。 -----------------------------------sar------------------------------------------
sar（System Activity Reporter系统活动情况报告）是目前 Linux 上最为全面的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等。本文主要以CentOS 6.3 x64系统为例，介绍sar命令。
sar命令常用格式
sar [options] [-A] [-o file] t [n]
其中：
例如：sar -d 3 10
t(3)为采样间隔，n(10)为采样次数，默认值是1；
-o file表示将命令结果以二进制格式存放在文件中，file 是文件名。
options 为命令行选项，sar命令常用选项如下：

-A：所有报告的总和
-u：输出CPU使用情况的统计信息
-v：输出inode、文件和其他内核表的统计信息
-d：输出每一个块设备的活动信息
-r：输出内存和交换空间的统计信息
-b：显示I/O和传送速率的统计信息
-a：文件读写情况
-c：输出进程统计信息，每秒创建的进程数
-R：输出内存页面的统计信息
-y：终端设备活动情况
-w：输出系统交换活动信息
1. CPU资源监控
例如，每10秒采样一次，连续采样3次，观察CPU 的使用情况，并将采样结果以二进制形式存入当前目录下的文件test中，需键入如下命令：
sar -u -o test 10 3
屏幕显示如下：
17:06:16 CPU %user %nice %system %iowait %steal %idle
17:06:26 all 0.00 0.00 0.20 0.00 0.00 99.80
17:06:36 all 0.00 0.00 0.20 0.00 0.00 99.80
17:06:46 all 0.00 0.00 0.10 0.00 0.00 99.90
Average: all 0.00 0.00 0.17 0.00 0.00 99.83
输出项说明：
CPU：all 表示统计信息为所有 CPU 的平均值。
%user：显示在用户级别(application)运行使用 CPU 总时间的百分比。
%nice：显示在用户级别，用于nice操作，所占用 CPU 总时间的百分比。
%system：在核心级别(kernel)运行所使用 CPU 总时间的百分比。
%iowait：显示用于等待I/O操作占用 CPU 总时间的百分比。
%steal：管理程序(hypervisor)为另一个虚拟进程提供服务而等待虚拟 CPU 的百分比。
%idle：显示 CPU 空闲时间占用 CPU 总时间的百分比。
1. 若 %iowait 的值过高，表示硬盘存在I/O瓶颈
2. 若 %idle 的值高但系统响应慢时，有可能是 CPU 等待分配内存，此时应加大内存容量
3. 若 %idle 的值持续低于1，则系统的 CPU 处理能力相对较低，表明系统中最需要解决的资源是 CPU 。
如果要查看二进制文件test中的内容，需键入如下sar命令：
sar -u -f test
2. inode、文件和其他内核表监控
例如，每10秒采样一次，连续采样3次，观察核心表的状态，需键入如下命令：
sar -v 10 3
屏幕显示如下：
17:10:49 dentunusd file-nr inode-nr pty-nr
17:10:59 6301 5664 12037 4
17:11:09 6301 5664 12037 4
17:11:19 6301 5664 12037 4
Average: 6301 5664 12037 4
输出项说明：
dentunusd：目录高速缓存中未被使用的条目数量
file-nr：文件句柄（file handle）的使用数量
inode-nr：索引节点句柄（inode handle）的使用数量
pty-nr：使用的pty数量
3. 内存和交换空间监控
例如，每10秒采样一次，连续采样3次，监控内存分页：
sar -r 10 3
屏幕显示如下：

输出项说明：
kbmemfree：这个值和free命令中的free值基本一致,所以它不包括buffer和cache的空间.
kbmemused：这个值和free命令中的used值基本一致,所以它包括buffer和cache的空间.
%memused：这个值是kbmemused和内存总量(不包括swap)的一个百分比.
kbbuffers和kbcached：这两个值就是free命令中的buffer和cache.
kbcommit：保证当前系统所需要的内存,即为了确保不溢出而需要的内存(RAM+swap).
%commit：这个值是kbcommit与内存总量(包括swap)的一个百分比.
4. 内存分页监控
例如，每10秒采样一次，连续采样3次，监控内存分页：
sar -B 10 3
屏幕显示如下：

输出项说明：
pgpgin/s：表示每秒从磁盘或SWAP置换到内存的字节数(KB)
pgpgout/s：表示每秒从内存置换到磁盘或SWAP的字节数(KB)
fault/s：每秒钟系统产生的缺页数,即主缺页与次缺页之和(major + minor)
majflt/s：每秒钟产生的主缺页数.
pgfree/s：每秒被放入空闲队列中的页个数
pgscank/s：每秒被kswapd扫描的页个数
pgscand/s：每秒直接被扫描的页个数
pgsteal/s：每秒钟从cache中被清除来满足内存需要的页个数
%vmeff：每秒清除的页(pgsteal)占总扫描页(pgscank+pgscand)的百分比
5. I/O和传送速率监控
例如，每10秒采样一次，连续采样3次，报告缓冲区的使用情况，需键入如下命令：
sar -b 10 3
屏幕显示如下：
18:51:05 tps rtps wtps bread/s bwrtn/s
18:51:15 0.00 0.00 0.00 0.00 0.00
18:51:25 1.92 0.00 1.92 0.00 22.65
18:51:35 0.00 0.00 0.00 0.00 0.00
Average: 0.64 0.00 0.64 0.00 7.59
输出项说明：
tps：每秒钟物理设备的 I/O 传输总量
rtps：每秒钟从物理设备读入的数据总量
wtps：每秒钟向物理设备写入的数据总量
bread/s：每秒钟从物理设备读入的数据量，单位为 块/s
bwrtn/s：每秒钟向物理设备写入的数据量，单位为 块/s
6. 进程队列长度和平均负载状态监控
例如，每10秒采样一次，连续采样3次，监控进程队列长度和平均负载状态：
sar -q 10 3
屏幕显示如下：
19:25:50 runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15
19:26:00 0 259 0.00 0.00 0.00
19:26:10 0 259 0.00 0.00 0.00
19:26:20 0 259 0.00 0.00 0.00
Average: 0 259 0.00 0.00 0.00
输出项说明：
runq-sz：运行队列的长度（等待运行的进程数）
plist-sz：进程列表中进程（processes）和线程（threads）的数量
ldavg-1：最后1分钟的系统平均负载（System load average）
ldavg-5：过去5分钟的系统平均负载
ldavg-15：过去15分钟的系统平均负载
7. 系统交换活动信息监控
例如，每10秒采样一次，连续采样3次，监控系统交换活动信息：
sar -    W 10 3
屏幕显示如下：
19:39:50 pswpin/s pswpout/s
19:40:00 0.00 0.00
19:40:10 0.00 0.00
19:40:20 0.00 0.00
Average: 0.00 0.00
输出项说明：
pswpin/s：每秒系统换入的交换页面（swap page）数量
pswpout/s：每秒系统换出的交换页面（swap page）数量
8. 设备使用情况监控
例如，每10秒采样一次，连续采样3次，报告设备使用情况，需键入如下命令：
# sar -d 10 3 –p
屏幕显示如下：
17:45:54    DEV    tps    rd_sec/s    wr_sec/s    avgrq-sz    avgqu-sz    await    svctm    %util
17:46:04    scd0    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
17:46:04    sda    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
17:46:04    vg_livedvd-lv_root    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
17:46:04    vg_livedvd-lv_swap    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
其中：
参数-p可以打印出sda,hdc等磁盘设备名称,如果不用参数-p,设备节点则有可能是dev8-0,dev22-0
tps:每秒从物理磁盘I/O的次数.多个逻辑请求会被合并为一个I/O磁盘请求,一次传输的大小是不确定的.
rd_sec/s:每秒读扇区的次数.
wr_sec/s:每秒写扇区的次数.
avgrq-sz:平均每次设备I/O操作的数据大小(扇区).
avgqu-sz:磁盘请求队列的平均长度.
await:从请求磁盘操作到系统完成处理,每次请求的平均消耗时间,包括请求队列等待时间,单位是毫秒(1秒=1000毫秒).
svctm:系统处理每次请求的平均时间,不包括在请求队列中消耗的时间.
%util:I/O请求占CPU的百分比,比率越大,说明越饱和.
1. avgqu-sz 的值较低时，设备的利用率较高。
2. 当%util的值接近 1% 时，表示设备带宽已经占满。
要判断系统瓶颈问题，有时需几个 sar 命令选项结合起来
怀疑CPU存在瓶颈，可用 sar -u 和 sar -q 等来查看
怀疑内存存在瓶颈，可用 sar -B、sar -r 和 sar -W 等来查看
怀疑I/O存在瓶颈，可用 sar -b、sar -u 和 sar -d 等来查看