用PS 分析Weblogic占用CPU高的问题（AIX平台）

rule

　　出处：http://t3.seeblog.net/?p=38
　　我们项目上使用的AIX5.3和weblogic10.3，近期一直有服务器出现Weblogic进程占用CPU过高。
原来都是用gdb或dbx来跟踪问题。但是生产环境不便进行这种操作，后来找到了通过ps和分析javacore来查找问题的方法，分享个大家。
1、首先，要通过ps 命令查看制定进程对应的线程状态，例如：
ps -mp -o <WebLogic 进程号> THREAD
例如：ps -mp 30140 -o THREAD
结果如下：
USER PID PPID TID ST CP PRI SC WCHAN F TT BND COMMAND
incs 30140 33284 – A 585 60 160 * 242001 – - /usr/java6/bin/java -Xms1024m -Xmx1536m -Dfile.encoding=GBK -da -Dplatform.home=/app/bea/wlserver_10.3 -Dwls.home=/app/bea/wlserver_10.3/server -Dweblogic.home=/app/bea/wlserver_10.3/server -Dweblogic.management.discover=true -Dwlw.iterativeDev=false -Dwlw.testConsole=false -Dwlw.logErrorsToConsole= -Dweblogic.ext.dirs=/app/bea/patch_wls1030/profiles/default/sysext_manifest_classpath:/app/bea/patch_cie660/profiles/default/sysext_manifest_classpath -Dweblogic.threadpool.MinPoolSize=50 -Dweblogic.threadpool.MaxPoolSize=100 -Dweblogic.Name=AdminServer -Djava.security.policy=/app/bea/wlserver_10.3/server/lib/weblogic.policy weblogic.Server
- – - 36885 S 0 82 1 ea004820 8410400 – - -
- – - 37603 S 0 82 1 ea004920 8410400 – - -
- – - 38105 S 0 60 1 ea004a20 8410404 – - -
- – - 43117 S 21 60 1 – 418400 – - -
- – - 44007 S 0 82 1 ea0055a0 8410400 – - -
- – - 44121 S 0 82 1 ea005620 8410400 – - -
- – - 44673 S 8 60 1 ea005720 8410400 – - -
- – - 45169 S 0 82 1 ea005820 8410400 – - -
- – - 45535 R 20 60 0 – 400000 – - -
- – - 45707 S 1 82 1 35c01fa0 c10400 – - -
- – - 46193 S 0 82 1 ea005a20 8410400 – - -
- – - 46865 S 0 82 1 ea005ba0 8410400 – - -
- – - 47331 S 0 82 1 ea005c20 8410400 – - -
- – - 47507 R 19 60 1 30117d28 c00000 – - -
- – - 47757 S 0 82 1 ea005d20 8410400 – - -
- – - 48057 S 0 82 1 ea005da0 8410400 – - -
- – - 49681 S 0 82 1 ea006120 8410400 – - -
- – - 50095 S 0 82 1 ea0061a0 8410400 – - -
。。。。。。
2、同时手工生成threaddump文件，执行 kill -3 <WebLogic 进程号>
这样会在你的domain目录下生成类似  javacore.20100318.092950.30140.0022.txt 之类的文本文件
3、同样的操作，每个3-5秒钟重复做几次
4、分析ps 得到的结果中“CP” 一列，数值较高的就是当前占用CPU较多的线程，例如上面列表中的TID为“43117”的 “CP”值为21，相对较大；
5、将该CP值转换成16进制数值（原来是十进制），43117->A86D
6、打开对应的javacore文件，查找A86D,
可以找到这样一行
“3XMTHREADINFO1            (native thread ID:0xA86D, native priority:0×5, native policy:UNKNOWN)”
后面就是该线程的堆栈信息，这样，你就可以从中了解到该现正等待的原因了。
例子中显示结果如下：
4XESTACKTRACE          at java/net/SocketInputStream.socketRead0(Native Method)
4XESTACKTRACE          at java/net/SocketInputStream.read(SocketInputStream.java:140(Compiled Code))
4XESTACKTRACE          at com/unisys/cc/common/tcp/PackageTool.readBytes(PackageTool.java:75)
4XESTACKTRACE          at com/unisys/cc/common/tcp/PackageTool.read(PackageTool.java:123)
4XESTACKTRACE          at com/unisys/cc/common/tcp/TcpClient.receiveDataFromServer(TcpClient.java:235)
4XESTACKTRACE          at com/unisys/cc/common/SocketWorker.submit(SocketWorker.java:75)
4XESTACKTRACE          at com/unisys/cc/common/SocketWorker.submit(SocketWorker.java:36)
该线程正在通过网络读取远程数据，说明网络传输可能存在问题。