设为首页 收藏本站
查看: 2799|回复: 0

[经验分享] 如何自己检查NodeJS的代码是否存在内存泄漏

[复制链接]

尚未签到

发表于 2017-2-22 09:10:40 | 显示全部楼层 |阅读模式

[size=1.14285714285714]原文:http://www.nearform.com/nodecrunch/self-detect-memory-leak-node


[size=1.14285714285714]追踪NodeJS代码中的内存泄漏一直是一个很有挑战的难题。本文讨论如何从一个node写的应用里自动的跟踪到内存泄漏问题,在这里笔者向大家推荐两款追查内存问题的神器 —— memwatch 和 heapdump
[size=1.14285714285714] DSC0000.png
[size=1.14285714285714]首先,我们来看一个简单的内存泄漏

var http =require('http');var server = http.createServer(function(req, res){for(var i=0; i<1000; i++){
server
.on('request',function leakyfunc(){});}
res
.end('Hello World\n');}).listen(1337,'127.0.0.1');
server
.setMaxListeners(0);
console
.log('Server running at http://127.0.0.1:1337/. Process PID: ', process.pid);
[size=1.14285714285714]每一个请求我们增加了1000个导致泄漏的监听器。如果我们在一个shell控制台中执行以下命令:

whiletrue;do curl "http://127.0.0.1:1337/";done
[size=1.14285714285714]然后在另外一个shell控制台中查看我们的进程

top -pid
[size=1.14285714285714]我们会看到node进程产生异常高的内存占用,我们的node进程看起来失控了。那么,当我们的node进程出现这种情况的时候,通常我们该怎样诊断出问题的根源?

内存泄露的检测

[size=1.14285714285714]npm模块 memwatch 是一个非常好的内存泄漏检查工具,让我们先将这个模块安装到我们的app中去,执行以下命令:

npm install --save memwatch
[size=1.14285714285714]然后,在我们的代码中,添加:

var memwatch =require('memwatch');//memwatch.setup();  原文有这行代码,最新版本的memwatch已去掉这个方法(译者注)
[size=1.14285714285714]然后监听 leak 事件

memwatch.on('leak',function(info){
console
.error('Memory leak detected: ', info);});
[size=1.14285714285714]这样当我们执行我们的测试代码,我们会看到下面的信息:

{
start
:FriJan02201510:38:49 GMT+0000(GMT),end:FriJan02201510:38:50 GMT+0000(GMT),
growth
:7620560,
reason
:'heap growth over 5 consecutive GCs (1s) - -2147483648 bytes/hr'}
[size=1.14285714285714]memwatch发现了内存泄漏!memwatch 判定内存泄漏事件发生的规则如下:
[size=1.14285714285714]当你的堆内存在5个连续的垃圾回收周期内保持持续增长,那么一个内存泄漏事件被派发
[size=1.14285714285714]了解更加详细的内容,查看 memwatch

内存泄漏分析

[size=1.14285714285714]使用memwatch我们发现了存在内存泄漏,这非常好,但是现在呢?我们还需要定位内存泄漏出现的实际位置。要做到这一点,有两种方法可以使用。

memwatch heap diff

[size=1.14285714285714]通过memwatch你可以得到堆内存使用量和内存随程序运行产生的差异。详细的文档在这里
[size=1.14285714285714]例如,我们可以在两个leak事件发生的间隔中做一个heap dump:

var hd;
memwatch
.on('leak',function(info){
console
.error(info);if(!hd){
hd
=new memwatch.HeapDiff();}else{var diff = hd.end();
console
.error(util.inspect(diff,true,null));
hd
=null;}});
[size=1.14285714285714]执行这段代码会输出更多的信息:

{ before:{
nodes
:244023,
time
:FriJan02201512:13:11 GMT+0000(GMT),
size_bytes
:22095800,
size
:'21.07 mb'},
after
:{
nodes
:280028,
time
:FriJan02201512:13:13 GMT+0000(GMT),
size_bytes
:24689216,
size
:'23.55 mb'},
change
:{
size_bytes
:2593416,
size
:'2.47 mb',
freed_nodes
:388,
allocated_nodes
:36393,
details
:[{ size_bytes:0,'+':0,
what
:'(Relocatable)','-':1,
size
:'0 bytes'},{ size_bytes:0,'+':1,
what
:'Arguments','-':1,
size
:'0 bytes'},{ size_bytes:2856,'+':223,
what
:'Array','-':201,
size
:'2.79 kb'},{ size_bytes:2590272,'+':35987,
what
:'Closure','-':11,
size
:'2.47 mb'},...
[size=1.14285714285714]所以在内存泄漏事件之间,我们发现堆内存增长了2.47MB,而导致内存增长的罪魁祸首是闭包。如果你的泄漏是由某个class造成的,那么what字段可能会输出具体的class名字,所以这样的话,你会获得足够的信息来帮助你最终定位到泄漏之处。
[size=1.14285714285714]然而,在我们的例子中,我们唯一获得的信息只是泄漏来自于闭包,这个信息非常有用,但是仍不足以在一个复杂的应用中迅速找到问题的来源(复杂的应用往往有很多的闭包,不知道哪一个造成了内存泄漏——译者注)
[size=1.14285714285714]所以我们该怎么办呢?这时候该Heapdump出场了。

Heapdump

[size=1.14285714285714]npm模块node-heapdump是一个非凡的模块,它可以使用来将v8引擎的堆内存内容dump出来,这样你就可以在Chrome的开发者工具中查看问题。你可以在开发工具中对比不同运行阶段的堆内存快照,这样可以帮助你定位到内存泄漏的位置。要想了解heapdump的更多内容,可以阅读这篇文章
[size=1.14285714285714]现在让我们来试试 heapdump,在每一次发现内存泄漏的时候,我们都将此时的内存堆栈快照写入磁盘中:

memwatch.on('leak',function(info){
console
.error(info);var file ='/tmp/myapp-'+ process.pid +'-'+Date.now()+'.heapsnapshot';
heapdump
.writeSnapshot(file,function(err){if(err) console.error(err);else console.error('Wrote snapshot: '+ file);});});
[size=1.14285714285714]运行我们的代码,磁盘上会产生一些.heapsnapshot的文件到/tmp目录下。现在,在Chrome浏览器中,启动开发者工具(在mac下的快捷键是alt+cmd+i),点击Profiles标签并点击Load按钮载入我们的快照。
[size=1.14285714285714]我们能够很清晰地发现原来leakyfunc()是内存泄漏的元凶。
[size=1.14285714285714] DSC0001.png
[size=1.14285714285714]我们依然还可以通过对比两次记录中heapdump的不同来更加迅速确认两次dump之间的内存泄漏:
[size=1.14285714285714] DSC0002.png
[size=1.14285714285714]想要进一步了解开发者工具的memory profiling功能,可以阅读 Taming The Unicorn: Easing JavaScript Memory Profiling In Chrome DevTools 这篇文章。

Turbo Test Runner

[size=1.14285714285714]我们给Turbo - FeedHenry开发的测试工具提交了一个小补丁 — 使用了上面所说的内存泄漏检查技术。这样就可以让开发者写针对内存的单元测试了,如果模块有内存问题,那么测试结果中就会产生相应的警告。详细了解具体的内容,可以访问Turbo模块。

结论和其他细节

[size=1.14285714285714]上面的内容讨论了一种检测NodeJS内存泄漏的基本方法,以下是一些结论:



  • heapdump有一些潜规则,例如快照大小等。仔细阅读说明文档,并且生成快照也是比较消耗CPU资源的。
  • 还有些其他方法也能生成快照,各有利弊,针对你的项目选择最适合的方式。(例如,发送sigusr2到进程等等,这里有一个memwatch-sigusr2项目)
  • 需要考虑在什么情况下开启memwatch/heapdump。只有在测试环境中有开启它们的必要,另外也需要考虑heapdump的频度以免耗尽了CPU。总之,选择最适合你项目的方式。
  • 也可以考虑其他的方式来检测内存的增长,比如直接监控process.memoryUsage()是一个可以考虑的方法。
  • 当内存问题被探测到之后,你应该要确定这确实是个内存泄漏问题,然后再告知给相关人员。
  • 当心误判,短暂的内存使用峰值表现得很像是内存泄漏。如果你的app突然要占用大量的CPU和内存,处理时间可能会跨越数个垃圾回收周期,那样的话memwatch很有可能将之误判为内存泄漏。但是,这种情况下,一旦你的app使用完这些资源,内存消耗就会降回正常的水平。所以,你其实需要注意的是持续报告的内存泄漏,而可以忽略一两次突发的警报。
  • memwatch目前仅支持node 0.10.x,node 0.12.x(可能还有io.js)支持的版本在这个分支
  • 这篇文章相关的代码我放在gist上。
  • 转载自: http://www.w3ctech.com/topic/842

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-345482-1-1.html 上篇帖子: NodeJS 使用express、mongolian搭建轻量级web应用 下篇帖子: 踏上nodejs的不归路——03阶段性胜利
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表