设为首页 收藏本站
查看: 1103|回复: 0

[经验分享] Perl多进程

[复制链接]

尚未签到

发表于 2015-12-26 11:42:23 | 显示全部楼层 |阅读模式
  perl作为一种解释性的语言,非常受广大系统管理员的欢迎,优点么就不多说了,坏处也有不少,比如对线程的支持,就一直不咋地,所以大多数情况下,我们都须要多个进程,来帮助我们完毕工作,闲话少说,上代码。



  • #!/usr/bin/perl

  • # test_proc.pl

  • # test multi process

  • # create by lianming: 2009-08-12

  • use strict;

  • use warnings;

  • ## == fork a new process ==

  • my $pid = fork();

  • if (!defined($pid)) {

  •     print "Errorin fork: $!";

  •     exit 1;

  • }

  • if ($pid == 0) {

  •     ## == child proc ==

  •     print "Child:My pid = $$\n";

  •     sleep(5);

  •     print "Child:end\n";

  •     exit 0;

  • } else {

  •     ## == parent proc ==

  •     print "ParentMy pid = $$, and my child's pid = $pid\n";

  •     sleep(5);

  •     print "Parent:end\n";

  • }

  • exit 0;
  运行结果例如以下:
Child: My pid = 19481
Parent My pid = 19480, and my child's pid = 19481
(5秒钟等待)
Child: end
Parent: end
父进程派生子进程,之须要一条命令,那就是fork,fork函数的返回值赋给一个变量,上例中赋给了"$pid",接下来,就要依据$pid值的不同,来分三种情况了。
1、fork失败的情况:这个时候,$pid处于没有定义的状态,上例中做的一个"if (!defined($pid))"的推断,假设为真,说明$pid没有定义,fork失败,这个时候就要打印错误信息,而且退出。
2、子进程:假设是子进程,那么$pid的值为0,就是上例中"if ($pid == 0)"条件为真的状况,在"$pid == 0"的时候,那就都是子进程了,上例中,子进程将自己的pid打出来,为19481。
3、父进程:假设是父进程,那么$pid的值为它派生出的子进程的pid,也就是不为0,就是else的情况,上例中把$pid打出来,能够看到,也是 19481,就是子进程的pid值。
这仅仅是一个最简单的样例,一个父进程派生一个子进程,再略微复杂一点,一个父进程派生多个子进程,代码例如以下:



  • #!/usr/bin/perl

  • # test_proc_1.pl

  • # test multi process

  • # create by lianming: 2009-08-12

  • use strict;

  • use warnings;


  • for (my $i = 0; $i < 10; $i &#43;&#43;) {

  •     ## == fork a new process ==

  •     my $pid = fork();

  •     if (!defined($pid)) {

  •         print &quot;Errorin fork: $!&quot;;

  •         exit 1;

  •     }

  •     if ($pid == 0) {

  •         ## == child proc ==

  •         print &quot;Child$i : My pid = $$\n&quot;;

  •         sleep(5);

  •         print &quot;Child$i : end\n&quot;;

  •         exit 0;

  •     }

  •     sleep(1);

  • }

  • exit 0;
  这个样例就是,父进程运行一个循环,每次循环都fork一个子进程,子进程运行完以后退出,每次循环都等待1s,循环10次。
运行结果例如以下:
Child 0 : My pid = 20499
Child 1 : My pid = 20500
Child 2 : My pid = 20501
Child 3 : My pid = 20502
Child 4 : My pid = 20503
Child 0 : end
Child 5 : My pid = 20506
Child 1 : end
Child 6 : My pid = 20507
Child 2 : end
Child 7 : My pid = 20508
Child 3 : end
Child 8 : My pid = 20509
Child 4 : end
Child 9 : My pid = 20510
Child 5 : end
[iyunv@localhost /tmp]
# Child 6 : end
Child 7 : end
Child 8 : end
Child 9 : end
每一个子进程耗时5s,那么运行完总共须要的是15s。
可是,这种代码会导致一个问题,在运行的过程中,能够在另外的tty上输入ps auxf来查看当前的进程状态,会发现类&#20284;这种东东:
root 20531 0.0 0.0 8460 1704 pts/2 S&#43; 21:46 0:00 \_ perl test_proc_1.pl
root 20532 0.0 0.0 0 0 pts/2 Z&#43; 21:46 0:00 \_ [perl]
root 20535 0.0 0.0 0 0 pts/2 Z&#43; 21:46 0:00 \_ [perl]
root 20536 0.0 0.0 0 0 pts/2 Z&#43; 21:46 0:00 \_ [perl]
root 20539 0.0 0.0 0 0 pts/2 Z&#43; 21:46 0:00 \_ [perl]
root 20541 0.0 0.0 8460 720 pts/2 S&#43; 21:46 0:00 \_ perl test_proc_1.pl
root 20543 0.0 0.0 8460 720 pts/2 S&#43; 21:46 0:00 \_ perl test_proc_1.pl
root 20545 0.0 0.0 8460 720 pts/2 S&#43; 21:46 0:00 \_ perl test_proc_1.pl
root 20546 0.0 0.0 8460 720 pts/2 S&#43; 21:46 0:00 \_ perl test_proc_1.pl
root 20548 0.0 0.0 8460 720 pts/2 S&#43; 21:46 0:00 \_ perl test_proc_1.pl
有4个进程,状态为Z,意思就是僵尸进程,而正常的程序,是不应该出现僵尸进程的。
正常情况下,子进程的退出须要做两件事情,第一,子进程exit,发出一个信号给自己的父进程,第二,父进程对子进程进行回收,假设父进程已经不存在了,那子进程会将init,也就是linux中第一个进程作为自己的父进程,init会取代它的父进程对子进程进行回收。
我们的情况就是,子进程已经调用了exit,可是父进程并没有对它进行回收,假设父进程持续fork子进程,那僵尸进程就会越来越多,越来越多,最后会导致什么后果,我就不说了。
父进程回收子进程的函数有两个:
wait,和waitpid
wait函数比較简单,没有不论什么參数,调用以后,父进程会停住,然后等待子进程返回。假设没有子进程,返回-1
waitpid有两个參数,第一个參数为要等待的子进程的pid&#20540;,另外一个是flag,一般来讲,第一个參数为-1,意思就是等待全部的子进程。调用方法例如以下:



  • $procid = fork();

  • if ($procid == 0) {

  • # == child process ==

  • print (&quot;thisline is printed first\n&quot;);

  • exit(0);

  • } else {

  • # == parent process ==

  • waitpid ($procid, 0);

  • print (&quot;thisline is printed last\n&quot;);

  • }
  事实上,最基本的是让父进程知道,什么时候才须要去回收已经退出的子进程,由于父进程也是有非常多活须要忙的。
这个能够通过信号来实现,子进程在退出的时候,会向父进程发送一个信号,我们仅仅要捕获了这个信号,就知道,有些子进程须要回收啦。样例例如以下:



  • #!/usr/bin/perl

  • # test_proc_2.pl

  • # test multi process

  • # create by lianming: 2009-08-12

  • use strict;

  • use warnings;

  • use POSIX &quot;:sys_wait_h&quot;;

  • ## == number of zombies proc ==

  • my $zombies = 0;

  • my $collect;

  • ## == get the child signal ==

  • $SIG{CHLD} = sub { $zombies&#43;&#43; };


  • for (my $i = 0; $i < 10; $i &#43;&#43;) {

  •     ## == fork a new process ==

  •     my $pid = fork();

  •     if (!defined($pid)) {

  •         print &quot;Errorin fork: $!&quot;;

  •         exit 1;

  •     }

  •     if ($pid == 0) {

  •         ## == child proc ==

  •         print &quot;Child$i : My pid = $$\n&quot;;

  •         sleep(5);

  •         print &quot;Child$i : end\n&quot;;

  •         exit 0;

  •     }

  •     ## == if need to collect zombies ==

  •     if ($zombies > 0) {

  •         while (($collect = waitpid(-1,WNOHANG)) > 0) {

  •             $zombies --;

  •         }

  •     }

  •     sleep(1);

  • }

  • exit 0;
  运行结果和原先一样:
Child 0 : My pid = 21552
Child 1 : My pid = 21553
Child 2 : My pid = 21554
Child 3 : My pid = 21555
Child 4 : My pid = 21556
Child 0 : end
Child 5 : My pid = 21558
Child 1 : end
Child 6 : My pid = 21570
Child 2 : end
Child 7 : My pid = 21572
Child 3 : end
Child 8 : My pid = 21574
Child 4 : end
Child 9 : My pid = 21575
Child 5 : end
[iyunv@localhost /tmp]
# Child 6 : end
Child 7 : end
Child 8 : end
Child 9 : end
可是ps auxf的结果就有非常大区别了:
root 21551 0.1 0.0 8280 2672 pts/2 S&#43; 22:06 0:00 \_ perl test_proc_2.pl
root 21558 0.0 0.0 8280 1168 pts/2 S&#43; 22:07 0:00 \_ perl test_proc_2.pl
root 21570 0.0 0.0 8280 1168 pts/2 S&#43; 22:07 0:00 \_ perl test_proc_2.pl
root 21572 0.0 0.0 8280 1168 pts/2 S&#43; 22:07 0:00 \_ perl test_proc_2.pl
root 21574 0.0 0.0 8280 1168 pts/2 S&#43; 22:07 0:00 \_ perl test_proc_2.pl
root 21575 0.0 0.0 8280 1168 pts/2 S&#43; 22:07 0:00 \_ perl test_proc_2.pl
僵尸进程不会存在了。
$SIG{CHLD} = sub { $zombies&#43;&#43; }; 这条语句,事实上就是捕获了子进程退出的时候,向父进程发出的信号,捕获以后,就给一个变量($zombies)加1。
假设&quot;$zombies&quot;不为0的时候,那就说明,有子进程退出了,须要进行回收,那父进程就调用waidpid函数,进行一次回收,每回收一个子进程,就给这个变量减去1,这样当&quot;$zombies&quot;减为0的时候,就说明全部的僵尸进程都已经回收了。bingo!
有的时候,我们仅仅是运行一定量的任务,仅仅管fork就能够了,可是某些时候,我们有太多任务须要运行,要一直持续的fork好多子进程,可是我们希望把子进程的数目控制在一个范围内,比方说,我一个任务,须要有100个子进程来运行,可是我不能100个进程所有fork出去,这样太占用资源了,所以我希望把进程数量控制在10个以内,当第一个进程退出以后,我再fork第11个进程,样例例如以下:



  • #!/usr/bin/perl

  • # test_proc_3.pl

  • # test multi process

  • # create by lianming: 2009-08-12

  • use strict;

  • use warnings;

  • use POSIX &quot;:sys_wait_h&quot;;

  • ## == number of proc ==

  • my $num_proc = 0;

  • ## == number of collected ==

  • my $num_collect = 0;

  • my $collect;

  • ## == get the child signal ==

  • $SIG{CHLD} = sub { $num_proc-- };

  • for (my $i = 0; $i < 10; $i &#43;&#43;) {

  •     ## == fork a new process ==

  •     my $pid = fork();

  •     if (!defined($pid)) {

  •         print &quot;Errorin fork: $!&quot;;

  •         exit 1;

  •     }

  •     if ($pid == 0) {

  •         ## == child proc ==

  •         print &quot;Child$i : My pid = $$\n&quot;;

  •         sleep(5);

  •         print &quot;Child$i : end\n&quot;;

  •         exit 0;

  •     }

  •     $num_proc &#43;&#43;;

  •     ## == if need to collect zombies ==

  •     if (($i-$num_proc-$num_collect) > 0) {

  •         while (($collect = waitpid(-1,WNOHANG)) > 0) {

  •             $num_collect &#43;&#43;;

  •         }

  •     }

  •     do {

  •         sleep(1);

  •     } until ($num_proc < 3);

  • }

  • exit 0;
  运行结果例如以下:
Child 0 : My pid = 22641
Child 1 : My pid = 22642
Child 2 : My pid = 22643
Child 0 : end
Child 3 : My pid = 22645
Child 1 : end
Child 4 : My pid = 22647
Child 2 : end
Child 5 : My pid = 22658
Child 3 : end
Child 6 : My pid = 22660
Child 4 : end
Child 7 : My pid = 22661
Child 5 : end
Child 8 : My pid = 22663
Child 6 : end
Child 9 : My pid = 22664
Child 7 : end
[iyunv@localhost /tmp]
# Child 8 : end
Child 9 : end
同一时候,看到的ps auxf的输出例如以下:
root 22640 0.0 0.0 8116 2672 pts/2 S&#43; 22:28 0:00 \_ perl test_proc_3.pl
root 22660 0.0 0.0 0 0 pts/2 Z&#43; 22:29 0:00 \_ [perl]
root 22661 0.0 0.0 8116 1168 pts/2 S&#43; 22:29 0:00 \_ perl test_proc_3.pl
root 22663 0.0 0.0 8116 1168 pts/2 S&#43; 22:29 0:00 \_ perl test_proc_3.pl
root 22664 0.0 0.0 8116 1168 pts/2 S&#43; 22:29 0:00 \_ perl test_proc_3.pl
第一个子进程须要5s才干退出,假设1s运行一次fork的话,那么同一时候应该有5个子进程,可是本例中仅仅有三个,那就是说实现了对进程数量的控制。
本例中定义了几个变量:
$num_proc:正在活动的进程数量,控制在3个以内,所以在父进程每次fork完子进程后,都会检查这个变量,假设超出了3个,那就等一会。当父进程fork了新子进程的时候,这个数字会添加,当子进程退出以后,父进程捕获了信号,这个数字会降低。
$num_collect:已回收的进程数量,每回收一个子进程,变量加一。
$i:已经fork的进程数量。
$num_proc和$num_collect的和应该是等于$i的,假设不等于了,那就说明,有子进程须要回收了。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-156516-1-1.html 上篇帖子: Mac Unix & Perl 下篇帖子: perl:匹配多行文本
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表