设为首页 收藏本站
查看: 1822|回复: 0

[经验分享] PHP中多线程处理

[复制链接]

尚未签到

发表于 2017-12-29 21:57:45 | 显示全部楼层 |阅读模式
php多进程处理
  往往我们会碰到一个情况,需要写一个脚本,这个脚本要处理的数据量极大,单进程处理脚本非常慢,那么这个时候就会想到使用多进程或者多线程的方式了。
  我习惯使用多进程的方式,php中使用多进程的时候需要使用pcntl,pcntl的使用可以看这个PHP的pcntl多进程
  但是这里有一个问题,一个主进程把任务分成n个部分,然后把任务分配给多个子进程,但是任务可能是有返回值的,所有的子进程处理完返回值以后需要把返回值返回给主进程。
  这个就涉及到了进程间通信了。进程间通信可以使用的方法当然很多了,比如用redis,用数据库,用文件等。
  php中最简单的要算shmop相关函数了。


  • shmop_open
  • shmop_read
  • shmop_write
  • shmop_size
  • shmop_delete
  那怎么让一个类很容易有多进程处理的能力呢?可以使用php的trait,创建一个PcntlTrait,所有需要有多进程处理功能的类就use 这个trait就行。
  PcntlTrait代码如下:
  

<?php namespace App\Console\Commands;  

  
trait PcntlTrait
  
{
  private $workers = 1;
  

  public function worker($count)
  {
  $this->workers = $count;
  }
  

  public function pcntl_call($all, \Closure $callback)
  {
  $perNum = ceil(count($all) / $this->workers);
  

  $pids = [];
  for($i = 0; $i < $this->workers; $i++){
  $pids[$i] = pcntl_fork();
  switch ($pids[$i]) {
  case -1:
  echo "fork error : {$i} \r\n";
  exit;
  case 0:
  $data = [];
  try {
  $data = $callback(array_slice($all, $i * $perNum, $perNum));
  } catch(\Exception $e) {
  echo ($e->getMessage());
  }
  

  $shm_key = ftok(__FILE__, 't') . getmypid();
  $data = json_encode($data);
  $shm_id = shmop_open($shm_key, "c", 0777, strlen($data) + 10);
  shmop_write($shm_id, $data, 0);
  shmop_close($shm_id);
  exit;
  default:
  break;
  }
  }
  

  // only master process will go into here
  $ret = [];
  foreach ($pids as $i => $pid) {
  if($pid) {
  pcntl_waitpid($pid, $status);
  

  $shm_key = ftok(__FILE__, 't') . $pid;
  $shm_id = shmop_open($shm_key, "w", 0, 0);
  

  $data = trim(shmop_read($shm_id, 0, shmop_size($shm_id)));
  $data = json_decode($data, true);
  $ret = array_merge($ret, $data);
  @shmop_close($shm_id);
  @shmop_delete($shm_id);
  }
  }
  

  return $ret;
  }
  
}
  

  它有两个参数,第一个参数为传入数组,第二个参数为数组处理函数。
  它的具体使用通过下面这个测试用例可以看出:
  

<?php  

  
use App\Console\Commands\PcntlTrait;
  

  
class PcntlImp
  
{
  use PcntlTrait;
  
}
  

  
class TestPcntlTrait extends \TestCase
  
{
  public function setup()
  {
  $this->createApplication();
  }
  

  public function testPcntlCall()
  {
  $arr = [1,2,3,4,5,6,7,8,9,10];
  

  $imp = new \PcntlImp();
  $imp->worker(2);
  

  $data = $imp->pcntl_call($arr, function($info){
  if (empty($info)){
  return [];
  }
  

  $ret = [];
  foreach ($info as $item) {
  $ret[] = $item * $item;
  }
  return $ret;
  });
  

  $this->assertEquals(10, count($data));
  $this->assertEquals(25, $data[4]);
  }
  
}

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-429515-1-1.html 上篇帖子: php超时时间说明 下篇帖子: PHP HTTP请求
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表