PHP利用Gearman来处理并行多进程问题
转载请注明： 转载自Yuansir-web菜鸟 | LAMP学习笔记本文链接地址: PHP利用Gearman来处理并行多进程问题
最近工作中开发的一套系统，其中很多都是需要操作多服务器的，比如需要同时发布数据到2000个服务器上，或者同时向2000个服务器拉取数据。刚开始的解决方案就是单纯用PHP的curl_multi的方式并发处理请求，而且参考了淘宝技术博客的《Rolling cURL: PHP并发最佳实践》，但是由于网络和数据以及各个服务器等等的一些情况导致这种并发处理的响应时间很慢，因为在并发请求的过程中还包括记录日志，处理数据等逻辑，等待处理结果并返回，所以也不能友好的满足后台操作的体验。
现在重新设计一种方案，利Gearman来实现并发的需求。通过Client将请求发送到Gearman的Jobs，在每个Work中来再来进行curl_multi和数据处理和日志等一些操作，同时用Supervisor来监控Gearman以及Works的进程，这样可以实现一个并行的多进程和负载均衡的方案。
Gearman可以做什么
[*] 异步处理:图片处理,订单处理,批量邮件/通知之类的
[*] 要求高CPU或内存的处理:大容量的数据处理,MapReduce运算,日志聚集,视频编码
[*] 分布式和并行的处理
[*] 定时处理:增量更新,数据复制
[*] 限制速率的FIFO处理
[*] 分布式的系统监控任务
Gearman工作原理
使用Gearman的应用通常有三部分组成：一个Client、一个Worker、一个 任务服务器。 Client的作用是提出一个 Job 任务 交给 Job Server 任务服务器。Job Server 会去寻找一个 合适的 Worker 来完成这项任务。Worker 执行由 Client 发送过来的 Job，并且将结果通过 Job Server 返回给 Client。Gearman 提供了 Client 和 Worker 的 API，利用这些API 应用可以同 Gearman Job Server来进行通信。Gearman 内部 Client 和 Worker 之间的通信都是通过 TCP 连接来进行的。
http://website-static.qiniudn.com//wp-content/uploads/2013/11/stack-300x189.pngGearman可以将工作的负载分担到不同的机器中。
http://website-static.qiniudn.com//wp-content/uploads/2013/11/cluster-300x136.png
安装配置
我只是记录下我安装配置的过程，我在Ubuntu和CentOS中都试了下。
CentOS YUM 安装
rpm -ivh http://dl.iuscommunity.org/pub/ius/stable/Redhat/6/x86_64/epel-release-6-5.noarch.rpm
yum install -y gearmand
Ubuntu apt 安装
apt-get install gearman 源码编译
yum install uuid-devel libuuid libuuid-devel uuid boost-devel libevent libevent-devel
wget -c https://launchpad.net/gearmand/1.2/1.1.7/+download/gearmand-1.1.7.tar.gz
tar zxvf gearmand-1.1.7.tar.gz
./configure --prefix=/usr/local/gearmand
make && make install
安装好以后启动
gearmand -d 加上-d参数是表示后台运行，你可以gearmand -h 来查看其它的选项，启动的时候带上其它配置参数
/usr/sbin/gearmand --pid-file=/var/run/gearman/gearmand.pid --user=gearman --daemon --log-file=/var/log/gearman-job-server/gearman.log --listen=127.0.0.1 安装PHP Gearman扩展
我都是用pcel来安装的，你也可以下载源码包来编译安装，但是记得要先安装libgearman和re2c，不然扩展编译安装会出错。
pecl install gearman #不成功并提示版本问题可以试试 pecl install gearman-1.0.3，默认好像是1.1.2
1
编译安装也很简单
1
wget -c http://pecl.php.net/get/gearman-1.1.1.tgz
tar zxvf gearman-1.1.1.tgz
phpize
./configure
make && make install
echo "extension=gearman.so" >> /etc/php.ini
PHP接口函数
Gearman提供很多完善的扩展函数，包括GearmanClient,GearmanJob,GearmanTask,GearmanWorker,具体可以查看PHP官方手册.
这是官方提供的Example其中的一个，相当与一个并发的分发任务处理的例子
gearman_client.php
页:
[1]