perl使用 Gearman 实现分布式处理
http://www.php-oa.com/2010/09/05/perl-gearman-distributed.html使用 Gearman 实现分布式处理
Sep 5th, 2010
Leavea comment| Trackback 转载本站文章请注明，转载自：扶凯
本文链接: http://www.php-oa.com/2010/09/05/perl-gearman-distributed.html
因为近来在研究 Mogilefs的分布文件系统，在读读这个的源码，另外，为公司新设计了一个下载的系统，所以更加要深入研究一下，因为这个好东西是 Perl写的，真不容易，在读这个的时间发现了几个好东西，其中一个就是我现在要提到的 Gearman ，这是个分布的任务分发的框架。使用 Perl写的。后来用 C 重写了其中一些部分。作者 BradFitzpatrick 大神开发的 Gearman, 他原来是 livejournal的成员，设计最初也是用于LiveJournal的图片 resize 功能,目前是 Google 的成员.
简单的讲， Gearman 就是一个用 Perl写的任务调度程序，它能提供一个服务器端进行任务调度，自己就不做其它任何事了。客户端同时也提供了多种语言接口。Gearman这个框架系统主要的工作是用来委派任务给其他机器，Mogilefs 的分布文件系统的核心就是用的这个。所以我们可以基于这个做一个自己的Cluster 出来。
这个软件的应用场景可以很多，比如 Web 2.0的项目中，比如常用的视频网站的视频处理，分布式日志处理，电子邮件处理，文件同步处理，图片处理等等，只要是可以放开，不影响体验和响应的场景，需要并 行进行大量计算和处理的程序，都是可以的。不要因为 Gearman 是 Perl写的而认为通用性就不行，因为设计时就是独立于语言和平台的。所以客户端可以是任何语言，象 Perl,PHP,Python，Ruby之类。就算是Shell 也行
Gearman 的作者 Eric Day 介绍，Yahoo! 在 60 或更多的服务器上使用 Gearman 每天处理 600万个作业。新闻聚合器 Digg 也已构建了一个相同规模的 Gearman 网络，每天可处理 400,000 个作业。Gearman的一个出色例子可以在 Narada 这个开源搜索引擎中找到。
Gearman 的架构
一个连接客户机和 Workerer 连接在 Gearman 上组成一个网络，也就是 Gearman 请求的处理过程涉及三个部分：Client-> Job -> Worker。这种实际网络中是非常常用的。然后我们的应用提交程序来做客户端的程度，提交任务。到了 JobServer 的队列中，由 Worker 的服务器来取下来，并处理这个任务。
[*]Gearman 的客户： 请求的发起者
[*]Gearman 的工作者：对任务的处理者
如图
Gearman 怎么样工作
Gearman 不但可以做为任务分发，还可以做为应用方面是负载均衡，我们可以让 Workerer放在不同的一堆服务器上，也可以启动放在同一个CPU 的多个核上，比如,以我们常用的应用视频转换程序，但是不希望 Web 的服务器来处理视频的格式处理的过程，这时，我们就可以在这一堆服务器上进行任务分发，在上面加载 Workerer处理视频格式处理和转换。这样对外的web服务器将不会被视频转换的过程影响，同时也能很多的让所有服务器负载均衡的工作来处理，也非常方便扩展，加一个机器到任务调度中心，注册成 Workerer 就行，这时 Job Server 会在请求到来的时候，将这个请求发给空闲的这个 Workerer. 另外你还可以运行多个JobServer。可以组成一个 HA 的架构，如果一个Job Server 的进程 down了，client 和Workerer会自动迁移到另一台Job Server上。
简单来讲，就是下面的流程
[*]启动 Gearman ，监听 7003
[*]启动 Worker, 注册功能到服务器上。
[*]启动 Client ，请求注册的功能，并提供输入的数据
[*]Gearman 的服务发送"功能请求"到 Worker.并给 Client 输入的数据传送给 Worker.
[*]Worker 接收到"功能请求"和输入的数据。并处理输入的数据内容。
[*]Worker 返回处理的数据结果，服务转发这个结果给客户端。
[*]Client 客户端接收到处理的结果，并显示结果给用户
如图
从上面可以看出来 Worker 是可扩展的.如果你有需要 Worker 是可以运行任意多个的.
另外，我们对 Application 是不用过多在意的。同样也是可以多个的。 Application 的客户只有一个任务，就是加入任务到Gearman 中来.
安装 Gearman 的环境
安装 Gearman::Server 的 Job Server ,如果没有安装 Client 就需要 Client 和 Worker都装上。如果不会使用 cpanm 的话，参考我以前写过的 使 用CPANMinus 来安装Perl 模块
$ cpanm Gearman::Server
$ cpanm Gearman::Client
$ cpanm Gearman::Worker
使用 Gearman 的功能
Gearman 总体上来看看，分 4 大步的功能.
[*]启动 Gearman 的 Job Server的服务
[*]使用 Worker 加入和注册一个可以使用的功能
[*]Worker 等待功能任务被运行
[*]Client 连接启动任务和提供任务需要的参数
Gearman 的 Job Server 调度程序的使用
(1. 启动Job：
$ gearmand -d -L 127.0.0.1 -p 7003
[*]-d deamon
[*]-L监听 IP
[*]-p端口(2. Gearman 的状态查看
$ telnet localhost 7003
status
给大家看个实际的输出。
$telnet 127.0.0.1 7003
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
status
convertVideo 0 0 1
echo 1 0 0
可以见到如上的输出,分 4 个部分.
已知任务-运行的任务-队列中的任务-可用的 Worker.
如 convertVideo 0 0 1 .这个部分，注册的任务名为 convertVideo，0个正常在运行，队列为空，有一个可用的 Worker.
$ telnet 127.0.0.1 4730
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
worker
ERR unknown_command Unknown+server+command
workers
30 61.139.15.xxx eolxkmntdgalfedjyptoppbphmudgl : getImage
31 61.139.15.xxx ztixxiwqnfhnghzfbeoyktuvrdylin : convert
34 61.139.15.xxx ruqcfefjwuwrsmnalqcsbnoustswxj : convert
33 61.139.15.xxx wfhfphvefnxynlsdpoduiyxlirkrqd : convert
32 61.139.15.xxx hckjonjakmmdtfmrbcyeexozfwxdqr : convert
也是 4 个部分
ID -连接的主机的IP-识别码-注册的功能
Gearman 做为 worker 来测试
我们可以启动 Gearman 然后使用 -w 来指定工作在 worker 模式， -f 是用来指定注册的功能名 — 后面是命令行
$ gearman -w -f passwd -- xargs -I '{}' sh -c "grep '{}' /etc/passwd | tr -d '\n'"
Gearman::Worker 的基本语法和使用
这个没有什么好讲的，连接到主 Gearman 调度服务器。然后是通过内部的 register_function函数来注册一个功能，到Gearman 的主调度服务器上去。好让调度服务器知道这个 Worker 能处理的任务是什么。
#!/usr/bin/perl
use strict;
use warnings;
use Gearman::Worker;
my $worker = Gearman::Worker->new;
$worker->job_servers('127.0.0.1');
# Worker 注册可以使用的功能，如果视频转换...
$worker->register_function( convertVideo => \&convertVideo );
# 等待连接的任务
$worker->work while 1;
sub convertVideo{
my $job = shift;
# TODO 做你要实现的事情，任务
return $job->arg;
}
Gearman::Client的基本语法和使用
Gearman::Client工作分同步和异步二种,默认我打开的是异步的功能，注掉的部分打开就是使用同步调用任务。
#!/usr/bin/perl
use strict;
use warnings;
use Gearman::Client;
my $client = Gearman::Client->new;
$client->job_servers('127.0.0.1');
# 设置异步任务
my $tasks = $client->new_task_set;
$tasks->add_task(
# 开始任务
convertVideo => 'new.flv',
# 注册回调函数
{ on_complete => \&complete },
);
# 等待任务结束
$tasks->wait;
sub complete{
my $result = shift;
print $$result ."\n";
}
# 设置同步任务
#my $resultRef = $client->do_task( "convertVideo", "new.flv" );
#print "$$resultRef\n";
#$client->dispatch_background( "convertVideo","new.flv" );
相关文档 http://search.cpan.org/~dormando/Gearman-Server-1.11/
页:
[1]