利用mongodb实现分布式WEB图片存储

friht

我们先看下  xxoo 集合里自动创建的三个集合。　　fs.chunks     块集合， gridfs 会把大文件分成一小块一小块的来进行存储，所以可以存储大文件。
　　fs.files    我们看下这个文件里面是啥内容。

> db.fs.files.find()　　{ "_id" : ObjectId("4eb53994d4a9e19809000001"), "filename" : "demo.jpg", "uploadDate" : ISODate("2011-11-05T13:26:44Z"), "length" : 373044, "chunkSize" : 262144, "md5" : "991a2475cc9fe9a414148b45519a6c40" }
　　

复制代码　　里面存储着我们刚上传的文件的信息，比如 filename  文件名。   length 文件大小   chunkSize 分块大小。  文件就这样给存储到 mongodb了。
　　system.indexes   集合索引文件。  索引懂吧~不懂 先学 mysql  呵呵。
　　好的。到这里。 分布式文件存储，就完成了一半了~~。 这半就是文件存储。 那分布式呢？ 接下来我们就分布式吧~~ 淡定~这个分布式其实还是比较简单的。
　　为了分布式，我们准备了 4台 Freebsd 服务器。使用两台服务器，多个进程方式也是可以实现，但不够4台服务器清晰点。我们来搭建一个基础的分布式吧
　　1、配置mongod 服务器   ： 192.168.1.202       把"mongos路由服务器" 的配置信息存储到硬盘。
　　2、mongos 路由服务器   ： 192.168.1.203       把一些存储节点的路由信息存储到内存
　　3、mongod 存储节点      ： 192.168.1.204       真是的存储节点，里面存储着上传的图片呀，文件等。可以拓展N台~~ 分布式嘛。。具体多少台~我也没测试过。。。
　　4、mongod 存储节点      ： 192.168.1.205
　　首先配置mongod服务器。 192.168.1.202：

/usr/local/bin/mongod --configsvr --dbpath=/data/configsvr  --logpath=/data/configsvr/mongo.log --port  27019 --logappend --fork

复制代码
　　OK。确定启动成功:   ps  aux  | grep mongo     确定了木问题了继续。
　　配置  mongos 路由服务器。192.168.1.203：

/usr/local/bin/mongos --configdb  192.168.1.202:27019   --logpath=/data/configdb/mongo.log  --port 27017 --logappend --fork

复制代码　　在确定启动正常。再继续
　　配置 mongod 存储节点了： 192.168.1.204和 192.168.1.205，分别在存储节点上运行以下shell

/usr/local/bin/mongod --shardsvr --dbpath=/data/shardsvr --logpath=/data/shardsvr  --port 27017  --logappend  --fork

复制代码　　好了 到这里，基本所有服务器都配置完了。接下来。我们就要添加" mongos 路由信息了"。 主要是告诉 mongos 。 存储节点分别是哪些服务器？ 对那个数据库启动分片？以集合里的那个key 进行分片。
　　添加存储节点到  mongos 路由服务上：

db.runCommand({addshard:"192.168.1.204:27017"})　　db.runcOMMAND({addshard:"192.168.1.205:27017"})

复制代码　　告诉， mongos 路由节点，对那些库和集合进行分片存储。

db.runCommand({"enablesharding" : "xxoo"})　　db.runCommand({"shardcollection" : "xxoo.fs.chunks","key" : {"_id" : 1}})
　　db.runCommand({"shardcollection" : "xxoo.fs.files","key" : {"_id" : 1}})

复制代码　　好了 分布式环境搭建完了。 那我们回头看下代码方面，只需要修改下访问地址，所有的请求都应该通过  "mongos 路由服务器" 这样才能自动帮你分片嘛~~

复制代码　　文件上传、分布式存储。都实现了。  nginx 开始上场了。 我们用 nginx 来做静态资源的服务器，前面我们装得 nginx-gridfs  模块，里面自带了访问 mongodb  的驱动。那是相当方便呀。看下 nginx 配置：

server {　　        listen       8088;
　　        server_name localhost;
　　
　　#重点在这里
　　        location / {
　　            gridfs xxoo field=filename type=string;
　　            mongo 192.168.1.203:27017;
　　        }
　　
　　        # redirect server error pages to the static page /50x.html
　　        #
　　        error_page   500 502 503 504  /50x.html;
　　                 location = /50x.html {
　　            root   html;
　　        }
　　
　　        # deny access to .htaccess files, if Apache's document root
　　        # concurs with nginx's one
　　        #
　　        location ~ /WEB-INF/ {
　　            deny  all;
　　        }
　　    }

复制代码　　重点理解这些：
　　gridfs  xxoo   field=filename   type=string;
　　gridfs  [数据库]  field=[以那个字段进行查询]  type=[字段的类型]。  一般我们都是以  存储在mongodb 里的文件名为条件去查询，进而来打开要显示的文件。
　　mongo 192.168.1.203:27017;
　　要连接的 mongos 路由服务器和端口。
　　那么我们现在可以通过地址：
　　[php]http://192.168.1.203:8088/demo.jpg[/php]    就可以显示我们要的图片了。
　　最后为这个教程写了个方便部署的 脚本~~。不是很完善~凑合着用。。

#!/usr/bin/python　　#coding:utf-8
　　import os
　　from sys import argv
　　
　　def runShell(command):
　　    content = ''
　　    out = os.popen(command)
　　    while True:
　　        line = out.readline()
　　        content += line
　　        if not line:
　　            break
　　    return content
　　
　　if __name__ == '__main__':
　　    '''
　　   
　　    '''
　　    if len(argv) > 1:
　　        para = argv[1]
　　        if para == 'config_mongod':
　　            
　　            config_mongod = {'path':'/data/config','logpath':'/data/config/config.log','port':27019}
　　            print runShell("/usr/local/bin/mongod --configsvr --dbpath=%s --logpath=%s --port %d --logappend --fork" % (config_mongod['path'],config_mongod['logpath'],config_mongod['port']))
　　            
　　        elif para == 'config_mongos':
　　            
　　            config_mongos = {'host':'192.168.1.202:27019','logpath':'/data/config/configdb.log','port':27017}
　　            print runShell("/usr/local/bin/mongos --configdb %s --logpath=%s --port %d --logappend --fork" % (config_mongos['host'],config_mongos['logpath'],config_mongos['port']))
　　
　　        elif para == 'shard':
　　
　　            mongodb = {'port':27017,'dbpath':'/data/mongodb','logpath':'/data/mongodb/mongodb.log'}
　　            print runShell("/usr/local/bin/mongod --shardsvr --dbpath=%s --logpath=%s --port %d --logappend --fork" % (mongodb['dbpath'],mongodb['logpath'],mongodb['port']))
　　
　　        elif para == 'enable':
　　            import pymongo
　　            conn = pymongo.Connection('192.168.1.203',27017)
　　            db = conn.admin
　　
　　            shardHOST = ["192.168.1.204:27017","192.168.1.205:27017"]
　　            for ip in range(len(shardHOST)):
　　                db.runCommand({'addshard':shardHOST[ip]})
　　
　　
　　            db.runCommand({'enableSharding':'test'})
　　            db.runCommand({'shardcollection':"test.users",'key':{'_id':1}})
　　            
　　    else:
　　        print "no argv!"
　　

复制代码转载自：http://bbs.phpchina.com/forum.php?mod=viewthread&tid=226415