【转】Python 分布式文件系统 Mongodb GridFS

wcdz

mongodb GridFS 性能
性能, 网评还不错.
不过在生产环境中,国外有用于存储视频流的.
GridFS的一个优点是可以存储上百万的文件而无需担心扩容性.
通过同步复制,可以解决分布式文件的备份问题.
通过ARP-ping可以实现一个双机热备切换,类mysql的mysql master master replic

使用Nginx module
http://github.com/mdirolf/nginx-gridfs
这是gridfs的nginx module. 可以通过nginx直接访问读取mongo gridfs中的文件.
和nginx对应的mogilefs module类似.
优点: 由于直接通过nginx,速度是最快的.
缺点: 只能通过file_path来查找,目前不支持_id来查找.因此必须在file_path上
建立索引.
其他一些信息:
1.通过runcommand可以直接在mongodb端运行处理脚本. 比如像mapreduce,或者一
些需要读取数据然后进行处理的.
这些command则是使用javascript方式来编写的,很容易. 好处就是避免了数据在服
务端和客户端之间的读取和传输,
提高效率.
2. sharding
sharding在目前开发版中已经具备,但还不成熟. 但是可以自己实现sharding比较
好.因为目前的sharding还是比较硬性的.
3.灵活使用magic操作符和upsert,比如$inc,$all,$in 等等

#!/bin/bash
安装mongodb
#mongodb 1.2.4
official
#http://www.mongodb.org/
admin
#http://www.mongodb.org/display/DOCS/Admin+Zone
Manual
http://www.mongodb.org/display/DOCS/manual
GridFS+Tools
http://www.mongodb.org/display/DOCS/GridFS+Tools
config
http://www.mongodb.org/display/DOCS/File+Based+Configuration
http://bytebucket.org/namlook/mongokit/wiki/html/gridfs.html
客户端
easy_install pymongo
API:http://api.mongodb.org/python/current/api/pymongo/
http://api.mongodb.org/python/1.4%2B/examples/gridfs.html

以下是安装脚本
mkdir mongodb   
cd mongodb   
wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-static-legacy-1.2.4.tgz   
tar xzf mongodb-linux-x86_64-static-legacy-1.2.4.tgz   
cd mongodb-linux-x86_64-static-1.2.4/  
mkdir mongodb
cd mongodb
wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-static-legacy-1.2.4.tgz
tar xzf mongodb-linux-x86_64-static-legacy-1.2.4.tgz
cd mongodb-linux-x86_64-static-1.2.4/
#建立数据保存路径
mkdir data
cd data
mkdir db

启动服务
cd /home/bmc/mongodb/mongodb-linux-x86_64-static-1.2.4/bin/   
./mongod --dbpath=/home/bmc/mongodb/data/db/  
cd /home/bmc/mongodb/mongodb-linux-x86_64-static-1.2.4/bin/
./mongod --dbpath=/home/bmc/mongodb/data/db/
config
根据如下链接编写自己的config文件
http://www.mongodb.org/display/DOCS/File+Based+Configuration
你可以使用nginx+gridfs插件来进行访问mongodb,但是gridfs 插件需要boost，由于boost版本问题，这个东东基本安装不上或是安装很费劲，您可以使用django启动服务来代替这个复杂的插件，代码如下 ：）
Views
return HttpResponse(im, mimetype="image/JPEG")  
return HttpResponse(im, mimetype="image/JPEG")
后台连接代码：
#encoding=utf-8  
from pymongo import Connection   
from gridfs import *   
from PIL import Image   
import StringIO   
import threading, time   
#文件处理系统   
class GFS:   
#定义connection and fs   
c = None   
db = None   
fs = None   
instance = None   
locker = threading.Lock()   
#初始化   
def __init__(self):   
print "__init__"  
GFS._connect()   
print "server info " + " * " * 40  
print GFS.c.server_info   
#获得单列对象   
@staticmethod  
def getInstance():   
GFS.locker.acquire()   
try:   
GFS.instance   
if not GFS.instance:   
GFS.instance = GFS()   
return GFS.instance   
finally:   
GFS.locker.release()   
#写入   
def put(self,name,image,format="png",mime="image"):   
gf = None   
data = None   
try:   
data = StringIO.StringIO()   
image.save(data,format)   
data.getvalue()   
name = "%s.%s" % (name,format)   
print "name is %s" % name   
gf = GFS.fs.open(name,"w")   
gf.content_type = "%s/%s" % (mime,format)   
gf.write(data.getvalue())   
finally:   
try:   
gf.close()   
data.close()   
finally:   
GFS.c = None   
GFS._connect()   
#获得图片   
def get(self,name):   
gf = None   
try:   
gf  = GFS.fs.open(name,"r")   
print gf   
im = gf.read()   
dic = {}           
dic["chunk_size"] =  gf.chunk_size   
dic["metadata"] = gf.metadata   
dic["mode"] = gf.mode   
dic["length"] = gf.length   
dic["upload_date"] = gf.upload_date   
dic["name"] = gf.name   
dic["content_type"] = gf.content_type   
return (im , dic)   
except Exception,e:   
print e   
return (None,None)   
finally:   
if gf:   
if not gf.closed:   
gf.close()   

#获得文件列表   
def list(self):   
return GFS.fs.list()   
#删除文件   
def remove(self,name):   
GFS.fs.remove(name)   
@staticmethod  
def _connect():   
if  not GFS.c:   
GFS.c = Connection("*********",27017)   
GFS.db = GFS.c['imagesdb']   
GFS.fs = GridFS(GFS.db)  
原文链接：http://www.iteye.com/topic/619643