基于Mongodb的file server

506629361

　　
　　基于Mongodb的file server
　　
　　最近在抱怨公司的file server，现有的file server通过服务器提供接口，将文件保存到服务器硬盘，按照ID分文件。通过定期备份到其它服务器，运行了这么久出现过一次事故，硬盘被同事格式化导致丢失了一部分数据。因此考虑如果重新设计file server我会怎么做，于是考虑使用Mongodb来设计，进行分布式同步。
　　

　　
　　使用Mongodb好处：
　　1.备份，维护简单
　　2.可以使用Mongodb的分布式同步数据，就算一台服务器挂了，fileserver也不会挂
　　3.速度会比较快（我猜）
　　
　　file server 结构：
　　1. 使用webservice提供添加，删除，获取文件的接口，mongodb只保存文件内容
　　2. 将文件保存到Mongodb数据库
　　3. 存储文件由三个Mongodb数据库服务器组成，一个为Arbiter服务器，另外两个互为主从服务器
　　
　　Mongodb服务器环境搭建：
　　
　　1.下载最新版的mongodb for windows程序 http://www.mongodb.org/downloads
　　2.解压缩文件，重名名文件夹为mongodb，在mongodb文件夹下新建data，log文件夹，并复制两份为d:\mongodb2,d:\mongodb3
　　
　　3.配置mongodb 1
　　在cmd命令定位到mongodb/bin文件夹，敲入下面命令启动mongodb：
　　D:\mongodb\bin>mongod --rest --replSet myset --port 20720 --dbpath d:\mongodb\data --logpath d:\mongodb\log
　　--replSet myset 指定mongodb运行为replication模式，集合名为myset
　　--rest 用于启动adminstration ui，可以通过http://localhost:28017/_replSet查看服务器状态
　　--dbpath 指定数据库文件路径
　　--logpath 指定日志文件路径
　　
　　4.配置Mongodb 2
　　配置方法同mongodb 1，只是端口改为20721
　　D:\mongodb2\bin>mongod --rest --replSet myset --port 20721 --dbpath d:\mongodb2\data --logpath d:\mongodb\log
　　
　　5.配置Mongodb 3
　　配置命令如下：
　　D:\mongodb2\bin>mongod --rest --replSet myset --oplogSize 8 --port 20722 --dbpath d:\mongodb3\data
　　
　　具体解析查看http://www.mongodb.org/download/attachments/9830402/mongodb+replica+sets+intro.pdf
　　
　　现在三台mongodb服务器都启动了，哦也，现在需要告诉Mongodb 1他的同伴Mongodb 2，具体命令如下：
　　D:\mongodb\bin>mongo --host ChrisCheung_PC//这里是我的计算机名，也可以是127.0.0.1
　　首先执行
　　>rs.initiate()
　　>rs.add("ChrisCheung_PC:20721") //如果不知道计算机名可以用rs.conf()看到
　　{ "ok" : 1 }
　　
　　这样就讲20721端口的mongodb添加到myset中，执行rs.conf()可查看相应信息。
　　
　　接下来还要把Mongdb 3添加到组中，同意是在mongodb 1执行：
　　>rs.add( {_id:2, host:"ChrisCheung-PC:20722",arbiterOnly:true})
　　{ "ok" : 1 }
　　如果host打错会报下列错误：
　　




{
        "assertion" : "need most members up to reconfigure, not ok : ChrisCheung
-PC:20721",
"assertionCode" : 13144,
        "errmsg" : "db assertion failure",
        "ok" : 0
}　　
　　
　　
　　到目前位置我们已经有三台正常运行mongodb服务器，并配置为Replica Sets同步模式。
　　
　　程序实现，下面是我写的一个简单类
　　



using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using MongoDB.Driver;
using MongoDB.Driver.Builders;
using MongoDB.Bson;
namespace FileUtility
{
public class DocHelper
{
private string connStr = "";
public string ConnStr
{
get
{
if (string.IsNullOrEmpty(connStr))
{
throw new ArgumentNullException("Connection string did not specify!");
}
return connStr;
}
}
public DocHelper()
{
connStr = System.Configuration.ConfigurationManager.AppSettings["FileDb"];
}
public DocHelper(string connectionString)
{
this.connStr = connectionString;
}
///
/// save document conent
///
/// file content
/// file id in mongodb database
public string AddDoc(byte[] content)
{
MongoServer server = MongoServer.Create(this.ConnStr);
try
{
Doc doc = new Doc() { ID = Guid.NewGuid().ToString(), data = content };
server.Connect();
MongoDatabase db = server.GetDatabase("ecDocs");
MongoCollection docs = db.GetCollection("ecFiles",SafeMode.True);
docs.Insert(doc);
return doc.ID.ToString();
}
catch (Exception ex)
{
throw ex;
}
finally
{
if (server != null)
server.Disconnect();
}
}
///
/// delete doc from the mongodb server
///
public void DeleteDoc(string docID)
{
MongoServer server = MongoServer.Create(this.ConnStr);
try
{
server.Connect();
MongoDatabase db = server.GetDatabase("ecDocs");
MongoCollection docs = db.GetCollection("ecFiles", SafeMode.True);
var queryDoc = Query.EQ("_id", docID);
docs.Remove(queryDoc);
}
catch (Exception ex)
{
throw ex;
}
finally
{
if (server != null)
server.Disconnect();
}
}
///
/// get the doc content from mongodb
///
/// doc id in mongodb
/// document content
public Doc GetDoc(string docID)
{
MongoServer server = MongoServer.Create(this.ConnStr);
try
{
server.Connect();
MongoDatabase db = server.GetDatabase("ecDocs");
MongoCollection docs = db.GetCollection("ecFiles", SafeMode.True);
Doc doc = docs.FindOneById(docID);
return doc;
}
catch (Exception ex)
{
throw ex;
}
finally
{
if (server != null)
server.Disconnect();
}
}
}
}

　　
　　实体类：
　　



using System;
using System.Collections.Generic;
using System.Text;
using MongoDB.Bson.DefaultSerializer;
using MongoDB.Bson;
namespace FileUtility
{
public class Doc
{
[BsonId]
public string ID { get; set; }
public byte[] data { get; set; }
}
}

　　
　　测试代码：
　　


代码



FileUtility.DocHelper helper =new FileUtility.cHelper("mongodb://localhost:20720");
                byte[] bytes = File.ReadAllBytes("E:\\photo\\20110101-ski\\DSCN1621.JPG");
                string id = helper.AddDoc(bytes);
                FileUtility.Doc doc = helper.GetDoc(id);
                File.WriteAllBytes("d:\\image.jpg", doc.data);　　
　　
　　插入一张图片后，到http://localhost:28017/_replSet  optime列的链接查看数据库的日志，可以看出两台服务器都插入了同样的记录，如下图：

　　

　　
　　

　　
　　好啦，一个简单的file server 就酱搭建起来了。简单插入一些数据，感觉mongodb暂用蛮大的硬盘空间，大家对file server有什么好的建议呢？欢迎拍砖，谢谢。
　　
　　参考文章：
　　http://www.iyunv.com/daizhj/archive/2010/09/08/1821481.html
　　http://www.iyunv.com/daizhj/archive/2010/09/07/1820528.html
　　http://www.mongodb.org/