设为首页 收藏本站
查看: 1172|回复: 0

[经验分享] 原创:(最新修正版2012-1-17)使用MongoDB替换Log4net记录系统异常日志

[复制链接]

尚未签到

发表于 2015-7-6 02:19:41 | 显示全部楼层 |阅读模式
  自上次修改后日志系统已经稳定运行了173天
  说明: 日志系统运行了一段时间以后,出现了几次mongodb服务无法启动的问题,删除data目录下的mongod.lock后才能成功重启服务,
  初步判断资源发生了死锁,因此将 using (Mongo mongo =new Mongo(config.BuildConfiguration())) 写法修改为 try catch 形式,
  修改之后系统正常运行十天,但是在6月29日再次发现mongodb服务无法正常启动的问题,再次将 Mongo类中插入记录的方法改为使用 mongo.Insert,
  重新更新至服务器,效果有待进一步观察,希望遇到并成功解决这个问题的朋友能一起交流讨论这个问题,谢谢!
  PS: 1. 更改了Mongodb数据库字符串连接方式,由 Server=127.0.0.1:6111 更改为 mongodb://127.0.0.1:6111
        2. 升级Mongodb版本,由Windows 64位 1.8.0版本升级为Windows 64位 2.0.2 (版本升级可能也解决了存在的BUG)
  由于对系统中日志记录模块使用Log4net 不太满意,最大的原因可能就是觉得它的文本记录模式很不好用,
  查看也不方便,当然它也可以使用sqlite、access、系统事件等方式来记录,但是总觉得不是那么尽如人意,
  因此想到使用MongoDB来完成这一工作,测试环境为win7、vs2010、.net framework 4.0 详细记录如下:
  1. 首先在官方网站下载最新版本的MongoDB http://www.mongodb.org/downloads  
  在下载列表里选择适合你的版本,由于服务器是Windows Server 2008 R2 64位, 因此选择了Windows 64 bit版本。
  2. MongoDB的安装
  MongoDB的安装非常简单,首先将下载后的压缩包解压至任意目录,假定为d:\mongodb,在cmd窗口中进入d:\mongodb\bin目录,
  输入:
  mongod --dbpath d:\mongodb\data  --logpath d:\mongodb\logs\mongodb.log --logappend --directoryperdb --bind_ip 127.0.0.1 --port 6111 --install
  然后执行,正常情况如下图,如出现安装错误,请检查文件权限并手工建立 dbpath目录与logpath目录:
DSC0000.jpg
  再执行 net start "MongoDB" 即可启动服务。
  有关于安装参数的说明:
  --dbpath 是数据文件所在目录
  --logpath 是日志文件所在文件路径,此参数必须为文件,不能为文件目录,否则会导致安装失败
  以上两个参数必须设置
  --logappend 日志以追加的方式写入
  --directoryperdb 为每个数据库建立单独的目录
  --bind_ip 绑定服务器IP,此参数为安全起见建议使用127.0.0.1,因为如果不设置的话,远程是可以连接的
  --port  端口号
  --install 以服务形式安装
  如果需要删除 MongoDB 服务请使用 mongod --remove
  3. MongoDB C#客户端的选择
  客户端的选择原则自然是以谁强大、开源、更新快就选谁,因此选择 mongodb-csharp, git地址为:
  https://github.com/samus/mongodb-csharp
  下载后可以使用vs2010或者是vs2008打开程序,并生成我们所需要的 MongoDB.dll,我们的程序中将会引用它
  此外,在mongodb-csharp程序中我们还可以找到分别用C#和VB.NET制作的两个Sample,可以帮助我们理解一些基本操作,示例程序注释说明如下:

DSC0001.gif DSC0002.gif View Code

//定义MongoDB配置生成器
            var config =new MongoConfigurationBuilder();
            // 设置映射关系
            config.Mapping(mapping =>
            {
                mapping.DefaultProfile(profile =>
                {
                    profile.SubClassesAre(t => t.IsSubclassOf(typeof(MyClass)));
                });
                mapping.Map();
                mapping.Map();
            });
            //设置访问字符串,相当于SQL SERVER的连接字符串
            config.ConnectionString("Server=127.0.0.1:6111");
            //实例化一个Mongo操作类,用于完成对MongoDB的操作
using (Mongo mongo =new Mongo(config.BuildConfiguration()))
            {
                //连接
                mongo.Connect();
                try
                {
                    //选择要使用的database,如果没有会自动建立
                    var db = mongo.GetDatabase("TestDb");
                    //获取TestDb所有表中类型为MyClass的记录集合
                    var collection = db.GetCollection();
                    MyClass square =new MyClass()
                    {
                        Corners =4,
                        Name ="Square"
                    };
                    MyClass circle =new MyClass()
                    {
                        Corners =0,
                        Name ="Circle"
                    };
                    SubClass sub =new SubClass()
                    {
                        Name ="SubClass",
                        Corners =6,
                        Ratio =3.43
                    };
                    collection.Save(square);
                    collection.Save(circle);
                    collection.Save(sub);
                    //使用Linq方式进行读取
                    var superclass = (from item in db.GetCollection("MyClass").Linq()
                                where item.Corners >1
                                select item.Corners).ToList();
                    var subclass = (from item in db.GetCollection("MyClass").Linq()
                                    where item.Ratio >1
                                    select item.Corners).ToList();
                    Console.WriteLine("Count by LINQ on typed collection: {0}", collection.Linq().Count(x => x.Corners >1));
                    Console.WriteLine("Count by LINQ on typed collection2: {0}", db.GetCollection().Linq().Count(x => x.Corners >1));
                    //Console.WriteLine("Count by LINQ on typed collection3: {0}", db.GetCollection().Count(new { Corners = Op.GreaterThan(1) }));
                    Console.WriteLine("Count on typed collection: {0}", collection.Count(new { Corners = Op.GreaterThan(1) }));  明白了这些基础之后,开发日志功能也就很容易了,代码如下:


        ///
        /// 记录日志
        ///
        ///出错的信息
publicstaticvoid LogRecord(Exception ex)
        {
            Mongo mongoDBLog =null;
            try
            {
                mongoDBLog =new Mongo(ConfigurationManager.AppSettings["mongoDBConfig"]);
                mongoDBLog.Connect();
                var dbLog = mongoDBLog.GetDatabase("USTALogs");
                var collection = dbLog.GetCollection(DateTime.Now.Date.ToString("yyyy-MM-dd"));
                USTALogs ustaLogs =new USTALogs
                {
                    errorTime = DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss"),
                    errorURL = HttpContext.Current.Request.Url.ToString(),
                    accessIP = HttpContext.Current.Request.ServerVariables["REMOTE_ADDR"],
                    errorCode = System.Runtime.InteropServices.Marshal.GetHRForException(ex).ToString(),
                    errorObject = ex.Source,
                    errorStackTrace = ex.StackTrace,
                    errorMessage = ex.Message,
                    errorHelpLink = ex.HelpLink,
                    errorMethod = (ex.TargetSite ==null?string.Empty : ex.TargetSite.ToString())
                };
                collection.Insert(ustaLogs);
            }
            catch (Exception mongoDBLogException)
            {
                 //do something
            }
            finally
            {
                if (mongoDBLog !=null)
                {
                    mongoDBLog.Disconnect();
                    mongoDBLog.Dispose();
                }
            }
        }  最后再需要一个按日期分页显示日志的功能即可,代码如下:


        ///
        /// 按日期分页显示日志
        ///
        ///
        ///
        ///
        ///
publicstatic ResultSet ShowLogs(string date, int pageSize, int pageNum)
        {
            long resultCount =0;
            IList docResultSet =new List();
            Mongo mongoDBLog =null;
            try
            {
                mongoDBLog =new Mongo(ConfigurationManager.AppSettings["mongoDBConfig"]);
                mongoDBLog.Connect();
                var dbLog = mongoDBLog.GetDatabase("USTALogs");
                var collection = dbLog.GetCollection(date);
                resultCount = collection.Count();
                var queryResultSet = from p in (collection.Linq().Skip(pageSize * (pageNum -1)).Take(pageSize))
                                     orderby p.errorTime descending
                                     select p;
                docResultSet = queryResultSet.ToList();
            }
            catch (Exception mongoDBLogException)
            {
          //do something
            }
            finally
            {
                if (mongoDBLog !=null)
                {
                    mongoDBLog.Disconnect();
                    mongoDBLog.Dispose();
                }
            }

            returnnew ResultSet { resultCount = resultCount, result = docResultSet };
        }
    }
    #region 查询结果集实体类
    ///
    /// 查询结果集实体类
    ///
publicclass ResultSet
    {
        public ResultSet()
        {
        }
        publiclong resultCount
        {
            get;
            set;
        }
        public IList result
        {
            get;
            set;
        }
    }
    #endregion
    #region 日志实体类
    ///
    /// 日志实体类
    ///
publicclass USTALogs
    {
        public USTALogs()
        {

        }
        publicstring errorURL
        {
            get;
            set;
        }
        publicstring accessIP
        {
            get;
            set;
        }
        publicstring errorCode
        {
            get;
            set;
        }
        publicstring errorObject
        {
            get;
            set;
        }
        publicstring errorStackTrace
        {
            get;
            set;
        }
        publicstring errorMethod
        {
            get;
            set;
        }
        publicstring errorMessage
        {
            get;
            set;
        }
        publicstring errorHelpLink
        {
            get;
            set;
        }
        publicstring errorTime
        {
            get;
            set;
        }
    }
    #endregion  最终效果图如下:
DSC0003.jpg
  希望对大家有帮助:)

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-83442-1-1.html 上篇帖子: mongodb管理与安全认证 下篇帖子: 利用log4j+mongodb实现分布式系统中日志统一管理
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表