设为首页 收藏本站
查看: 2864|回复: 0

[经验分享] zabbix 清理历史数据

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2016-10-31 10:27:51 | 显示全部楼层 |阅读模式
  项目上线不到一个月,zabbix数据居然快100G,监控项太多,数据量太大,zabbix负载重,暂时不想升级硬件,只好内部挖掘下,清除下历史数据;一般保留1个月的数据,zabbix这个项目只是做监控报警用,数据保留太多没太大参考意义;    一般都是这几个表太大, history, history_uint,history_log,有的直接了当直接清空表,简洁方便,不过要是有人需要参考数据,那还蛮尴尬的;有的做一个独立分表,做存储过程,蛮高效,不过项目不一样只做简单监控不必那么麻烦;
套路都一样:停掉zabbix,mysql添加skip new以便于删除数据后压缩存储空间,截取需要清除的时间点:
root@Testl]$ date +%s -d"20160929"
1475078400
mysql> delete from history where clock<1475078400;
Query OK, 36093 rows affected (43.64 sec)

mysql> delete from history_uint whereclock < 1475078400;
Query OK, 21501392 rows affected (25 min51.48 sec)

mysql> optimize table history;
Query OK, 12175692 rows affected (5 min9.16 sec)
Records: 12175692  Duplicates: 0 Warnings: 0

mysql> optimize table history_uint;
Query OK, 145195609 rows affected (54 min29.07 sec)
Records: 145195609  Duplicates: 0 Warnings: 0
漫长时间等待以后看下效果:
原来数据:
-rw-rw---- 1 mysql mysql 1.4G Oct 28 13:23history.ibd
-rw-rw---- 1 mysql mysql  12M Oct 28 13:23 items.ibd
-rw-rw---- 1 mysql mysql  96M Oct 28 13:23 events.ibd
-rw-rw---- 1 mysql mysql  17G Oct 28 13:23 history_uint.ibd
-rw-rw---- 1 mysql mysql  56G Oct 28 13:23 history_log.ibd
-rw-rw---- 1 mysql mysql 252M Oct 28 13:23 trends_uint.ibd
-rw-rw---- 1 mysql mysql  72M Oct 28 13:23 trends.ibd
-rw-rw---- 1 mysql mysql 112K Oct 28 13:59sessions.ibd
压缩中:
缩进过程生成/#sql-5f11_3.ibd文件,作业完毕就是history_uint.ibd文件;
find -size +50M -exec ls -lh {} \;
-rw-rw---- 1 mysql mysql 960M Oct 28 14:42./history.ibd
-rw-rw---- 1 mysql mysql 9.2G Oct 28 15:31./#sql-5f11_3.ibd
-rw-rw---- 1 mysql mysql 56G Oct 28 13:23./history_log.ibd
-rw-rw---- 1 mysql mysql 96M Oct 28 13:23 ./events.ibd
-rw-rw---- 1 mysql mysql 252M Oct 28 13:23./trends_uint.ibd
-rw-rw---- 1 mysql mysql 72M Oct 28 13:23./trends.ibd
-rw-rw---- 1 mysql mysql 17G Oct 28 14:59./history_uint.ibd
最终删两个表以后数据:

zabbix]$ find -size +50M -execls -lh {} \;
-rw-rw---- 1 mysql mysql 960M Oct 28 15:42./history.ibd
-rw-rw---- 1 mysql mysql 56G Oct 28 15:42./history_log.ibd
-rw-rw---- 1 mysql mysql 96M Oct 28 15:42./events.ibd
-rw-rw---- 1 mysql mysql 252M Oct 28 15:41./trends_uint.ibd
-rw-rw---- 1 mysql mysql 72M Oct 28 15:41./trends.ibd
-rw-rw---- 1 mysql mysql 11G Oct 28 15:42./history_uint.ibd
完了以后,重启mysql,zabbix,nginx试试;
看着history_log那么大好忧伤,准备truncate掉。以后可以做个脚本,每月定期执行删除记录;




运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-293757-1-1.html 上篇帖子: zabbix3.0.3 自定义 agent rpm 包 下篇帖子: 安装zabbix提示缺少PHP sockets 历史 清理
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表