设为首页 收藏本站
查看: 1018|回复: 0

[经验分享] mysql —— 分表分区(1)

[复制链接]

尚未签到

发表于 2018-9-27 06:39:38 | 显示全部楼层 |阅读模式
mysql> create table part_tab ( c1 int default NULL, c2 varchar(30) default null, c3 date default null) engine=myisam  -> partition by range(year(c3))(
  -> partition p0 values less than (1995),
  -> partition p1 values less than (1996),
  -> partition p2 values less than (1997),
  -> partition p3 values less than (1998),
  -> partition p4 values less than (1999),
  -> partition p5 values less than (2000),
  -> partition p6 values less than (2001),
  -> partition p7 values less than (2002),
  -> partition p8 values less than (2003),
  -> partition p9 values less than (2004),
  -> partition p10 values less than (2010),
  -> partition p11 values less than MAXVALUE);
  Query OK, 0 rows affected (0.14 sec)
  创建非分区表
  mysql> create table no_part_tab ( c1 int default NULL, c2 varchar(30) default null, c3 date default null) engine=myisam;
  Query OK, 0 rows affected (0.11 sec)
  mysql> \d // #由于下面要用到存储过程,这里需要修改结束符为“//”。所谓的存储过程其实也就是众多sql语句的集合。
  mysql> create procedure load_part_tab()
  -> begin
  -> declare v int default 0;
  -> while v < 8000000
  -> do
  -> insert into part_tab
  -> values (v,'testing partitions',adddate('1995-01-01',(rand(v)*36520)mod 3652));
  -> set v = v+1;
  -> end while;
  -> end
  -> //
  Query OK, 0 rows affected (0.04 sec)
  mysql> \d ; // 执行完这个存储过程后,需要将结束符修改回去
  上面的存储过程实际上是为了创建大量的数据(800万条)
  mysql> call load_part_tab(); // 调用load_part_tab这个存储过程
  Query OK, 1 row affected (9 min 18.95 sec)
  快速将part_tab里面的数据插入到no_part_tab里面
  mysql> insert no_part_tab select * from part_tab;
  Query OK, 8000000 rows affected (8.97 sec)
  Records: 8000000 Duplicates: 0 Warnings: 0
  测试一:
  实验之前确保两个表里面的数据是一致的!保证实验的可比性
  mysql> select count(*) from part_tab where c3 > date '1995-01-01' and c3 < date '1995-12-31';
  +----------+
  | count(*) |
  +----------+
  | 795181 |
  +----------+
  1 row in set (0.49 sec)
  mysql> select count(*) from no_part_tab where c3 > date '1995-01-01' and c3 < date '1995-12-31';
  +----------+
  | count(*) |
  +----------+
  | 795181 |
  +----------+
  1 row in set (3.94 sec)
mysql> desc select count(*) from part_tab where c3 > date '1995-01-01' and c3 < date '1995-12-31'\G;  *************************** 1. row ***************************

  >  select_type: SIMPLE
table: part_tab  type: ALL //全表扫描
  possible_keys: NULL
  key: NULL
  key_len: NULL
  ref: NULL
  rows: 798458
  Extra: Using where
  1 row in set (0.09 sec)
  ERROR:
  No query specified
  mysql> desc select count(*) from no_part_tab where c3 > date '1995-01-01' and c3 < date '1995-12-31'\G;
  *************************** 1. row ***************************

  >  select_type: SIMPLE
  table: no_part_tab
  type: ALL
  possible_keys: NULL
  key: NULL
  key_len: NULL
  ref: NULL
  rows: 8000000
  Extra: Using where
  1 row in set (0.00 sec)
  ERROR:
  No query specified
  结论:可以看到,做了分区之后,只需要扫描79万条语句,而不做分区的,则需要进行全表扫描,故可以看出,做了分区技术后,可以提高读写效率。
  测试2:
  创建索引,查看语句执行情况

  mysql> create index>  Query OK, 8000000 rows affected (32.68 sec)
  Records: 8000000 Duplicates: 0 Warnings: 0
  结果分析:
  mysql> desc select count(*) from no_part_tab where c3 > date '1995-01-01' and c3 < date '1995-12-31'\G;
  *************************** 1. row ***************************

  >  select_type: SIMPLE
  table: NO_part_tab
  type: range

  possible_keys:>
  key:>  key_len: 4
  ref: NULL
  rows: 785678
  Extra: Using where; Using index
  1 row in set (0.16 sec)
  ERROR:
  No query specified
  结论:为未分区的表创建了索引之后,再次执行相同的语句,可以看到该SQL语句是根据range索引进行检索,而不是全表扫描了。明显效率也提高了。
  测试3:
  测试做索引与未作索引的读写效率。

  mysql> create index>  Query OK, 8000000 rows affected (31.85 sec)
  Records: 8000000 Duplicates: 0 Warnings: 0
  mysql> desc select count(*) from part_tab where c3 > date '1995-01-01' and c3 < date '1995-12-31'\G;
  *************************** 1. row ***************************

  >  select_type: SIMPLE
  table: part_tab
  type: index

  possible_keys:>
  key:>  key_len: 4
  ref: NULL
  rows: 798458
  Extra: Using where; Using index
  1 row in set (0.14 sec)
  ERROR:
  No query specified
  测试未创建索引字段
  mysql> select count(*) from no_part_tab where c3 > date '1995-01-01' and c3 < date '1995-12-31' and c2='hello';
+----------+  | count(*) |
  +----------+
  | 0 |
  +----------+
  1 row in set (4.90 sec)
  结论:可以看到如果没通过索引进行检索所耗费的时间将长于通过索引进行检索。
  测试4:删除
  mysql> delete from part_tab where c3 > date '1995-01-01' and c3 < date '1995-12-31';
  Query OK, 795181 rows affected (14.02 sec)
  mysql> delete from no_part_tab where c3 > date '1995-01-01' and c3 < date '1995-12-31';
  Query OK, 795181 rows affected (15.21 sec)
  结论:可以看到,在删除方面,有分区的还是比没分区的快一点。从而体现了其便于数据管理的特点
  方便数据管理这点,我通过下面的例子来说明:比如数据库的表t1记录的是今年一整年(12个月)公司的营业额,在未分区的情况下,也就是说数据文件都存放在同一个文件里面,那么假如现在要删除第一个季度的记录,那么需要全表扫描才能得出结果。但如果t1这个表事先做了分区,那么我只需要分别删除1,2,3这三个文件即可。所以从一定程度上,还是方便了管理。


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-602480-1-1.html 上篇帖子: MySQL5.7MHA+MaxScale2.0构建高可用环境 下篇帖子: Amoeba搭建Mysql集群(实现Mysql主从复制、读写分离、负载均衡)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表