设为首页 收藏本站
查看: 999|回复: 0

[经验分享] mysql分区及分表(一)

[复制链接]

尚未签到

发表于 2018-10-8 12:24:17 | 显示全部楼层 |阅读模式
  mysql分区分表
  1.分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表,每个表都对应三个文件,MYD数据文件,.MYI索引文件,.frm表结构文件
  mysql分表分为垂直切分和水平切分
  垂直切分是指数据表列的拆分,把一张列比较多的表拆分为多张表通常我们按以下原则进行垂直拆分:把不常用的字段单独放在一张表; 水平拆分是指数据表行的拆分,把一张的表的数据拆成多张表来存放。
  水平拆分原则:通常情况下,我们使用hash、取模等方式来进行表的拆分
  通过用ID取模的方法把数据分散到四张表内Id%4= [0,1,2,3]
  然后查询,更新,删除也是通过取模的方法来查询
  分表的几种方式:
  1)mysql集群
  它并不是分表,但起到了和分表相同的作用。
  2)预先估计会出现大数据量并且访问频繁的表,将其分为若干个表
  根据一定的算法(如用hash的方式,也可以用求余(取模)的方式)让用户访问不同的表。
  3)利用merge存储引擎来实现分表
  如果要把已有的大数据量表分开比较痛苦,最痛苦的事就是改代码,因为程序里面的sql语句已经写好了,用merge存储引擎来实现分表, 这种方法比较适合。
  2、分区
  分区和分表相似,都是按照规则分解表。不同在于分表将大表分解为若干个独立的实体表,而分区是将数据分段划分在多个位置存放,分区后,表还是一张表,但数据散列到多个位置了。
  分区主要有两种形式:
  水平分区(Horizontal Partitioning)这种形式分区是对表的行进行分区,所有在表中定义的列在每个数据集中都能找到,所以表的特性依然得以保持。
  垂直分区(Vertical Partitioning)这种分区方式一般来说是通过对表的垂直划分来减少目标表的宽度,使某些特定的列被划分到特定的分区,每个分区都包含了其中的列所对应的行。
  创建测试数据库
DSC0000.png

  创建表
DSC0001.png

  在表里面插入数据,查看表的结构,表的数据
DSC0002.png

  执行insert*****语句可以以倍数增加数据,查看创建的数据
DSC0003.png

  进行分表,分为一个主表为back1,从表为back2,back3
DSC0004.png

  INSERT_METHOD,此参数INSERT_METHOD = NO 表示该表不能做任何写入操作只作为查询使用,INSERT_METHOD = LAST表示插入到最后的一张表里面。INSERT_METHOD = first表示插入到第一张表里面。
  把数据分到两个从表中,并且查看子表的数据
DSC0005.png

DSC0006.png

  查看目录数据里有没有创建的表
DSC0007.png

  分区:
  查看是否支持分区
  mysql版本如果是5.6之前的使用第一个查看  5.6之后选择第二个
DSC0008.png

  在第二个查询结果里查看是否支持分区
DSC0009.png

  active表示支持分区
  创建新的测试数据库
DSC00010.png

  创建数据,创建一个范围的分区表  maxvalue:从最大放入
DSC00011.png

  插入数据
DSC00012.png

  查看数据的目录里有没有分区
DSC00013.png

  从系统库中查看分区表的信息
  mysql> select * from information_schema.partitions where table_schema='test2' and table_name='user'\G;
  *************************** 1. row ***************************
  TABLE_CATALOG: def
  TABLE_SCHEMA: test2
  TABLE_NAME: user
  PARTITION_NAME: p0
  SUBPARTITION_NAME: NULL
  PARTITION_ORDINAL_POSITION: 1
  SUBPARTITION_ORDINAL_POSITION: NULL
  PARTITION_METHOD: RANGE
  SUBPARTITION_METHOD: NULL

  PARTITION_EXPRESSION:>  SUBPARTITION_EXPRESSION: NULL
  PARTITION_DESCRIPTION: 3
  TABLE_ROWS: 2
  AVG_ROW_LENGTH: 8192
  DATA_LENGTH: 16384
  MAX_DATA_LENGTH: NULL
  INDEX_LENGTH: 0
  DATA_FREE: 0
  CREATE_TIME: 2017-06-20 17:44:03
  UPDATE_TIME: 2017-06-20 17:45:04
  CHECK_TIME: NULL
  CHECKSUM: NULL
  PARTITION_COMMENT:
  NODEGROUP: default
  TABLESPACE_NAME: NULL
  *************************** 2. row ***************************
  TABLE_CATALOG: def
  TABLE_SCHEMA: test2
  TABLE_NAME: user
  PARTITION_NAME: p1
  SUBPARTITION_NAME: NULL
  PARTITION_ORDINAL_POSITION: 2
  SUBPARTITION_ORDINAL_POSITION: NULL
  PARTITION_METHOD: RANGE
  SUBPARTITION_METHOD: NULL

  PARTITION_EXPRESSION:>  SUBPARTITION_EXPRESSION: NULL
  PARTITION_DESCRIPTION: 6
  TABLE_ROWS: 3
  AVG_ROW_LENGTH: 5461
  DATA_LENGTH: 16384
  MAX_DATA_LENGTH: NULL
  INDEX_LENGTH: 0
  DATA_FREE: 0
  CREATE_TIME: 2017-06-20 17:44:03
  UPDATE_TIME: 2017-06-20 17:45:19
  CHECK_TIME: NULL
  CHECKSUM: NULL
  PARTITION_COMMENT:
  NODEGROUP: default
  TABLESPACE_NAME: NULL
  *************************** 3. row ***************************
  TABLE_CATALOG: def
  TABLE_SCHEMA: test2
  TABLE_NAME: user
  PARTITION_NAME: p2
  SUBPARTITION_NAME: NULL
  PARTITION_ORDINAL_POSITION: 3
  SUBPARTITION_ORDINAL_POSITION: NULL
  PARTITION_METHOD: RANGE
  SUBPARTITION_METHOD: NULL

  PARTITION_EXPRESSION:>  SUBPARTITION_EXPRESSION: NULL
  PARTITION_DESCRIPTION: 9
  TABLE_ROWS: 3
  AVG_ROW_LENGTH: 5461
  DATA_LENGTH: 16384
  MAX_DATA_LENGTH: NULL
  INDEX_LENGTH: 0
  DATA_FREE: 0
  CREATE_TIME: 2017-06-20 17:44:03
  UPDATE_TIME: 2017-06-20 17:45:36
  CHECK_TIME: NULL
  CHECKSUM: NULL
  PARTITION_COMMENT:
  NODEGROUP: default
  TABLESPACE_NAME: NULL
  *************************** 4. row ***************************
  TABLE_CATALOG: def
  TABLE_SCHEMA: test2
  TABLE_NAME: user
  PARTITION_NAME: p3
  SUBPARTITION_NAME: NULL
  PARTITION_ORDINAL_POSITION: 4
  SUBPARTITION_ORDINAL_POSITION: NULL
  PARTITION_METHOD: RANGE
  SUBPARTITION_METHOD: NULL

  PARTITION_EXPRESSION:>  SUBPARTITION_EXPRESSION: NULL
  PARTITION_DESCRIPTION: 12
  TABLE_ROWS: 3
  AVG_ROW_LENGTH: 5461
  DATA_LENGTH: 16384
  MAX_DATA_LENGTH: NULL
  INDEX_LENGTH: 0
  DATA_FREE: 0
  CREATE_TIME: 2017-06-20 17:44:03
  UPDATE_TIME: 2017-06-20 17:45:54
  CHECK_TIME: NULL
  CHECKSUM: NULL
  PARTITION_COMMENT:
  NODEGROUP: default
  TABLESPACE_NAME: NULL
  *************************** 5. row ***************************
  TABLE_CATALOG: def
  TABLE_SCHEMA: test2
  TABLE_NAME: user
  PARTITION_NAME: p4
  SUBPARTITION_NAME: NULL
  PARTITION_ORDINAL_POSITION: 5
  SUBPARTITION_ORDINAL_POSITION: NULL
  PARTITION_METHOD: RANGE
  SUBPARTITION_METHOD: NULL

  PARTITION_EXPRESSION:>  SUBPARTITION_EXPRESSION: NULL
  PARTITION_DESCRIPTION: MAXVALUE
  TABLE_ROWS: 1
  AVG_ROW_LENGTH: 16384
  DATA_LENGTH: 16384
  MAX_DATA_LENGTH: NULL
  INDEX_LENGTH: 0
  DATA_FREE: 0
  CREATE_TIME: 2017-06-20 17:44:03
  UPDATE_TIME: 2017-06-20 17:45:57
  CHECK_TIME: NULL
  CHECKSUM: NULL
  PARTITION_COMMENT:
  NODEGROUP: default
  TABLESPACE_NAME: NULL
  5 rows in set (0.00 sec)
  ERROR:
  No query specified
  从p0分区中查看数据
DSC00014.png

  删除p4分区
DSC00015.png

  添加新增分区
DSC00016.png

  删除该区的所有记录
  alter table 表名 drop partition 区名;
  分区合并把p0,p1,p2合并成p01,p02
DSC00017.png

  查看数据是否合并
DSC00018.png

  查看目录的数据是否合并成新的分区
DSC00019.png



运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-616617-1-1.html 上篇帖子: 如何将mysql数据导入Hadoop之Sqoop安装 下篇帖子: MySQL 常见str函数
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表