theoforce 发表于 2018-12-25 10:50:02

mysql+memcached 键值数据库

  

  key value 键值数据库
  

  内存中心化设计
  内存中心化设计是一种进来十分流行的架构,用于解决web2.0时代数据大量读写带来的性能压力。
  实现思路:
  增加缓冲层,利用内存的高I/O性能
  将大量的实时数据以key_value的形式在内存中处理
  通过预读和合并写入等技术减少后端数据库的IO压力
  

  key-value数据库简介
  memcached 与redis
  

  什么是memcached?
  memcached 是一个高性能的分布式内存对象缓存系统,用于动态web应用以减轻数据库负载。他通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态,数据库驱动网站的速度。
  memcached 基于一个存储键/值对的hashmap。
  

  web
  |
  memcached
  |
  mysql
  

  memcached语法
  memcached的服务器客户端通信兵不使用复杂的XML等格式,而是使用简单的基于文本行的协议。因此也可以用telnet在memcached上保存数据,取得数据。
  memcached -d -c 10240 -m 1024 -u root
  247ps -ef|grep memcached
  248telnet 127.0.0.1 11211
  249yum install telnet -y
  250telnet 127.0.0.1 11211
  

  mysql-memcached 之间通常没有直接联系,是通过应用程序或者中间件决定的
  mysql5.6中加入了一个全新的memcached插件,通过该插件可以非常方便实现mysql与memcached的组合。使得我们可以用memcached语法操作msyql数据库,也可以使用SQL语法来操作memcached,实现了mysql对于nosql的支持
  memcached Plugin:innodb——memcached、local cache
  

  

  基于mysql官方插件的memcached的实现
  

  安装:
  如果使用的官方发布的rpm包安装的mysql,那么memcached插件已经附带mysql-server包中了
  如果是源码包安装mysql,则需要在编译过程中加入对应配置项
  另外系统中要安装libevent包
  cmake -DWITH_INNODB_MEMCACHED=ON
  

  

  以mysqlrpm包来讲 或者二进制包来讲
  1,先查看插件存储目录,以及文件
  mysql> select @@plugin_dir;
  +------------------------------+
  | @@plugin_dir               |
  +------------------------------+
  | /usr/local/mysql/lib/plugin/ |
  +------------------------------+
  1 row in set (0.00 sec)
  

  mysql> Ctrl-C -- exit!
  Aborted
  # ls /usr/local/mysql/lib/plugin/ | grep memcached
  libmemcached.so
  

  2,导入表结构
  接下来,导入memcached插件所需要的表结构
  # find / -name innodb_memcached_config.sql
  /usr/local/mysql/share/innodb_memcached_config.sql
  mysql -h 127.0.0.1 -p < /usr/local/mysql/share/innodb_memcached_config.sql
  mysql> show databases;
  +--------------------+
  | Database         |
  +--------------------+
  | information_schema |
  | innodb_memcache    | ********
  | mysql            |
  | performance_schema |
  | t9               |
  | test               |
  | viewdb             |
  +--------------------+
  mysql> use innodb_memcache
  Reading table information for completion of table and column names
  You can turn off this feature to get a quicker startup with -A
  

  Database changed
  mysql> show tables;
  +---------------------------+
  | Tables_in_innodb_memcache |
  +---------------------------+
  | cache_policies            |
  | config_options            |
  | containers                |
  +---------------------------+
  

  

  

  3,加载、下载插件命令
  之后在mysql中加载插件,使用install命令加载也可以使用uninstall卸载
  如果需要重启插件,则需要先uninstall,然后在install
  mysql> install plugin daemon_memcached soname 'libmemcached.so';
  Query OK, 0 rows affected (0.25 sec)
  mysql>uninsall plugin daemon_memcached;
  

  4,查看插件配置信息
  mysql> show variables like '%memcache%';
  +----------------------------------+------------------+
  | Variable_name                  | Value            |
  +----------------------------------+------------------+
  | daemon_memcached_enable_binlog   | OFF            |是否把memcached操作的数据记录在binlog中,默认是关闭
  | daemon_memcached_engine_lib_name | innodb_engine.so |
  | daemon_memcached_engine_lib_path |                  |
  | daemon_memcached_option          |                  |
  | daemon_memcached_r_batch_size    | 1                |
  | daemon_memcached_w_batch_size    | 1                |
  +----------------------------------+------------------+
  6 rows in set (0.00 sec)
  

  5.检查memcached状态
  # ps axu | grep memcached
  root   107830.00.0 331864   136 ?      SslJan20   0:01 memcached -d -c 10240 -m 1024 -u root
  root   125700.00.1 103244   836 pts/2    S+   01:39   0:00 grep memcached
  # netstat -tnlp| grep 11211
  tcp      0      0 0.0.0.0:11211               0.0.0.0:*                   LISTEN      10783/memcached
  tcp      0      0 :::11211                  :::*                        LISTEN      10783/memcached
  

  6,innodb_memcache 库
  导入插件所需要的表结构后,会在数据库中建一个名为innodb_memcache的库,
  cache_policies      定义缓冲策略      |
  | config_options      定义分隔符      |
  | containers          容器
  

  cache_policies :
  mysql> select * from cache_policies;
  +--------------+-------------+-------------+---------------+--------------+
  | policy_name| get_policy| set_policy| delete_policy | flush_policy |
  +--------------+-------------+-------------+---------------+--------------+
  | cache_policy | innodb_only | innodb_only | innodb_only   | innodb_only|
  +--------------+-------------+-------------+---------------+--------------+
  1 row in set (0.00 sec)
  

  cache_police表
  cache_police 定义了缓存策略,包含如下选择:
  innodb_only:只是用innodb作为数据存储。
  cache_only:只使用传统的memcached引擎作为后端存储、
  caching:二者皆使用,如果在memcached里找,如找不到,就查询innodb
  

  mysql> update cache_policies set get_policy='caching';先查cache,如果没在查innodb,最后在缓存到cache中
  Query OK, 1 row affected (0.04 sec)
  Rows matched: 1Changed: 1Warnings: 0
  

  mysql> select * from cache_policies;
  +--------------+------------+-------------+---------------+--------------+
  | policy_name| get_policy | set_policy| delete_policy | flush_policy |
  +--------------+------------+-------------+---------------+--------------+
  | cache_policy | caching    | innodb_only | innodb_only   | innodb_only|
  +--------------+------------+-------------+---------------+--------------+
  1 row in set (0.00 sec)
  

  config_options :
  config_options定义了分隔符:
  separate:memcached只是识别单值,使用此分隔符(|)来连接字段的值
  table_map_delimiter:通过此分隔符(.)来确认表和键,如:@@table.key
  

  mysql> select * from config_options;
  +---------------------+-------+
  | name                | value |
  +---------------------+-------+
  | separator         | |   | 字段分割符号
  | table_map_delimiter | .   |表
  +---------------------+-------+
  containers表
  mysql> select * from containers;
  +------+-----------+-----------+-------------+---------------+-------+------------+--------------------+------------------------+
  | name | db_schema | db_table| key_columns | value_columns | flags | cas_column | expire_time_column | unique_idx_name_on_key |
  +------+-----------+-----------+-------------+---------------+-------+------------+--------------------+------------------------+
  | aaa| test      | demo_test | c1          | c2            | c3    | c4         | c5               | PRIMARY                |
  +------+-----------+-----------+-------------+---------------+-------+------------+--------------------+------------------------+
  1 row in set (0.00 sec)
  

  memcached 语法简介-参数
  key            用于查找缓存值
  flags            可以包括键值对的整型参数,客户机使用它存储关于键值对的额外信息、
  expiration       在缓存中保存键值对的时间长度
  bytes            在缓存中存储的字节数
  value             存储的值
  

  语法:
  set 用于向缓存添加新的键值对。如果已存在,则替换之前新的。
  set UId 0 0 5
  

  add 仅当缓存不存在键时候,add命令才会向缓冲中添加一个键值对,如果缓存中已经存在键,则之前的值将任然保持相同,并且将活动not_stored
  

  get   查询键值对
  replace专门更新现有的键值对
  

  delete 用于删除memcached中饭任何现有的值,如果存在于缓存中,则删除该值,如果不存在,则返回not_found
  

  高级语法:
  gets返回的信息多、
  cas (check & set) 是一个非常便捷的memcached命令,用设置名称,
  flush——all    用于清理缓存中的所有名称、值对(慎用,和delete一样会删除数据库中数据)
  status 状态
  stats命令用于调优缓存的使用
  

  mysql>update cache_policies set flush_policy='cache_only';   以后在memcached中做flush_all操作的时候,只操作cache,而不操作数据库的表数据
  

  将某个表加入memcached中:
  step1:
  扩充原有表的字段,使其符合memcached插件要求
  step2:
  在containers表中增加新的配置
  step3:
  检查结果
  

  step1
  使用memcached缓存的表需要附加多个字段,用于存储memcached数据参数值
  alter table t111 add ( flags int , cas_column bigint, extime int );
  alter table t111 add primary key(id);
  

  insert into innodb_memcache.containers values( 'users','viewdb','t111','id','name','flags','cas_cloumn','extime','PRIMARY');
  select * from innodb_memcache.containers\G;
  nc 127.0.0.1 11211
  get @@users.1
  




页: [1]
查看完整版本: mysql+memcached 键值数据库