python第十一课

hgjgh

　　一、Cluster概念
　　1、系统扩展方式：
　　Scale UP：向上扩展，增强
　　Scale Out：向外扩展，增加设备，调度分配问题，Cluster
　　2、Cluster：集群，为解决某个特定问题将多台计算机组合起来形成的单个系统
　　3、Linux Cluster类型
　　LB：Load Balacing，负载均衡
　　HA：High Availability，高可用，SPOF（single Point Of failure）
　　MTBF:Mean Time Between Failure 平均无故障时间
　　MTTR:Mean Time To Restoration（ repair）平均恢复前时间
　　A=MTBF/（MTBF+MTTR）
　　(0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%, 99.9999%
　　HPC：High-performance computing，高性能 www.top500.org
　　4、分布式系统：
　　分布式存储：云盘
　　分布式计算：hadoop，Spark
　　二、Cluster分类
　　基于工作的协议层次划分：
　　传输层（通用）：DPORT
　　LVS：
　　nginx：stream
　　haproxy：mode tcp
　　应用层（专用）：针对特定协议，自定义的请求模型分类
　　proxy server：
　　http：nginx, httpd, haproxy(mode http), ...
　　fastcgi：nginx, httpd, ...
　　mysql：mysql-proxy, ...
　　三、Cluster相关
　　会话保持：负载均衡
　　(1) session sticky：同一用户调度固定服务器
　　Source IP：LVS sh算法（对某一特定服务而言）
　　Cookie
　　(2) session replication：每台服务器拥有全部session
　　session multicast cluster
　　(3) session server：专门的session服务器
　　Memcached，Redis
　　HA集群实现方案
　　keepalived:vrrp协议
　　ais:应用接口规范
　　heartbeat
　　cman+rgmanager(RHCS)
　　coresync_pacemaker
　　四：LVS介绍
　　LVS：Linux Virtual Server，负载调度器，集成内核 章文嵩 阿里官网：http://www.linuxvirtualserver.org/
　　VS: Virtual Server，负责调度
　　RS: Real Server，负责真正提供服务
　　L4：四层路由器或交换机
　　工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS
　　iptables/netfilter：
　　iptables：用户空间的管理工具
　　netfilter：内核空间上的框架
　　流入：PREROUTING --> INPUT
　　流出：OUTPUT --> POSTROUTING
　　转发：PREROUTING --> FORWARD --> POSTROUTING
　　DNAT：目标地址转换； PREROUTING
　　五、LVS概念
　　lvs集群类型中的术语：
　　VS：Virtual Server，Director Server(DS)
　　Dispatcher(调度器)，Load Balancer
　　RS：Real Server(lvs), upstream server(nginx)
　　backend server(haproxy)
　　CIP：Client IP
　　VIP: Virtual serve IP VS外网的IP
　　DIP: Director IP VS内网的IP
　　RIP: Real server IP
　　访问流程：CIP <--> VIP == DIP <--> RIP
　　六、LVS集群的类型
　　lvs: ipvsadm/ipvs
　　ipvsadm：用户空间的命令行工具，规则管理器用于管理集群服务及RealServer
　　ipvs：工作于内核空间netfilter的INPUT钩子上的框架
　　lvs集群的类型：
　　lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
　　lvs-dr：操纵封装新的MAC地址
　　lvs-tun：在原请求IP报文之外新加一个IP首部
　　lvs-fullnat：修改请求报文的源和目标IP
　　

lvs-nat　　本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RTP和PORT实现转发
　　（1）RIP和DIP必须在同一个IP网络，且应该使用私网地址，RS的网关要指向DIP
　　（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
　　（3）支持端口映射，可修改请求报文的目标PORT
　　（4）VS必须是Linux系统，RS可以是任意OS系统
　　
NAT模式IP包调度过程
　　

　　
2、LVS-DR模式
　　LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
　　
Director和各RS都配置有VIP
　　(1) 确保前端路由器将目标IP为VIP的请求报文发往Director
　　在前端网关做静态绑定VIP和Director的MAC地址
　　在RS上使用arptables工具
　　arptables -A IN -d $VIP -j DROP
　　arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
　　在RS上修改内核参数以限制arp通告及应答级别
　　arp_announce
　　arp_ignore
　　(2) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
　　(3) RS和Director要在同一个物理网络
　　(4) 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
　　(5) 不支持端口映射（端口不能修败）
　　(6) RS可使用大多数OS系统
　　
3、LVS-TUN模式
　　lvs-tun：
　　转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）
　　(1) DIP, VIP, RIP都应该是公网地址
　　(2) RS的网关不能，也不可能指向DIP
　　(3) 请求报文要经由Director，但响应不能经由Director
　　(4) 不支持端口映射
　　(5) RS的OS须支持隧道功能
　　

　　
4、lvs-fullnat模式
　　lvs-fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发
　　CIP --> DIP
　　VIP --> RIP
　　(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP
　　(2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client
　　(3) 请求和响应报文都经由Director
　　(4) 支持端口映射；
　　注意：此类型kernel默认不支持
　　

　　Nginx
　　注意防火墙开关 iptables -F      一次关闭   iptables
　　一、Nginx配置
　　1、etc目录下的yum.repos.d，touch一个base.repo文件
　　2、vim base.repo：
　　name=CentOS
　　baseurl=file:///misc/cd
　　gpgcheck=0
　　[epel]
　　name=EPEL
　　#baseurl=http://mirrors.aliyun.com/epel/$releaserver/$basearch   阿里云
　　baseurl=http://172.16.0.1/fedora-epel/6/x86_64/    # 内网配置
　　gpgcheck=0
　　enabled=1   # 打开状态
　　3、yum repolist一下
　　4、yum install nginx 安装
　　5、rpm -qi nginx 看下nginx介绍，pl看
　　6、ss -ntl看下http80有没有打开，不能和apache冲突
　　7、systemctl start nginx（centos7）或者nginx启动，但是不能混用
　　8、systemctl stop nginx（centos7）或者nginx -s stop关闭
　　9、输入之后，就可以看到网站了
　　10、ps aux观看进程，可以看到nginx 的worker进程或者pstree -p|grep nginx
　　11、nginx模块：
　　核心模块：core module
　　标准模块：
　　HTTP 模块  外部网站，外部服务器
　　核心模块
　　格外指令的功能
　　mail模块  邮件功能
　　stream模块  tcp协议的转发
　　第三方模块
　　12、Nginx：默认为启动nginx
　　-h 查看帮助选项
　　-V 查看版本和配置选项
　　-t 测试nginx语法错误
　　-c filename 指定配置文件(default: /etc/nginx/nginx.conf)

　　-s signal 发送信号给master进程，signal可为：stop, quit,reopen,>　　-g directives 在命令行中指明全局指令
　　13、nginx配置
　　1、配置文件的组成部分：
　　主配置文件：nginx.conf
　　子配置文件 include conf.d/*.conf
　　2、fastcgi， uwsgi，scgi等协议相关的配置文件
　　3、mime.types：支持的mime类型
　　4、主配置文件的配置指令：
　　1、directive value [value2 ...];
　　2、注意：
　　(1) 指令必须以分号结尾
　　(2) 支持使用配置变量
　　内建变量：由Nginx模块引入，可直接引用
　　自定义变量：由用户使用set命令定义
　　set variable_name value;
　　引用变量：$variable_name
　　二、Nginx配置文件
　　1、etc下的nginx下的nginx.conf文件
　　主配置文件结构：四部
　　main block：主配置段，即全局配置段，对http,mail都有效
　　event {
　　...
　　} 事件驱动相关的配置
　　http {
　　...
　　}         http/https 协议相关配置段
　　mail {
　　...
　　} mail 协议相关配置段
　　stream {
　　...
　　}       stream 服务器相关配置段
　　2、修改配置
　　修改server，root行是访问路径
　　3、其他服务器上访问nginx服务，进入/etc/nginx/conf.d/
　　先在nginx服务器上进入etc/nginx/conf.d然后写下面的配置
　　vim vhosts.conf
　　server {
　　listen           80:
　　server_name      www.a.com
　　root  /app/web1/;
　　

    }　　一个网站的基本配置
　　

　　
在/app中，创建web1，web2，web3的dir，echo三个网站进去
　　
echo www.a.com > web1/index.html
　　
echo www.b.com > web2/index.html
　　
echo www.c.com > web3/index.html
　　

　　
echo hello > /usr/share/nginx/html/index.html  这个是默认的，访问这个服务nginx结果
　　
去另一个服务器，映射一下/etc/hosts，关联起来
　　
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
　　
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
　　
192.168.157.138 www.a.com www.b.com www.c.com
　　
这样就把nginx的ip地址绑定在了三个地址上
　　

　　在另一个服务器 curl www.a.com
　　MySQL
　　关系----对象
　　一、数据库系统的架构
　　单机架构
　　大型主机/终端架构
　　主从式架构（C/S）专门的服务器，客户端，（qq客户端，服务器在腾讯）
　　分布式架构
　　二、关系型数据库
　　1、关系：二维表，且满足如下性质:
　　表中行、列次序并不重要
　　2、行row：表中的每一行，又称为一条记录
　　3、列column：表中的每一列，称为属性，字段
　　4、主键（Primary key）：用于唯一确定一个记录的字段
　　5、域domain：属性的取值范围，如，性别只能取男女两个值
　　三、关系数据库
　　RDBMS
　　MySQL：MySQL，MariaDB，Percona Server
　　PostgreSQL：pgsql，现在EnterpriseDB
　　Pracle
　　MSSQL
　　DB2
　　事务transaction：多个操作被当作一个整体对待
　　ACID：
　　A：原子性（如果是5个步骤，故障后rollback回滚，重新开始，undo，redo）
　　C：一致性
　　I：隔离性（类wiki操作，同一page多操作，中间状态不被看到，脏数据）
　　D：持久性
　　四、联系类型
　　1、一对一关系（不一定在两个表一样的位置，但1：1）
　　2、一对多关系（1：n）员工表和部门表
　　3、多对多关系（m：n）学员表（主键表）课程表，避免信息重复，再开一张表（外建表），用ID对应关系，这张表和另两张分别构成一对多的关系
　　主键表，字段的值，必须唯一，不允许为空（学员姓名）只能有一个主键
　　唯一键，必须为一，允许为空（学员手机号）可以有多个唯一键，×××，手机号
　　复合主键，都叫张伟，一个上海，一个北京，那么name+city就是复合主键（pk）
　　五、数据三要素
　　1、数据结构
　　2、数据操作：增删改查
　　3、约束条件：实体（行）完整、域（列）完整，参考完整性
　　六、简易数据规划流程
　　1、收集数据，得到字段
　　必要且完整的数据项、转换成数据表字段
　　2、字段分类，归入表，建立表关联
　　关联：表和表间的关系
　　分割数据表并建立关联的有点
　　节省空间
　　减少输入错误（年龄限制，性别限制）
　　方便数据修改
　　3、规范化
　　六种范式，第一范式（1NF）巴德斯科范式（）
　　1NF：无重复列，数据不可分割，不能重复
　　2NF：属性完全依赖于主键，满足第一范式，每行可以被唯一区分
　　

    3、第三范式：属性不依赖于其他非主属性，满足第三必须先满足第二　　上图前面加一个主键员工ID，city和name就不是复合主键，这时候如果还有citycode，就违反了，还是在外面加一个city和code的表
　　

　　一般满足这三个就可以了
　　但是如果为了性能，放一张表会违反第二第三，也可以
　　七、基本概念
　　1、索引：将表中一个或多个字段中的数据复制一份另存，拿出来按次序排序后，找需要的数据，避免全表扫描
　　2、关系运算
　　选择：挑选出符合条件的行
　　投影：挑选出需要的字段
　　连接：表间字段的关联
　　八、数据模型
　　九、安装MySQL
　　yum info mariadb   Centos7
　　yum info mysql    Centos6
　　cd /etc/yum/yum.repos.d
　　yum list mariadb-server
　　yum install mariadb-server
　　centos安装5.58
　　224.4M那个文件
　　十、基础命令
　　装完查看一下rpm -ql mariadb-server
　　sysytemctl start mariadb
　　systemctl enable mariadb开机启动mariadb
　　ss-ntl----看启动
　　输入mysql默认连接
　　show databases；看有哪些数据库
　　select user（）看是谁进入访问的，默认下的管理员root没有账号密码
　　use test就会进入test数据库，不再是None
　　show tables  查看有哪些表
　　use mysql  系统库
　　show tables
　　#drop database test；可以删除这个库
　　exit退出/quit
　　mysql -uroot -h192.168.8.10通过root去进入谁的数据库，默认不允许
　　mysql -uxxx 默认随便输入账号都能进去，匿名账号，权限不大
　　mysql的表里，有一个user
　　desc user  可以查看表user
　　select * host，user，password from user查询这三个字段来显示
　　输入mysql_查看
　　mysql_secure_installation  设置root口令，新口令，匿名账户是否删除，禁止root远程登录与否，是否删除test测试数据库，是否加载特权表，就是重新加载生效
　　再次进入mysql，就进不去了
　　mysql -uroot -p
　　输入密码
　　select * host，user，password from mysql.user
　　十一、下午3点前十五分钟课程，看下，补全
　　vim /etc/my.cnf
　　这里面有一个datadir，是数据库表目录，可以修改位置
　　但是改完要改权限，然后重启
　　cd
　　忘记密码，修改
　　update user set password=password('centos') where user='root'        修改密码
　　；
　　十二、创建操作
　　create database mydb创建db
　　#ps aux/pstree
　　十三、创建表及操作
　　先use进入一个数据库
　　create table students (sid tinyint unsigned，name char(30)，sex enum('m','f'))括号内表示字段，数据类型（课件47页）
　　字符串：char（n）固定长度，n自己写，不够的补，速度快，形式一样
　　varchar（n）可变长度，超的不要，不够的也不补，省空间
　　dese students 去看一下结构
　　加入主键
　　create table students (sid tinyint unsigned primary key，name char(30)，sex enum('m','f'))
　　1、表内查询
　　show tables
　　1、查看内容
　　select * from students；
　　2、加入内容
　　insert students (sid,name,sex ) value (1,'Jim','m' )；按顺序，可以不用写(sid,name,sex )
　　再查看内容
　　2、部分赋值
　　insert students (sid,name ) value (2,'tom')；
　　3、修改内容
　　update students set sex='f'；不写条件，全部修改
　　update students set sex='f' name='lili' where name='tom'；
　　4、删除内容
　　delete from students where sid=3；不加条件，全部删除
　　truncate table students  删除内容，没有日志，不能还原，跑路了，老铁
　　十四、索引
　　show table status like 'students'\G；
　　desc students

　　create index>　　再desc一下
　　select from students
　　explain select  from students；
　　explain select  from students where>
　　explain select  from students where name='tom'\G；加了索引就1次查完，不然全表
　　十五、DQL语句
　　select * from students where gender is null，查询某个字段值是否为空，空白未见是空
　　insert students（name，age，gender） value （'tom'，1，'F'）；不符合定义的gender
　　这样就能找到null
　　十六、SELECT
　　select name，age from students where gender='M'；
　　查找男生
　　select avg(age) from students
　　查询平均年龄
　　select gender，avg（age） from students group by gender；
　　查询男女各自平均，group用了之后，select后，只能用by的字段和汇总的内容
　　select gender，max(age) from students group by gender；
　　按男女查询最大年龄
　　select max(age) from students group by gender having gender='M'；
　　查找M的最大年龄
　　select from students order by age；
　　查询年龄desc倒序，asc 正序，写在age后面
　　select  from students where calssid=1 limit 2；
　　查询前两个，如果是1，2，就是跳过第一个，显示前两个
　　十七、多表查询
　　1、交叉查询：笛卡尔乘积
　　字段叠加3+4
　　

    select * from coc cross join teachers     （coc和teachers表交叉）　　
2、内连接（交集）
　　select st.name，sc.score from students as st，scores as sc where st.stuid=sc.stuid
　　select st.name，sc.score from students as st inner join scores as sc on st.stuid=sc.stuid
　　这俩都是取stuid一样的交集
　　
3、外连接（左、右）
　　select st.name，sc.score from students as st left outer  join scores as sc on st.stuid=sc.stuid   左
　　

　　
4、多表查询
　　
5、自连接
　　select s1.name,s2.name from students as s1 inner join students as s2 on s1.teacher=s2.stuid
　　

　　十八、用户账号
　　1、创建用户带授权一般一起
　　grant all/select，delete on hellodb. to wang@'192.168.8.%'>是所有表
　　

    mysql -uwang -pcentos -h192.168.8.100 　　

　　十九、MariaDB日志
　　1、show processlist   可以列出所有进程，总是存在的，说明比较慢或大量用
　　2、show variables like ‘%slow%’查慢连接
　　【set global log_slow_queries=ON】
　　3、