memcached+varnish

7865432

memcached
缓存服务器：
        1.缓存：cache，无持久存储功能
        2.行挂失缓存bypass，而不是代理式缓存
        3.仅提供缓存功能，存什么，怎么存全有客户端决定
        4.k/v cache，只能存储可序列化数据
        5.存储项是非常简单的：key，value，flag，expire time(过期时间)单数上限：1M
        6.功能的实现一把依赖于memcached，一半是client
        7.不能高可用，挂了缓存就丢失了
        8.O(1)的执行效率
        9.分布式缓存互不通信的分布式集群
                        分布式系统请求路由方法：取膜法，一致性哈希算法
        10.缓存耗尽时基于LRU(最近最少使用)清理
        缓存过期项：惰性清理机制，新的直接覆盖旧的
memcached协议
        客户端要拥有连接memcached的适配器php-memcached

yum安装就好

配置文件/etc/sysconfig/memcached
        默认监听11211/tcp,11211/udp

主程序 /usr/bin/memcached


协议格式：
        文本格式
        二进制格式

telnet文本交互:

        常用命令

                统计类：stats items | slabs |sizes

                存储类：set，add，replace，append，perpend

                获取数据类：get，delete，incr/decr

                清空：flesh_all


                add mykey 0 30 5  添加mykey
                hello                          内容hello
                set mykey 0 30 5  设置mykey的值
                hello
                get mykey                  获取mykey值

                                  0:标志位
                                    30:缓存ttl值时长,30秒后无法获得
                                       5:整个数据的长度

                append mykey 0 300 11   追加内容,注意长度的修改,是指添加了多少个字符而不是添加到

                prepend mkkey 0 300 3  同上,只不过是在前边添加,想要两个值之间带空格就在字符数多几个字符



                incr key_name #  将key的值+1  key值要是数字
                decr          #           -1

                                                (常用于微博微信之类的赞转发之类的计数)

                flush all  清空缓存




程序常用选项

        -m #：缓存空间大小，单位mb默认64
        -c #：并发连接数，默认1024
        -u username：程序运行者身份，一般要用普通用户
        -p Port：监听的tcp端口
        -u Port：监听的udp端口
        -l ip_addr：监听的IP地址，默认本机所有IP地址
        -M ：一旦缓存空间耗尽的时候，想请求存储缓存项换回错误信息，而非使用默认的lru算法
        -f factor ：用来指明chunk的增长因子，默认是1.25
        -vv：详细内容
        -t #：线程数量，默认为4，最好<cpu数


启动服务一般选项

memcached -u    -p    -m   -c   $options

在环境文件中配置后,直接memcached就行
        /etc/sysconfig/memcached
options项写-a xxx之类的就行












memcached的认证功能
        默认没有认证机制，可以借助SASL进行认证

                SASL：简单安全认证层


API：C++：libmemcached(c语言)
         php：memcached：php-pecl-memcached
                   memcache ：php-pecl-memcache














Varnish:web cache (page cache)

中小型web应用架构 图


线程限制是针对域名来说的,单域名双线程,所以,多个域名也可以提升性能


程序运行具有局部性特征
        空间局部性:
                某一个数据被访问过,离他较近的数据也有可能被访问到
        时间局部性:
                某一个数据被访问到,随后有可能很快会被再次访问到

热区:一段时间内会有一个特别流行的数据,80%的访问量被20%的数据承载(尤其是电商,流行商品,淘宝爆款),这些就叫热区,其实就是局部性的表现,体现出缓存的价值,因为缓存主要存放的及时热区数据

时效性:缓存是会过期的,所以要具备过期处理逻辑
        缓存清理:
                过期清理
                缓存溢出清理:LRU最近最少使用



        缓存就是利用空间换取时间,在较短的时间内快速获得结果

缓存命中率:命中次数/未命中次数+命中次数
        (0,1)

        页面命中率:基于页面数量进行衡量
        字节命中率:基于页面的大小,体积进行衡量
                以上要有一个是收益OK的,那么缓存就是有效的


缓存与否:
        私有数据:private,例如邮箱等:只能放在私有缓存中
        公共数据:public,例如电商的商品页面:放在私有缓存和公有缓存

缓存种类:
        私有缓存:浏览器缓存
        公有缓存:reverse proxy,cache

如何分辨私有公有:
        带有某个标签或者是存在cookie的都是私有的,没有的就被认定是公有的

缓存处理的步骤

        接受请求--->解析请求(提取请求首部中的URL及其他首部)---->查询缓存--->新鲜度检测(是不是在有效期)--->检查元数据是不是改变,如果没改变--->构建响应报文-->发送响应--->记录日志(类似于httpd的combined)


过期检查机制:

        每个缓存都是会有服务器加一个过期时间.在这个时间内都是有缓存返回的,如果过期了或者没有缓存,就反代到后端服务器,后端服务器发送数据和过期时间给缓存和请求

        首部:HTTP/1.0
                Expire:绝对时间:xxx-xxx
                HTTP/1.1
                Cache-Control:maxage=相对时长,过多长时间过期
                Cache-Control:s-maxage=公共缓存时长

条件检查机制:validation

        (1)LASTMODIFIED:最近修改时间

           IF MOFIFIED SINCE:从上次开始是不是修改过时间

           请求数据到缓存服务器上,如果超出有效时间,缓存服务器向后端服务器发送一个请求报文,询问是不是修改了,如果是,就由后端服务器来发送数据,没有的话就是有缓存发送

        (2)Etag:资源标签

           if-none-match:标签有没变换

           基本上和上边相同,只是寻问的是标签有没有变化


两者结合:超时有效时长的,向后端服务器发送条件检查



开源解决方案:
        squid:
        varnish:在非常大的并发连接数下,varnish不是很稳定


varnish:绝大多数站点都是varnish www.varnish-cache.org 最新稳定版本4.1.3 (分支5.0|4.1|4.0)



Architecture        图








组织架构
        management进程
        child/cache进程:包含多种类型的线程
                accept worker expiry
        shared memeory log:
                统计数据的计数器
                日志区域

配置接口:VCL
        VCL complier--->c complier------->shared object

上午第二节课


环境文件
        配置文件
                /etc/varnish/default.vcl配置缓存工作(child/cache)
                /etc/varnish/varnish.params配置varnish自身(端口之类的)
        主程序

        CLI interface
                varnishadm

        shared log
                /usr/bin/varnishhist
                /usr/bin/varnishlog
                /usr/bin/varnishncsa
                /usr/bin/varnishstat
                /usr/bin/varnishtest
                /usr/bin/varnishtop


        varnishtest:模拟varnish的客户端,测试varnish的工作是不是正常

        systemd unitfile
                varnish.service

                varnishlog
                varnishncsa:日志持久化服务,每个多长时间读取次日志


varnish的缓存存储机制
        (1)malloc[,size]
                内存存储
        (2)file[path[,size[,granularity]]]
                文件存储,黑盒,重启后缓存失效
        (3)persistent,path,size
                文件存储,黑盒,重启不失效,但是还在测试



varnish程序的选项
        (1)程序选项 /etc/varnish/varnish.params
                -a IP地址:port
                        服务接口,不能是127,默认6081
                -T IP地址:port
                        管理接口,默认6082
                -s [name]=type[,options]
                        定义缓存存储机制
                -u user
                -g group
                        定义运行身份
                -f config
                        VCL配置文件
                -F
                        前台运行
        (2)运行时参数(运行时可以更改的)
                -p param=value
                -r param[,param..]运行时不可以更改,只读

                大多数运行参数都有默认值不用设定,必要设定时候要在varnish.params定义,在程勋运行前定义
                在底下的DEMON_OPTS
                例如:
                #DAEMON_OPTS="-p thread_pool_min=5 -p thread_pool_max=500 -p thread_pool_timeout=300"


        具体配置

                6081可以改
                6082是管理接口,也可以改

                #DAEMON_OPTS="-p thread_pool_min=5 -p thread_pool_max=500 -p thread_pool_timeout=300"
                最小/最大线程池数量,超时时间


                VARNISH_STORAGE="file,/var/lib/varnish/varnish_storage.bin,1G"
                文件存储

                VARNISH_STORAGE="malloc,1G"
                内存存储


事实上大多时候都不需要更改直接使用,主要还是VCL


        varnish_reload_vcl:vcl配置文件重载程序



        varnishadm -S /etc/varnish/sercet -T address:port

        help获取命令列表

        配置文件相关
                vcl.list:列出vcl文件有哪些
                        load:装载,加载并编译

                                vcl.load testconfig1 default.vcl

                        use:激活

                                vcl.use testconfig1  激活了,生效了

                        discard:删除,最好先激活另一个后在删除上一个
        运行时参数
                param.show:显示参数列表
                          show<param>显示某个参数配置
                          set<PARAM><VALUE>设定

        缓存存储
                storage.list

        后端服务器:
                backend.list


VCL:域专有类型的配置语言

        state engine:状态引擎

        VCL有多个状态引擎.且之间存在相关性,但是彼此间互相隔离,每个状态引擎可使用return指明关联至那个下一级引擎


图










        vcl_recv--->vcl_pipe
        收到后不知道做什么直接送到后端
        vcl_recv--->vcl_error
        收到后不允许给他数据或者直接请求就是错的


        vcl_pass:多加的处理逻辑,可以额外做一些处理的设定

        vcl_purge:缓存的修剪


varnish 4:
        vcl_recv ---->vcl_hash
                (1)hit:vcl_hit--->vcl_deliver
                (2)pass,hit for pass:vcl_pass--->vcl_backend_fetch-->_response-->vcl_deliver
                (3)miss:vcl_miss--->[vcl_pass--->]vcl_backend_fetch-->_response-->vcl_deliver
                (4)purge:vcl_purge--->vcl_synth
                (5)pipe:vcl_pipe
                (6)busy:vcl_waiting



vcl语法格式
        (1)支持注释符
                //:单行注释
                /*...*/:多行注释
                #:注释
        (2)sub $name:定义子例程;sub vcl_recv{..}只对vcl_recv有效
        (3)不支持循环,但是支持条件判断
        (4)有大量的內建变量,生效位置有特定要求
        (5)使用终止语句return决定下一个状态引擎;但是没有返回值
        (6)操作符
                =:赋值
                ==:等值判断
                !:取反
                ~:匹配
                &&:逻辑与
                ||:逻辑或
                >,<,>=,<=
        (7)语句使用;结尾



变量类型
        內建变量:
        req.*:request,由客户端发来的请求报文相关的众多数据
                req.http.*
                        req.http.User-Agent:客户端浏览器类型
                                        .Referer:从哪里引用过来的
                                        .method:get等
                各引擎都可用,都是只读只写
        bereq.*:backend 由varnish发给后端的请求
                        berep.http.*
        beresp.*:有后端响应给varnish的
                        beresp.http.*
        obj.*:发送给缓存服务器的
        resp.*:响应给前端请求的


        常用变量
                bereq.*:
                        bereq.http.HEADERS
                        bereq.request:请求方法
                                 .url:请求的url
                                 .proto:请求的协议版本
                                 .backend:指明要调用的后端主机
                beresp.*:
                        bereq.http.HEADERS
                                          .status:响应的状态码
                                          .proto:协议版本
                                          .backend.name:BE主机的主机名
                                          .ttl:BE主机响应内容的余下的可缓存时长
                obj.*:
                        obj.hits:当前正在访问的缓存的命中次数(这一次)
                                .ttl:对象的ttl值,缓存时长

                server.*
                        server.ip
                                  .hostname
                client.*
                                .ip

下午第一节课
        set:设置一个变量
        unset:取消一个变量


        用户自定义:
                事例1:强制对某类资源的请求不检查缓存
                        vcl_recv{
                        if (req.url ~ "(?i)^/(login|admin)") {
                                return(pass);
                                }
                        }


        事例2:对于特定类型的资源,例如公开的图片等,取消其私有标志,并强行设定器可以由varnish缓存的时长

                        vcl_backend_response{
                        if (beresp.http.caceh-control !~ "s-maxage") {
                                if (bereq.url ~ "(?i)\.(jpg|jpeg|png|gif|css|js)$") {
                                unset beresp.http.Set-Cppkie;
                                set beresp.ttl=3600s;
                                        }
                                }

                        }



        缓存对象的修剪:purge ban

                purge:

                (1)sub vcl_purge {
                        return(synth(200,"purged自己定义"));
                }                                               

                (2)要在recv中定义那些请求到purge中
                        if (req.method == "PURGE") {
                                        return(purge);
                        }

                (3)定义访问控制列表
                        acl purgers {
                                "127.0.0.0"/8;
                                "172.16.0.0"/16;
                        }

                        sub vcl_recv {
                                if (req.method == "PURGE") {
                                        if(!dlient.ip ~ purgers){
                                                return(405,"Purging not allowed for" = + client.ip));
                                        }
                                }
                        }



        如何设定使用多个后端主机:
                backend name {
                        .host = " ";
                        .port = " ";
                }

                sub vcl_recv {
                        if (req.url ~ "(?i)\.php$") {
                        set req.backend_hint = appsrv;
                                } else {
                        set req.backend_hint = default;
                                }       

                        }
                }



后端多个主机不做分离式做负载均衡

varnish做director

        varnish module
                使用前要先导入
                        import directors


        sub vcl_init:处理任何请求之前要执行的vcl代码,主要用于初始化VMODs
            vcl_fini:所有的请求都退出后,在vcl配置被丢弃的时候处理调用,主要用于清理VMODs

            调度方法:random,hash,round_robin()

            import directors;

            sub vcl_init{
            newbar = director.round_robin();
            自定义组名          .调度算法
            bar.add_backend(server1);
            bar.add_backend(server2);
            }


            sub vcl_recv {
                    set req.backend_hint = newbar.backend();
            }



        BE健康状态检查

                backend BE_NAME{
                .host
                .port
                .probe={
                        .url:检测要请求的url,默认为主页
                        .request:指明打出请求报文怎么发
                        .timeout:检测的超时时长
                        .inteval:检查频度,多长时间检查一次
                        .window = #:基于最近的多少次检查判断健康状态
                        .threshold = #:至少几次是成功才认定是健康的
                        .expected_response:期望的响应码,默认是200
                }
                }

                也可以
                probe NAME {
                        .url:检测要请求的url,默认为主页
                        .request:指明打出请求报文怎么发
                        .timeout:检测的超时时长
                        .inteval:检查频度,多长时间检查一次
                        .window = #:基于最近的多少次检查判断健康状态
                        .threshold = #:至少几次是成功才认定是健康的
                        .expected_response:期望的响应码,默认是200

                }

                然后在.host下边
                        .probe = NAME;





varnish的运行时参数:查看参数 param.show -l
        线程模型:
                cache-worker
                cache-main
                ban lurker
                acceptor
                epoll/kqueue*
                ...


        线程相关的参数
                在线程池内部,其每一个请求有一个线程处理;其worker线程的最大数决定了varnish的并发响应能力

                thread_pools :线程池个数,小于等于cpu核心数
                thread_pool_max:调整每个线程池的最大工作线程数量,默认5000个
                        最大并发数上边两个相乘

                thread_pool_min:......

                param.set thread_poll_max 1000(但是重启不保存,编辑配置文件)


                        #DAEMON_OPTS="-p thread_pool_min=5 -p thread_pool_max=500 -p thread_pool_timeout=300"

                        记住要用-p指定,每一个都要,不可以一个-p指多个参数

                thread_poll_timeout:默认10秒

                                   _add_delay:创建线程之间要不要有间隔,默认0

                                   _destroy_delay:多长时间清理一个线程,默认10毫秒





客户端命令的使用
/usr/bin/varnishhist
/usr/bin/varnishlog
/usr/bin/varnishncsa
/usr/bin/varnishstat
/usr/bin/varnishtest
/usr/bin/varnishtop
        日志区域
                计数器

                日志信息



/usr/bin/varnishstat查看统计数据

        varnishstat -1:持续刷新类似watch -n
                                -f:指向显示那些字段,-1出来的都是字段
                                        -1 -f xxxx
                                -l:那些字段可以跟-f使用

                MAIN.cache_miss
                MAIN.cache_hit  重点关注的两项,可以计算命中率






/usr/bin/varnishtop显示日志,对日志做排序

        varnishtop -1:持续性显示
                           -i:查看指定标签信息,标签名去-1信息里边找,多个","隔开
                           -I:同-i,但是支持正表
                           -x:排除列表,不显示某个标签
                           -X:支持正表的-x


/usr/bin/varnishlog正儿八经的显示日志本身的

        varnishlog

/usr/bin/varnishncsa将日志以combined的格式显示,就是httpd的日志格式

        varnishncsa -f:指定日志记录什么,就是httpd的那些%的东西

        想保存起来就执行/usr/lib/systemd/system/varnishncsa.service

                        systemctl start varnishncsa.service



vcl可以做url重写,使用一个內建函数



一个客户端有多个域名,使用hash算法来命中
hash_data():指明hash计算的数据,减少差异以提升命中率
regsub(str,regex,sub):正则表达式的模式替换,吧str中第一次被regex匹配到的替换为sub
regsuball():全部替换,主要用于url重写

return()
ban(expression):清理缓存,后跟普通表达式
ban_url(regex):清理缓存,后跟正表

最后一节课最后的hash_data

synth(status,"string"):purge,一次只清理一个url缓存对象





实践作业
        前段nginx将用户请求调度到两个varnish,并保证命中率,hash他的url,map和consistent的hash算法,varnish要方向代理用户请求到后端主机,后端主机上部署以个wordpress,并且把请求分发到三个主机上的时候有什么不同







        生成静态页面,当服务器挂了,就定到静态页面服务器上,降级xx的概念


博客作业,以上所有内容



haproxy和tomcat