设为首页 收藏本站
查看: 1314|回复: 0

[经验分享] redis,rabbitmq,graphite,zabbix,tengine,haproxy,keepalived,ansible,saltstack,汇总

[复制链接]

尚未签到

发表于 2018-7-30 10:48:50 | 显示全部楼层 |阅读模式
  一,redis
  RDB持久化方式会在一个特定的间隔保存那个时间点的一个数据快照
  为防止数据丢失,需要将 Redis 中的数据从内存中 dump 到磁盘,这就是持久化。Redis 提供两种持久化方式:RDB 和 AOF。Redis 允许两者结合,也允许两者同时关闭。
  RDB 可以定时备份内存中的数据集。服务器启动的时候,可以从 RDB 文件中恢复数据集。
  AOF(append only file) 可以记录服务器的所有写操作。在服务器重新启动的时候,会把所有的写操作重新执行一遍,从而实现数据备份。当写操作集过大(比原有的数据集还大),Redis 会重写写操作集
  rdb 优点

  •   RDB的性能很好,需要进行持久化时,主进程会fork一个子进程出来,然后把持久化的工作交给子进程,自己不会有相关的I/O操作。
  •   比起AOF,在数据量比较大的情况下,RDB的启动速度更快
  缺点
  RDB容易造成数据的丢失。假设每5分钟保存一次快照,如果Redis因为某些原因不能正常工作,那么从上次产生快照到Redis出现问题这段时间的数据就会丢失了
  快照并不是很可靠。如果你的电脑突然宕机了,或者电源断了,又或者不小心杀掉了进程,那么最新的数据就会丢失。而AOF文件则提供了一种更为可靠的持久化方式。每当Redis接受到会修改数据集的命令时,就会把命令追加到AOF文件里,当你重启Redis时,AOF里的命令会被重新执行一次,重建数据。
  优点

  •   AOF日志文件是一个纯追加的文件。就算是遇到突然停电的情况,也不会出现日志的定位或者损坏问题。甚至如果因为某些原因(例如磁盘满了)命令只写了一半到日志文件里,我们也可以用redis-check-aof这个工具很简单的进行修复。
  缺点
  在某些fsync策略下,AOF的速度会比RDB慢。通常fsync设置为每秒一次就能获得比较高的性能
  二,rabbitmq
  RabbitMQ主要是为了实现系统之间的双向解耦而实现的。当生产者大量产生数据时,消费者无法快速消费,那么需要一个中间层。保存这个数据
Vhost分析
  RabbitMQ的Vhost主要是用来划分不同业务模块。不同业务模块之间没有信息交互。
  Vhost之间相互完全隔离,不同Vhost之间无法共享Exchange和Queue。因此Vhost之间数据无法共享和分享。如果要实现这种功能,需要Vhost之间手动构建对应代码逻辑。
  vhosts 主要用于用户、
消息队列(MQ)使用过程
几个概念说明:
1.  Broker:简单来说就是消息队列服务器实体。
2.  Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。
3.  Queue:消息队列载体,每个消息都会被投入到一个或多个队列。
4.  Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来。
5.  Routing Key:路由关键字,exchange根据这个关键字进行消息投递。
6.  vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。
7.  producer:消息生产者,就是投递消息的程序。
8.  consumer:消息消费者,就是接受消息的程序。
9.  channel:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。
消息队列的使用过程大概如下:
1.  客户端连接到消息队列服务器,打开一个channel。
2.  客户端声明一个exchange,并设置相关属性。
3.  客户端声明一个queue,并设置相关属性。
4.  客户端使用routing key,在exchange和queue之间建立好绑定关系。
5.  客户端投递消息到exchange。
6.  exchange接收到消息后,就根据消息的key和已经设置的binding,进行消息路由,将消息投递到一个或多个队列里。
  a)如果是Direct类型,则会将消息中的RoutingKey与该Exchange关联的所有Binding中的BindingKey进行比较,如果相等,则发送到该Binding对应的Queue中。
  b)如果是Fanout类型,则会将消息发送给所有与该 Exchange定义过Binding 的所有Queues中去,其实是一种广播行为。
  c)如果是Topic类型,则会按照正则表达式,对RoutingKey与BindingKey进行匹配,如果匹配成功,则发送到对应的Queue中。(符号”#”匹配一个或多个词,符号”*”匹配正好一个词)
  详细解释:
  Exchange可能bind了很多Queue,但是消息具体分到哪一个或哪一些Q呢?具体要看exchange的类型。
  具体exchange也有几个类型:
  1、完全根据key进行投递的叫做Direct交换机,例如,绑定时设置了routingkey为”abc”,那么客户端提交的消息,只有设置了key为”abc”的才会投递到队列。
  2、对key进行模式匹配后进行投递的叫做Topic交换机,符号”#”匹配一个或多个词,符号”*”匹配正好一个词。例如”abc.#”匹配”abc.def.ghi”,”abc.*”只匹配”abc.def”。
  3、还有一种不需要key的,叫做Fanout交换机,它采取广播模式,一个消息进来时,投递到与该交换机绑定的所有队列。
  HA
  镜像模式:把需要的队列做成镜像队列,存在于多个节点,属于rabbitMQ的HA方案。该模式解决了上述问题,其实质和普通模式不同之处在于,消息实体会主动在镜像节点间同步,而不是在consumer取数据时临时拉取
集群中有两种节点:
内存节点:只保存状态到内存(一个例外的情况是:持久的queue的持久内容将被保存到disk)
磁盘节点:保存状态到内存和磁盘。内存节点虽然不写入磁盘,但是它执行比磁盘节点要好。集群中,只需要一个磁盘节点来保存状态 就足够了 如果集群中只有内存节点,那么不能停止它们,否则所有的状态,消息等都会丢失。
  三,graphite
  四,zabbix
  五,tengine
  六,haproxy
  七,keepalived
  八,ansible
  九,saltstack
  十,tomcat
  VM内存模型
  1.1 Java栈
  Java栈是与每一个线程关联的,JVM在创建每一个线程的时候,会分配一定的栈空间给线程。它主要用来存储线程执行过程中的局部变量,方法的返回值,以及方法调用上下文。栈空间随着线程的终止而释放。StackOverflowError:如果在线程执行的过程中,栈空间不够用,那么JVM就会抛出此异常,这种情况一般是死递归造成的。
  1.2 堆
  Java中堆是由所有的线程共享的一块内存区域,堆用来保存各种JAVA对象,比如数组,线程对象等
  heap
  它是JVM用来存储对象实例以及数组值的区域,可以认为Java中所有通过new创建的对象的内存都在此分配,Heap中的对象的内存需要等待GC进行回收
  JVM垃圾回收
  GC (Garbage Collection)的基本原理:将内存中不再被使用的对象进行回收,GC中用于回收的方法称为收集器,由于GC需要消耗一些资源和时间,Java在对对象的生命周期特征进行分析后,按照新生代、旧生代的方式来对对象进行收集,以尽可能的缩短GC对应用造成的暂停
  (1)对新生代的对象的收集称为minor GC;
  (2)对旧生代的对象的收集称为Full GC;
  (3)程序中主动调用System.gc()强制执行的GC为Full GC。
  由于GC需要消耗一些资源和时间的,Java在对对象的生命周期特征进行分析后,采用了分代的方式来进行对象的收集,即按照新生代、旧生代的方式来对对象进行收集,以尽可能的缩短GC对应用造成的暂停.
  新生代 Young Generation

  •   Eden Space 任何新进入运行时数据区域的实例都会存放在此
  •   S0 Suvivor Space 存在时间较长,经过垃圾回收没有被清除的实例,就从Eden 搬到了S0
  •   S1 Survivor Space 同理,存在时间更长的实例,就从S0 搬到了S1
  旧生代 Old Generation/tenured
  同理,存在时间更长的实例,对象多次回收没被清除,就从S1 搬到了tenure
  十一,打包
  十二,kvm

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-543480-1-1.html 上篇帖子: Ansible简单使用之自动安装JDK及设置环境变量 下篇帖子: Ansible Conditionals
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表