yinian 发表于 2017-7-2 13:31:40

rabbitmq redis

RabbitMQ
  RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。
  对于RabbitMQ来说,生产和消费不再针对内存里的一个Queue对象,而是某台服务器上的RabbitMQ Server实现的消息队列

用rabbitmq实现一个简单的生产者消费者模型
  发送端代码



import pika
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.25'))
channel = connection.channel()
channel.queue_declare(queue="hello")
channel.basic_publish(exchange='',
routing_key = 'hello',
body='hello world',
)
print("Send hello world")
connection.close()
  接收端代码



import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.25'))
channel = connection.channel()
channel.queue_declare(queue="hello")

def callback(ch,method,properties,body):
   print(ch,method,properties)
   print("received %s" %body)

channel.basic_consume(callback,
                     queue='hello',
                     no_ack=True)

print("waiting for messages to exit press 'CTRL+C'")
channel.start_consuming()
  通过上述代码便可以实现一个简单的生产者消费者模型,但是现在的结果是:当开启多个消费者程序的时候,启动生产者发送消息,这个时候只有一个可以收到,并且再次启动,会下一个消费者收到,类似一个轮询的关系。

acknowledgment 消息不丢失(通过客户端设置实现)
  通过no_ack = False参数设置,如果消费者遇到情况突然中断了没有收到,那么RabbitMQ会重新将任务添加到队列中
  下面将接收端的代码进行更改:



#AUTHOR:FAN
import pika
import time
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.25'))
channel = connection.channel()
channel.queue_declare(queue="hello")
def callback(ch,method,properties,body):
print(ch,method,properties)
time.sleep(10)
print("received %s" %body)
channel.basic_consume(callback,
queue='hello',
no_ack=False)
print("waiting for messages to exit press 'CTRL+C'")
channel.start_consuming()
  标注的地方就是代码修改的地方,通过将no_ack更改为False,以及在callback回到函数这里让等待10s,这样启动接收端后,再启动发送算,在还没有打印数据的时候将客户端关闭,然后再启动,发现依然可以收到刚才发送端发送的数据。
  但是这种方式只能实现客户端断开重新连接的时候数据不丢失,如果是rabbitmq挂了的情况如何解决?

durable消息不丢失(通过在服务端设置保证数据不丢失)
  这个时候生产者和消费者的代码都需要改动
  发送者代码



import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.25'))
channel = connection.channel()

channel.queue_declare(queue='fan',durable=True)

channel.basic_publish(exchange='',
                     routing_key='fan',
                     body='hello world',
                     properties = pika.BasicProperties(
                           delivery_mode=2
                     ))

print("send 'hello world'")
connection.close()
  接收者的代码



import pika
import time

connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.25'))
channel = connection.channel()

channel.queue_declare(queue='fan',durable=True)

def callback(ch,method,properies,body):
   print("received %s" %body)
   time.sleep(10)
   print("is ok")
   ch.basic_ack(delivery_tag=method.delivery_tag)

channel.basic_consume(callback,
                     queue='fan',
                     no_ack=False)

print("waitting for messages.To exit press CTRL+C")
channel.start_consuming()
  这样即使在接收者接收数据过程中rabbitmq服务器出现问题了,在服务恢复之后,依然可以收到数据

发布订阅

  发布订阅和简单的消息队列区别在于,发布订阅会将消息发送给所有的订阅者,而消息队列中的数据被消费一次便消失。所以,RabbitMQ实现发布和订阅时,会为每一个订阅者创建一个队列,而发布者发布消息时,会将消息放置在所有相关队列中。
  通过exchange type = fanout参数实现
  代码例子:
  发布者:



#AUTHOR:FAN
import pika
import sys

connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.8.103'))
channel = connection.channel()

channel.exchange_declare(exchange="fan",
                        type='fanout')

message = ' '.join(sys.argv) or "info :hello world"
channel.basic_publish(exchange = 'fan',
                     routing_key='',
                     body=message)

print("send %s" %message)
connection.close()
  订阅者:



#AUTHOR:FAN
import pika
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.8.103'))
channel = connection.channel()
channel.exchange_declare(exchange="fan",
type='fanout')
#随机生成队列名字
result = channel.queue_declare(exclusive=True)
queue_name = result.method.queue
#将exchange和队列绑定
channel.queue_bind(exchange='fan',
queue=queue_name)
print("waiting for fan ,To exit press CTRL+C")
def callback(ch,method,proerties,body):
print("---",body)
channel.basic_consume(callback,
queue=queue_name,
no_ack=True)
channel.start_consuming()
关键字发送

  通过参数:exchange type = direct实现
  之前事例,发送消息时明确指定某个队列并向其中发送消息,RabbitMQ还支持根据关键字发送,即:队列绑定关键字,发送者将数据根据关键字发送到消息exchange,exchange根据 关键字 判定应该将数据发送至指定队列。
  代码例子如下:
  消费者代码:



#AUTHOR:FAN
import pika
import sys
connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.25'))
channel = connection.channel()
channel.exchange_declare(exchange='direct_logs_1',
                        type='direct')
result = channel.queue_declare(exclusive=True)
queue_name = result.method.queue

severities = sys.argv
if not severities:
   sys.stderr.write("Usage: %s \n" % sys.argv)
   exit(1)
print(severities)
for severity in severities:
   print(severity)
   channel.queue_bind(exchange='direct_logs_1',
   queue=queue_name,
   routing_key=severity)
print("waiting for logs,To exit press CTRL+C")
def callback(ch,method,properties,body):
   print("%s:%s" %(method.routing_key,body))

channel.basic_consume(callback,
                     queue=queue_name,
                     no_ack=True)
channel.start_consuming()
  生产者代码



import pika
import sys

connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.1.25'))
channel = connection.channel()

channel.exchange_declare(exchange='direct_logs_1',
                        type='direct')

print(sys.argv)
severity = sys.argv if len(sys.argv) >1 else "error"
message = ' '.join(sys.argv) or 'hello world'
channel.basic_publish(exchange='direct_logs_1',
                     routing_key = severity,
                     body = message)
print("send %s:%s" %(severity,message))
connection.close()
模糊匹配

  通过参数exchange type = topic实现
  在topic类型下,可以让队列绑定几个模糊的关键字,之后发送者将数据发送到exchange,exchange将传入”路由值“和 ”关键字“进行匹配,匹配成功,则将数据发送到指定队列。
  # 表示可以匹配 0 个 或 多个 单词
  *表示只能匹配 一个 单词
  --------------------还没有整理完
页: [1]
查看完整版本: rabbitmq redis