03-PubSubHubbub 和 twisted 的 Persistent connections 能力 | 07.杂项 | Python

ispsh

03-PubSubHubbub 和 twisted 的 Persistent connections 能力
　　郑昀 201005  隶属于《07.杂项》
　　关于上节《02-Twisted 构建 Web Server 的 Socket 长链接问题》，还可以继续探讨为何会保持 Socket  长链接。
该关闭的连接没关闭？
　　有人在twisted邮件列表中也反映：
『We close the render_POST with a  request.write('data') & a request.finish() but the connection stays  open』调用了request.finish()，socket连接依然保持着，这现象和我们遇到的一样。
在 twisted.web.server 里，Request  的 finish 函数是这么定义的：
　　def finish(self):
     http.Request.finish(self)
    for d in self.notifications:  
        d.callback(None)
    self.notifications = []
　　它调用了 twisted.web.http 的 Request 类之 finish 方法：
　　def finish(self):
    """We are finished writing  data."""
    if self.finished:
        warnings.warn("Warning!  request.finish called twice.", stacklevel=2)
        return
　　if not self.startedWriting:
        # write  headers
        self.write('')
　　if self.chunked:
        # write last chunk and  closing CRLF
        self.transport.write("0\r\n\r\n")
　　# log request
    if hasattr(self.channel,  "factory"):
        self.channel.factory.log(self)
　　self.finished = 1
    if not self.queued:  
        self._cleanup()
　　可以看出 request.finish()  只是说要结束写数据了，把缓冲区内的数据都发送给对方，并没有去断开连接，否则就应该主动执行  self.transport.loseConnection() 。所以不主动断开socket连接也是设计使然。
　　
PubSubHubbub  的持久连接
　　本来 PubSubHubbub 的 Hub 本来就是要保持长连接，从而重用连接。它的文档 PublisherEfficiency 上称：
『HTTP persistent  connections and pipelining
　　By default in HTTP 1.1, TCP connections will be reused between requests. For  a publisher serving many separate Atom feeds, this allows Hubs to get around the  expense of creating a new TCP connection every time an event happens. Instead,  Hubs MAY leave their TCP connections open and reuse them to make HTTP  requests for freshly published events. 』
　　
twisted.web.server 也支持持久连接
　　twisted.web.server 是支持 support persistent connections and pipelining 的。  
文档指出：
『Alternatively, they can return a special  constant,twisted.web.server.NOT_DONE_YET, which tells the web server not to  close the connection』即通过返回一个NOT_DONE_YET来告知Web Server不要关闭socket连接。
所以会看到  Google Code 上不少代码都是在 render 函数内返回 server.NOT_DONE_YET 。
　　twisted.web.server.py 中， Request.render 函数定义中有这么一句判断：
if body ==  NOT_DONE_YET:
            return
...
self.finish()
也就是说如果你返回  NOT_DONE_YET ，就不会再调用 request.finish() 了。
　　
　　这个 NOT_DONE_YET 标志有几种解释：
　　http://www.olivepeak.com/blog/posts/read/simple-http-pubsub-server-with-twisted  说：
『returns server.NOT_DONE_YET. This tells Twisted to not return anything  to the client, but leave the connection open for later  processing.』
　　http://www.ibm.com/developerworks/library/l-twist2.html?S_TACT=105AGX52&S_CMP=cn-a-l  则认为：
『The odd-looking return value server.NOT_DONE_YET is a flag to the  Twisted server to flush the page content out of the request object.』
　　http://blog.iyunv.com/gashero/archive/2007/03/02/1519045.aspx  说：
『你可以使用魔术值 twisted.web.server.NOT_DONE_YET  ，可以告知Resource有些事情是异步的而且尚未完成，直到你调用了request.finish()。然后调用request.finish()直到写完了所有的响应数据。』  
　　总之，不管如何解释，return server.NOT_DONE_YET from the render_GET/render_POST method,  so the connection keeps open是没错的。
　　
　　所以身为 PubSubHubbub Subscriber 角色的 Web Server ，我们的 render_POST 方法可以这么写：
　　# 处理 PubSubHubbub Hub 推送过来的数据
def render_POST(self,  request):
    try:
            body = request.content.read()  
            def finish_success(request):
                 if(request._disconnected or request.finished):
                     print('***>This request is already finished.')
                    pass  
                else:
                    print('***>This request  wiil be finished.')
                     request.setResponseCode(http.NO_CONTENT)
                     request.write("")
                    request.finish()  
            def finish_failed(request):
                 print('-=->fail in parseData?')
             threads.deferToThread(self.parseData, body).addCallbacks(lambda x:  finish_success(request), lambda x: finish_failed(request))
             """deferToThread 方法默认用 reactor.getThreadPool() 开辟的线程池。
             它调用这个线程池的 threadpool.callInThreadWithCallback  
            方法，实际效果和 reactor.callInThread 一样。区别只是 deferToThread 可以返回一个  deferred ，能够 addCallback。
            """
    except:
         traceback.print_exc()
    request.setResponseCode(http.NO_CONTENT)#即204  
    return NOT_DONE_YET
　　也就是，接收到 POST 过来的数据后，异步扔给另一个方法解析和处理，这厢立刻 return NOT_DONE_YET ， 等处理成功了，回调里再  finish 掉当前的 request 。
　　　　
　　参考资源：
　　1、关于Windows频繁打开关闭端口时出现的问题 ；
　　2、Choosing a TCP Port for a Network Service ；
　　3、02-Twisted  构建 Web Server 的 Socket 长链接问题 | 07.杂项 | Python ；
　　4、03-PubSubHubbub  和 twisted 的 Persistent connections 能力 | 07.杂项 | Python ；
　　5、Windows频繁打开和关闭端口可能引发的问题  | 07.杂项 。