squid内部结构及实现剖析

天高云淡

　　http://blog.sina.com.cn/s/blog_68d83f050100m5qt.html
　　
前几天要做一个较大的项目，这要建立在对squid 结构充分调研及熟悉的基础上，于是便对squid 代码重新梳理了一遍，整理了一下squid的整个结构图。废话少说，就先上图啦。

           squid内部结构与实现详细剖析
   针对上图做一个简要的说明，中间的大圆圈圈住的部分，属于squid 代码中涉及到的几个核心的数据结构，clientHttpRequest、StoreEntry、storeClient、connStateData、httpStateData、MemObject、StoreIoState。其中connStateData是关于与客户端连接的信息，这里包含接受客户端的请求，以及向客户端发送数据的fd，十分关键。clientHttpRequest是针对一个特定的http请求的，当然如果是长连接的话，一个连接可以对应多个请求，所以connStateData和clientHttpRequest是1VS N的关系。 httpStateData 是另外一个比较核心的数据结构，这个结构中保存了squid和源站之间的连接信息，包括squid 和 server 端得连接fd，用于向源站转发请求以及接受源站给与的数据。
    StoreEntry是squid中无处不在的一个结构体，通常情况下，一个storeEntry 和一个url 相对应，对对应本地磁盘上存储的一个文件。MemObject结构式StoreEntry中的一个buf 结构，用于维护当前storeEtnry的内容。storeClient是指一个特定的客户端，squid 用这种 抽象的形式来处理用户请求，每次要往客户端发数据，只要发送到storeClient中的buf 即可。storeClient 是直接挂在storeEntry中的MemObject上，一个MemObject可以挂多个storeClient，squid将要发给客户端的内容都会保存在MemObject中，然后从MemObject中向storeclient结构buf 中copy ，storeClient中再调用相应的回调来完成数据向客户端的发送。
      storeIoState结构是与文件系统交互的一个结构，当客户请求的内容miss的时候，就要把从源站发过来的内容在squid 中保存，squid 将其存入文件，这时候的storeIostate，就属于一个往磁盘相应文件写数据的结构。当客户请求内容Hit的时候，就要从磁盘把内容读出来发给客户而不必回源，这时候storeIoState对应的结构就是从磁盘相应文件读数据的结构。
     上面介绍的是squid实现时涉及到的几个结构体，下面再简要介绍squid的主要处理流程。处理流程从clientProcessRequest说起，这里squid已经接受了客户端发来的请求，并对请求做了解析。
     对请求的梳理，首先squid要判断，用户的此次请求时MIss还是HIT，他采用的方式就是调用storeGet...系列函数，根据一定的规则来找当前客户请求的数据是否在磁盘中，也就是在本地，如果是，就表明Hit， 否则就是MISS。
     在MISS的时候，进入相应的MISS流程（图中是向右的分支，向左的分支是Hit流程），HIT的时候进入HIT流程。
     因为在MISS的时候，表明用户请求的文件不在本地，也就没有相应的storeEntry，这时候调用clientCreateStoreEntry函数来创建StoreEntry，并创建相应的storeClient结构，将该storeClient和该StoreEntry绑定。调用storeClientCopyHeader来告诉squid ，现在要copy header给客户端，这样从源站到header数据时，就可以调用相应的回调，这里是clientSendHeaders，来发送header给客户端。然后squid开始往server端建联，这一部分在途中省略了，因为个人感觉其属于非主流。当建联成功后，squid开始构建发往server端的请求，包括请求的header信息，当请求构建完毕，就要调用httpSendRequest来向server端发送请求，当server端发来响应数据时，就要调用httpReadReply来处理这些数据了，处理这些数据无非就是处理header以及处理body。1，处理源站发来的header时，客户要解析header信息，squid自身调用httpProcessReplyHeader来处理header，自己解析完了，也会对header做响应处理，然后发给客户端，这时候调用InvokerHandler，InvokeHandler函数会调用storeClient当初注册的回调函数，这里就是clientSendHeaders了，来发送header给客户端。squid会判断这些信息能不能cache，如果能的话会调用storeSwapOutStart来写往磁盘中的某个文件。2、处理body信息也就是一个转发，保存两件事，不过这时候的转发函数不在是clientSendHeaders，而是clientSendMoreData。
      下面再简要说一下，HIT流程。HIT流程中，squid 会首先调用storeClientCopyHeaders来往客户端发送header，因为是HIT的情况，所以此时，用户请求的内容就在本地，不用回源，所以就要读文件了，读文件第一次读出来的就只有header信息，读出来header后再对header进行解析处理，处理header的地方时在clientCacheHit函数中，在这个函数里会根据http协议的相关内容做一些判断文件是否过期等校验。如果需要要重新启动MISS流程的。一般情况下直接就进入clientProcessHit中来处理Hit的情况了，这时候会往客户端发header，发body，情况和MISS的时候差不多，只不过内容不从源站取，而是从文件中读而已。
     上面是对squid流程的一个简单的梳理，其他的内容squid 是如何将各种操作串接起来的，还有squid中的epoll机制在这里并没有涉及。