Redis windows 2.6版本并发出错解决方法

fablefe

　　在使用MS opentech开发的redis 2.6 windows版本时,会出现在连接数过多(在我的机器上是超过800)时,会出现如下错误



"Error registering fd event for the new client: Result too large (fd=xxxxx)"
　　在网上却收不到任何结果.在看过代码之后,发现windows版本的redis的实现是有问题的.
　　原版的redis是使用accept来获取一个新的连接的fd,然后使用这个fd作为aeEventLoop->events的index来存储并获取events的值,从而处理事件.而MS OpenTech使用IOCP模型实现了一个aeWinAccept来获取fd.关键代码如下:



int aeWinQueueAccept(SOCKET listensock) {
aeSockState *sockstate;
aeSockState *accsockstate;
DWORD result, bytes;
SOCKET acceptsock;
aacceptreq * areq;
if ((sockstate = aeGetSockState(iocpState, (int)listensock)) == NULL) {
errno = WSAEINVAL;
return -1;
}
//这里使用了socket的返回值来初始化aeEventLoop中的fd值
acceptsock = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
if (acceptsock == INVALID_SOCKET) {
errno = WSAEINVAL;
return -1;
}
accsockstate = aeGetSockState(iocpState, (int)acceptsock);
if (accsockstate == NULL) {
errno = WSAEINVAL;
return -1;
}
...


int aeWinAccept(int fd, struct sockaddr *sa, socklen_t *len) {
aeSockState *sockstate;
int acceptsock;
int result;
SOCKADDR *plocalsa;
SOCKADDR *premotesa;
int locallen, remotelen;
aacceptreq * areq;
SOCKET listenSock = (SOCKET)fd;
if ((sockstate = aeGetSockState(iocpState, fd)) == NULL) {
errno = WSAEINVAL;
return SOCKET_ERROR;
}
//在这里取回之前存在aeEventLoop中的socket句柄作为fd
areq = sockstate->reqs;
if (areq == NULL) {
errno = WSAEINVAL;
return SOCKET_ERROR;
}
sockstate->reqs = areq->next;
acceptsock = (int)areq->accept;
...


int aeCreateFileEvent(aeEventLoop *eventLoop, int fd, int mask,
aeFileProc *proc, void *clientData)
{
aeFileEvent *fe;
if (fd >= eventLoop->setsize) {
errno = ERANGE;
return AE_ERR;
}
//在这里判断fd是否超过pool的size,并通过fd的值来取得事件
fe = &eventLoop->events[fd];
...
　　Windows版本的redis和原版的redis的实现是一样的,重要的是accept的返回值和aeWinAccept所返回的socket句柄逻辑不一样导致windows版本的redis出现了bug.在Linux中,accept的返回是递增的,因此linux版本的redis是可以处理eventLoop->setsize个连接的,而在windows上socket返回的句柄会以大概12的步进增长,所以windows版本的redis就只能处理约eventLoop->setsize/12个连接了.
　　
　　解决方法:
　　我的解决方法比较hack,我在aeEventLoop中添加一个fd_map的数组,用于把fd映射到0到eventLoop->setsize的值,这样每次从events中存取数据就通过查询fd_map来获取index,从而达到让redis能处理eventLoop->setsize个连接的效果.
　　不过由于这个方法比较猥琐,我就没有提交patch了,而是提交了一个issue,不知道下一个版本会不会解决这个问题.