深入理解windows句柄

samdung

　　总是有新入门的Windows程序员问我Windows的句柄到底是什么我说你把它看做一种类似指针的标识就行了但是显然这一答案不能让他们满意然后我说去问问度娘吧他们说不行网上的说法太多还难以理解。今天比较闲我上网查了查光是百度百科词条“句柄”中就有好几种说法很多叙述还是错误的天知道这些误人子弟的人是想干什么。
　　这里我列举词条中的关于句柄的叙述不当之处至于如何不当先不管继续往下看就会明白:
　　1.windows 之所以要设立句柄根本上源于内存管理机制的问题—虚拟地址简而言之数据的地址需要变动变动以后就需要有人来记录管理变动就好像户籍管理一样因此系统用句柄来记载数据地址的变更。
　　2.如果想更透彻一点地认识句柄我可以告诉大家句柄是一种指向指针的指针。
　　通常我们说句柄是WINDOWS用来标识被应用程序所建立或使用的对象的唯一整数。这句话是没有问题的但是想把这句话对应到具体的内存结构上就做不到了。下面我们来详细探讨一下Windows中的句柄到底是什么。
1.虚拟内存结构
　　要理解这个问题首先不能避开Windows的虚拟内存结构。对于这个问题已有前人写了比较好的解释这里我为了保证博客连贯性直接贴上需要的部分(原文是讲解Java JVM虚拟机的性能提升的文章在其中涉及到了虚拟内存的内容解释的非常好这里我截取这部分略加修改这里是文章链接)
　　我们知道CPU是通过寻址来访问内存的。32位CPU的寻址宽度是 0~0xFFFFFFFF 计算后得到的大小是4G也就是说可支持的物理内存最大是4G。但在实践过程中碰到了这样的问题程序需要使用4G内存而可用物理内存小于4G导致程序不得不降低内存占用。
　　为了解决此类问题现代CPU引入了 MMUMemory Management Unit 内存管理单元。
　　MMU 的核心思想是利用虚拟地址替代物理地址即CPU寻址时使用虚址由 MMU 负责将虚址映射为物理地址。MMU的引入解决了对物理内存的限制对程序来说就像自己在使用4G内存一样。
　　内存分页(Paging)是在使用MMU的基础上提出的一种内存管理机制。它将虚拟地址和物理地址按固定大小4K分割成页(page)和页帧(page frame)并保证页与页帧的大小相同。这种机制从数据结构上保证了访问内存的高效并使OS能支持非连续性的内存分配。在程序内存不够用时还可以将不常用的物理内存页转移到其他存储设备上比如磁盘这就是大家耳熟能详的虚拟内存。
　　在上文中提到虚拟地址与物理地址需要通过映射才能使CPU正常工作。
　　而映射就需要存储映射表。在现代CPU架构中映射关系通常被存储在物理内存上一个被称之为页表(page table)的地方。
　　如下图

　　从这张图中可以清晰地看到CPU与页表物理内存之间的交互关系。
　　进一步优化引入TLBTranslation lookaside buffer页表寄存器缓冲
　　由上一节可知页表是被存储在内存中的。我们知道CPU通过总线访问内存肯定慢于直接访问寄存器的。
　　为了进一步优化性能现代CPU架构引入了TLB用来缓存一部分经常访问的页表内容。
　　如下图

　　对比 9.6 那张图在中间加入了TLB。
　　为什么要支持大内存分页
　　TLB是有限的这点毫无疑问。当超出TLB的存储极限时就会发生 TLB miss之后OS就会命令CPU去访问内存上的页表。如果频繁的出现TLB miss程序的性能会下降地很快。
　　为了让TLB可以存储更多的页地址映射关系我们的做法是调大内存分页大小。
　　如果一个页4M对比一个页4K前者可以让TLB多存储1000个页地址映射关系性能的提升是比较可观的。
　　简而言之虚拟内存将内存逻辑地址和物理地址之间建立了一个对应表要读写逻辑地址对应的物理内存内容必须查询相关页表(当然现在有还有段式、段页式内存对应方式但是从原理上来说都是一样的)找到逻辑地址对应的物理地址做相关操作。我们常见的对程序员开放的内存分配接口如malloc等分配的得到的都是逻辑地址C指针指向的也是逻辑地址。
　　这种虚拟内存的好处是很多的这里以连续内存分配和可移动内存为例来讲一讲。
　　首先说一说连续内存分配我们在程序中经常需要分配一块连续的内存结构如数组他们可以使用指针循环读取但是物理内存多次分配释放后实际上是破碎的如下图

　　图中白色为可用物理内存黑色为被其他程序占有的内存现在要分配一个12大小的连续内存那么显然物理内存中是没有这么大的连续内存的这时候通过页表对应的方式可以看到我们很容易得到逻辑地址上连续的12大小的内存。
　　再说一说可移动内存我们使用GlobalAlloc等函数时经常会指定GMEM_MOVABLE和GMEM_FIXED参数很对人对这两个参数很头疼搞不明白什么意思。
　　实际上这里的MOVABLE和FIXED都是针对的逻辑地址来说的。GMEM_MOVABLE是说允许操作系统或者应用程序实施对内存堆(逻辑地址)的管理在必要时操作系统可以移动内存块获取更大的块或者合并一些空闲的内存块也称“垃圾回收”它可以提高内存的利用率这里的地址都是指逻辑地址。同样以分配12大小连续的内存在某种状态时内存结构如下

　　显然这时候是无法分配12连续大小的内存但是如果这里的逻辑地址都指明为GMEM_MOVABLE的话操作系统这时候会对逻辑地址做管理得到如下结果

　　这时候就实现了逻辑地址的MOVE相对比实现物理内存的移动这样的代价当然要小得多撒但是聪明的小伙伴们是不是要问这样在逻辑地址中移动了内存那么实际访问数据不都乱套了吗还能找到自己分配的实际物理内存数据吗等等不要心急这就是等下要讲的句柄做的事情了。
　　GMEM_FIXED是说允许在物理内存中移动内存块但是必须保证逻辑地址是不变的在早期16位Windows操作系统不支持在物理内存中移动内存所以禁止使用GMEM_FIXED现在的你估计体会不到了。
　　事实上用GlobalAlloc分配内存时指定GMEM_FIXED参数返回的句柄就是指向内存分配的内存块的指针不理解接着看下面的句柄结构你就明白了。
2.句柄结构
　　在上面讲解虚拟内存结构的过程中我们就引出了几个问题MOVABLE的内存访问为什么不会乱FIXED的内存为什么说就是指向分配内存块的指针。
　　事实上我们尽管Windows没有给出源码但是从一些头文件、MSDN和Windows早期内存分配函数中我们还是可以一窥端倪。
　　在Winnt.h头文件中做了通用句柄的定义
　　[cpp] view plain copy print?

• 　　#ifdef STRICT
  
• 　　typedef void *HANDLE;
  
• 　　#define DECLARE_HANDLE(name) struct name##__ { int unused; }; typedef struct name##__ *name
  
• 　　#else
  
• 　　typedef PVOID HANDLE;
  
• 　　#define DECLARE_HANDLE(name) typedef HANDLE name
  
• 　　#endif
  
• 　　typedef HANDLE *PHANDLE;
  

　　在Windef.h做了特殊句柄的定义
　　[cpp] view plain copy print?

• 　　#if !defined(_MAC) || !defined(GDI_INTERNAL)
  
• 　　DECLARE_HANDLE(HFONT);
  
• 　　#endif
  
• 　　DECLARE_HANDLE(HICON);
  
• 　　#if !defined(_MAC) || !defined(WIN_INTERNAL)
  
• 　　DECLARE_HANDLE(HMENU);
  
• 　　#endif
  
• 　　DECLARE_HANDLE(HMETAFILE);
  
• 　　DECLARE_HANDLE(HINSTANCE);
  
• 　　typedef HINSTANCE HMODULE;      /* HMODULEs can be used in place of HINSTANCEs */
  
• 　　#if !defined(_MAC) || !defined(GDI_INTERNAL)
  
• 　　DECLARE_HANDLE(HPALETTE);
  
• 　　DECLARE_HANDLE(HPEN);
  
• 　　#endif
  
• 　　DECLARE_HANDLE(HRGN);
  
• 　　DECLARE_HANDLE(HRSRC);
  
• 　　DECLARE_HANDLE(HSTR);
  
• 　　DECLARE_HANDLE(HTASK);
  
• 　　DECLARE_HANDLE(HWINSTA);
  
• 　　DECLARE_HANDLE(HKL);
  

　　这里微软把通用句柄HANDLE定义为void指针显然啦他是不想让人知道句柄的真实类型但是和他以往的做法一样微软空有一个好的想法结果没有实现。马上如果定义了强制类型检查STRICT他又定义了特殊类型句柄宏DECLARE_HANDLE这里用到了##这是比较偏僻的用法翻译过来对于诸如DECLARE_HANDLE(HMENU)定义其实就是
　　[cpp] view plain copy print?

• 　　typedef struct HMENU__
  
• 　　{
  
• 　　int unused;
  
• 　　} *HMENU;
  

　　到这里你是不是觉得有一点眉目了呢对句柄是一种指向结构体的指针结合这里的intunused定义很容易猜到结构体的第一个字段就是我们的逻辑地址(指针) 。那么是不是仅仅如此呢当然不是由于指向结构体指针可以强制截断只获取第一个字段这里的struct结构体绝对不止一个字段联系我们在Windows中的编程经验对于线程HANDLE有计数那么必须有计数段对于事件HEVENT等内核对象会要求指定属性那么必须有属性段对于内存分配HANDLE有可移动和不可移动之说那么必须有内存可移动属性段等等。基于此我们可以大胆猜测Windows的句柄指向的结构类似如下
　　[cpp] view plain copy print?

• 　　struct
  
• 　　{
  
• 　　int pointer;        //指针段
  
• 　　int count;          //内核计数段
  
• 　　int attribute;      //文件属性段:SHARED等等
  
• 　　int memAttribute;   //内存属性段:MOVABLE和FIXED等等
  
• 　　...
  
• 　　};
  

　　事实上Windows内存管理器管理的其实都是句柄通过句柄来管理指针Windows的系统整理内存时检测内存属性段如果是可以移动的就能够移动逻辑地址移动完后将新的地址更新到对应句柄的指针段中当要使用MOVABLE地址时的时候必须Lock住这时候计数加1内存管理器检测到计数>0便不会移动逻辑地址这时候才能获得固定的逻辑地址来操作物理内存使用完后Unlock内存管理器又可以移动逻辑地址了到此MOVABLE的内存访问为什么不会乱这个问题就解决了。
　　下面再说一说FIXED的内存为什么说就是指向分配内存块的指针。我们看上面的通用句柄定义可以发现HANDLE的句柄定义一直是void指针其他的特殊句柄在严格类型检查的时候定义为结构体指针为什么不把二者定义为一样的呢。查看MSDN关于GlobalAlloc的叙述对于GMEM_FIXED类型"Allocatesfixed memory. The return value is a pointer."这里返回的是一个指针为了验证这个说法我写了一小段程序
　　[cpp] view plain copy print?

• 　　//GMEM_FIXED
  
• 　　hGlobal = GlobalAlloc(GMEM_FIXED, (lstrlen(szBuffer)+1) * sizeof(TCHAR));
  
• 　　pGlobal = GlobalLock(hGlobal);
  
• 　　lstrcpy(pGlobal, szBuffer);
  
• 　　_tprintf(TEXT("pGlobal和hGlobal%s\n"), pGlobal==hGlobal ? TEXT("相等") : TEXT("不相等"));
  
• 　　GlobalUnlock(hGlobal);
  
• 
  
• 　　_tprintf(TEXT("使用句柄当做指针访问的数据为:%s\n"), hGlobal);
  
• 
  
• 　　GlobalFree(hGlobal);
  

　　运行结果为
　　[plain] view plain copy print?

• 　　pGlobal和hGlobal相等
  
• 　　使用句柄当做指针访问的数据为:Test text
  

　　对比使用GMEM_MOVABLE程序为
　　[cpp] view plain copy print?

• 　　//GMEM_MOVABLE
  
• 　　hGlobal = GlobalAlloc(GMEM_MOVEABLE, (lstrlen(szBuffer)+1) * sizeof(TCHAR));
  
• 　　pGlobal = GlobalLock(hGlobal);
  
• 　　lstrcpy(pGlobal, szBuffer);
  
• 　　_tprintf(TEXT("pGlobal和hGlobal%s\n"), pGlobal==hGlobal ? TEXT("相等") : TEXT("不相等"));
  
• 　　_tprintf(TEXT("使用句柄当做指针访问的数据为:%s\n"), hGlobal);
  
• 　　GlobalUnlock(hGlobal);
  
• 
  
• 　　GlobalFree(hGlobal);
  

　　运行结果为
　　[cpp] view plain copy print?

• 　　pGlobal和hGlobal不相等
  
• 　　使用句柄当做指针访问的数据为:?
  

　　显然使用GMEM_FIXED和使用GMEM_MOVABLE得到的数据类型不是一样的我们有理由相信Windows在调用GlobalAlloc使用GEM_FIXED的时候返回的就是数据指针使用Windows在调用GMEM_MOVABLE的时候返回的是指向结构体的句柄这样操作的原因相信是为了使用更加方便。那么这里我们就要修正一下前面的说法了通用句柄HANDLE有时候是逻辑指针大多数时候是结构体指针特殊句柄如HMENU等是结构体指针。这样第二个问题也解决了。
　　那么总结来说就是下面一幅图了

　　下面我们再回头看一看博文开头说的叙述不当之处说他们不当是因为不是完全错误第一点确实句柄有管理内存地址变动之用但是并不只是这个作用内核对象访问级别、文件是否打开都是和他相关的第二点指向指针的指针看得出来作者也是认真思考了的但是他忽略了句柄包含的其他功能和管理内存地址的作用。
　　那么到这里对于句柄你应该非常理解了在此基础我们在Windows编程上是不是可以有一些启发:
　　1.通用句柄HANDLE和特殊句柄一般情况下是可以相互转换的但是有时候会出错
　　2.如果不考虑跨平台移植的话应该多采用Windows SDK提供的内存管理函数这样可以获得更好的内存管理
　　3.C语言的内存分配函数的实现都是依靠使用GMEM_FIXED调用Windows SDK的内存分配函数的
　　完整测试源代码下载链接
　　注意可能在新的VS2005等系列编译器中看不到本文说的一些内容因为在VC6时候有些代码还不是那么完善所以给了我们机会去挖掘潜在的内容。至于微软苦心积虑不让我们看到句柄的真实定义那是必然的试想一下主要的内存对象结构都被摸清楚了那么***们还不反了天了。
　　原创转载请注明来自http://blog.csdn.net/wenzhou1219