Python and Menu[编程点滴1]

falldog

　　拿这篇文章除除草...
　　问题:写程序模拟人操作电脑,在桌面新建text文件.
　　求解过程:
　　大概思路就是鼠标在桌面进行右键点击,通过弹出的PopupMenu来新建text文件,写入数据并保存.
　　1,首先,要保证鼠标在桌面上,而不是被其他窗口遮挡,这样邮件点击才会弹出正确的菜单,那么如果我们原意的话可以让程序把其他窗口的进程都kill掉,
　　但还是不要了,因为这没太大意义,也不能展现什么技术点.由我们来保证现在鼠标已经在桌面上,而且不是在某个图标上.
　　2,让鼠标进行右键点击,弹出Popup菜单.
　　对于Windows相关对象的操作,基本可以由pywin32中的库来实现.
　　调用mouse_event可以在某个点出发鼠标点击,即按下右键,然后弹起
　　但是必须要正确的设置dwFlags,才能将dx,dy当做cursor的绝对位置来使用.
　　3,在弹出的菜单中单击[新建(&W)]菜单项,然后会弹出一个二级的PopupMenu,点击[文本文档]菜单项.
　　菜单窗口的类名是"#32768",其他的用数字标识类名的还有"#32769"(桌面窗口), "#32770"(对话框窗口)等.
　　调用FindWindow就可以获得当前处于焦点的菜单窗口的句柄,
　　但是通过窗口句柄是不能操作菜单的,我们需要的是一个菜单的句柄,那么首先被考虑的就是GetMenu,
　　参考msdn中对GetMenu的Remarks我们就会发现GetMenu对于Popup菜单是不起作用的,
　　一个有效的方法是发送一个要求获取菜单句柄的消息MN_GETHMENU,
　　获得hmenu之后, 就可以获得第i个菜单项的坐标,剩下的就是点击了.
　　如果想让程序兼容性更好一点的话,我们会考虑通过菜单项内容中的文字来找到某个菜单项(比如[文本文档]),而不是通过index,
　　因为随着某些软件(比如git)的安装,桌面的PopupMenu会被修改(会增加一些新项目),原来确定的index就可能变得无效.调用GetMenuItemInfo可以获得菜单项的全部信息,
　　然后拿相应菜单的text来比对,就可以确定哪一个是需要点击的菜单项.
　　但这又会引入另一个问题,GetMenuItemInfo的参数中LPMENUITEMINFO要求一个结构体的指针.
　　在python目前的库中的GetMenuItemInfo实现的也是,而python内建的机制中不支持指针,所以必须通过C的方法来实现.
　　可以通过ctypes库中的函数来自行实现这个结构体并生成指针,或者是调用一个现成的库win32gui_struct(helpers for working with various win32gui structures).
　　4,随着3中第二次鼠标点击,桌面出现一个新建的text文件,可以立即编辑文件的名字,keybd_event可以来发送按键消息,编辑完名字之后,回车,现在我们已经让程序自动新建了一个text文件.
　　5当然我们还可以编辑一下这个文件,刚刚好,文件目前还处于选中状态,回车一下,text文件就会打开,写入我们想要的内容,然后Save一下,关闭文件,就这么简单.
　　下面是一段不负责任的代码,不保证兼容性,但相信对你会有帮助:
　　



  1 # coding = utf-8
  2 import win32gui
  3 import win32api
  4 import os, win32process
  5 import win32com.client
  6 import win32con
  7 import winnt
  8 import time
  9 import shutil
10 from time import sleep
11 import os
12 import os.path
13 import random
14 import subprocess
15 import win32clipboard
16 import platform
17 import win32gui_struct
18 import struct
19 import array
20
21 ########################################################################################
22 #函数功能:在x,y(屏幕坐标)处点击鼠标,button控制是左键还是邮件
23 #参数:x,y--屏幕坐标,button--鼠标的左键或右键
24 #备注:其中,cx,cy是我的屏幕的长和宽,按(0-65536)的比例在映射一下x,y的虚拟位置
25 ########################################################################################
26 def MouseClick(x, y, button = "LEFT"):
27     SCREENRANGE = 65536
28     cx = 1366
29     cy = 768
30     x = x * SCREENRANGE / cx
31     y = y * SCREENRANGE / cy
32
33     if "RIGHT" == button:
34         win32api.mouse_event(win32con.MOUSEEVENTF_RIGHTDOWN + win32con.MOUSEEVENTF_ABSOLUTE + win32con.MOUSEEVENTF_MOVE, x, y)
35         win32api.mouse_event(win32con.MOUSEEVENTF_RIGHTUP + win32con.MOUSEEVENTF_ABSOLUTE + win32con.MOUSEEVENTF_MOVE, x, y)
36     else:
37         win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN + win32con.MOUSEEVENTF_ABSOLUTE + win32con.MOUSEEVENTF_MOVE, x, y)
38         win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP + win32con.MOUSEEVENTF_ABSOLUTE + win32con.MOUSEEVENTF_MOVE, x, y)
39
40 ########################################################################################
41 #函数功能:模拟鼠标移动到当前处于焦点的Popup菜单的某一项
42 #参数:idx--菜单项的序号
43 #备注:MN_GETHMENU = 0x01E1 这个消息在win32con中没有,自己定义了一下,见msdn
44 #备注2:菜单中有separator,不要漏数
45 ########################################################################################
46 def MouseHoverMenuItem(idx):
47     hwnd = win32gui.FindWindow("#32768", None)
48     MN_GETHMENU = 0x01E1
49     hmenu = win32gui.SendMessage(hwnd, MN_GETHMENU, 0, 0)
50     icount = win32gui.GetMenuItemCount(hmenu)
51     if idx < 0:
52         idx += icount
53     rect = win32gui.GetMenuItemRect(hwnd, hmenu, idx)[1]
54     x = (rect[2] - rect[0]) / 2 + rect[0]
55     y = (rect[3] - rect[1]) / 2 + rect[1]
56     DesktopCommon.MouseTo(x, y)
57
58 ########################################################################################
59 #函数功能:模拟鼠标点击当前处于焦点的Popup菜单的某一项
60 #参数:idx--菜单项的序号,button -- "LEFT", "RIGHT" 点击鼠标的左键或是右键
61 #备注:MN_GETHMENU = 0x01E1 这个消息在win32con中没有,自己定义了一下,见msdn
62 ########################################################################################
63 def ClickOnMenuItem(idx, button = "LEFT"):
64     hwnd = win32gui.FindWindow("#32768", None)
65     MN_GETHMENU = 0x01E1
66     hmenu = win32gui.SendMessage(hwnd, MN_GETHMENU, 0, 0)
67     icount = win32gui.GetMenuItemCount(hmenu)
68     if idx < 0:
69         idx += icount
70     rect = win32gui.GetMenuItemRect(hwnd, hmenu, idx)[1]
71     x = (rect[2] - rect[0]) / 2 + rect[0]
72     y = (rect[3] - rect[1]) / 2 + rect[1]
73
74     MouseClick(x, y, button)
75 ########################################################################################
76 #函数功能:点击菜单中文字内容为text的菜单项
77 #参数:text--要点击的菜单的内容, button -- 点击左键还是右键
78 #返回值:如果成功点击,则返回True,否则False
79 ########################################################################################
80 def ClickOnMenuItemByText(text, button = "LEFT"):
81     hwnd = win32gui.FindWindow("#32768", None)
82     MN_GETHMENU = 0x01E1
83     hmenu = win32gui.SendMessage(hwnd, MN_GETHMENU, 0, 0)
84     icount = win32gui.GetMenuItemCount(hmenu)
85     for i in xrange(icount):
86         t = GetMenuItemString(i).decode("gbk").encode("UTF-8")
87         #        print text, t
88         if text == t:
89             rect = rect = win32gui.GetMenuItemRect(hwnd, hmenu, i)[1]
90             x = (rect[2] - rect[0]) / 2 + rect[0]
91             y = (rect[3] - rect[1]) / 2 + rect[1]
92             MouseClick(x, y, button)
93             return True
94
95     return False
96 ########################################################################################
97 #函数功能:通过下标获得某个菜单项的内容文本
98 #参数:idx要操作的菜单项的index
99 #返回值:获得的菜单项的内容的文本
100 ########################################################################################
101 def GetMenuItemString(idx):
102     hwnd = win32gui.FindWindow("#32768", None)
103     MN_GETHMENU = 0x01E1
104     hmenu = win32gui.SendMessage(hwnd, MN_GETHMENU, 0, 0)
105     mii, extra = win32gui_struct.EmptyMENUITEMINFO()
106     win32gui.GetMenuItemInfo(hmenu, idx, True, mii)
107     fType, fState, wID, hSubMenu, hbmpChecked, hbmpUnchecked,\
108     dwItemData, text, hbmpItem = win32gui_struct.UnpackMENUITEMINFO(mii)
109     print text
110     return text
111
112 ########################################################################################
113 #函数功能:获得菜单中的菜单项的个数
114 #函数返回:菜单项的个数
115 ########################################################################################
116 def GetMenuItemCount():
117     hwnd = win32gui.FindWindow("#32768", None)
118     MN_GETHMENU = 0x01E1
119     hmenu = win32gui.SendMessage(hwnd, MN_GETHMENU, 0, 0)
120     icount = win32gui.GetMenuItemCount(hmenu)
121     return icount
122
123 if __name__ == '__main__':
124     #sleep几秒,可以有反应时间
125     sleep(6)
126     hwnd = win32gui.GetDesktopWindow()
127     rect = win32gui.GetWindowRect(hwnd)
128     x = rect[0] + (rect[2] - rect[0]) * 2 / 3
129     y = rect[1] + (rect[3] - rect[1]) * 2 / 3
130     MouseClick(x, y, "RIGHT")
131     sleep(2)
132     ClickOnMenuItemByText("新建(&W)")
133     sleep(2)
134     ClickOnMenuItemByText("文本文档")
135     sleep(2)
136     keymap = {'j': 0x4A, 'a': 0x41, 'c': 0x43, 'k': 0x4B, 'i': 0x49, 'e': 0x45, '\n': win32con.VK_RETURN}
137     for key in 'jackie\n':
138         win32api.keybd_event(keymap[key], 0, 0, 0)
139         win32api.keybd_event(keymap[key], 0, win32con.KEYEVENTF_KEYUP, 0)
140         sleep(1)
141         #end