Python之迭代器和生成器

fcghr

Python 迭代器和生成器
　　

迭代器
　　Python中的迭代器为类序列对象（sequence-like objects）提供了一个类序列的接口，迭代器不仅可以对序列对象（string、list、tuple）进行迭代，还可以对不是序列，但表现出序列行为的对象进行迭代，例如字典键、文件的行。
　　迭代器对象有一个next()方法，调用后返回下一个条目。所有条目迭代完后，迭代器引发一个StopIteration异常告诉程序循环结束。for语句可用于序列类型，也可以用于迭代器类型，它会在内部调用next()并捕获异常。
　　不过，迭代器也有一些限制，它不能向后移动，不能回到开始，也不能复制一个迭代器。
　　iter(obj)工厂函数可以返回一个迭代器，reversed()函数返回一个反序访问的迭代器，
　　例如：



t = (123, 'xyz', 45.67)
it = iter(t)    # it = reversed(t) 函数返回一个反序访问的迭代器
it.next()       # 123
it.next()       # ‘xyz’
it.next()       # 45.67
it.next()       # StopIteration
　　
　　iter()方法的另一种使用方式是：iter(func, sentinel)，它会重复调用func，直到迭代器的下个值等于sentinel。



a = 1
def foo():
global a
print(a)
a += 1
return a
it = iter(foo, 11)
for i in it:
pass
　　上面的例子中，for循环会在i=11的时候停下来。
　　
　　我们知道，for语句接受可迭代对象（序列或迭代器）作为其参数，每次迭代其中一个元素。它会自动调用迭代器的next()方法，捕获StopIteration异常并结束循环，而这一切都是在内部发生的。例如：



for c in "hello world" : print c
　　
　　上面是通过序列项迭代元素，下面介绍一种使用range函数进行序列索引迭代的方法。
　　range函数返回一个list，它有三种调用形式：



range(start, end, step)
range(start, end) # step = 1
range(end) 　　　　# start=0, step=1
　　例如：



for eachVal in range(2, 19, 3):
print "value is: ", eachVal
　　
　　注意，当有有一个很大范围的列表时，xrange()可能更为适合，因为它不会在内存里创建列表的完整拷贝，它只能被用在for循环中，在for循环外使用没有意义。
　　另外，xrange()返回的是一个xrange对象，这既不是一个序列对象，也不是一个迭代器对象。
　　xrange()的用法跟range()完全一样：



for eachVal in xrange(2, 19, 3):
print "value is: ", eachVal
　　但xrange不会返回一个list，而是每次循环返回一个值，性能更好些，后面会介绍生成器表达式，也是类似的原理。
　　
　　另外，在迭代可改变对象的时候不要修改它们。



lst = range(10)
print(lst)
for ele in lst:
ele = ele*3
print(lst)
　　可以发现，lst没有任何改变。
　　如果要修改迭代的对象，可以使用索引迭代：



lst = range(10)
print(lst)
for k in range(len(lst)):
lst[k] = lst[k]*3
print(lst)
　　
　　

列表解析
　　列表解析的语法：
　　[expr for iter_var in iterable if cond_expr]
　　返回一个列表。
　　例如：



seq = [1, 2, 3, 4 ,5, 6, 7, 8, 9]         
[item for item in seq if item%2]      
# [1, 3, 5, 7, 9]
　　
　　又比如打印一个3*5的矩阵：



[(x+1, y+1) for x in range(3) for y in range(5)]
　　

生成器表达式
　　生成器表达式与列表解析的用法一样，只是把"[]"换成了 “()”，但生成器表达式返回不是list，而是生成器（generator），生成器本质上是一种函数。
　　生成器在每次计算出一个条目后，把这个条目yield出来，它使用了一种延迟计算（lazy evaluation），所以在内存上更有效。
　　例如：



>>> matrix = ((x+1, y+1) for x in range(3) for y in range(5))   
>>> for i in matrix: print(i)
...
(1, 1)
(1, 2)
(1, 3)
(1, 4)
(1, 5)
(2, 1)
(2, 2)
(2, 3)
(2, 4)
(2, 5)
(3, 1)
(3, 2)
(3, 3)
(3, 4)
(3, 5)
　　
　　再比如，如果想得到一个很大的文本文件最长的行：



max( len(line.strip()) for line in open('/etc/motd') )
　　如果这里使用列表解析，那么不可避免需要把整个文件的所有行都加载到内存中，而是要生成器表达式在性能上会更好。
　　

生成器
　　生成器的本质是一个带yield语句的函数，通常一个函数只能返回一次，而生成器能暂停执行并返回一个中间的结果（yield语句的功能），返回一个值给调用者并暂停执行。当生成器的next()方法被调用的时候，它会准确地从离开地方继续。
　　可见，生成器跟协程的概念很类似，可以暂停或者挂起，并从程序离开的地方继续执行。
　　



rows = [1, 2, 3, 17]
def cols():
yield 56
yield 2
yield 1
x_product_pairs = ((i,j) for i in rows for j in cols())
for pair in x_product_pairs:
print(pair)
　　运行结果：



(1, 56)
(1, 2)
(1, 1)
(2, 56)
(2, 2)
(2, 1)
(3, 56)
(3, 2)
(3, 1)
(17, 56)
(17, 2)
(17, 1)
　　
　　当调用生成器的next()方法时，生成器会执行，直至出现yield语句，并把yield的参数返回给调用者（类似于return）。
　　注意，yield语句后面的代码不会再运行。需要下次继续调用next()方法才会继续执行，直至函数退出。
　　此外，调用者也可用将值回送给生成器（通过send()方法），以及要求生成器退出（close()）。
　　
　　例子：



def counter(start_at=0):
count = start_at
while True:
val = (yield count)
if val is not None:
print("val is not None ", val)
count = val
else:
count += 1

c = counter(5)
print(c.next())    #5
print(c.next())    #6
print(c.next())    #7

c.send(100)
print(c.next())    #101

c.close()
c.next()           #StopIteration
　　生成器带有一个初始化的值，每次调用生成器next()时对count累加1，用户可以send()重置这个值；而调用close()方法，会终结生成器。