Python中列表的陷阱

loing

作为python的初学者，在做决策树算法的程序时一个有关列表删除的问题困扰了一天。今天在博客里写出来，希望大家也可以避免如此的问题。

下面是代码纲要：

def read_txt(filename):#定义了一个读txt文件的函数，这个函数的作用是将一个txt的表格转化成一个python列表。

它是一个嵌套的列表，下面随便粘几行：

['54', ' ?', ' 180211', ' Some-college', ' 10', ' Married-civ-spouse', ' ?', ' Husband', ' Asian-Pac-Islander', ' Male', ' 0', ' 0', ' 60', ' South', ' >50K']

['31', ' Private', ' 84154', ' Some-college', ' 10', ' Married-civ-spouse', ' Sales', ' Husband', ' White', ' Male', ' 0', ' 0', ' 38', ' ?', ' >50K']

这个列表中会有很多行用' ?'标记的字段，会影响我后续的处理。所以我采用一种办法，那就是对于包含‘？’的行全部删除，接下来的子函数就是这个作用。

def computeNa(items):
#detect missing value in list and handle it
for item in items:
if item.count(' ?') > 0:
items.remove(item)
return items

短短的几行代码，意思很清楚。接下来：

fileName = "C:\data.txt"

data_list = read_txt(filename)

data_filtered = computeNa(data_list)

在代码的测试阶段我发现

print len(data_list) #得到结果32561

print len(data_filtered)  #得到结果30310

我以为这个函数很好的处理了missing value，后续处理才发现原来data_filtered还有‘？’存在。你知道这是为什么吗？

接下来我开始处理这个bug:

我又加了一句data_filtered2 = computeNa(data_filtered) 然后print len(data_filtered2) #得到结果30162。奇怪的是这次data_list中的missing value全没了，所以我得到结论，要想过滤掉data_list中的missing value必须过滤两次。好像可以说的通一样，但是我知道这是一个bug。后来我想了很多办法都没有搞定这个问题，我甚至怀疑这是python的一个巨大漏洞。就这样纠结了一天，就在刚刚我看python提供的documentation发现了这样一句话“If you need to modify the sequence you are iterating over while inside the loop (for example to duplicate selected items), it is recommended that you first make a copy. Iterating over a sequence does not implicitly make a copy. The slice notation makes this especially convenient:”（https://docs.python.org/2/tutori ... html#for-statements）。

意思是说，如果想在一个循环中改变一个列表中的内容你最好为这个列表做一个复制，所以只需要把“for item in items:”改为“for item in items[:]:”，这样这个bug就解决了。希望大家在以后用列表的时候注意这点。