mysql百万级数据快速去重处理

ycvodzf

　　先说说情况吧,我有一个数据库,560多万条数据,其中有一个字段(user_id)需要唯一,但目前表中该字段有60多万条的重复数据,需要做去重处理,搜了网上的各种神贴,都不太好用,最后经过我自己的思考与实践,终于找出来一条捷径,处理时间只需要3-5分钟,下面说说操作步骤吧
　　
　　1.先对要去重的表进行索引(处理重复的那个字段).
　　2.将数据group by后导入到新的表中,导入时,可能需要分多次导入,因为电脑的内存有限,设置一下tmp_table_size或许可以一下子多导点
　　使用sql如下:[size=1em]Insert[size=1em]into[size=1em] Table2 [size=1em]select[size=1em] * [size=1em]from[size=1em] Table1 group by 重复字段名称 limit 100000
　　[size=1em]使用以上SQL,并个性Limit参数多进行几次导入操作即可