Python做文本按行去重的实现方法-Python教程-PHP中文网

Python做文本按行去重的实现方法

php中文网

发布： 2016-12-05 13:27:13

原创

2166人浏览过

文本：

每行在promotion后面包含一些数字，如果这些数字是相同的，则认为是相同的行，对于相同的行，只保留一行。

思路：

根据字典和字符串切割。

建立一个空字典。

立即学习“Python免费学习笔记（深入）”；

读入文本，并对每行切割前半部分，在读入文本的过程中循环在这个字典中查找，如果没找到，则写入该行到字典。否则，则表示该行已经被写入过字典了（即出现重复的行了），不再写入字典，这就实现了对于重复的行只保留一行的目的。

Android游戏开发之旅中文WORD版

本文档主要讲述的是Android游戏开发之旅；今天Android123开始新的Android游戏开发之旅系列，主要从控制方法(按键、轨迹球、触屏、重力感应、摄像头、话筒气流、光线亮度)、图形View(高效绘图技术如双缓冲)、音效(游戏音乐)以及最后的OpenGL ES(Java层)和NDK的OpenGL和J2ME游戏移植到Android方法，当然还有一些游戏实现惯用方法，比如地图编辑器，在Android OpenGL如何使用MD2文件，个部分讲述下Android游戏开发的过程最终实现一个比较完整的游戏引擎

查看详情

文本如下:

/promotion/232 utm_source
/promotion/237 LandingPage/borrowExtend/&#63; ;
/promotion/25113 LandingPage/mhd
/promotion/25113 LandingPage/mhd
/promotion/25199 com/LandingPage
/promotion/254 LandingPage/mhd/mhd4/&#63; ;
/promotion/259 LandingPage/ydy/&#63; ;
/promotion/25113 LandingPage/mhd
/promotion/25199 com/LandingPage
/promotion/25199 com/LandingPage

登录后复制

程序如下:

line_dict_uniq = dict()
with open('1.txt','r') as fd:
for line in fd:
key = line.split(' ')[0]
if key not in line_dict_uniq.values():
line_dict_uniq[key] = line
else:
continue
print line_dict_uniq 
print len(line_dict_uniq)
# 这里是打印了不重复的行（重复的只打印一次），实际再把这个结果写入文件就可以了，
# 就不写这段写入文件的代码了

登录后复制

上面这个程序执行效率比较低，改成如下会提高一些:

line_dict_uniq = dict()
with open('1.txt','r') as fd:
for line in fd:
key = line.split(' ')[0]
if key not in line_dict_uniq.keys():
line_dict_uniq[key] = line
else:
continue
print line_dict_uniq
print len(line_dict_uniq)

登录后复制

以上所述是小编给大家介绍的Python做文本按行去重，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对本站网站的支持！