如何过滤重复数据？

如何过滤重复数据？

问题要详细一点，过滤哪种数据？

是要过滤采集结果文件中的重复数据吗？一种简单的方法是把结果文件导入会员中心以后，导出excel，在excel中做排序，那些重复数据就挨在一起了，手工删除就行。这种方法适用于小数据量。如果数据量很大，应该在数据库中做重复过滤

不能通过爬虫程序自动过滤重复信息，而是把信息采集下来后再进行重复过滤。
方法1：把xml转为excel格式，在excel里进行重复过滤，操作是：选中关联的信息，再点击“数据”->“删除重复项”，如下图


方法2：把xml导入到数据库，用清洗程序过滤重复，这个需要自己编写程序