抓取的数据中有重复的但是数据本身没有重复

主题名---》cq高中1   有838个数据 抓取完成也是838个数据但是这些数据有9个重复的  也就是说漏抓了9个数据  帮忙看一下什么问题谢谢

结果文件可以看到有个字段是<pageno> 是用来记录当前的页码的 页码数=<pageno>+1
你可以找到重复的学校 回到页面去看看 是不是页面也是重复

测试采了一遍 838个数据 没有重复值

HJLing 发表于 2016-12-6 16:20
测试采了一遍 838个数据 没有重复值

为什么我抓取的有啊

wsj521 发表于 2016-12-6 16:22
为什么我抓取的有啊

你是怎么有重复？学校名字？

HJLing 发表于 2016-12-6 16:23
你是怎么有重复？学校名字？

我晚上又跑了一遍 没有重复的  可是之前跑的好几次的确有重复的 就是一天记录 一条数据

wsj521 发表于 2016-12-7 09:43
我晚上又跑了一遍 没有重复的  可是之前跑的好几次的确有重复的 就是一天记录 一条数据
...

你按照一楼说的方法 回去找一下重复数据 按理说 页面是怎样的数据 爬虫就采怎样的数据