列表采集，数据重复

主题名：

国图列表2011_test2

采集600条数据，采集整合后，发现总数是600条数据，但是110条是重复的。
检查采集下来的xml文件里，不存在重复

我采集一遍试试

Fuller 发表于 2019-5-10 11:38
我采集一遍试试

好的，麻烦了

1.你的规则采书名做的定位标志是错的，可以不用做，只做内容映射就好了
2.id可以用书名下的@id做内容映射采集，
3。样列复制可以用class item做，加载你的样列复制是失败的.

gpy258 发表于 2019-5-10 11:39
好的，麻烦了

你用唯一性id做定位标志映射，只能采集到一条数据。

你实际用的采集规则不是这个吧？

这个网站确实重复很多，重复内容分别出现在不同页码上。跟规则无关，是这个网站本身有重复内容

Fuller 发表于 2019-5-10 12:02
你用唯一性id做定位标志映射，只能采集到一条数据。

你实际用的采集规则不是这个吧？

是的，刚改了。不是故意的，只是做的太多了。都改坏了

Fuller 发表于 2019-5-10 12:29
这个网站确实重复很多，重复内容分别出现在不同页码上。跟规则无关，是这个网站本身有重复内容
...

第二，第三，第四重复的内容都是在相邻的两页内容上。而在原网址上确实不是这样的。

czj19961023 发表于 2019-5-10 12:00
1.你的规则采书名做的定位标志是错的，可以不用做，只做内容映射就好了
2.id可以用书名下的@id做内容映射采 ...

是的，刚修改过

gpy258 发表于 2019-5-10 13:02
第二，第三，第四重复的内容都是在相邻的两页内容上。而在原网址上确实不是这样的。
...

这个网站加载很慢，我再测试一下。DS打数机可以有很多参数控制抓取速度，比如，菜单中的 配置-》延迟抓取，可以设置的延时长一些，我试试延长到10秒。另外，滚屏参数，我把滚屏次数设置成10次，看看会不会采集重