同一条记录进行循环

zhuohui1987

三明预售_1创建链接下级到三明预售_2 一直在同一条记录进行循环（没有到翻页）

HJLing · 发表于 2016-12-8 14:37:18

三明预售_1 测试正常翻页

ym · 发表于 2016-12-8 14:48:10

你抓的第一级网页，由于到了最后一页，翻页标志“下一页”依然存在，所以爬虫会一直点击导致死循环

解决方法有：
1、DS打数机的高级菜单-终点标志-勾上重复内容，这样，爬虫采到最后一页，重复3次后就会判断为重复采集而停止

2、用爬虫群采集，调度设置里设置翻页次数来限定翻页数量，或者，勾上重复内容，这个与第1个方法是一样的。
关于翻页循环的更多详情可以看看《实战：怎样解决翻页重复的问题》

共 2 个关于本帖的回复最后回复于 2016-12-8 14:48

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页