我的网页数据采集到100多页就停了，怎么解决啊

Dave希泽

我的网页数据采集到100多页就停了，怎么解决啊
QQ图片20161020104934.png

ym · 发表于 2016-10-20 10:52:47

看到图片里的剩余线索旁边的状态是FIN，说明是采集完成了，估计是网站有限制翻页吧，也可能是采集多了不给翻更多页了。
可能的原因可以看看这篇文章http://www.gooseeker.com/doc/thread-616-1-1.html

Dave希泽 · 发表于 2016-10-20 10:54:02

ym 发表于 2016-10-20 10:52
看到图片里的剩余线索旁边的状态是FIN，说明是采集完成了，估计是网站有限制翻页吧，也可能是采集多了不给 ...

是网站的原因，翻页多了就不行

ym · 发表于 2016-10-20 10:55:47

如果每一页有独立网址的话，可以构造每页网址来采集。具体参考文章http://www.gooseeker.com/doc/thread-1299-1-1.html

共 3 个关于本帖的回复最后回复于 2016-10-20 10:55

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页