翻页失败问题

钮祜禄嘉

我在爬翻页的时候有13页为什么每次到第三页就失败了

scraper · 发表于 2016-11-1 17:19:28

DS下方的日志窗口有报错吗

钮祜禄嘉 · 发表于 2016-11-1 17:20:40

scraper 发表于 2016-11-1 17:19
DS下方的日志窗口有报错吗

没，但是我的网页加载比较慢

这种页面 table tr 一个个加载

scraper · 发表于 2016-11-1 17:21:13

钮祜禄嘉发表于 2016-11-1 17:20
没，但是我的网页加载比较慢

那可能是没有加载到翻页标志然后就认为没有翻页了

钮祜禄嘉 · 发表于 2016-11-1 17:21:53

比较慢
这一页只抓取了 4条数据
提示验证规则失败
这跟我们网页加载慢有关系吗
不是等网页全部加载完成再爬吗？

scraper · 发表于 2016-11-1 17:22:15

钮祜禄嘉发表于 2016-11-1 17:21
比较慢
这一页只抓取了 4条数据
提示验证规则失败

没加载到翻页标志就认为不用翻页

钮祜禄嘉 · 发表于 2016-11-1 17:22:40

本帖最后由钮祜禄嘉于 2016-11-1 17:23 编辑

有翻页标志只是加载很慢

我这个网页比较慢

scraper · 发表于 2016-11-1 17:24:20

钮祜禄嘉发表于 2016-11-1 17:22
有翻页标志只是加载很慢

我这个网页比较慢

到了超时时间没加载出来
就认为没有

钮祜禄嘉 · 发表于 2016-11-1 17:24:35

scraper 发表于 2016-11-1 17:24
到了超时时间没加载出来
就认为没有

这样啊

scraper · 发表于 2016-11-1 17:25:07

钮祜禄嘉发表于 2016-11-1 17:24
这样啊

调整一下滚屏参数，让采集速度慢点
还可以把超时时长调长一点

共 10 个关于本帖的回复最后回复于 2016-11-1 17:25

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页