集搜客GooSeeker网络爬虫

标题: 翻页失败问题 [打印本页]

---

作者: 钮祜禄嘉    时间: 2016-11-1 17:19
标题: 翻页失败问题
我在爬翻页的时候有13页  为什么每次到第三页就失败了

---

作者: scraper    时间: 2016-11-1 17:19
DS下方的日志窗口有报错吗

---

作者: 钮祜禄嘉    时间: 2016-11-1 17:20

scraper 发表于 2016-11-1 17:19
DS下方的日志窗口有报错吗

没，但是我的网页加载比较慢

[attach]2156[/attach]
这种页面  table tr 一个个加载

---

作者: scraper    时间: 2016-11-1 17:21

钮祜禄嘉 发表于 2016-11-1 17:20
没，但是我的网页加载比较慢

那可能是没有加载到翻页标志 然后就认为没有翻页了

---

作者: 钮祜禄嘉    时间: 2016-11-1 17:21
比较慢
这一页 只抓取了 4条数据
提示验证规则失败
这跟我们网页加载慢有关系吗
不是等网页全部加载完成再爬吗？

---

作者: scraper    时间: 2016-11-1 17:22

钮祜禄嘉 发表于 2016-11-1 17:21
比较慢
这一页 只抓取了 4条数据
提示验证规则失败

没加载到翻页标志 就认为不用翻页

---

作者: 钮祜禄嘉    时间: 2016-11-1 17:22


有翻页标志 只是加载很慢

我这个网页比较慢

---

作者: scraper    时间: 2016-11-1 17:24

钮祜禄嘉 发表于 2016-11-1 17:22
有翻页标志 只是加载很慢

我这个网页比较慢

到了超时时间没加载出来
就认为没有

---

作者: 钮祜禄嘉    时间: 2016-11-1 17:24

scraper 发表于 2016-11-1 17:24
到了超时时间没加载出来
就认为没有

这样啊

---

作者: scraper    时间: 2016-11-1 17:25

钮祜禄嘉 发表于 2016-11-1 17:24
这样啊

调整一下滚屏参数，让采集速度慢点
还可以把超时时长调长一点

---

作者: 钮祜禄嘉    时间: 2016-11-1 17:25

scraper 发表于 2016-11-1 17:25
调整一下滚屏参数，让采集速度慢点
还可以把超时时长调长一点

好的 我试试

---

欢迎光临 集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)

Powered by Discuz! X3.2