集搜客GooSeeker网络爬虫

标题: 【求助】百度图片，设置了滚屏但是只能拉到第一个页面的数据？ [打印本页]

作者: gooseeker_20171 时间: 2017-12-19 14:45
标题: 【求助】百度图片，设置了滚屏但是只能拉到第一个页面的数据？

1、创建规则，并测试通过
[attach]8563[/attach]

2、设置连续动作
[attach]8564[/attach]

3、打数机页面，设置好滚次数为0
[attach]8565[/attach]
虽然从打数机上，可以看到百度图片的网页在自动往下滚，但是检查下载路径发现，每次下载的内容都只包含首个页面的内容。
[attach]8566[/attach]
可以看到xls也没增加

作者: bowieD 时间: 2017-12-19 15:08
把滚屏动作的总滚屏次数设置为-1，就会无限滚屏。如果每次下载的内容都只包含首个页面的内容，似乎是图片还没有加载出来就已经抓取了。要把打数机中超时时长和延迟抓取设置的尽量大一些，避免图片加载慢而导致下载不到。

作者: Fuller 时间: 2017-12-19 15:09
做规则的时候，把屏幕往下滚，用测试按钮，看看能否采集到其它屏的内容，我估计是规则不合适，没有采集到其它内容

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)