集搜客GooSeeker网络爬虫

标题: 【求助】测试的时候没问题,但运行爬虫时抓取数据不全 [打印本页]

作者: 莫小波是天才    时间: 2018-2-9 21:57
标题: 【求助】测试的时候没问题,但运行爬虫时抓取数据不全
亚马逊商品列表数据爬取,测试的时候抓取数据没问题,但是运行的时候每页只抓取了前四个商品

规则名:最新上架产品

作者: Fuller    时间: 2018-2-9 22:27
我测试了,规则没有问题,要注意DS打数机的设置:
1,DS打数机的窗口要最大,不能最小化。很多动态网页,窗口有多大就显示多少数据
2,DS打数机的滚屏打开,使用菜单 配置-》滚屏参数,把滚屏次数设置成2

作者: 莫小波是天才    时间: 2018-2-9 22:36
DS打数机窗口已经最大化,滚屏次数和速度都是2,还是抓不全
作者: Fuller    时间: 2018-2-10 09:07
莫小波是天才 发表于 2018-2-9 22:36
DS打数机窗口已经最大化,滚屏次数和速度都是2,还是抓不全

DS打数机最下面是日志窗口,里面显示什么?

你有没有改动其他参数,比如DS打数机的超时时长?那个参数不要动。





欢迎光临 集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/) Powered by Discuz! X3.2