怎么查采集失败的原因

we_lol

如题

quyixuan · 发表于 2017-2-13 14:36:44

DS打数机窗口下部是日志窗口，看日志可以知道失败原因

we_lol · 发表于 2017-2-13 14:37:14

quyixuan 发表于 2017-2-13 14:36
DS打数机窗口下部是日志窗口，看日志可以知道失败原因

这个日志表示什么

quyixuan · 发表于 2017-2-13 14:39:10

本帖最后由 quyixuan 于 2017-2-13 14:58 编辑

we_lol 发表于 2017-2-13 14:37
这个日志表示什么

第一条表示采集失败的原因是超时，你可以看看你设置的超时时间是不是太短了，在会员中心的调度里面

we_lol · 发表于 2017-2-13 15:21:13

quyixuan 发表于 2017-2-13 14:39
第一条表示采集失败的原因是超时，你可以看看你设置的超时时间是不是太短了，在会员中心的调度里面

...

quyixuan · 发表于 2017-2-13 15:22:27

we_lol 发表于 2017-2-13 15:21

超时时间没问题
把滚屏次数设置成2试试，观察一下抓的时候，浏览器看到什么内容？正常吗？

we_lol · 发表于 2017-2-13 15:23:18

quyixuan 发表于 2017-2-13 15:22
超时时间没问题
把滚屏次数设置成2试试，观察一下抓的时候，浏览器看到什么内容？正常吗？

抓取的时候出来这个

quyixuan · 发表于 2017-2-13 15:23:41

we_lol 发表于 2017-2-13 15:23
抓取的时候出来这个

这样就是被禁止了，要么输入验证码，要么抓取速度放慢

we_lol · 发表于 2017-2-13 15:24:32

quyixuan 发表于 2017-2-13 15:23
这样就是被禁止了，要么输入验证码，要么抓取速度放慢

有没有那个设置，是可以在规则点击下一页的时候停顿一下
停个1,2秒，再翻页

quyixuan · 发表于 2017-2-13 15:25:38

we_lol 发表于 2017-2-13 15:24
有没有那个设置，是可以在规则点击下一页的时候停顿一下
停个1,2秒，再翻页
...

设置上滚屏次数会进一步放慢
有多重放慢采集的方法
http://www.gooseeker.com/doc/thread-4563-1-1.html

共 9 个关于本帖的回复最后回复于 2017-2-13 15:25

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页