问题:DS打数机出现好多 Timeout to load page

抓取好慢怎么办?


解决方案:网页抓取规则不合适,就会Timeout,DS打数机的超时时间设置为10分钟,就会变得好慢。有如下解决方案:


1)首先要解决抓取规则不合适的问题,研究不合适的原因。根据失败的线索号,在MS谋数台上加载分析,即,使用菜单“工具”->“加载规则”->“按线索号”,输入上面的某个线索号,MS谋数台会把那个网页加载上来并用抓取规则进行分析,如果规则不适合,会报错,而且会在输出窗口中显示哪个抓取内容的规则不对。根据提示重新修改抓取规则。



2)有一个技巧可是试用,就是,选中DS打数机的“配置”->“定时器触发”。轻易不要用,但是如果发现总是Timeout,就可以试试效果。比如,淘宝网页,微博网页,如果用浏览器看这样的网页,就能看到浏览器的地址输入栏那里的表示加载状态的圈一直在转,这样的网页永远加载不完,会造成DS打数机Timeout,就可以打开定时器触发。



3)修改超时时间,选择DS打数机菜单“配置”->“超时时长”,设置短一些。




本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2015-9-10 12:20

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-10-7 03:37