我要抓取的网页经常加载时间过长导致抓取失败,明明整个网页已经加载完成,我所需要抓取的内容也一开始就加载完成,但是网页就是不停的显示正在加载中...然后不是超时抓取失败,就是抓取一个网页的时间太长。
这种情况下,我应该怎么做?整个网页一开始就会把我所需要的内容加载完,我根本不关心其他的加载情况。
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2016-8-1 11:09

沙发
Fuller 管理员 发表于 2016-5-26 16:28:51 | 只看该作者
DS打数机菜单 配置-》定时器触发 ,把他打开

如果还说超时,说明抓取规则的适应能力不够,可以考虑把定位标志映射用上
举报 使用道具
板凳
asia361836 新手上路 发表于 2016-5-26 18:33:28 | 只看该作者
Fuller 发表于 2016-5-26 16:28
DS打数机菜单 配置-》定时器触发 ,把他打开

如果还说超时,说明抓取规则的适应能力不够,可以考虑把定位 ...

还是不行,观察发现定时器好像根本没有触发,加入对应的定位标志也没什么效果。仍然是超时的多。
举报 使用道具
地板
Fuller 管理员 发表于 2016-5-26 19:50:27 | 只看该作者
asia361836 发表于 2016-5-26 18:33
还是不行,观察发现定时器好像根本没有触发,加入对应的定位标志也没什么效果。仍然是超时的多。 ...

规则名是什么?我帮你看看吧
举报 使用道具
5#
ym 版主 发表于 2016-5-26 22:03:27 | 只看该作者
超时失败大部分是因为网页结构与规则不匹配,你可以参考这篇文章提到的做法检查一下http://www.gooseeker.com/doc/thread-663-1-1.html
举报 使用道具
6#
asia361836 新手上路 发表于 2016-8-1 11:09:57 | 只看该作者
谢谢版大,我自己解决了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 怎样让GooSeeker分词工具使用宋体画词云图
  • 使用BERTopic时遇到的c-TF-IDF是什么?
  • gooseeker分词工具的命名实体识别和词形还
  • 怎样设置LDA模型的超参数alpha(α)和beta(
  • LDA主题分析模型到底是什么?

热门用户

GMT+8, 2026-6-9 15:17