我用过别的网络爬虫产品,时不时就弹出一个框,说网页上的脚本停止响应:
  1. A script on this page may be busy, or it may have stopped responding. You can stop the script now, or you can continue to see if the script will complete.
复制代码

据说是网站的反爬功能,集搜客网络爬虫是否也这样?



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-3-30 13:40

沙发
Fuller 管理员 发表于 2017-3-30 13:40:24 | 只看该作者
集搜客网络爬虫不会有这种问题。因为集搜客的软件是用C++写的,性能很高,只有性能低的网络爬虫才会出现这个问题,这也不是网站防爬造成的。
淘宝、社交网站等等,为了提高用户体验,在网页上有大量的javascript代码,持续运行,如果网络爬虫对javascript代码的执行速度不行,就会提示脚本忙。比如,python爬虫、.net爬虫或者javascript爬虫,这类编程语言本身执行速度很低,加上自己没有高性能的浏览器引擎,执行网页上的复杂的JavaScript就会这样。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-8-25 06:26