用了代理,定期更换IP,但是更换IP的那个过渡的几秒会网络不好,
导致点击动作有些会有问题,导致爬的网页会谈alert类的弹窗。

在爬虫调度里设置了自动关闭弹窗,但是弹窗还是会弹出来,这个怎么解决啊?
爬虫开的时间久了,就会因为弹窗太多,整个爬虫程序就挂了,也没有在继续爬数据了。
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2018-6-28 10:31

沙发
Fuller 管理员 发表于 2018-6-27 09:05:08 | 只看该作者
有些alert窗口会把整个程序都挂起,连负责关窗的程序也挂起了。在这种情况下,我们使用外部的程序负责关窗,比如,按键精灵。

你要采集的网站是哪个?就是你在帖子中发帖说的那个?

出现alert的窗口截个图看看
举报 使用道具
板凳
petergao0528 初级会员 发表于 2018-6-27 09:23:32 | 只看该作者
Fuller 发表于 2018-6-27 09:05
有些alert窗口会把整个程序都挂起,连负责关窗的程序也挂起了。在这种情况下,我们使用外部的程序负责关窗 ...

如附件

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
地板
Fuller 管理员 发表于 2018-6-27 10:31:48 | 只看该作者

这种要自动关闭,处理起来好麻烦,我们测试一下,想想用什么好的办法。

这种问题可以通过规则进行避免。我测试过这个网页,当输入了关键词以后,要等待足够的时间,这个网页会进行一次联想,如果网速足够快还好,太慢就要联想很久。所以,在这个输入动作上设置额外延迟,设置长一些,比如,5秒-10秒
举报 使用道具
5#
petergao0528 初级会员 发表于 2018-6-27 11:30:28 | 只看该作者
网速不是问题,主要问题是因为我用了代理自动换IP,更换IP的时候会有一段网络很慢,就会出现这个问题,延迟又不可控
举报 使用道具
6#
Fuller_test_20180628 新手上路 发表于 2018-6-27 12:37:10 | 只看该作者
petergao0528 发表于 2018-6-27 11:30
网速不是问题,主要问题是因为我用了代理自动换IP,更换IP的时候会有一段网络很慢,就会出现这个问题,延迟 ...

在抓取过程中换代理,可能很多会失败,因为一换代理,tcp连接要重建,http访问网页用的是tcp。如果tcp链接重建,http的会话也会重建,会影响很多东西,一般来说联想功能会跟会话绑定的,基于用户行为做联想,很可能就会影响到输入动作。

另外,这种查询提交,一般采用form提交的方式,一般网站会做cross-site攻击防范,一旦重建了tcp链接,这个提交一定会失效
举报 使用道具
7#
Fuller 管理员 发表于 2018-6-28 10:31:20 | 只看该作者

昨天我们检查了集搜客爬虫自己的关闭弹窗功能。在GS浏览器工具条上,有个DS打数机按钮

点击后会运行起来DS打数机的管理窗口,这个窗口有特别的管理功能,其中就有自动关窗功能。是用菜单开启的。菜单是 配置-》关闭窗口,有两个子菜单
1,关闭所有窗口:选择这个菜单的时候,爬虫会数一数现有多少个窗口,一旦选择这个菜单,新开的窗口都会被关闭。这个选项不能用于飞掠模式,因为飞掠模式是要弹窗的,也在关闭范围内
2,关闭弹窗:这个功能弱一些,是关闭DS打数机之外的新弹出的窗口

你可以都试一试。主要是弹出窗口种类太多,可能会有没有覆盖到的。还有一种窗口,一旦弹出,会锁住所有的爬虫界面,那样自己是管不了的。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-14 16:13