我在试用集搜客增强版网络爬虫软件10.3.1,发现设置功能这里多了一个选项,有什么用处?

cache20210225110600.png

举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2021-2-25 11:21

Fuller 管理员 发表于 2021-2-25 11:12:09 | 显示全部楼层
这个功能估计会在V10.3.1版本正式发布,主要是为了提高网咯爬虫软件的性能,减少写硬盘的数据量。
但是可能有个副作用:就是登录状态共享问题。
例如,用微博采集工具箱或者快捷采集爬微博数据的时候,要求预先登录微博网站,如果一开始忘记登录微博了,网络爬虫的多个爬虫群窗口都已经在运行了,此时再在另外一个窗口登录微博,不能自动同步到爬虫群窗口中,所以,要求预先登录后再运行爬虫群窗口
举报 使用道具
发誓学好内容分析 金牌会员 发表于 2021-2-25 11:12:42 | 显示全部楼层
Fuller 发表于 2021-2-25 11:12
这个功能估计会在V10.3.1版本正式发布,主要是为了提高网咯爬虫软件的性能,减少写硬盘的数据量。
但是可能 ...

难道这样我只有在登录以后重启爬虫软件了?
举报 使用道具
Fuller 管理员 发表于 2021-2-25 11:21:58 | 显示全部楼层
发誓学好内容分析 发表于 2021-2-25 11:12
难道这样我只有在登录以后重启爬虫软件了?

目前版本是这样设计的,可以采取两种登录方案:第一种:预先登录微博,然后重启爬虫群窗口
第二种:在其中一个爬虫群窗口中登录微博就能立即把登录状态共享给所有爬虫群窗口。而在普通浏览窗口中登录的话,只有重启爬虫群窗口才能得到登录状态。

下图,有旋转图标的窗口是爬虫群窗口,也是一个普通浏览器窗口,可以输入网址,在这里登录微博。

爬虫群20210225111954.png

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 21:06