我要采集的微博超话很多,我试了网络爬虫软件,我知道集搜客网络爬虫有爬虫群功能,是不是能够更快地采集?
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2020-3-21 12:05

沙发
Fuller 管理员 发表于 2020-3-20 16:49:59 | 只看该作者
集搜客网络爬虫软件有爬虫群功能,允许一台电脑同时运行多个爬虫窗口,并行采集网页,而且还可以运行多台电脑,用相同集搜客账号登录爬虫客户端,他们就会一起执行采集任务(专业版支持2台,旗舰版缺省支持5台,还可以单独买电脑配额)。

采集微博的话,同一台电脑不要运行太多窗口,否则会被封锁的。应该运行多台电脑,每台电脑配置相同的集搜客账号,但是登录微博的时候使用不同的微博账号,这样既可以提高采集的速度,又可以降低被封锁的可能。
举报 使用道具
板凳
Fuller 管理员 发表于 2020-3-20 16:51:50 | 只看该作者
我安排开发部门为微博超话做一套快捷采集出来,这样就省去你做规则了:https://www.gooseeker.com/res/da ... A%E5%BE%AE%E5%8D%9A
举报 使用道具
地板
wangyong 版主 发表于 2020-3-20 18:21:10 | 只看该作者
微博超级话题的采集工具上线了:https://www.gooseeker.com/res/da ... E%E9%87%87%E9%9B%86
举报 使用道具
5#
Fuller 管理员 发表于 2020-3-20 18:21:20 | 只看该作者
Fuller 发表于 2020-3-20 16:51
我安排开发部门为微博超话做一套快捷采集出来,这样就省去你做规则了:https://www.gooseeker.com/res/data ...

微博超话的快捷采集上线了:https://www.gooseeker.com/res/datadiy.html?category=%E7%83%AD%E9%97%A8%E7%BD%91%E7%AB%99&web=%E6%96%B0%E6%B5%AA%E5%BE%AE%E5%8D%9A&rule=%E5%BE%AE%E5%8D%9A%E8%B6%85%E7%BA%A7%E8%AF%9D%E9%A2%98%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86
举报 使用道具
6#
冰澜liuj 新手上路 发表于 2020-3-21 10:19:58 | 只看该作者
Fuller 发表于 2020-3-20 18:21
微博超话的快捷采集上线了:https://www.gooseeker.com/res/datadiy.html?category=%E7%83%AD%E9%97%A8%E ...

您好,请问超话采集工具每次只能采集到80多条数据是有什么问题吗
举报 使用道具
7#
Fuller 管理员 发表于 2020-3-21 12:05:21 | 只看该作者
冰澜liuj 发表于 2020-3-21 10:19
您好,请问超话采集工具每次只能采集到80多条数据是有什么问题吗

贴几个超话网址出来我们测试一下,看看问题出在哪里
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-25 13:21