本帖最后由 离离原上草 于 2019-5-30 17:51 编辑

我是旗舰版用户,可以同时开5台电脑采集微博,现在已经在1台电脑上开始采集了,怎样把其余4台电脑跑起来爬数据?
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2020-10-9 23:37

maomao 论坛元老 发表于 2020-9-18 19:07:07 | 显示全部楼层
本帖最后由 maomao 于 2020-10-9 18:16 编辑

现在集搜客又推出了功能更强大的数据管家 数据管家图标.png ,爬取数据。数据管家怎样开启其它4台电脑并行爬微博数据?

1. 在其它4台电脑下载安装数据管家,并登陆同一个集搜客账号。(会员中心和数据管家左下角的账号要一致。)
数据管家账号一致性.png

2. 在4台电脑的数据管家分别打开微博网站,登陆不同的微博账号。

3. 在4台电脑打开微博工具箱,点击启动采集,会自动弹出两个采集窗口(爬虫窗口),开始采集数据。

举报 使用道具
maomao 论坛元老 发表于 2019-5-30 17:46:27 | 显示全部楼层
如果在用老版的爬虫,这样运行5台电脑:

一、首先在其余四台电脑下载安装集搜客爬虫软件。用同一个集搜客账号登录爬虫,并登录会员中心。然后在集搜客浏览器打开https://www.weibo.com,并且登录一个微博账号。 登录用户.png

二、打开DS打数机
打数机按钮.png

三、运行爬虫群
爬虫群配置.png

运行所有.png




举报 使用道具
Fuller 管理员 发表于 2019-5-30 22:10:00 | 显示全部楼层
要注意一下,每台电脑应该用不同的微博账号,爬数据太快小心被封号。在同一台电脑上,最多开两个爬虫群窗口,也是同样道理,太多窗口同时爬也有封号风险
举报 使用道具
Fuller 管理员 发表于 2020-4-2 20:39:27 | 显示全部楼层
另外,还要注意一点,如果5台电脑是在同一个局域网中,爬虫调度的时候会区分不出来他们,就要给每台爬虫电脑起上不同的名字
用这个菜单设置爬虫名字

爬虫名字20200402203854.png
举报 使用道具
Fuller 管理员 发表于 2020-9-18 23:23:32 | 显示全部楼层
maomao 发表于 2020-9-18 19:07
现在集搜客又推出了功能更强大的数据管家,爬取数据。在数据管家里,在这里设置爬虫群

用数据管家采集微博数据,使用微博采集工具箱中的所有工具,都不用专门配置爬虫群。在每个微博采集工具箱的界面上都有“启动采集”按钮,设置好采集任务以后,点击“启动采集”按钮,就会自动运行起来2个爬虫群窗口。

使用快捷采集工具也是类似的启动方法。
举报 使用道具
laiyongling2017 中级会员 发表于 2020-10-9 19:00:30 | 显示全部楼层
你好,在数据管家里那怎么能看到是三台电脑同时在采呢?
举报 使用道具
Fuller 管理员 发表于 2020-10-9 23:37:18 | 显示全部楼层
laiyongling2017 发表于 2020-10-9 19:00
你好,在数据管家里那怎么能看到是三台电脑同时在采呢?

如果同时运行了数据管家和爬虫软件,各占一个配额
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 02:28