想使用5台设备爬取微博数据,但是因为5个人在不同的地方不好管理,可以给每台电脑分配指定任务吗?
因为上次使用两台电脑爬数据的时候发现创建的任务可能一半在a设备上,另一半在b设备上。如果a设备停了,没有上传同步这些数据,这个任务就会丢失一部分数据。
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2020-4-12 18:42

沙发
Fuller 管理员 发表于 2020-4-7 11:21:55 | 只看该作者
目前还没有给电脑指定任务的功能
举报 使用道具
板凳
sdt110 中级会员 发表于 2020-4-7 14:11:07 | 只看该作者
Fuller 发表于 2020-4-7 11:21
目前还没有给电脑指定任务的功能

那现在可以查看其他设备上任务执行的情况吗?
举报 使用道具
地板
Fuller 管理员 发表于 2020-4-7 14:17:10 | 只看该作者
sdt110 发表于 2020-4-7 14:11
那现在可以查看其他设备上任务执行的情况吗?

查看其他设备的功能没有。
但是所有这些功能,在企业版上都有,有好几大块管理功能,比如,设备管理,任务管理,用户管理,数据管理等等,都有集中监控功能。

但是,在线版因为都是个人和小团队使用,这些功能都没有公开出来

举报 使用道具
5#
sdt110 中级会员 发表于 2020-4-7 15:01:30 | 只看该作者
Fuller 发表于 2020-4-7 14:17
查看其他设备的功能没有。
但是所有这些功能,在企业版上都有,有好几大块管理功能,比如,设备管理,任 ...

好吧 谢谢
举报 使用道具
6#
sdt110 中级会员 发表于 2020-4-11 18:26:37 | 只看该作者
Fuller 发表于 2020-4-7 14:17
查看其他设备的功能没有。
但是所有这些功能,在企业版上都有,有好几大块管理功能,比如,设备管理,任 ...

旗舰版对设备任何管理措施都没有是吗?查看在哪登陆也不可以是吗?
举报 使用道具
7#
Fuller 管理员 发表于 2020-4-11 19:52:42 | 只看该作者
sdt110 发表于 2020-4-11 18:26
旗舰版对设备任何管理措施都没有是吗?查看在哪登陆也不可以是吗?

DS打数机菜单 文件-》爬虫名字,给每台电脑起一个特别的名字,那么就知道哪台电脑采集到了数据。

旗舰版只能监控到这个程度,VIP版有更全面的监控能力,比如,设备管理、任务管理、数据库管理等等
举报 使用道具
8#
sdt110 中级会员 发表于 2020-4-12 18:07:28 | 只看该作者
Fuller 发表于 2020-4-11 19:52
DS打数机菜单 文件-》爬虫名字,给每台电脑起一个特别的名字,那么就知道哪台电脑采集到了数据。

旗舰版 ...

好的 谢谢
那在哪查看呢?

举报 使用道具
9#
Fuller 管理员 发表于 2020-4-12 18:42:10 | 只看该作者
sdt110 发表于 2020-4-12 18:07
好的 谢谢
那在哪查看呢?

如果是自定义的规则和普通的快捷采集任务,导出的数据中都有dsName字段,表示哪台爬虫电脑。
而微博采集工具箱没有这个字段,因为微博工具采集到的数据经过了一层清洗处理,把很多跟微博内容不相关的字段删除了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 12:31