您好!想向您请教一个问题。我下载了无讼案例规则,并向无讼案例第一级里面添加了7条线索,同时我开了7个爬虫群线程,但只有一个运行,且不能完整的抓取无讼案例第一级的所有内容,抓取一部分后就会转到抓取下一条线索。请问,是我操作不当还是规则本身出现了问题?



举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2016-11-9 18:35

沙发
xandy 论坛元老 发表于 2016-11-9 17:01:32 | 只看该作者
爬虫群要进行配置,比如:最大允许运行的爬虫数要进行设置等如何配置参看:《如何运行爬虫群
举报 使用道具
板凳
正版额外 初级会员 发表于 2016-11-9 17:02:27 | 只看该作者
xandy 发表于 2016-11-9 17:01
爬虫群要进行配置,比如:最大允许运行的爬虫数要进行设置等如何配置参看:《如何运行爬虫群》
...

重新设置以后,重启了打数机,但是7个爬虫线程仍然只激活了一个,为何?

举报 使用道具
地板
xandy 论坛元老 发表于 2016-11-9 17:03:46 | 只看该作者
正版额外 发表于 2016-11-9 17:02
重新设置以后,重启了打数机,但是7个爬虫线程仍然只激活了一个,为何?

...

爬虫群会结合网速和性能自动随机分配爬虫进行抓取
举报 使用道具
5#
Fuller 管理员 发表于 2016-11-9 18:35:49 | 只看该作者
xandy 发表于 2016-11-9 17:03
爬虫群会结合网速和性能自动随机分配爬虫进行抓取

在会员中心-》规则管理中,调度参数有这样一项“一轮线索数量”,你设置了多少?是不是很大?如果很大,有一个窗口在运行就把总配额用完了。

请反馈你的实验结果,我们好进行改进
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-28 15:13