请问大神！请问怎样在爬虫群里面自动进行层级抓取？

yanghaonan

不用手工输入线索数，谢谢大神！！！！

Fuller · 发表于 2017-4-11 21:42:58

爬虫群不是专为某个主题开启的，而是所有设置了调度参数的主题都能用。爬虫群运行起来以后就在等待任务，如果哪个主题有任务，它就采集这个主题的网页。

一批一批采集网页，可以在调度参数中设置一批的线索数，具体参看《如何运行爬虫群》

yanghaonan · 发表于 2017-4-11 21:56:42

Fuller 发表于 2017-4-11 21:42
爬虫群不是专为某个主题开启的，而是所有设置了调度参数的主题都能用。爬虫群运行起来以后就在等待任务，如 ...

如果我把两个级别的主题放进去，第一级还没有给第二级分配线索，把这两个都放到爬虫群里面能把第二级内容爬完么？

Fuller · 发表于 2017-4-11 22:02:14

可以，第二级会自动查看有没有线索，有线索就会跑

yanghaonan · 发表于 2017-4-11 22:05:42

Fuller 发表于 2017-4-11 22:02
可以，第二级会自动查看有没有线索，有线索就会跑

谢谢！

共 4 个关于本帖的回复最后回复于 2017-4-11 22:05

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页