集搜客GooSeeker网络爬虫

标题: 二级网页抓取用单搜还是集搜 [打印本页]

作者: gooseeker_info 时间: 2016-10-3 12:28
标题: 二级网页抓取用单搜还是集搜
二级网页抓取用单搜还是集搜？用集搜是否能加快速度？一级还没有抓完的时候是否可以启动二级？

作者: Fuller 时间: 2016-10-3 12:31
单搜：就是在当前DS打数机窗口中运行爬虫，所以，只能有一个规则在运行
集搜：会弹出一个新的DS打数机窗口，在抓取规则列表中一共有20个抓取规则，每一行都对应一个集搜窗口，所以，总共能运行20个窗口。他们并行抓取，速度就提高了。

第一级没有完成也可以运行第二级，如果已经有些线索了，那么就会正常运行，如果一个线索也没有，就会终止。运行顺序上，一级和二级没有约束关系，主要看当时有没有线索

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)