一轮线索数量是啥意思啊？

quyixuan

TonyJiang · 发表于 2016-9-26 15:06:05

一轮线索数量，可设为正整数或者-1，表示一轮最多采集某个主题的多少条线索网址，正整数N表示每批次采集多少条线索网址，-1表示一次性采完所有等待抓取的线索网址为止。

Fuller · 发表于 2016-9-26 15:41:52

爬虫罗盘是一个调度中心，为了防止被封锁，不是一口气把所有线索抓完，而且一批批抓，一批称为一轮。

如果启用了自动入库，一批一定不能太大，否则入库会失败，那就白抓了。如果没有入库，而是以原始xml格式存放结果文件，一批可以大一些

共 2 个关于本帖的回复最后回复于 2016-9-26 15:41

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页