爬虫路线有多个线索时执行顺序

爬虫路线有多个线索时执行顺序

通常情况下一个规则里最多两条线索
一条是“下级线索”，由当前规则抓取下级网页的链接为下级规则生成线索，这就是我们所说的层级抓取。
另一条就是翻页线索，可能是“记号线索”、“相对线索”“定点线索”。
以上这三条翻页的线索在一个规则里只能出现一次，根据不同的网页结构选择合适的线索。

下级线索和翻页线索运行的方式不同，下级线索只是在抓取时把链接作为线索保存到第二个规则中，不会立即打开链接执行抓取。
翻页线索则是每抓完一页就自动翻页到下一页，直到所有翻到最后一页为止。