下级线索采集到的数量不对，求解

希渺 发表于 2018-3-12 12:44
没明白。。。。和采集的线索数有关系吗？翻页了一级要采集的也是3个网页啊
...

你的上级规则里的 三条线索是不是这三条？
1，https://bj.lianjia.com/ershoufang/co32/    这是第一页网址
2，https://bj.lianjia.com/ershoufang/pg2co32/    这是第二页的网址
3，https://bj.lianjia.com/ershoufang/pg3co32/   这是第三页的网址

做了翻页后，只需要第一页的网址就可以了，因为爬虫会从第一页开始自动翻页去采集每一页的数据，比如这里一共有100页，那么这100页就都会采集

umsung 发表于 2018-3-12 14:39
你的上级规则里的 三条线索是不是这三条？
1，https://bj.lianjia.com/ershoufang/co32/    这是第一页网 ...

是的，一级规则是这3条，运行时只填写1就可以了？一级规则的每个网页里都有30条数据，那运行二级规则填写多少啊。。。

希渺 发表于 2018-3-13 10:27
是的，一级规则是这3条，运行时只填写1就可以了？一级规则的每个网页里都有30条数据，那运行二级规则填写 ...

运行前可以先统计一下线索数量，看这篇文章的第三章：http://www.gooseeker.com/doc/thread-667-1-1.html
如果一条线索需要翻页，比如，翻100页，线索数量仍然是1。如果一个网页上有30条数据，这个线索数还是1。线索数量就是网址的数量。
二级线索数量可以先统计一下再运行