根据文本内容确定是否作为下级线索怎么实现？

Hi, 各位大佬好，

目前正在做Amazon中国站的商品信息爬取，但是现在想只爬非自营，非海外购的商品的信息，

我现在是分别从每个类目进入，在商品列表页爬商品详情页的URL作为下级线索，但是苦于没有办法筛选出只有非自营和非海外购的商品的URL作为下级线索，这个怎么破呀？

因为是用集群爬取，所以不想先商品URL，然后再筛选哈，有什么办法直接筛掉不要的嘛

最简单的方法是在规则里不勾下级线索，先把网址和非自营抓下来到Excel里筛选手工添加线索
添加线索教程：《手工添加线索》

那这样就利用不了自动调度 爬虫集群了

petergao0528 发表于 2018-1-5 17:14
那这样就利用不了自动调度 爬虫集群了

也可以全部采集下来，采集的时候采集能区分商品信息的标志，在excel中对结果做筛选，筛选出想要的数据。