爬取数据时，明明规则对了，会有漏抓列表页，比如，假设一共有20个公司，只抓到5个

cwg1002 发表于 2017-3-20 16:20
你用的是哪个？“阿士伯”还是“阿土伯气”？我用“阿士伯”只勾选一个关键   还是抓取不全
...

我用的是“阿土伯气”，我再看看“阿土伯”

cwg1002 发表于 2017-3-20 16:20
你用的是哪个？“阿士伯”还是“阿土伯气”？我用“阿士伯”只勾选一个关键   还是抓取不全
...

用“阿土伯”只勾选“name”关键内容也能采全，没问题啊

quyixuan 发表于 2017-3-20 16:33
用“阿土伯”只勾选“name”关键内容也能采全，没问题啊

我用阿士伯采集的第二级线索按理应该有400+，可是规则管理里看到只有176个线索待采集

cwg1002 发表于 2017-3-20 16:50
我用阿士伯采集的第二级线索按理应该有400+，可是规则管理里看到只有176个线索待采集
...

你看看翻页有没有问题，采集的时候观察有没有翻页失败的情况

cwg1002 发表于 2017-3-20 16:50
我用阿士伯采集的第二级线索按理应该有400+，可是规则管理里看到只有176个线索待采集
...

除了规则不合适以外，还可能有两个原因，
1，开起来二级有400多网址，但是，很多都是重复的，就会被过滤掉
2，网址会不会很长？如果都很长，超过250个字符，而且前250个字符都一模一样，区别在后面，那么爬虫的重复过滤机制会误判，当成相同的了

quyixuan 发表于 2017-3-20 16:59
你看看翻页有没有问题，采集的时候观察有没有翻页失败的情况

我没用翻页，就怕他出问题所以把每页都添加到了线索里，具体看前面的图。

Fuller 发表于 2017-3-20 17:18
除了规则不合适以外，还可能有两个原因，
1，开起来二级有400多网址，但是，很多都是重复的，就会被过滤 ...

如何解除过滤?

cwg1002 发表于 2017-3-20 17:22
如何解除过滤?

我正在一个个规则进行诊断，我发现“阿土伯”你已经修改了是吧？没有设置第二级，我再看看“阿土伯气”

这个网页还真麻烦，我在看“阿土伯气”，第一页和第二页的结构不一样，出现出现在最后两个抓取内容上，如下图


红框里面的联系人，是不同点，还有网址。所以，要做两个规则，同一个主题名，为第一页做一个，再为第二页做一个，他们的规则编号用不同的值，这样就能区分开。爬虫运行的时候自动会选择。

还有一个改进建议：整理箱的顶层容器节点不用样例复制，而是用定位标志映射，这样可以过滤掉广告，因为广告的定位标志不一样。

另外，采集到的网址数量少的原因不是因为网址长被过滤了，而是因为规则不合适，有些没有采集到

Fuller 发表于 2017-3-20 18:30
这个网页还真麻烦，我在看“阿土伯气”，第一页和第二页的结构不一样，出现出现在最后两个抓取内容上，如下 ...

"另外，采集到的网址数量少的原因不是因为网址长被过滤了，而是因为规则不合适，有些没有采集到"规则我就选到它的网址并作为下级线索啊，我现在用的是阿土伯有什麽问题吗？明天就要出数据了挺急的