怎么爬取百度搜索关键词之后的各结果打开后的内容

Fuller 发表于 2017-10-12 22:19
针对那个缺失的摘要，看看xpath有什么特别在自定义xpath在增加一个 | 式子
...

我还想问一下，问什么我最后导出来的excel的前十个和后面十个是重复的？而且第一个和第二个也是重复的，第一个是原网址，第二个是爬出来的网址……

Lucky嗨嗨 发表于 2017-10-13 10:01
我还想问一下，问什么我最后导出来的excel的前十个和后面十个是重复的？而且第一个和第二个也是重复的， ...

检查一下爬下来的数据是不是你想要的，可以做去重复处理，出现这种情况应该是规则问题吧。

ali369 发表于 2017-10-13 10:22
检查一下爬下来的数据是不是你想要的，可以做去重复处理，出现这种情况应该是规则问题吧。
...

怎么做重复处理？有网址吗？就前十条有问题，其他几百条都没问题啊，也是规则问题吗？

Lucky嗨嗨 发表于 2017-10-13 12:50
怎么做重复处理？有网址吗？就前十条有问题，其他几百条都没问题啊，也是规则问题吗？

...

可以上百度查一下，excel有去重复数据的功能，前十条有问题就单独处理就可以了，反正数据量不大。