列表采集，数据重复

Fuller · 发表于 2019-5-10 17:14:04

我做了一个规则，连编号也采集下来了，我发现这个网站的搜索结果会变，编号没有问题，但是，每个编号对应的名字会变。

gpy258 · 发表于 2019-5-11 09:52:09

Fuller 发表于 2019-5-10 17:14
我做了一个规则，连编号也采集下来了，我发现这个网站的搜索结果会变，编号没有问题，但是，每个编号对应 ...

我也发现了，其实不得不说这是个神奇的网站。这算不算是，一个防止爬虫的方法呢

Fuller · 发表于 2019-5-11 10:19:08

gpy258 发表于 2019-5-11 09:52
我也发现了，其实不得不说这是个神奇的网站。这算不算是，一个防止爬虫的方法呢
...

一般不会是防爬，而是这个网站的排序算法可能是不稳定

gpy258 · 发表于 2019-5-11 10:51:39

好的，那有没有什么解决办法呢

gpy258 · 发表于 2019-5-11 10:51:53

Fuller 发表于 2019-5-11 10:19
一般不会是防爬，而是这个网站的排序算法可能是不稳定

好的，那有没有什么解决办法呢

Fuller · 发表于 2019-5-11 15:41:02

gpy258 发表于 2019-5-11 10:51
好的，那有没有什么解决办法呢

这种没有好办法，可以多爬几遍，也许能把所有的内容抓到至少一次

gpy258 · 发表于 2019-5-11 17:08:27

Fuller 发表于 2019-5-11 15:41
这种没有好办法，可以多爬几遍，也许能把所有的内容抓到至少一次

谢谢

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页