网站数据与抓取到的数据不符合是怎么回事？

Fuller 发表于 2016-8-25 14:46
是的，我都测试过了

线索规则需要改吗？怎么改？是不是手动输入就改了？

877994752 发表于 2016-8-25 16:27
线索规则需要改吗？怎么改？是不是手动输入就改了？

不要改这里，在这里改的虽然有效，但是下次修改规则就失效了。

改工作台上那里就永远有效

Fuller 发表于 2016-8-25 17:03
不要改这里，在这里改的虽然有效，但是下次修改规则就失效了。

改工作台上那里就永远有效 ...

我改了 采集到400个.xml文件的时候就卡死了。就采集不动了，怎么办？还有其他方法可以采集这种网址吗？ 滚屏加点击？我刚刚试了一下，不知道哪里错了，不行。

877994752 发表于 2016-8-25 17:33
我改了 采集到400个.xml文件的时候就卡死了。就采集不动了，怎么办？还有其他方法可以采集这种网址吗？  ...

可能网速慢的原因，你盯着DS打数机的浏览器观察一下，到400个结果的时候，浏览器显示什么？

Fuller 发表于 2016-8-25 19:15
可能网速慢的原因，你盯着DS打数机的浏览器观察一下，到400个结果的时候，浏览器显示什么？ ...

浏览器 显示是全白了！就没有采集了。

877994752 发表于 2016-8-26 08:55
浏览器 显示是全白了！就没有采集了。

翻页抓取会经常遇到这种情况，网速慢的话，很久都不会出现“下一页”按钮，因为通常“下一页”按钮在最下面，这样的话，程序以为没有下一页了，就正常结束了

也可能网站就是这样设计的，因为普通一个人不会连续翻400页。就像淘宝，只有100个翻页。如果是这种情况，你可以选择不同的商品类别，每个小类别包含的商品数量较少

Fuller 发表于 2016-8-26 09:09
也可能网站就是这样设计的，因为普通一个人不会连续翻400页。就像淘宝，只有100个翻页。如果是这种情况，你 ...

但是我们要按国家采集数据。想这种情况就采集不了全部数据了是吧？还有其方法吗？

877994752 发表于 2016-8-26 14:29
但是我们要按国家采集数据。想这种情况就采集不了全部数据了是吧？还有其方法吗？ ...

如果像淘宝一样设定了限制，那就没办法了

Fuller 发表于 2016-8-26 15:02
如果像淘宝一样设定了限制，那就没办法了

我怀疑就是滚屏 滚不到底。