为什么使用数据diy采集京东评价不能采集完整？数据会有重复？

大帝烦人

还有采集未完成的时候，可以打包是不是正常现象？

shengchengx · 发表于 2017-10-18 18:10:49

因为京东这边对翻页会有限制，翻页最多只能翻到一百页。
数据重复的话，检查先添加的线索是否有重复的，如果有的话会进行重复抓取，在打包数据的时候，会根据线索来判断打包。
采集中可以打包这个是属于正常的。

shenzhenwan10 · 发表于 2017-10-18 18:14:40

你说的完整是指什么? 京东有限制, 评论只显示100页, 要采集更多的只能是每天采集增量进行补充
可以打包是正常的, 因为已经检测到有数据了. 如果你进行了打包, 这只是部分数据, 后续有新的数据进来, 还需要再打包

Fuller · 发表于 2017-10-18 22:34:32

数据DIY的爬虫在运行的时候，都是有两个爬虫窗口，一个爬数据，一个打包，所以，还没有完全翻页完，就能打包

共 3 个关于本帖的回复最后回复于 2017-10-18 22:34

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页