京东商品评论数据可能采集不完全

规则名: 换手机-jd-商品中评1    换手机-jd-商品中评2

我想爬取这个页面商品评价的中评和差评  https://item.jd.com/7081550.html, 中评2000多, 差评 1000 多条



差评采集结果:



中评采集结果:


京东评论每页显示10条, 这样算来, 中评数据应该有200页, 差评数据应该有100页,


采集完后, 发现中评和差评数据量相当, 我以为爬虫每翻一页就会生成一个 xml 文件, 这样算来, 中评的数据采集的是不完全的,

两次采集都采集了 100 个xml 文件, 想问一下各位前辈, 是集搜客爬虫软件只能爬取100个页面吗? (我想有可能是京东网站做了限制, 只能爬100个页面...)

京东评论确实是做了限制, 只能翻到一百页，所以每个模块的评论只能采集一百页

bowieD 发表于 2018-7-2 09:41
京东评论确实是做了限制, 只能翻到一百页，所以每个模块的评论只能采集一百页 ...

好的, 非常感谢