爬取数据不完整

Healerxy · 发表于 2017-9-17 14:24:14

Fuller 发表于 2017-9-17 11:55
以前是这样的，等一段时间会变好，不过我好久没有爬京东评论了，现在不知道怎样。Python这些方法没有试过 ...

根据您以前的经验大概要等多久呢?
最近有个项目急需这些数据

bowieD · 发表于 2017-9-18 09:57:08

你的第一级规则京东零食_详情，不要同时映射两个页面下的内容。

Healerxy · 发表于 2017-9-18 11:40:40

bowieD 发表于 2017-9-18 09:57
你的第一级规则京东零食_详情，不要同时映射两个页面下的内容。

什么意思？

bowieD · 发表于 2017-9-18 12:11:39

你还需要做一个一级规则去模拟点击“商品评价”，因为页面加载进去默认是在"商品介绍"页面.

Healerxy · 发表于 2017-9-18 13:37:09

bowieD 发表于 2017-9-18 12:11
你还需要做一个一级规则去模拟点击“商品评价”，因为页面加载进去默认是在"商品介绍"页面. ...

屏幕滚动到下面就会自动加载出商品评价啊，还需要模拟点击吗？

bowieD · 发表于 2017-9-18 14:14:26

那就不需要了

Healerxy · 发表于 2017-9-18 15:35:25

bowieD 发表于 2017-9-18 14:14
那就不需要了

所以您知道爬取评论最多只有100页是什么原因吗？

bowieD · 发表于 2017-9-18 15:53:22

规则是没有问题的，这个网页的评论一共就只有一百页。

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页