翻页

lsckyj 发表于 2018-5-2 15:25
我试了一下，还是不行，是不是在豆瓣上面只能爬200多条

根据“小猪佩奇”这个主题名搜索不到你的规则，首先观察一下一共有多少条数据，只爬了200多条应该是翻页到某一页，采集的关键内容就定位不到就报错中断了，采集的时候观察一下在哪一页中断了，再根据Fuller所说的方法检查和调整内容映射。

E:\

E:\
我没用小猪佩奇啦，用的是红海行动。不行，都想放弃啦

图片

1、你的样例复制有问题，你的样例节点选择的是第一个和第四个，所以会采集不全，应该选择第一个样例节点和第二个样例节点来做样例复制

另外需要把定位方式改成绝对定位


2、豆瓣短评有数据diy可以使用，直接添加结构相同的网址进入就能采集
《豆瓣_电影短评》