为什么我最近爬的豆瓣影评爬到一千多页就断了啊

举报 使用道具
| 回复

共 11 个关于本帖的回复 最后回复于 2023-11-15 10:01

xandy 论坛元老 发表于 2017-2-22 11:23:48 | 显示全部楼层
可能是翻页不稳定造成的,豆瓣的每个分页都有独立网址,从断的位置可以接上再抓
举报 使用道具
科技子 初级会员 发表于 2017-2-22 11:24:29 | 显示全部楼层
xandy 发表于 2017-2-22 11:23
可能是翻页不稳定造成的,豆瓣的每个分页都有独立网址,从断的位置可以接上再抓
...

主要是豆瓣短评没有页码, 都不知道翻到哪里了



举报 使用道具
xandy 论坛元老 发表于 2017-2-22 11:26:03 | 显示全部楼层
科技子 发表于 2017-2-22 11:24
主要是豆瓣短评没有页码, 都不知道翻到哪里了

抓取结果中有这个字段,可以看 fullpath,realpath字段,或者pageno字段,就能看到翻页到哪了,然后将这个网址添加进去就可以接着翻了。
举报 使用道具
maomao 论坛元老 发表于 2020-4-1 17:49:20 | 显示全部楼层
现在豆瓣网站的电影短评限制翻页了,采集之前在集搜客浏览器登陆豆瓣,能采集25页,500条。如果不登陆,大概采集10页,200条。
举报 使用道具
Jacinthe 新手上路 发表于 2023-11-14 15:18:25 | 显示全部楼层
为什么登录了也只搜集到300多条呢?
举报 使用道具
Fuller 管理员 发表于 2023-11-14 15:48:27 | 显示全部楼层
Jacinthe 发表于 2023-11-14 15:18
为什么登录了也只搜集到300多条呢?

你采集的网址是什么?我测试一下试试
举报 使用道具
Jacinthe 新手上路 发表于 2023-11-14 17:37:22 | 显示全部楼层
Fuller 发表于 2023-11-14 15:48
你采集的网址是什么?我测试一下试试

芭比 短评 (douban.com)  应该有20w+条数据。以及,方便问一下爬取豆瓣电影短评做中文分词与数据分析 - 知乎 (zhihu.com) 文章里第四部分的折线图柱状图是怎么做出来的呢?
举报 使用道具
Jacinthe 新手上路 发表于 2023-11-14 17:39:09 | 显示全部楼层
Jacinthe 发表于 2023-11-14 17:37
芭比 短评 (douban.com)  应该有20w+条数据。以及,方便问一下爬取豆瓣电影短评做中文分词与数据分析 -  ...

https://movie.douban.com/subject/4058939/comments?status=P   

https://zhuanlan.zhihu.com/p/36149059
举报 使用道具
Fuller 管理员 发表于 2023-11-14 19:16:50 | 显示全部楼层
Jacinthe 发表于 2023-11-14 17:37
芭比 短评 (douban.com)  应该有20w+条数据。以及,方便问一下爬取豆瓣电影短评做中文分词与数据分析 -  ...

那篇文章很早了,现在记不清楚是不是只使用excel做了那些图,excel是很强大的,能满足绝大部分需求
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 19:02