我想抓取豆瓣电影短评的数据,结果试了几次都什么也没有抓到。是工具被禁了吗?
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2024-9-7 15:35

Fuller 管理员 发表于 2024-9-3 15:17:56 | 显示全部楼层
快捷采集有两个,一个是 豆瓣_电影短评,另一个是 豆瓣_电影影评。两个所用的样本页面是不一样的。前者的网址是 xxx/comments,后者的网址是 xxx/reviews

你检查一下添加的网址对吗?我刚才使用样本网址测试了,采集都是正确的。如果翻页的时候出现 “加载中”说明网络速度太慢或者网站暂时性拥塞,要重新采集
举报 使用道具
sshangren 初级会员 发表于 2024-9-3 20:11:41 | 显示全部楼层
嗯嗯,原来是反映太迟钝,不过采集下来每次就100个数据,是被限制了吗
举报 使用道具
Fuller 管理员 发表于 2024-9-3 20:46:25 | 显示全部楼层
采集之前,在数据管家打开douban并登录一个douban账号,会采集更多
举报 使用道具
sshangren 初级会员 发表于 2024-9-5 21:15:43 | 显示全部楼层
Fuller 发表于 2024-9-3 20:46
采集之前,在数据管家打开douban并登录一个douban账号,会采集更多

是多了一些,这次用了半天数个小时时间,一直没去关掉,结果采了400条,但对于总共的数万条短评来说没有实际意义。。。
举报 使用道具
Fuller 管理员 发表于 2024-9-5 22:18:45 | 显示全部楼层
douban网站上只有这么多,只能看到几百条
举报 使用道具
sshangren 初级会员 发表于 2024-9-7 15:35:41 | 显示全部楼层
Fuller 发表于 2024-9-5 22:18
douban网站上只有这么多,只能看到几百条

哦,有点明白了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-10-5 15:13