如图任务:第一次3页,第二次5页,第三次20多页就停了翻页,用的记号线索

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2020-11-27 10:06

沙发
maomao 论坛元老 发表于 2020-11-26 21:48:15 | 只看该作者
豆瓣有翻页限制,采集之前,在集搜客浏览器登陆豆瓣,能爬的页数多一些
举报 使用道具
板凳
maomao 论坛元老 发表于 2020-11-26 23:38:29 | 只看该作者
你的爬虫软件要及时升级 ,下载安装最新版的爬虫软件  https://www.gooseeker.com/pro/product.html
举报 使用道具
地板
maomao 论坛元老 发表于 2020-11-27 10:06:58 | 只看该作者
本帖最后由 maomao 于 2020-11-27 12:25 编辑

这个网站的每一页有独立链接。比如第20页的链接是https://read.douban.com/category?page=20
所以,即使断掉了,还可以把断掉的那一页链接添加到规则中,继续采集。比如,只采集到15页,从16页断了,把16页的链接https://read.douban.com/category?page=16   添加到规则中
在规则中怎样添加链接,看这个教程https://www.gooseeker.com/doc/thread-667-1-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-7-17 23:10