百度新闻快捷采集，400条就不能采集了

马涌河畔

我用这个快捷采集：百度新闻搜索列表，页数那里选择了“全部”，每次爬400条就不再翻页，结束了
不能一直爬下去吗

内容分析应用 · 发表于 2020-12-28 09:59:20

如果页数那里你选择了“全部”，那么爬虫爬的时候就不限制翻页。如果有限制，可能是对方网站有限制最大翻页数

内容分析应用 · 发表于 2020-12-28 10:00:26

手工翻页试了一下，确实是限制最多40页

共 2 个关于本帖的回复最后回复于 2020-12-28 10:00

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页