您好我想问一下,链家网站自己搜索到3万多条数据,为什么只能爬3千条出来?添加的链接是:https://bj.lianjia.com/zufang/



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2021-3-16 18:01

沙发
maomao 论坛元老 发表于 2021-3-16 17:52:39 | 只看该作者
链家快捷工具采集的?
举报 使用道具
板凳
thursdayrain 中级会员 发表于 2021-3-16 17:55:05 | 只看该作者
对,是用这个快捷工具采集的,我添加的链接是https://bj.lianjia.com/zufang/   ,选择页数是全部,采集的时候,看着也翻到最后一页了。
举报 使用道具
地板
maomao 论坛元老 发表于 2021-3-16 18:01:27 | 只看该作者
本帖最后由 maomao 于 2021-3-16 18:02 编辑

你把这个链接添加进去,这个网页的页数最大是100页,每页是30条数据,所以最多采集到3000条数据。

要想采集的多,要按区采集,

比如选择东城区https://bj.lianjia.com/zufang/dongcheng/   把这个链接添加进去,采集的是东城区的房源。最多100页,最多3000条。最共有十几个区,应该有3万多条了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-9-1 10:42