2 16798

安居客数据采集攻略

ym 于 2017-1-5 18:20 发表 [复制链接]
本帖最后由 ym 于 2017-1-20 15:04 编辑

安居客页面的组合采集攻略如下(绿框是页面名称,橙色字体是采集结果表中的网址字段):

1、从“安居客新房楼盘列表”展开采集更多页面信息


方法:从“安居客新房楼盘列表”的数据表中,把“楼盘链接”这列的网址拷贝出来,然后点击“安居客新房楼盘详情信息”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。

2、从“安居客新房房源列表”展开采集更多页面信息


方法:从“安居客新房房源列表”的数据表中,把“链接”这列的网址拷贝出来,然后点击“安居客新房房源详情信息”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。

3、从“安居客二手房小区房源”展开采集更多页面信息


方法:从“安居客二手房小区房源”的数据表中,把“链接”这列的网址拷贝出来,然后点击“安居客二手房房源详情信息”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。

4、从“安居客二手房房源列表”展开采集更多页面信息


方法:从“安居客二手房房源列表”的数据表中,把“链接”这列的网址拷贝出来,然后点击“安居客二手房房源详情信息”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。

5、从“安居客租房房源列表”展开采集更多页面信息


方法:从“安居客租房房源列表”的数据表中,把“链接”这列的网址拷贝出来,然后点击“安居客租房房源详情信息”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。

6、从“安居客二手房小区列表”展开采集更多页面信息


方法:从“安居客二手房小区列表”的数据表中,把“链接”这列的网址拷贝出来并补上域名部分,操作参考《如何补上网址的域名部分》,然后点击“安居客二手房小区概况”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。

【附注】
数据DIY上可以找到很多网站下不同页面的采集入口,只要与样例网址是相同级别的网页,就可以用该页面的采集入口采集数据。因此,如果从数据DIY某个页面采集到网址,那么就可以找到该网址对应页面的采集入口,把批量网址添加进去,这也是数据DIY的出发点,让用户可以组合任意页面进行批量采集。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2022-10-29 16:54

winderflier 初级会员 发表于 2018-3-13 05:51:39 | 显示全部楼层
超过50页之后的内容无法获取,怎么办?
举报 使用道具
Fuller 管理员 发表于 2018-3-13 08:52:57 | 显示全部楼层
winderflier 发表于 2018-3-13 05:51
超过50页之后的内容无法获取,怎么办?

很多电商网站都是这样,有数量限制,要想办法缩小查询范围,比如,缩小类别,缩小地区,用特定关键词搜索等
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 03:12