集搜客GooSeeker网络爬虫

标题: 求助！马蜂窝网络游记爬取 [打印本页]

作者: luoxiangyang 时间: 2021-1-6 18:08
标题: 求助！马蜂窝网络游记爬取
根据相关的教程和视频来学的，分别设置了两级规则（神农架0105和神农架01051），总会出现线索匹配失败，求助大家帮着看看！

作者: wangyong 时间: 2021-1-7 09:29
[attach]13528[/attach]第一级规则只能抓取第一页的数据，到第二页就失败了，要做两个调整
1，规则里定位方式选择偏好@class

[attach]13531[/attach]

2，给抓取内容每个都做上定位标志映射

作者: wangyong 时间: 2021-3-24 16:34
本帖最后由 wangyong 于 2021-4-26 09:59 编辑

集搜客的快捷采集中有全套的马蜂窝采集入口，不用开发采集规则，直接输入链接就可以采集，很简单。

包括了：
游记数据采集，景点数据采集，酒店数据采集，问答数据采集，餐饮数据采集，娱乐数据采集

每个版块有相关的两到三个页面采集入口对应采集不同页面的数据，以游记采集为例分别是：
马蜂窝游记采集_列表
马蜂窝游记采集_详情
马蜂窝游记采集_评论

以采集青岛市游记的相关内容为例，步骤是：
1，安装集搜客数据管家，从左侧工具条进入快捷采集，选择马蜂窝游记采集_列表，输入要采集的网页链接：https://www.mafengwo.cn/yj/10444/

再点击“获取数据”按钮，数据管家会开始自动采集数据
2，进入快捷采集管理页面，待采集任务的状态由“待采集”变成“已采集”后就可以打包下载Excel格式的数据了。

3，如果要继续采集每篇游记的详情内容，操作方法是，在下载下来的列表数据中，找到`游记链接`，将链接复制添加到马蜂窝游记采集_详情，要采集评论内容的话，操作方法相同

选择[url=]输入多条网址[/url]将要采集的多条网址同时添加

采集完成后，下载Excel数据的方法同时。
4，游记详情数据

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)