本帖最后由 scraper 于 2016-12-20 16:07 编辑


【启动采集前的配置】

  • 预先登陆网站:
  • 配置打码平台:否

【运行方法】— 详见数据DIY图文教程

  • 用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问猫途鹰_景点搜索列表页面;
  • 输入一个或多个网址,然后点击“获取数据”;
  • 点击“启动采集”按钮,采集完成后点击“打包”按钮,就可以下载数据了。

【常见问题】— 欢迎跟帖留言
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2018-1-19 15:56

findJapangroup 金牌会员 发表于 2017-3-7 17:19:21 | 显示全部楼层
想要采集猫途鹰的搜索列表,搜索的关键字是【东北】,地区选择【日本】,链接为此:http://www.tripadvisor.cn/Search?geo=294232&pid=3826&redirect=&startTime=1488877325146&uiOrigin=MASTHEAD&q=%E4%B8%9C%E5%8C%97&returnTo=__2F__Attractions__2D__g494933__2D__Activities__2D__Zhangjiajie__5F__Hunan__2E__html&searchSessionId=AC0ED9DB9669065DAC3E0AA40D0CF62C1488877267740ssid
一直无法采集成功,请帮忙监测
举报 使用道具
quyixuan 金牌会员 发表于 2017-3-7 17:31:15 | 显示全部楼层
findJapangroup 发表于 2017-3-7 17:19
想要采集猫途鹰的搜索列表,搜索的关键字是【东北】,地区选择【日本】,链接为此:http://www.tripadvisor ...

1.png
这个地方输入“酒店”或者“景点”,你输入“东北”出来的网页结构跟样本页面不一样,所以会采集失败

比如说输入“酒店”出来的页面是这样的,先选择酒店名称,然后再把网址添加到数据DIY那里
2.png

举报 使用道具
王巴旦在这儿 初级会员 发表于 2018-1-19 08:34:27 | 显示全部楼层
本帖最后由 王巴旦在这儿 于 2018-1-19 08:36 编辑

https://www.tripadvisor.cn/Attractions-g255122-Activities-Queenstown_Otago_Region_South_Island.html
您好,想采集猫途鹰的景点搜索列表,这个地址的采集失败了,样例地址也采集失败了,采集停止,状态是抓取出错,麻烦看一下是为什么啊~
举报 使用道具
数据集二期 中级会员 发表于 2018-1-19 09:13:12 | 显示全部楼层
本帖最后由 数据集二期 于 2018-1-19 09:31 编辑

是因为这个网页结构发生了一点变化,规则已修改,现在可以正常使用了。
举报 使用道具
王巴旦在这儿 初级会员 发表于 2018-1-19 15:33:40 | 显示全部楼层
数据集二期 发表于 2018-1-19 09:13
是因为这个网页结构发生了一点变化,规则已修改,现在可以正常使用了。 ...

非常感谢,已经能采集了,但是景点的链接采集的地址好像不对,现在的规则出来的结果是猫途鹰的首页
举报 使用道具
数据集二期 中级会员 发表于 2018-1-19 15:56:22 | 显示全部楼层
本帖最后由 数据集二期 于 2018-1-19 16:24 编辑
王巴旦在这儿 发表于 2018-1-19 15:33
非常感谢,已经能采集了,但是景点的链接采集的地址好像不对,现在的规则出来的结果是猫途鹰的首页 ...

采集下来的景点链接没有拼接起来,现在已经修改了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 20:09