网址:  http://hotel.qunar.com/city/beij ... 4%E6%98%9F%E7%BA%A7
第一级想采集酒店名称,最低价格,评论数,进行样例复制和翻页采集。
第二级想进入每个酒店的链接获取不同用户的评论(1页)进行层级采集。

但在第一级就有问题了
但是在第一级样例复制和翻页采集的测试都没有问题,数据出的来,参存完规则爬取数据时,网页没有出现,还报错了。

求教,谢谢!


规则名称: beiijing-20190927-02


举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2019-9-27 11:20

沙发
hky_12345 初级会员 发表于 2019-9-27 09:07:25 | 只看该作者
刚刚网页好像显示不全 http://hotel.qunar.com/city/beijing_city/q-%E4%BA%94%E6%98%9F%E7%BA%A7
举报 使用道具
板凳
Fuller 管理员 发表于 2019-9-27 09:28:10 | 只看该作者


这样换一下useragent。

你的任务名是什么?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
地板
Fuller 管理员 发表于 2019-9-27 09:30:40 | 只看该作者
我加载了你的规则,样本页面网址不对。我用你在第二个帖子发出的网址分析了你的规则,规则是正确的
举报 使用道具
5#
Fuller 管理员 发表于 2019-9-27 09:31:47 | 只看该作者
我测试了一下,我这里运行良好,一方面换一下useragent,另外,检查一下网速,观察加载这个页面要花费多久
举报 使用道具
6#
hky_12345 初级会员 发表于 2019-9-27 09:51:20 | 只看该作者
好的,谢谢你了!!!
举报 使用道具
7#
hky_12345 初级会员 发表于 2019-9-27 09:53:13 | 只看该作者
Fuller 发表于 2019-9-27 09:28
这样换一下useragent。

你的任务名是什么?

啥是任务名?
举报 使用道具
8#
MebiuW 初级会员 发表于 2019-9-27 10:02:20 | 只看该作者

就是采集规则的名字,现在把规则统一叫成任务
举报 使用道具
9#
hky_12345 初级会员 发表于 2019-9-27 11:20:47 | 只看该作者
MebiuW 发表于 2019-9-27 10:02
就是采集规则的名字,现在把规则统一叫成任务

好的,叫 beiijing-20190927-02(不过之后可能会删除)。问题目前已经解决,应该是用了太多次集搜客爬网站的原因,被反爬了。换了一个浏览器,爬取到了携程。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为什么用微软的excel无法打开xls文件?powe
  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法

热门用户

GMT+8, 2025-6-21 18:04