携程国内酒店评论数据无法获取

在集搜客数据管家里也无法获取

发一个网址出来看看。采集下来后有什么异常？

Fuller 发表于 2020-10-7 11:20
发一个网址出来看看。采集下来后有什么异常？

https://hotels.ctrip.com/hotels/ ... amp;hotelUniqueKey=


采集不到数据

bqq239 发表于 2020-10-7 11:58
https://hotels.ctrip.com/hotels/detail/?hotelId=29626521&checkIn=2020-10-07&checkOut=2020-10-08&ci ...

这是数据管家打开的网页，可以看到评论。如果规则做的正确的话，应该能采集到数据。爬虫规则是你自己做的？还是使用了爬携程的快捷采集工具？

Fuller 发表于 2020-10-7 13:28
这是数据管家打开的网页，可以看到评论。如果规则做的正确的话，应该能采集到数据。爬虫规则是你自己做 ...

使用的快捷采集。是可以看到评论的，但是中间会卡住，最后是爬不到数据的。（之前不用数据管家的时候是可以爬取到的哎）

bqq239 发表于 2020-10-7 15:25
使用的快捷采集。是可以看到评论的，但是中间会卡住，最后是爬不到数据的。（之前不用数据管家的时候是可 ...

如果在集搜客爬虫软件中打开网页，能看到评论，就用爬虫软件爬。有些网站用爬虫软件打开显示不了信息，所以，退出了数据管家软件做补充。

如果翻页抓取过程中，翻页中断了，把这个网址重新爬一遍。有时候网络不稳定，或者服务器反应不过来，就超时中断了

我安排人检查一下这个快捷采集工具是不是需要修改一下了，可能携程网站改版了

Fuller 发表于 2020-10-7 15:54
如果在集搜客爬虫软件中打开网页，能看到评论，就用爬虫软件爬。有些网站用爬虫软件打开显示不了信息，所 ...

现在用集搜客爬虫软件也没办法获取数据了哎，好像网页改版了..

Fuller 发表于 2020-10-7 16:06
我安排人检查一下这个快捷采集工具是不是需要修改一下了，可能携程网站改版了 ...

好的！感谢！

bqq239 发表于 2020-10-7 16:08
好的！感谢！

添加这个链接就能采到数据了，https://hotels.ctrip.com/hotel/dianping/29626521.html?isFull=F

你添加的是选择日期住宿的酒店网址，不是单纯的酒店详情