目前在做美团网站,商家列表信息的抓取。
看了教程(列表翻页采集),
美团的翻页是class,一直获取不到,一直抓取同一页的数据信息。

有没有大神,知道怎么如何获取下一页?
举报 使用道具
| 回复

共 19 个关于本帖的回复 最后回复于 2020-6-24 12:55

沙发
qq313178577 初级会员 发表于 2019-9-9 18:41:22 | 只看该作者

举报 使用道具
板凳
maomao 论坛元老 发表于 2019-9-9 18:56:36 | 只看该作者
这里有个类似帖子,你可以看看https://www.gooseeker.com/doc/thread-11460-1-1.html
举报 使用道具
地板
qq313178577 初级会员 发表于 2019-9-9 19:03:24 | 只看该作者
maomao 发表于 2019-9-9 18:56
这里有个类似帖子,你可以看看https://www.gooseeker.com/doc/thread-11460-1-1.html

这个帖子,我看了。 也修改了UserAgent。 还是不行,55555~
举报 使用道具
5#
Fuller 管理员 发表于 2019-9-9 22:01:07 | 只看该作者
qq313178577 发表于 2019-9-9 19:03
这个帖子,我看了。 也修改了UserAgent。 还是不行,55555~

我加载了你的规则“Key-孟州美团列表”,但是没有看到你定义的翻页规则。你把规则存一下,然后告诉我任务名,我可以加载分析你的规则
举报 使用道具
6#
qq313178577 初级会员 发表于 2019-9-10 10:07:12 | 只看该作者
Fuller 发表于 2019-9-9 22:01
我加载了你的规则“Key-孟州美团列表”,但是没有看到你定义的翻页规则。你把规则存一下,然后告诉我任务 ...

您好,我昨天晚上您看之前,我把我的翻页规则给删除了。
我现在又重新添加了一下。您看看。

任务名称:Key-孟州美团列表
举报 使用道具
7#
Fuller 管理员 发表于 2019-9-10 11:15:41 | 只看该作者
qq313178577 发表于 2019-9-10 10:07
您好,我昨天晚上您看之前,我把我的翻页规则给删除了。
我现在又重新添加了一下。您看看。

我发现这个网页在集搜客浏览器里面即使手工点击,也不能翻页,我估计是集搜客浏览器不直至这个网站
举报 使用道具
8#
Fuller 管理员 发表于 2019-9-10 11:19:38 | 只看该作者
美团这个网站对useragent是很敏感的,也许应该换一下useragent试试。有些useragent永远验证不通过
举报 使用道具
9#
qq313178577 初级会员 发表于 2019-9-10 12:08:02 | 只看该作者
Fuller 发表于 2019-9-10 11:19
美团这个网站对useragent是很敏感的,也许应该换一下useragent试试。有些useragent永远验证不通过 ...

我再试试,谢谢
举报 使用道具
10#
qq313178577 初级会员 发表于 2020-6-21 11:06:38 | 只看该作者
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 12:31