快捷导航
本帖最后由 TYEd_傑 于 2019-2-18 13:40 编辑

大神们,在抓取淘宝数据的时候,抓取过程中显示需要认证,然后就一直重复在抓重复的数据,跳转不了下一页,请问怎么解决呢?操作步骤是这样的:   

第一步:搜索关键词;
第二步:进行翻页操作;
第三步:抓取到一半的时候,平台跳出需要验证的信息,然后gooseeker就一直抓取重复的数据。
1550468105(1).jpg
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2019-9-9 15:40

Fuller 管理员 发表于 2019-2-18 14:16:42 | 显示全部楼层
淘宝和天猫的关键词搜索对网络爬虫封锁很厉害,翻页没有多久就会出现滑块验证,要手工滑,滑几次就不让采集了。目前这个没有办法突破,可以换IP地址,清理缓存和cookie,换另外的淘宝账号,用这些手段能减缓一些。

为了解决重复抓取问题,用DS打数机菜单 高级-》终点标志-》重复内容,选上以后就会自动中断
举报 使用道具
maomao 金牌会员 发表于 2019-9-9 15:40:10 | 显示全部楼层
集搜客有淘宝快捷采集工具,下载爬虫软件后,输入淘宝网址,即可采集。注意,采集淘宝之前,要先在集搜客浏览器登录淘宝。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 网络爬虫采集html片段时无法生成结果文件怎
  • 网络爬虫占满了c盘怎么清理
  • 为什么采集速卖通用户评论翻页不了
  • 多级规则执行连续动作而输入动作不在第一级
  • 特征工程入门介绍

热门用户

GMT+8, 2019-12-9 21:19