内容:我用集搜客快捷工具采集亚马逊美国商品的评论,采集过程中,评论很多的时候,会断掉,怎样从断掉的页面继续采集?
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2019-6-5 17:32

maomao 论坛元老 发表于 2019-6-5 17:29:04 | 显示全部楼层
集搜客快捷工具采集亚马逊美国评论,如果在某一页断掉了。先把已经采集的数据打包下载。然后打开数据excel表,数据里有个<realpath>字段,把这一列的最后一行拷贝下来,再添加到亚马逊美国评论快捷工具,就可以接着断掉的地方继续采集了。
举报 使用道具
maomao 论坛元老 发表于 2019-6-5 17:32:22 | 显示全部楼层
本帖最后由 maomao 于 2021-10-26 16:50 编辑

另外,美国亚马逊现在反爬也比较严重。爬的时候要经常清缓存,换IP。这样才不会被封锁。
(老版爬虫清缓存操作可以参见这篇帖子的一楼:https://www.gooseeker.com/doc/thread-11667-1-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 20:15