快捷导航
maomao 论坛元老 发表于 2020-11-21 12:30:10 | 显示全部楼层
13371918736 发表于 2020-11-21 11:59
但这个太慢了,一分钟才抓一页。

如果,网页加载速度还行,可以把延迟时间设置小一些,会抓的快一些。
举报 使用道具
Fuller 管理员 发表于 2020-11-21 14:17:56 | 显示全部楼层
这个网站太慢了,如果延迟时间调小了,恐怕会有漏数据
举报 使用道具
13371918736 新手上路 发表于 2020-11-21 14:55:48 | 显示全部楼层
Fuller 发表于 2020-11-21 14:17
这个网站太慢了,如果延迟时间调小了,恐怕会有漏数据

目前已經不是延遲時間的問題。我抓到一半的時候,數據打印機就不動了⋯⋯這個要怎麼破?
举报 使用道具
13371918736 新手上路 发表于 2020-11-21 14:56:13 | 显示全部楼层
maomao 发表于 2020-11-21 12:30
如果,网页加载速度还行,可以把延迟时间设置小一些,会抓的快一些。

目前已經不是延遲時間的問題。我抓到一半的時候,數據打印機就不動了⋯⋯這個要怎麼破?
举报 使用道具
maomao 论坛元老 发表于 2020-11-21 17:03:38 | 显示全部楼层
这个网站有时翻页很困难,断掉的那一页有独立网址,把这个网址添加到规则里,继续采集。
采集到的数据里有个字段是realpath,,把最后一个realpath添加到规则里,就可以从断点继续采集。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 采集图片网址并下载图片(二)——下载途牛
  • 采集图片网址并下载图片(一)—— 单图下
  • 定位映射采集列表数据——以B站视频列表为
  • 网络爬虫抓包功能
  • 内容映射

热门用户

GMT+8, 2021-1-16 14:27