如何设置翻页最短时间和最长时间

lllsss123

只能在crontab文件中设置最短时间和最长时间吗？

在任务管理中是否可以设置？

Fuller · 发表于 2020-12-9 20:32:03

可以设置很多参数，控制采集速度。看看这个教程https://www.gooseeker.com/doc/thread-714-1-1.html

Fuller · 发表于 2020-12-9 22:53:23

只有旗舰版和更高版本才能设置本地的crontab文件。其他版本要在会员中心设置调度参数，其中有网址间休息时间。设置以后，就会在0和这个数之间取一个随机数

lllsss123 · 发表于 2020-12-10 10:09:10

设置了，不起效果，还是按照固定时间翻页

内容分析应用 · 发表于 2020-12-10 10:16:20

lllsss123 发表于 2020-12-10 10:09
设置了，不起效果，还是按照固定时间翻页

你是在会员中心设置的？
需要用爬虫群窗口爬取

lllsss123 · 发表于 2020-12-10 10:34:42

是的，任务管理的中，针对这个任务设置了网页间休息时间

lllsss123 · 发表于 2020-12-10 11:13:04

内容分析应用发表于 2020-12-10 10:16
你是在会员中心设置的？
需要用爬虫群窗口爬取

可以了
我是在搜集知网上的关键词下的文章，之前是翻页10多次之后会提示输入验证码，我以为是翻页时间的问题，刚才设置了翻页时间加长，还是会让输入验证码，请问知网这块咱们有什么爬取经验吗？

Fuller · 发表于 2020-12-10 12:04:24

lllsss123 发表于 2020-12-10 11:13
可以了
我是在搜集知网上的关键词下的文章，之前是翻页10多次之后会提示输入验证码，我以为是翻页时间的 ...

爬知网之前，先在爬虫浏览器登陆知网

共 7 个关于本帖的回复最后回复于 2020-12-10 12:04

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页