这个网站采集需要登录,但是每隔一小时就需要重新登录一次,请问怎么解决?
规则名:cesmd3-1
网址:https://www.strongmotioncenter.o ... on&Processed=on
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2021-4-20 16:36

Fuller 管理员 发表于 2021-4-15 22:03:08 | 显示全部楼层
登录问题爬虫没法解决,可以每隔一小时在爬虫浏览器中人工登录一下
举报 使用道具
18443172656 中级会员 发表于 2021-4-15 22:08:00 | 显示全部楼层
主要是我待采集量很大,3万多条,人工登录太麻烦
举报 使用道具
18443172656 中级会员 发表于 2021-4-18 21:30:48 | 显示全部楼层
Fuller 发表于 2021-4-15 22:03
登录问题爬虫没法解决,可以每隔一小时在爬虫浏览器中人工登录一下

我可不可以设置一个规则(用来登录),然后每小时运行一次?
举报 使用道具
Fuller 管理员 发表于 2021-4-18 21:39:25 | 显示全部楼层
18443172656 发表于 2021-4-18 21:30
我可不可以设置一个规则(用来登录),然后每小时运行一次?

如果登录过程不需要输入验证码,只是输入账号和密码,可以做一个规则。

旗舰版可以在会员中心设置自动调度周期1小时,还可以用本地调度,可以把时间控制的更细。本地调度需要编辑一个crontab.xml文件,具体参看:https://www.gooseeker.com/doc/article-112-1.html
举报 使用道具
18443172656 中级会员 发表于 2021-4-20 11:53:22 | 显示全部楼层
Fuller 发表于 2021-4-18 21:39
如果登录过程不需要输入验证码,只是输入账号和密码,可以做一个规则。

旗舰版可以在会员中心设置自动调 ...

有自动设置周期的教程吗

举报 使用道具
Fuller 管理员 发表于 2021-4-20 16:36:13 | 显示全部楼层
18443172656 发表于 2021-4-20 11:53
有自动设置周期的教程吗

调度20210420163421.png

在会员中心选中一个任务,点击“调度设置”,打开周期设置,你是旗舰版,最小时间粒度应该是小时。可以选择“到时间立即执行”,那么就可以每小时执行一次这个任务
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 18:26