本帖最后由 马涌河畔 于 2020-8-16 18:08 编辑

我看快捷采集里有:智联招聘, 前程无忧, 猎聘网, 中华英才网, 拉勾网这几个网站
那能采集BOSS直聘岗位信息吗?比如这个网址:https://www.zhipin.com/job_detai ... industry=&position=



举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2020-8-16 18:02

沙发
shenzhenwan10 金牌会员 发表于 2020-8-16 18:00:40 | 只看该作者
可以的, 用集搜客网络爬虫或者数据管家, 就可以采集。
对于快捷采集没有的网站, 可以自己做采集规则(https://www.gooseeker.com/tuto/tutorial.html)


举报 使用道具
板凳
Fuller 管理员 发表于 2020-8-16 18:02:22 | 只看该作者
刚才我试了一下这个网址,这个网站没有现成的快捷采集,要专门为它定义采集规则。

这个网站可以用爬虫采集,但是,我估计采集量一大,会遇到反爬,刚才我试了一下,就要验证,通过选择某种形状进行验证,这个验证过程会阻碍爬虫的运行。

到底爬多少数据就会出现验证,要实验以后才知道。然后就调低爬虫的速度,不要触发反爬。如果需要爬比较大的量,就部署很多爬虫电脑,每个爬一部分
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-11 10:41