今天尝试了一下用集搜窗口同时爬取两个任务,结果发现打数机窗口进行的非常顺利,但是跳到任务管理界面,发现这两个任务的下级任务都只采取到了第一页的内容,并且一直都只有这一点数据,翻页区设置也没有问题,请问这是什么情况啊?求大神解答!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2020-4-21 13:58

沙发
Fuller 管理员 发表于 2020-4-20 23:44:08 | 只看该作者
任务名后缀含有2的是第二级?第二级运行了吗?比如,用集搜、单搜或者爬虫群。如果第二级线索很多,可以用爬虫群,自动运行,就不用手工输入线索数了
举报 使用道具
板凳
Fuller 管理员 发表于 2020-4-20 23:44:53 | 只看该作者
爬虫群的设置方法参看:https://www.gooseeker.com/doc/article-474-1.html
举报 使用道具
地板
Mu_shui_GS2020 初级会员 发表于 2020-4-20 23:50:56 | 只看该作者
Fuller 发表于 2020-4-20 23:44
任务名后缀含有2的是第二级?第二级运行了吗?比如,用集搜、单搜或者爬虫群。如果第二级线索很多,可以用 ...

没有运行第二级,两个爬虫窗口都是第一级,分别是新豆瓣电影数据分析-香港,新豆瓣电影数据分析-台湾,
而且我刚刚又重新打开了一下发现好像不是集搜形式的问题,因为我刚使用单搜搜了一下新豆瓣电影数据分析-香港这一个任务,发现他采集的网址前20条在对应的文件夹下,后面采集的网址全部跑到我之前的一个任务:新豆瓣电影数据分析-中国香港的目录下去了,目前我使用的新豆瓣电影数据分析-香港是由原任务更改名字后得来的,是否因为我没有清除cookies造成的呢?

举报 使用道具
5#
Mu_shui_GS2020 初级会员 发表于 2020-4-21 00:38:35 | 只看该作者
Fuller 发表于 2020-4-20 23:44
任务名后缀含有2的是第二级?第二级运行了吗?比如,用集搜、单搜或者爬虫群。如果第二级线索很多,可以用 ...

含有2的是第二级,但是运行的两个窗口都没有第二级任务。两个窗口分别是:
任务1:新豆瓣电影数据分析-香港
任务2:新豆瓣电影数据分析-台湾

另外,这两个任务运行之后我观察了一下发现,他的网址采集并不是只采了第一页就没有在采集了,而是它所采集的内容不知为何被储存在了我的另一个任务文件目录下了,而且这个任务文件名叫:新豆瓣电影数据分析-中国香港,是新豆瓣电影数据分析-香港改名之前的任务,目前(回复您的回帖之前)已经被我删去,而且在删任务之前,我又做了一次针对任务1的单搜,发现他的数据还是保存在了原任务文件夹下,清除cookies后还是一样,请问这是什么情况?
举报 使用道具
6#
俱乐部 新手上路 发表于 2020-4-21 12:02:57 | 只看该作者
本帖最后由 俱乐部 于 2020-4-21 12:04 编辑

你好,你这里的一级页面是列表结构的吧?那二级页面就是详情页面的,详情页面的线索,是由一级页面抓取下来的。如果二级页面的线索数量一直是20条。看看是不是以下两个原因:
1、一级页面翻页不成功。
2、翻页是成功的,但是线索没有落到二级页面的规则内,需要检查下这个位置的名字是否跟二级页面的名字是一样的。这个目标任务名,就是关联两个规则的关系的。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
7#
Mu_shui_GS2020 初级会员 发表于 2020-4-21 13:58:42 | 只看该作者
俱乐部 发表于 2020-4-21 12:02
你好,你这里的一级页面是列表结构的吧?那二级页面就是详情页面的,详情页面的线索,是由一级页面抓取下来 ...

好的,谢谢你。一级页面翻页是成功的,第一页的数据也是采集到了,然后其他页的数据就跑到了别的文件夹里,后来我也几次改过目标任务名,开始几次都不行,然后我就重启了几次电脑,然后重新登陆的集搜客,又删了cookies,试了几遍之后终于成功了,现在已经可以采集并且采集完成了,谢谢你们哟,感谢!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-5 01:23