快捷导航
规则名:微博_热门1,微博_热门2,微博_热门3,麻烦帮我看一下关联的是否正确,怎么第一个规则爬取的时候没反应。
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2018-10-11 19:47

Fuller 管理员 发表于 2018-10-10 17:08:12 | 显示全部楼层
没有看到 微博_热门3 与前面规则的关系。

一般不这样采集的,全部用连续动作,中间万一断了就失败了。应该用层级采集
第一级采集微博列表,同时采集到每个微博的地址
第二级进入每个微博,采集评论,翻页采集
举报 使用道具
zhenghy 中级会员 发表于 2018-10-10 17:59:52 | 显示全部楼层
第一级怎么采集微博的地址,它是点击评论,再点击‘查看更多’才能进入评论,有的评论少的就没有'查看更多'
举报 使用道具
Fuller 管理员 发表于 2018-10-10 18:20:18 | 显示全部楼层
zhenghy 发表于 2018-10-10 17:59
第一级怎么采集微博的地址,它是点击评论,再点击‘查看更多’才能进入评论,有的评论少的就没有'查看更多' ...

第一级采集微博列表,每条微博的发布时间是一个超链接,那个就是微博详情页网址,把这个网址采集下来,作为第二级的线索。具体参看:https://www.gooseeker.com/doc/article-343-1.html

第二级就是微博详情页,一旦打开,其实下面显示的就是评论,你在这级直接定义采集评论的规则就行,再定义翻页,翻页不要用连续动作,用这个:https://www.gooseeker.com/doc/article-334-1.html
举报 使用道具
zhenghy 中级会员 发表于 2018-10-11 13:52:49 | 显示全部楼层
你好,我已经改过来了,但是效果不行,麻烦你帮我再看一下,规则名‘微博_热门1’,怎么爬取几秒就不爬了,而且爬取的几个文件一样
举报 使用道具
zhenghy 中级会员 发表于 2018-10-11 16:52:47 | 显示全部楼层
有人吗
举报 使用道具
Fuller 管理员 发表于 2018-10-11 18:35:05 | 显示全部楼层
举报 使用道具
zhenghy 中级会员 发表于 2018-10-11 19:19:19 | 显示全部楼层
滚动一会出现查看更多怎么搞
举报 使用道具
Fuller 管理员 发表于 2018-10-11 19:47:36 | 显示全部楼层
zhenghy 发表于 2018-10-11 19:19
滚动一会出现查看更多怎么搞

“查看更多”跟“下一页”一样
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • windows高清屏幕显示模糊的解决方法
  • 修改和找回密码——微信登录集搜客GooSeeke
  • 网络爬虫自动打验证码避免重复打码
  • 大型百货商场会员画像描绘
  • 自动导入导出数据

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-12-11 06:30