在设置规则的时候可不可以在爬取帖子,然后进入该帖子爬评论,再进入下一个帖子,再进该贴爬评论?

举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2019-10-7 17:54

沙发
Fuller 管理员 发表于 2019-10-6 15:28:37 | 只看该作者
要用层级采集,参看:https://www.gooseeker.com/doc/article-343-1.html
规划好要用多少层,然后一层层做规则
举报 使用道具
板凳
Fuller 管理员 发表于 2019-10-6 15:37:29 | 只看该作者
爬取百度贴吧的帖子和评论有现成的快捷工具
举报 使用道具
地板
920238831 新手上路 发表于 2019-10-6 16:08:15 | 只看该作者
Fuller 发表于 2019-10-6 15:37
爬取百度贴吧的帖子和评论有现成的快捷工具

那请问在设置层级的同时如何设置关键字筛选呢?
举报 使用道具
5#
Fuller 管理员 发表于 2019-10-6 19:31:38 | 只看该作者
920238831 发表于 2019-10-6 16:08
那请问在设置层级的同时如何设置关键字筛选呢?

你所说的关键词筛选是要达到什么目的?是要像使用百度搜索那样用关键词进行搜索吗?
举报 使用道具
6#
920238831 新手上路 发表于 2019-10-7 09:50:14 | 只看该作者
Fuller 发表于 2019-10-6 19:31
你所说的关键词筛选是要达到什么目的?是要像使用百度搜索那样用关键词进行搜索吗?
...

是的
举报 使用道具
7#
Fuller 管理员 发表于 2019-10-7 09:59:13 | 只看该作者

在百度贴吧里面手工做一次搜索,你会看到网址中含有搜索的关键词,所以,想搜其他关键词的话,就把关键词替换到网址中。这样可以构造出很多网址,交给爬虫去爬
举报 使用道具
8#
920238831 新手上路 发表于 2019-10-7 10:41:57 | 只看该作者
Fuller 发表于 2019-10-7 09:59
在百度贴吧里面手工做一次搜索,你会看到网址中含有搜索的关键词,所以,想搜其他关键词的话,就把关键词 ...

不是,我是想在搜关于帖子,或者评论的关键词

举报 使用道具
9#
Fuller 管理员 发表于 2019-10-7 11:05:33 | 只看该作者
920238831 发表于 2019-10-7 10:41
不是,我是想在搜关于帖子,或者评论的关键词

举个例子吧,发个网址出来看看
举报 使用道具
10#
920238831 新手上路 发表于 2019-10-7 11:27:33 | 只看该作者
我现在想自己设置层级的同时加入关键字筛选,比如说这个网页http://tieba.baidu.com/f?ie=utf-8&kw=%E5%8F%8C%E7%9C%BC%E7%9A%AE&fr=search爬了帖子标题有关键字“双眼皮”,然后进入该帖子爬评论区里有关键字“双眼皮”的评论。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 16:38