集搜客GooSeeker网络爬虫

标题: 请问一个网页中只能显示部分评论需要抓取全部评论怎么做 [打印本页]

作者: TonyJiang 时间: 2016-9-26 15:23
标题: 请问一个网页中只能显示部分评论需要抓取全部评论怎么做
如题

作者: quyixuan 时间: 2016-9-26 15:23
找到显示全部评论的页面再做规则

作者: TonyJiang 时间: 2016-9-26 15:23

quyixuan 发表于 2016-9-26 15:23
找到显示全部评论的页面再做规则

这样的话全部评论的规则就独立出来了我做层级抓取最后要抓取多个网页里面的评论。
有什么方法就像下级线索那样的方法可以把两个网页建立联系。

作者: quyixuan 时间: 2016-9-26 15:24

TonyJiang 发表于 2016-9-26 15:23
这样的话全部评论的规则就独立出来了我做层级抓取最后要抓取多个网页里面的评论。
有什么方法 ...

通常会有全部评论的链接，可以对它设置下级线索，或者是查看更多之类的标志，对它设置连续动作

作者: TonyJiang 时间: 2016-9-26 15:24

quyixuan 发表于 2016-9-26 15:24
通常会有全部评论的链接，可以对它设置下级线索，或者是查看更多之类的标志，对它设置连续动作
...

谢谢

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)