请问一下该软件是否可以实现 抓取一个网站下所有链接的文本

请问一下该软件是否可以实现 抓取一个网站下所有链接的文本

可以采集 不过得先有全部链接

扶风 发表于 2017-4-18 16:35
可以采集 不过得先有全部链接

有了全部链接就可以进行采集

该软件可以做到所有链接的采集吗？

shengchengx 发表于 2017-4-18 16:39
该软件可以做到所有链接的采集吗？

可以采集 不过得先有全部链接
比如淘宝搜索 可以看到100页商品 那就能采到前100页的链接 再进去采详情
对于超过100页的商品 你找不到链接 爬虫就采不到
爬虫不能自动帮你找到某一网站的全部链接

扶风 发表于 2017-4-18 16:42
可以采集 不过得先有全部链接
比如淘宝搜索 可以看到100页商品 那就能采到前100页的链接 再进去采详情
对 ...

假设我有几百个网站，现在想要根据二十多个关键词 抓取出这些网站所有包含这些关键词的所有链接 可以做到吗？

shengchengx 发表于 2017-4-18 16:43
假设我有几百个网站，现在想要根据二十多个关键词 抓取出这些网站所有包含这些关键词的所有链接 可以做到 ...

网站自己支持搜索找到这些链接 我们就能采集
如果不能搜索 我们就采不到

扶风 发表于 2017-4-18 16:44
网站自己支持搜索找到这些链接 我们就能采集
如果不能搜索 我们就采不到
...

好的，我明白了 谢谢你

如果是为了拷站，应该选择专门的拷站软件。集搜客网络爬虫也能像拷站软件那样运转，只需定义通用的采集规则，即采集整个html文档，而不用按字段采集，同时把html文档中的所有超链接都采集下来，作为下层循环的网址。

如果在爬虫路线工作台上定义样式线索，还可以根据网址的url字串的样式，分别指定不同的下层处理