我有很多网站每个网站的结构不同现在想通过关键字采集出来网站所有的A标签里面的内容

docker_bhl

我有很多网站每个网站的结构不同现在想通过关键字采集出来网站所有的A标签里面的内容有什么有好的办法吗

Fuller · 发表于 2018-3-20 18:53:09

你的意思是：在一个网页上，用关键字去匹配每个超链接的文本，如果含有关键字，就要这个超链接的网址。是这个意思吗？

Fuller · 发表于 2018-3-20 18:53:19

有没有具体的网页的例子？

docker_bhl · 发表于 2018-3-21 08:54:08

如有含这些关键字就要这个超链接，而且网站很多，最终的结果都是要最后的链接，不想建好多规则完了事后再一个一个去下载这样工作量太大了有没有好的办法。基本都是列表页但是页面的结构都不一样

Fuller · 发表于 2018-3-21 11:35:43

docker_bhl 发表于 2018-3-21 08:54
如有含这些关键字就要这个超链接，而且网站很多，最终的结果都是要最后的链接，不想建好多规则完了事后再 ...

可以建立一个通用规则，用网页的body节点做内容映射，就能把整个网页文本采集下来。

但是，一定要一页页下载以后再去匹配有没有关键词，下载工作省不了

docker_bhl · 发表于 2018-3-21 13:11:41

就是说匹配关键字是在excel里面去操作是么。。

docker_bhl · 发表于 2018-3-21 13:17:24

那通用规则分页怎么办可以通用么

maomao · 发表于 2018-3-21 14:33:17

docker_bhl 发表于 2018-3-21 13:17
那通用规则分页怎么办可以通用么

做内容映射时，使用html.body节点，所有网页都有这个节点，所以是最通用的

共 7 个关于本帖的回复最后回复于 2018-3-21 14:33

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页