http://47.104.58.103:8889/notice/result?meth=list&type=001,这是要抓取的网址。我用的@onclick作为下级网址的抓取链接,结果最终抓取失败。请问怎么找到@href,然后成功的实现层级抓取

TIM图片20200319170708.png (98.1 KB, 下载次数: 453)

TIM图片20200319170708.png
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2020-3-26 16:16

沙发
ym 版主 发表于 2020-3-19 17:35:24 | 只看该作者
这个网页里每一个标题是没有网址的,@onclick是点击事件
举报 使用道具
板凳
ym 版主 发表于 2020-3-19 17:37:28 | 只看该作者
不过这个@onclick里有详情页面的id值,可以把@onclick采集下来,导出数据表后构造详情页的网址,再把详情网址手工添加到采集详情页面的规则里。构造网址的操作参看《如何构造网址》
举报 使用道具
地板
ym 版主 发表于 2020-3-19 17:42:02 | 只看该作者
本帖最后由 ym 于 2020-3-19 17:47 编辑

举个例子,第一条标题的@onclick值是toContent('3eb387f9d9214773aa513676db1b42be')

要把单引号之间的id值提取出来  3eb387f9d9214773aa513676db1b42be
前面拼接上域名部分  http://47.104.58.103:8889/notice/result?meth=content&content=
就可以得到如下的详情页面完整网址:
http://47.104.58.103:8889/notice ... 773aa513676db1b42be
举报 使用道具
5#
ttxs0918 新手上路 发表于 2020-3-22 21:21:40 | 只看该作者
ym 发表于 2020-3-19 17:42
举个例子,第一条标题的@onclick值是toContent('3eb387f9d9214773aa513676db1b42be')

要把单引号之间的id ...

你好,能不能录个小视频,我参照做一下,第一个是不会提取网址,就是括号部分,第二个不会构造网址。看了下说明,感觉自己做还是有困难。
举报 使用道具
6#
ttxs0918 新手上路 发表于 2020-3-26 13:48:41 | 只看该作者
ttxs0918 发表于 2020-3-22 21:21
你好,能不能录个小视频,我参照做一下,第一个是不会提取网址,就是括号部分,第二个不会构造网址。看了 ...

请问怎么把单引号之间的id值提取出来  3eb387f9d9214773aa513676db1b42be
举报 使用道具
7#
ttxs0918 新手上路 发表于 2020-3-26 13:50:07 | 只看该作者
ym 发表于 2020-3-19 17:42
举个例子,第一条标题的@onclick值是toContent('3eb387f9d9214773aa513676db1b42be')

要把单引号之间的id ...

请问怎么把单引号之间的id值提取出来  3eb387f9d9214773aa513676db1b42be
举报 使用道具
8#
ym 版主 发表于 2020-3-26 14:22:52 | 只看该作者
1、采集完成后,到会员中心导入xml结果文件,导出excel表数据,参考教程《xml转为excel》
2、用excel的数据分列功能,把单引号作为标志进行分列,就能提取出id了;
举报 使用道具
9#
ttxs0918 新手上路 发表于 2020-3-26 16:12:39 | 只看该作者
ym 发表于 2020-3-26 14:22
1、采集完成后,到会员中心导入xml结果文件,导出excel表数据,参考教程《xml转为excel》;
2、用excel的数 ...

嗯呢,Excel我用的比较遛,这个没问题,那把这俩拼在一起,用集搜客的什么功能。
举报 使用道具
10#
ttxs0918 新手上路 发表于 2020-3-26 16:16:40 | 只看该作者
ttxs0918 发表于 2020-3-26 16:12
嗯呢,Excel我用的比较遛,这个没问题,那把这俩拼在一起,用集搜客的什么功能。
...

,找到了,谢谢。我批量添加就行了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 03:24