怎么爬取百度搜索关键词之后的各结果的网址

Lucky嗨嗨

bowieD · 发表于 2017-9-14 09:18:51

用连续点击动作
1，第一规则中定义输入和点击动作，去输入关键词和点击搜索。
2，第二级规则把搜索出来的结果的网址做内容映射和样例复制，就能抓取百度搜索关键词之后的各结果的网址《连续动作：自动搜索关键词采集信息》

Lucky嗨嗨 · 发表于 2017-9-14 18:40:40

我想问您一下，我在定义二级规则的时候怎么抓取网址？

Lucky嗨嗨 · 发表于 2017-9-14 18:42:51

我就是不明白怎么抓取网页的网址！抓取的网址要么与原网址不一致、要么就没有！

Fuller · 发表于 2017-9-14 18:48:07

百度搜索结果中的网址是百度自己做了编码的，如果你想要原始网址，必须做一个两层抓取，第一层把编了码的网址抓下来，产生第二层线索，抓第二层时，网址会做一次跳转，DS打数机能把跳转前和跳转后的网址都记录下来

Lucky嗨嗨 · 发表于 2017-9-14 21:55:11

本帖最后由 Lucky嗨嗨于 2017-9-15 00:12 编辑

Fuller 发表于 2017-9-14 18:48
百度搜索结果中的网址是百度自己做了编码的，如果你想要原始网址，必须做一个两层抓取，第一层把编了码的网 ...

非常感谢你、我试着做一下、遇到具体问题给您发截图可以吗？

我做了一下，发现了问题：您好、我想问下第二层抓取具体怎么设置规则啊？还是抓取网址吗？还是不太明白、另外第一层抓取的时候不能抓取全部搜索结果的网址，比如搜索出是个结果，应该抓到十个网址，但是最后只抓到七个网址、这是为什么啊？

Lucky嗨嗨 · 发表于 2017-9-15 00:04:03

Fuller 发表于 2017-9-14 18:48
百度搜索结果中的网址是百度自己做了编码的，如果你想要原始网址，必须做一个两层抓取，第一层把编了码的网 ...

第二层的时候应该怎么设置规则？具体怎么做啊？不同明白、而且第一层抓取网址时为什么只能抓取部分结果的网址、比如十个搜索结果只能抓到7个结果的网址

Lucky嗨嗨 · 发表于 2017-9-15 00:11:29

Fuller 发表于 2017-9-14 18:48
百度搜索结果中的网址是百度自己做了编码的，如果你想要原始网址，必须做一个两层抓取，第一层把编了码的网 ...

您好、我想问下第二层抓取具体怎么设置规则啊？还是抓取网址吗？还是不太明白、另外第一层抓取的时候不能抓取全部搜索结果的网址，比如搜索出是个结果，应该抓到十个网址，但是最后只抓到七个网址、这是为什么啊？

Lucky嗨嗨 · 发表于 2017-9-15 00:11:46

您好、我想问下第二层抓取具体怎么设置规则啊？还是抓取网址吗？还是不太明白、另外第一层抓取的时候不能抓取全部搜索结果的网址，比如搜索出是个结果，应该抓到十个网址，但是最后只抓到七个网址、这是为什么啊？

Lucky嗨嗨 · 发表于 2017-9-15 00:13:45

Fuller 发表于 2017-9-14 18:48
百度搜索结果中的网址是百度自己做了编码的，如果你想要原始网址，必须做一个两层抓取，第一层把编了码的网 ...

您好、我想问下第二层抓取具体怎么设置规则啊？还是抓取网址吗？还是不太明白、另外第一层抓取的时候不能抓取全部搜索结果的网址，比如搜索出是个结果，应该抓到十个网址，但是最后只抓到七个网址、这是为什么啊？

共 18 个关于本帖的回复最后回复于 2017-10-11 20:24

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页