集搜客GooSeeker网络爬虫

标题: 微博爬虫问题 [打印本页]

作者: yanland 时间: 2016-9-9 16:41
标题: 微博爬虫问题
求问爬url时只能爬到短url，真实的url还需要在前面加个weibo.com 怎么破

作者: ym 时间: 2016-9-9 17:02
网站本来就是用的相对网址，抓下来就是相对网址，如果想要抓下来是完整的网址，需要对它自定义xpath补全域名，参考自定义xpath教程http://www.gooseeker.com/doc/thread-701-1-1.html

另外，对它设置下级线索，那么给下级规则生成线索时会自动补全域名的，是不会影响采集的，下级规则是打开正确的网页来采数据的。

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)