集搜客GooSeeker网络爬虫

标题: WAP赶集抓取的标题对应链接与浏览器打开的不一样 [打印本页]

作者: qq719428 时间: 2016-12-5 12:24
标题: WAP赶集抓取的标题对应链接与浏览器打开的不一样
采集赶集网租房信息，租房信息标题对应的链接打开是wap.ganji.com/cs/fang3/1657055428x?pos=1&url=fang3&agent=1&pageSize=10&page=1&tg=1001

但是谋数台对应的herf链接是cs/fang3/1657055428x?pos=1&url=fang3&agent=1&pageSize=10&page=1&tg=1001

每个租房信息抓取的链接都少了 wap.ganji.com/ 怎么解决

作者: scraper 时间: 2016-12-5 14:10
因为href存放的就是相对域名所以采集下来的就是这样如果当做下级线索程序会自动补齐域名不影响

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)