集搜客GooSeeker网络爬虫

标题: 网页地址过长被截断，有影响吗？ [打印本页]

作者: AnswerDSL 时间: 2016-8-25 18:03
标题: 网页地址过长被截断，有影响吗？
[attach]1357[/attach][attach]1358[/attach]
网页地址过长被截断，然后谋数台上显示的页面地址和输入的地址不一样，这个有关系吗？

作者: wangyong 时间: 2016-8-25 18:19
这里提示的被截断的网页地址是做描述用的不影响实际抓取，抓取时的线索是样本页面的地址是浏览器网址栏处的链接。所以页面地址被截断不影响抓取。

作者: Fuller 时间: 2016-8-25 19:10

wangyong 发表于 2016-8-25 18:19
这里提示的被截断的网页地址是做描述用的不影响实际抓取，抓取时的线索是样本页面的地址是浏览器网址栏处的 ...

但是要考虑一种情况：假设有两个网址A和B，他们前250个字符完全一样，区别是在后面，那么，就有影响了，添加线索的时候只保留最后一个。因为程序只判断前250个字符。这个时候，你需要先把网址导入生成短网址的服务中（网络上有这种服务），让用这些短网址添加线索

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)