网页地址过长被截断，有影响吗？

网页地址过长被截断，然后谋数台上显示的页面地址和输入的地址不一样，这个有关系吗？

这里提示的被截断的网页地址是做描述用的不影响实际抓取，抓取时的线索是样本页面的地址是浏览器网址栏处的链接。所以页面地址被截断不影响抓取。

wangyong 发表于 2016-8-25 18:19
这里提示的被截断的网页地址是做描述用的不影响实际抓取，抓取时的线索是样本页面的地址是浏览器网址栏处的 ...

但是要考虑一种情况：假设有两个网址A和B，他们前250个字符完全一样，区别是在后面，那么，就有影响了，添加线索的时候只保留最后一个。因为程序只判断前250个字符。这个时候，你需要先把网址导入生成短网址的服务中（网络上有这种服务），让用这些短网址添加线索