网站会根据IP地址定位显示不同的内容，这类网站怎么采？

网站会根据IP地址定位显示不同的内容，这类网站怎么采？我需要全量的数据。

因为集搜客是分布式爬虫，要是能有足够多的电脑，分布在不同的城市，就可以实现这个目标，不过这样似乎成本很高。或者联络一些各地的志愿者。

这个网站是根据什么判断的？根据IP地址还是根据cookie中的设置？如果是cookie设置，这很容易，比如，京东购物，虽然电脑在北京，你选择武汉，它就显示武汉地区的信息

Fuller 发表于 2016-9-23 17:06
因为集搜客是分布式爬虫，要是能有足够多的电脑，分布在不同的城市，就可以实现这个目标，不过这样似乎成本 ...

感谢。这类网站是根据IP地址判断位置http://www.quanyou.com.cn/security.aspx

n201552201004 发表于 2016-9-26 09:35
感谢。这类网站是根据IP地址判断位置http://www.quanyou.com.cn/security.aspx

这种还真不好对付，只有启用众爬功能了，联络全国各地的用户一起爬

http://www.quanyou.com.cn/security.aspx?Province=广西省&City=北海市
我刚刚发现的,直接在地址页加上省份和区市节能跳转到相应内容，。这种情况能用什么规则批量采集吗？

n201552201004 发表于 2016-9-26 10:34
http://www.quanyou.com.cn/security.aspx?Province=广西省&City=北海市
我刚刚发现的,直接在地址页加上省 ...

这样就很好做了，在excel中把所有网址构造出来，在会员中心找到这个主题，把网址一批导入进去，启动爬虫逐页抓取即可

会员中心的这个批量导入线索功能需要付费吗?我怎么没有找到这个功能？

n201552201004 发表于 2016-9-26 14:53
会员中心的这个批量导入线索功能需要付费吗?我怎么没有找到这个功能？

进入会员中心后 点击爬虫管理-规则管理 点击进入需要添加线索的规则

n201552201004 发表于 2016-9-26 14:53
会员中心的这个批量导入线索功能需要付费吗?我怎么没有找到这个功能？

导入线索是免费功能