京东商品价格在gooseeker浏览器中需求书验证码问题？

     
  你好，我在采集京东电子书信息，采集电子书信息时设置了纸质书地址作为下一级线索。在采集电子书信息时没有任何问题。
但在采集下一级线索纸质书时，价格不出现，总是显示暂无报价，打开页面时提示输入验证码。我在正常的浏览器中输入地址可以正常显示，但在你们的gooseeker或ms谋数台中打开均是提示输入验证码，不显示价格。请问怎么解决？

  我清理了一些cookie  好像又可以了

yybpana 发表于 2017-5-26 10:30
我清理了一些cookie  好像又可以了

这是遇到反爬了，应对反爬有很多方法，包括你说的清理cookie，还有换IP，具体参看《怎样应对反爬》。

一般来说，应该把爬虫任务分散到多台电脑上，每个IP发出的网页点击请求数量要限制住，不要激发目标网站的反爬机制。

使用ADSL和光纤等动态IP的线路很有效，万一被封锁了就重新启动光猫，就会换IP

对于京东，我发现定时清理cookie就可以了，几万页面刷下来也没问题。谢谢您的回复。