昨天在携程网上抓取了五个小时左右的数据,今天再抓数据的时候就已经限制访问了,这个怎么处理?
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2016-5-26 10:49

沙发
ym 版主 发表于 2016-5-26 09:41:11 | 只看该作者
本帖最后由 ym 于 2016-5-31 11:25 编辑

应该是携程的反爬虫措施,你现在已经被限制访问的情况下,建议换个ip,如果是adsl宽带拨号上网的方式,重新拨号就行,如果是光纤上网,就重启路由器,
方法a. 将路由器的电源关掉然后重新打开,也就是重启一下路由器后的外网ip地址就换了。
方法b. 需要登陆路由器的web管理界面(当然前提是有帐号密码,一般默认是admin),然后断开当前外网的连接,再重新连接上网络后的外网ip即可成功更换。

并且要每天清理一遍浏览器的cookies,可以降低封ip的风险,操作参考http://www.gooseeker.com/doc/thread-1872-1-1.html
举报 使用道具
板凳
xiaojianyang 初级会员 发表于 2016-5-26 09:47:45 | 只看该作者
ym 发表于 2016-5-26 09:41
应该是携程的反爬虫措施,你现在已经被限制访问的情况下,建议换个ip,如果是adsl宽带拨号上网的方式,重新 ...

我正常用浏览器可以上,但是用打数机上不了。
举报 使用道具
地板
Fuller 管理员 发表于 2016-5-26 10:08:33 | 只看该作者
xiaojianyang 发表于 2016-5-26 09:47
我正常用浏览器可以上,但是用打数机上不了。

携程网,艺龙网 都是有严格的流量控制。
换IP以后还要记得清cookie,另外,DS打数机只能运行一个窗口,不用同时运行两个,一定要在翻页和多个线索之间加入停顿时间。

1,你的抓取规则是抓机票还是酒店?
2,是翻页抓取还是抓酒店详情?
举报 使用道具
5#
xiaojianyang 初级会员 发表于 2016-5-26 10:10:47 | 只看该作者
Fuller 发表于 2016-5-26 10:08
携程网,艺龙网 都是有严格的流量控制。
换IP以后还要记得清cookie,另外,DS打数机只能运行一个窗口,不 ...

抓取的是机票
举报 使用道具
6#
Fuller 管理员 发表于 2016-5-26 10:49:52 | 只看该作者

机票最麻烦了,因为这些网站是要花钱的,每次点击可能造成支出。携程已经不错了,封锁不严,因为他的缓存时间比较长,要是采集艺龙,就更麻烦了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 16:07