集搜客GooSeeker网络爬虫

标题: 万一集搜客爬虫被目标网站识别，会不会导致本地浏览器访问受限？ [打印本页]

作者: 莫小雪是天才 时间: 2018-2-25 13:57
标题: 万一集搜客爬虫被目标网站识别，会不会导致本地浏览器访问受限？
万一集搜客爬虫软件被目标网站识别，会不会导致本地浏览器访问目标网站受限？以后自己的IP地址访问目标网站都不行了吗？

作者: Fuller 时间: 2018-2-25 15:29
这要看网站的防爬虫策略是什么。首先有一个基本点：如果你所用的IP是固定的，那么被封锁以后可能会较长时间受影响。
比如，公司有一条固定的上网专线，或者是在IDC机房的一台服务器。通常对方网站会封锁一段时间，那么在这段时间内，其他电脑可能都访问不了这个网站了。

所以，尽量采用动态IP，比如，ADSL和光纤入户可以拨号的那种，如果被封锁了，就重新拨一下号。

另外，还有一个要特别注意的：如果要求登录网站才能爬数据，就要相当慎重了，万一账号被永久封号会有多大影响，要提前想好。

总之，运行爬虫的时候，尽量使用动态IP，而且是不用登录的

作者: 莫小雪是天才 时间: 2018-2-25 17:05
好的，谢谢！

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)