爬虫群老是报错啊

joanne

每隔一段时间就出现 service is too busy
日志里面失败的很多很多啊
我看了一下规则没问题也加了定时器并没有改善
失败的网址是这个 http://guba.eastmoney.com/default_64743.html
麻烦帮我看看吧
我爬个数据遇到各种麻烦真的很心累

Fuller · 发表于 2017-7-18 07:21:25

是不是网页上显示出来的？在哪里看到的？报错日志里没有显示这条信息吧？日志里显示的什么内容？截个图，用高级模式，贴在这里。

joanne · 发表于 2017-7-18 07:25:27

其中一个打数机这样已经出错好几个小时了
另外八个打数机的情况也一样
简直要崩溃

joanne · 发表于 2017-7-18 07:26:01

Fuller 发表于 2017-7-18 07:21
是不是网页上显示出来的？在哪里看到的？报错日志里没有显示这条信息吧？日志里显示的什么内容？截个图，用 ...

我把日志截图发上来了

joanne · 发表于 2017-7-18 07:27:21

Fuller 发表于 2017-7-18 07:21
是不是网页上显示出来的？在哪里看到的？报错日志里没有显示这条信息吧？日志里显示的什么内容？截个图，用 ...

你们qq的技术人员说给你线索号没用要给你网址我才给你网址的

joanne · 发表于 2017-7-18 07:28:05

Fuller 发表于 2017-7-18 07:21
是不是网页上显示出来的？在哪里看到的？报错日志里没有显示这条信息吧？日志里显示的什么内容？截个图，用 ...

你们qq的技术人员说给你线索号你们加载不出来要我给你失败线索的网址

Fuller · 发表于 2017-7-18 07:38:19

“service is too busy “，这条信息是在网页上显示出来的？

joanne · 发表于 2017-7-18 07:41:03

Fuller 发表于 2017-7-18 07:38
“service is too busy “，这条信息是在网页上显示出来的？

server is too busy 是网页显示出来的整个网页变空白然后只剩这行字

joanne · 发表于 2017-7-18 07:42:11

图片是这样

Fuller · 发表于 2017-7-18 07:47:39

网站可能把你屏蔽了。清cookies，最好也换一下IP。爬一个网站的时候，一台机器最多开5个爬虫。太多了，网站很容易察觉，封锁你。清cookies的操作如图所示：

共 18 个关于本帖的回复最后回复于 2017-7-18 09:05

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页