出现404，是我哪里弄错了吗

应该是采集得太频繁被对方网站封锁了 在浏览器还能访问那个网站吗？

HJLing 发表于 2016-10-9 17:26
应该是采集得太频繁被对方网站封锁了 在浏览器还能访问那个网站吗？

在360上能啊，而且我原来没采集过这个网站，这个浏览器也能访问啊~

遇到404以后，DS打数机会报超时错误，会显示在DS打数机下部的日志窗口中，记下来线索编号，来到MS谋数台，选择菜单 工具-》加载规则-》按线索号，把线索号输入以后会分析这个网页。

看看这个网页是否能显示出来。把MS谋数台中的地址输入栏中的网址拷贝出来，放在别的浏览器看能否加载。

这个网址是你导入进去的？还是通过层级抓取生成的？

被封锁虽然有可能，但是也不会很轻易就出现，大部分情况下是网址不合适，可以把规则名贴出来我们分析一下

Fuller 发表于 2016-10-9 18:58
被封锁虽然有可能，但是也不会很轻易就出现，大部分情况下是网址不合适，可以把规则名贴出来我们分析一下 ...

规则名是淮南办公室详情，上面出现了乱码，我估计是我自己没设置好，但是一直没找到原因。谢谢了~

有正事的小青年 发表于 2016-11-29 14:59
规则名是淮南办公室详情，上面出现了乱码，我估计是我自己没设置好，但是一直没找到原因。谢谢了~
...

我测试了，这个规则做的很好，可能是抓取的时候，网站反应不过来，就出现404，把抓取速度放慢。

Fuller 发表于 2016-11-29 18:29
我测试了，这个规则做的很好，可能是抓取的时候，网站反应不过来，就出现404，把抓取速度放慢。
...

但是会不会跟他的上级线索有关系呢，上级线索设置错了，导致找不到网页呢？上一级是淮南办公室列表。

有正事的小青年 发表于 2016-11-30 09:16
但是会不会跟他的上级线索有关系呢，上级线索设置错了，导致找不到网页呢？上一级是淮南办 ...

线索设置没有问题，应该是二级网页加载比较慢，你放慢采集速度就可以了

ym 发表于 2016-11-30 11:00
线索设置没有问题，应该是二级网页加载比较慢，你放慢采集速度就可以了

...

找到原因了，不是因为加载慢，（上面出现了乱码，那个乱码翻译过来是一个文字标题，所以不是加载慢）有一次我规则写错了，咱们浏览器不有个记录规则的地方吗，总激活不是从网上激活吗，把那个线索删掉就恢复正常了。谢谢大家~