昨天做了一个两级抓取,第一次运行良好,第二次发现没数据了。

昨天做了一个两级抓取,第一次运行良好,第二次发现没数据了。

我第一次抓取之后发现值不对,后来修改然后上传,再次运行发现抓不到数据了。
请问线索被抓取过后,是不是不会再抓取?我要进行多次调试抓取怎么办?
MetaSeeker的动态调试能力弱了点。

Fuller,怎么不建个群,这样讨论方便很多,可以聚集人气。上Q就可以讨论。你说呢?

通常是增量抓取

参看周期性调度文件里面有updateClue和updateRatio,用来控制增量抓取,另外,renewClue是用于激活以前抓取过的线索

有网友建立了QQ群(参看gooseeker首页上面的用户发布的消息),网友之间的自助式交流学习。如果有紧紧需要我们技术人员解答的问题,可以直接发送email

您说的动态调试能力是指什么?希望您能够详细说明,我们愿意持续改进。

不好意思,可能是我

不好意思,可能是我没表述好。我说的动态调试能力是指:当脚本都设置好了,要进行运行了,在运行的过程中的一些调试数据用户好像知道的不多。例如,我用dataScraper进行抓取数据的时候,整个抓取过程不是太直观。反正我是不知道抓了哪些数据,抓对了还是抓错了,要看具体数据才知道。

在线版只可以看故障告警

DataScraper下部输出在线日志,在.datascraper/datascraper.log.txt中记录历史日志。

直观的性能统计只有企业版有,能够监测总线索数、失败数、平均下载速度、最慢网站、最快网站等等。也许以后会将这些功能移植到在线版上。

那个QQ群实效了,fuller

那个QQ群实效了,fuller你建一个吧。144346213 这个群实效了。