新浪微博_博主主页采集

我新发布了一个采集规则:
新浪微博_博主主页采集

详细信息:
本规则采集博主主页的博文信息，可以批量采集微博网址的数据，只需把同类网址导入到规则即可，具体使用方法请参考教程http://www.gooseeker.com/doc/article-85-1.html 。
【注意：采集前要设置DS打数机的配置菜单->滚屏参数，滚屏次数为15或以上，滚屏速度为2，具体参数含义请看http://www.gooseeker.com/doc/article-57-21.html】

希望大家喜欢！下载地址: http://www.gooseeker.com/res/detail_112862.html

好用。

好用，不错

以前用的时候很好用，隔一段时间就不知道为什么跑一段就报错，然后存不到电脑里

fishhaichun 发表于 2017-6-5 20:53
以前用的时候很好用，隔一段时间就不知道为什么跑一段就报错，然后存不到电脑里 ...

微博登录了吗？报错内容是什么？

Fuller 发表于 2017-6-5 22:02
微博登录了吗？报错内容是什么？

感谢回复，微博确认是登录状态的，大概4月份以后吧我试过几次都不成功
我现在马上再跑一次将报错信息发给你，请给我点建议吧。

Fuller 发表于 2017-6-5 22:02
微博登录了吗？报错内容是什么？

以下就是报错信息，我又试了几次，博主主页采集还是没有成功，单搜或群搜都有通过打数机浏览博主主页的过程，虽然时间很短
我同时还在试着用关键字搜索的工具，那个就会很正常的浏览翻页然后存入DataScraperWorks的文档下，
然而，博主主页就只有这个报错的log了，请帮我看看到底是什么问题，太感谢了。

2017-06-05 22:08:32 FileHandler RemoveCloseWindowMark WARN: Fail to find .metaseeker
2017-06-05 22:08:32 DataScraperEngine CloseEngineExternal WARN: Closing the engine, which is initiated from the external
2017-06-06 16:48:44 ValidateDelayedPage:Run 新浪微博_博主主页46221 ERROR: Timeout to load the page
2017-06-06 16:48:44 ExtractWebNodeData_Simp:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:48:44 SaveFile_Simp:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:48:44 ExtractSpiderClue_Simp:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:48:45 PushStack:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:48:45 CleanWorksBucket:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:48:46 FetchSpiderClue flushLastModified WARN: lastmodified is expected
2017-06-06 16:51:12 DataScraperEngine CrawlForTheme WARN: Transfer state from 18 to STATE_CRAWL_COUNTED.
2017-06-06 16:52:27 ValidateDelayedPage:Run 新浪微博_博主主页46221 ERROR: Timeout to load the page
2017-06-06 16:52:27 ExtractWebNodeData_Simp:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:52:27 SaveFile_Simp:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:52:27 ExtractSpiderClue_Simp:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:52:28 PushStack:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:52:28 CleanWorksBucket:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:52:29 FetchSpiderClue flushLastModified WARN: lastmodified is expected
2017-06-06 16:54:36 DataScraperEngine CrawlForTheme WARN: Transfer state from 18 to STATE_CRAWL_COUNTED.
2017-06-06 16:55:56 ValidateDelayedPage:Run 新浪微博_博主主页46221 ERROR: Timeout to load the page
2017-06-06 16:55:56 ExtractWebNodeData_Simp:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:55:56 SaveFile_Simp:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:55:56 ExtractSpiderClue_Simp:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:55:57 PushStack:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:56:03 CleanWorksBucket:Run 新浪微博_博主主页46221 WARN: Encounter processor error. The processor is skipped. PipeLineState : 54
2017-06-06 16:56:04 FetchSpiderClue flushLastModified WARN: lastmodified is expected
2017-06-06 16:58:12 DataScraperEngine CrawlForTheme WARN: Transfer state from 18 to STATE_CRAWL_COUNTED.
2017-06-06 17:04:36 DataScraperEngine CloseEngineExternal WARN: Closing the engine, which is initiated from the external
2017-06-06 17:10:25 DataScraperEngine CloseEngineExternal WARN: Closing the engine, which is initiated from the external

fishhaichun 发表于 2017-6-6 16:15
以下就是报错信息，我又试了几次，博主主页采集还是没有成功，单搜或群搜都有通过打数机浏览博主主页的过 ...

你能看到DS打数机的浏览器加载了网页？

看这个日志，是采集超时了，如果网页能看到显示出来了，那么就是规则有问题了。我让技术人员检查一下

Fuller 发表于 2017-6-6 18:30
你能看到DS打数机的浏览器加载了网页？

看这个日志，是采集超时了，如果网页能看到显示出来了，那么就是 ...

谢谢您每次这么快就回复。
是的，我每次都能看到打数机的浏览器加载网页，但是基本上翻到第二页的时间就会自动中断，
等待技术支持

fishhaichun 发表于 2017-6-6 22:37
谢谢您每次这么快就回复。
是的，我每次都能看到打数机的浏览器加载网页，但是基本上翻到第二页的时间就 ...

测试了一下, 抓取正常
你抓取有问题的网址是什么?