新浪微博 总结

题外话:话说在原帖上reply还要经过审批什么的吗?我还是发新贴询问好了...有没有更方便一点的联系方式呢?

确实是新浪微博页面上显示“有1条新微博,点击查看”这样的字样后出现问题 。
因为在尝试中发现:不设置定时器触发的话 到第2页后 能往下滚屏 但是不能继续翻到下一页 状态一直在AGAIN2和AGA_L之间变 线索统计是fetched状态 这个原因我大概是理解了;
所以设置了定时器触发 却发现第一页还没滚屏呢就结束了(总线索1 PLINE 剩余线索0 FIN)似乎是因为虽然DataScraper抓取一个网页都是瞬间完成的,但是在不断往下滚屏的延时过程中定时器触发就结束了的样子? 不知能否设置定时器时间呢?
使用了延长积极模式 首选项中线索定位是偏好class || DataScraper中滚屏参数:More Pages:10; Delay Ratio:2 全屏显示 非普通模式
感谢fuller的指导。

以下是原帖:

出现新信息时跳出
Mon, 03/19/2012 - 11:26 — fantasior

新浪微博...发现如果是信息没有更新就一切正常 但是如果在datascraper抓取过程中 如果出现新微博 抓取就会出现问题 基本上下一页就会结束抓取 请问这该如何解决呢?
依旧是新浪微博的翻页问题 ?

Web信息提取

Add new comment

Mon, 03/19/2012 - 17:53 — Fuller
是不是抓取规则不合适

您所说的有信息是指在新浪微博页面上显示“有1条新微博,点击查看”这样的字样吗?DataScraper抓取一个网页都是瞬间完成的,怎么会等到这样的字样出现。

reply

使用了延长模式 积极模式 首选项中线索定位是偏好class || DataScraper中滚屏参数:More Pages:10; Delay Ratio:2 全屏显示 非普通模式
不设置定时器触发的话 到第2页后 能往下滚屏 但是不能继续翻到下一页 状态一直在AGAIN2和AGA_L之间变 线索统计是fetched状态
设置了定时器触发的话 第一页还没滚屏呢就结束了(总线索1 PLINE 剩余线索0 FIN)..... 这是怎么回事?要在哪设置定时器的时间什么的吗?

回帖功能打开了

有很多人发送一些广告贴,所以,前段时间将回帖功能关掉了,刚才已经打开了。

要解决您的问题,首先尝试选择合适的FreeFormat,以提高抓取规则的适用性。其次,采用同主题多信息结构的方式,参看《同主题多信息结构的用法》