仍然是新浪微博的翻页问题

demo-z-weibo
新浪微博中 到第2页后 能往下翻页 但是不能继续下一页 状态一直在AGAIN2和AGA_L之间变 线索统计是fetched状态
另:使用了延长模式 积极模式 首选项中线索定位是偏好class||DataScraper中滚屏参数:More Pages:10;Delay Ratio:2 全屏显示 非普通模式

新浪微博翻页抓取可以再设置一个参数

这个信息结构无法正确加载,所以无法判断确切原因。在个别网站上,网页内容在持续修改,无法判断是否可以抓取了,此时,需要打开DataScraper的定时器功能,菜单是“配置”-〉“定时器触发”

定时器触发会直接结束抓取

虽然大概意思理解了 但是选择了定时器触发之后 没开始滚屏就立刻结束了(线索状态PLINE/FIN) 这是怎么回事?好像也不能设置定时器时间?
另:其他设置未变 仍为延长积极模式 首选项中线索定位是偏好class || DataScraper中滚屏参数:More Pages:10;Delay Ratio:2 全屏显示 非普通模式;demo-z-weibo

定时器触发后的问题

我理解了 但是选择定时器触发后 才要第一次滚屏时抓取就结束了... 是不是应该在哪里设置定时器触发的时间呢?
(其他配置不变 仍然是延长模式 积极模式 滚屏参数10/2 全屏显示 定时器触发)

Javascript动态网页的抓取难点

由于Javascript生成动态网页内容的方法有很多种,无法完全覆盖所有情况,MetaSeeker不断更新版本期望能够解决遇到的所有情况,如果发现无法解决的,将主题名告诉我们。

触发时间不能设置,但是,您的这个抓取目标应该能够应付,因为我们也在一直抓取它。如果没有抓取到内容,则是抓取规则不适合,如果没有翻页,则是Clue Editor上定义的线索抓取规则不合适。

最近升级了DataScraper和MetaStudio,因为有些翻页超链接不是普通的超链接,而是在html任何一个标签上用Javascript模拟的,新版本解决了这个问题。允许针对任何节点模拟用户点击。在做线索映射时,需要将被点击的节点映射给这个线索,而不能任何的祖先节点。

目前,在线版无法解决的问题是:翻页抓取永不停止。如果遇到这个情况,暂时只能选择企业版了,因为在线版不支持手工修改抓取规则。