因为网页初始加载是找不到下一页标签的， 滚屏N多次之后才出现，规则匹配失败

滚屏很多次后才出现 下一页 标签的， 这时候做记号线索貌似会无效， 做下一页标签的单击事件，翻页后 爬取数据到一半就结束了。  有没有什么好的建议

滚屏次数设置了多少？勾选了定时触发吗？超长延时设置了多少？

xandy 发表于 2017-1-20 11:29
滚屏次数设置了多少？勾选了定时出发吗？超长延时设置了多少？

滚屏次数设了100，关了定时触发，超长延时20s

月球漫步 发表于 2017-1-20 11:30
滚屏次数设了100，关了定时触发，超长延时20s

你的超长延时设置太短了。
超时时长：抓取网页的时候，加载目标网页以后等待一段时间，以确保网页内容全面加载，这就是超时时长参数，以秒为单位。
碰到这类网页，可以把超长延时设长一点，让网页尽量加载。
定时触发勾选是对的，不勾定时触发就是等页面加载完再采集，勾了定时触发就是不管页面有没有加载完到了时间就采集。
你采集的网页要滚屏，滚屏次数大于０表示滚屏采集，所以设置一个合适的值就可以了。

各位大大， 规则名 ： maywide_weibo_star_wbinfo

测试网址：  http://weibo.com/u/1549364094?profile_ftype=1&is_all=1#_0

fenglinwan_ 发表于 2017-1-20 11:42
测试网址：  http://weibo.com/u/1549364094?profile_ftype=1&is_all=1#_0

滚屏次数与滚屏速度分别设置为5和3，碰到这种网页，参数调整没有固定的，要自己不断调优试试。

可以直接使用微博采集工具箱中的博主首页采集工具