关于词云抓取的问题

规则名：weiboyi_xq_gy
样本网页(可能需要登录）： http://chuanbo.weiboyi.com//sing ... amp;sign=9078016e1c

网页上有一个词云，如下图，写了Xpath想逐个抓取下来【共100个】


测试结果如下【共100个】


用爬虫群抓取后，这一部分的数据仅抓取到了十几个，没有抓全（数据见附件）。

请问需要如何解决？~~ 蟹蟹！！！

你的附件里面不是把100个词都抓下来了吗？有数据的刚好是一100行。

bowieD 发表于 2018-1-9 17:18
你的附件里面不是把100个词都抓下来了吗？有数据的刚好是一100行。

100行是100条线索~
每条线索的【文章热词】字段值应该有100个SPAN的值，但只有14个

bowieD 发表于 2018-1-9 17:18
你的附件里面不是把100个词都抓下来了吗？有数据的刚好是一100行。

解决了！！！增大了【线索间等待时间】！之前等待时间太短，没有抓全就执行下一条线索了~
蟹蟹你！！！

bowieD 发表于 2018-1-9 17:18
你的附件里面不是把100个词都抓下来了吗？有数据的刚好是一100行。

辛苦了！

closeyoo 发表于 2018-1-9 20:01
解决了！！！增大了【线索间等待时间】！之前等待时间太短，没有抓全就执行下一条线索了~
蟹蟹你！！！

线索间等待时间不是这样用的，用在这个场合很不适合，很可能会漏数据。为了等待网页内容的加载，应该打开滚屏功能。

你设置“线索等待时间”是在会员中心设置的？在那一堆调度参数中，有滚屏参数，把滚动次数设置成大于0的数字，比如，2或者5，就能启动自动滚屏，相当于做等待

Fuller 发表于 2018-1-9 21:03
线索间等待时间不是这样用的，用在这个场合很不适合，很可能会漏数据。为了等待网页内容的加载，应该打开 ...

好滴！！！！
学习了~

谢谢Fuller大神~