总是抓不到微博“展开全文”下的内容

现在微博不限字数了，有很多微博总是有“展开全文”，然后以下内容不显示，不知道如何抓取展开以下的内容，请大神赐教！

微博展开全文，现在有快捷工具了，输入微博独立链接，就可以采集微博展开全文。可以通过微博主页工具或者微博关键词工具，批量得到博文的独立链接，然后把这些微博独立链接批量输入到微博展开全文，就可以批量采集微博展开全文了。

在集搜客微博采集工具箱中通过微博关键词搜索结果采集工具、微博博主主页采集工具或者其他微博工具采集微博数据时会采集下带有“展开全文”的数据

在采集结果中通过Excel将含有“展开全文”的数据筛选出来后


将其对应的“博文独立网址”添到微博博文展开全部采集中就可以将“展开全文”后的数据完整采集下来


数据展示：

这个容易实现，“展开全文”和“下一页”没有区别，像做翻页规则一样，做一个点击“展开全文”的，在“爬虫路线”工作台上做

Fuller 发表于 2016-3-22 09:16
这个容易实现，“展开全文”和“下一页”没有区别，像做翻页规则一样，做一个点击“展开全文”的，在“爬虫 ...

请问是建立一个跟翻页并列的记号线索吗？

tt370498563 发表于 2016-3-22 09:32
请问是建立一个跟翻页并列的记号线索吗？

如果网页上有多个需要点击的“展开全文"，就不适合在爬虫路线里做设置，因为爬虫路线在一个网页上只能点击一次，这时，可以在连续动作中设置点击，参考连续动作的相关教程http://www.gooseeker.com/doc/article-141-1.html

tt370498563 发表于 2016-3-22 09:32
请问是建立一个跟翻页并列的记号线索吗？

“展开全文”和翻页都要做？在爬虫路线工作台上，连贯抓取只能有一个。如果是这样，你得做成多级规则，一级点展开全文，用一个主题名；另一级点翻页，用另一个主题名

scraper 发表于 2016-3-22 09:43
如果网页上有多个需要点击的“展开全文"，就不适合在爬虫路线里做设置，因为爬虫路线在一个网页上只能点击 ...

连续动作不一定适合这个场景，以为是先后关系，不是连续同时做的关系，所以，应该像我下面的跟帖说的那样

Fuller 发表于 2016-3-22 09:54
连续动作不一定适合这个场景，以为是先后关系，不是连续同时做的关系，所以，应该像我下面的跟帖说的那样 ...

那请问具体是怎样设置呢？

tt370498563 发表于 2016-3-22 10:00
那请问具体是怎样设置呢？

这样做：
1，假设当前规则名是A，在爬虫路线工作台上定义一个点击“展开全文”的连贯抓取线索，目标主题名是B
2，然后定义抓取规则B，这就是展开后的那次抓取，在爬虫路线工作台上定义翻页的连贯抓取，目标主题名保持B不变