有关于微博主页信息抓取问题

微博

微博2

像这个，我想抓“查看更多”的网址，然后再进一步抓取更详细的主页资料，也就是分别写两个规则。
但是现在问题是有好多个微博博主的主页网址，但是第一个规则却无法试用所有的主页网址，也就是这个“查看更多”的网址无法抓下来，我想问的是这种情况怎么解决，是因为博主网页的网络结构不是全部一样的吗？
（虽然微博采集工具箱有这个工具，但是主页信息不全没有我想抓的东西，所以才自己写规则）

想点这个“查看更多”？有两个方案

方案1：就像你现在做的，做两级规则。你现在遇到的问题是第一级网页结构好多种，对吧？其实没有好多种，定义第一级规则的时候尽量用上定位标志映射，能提高适应性。如果确实解决不了，可以在同一个主题名下定义多个规则，每个规则的“规则编号”不同，DS打数机运行的时候会自动选择。

方案2：第二级的网址可以构造，个人和机构的网址有些不同，他们都是在uid之前加了一串数字，个人和机构加的数字不一样，所以，如果你已经采集到了uid，那么直接构造就行了。

另外，也可以直接使用现成的微博采集工具——集微库

Fuller 发表于 2017-3-4 21:05
想点这个“查看更多”？有两个方案

方案1：就像你现在做的，做两级规则。你现在遇到的问题是第一级网页 ...

已解决，感谢

下载数据管家从左侧工具条进入微博工具箱，使用微博博主详细资料采集工具 新建采集任务→选择采集全部历史微博→输入要采集的微博网址建→确定提交启动采集


采集状态变成“已采集”时，点击“打包”按钮，就可以下载Excel格式的数据了
数据展示：