下级线索

在爬取Facebook评论时，点击“更多评论”，但是网址不变，这种结构怎么获取评论数据啊？是下级线索吗？还是翻页呢？
采取翻页线索的模拟点击试了一下，发现不行。求指导！
一级规则：suibe_Facebook3
二级线索：suibe_Facebook4
网页：https://www.facebook.com/ebay

每条信息的时间都对应一个A节点，有独立的网址href，把这个网址采集下来，作为下一级线索。在下一级采集评论。

可以截图吗？没有看到那个href，谢谢

wangshift 发表于 2021-4-29 08:56
可以截图吗？没有看到那个href，谢谢

已经找到了，谢谢

随便问一下，这个结构可以用模拟点击进行评论的爬取吗？模拟点击的位置是“更多评论”那里

我试了好多次模拟点击，没有成功

一级规则：suibe_Facebook5
二级线索：suibe_Facebook6

Fuller 发表于 2021-4-28 22:29
每条信息的时间都对应一个A节点，有独立的网址href，把这个网址采集下来，作为下一级线索。在下一级采集评 ...

随便问一下，这个结构可以用模拟点击进行评论的爬取吗？模拟点击的位置是“更多评论”那里

wangshift 发表于 2021-4-29 09:16
随便问一下，这个结构可以用模拟点击进行评论的爬取吗？模拟点击的位置是“更多评论”那里
...

模拟点击也可以，但是规则会比较复杂。

首先，要做好点击动作，能看到评论信息窗口显示出来
其次，要在动作后的规则中设置点击动作，关闭这个弹出来的评论浮窗

Fuller 发表于 2021-4-29 09:32
模拟点击也可以，但是规则会比较复杂。

首先，要做好点击动作，能看到评论信息窗口显示出来

但是，第一级规则已经有滚屏动作了，再做点击，规则不太好做。每次循环，每个动作做一次，显然滚屏动作进度太快，因为每次滚屏，就会显示出来至少10条要点击的新内容。

可以把第一级的滚屏动作删除了，只定义点击动作，而且勾上模拟点击，如果模拟点击还不够，在高级设置那里有窗口可见也勾上。那么每次点击之前都会做一个小幅度的滚屏，就能省掉滚屏动作