有无视频，图片数量抓取

要抓取主页这个部分有无视频，图片展示数量怎么做

挨个点击大图下面的小图，用爬虫爬大图的内容，如果是视频，结构不一样，如下图。可以做两个规则，用相同的主题名，一个规则抓取视频的情形，一个规则抓取图片的情形

Fuller 发表于 2018-7-30 15:30
挨个点击大图下面的小图，用爬虫爬大图的内容，如果是视频，结构不一样，如下图。可以做两个规则，用相同的 ...

那抓取过程怎么体现有无和数量呢

DuoRuaiMi 发表于 2018-7-30 16:38
那抓取过程怎么体现有无和数量呢

爬的过程统计不了，把爬下来的结果放在excel中做统计

Fuller 发表于 2018-7-30 15:30
挨个点击大图下面的小图，用爬虫爬大图的内容，如果是视频，结构不一样，如下图。可以做两个规则，用相同的 ...

请问怎么区分图片和视频类型，具体要抓取什么内容，还有点击每个小图的情况，是设置连续点击来完成的吗

DuoRuaiMi 发表于 2018-8-12 16:35
请问怎么区分图片和视频类型，具体要抓取什么内容，还有点击每个小图的情况，是设置连续点击来完成的吗
...

我看了一下，视频和图片是用不同DIV表示的，用连续动作点击每个小图，然后抓取大图位置的内容

Fuller 发表于 2018-8-12 23:50
我看了一下，视频和图片是用不同DIV表示的，用连续动作点击每个小图，然后抓取大图位置的内容
...

那我要如何设置连续点击动作呢，我抓取的网页中每个大图下面小图的个数都不同，有的还只有一个大图

DuoRuaiMi 发表于 2018-8-13 08:49
那我要如何设置连续点击动作呢，我抓取的网页中每个大图下面小图的个数都不同，有的还只有一个大图
...

选择一个图多的作为样本页面，只要把连续动作的点击位置的xpath写正确，就能自动根据图片数量点击恰好的次数。写好xpath以后，把xpath输入进来，点击搜索，看看能否搜到所有的图片。要能搜到所有的图片才行。



上图，在红框那里输入xpath做搜索测试

Fuller 发表于 2018-8-13 11:51
选择一个图多的作为样本页面，只要把连续动作的点击位置的xpath写正确，就能自动根据图片数量点击恰好的 ...

按照您的说法做了两层规则：
第一层：抓取图片数量第一级
第二层：抓取图片数量第二级
网址线索
页面中应该是9个图片，可是规则运行成功后二级规则中只生成了6个xml文件是为什么呢

你再运行一下试试，把打数机窗口开到最大化，刚才我加载你的规则执行，可以正常抓到9个xml