集搜客GooSeeker网络爬虫

标题: 关于下页翻页采集与数字翻页采集的问题 [打印本页]

作者: 798596716 时间: 2018-5-22 10:21
标题: 关于下页翻页采集与数字翻页采集的问题
一、使用下页翻页采集时，翻页区设置好，设置翻页记号时，定位编号有，但是记号值为空，（选择的是“下页”对应的text）

二、使用页码采集时，一共有600多页，只采集十几页就停止了。
请问这两个问题怎么解决？？

作者: 数据集 时间: 2018-5-22 10:27
规则名是什么？

作者: 798596716 时间: 2018-5-22 10:28

数据集发表于 2018-5-22 10:27
规则名是什么？

宜昌站

作者: 数据集 时间: 2018-5-22 10:46
本帖最后由数据集于 2018-5-22 10:47 编辑

规则没有问题，只采集十几页就停止了，因为这个网站比较卡，翻页很久才能加载出来，所以容易中断，可以用构造网址的方式采集

每一页都有独立的网址，网址PageNo后面的数字代表的就是页数，只需要修改这个数字就可以跳转的那一页。这样的话就可以在Excel中批量生成所有页的网址，然后直接添加到规则里，同时要删掉规则里的翻页设置，就可以单页采集，不用担心采漏某一页或者是翻页中断。

作者: 798596716 时间: 2018-5-22 10:48

数据集发表于 2018-5-22 10:46
规则没有问题，只采集十几页就停止了，因为这个网站比较卡，翻页很久才能加载出来，所以容易中断，可以用构 ...

那，下页采集的问题呢？为何没有text？

作者: shengchengx 时间: 2018-5-22 10:55

798596716 发表于 2018-5-22 10:48
那，下页采集的问题呢？为何没有text？

你不用去做翻页，你删除掉翻页然后自己构造网址，将网址直接在Excel构造好了之后把链接添加到规则1中去就好了

作者: 798596716 时间: 2018-5-22 11:00

798596716 发表于 2018-5-22 10:48
那，下页采集的问题呢？为何没有text？

好的，，谢谢！！

作者: 798596716 时间: 2018-5-22 11:32

shengchengx 发表于 2018-5-22 10:55
你不用去做翻页，你删除掉翻页然后自己构造网址，将网址直接在Excel构造好了之后把链接添加到规则1中去就 ...

问题已经解决，感谢您

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)