评论页面无法翻页

yvette

规则名称：薏凡特自建站产品评论数据

运行抓取时评论页面无法翻页，点击下一页显示的还是第一页的内容，请问怎么解决这种问题

Fuller · 发表于 2021-9-3 15:30:44

我测试了这个规则，规则没有问题，但是运行的时候有些奇怪，一开始网页没有显示全，滚屏功能没有起作用，等网页内容全部显示出来以后，滚屏就起作用了，就能翻页了

yvette · 发表于 2021-9-6 14:36:27

Fuller 发表于 2021-9-3 15:30
我测试了这个规则，规则没有问题，但是运行的时候有些奇怪，一开始网页没有显示全，滚屏功能没有起作用，等 ...

那我是要把时间设置的久一点等页面缓存结束就可以翻页抓取了，是吗？那哪一个时间设置久一点可以完成页面缓存呢？

shenzhenuser1 · 发表于 2021-9-6 14:41:13

yvette 发表于 2021-9-6 14:36
那我是要把时间设置的久一点等页面缓存结束就可以翻页抓取了，是吗？那哪一个时间设置久一点可以完成页面 ...

如果是直接抓取的，在配置里修改延迟时间为5秒，参数设置为20和-2

如果是用爬虫群抓取，就在该任务管理中找到该任务设置调度参数

共 3 个关于本帖的回复最后回复于 2021-9-6 14:41

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页