爬虫线索实现翻页后能否设置翻页后等待N秒后抓取数据？

ray_zhurui

用爬虫线索来实现翻页能设置翻页后的等待时间么？有时候页面刷新出来比较慢，结果重复抓取3个一样的数据后就终止了。

Fuller · 发表于 2016-10-5 23:40:48

发个网址出来我测试一下。最近为了提高抓取速度，修改了一些程序，等待功能本来是有的，现在修改以后，可能会过于快了。你发个网址，我测试一下。

想放慢速度的话，可以设置滚屏参数，把滚屏次数设置大一些

共 1 个关于本帖的回复最后回复于 2016-10-5 23:40

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页