|
我看是在凌晨的时候出现的。我们也做价格和商品监测,通常会把采集结果排一下序,把有怀疑的网址找出来,然后重新激活再采集一遍。电商网站内容的动态性太强了,会出现偶尔不显示内容的。
采集的时候,安全起见,把滚屏次数设置大一些,滚屏能造成延迟,就是多等一些时间。
另外,这几个漏掉的网址,可以加载到爬虫的工作台上分析一下,看看是不是规则问题,步骤是:
1,先加载规则,并分析页面
2,地址栏输入新网址,等内容出现以后,选择菜单 规则-》刷新页面结构,规则-》分析页面
3,用工作台上的测试按钮看看测试结果是否全 |
|
共 2 个关于本帖的回复 最后回复于 2018-5-12 11:42