本帖最后由 gooseeker_info 于 2015-10-8 18:57 编辑
问：抓取的时候遇到timeout to load the page怎么设置爬取的频率、
答：出现timeout很可能是因为抓取规则不适合这个网页，也可以调整一下超时时间试试，在DS打数机的菜单中有“超时时长”这项。
MS谋数台上有个菜单“工具”-》“加载规则”-》“按线索号”，选一个timeout的线索号，加载上分析一下失败原因。
问：那个“超时时长”参数设置要往小的方向设置吗
答：2分钟足够了，还不够的话可能是规则有问题
|
|
|
|
|
|
|
|
|
为BERTopic安装需要的预训练SBERT模型
在什么情况下使用弹窗模式和回退功能？
爬网址做层级采集——以当当商品爬虫为例
网络爬虫采集列表数据
UMAP的min_dist参数有什么作用？
收藏
转播
支持
反对
共 0 个关于本帖的回复 最后回复于 2015-10-8 18:56