整理箱不适用的问题

ovna123

一个规则多个整理箱爬取批量网页数据，有的网页全部整理箱都适用。有的网页只有部分整理箱适用，是否会出现“抓取规则不合适或超时时间设置太短”的提示？如何解决？

xandy · 发表于 2017-2-20 09:59:47

给网页中必然会出现的关键字段勾选关键内容，而部分网页才能采集到的关键字段不要勾选，否则会出现抓取失败，另外可以通过定位标志来提高规则是适用性。

Fuller · 发表于 2017-2-20 10:00:12

找一个最全的网页作为样本页面，定义好规则，然后抓取试验一批网址，如果有些网址有些内容不存在，那么整理箱中对应的内容不要勾选关键内容。

如果网页结构有比较大的区别，那么就定义两个抓取规则，他们的主题名相同，规则编号不同，每个规则对应一类网址。

ovna123 · 发表于 2017-2-20 11:21:01

本帖最后由 ovna123 于 2017-2-20 11:31 编辑

Fuller 发表于 2017-2-20 10:00
找一个最全的网页作为样本页面，定义好规则，然后抓取试验一批网址，如果有些网址有些内容不存在，那么整理 ...

用第一种方法，运行成功，谢谢。

ovna123 · 发表于 2017-2-20 11:25:39

为什么加载规则后，后续分析总是不成功？

quyixuan · 发表于 2017-2-20 11:40:32

ovna123 发表于 2017-2-20 11:25
为什么加载规则后，后续分析总是不成功？

后续分析不成功就说明规则不适用样本页面的网页结构，这种情况需要修改规则

共 5 个关于本帖的回复最后回复于 2017-2-20 11:40

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页