工具不断的去重复抓取能判断那些是更新的吗？

Fuller 于 2015-12-16 18:43 发表 [复制链接] [只看楼主] [打印] [上一主题] [下一主题]

问：工具不断的去重复抓取能判断那些是更新的吗？

答：如果你抓下一级线索，能判断更新的，因为抓到的下级网址会在服务器上做专门的处理，会判断是否以前已经抓取过，请参看crontab.xml参数说明，可以做成增量抓取。请注意，新版本GooSeeker推出了爬虫群功能，不用再手工写crontab.xml了，参看：http://www.gooseeker.com/doc/article-197-1.html

如果是抓内容，判断不了，需要导入数据库后用程序判断

转播

支持

反对

举报使用道具

| 回复

共 0 个关于本帖的回复最后回复于 2015-12-16 18:43

返回列表

精彩推荐

怎样让GooSeeker分词工具使用宋体画词云图
使用BERTopic时遇到的c-TF-IDF是什么？
gooseeker分词工具的命名实体识别和词形还
怎样设置LDA模型的超参数alpha(α)和beta(
LDA主题分析模型到底是什么？

工具不断的去重复抓取能判断那些是更新的吗？

共 0 个关于本帖的回复最后回复于 2015-12-16 18:43

推荐板块

精彩推荐

热门话题

热门用户

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页

工具不断的去重复抓取 能判断那些是更新的吗？

共 0 个关于本帖的回复 最后回复于 2015-12-16 18:43

推荐板块

精彩推荐

热门话题

热门用户

工具不断的去重复抓取能判断那些是更新的吗？

共 0 个关于本帖的回复最后回复于 2015-12-16 18:43