集搜客GooSeeker网络爬虫

标题: 咨询 [打印本页]

作者: qingmu888    时间: 2016-11-28 10:11
标题: 咨询
你好,我想问一下,集搜客可以加判断语句吗?比如我爬评论,只想要爬一个特定时间段的可以吗。

作者: Fuller    时间: 2016-11-28 10:19
当前还不支持,这个需求可以规划到未来版本中
作者: ym    时间: 2016-11-28 10:44
可以控制翻页,只采集前N页的评论,后面再用excel或其他工具根据时间过滤
作者: wangyong    时间: 2016-11-28 10:59
只想爬11.02的?
作者: qingmu888    时间: 2016-11-28 16:58
ym 发表于 2016-11-28 10:44
可以控制翻页,只采集前N页的评论,后面再用excel或其他工具根据时间过滤

奥奥,明白了


作者: qingmu888    时间: 2016-11-28 16:59
wangyong 发表于 2016-11-28 10:59
只想爬11.02的?

只是打个比方,好奇集搜客可不可以有判断功能

作者: scraper    时间: 2016-11-28 17:04
网页上的数据格式可能会因为网站改版而变化,抓取下来再后处理,可以较少因格式变化引起的数据丢失
作者: Fuller    时间: 2016-11-28 17:26
qingmu888 发表于 2016-11-28 16:59
只是打个比方,好奇集搜客可不可以有判断功能

判断功能一直没做,因为数据处理方面稍微有些工作量,比如,要转换成数字,或者转换成日期,等等,为了让爬虫尽量简单,把这个工作都推给入库后的处理程序了。这个判断功能的开发我们安排一下计划





欢迎光临 集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/) Powered by Discuz! X3.2