抓取新浪微博,每个抓5页,一共600个人,也就是600个线索
现在抓了200个人,要从201个人开始抓,
如果用手动从datascraper启动剩余线索的话,就没办法满足每条线索抓5页的条件(因为条件我是写在配置文件里的)
我的问题是:
我该怎么做?
如果要在配置文件里设置的话,该设置那个参数可以让它从第201条线索抓取?
是设置resumePageLoad和resumeMaxCount两个参数吗?
resumePageLoad=false resumeMaxCount=0???
谢谢!
DataScraper会接着抓
在crontab.xml配置文件中,只要没有为该主题执行renewClue这一步,也会接着从201开始抓取。