很多网址 并且需要每天更新 怎么采集

请教下：每天抓一批网址，网址带日期参数，每天抓最新日期
        18号抓：www.test.com?/cdate=2016-08-17&id=1
                      www.test.com?/cdate=2016-08-17&id=2
        19号抓：www.test.com?/cdate=2016-08-18&id=1
                      www.test.com?/cdate=2016-08-18&id=2
网址数量有几百个，有什么可以自动生成url的办法么？

去excel替换一下

HJLing 发表于 2016-8-26 16:08
去excel替换一下

每天都得手动加入到线索里么

scraper 发表于 2016-8-26 16:08
每天都得手动加入到线索里么

是的

HJLing 发表于 2016-8-26 16:09
是的

好吧
没有更简单的方式了么

scraper 发表于 2016-8-26 16:09
好吧
没有更简单的方式了么

因为你的网址不是由上级生成的 所以只能自己添加到线索里

HJLing 发表于 2016-8-26 16:10
因为你的网址不是由上级生成的 所以只能自己添加到线索里

噢，明白了
可以我自己弄个页面，把这些url加进去作为上级么？就是我自己写个页面，每天生成上述的url。然后抓这个页面作为上级

scraper 发表于 2016-8-26 16:10
噢，明白了
可以我自己弄个页面，把这些url加进去作为上级么？就是我自己写个页面，每天生成上述的url。 ...

可以 只要能采下来并勾上下级线索 就可以为下一级规则生成线索了

HJLing 发表于 2016-8-26 16:11
可以 只要能采下来并勾上下级线索 就可以为下一级规则生成线索了

内网页面都可以抓是吧

scraper 发表于 2016-8-26 16:12
内网页面都可以抓是吧

内网不可以 爬虫需要连我们的服务器才能运行
如果要实现内网抓取需要购买企业版