请问一下，如果我要将国内主要媒体网站设置为原始数据库，定时抓取的是最新的新闻和经常在其中用关键词搜索，要怎么抓？

guiyuandaozi

请问一下，如果我要将国内主要媒体网站设置为库，定时抓取最新的新闻以及经常在其中用关键词搜索，要怎么抓？
不胜感激！！！！

内容分析应用 · 发表于 2020-10-12 22:47:36

你是周期性定时抓取？可以看看这个帖子：集搜客网页抓取工具怎么定时采集

guiyuandaozi · 发表于 2020-10-13 08:25:21

内容分析应用发表于 2020-10-12 22:47
你是周期性定时抓取？可以看看这个帖子：集搜客网页抓取工具怎么定时采集
...

对多个不同网站架构的媒体网站能否一次性的周期抓取呢？

wangyong · 发表于 2020-10-13 09:00:43

guiyuandaozi 发表于 2020-10-13 08:25
对多个不同网站架构的媒体网站能否一次性的周期抓取呢？

需要对每个媒体网站分别定义采集规则，进行调度后，可以进行批量抓取

gz51837844 · 发表于 2020-10-13 09:01:24

guiyuandaozi 发表于 2020-10-13 08:25
对多个不同网站架构的媒体网站能否一次性的周期抓取呢？

可以的。
把不同的网站的采集规则做好，然后配置好周期性抓取，打开运行在爬虫群模式下的爬虫窗口，到了设定的时间就会自动运行。

guiyuandaozi · 发表于 2020-10-14 08:23:35

内容分析应用发表于 2020-10-12 22:47
你是周期性定时抓取？可以看看这个帖子：集搜客网页抓取工具怎么定时采集
...

感谢！

guiyuandaozi · 发表于 2020-10-14 08:23:48

guiyuandaozi 发表于 2020-10-13 08:25
对多个不同网站架构的媒体网站能否一次性的周期抓取呢？

感谢！

guiyuandaozi · 发表于 2020-10-14 08:24:00

gz51837844 发表于 2020-10-13 09:01
可以的。
把不同的网站的采集规则做好，然后配置好周期性抓取，打开运行在爬虫群模式下的爬虫窗口，到 ...

感谢！

共 7 个关于本帖的回复最后回复于 2020-10-14 08:24

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页