我想用网络爬虫工具爬取各大新闻网站的新闻标题和内容, 应该怎么弄?
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2020-11-6 17:03

内容分析应用 金牌会员 发表于 2020-11-6 09:54:18 | 显示全部楼层
在本站的快捷采集版块里, 有现成的多个新闻网站采集工具, 可以添加网址后直接采集和导出数据。
目前已经上架的新闻网站如下:
腾讯新闻
百度新闻
新浪新闻
中文业界资讯站
网易新闻
搜狐新闻
威锋网
凤凰资讯
今日头条
人民日报

举报 使用道具
内容分析应用 金牌会员 发表于 2020-11-6 09:57:40 | 显示全部楼层
比如, 想采集腾讯新闻的国内新闻列表, 按下图就可以了
QQ截图20201106095551.png

举报 使用道具
Fuller 管理员 发表于 2020-11-6 10:08:37 | 显示全部楼层
你是要做舆情监控系统?还是做智库分析系统?现在智库系统建设很火。用集搜客网络爬虫很适合
举报 使用道具
马涌河畔 金牌会员 发表于 2020-11-6 15:04:38 | 显示全部楼层
Fuller 发表于 2020-11-6 10:08
你是要做舆情监控系统?还是做智库分析系统?现在智库系统建设很火。用集搜客网络爬虫很适合 ...

是客户委托的,分析用的。
举报 使用道具
Fuller 管理员 发表于 2020-11-6 17:03:41 | 显示全部楼层
马涌河畔 发表于 2020-11-6 15:04
是客户委托的,分析用的。

分析用的话,推荐使用集搜客分词和文本工具做分析,这个软件很受内容分析师欢迎。尤其是高校学生写论文和毕业设计,如果是跟文本挖掘有关的,这个软件特别好用。

马上要发布一个新版本,因为很多用户说:看到集搜客分词软件在文本检索功能模块那里显示的关键词很准确,希望能导出了,因为这些关键词反应了整个文本的主题。那么新版本将提供到处关键词功能
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 22:27