网络爬虫软件产品技术动态和资讯 - 集搜客GooSeeker网络爬虫

今天学习和实验的布局相关的内容。使用了自动生成的随机数据构造了网络。我们接下来会出几篇利用实际的社交网络上的内容作为实验样本，展示怎样和网络爬虫工具和中文分词工具配合在一起，用Gephi来可视化展示和分析 ...

2022-9-13 11:15

我们发布了一组Jupyter Notebook，全部围绕着点度中心性计算和社会网络图的生成和计算。图计算完成以后，用Python画出来的效果一般，那么本系列文章将讲解在Gephi下做进一步的图计算和可视化。 ...

2022-9-10 11:54

这一批Jupyter Notebook围绕着点度中心性分析，介绍了两种简化社会网络图的方法：MST和根据阈值剪边，展示了在notebook中用python调用numpy和networkx的方法。下一批notebook将实验其他中心性的计算方法。在完成这一 ...

2022-9-9 18:08

皮尔森相关系数和余弦相似度系数是一类的，他们度量的是夹角的cosine值；而协方差和点积（共词矩阵是点积的结果）是一类的，他们度量的是一个向量向另一个向量投影后的大小。但是，在向量空间中，这些变化都不能改善 ...

2022-9-5 10:37

本文提出了一种将专利引文网络与 SAO 语义分析方法结合，以提取技术演化路径从而识别技术发展趋势的方法，并以全固态锂离子电池为例进行了分析。该方法在构建专利引文网络基础上，通过社群划分及 SPC 算法提取主路径 ...

2022-9-1 11:08

本notebook准备使用协方差矩阵来描述共词关系，同共词矩阵相比，这可以看作是更加细腻的考察，因为通过去中心化计算，词在文档中的分布规律不再是非负数描述的，而是有正有负，可以看作是有涨有跌 ...

2022-8-30 15:49

用MST的时候，发现裁剪的太厉害，而且由于两个普遍词造成MST树几乎就是一个星状结构，很难观察到有价值的信息。当时我们计划采用其他度量距离的方法再看看能否有更多发现。而在这之前，我们先试试通过设定边的权重阈 ...

2022-8-29 12:04

本notebook将演示MST计算方法，下一篇notebook将演示通过设定边权重的阈值来简化图。MST一般是minimum spanning tree的简称，是图算法中的一个最最基础的算法，基于这个算法，可以把graph变成tree，每个节点只留一条 ...

2022-8-26 09:38

在什么场合下需要计算tf-idf？《GooSeeker分词和情感分析结果excel表怎样计算tf-idf》做了详细说明，在这里就不重复说了。在本notebook中重点对比一下计算tf或者tf-idf会对原始数据产生什么样的影响。 ... ... ... . ...

2022-8-24 16:59

本notebook将演练使用networkx画社会网络分析图。然后在接下来的notebook中演练对图的化简，分别根据边权重化简和利用MST算法化简。

2022-8-23 15:59

本文将GooSeeker分词和情感分析软件生成的选词矩阵和共词矩阵excel文件读入到NumPy数组中，而且可以看到共词矩阵实际上是可以由选词矩阵生成的。我们把选词矩阵叫做关系矩阵R，那么共词矩阵叫做邻接矩阵A(adjacency ...

2022-8-22 11:22

GooSeeker分词和情感分析软件导出的数据表已经为计算TF-IDF准备了所有素材，用户只需选定合适的公式和公式中的参数（比如，log函数的底数）即可计算出来需要的TF或者TF-IDF。 ... ...

2022-8-18 15:28

Gephi支持相当多的输入格式，GooSeeker共词矩阵是一种邻接矩阵，可直接导入Gephi，不用转换。那么，本notebook仅仅是为了练习Python编程，练习输入文件格式转换，并熟悉Gephi的输入数据格式。 ...

2022-7-28 12:04

那么要使用Gephi进行网络分析，有哪几种生成和导入数据的方式可以使用呢？今天我们就此做探讨和学习。按照Gephi官网的介绍，Gephi的数据来源，下面几种是比较常用的： ...

2022-7-19 10:36

上一篇《社会网络可视化分析方法探索—Gephi分析工具的下载和安装》，记录了Gephi社会化网络工具在下载和安装过程中会碰到哪些问题及对应的处理方法。今天分享一篇范例《基于社会网络分析的网络公益信息传播研究—— ...

2022-7-18 16:51

资讯