-
- 鼠标悬停信息采集—以淘宝店铺动态评分为例
-
鼠标悬停后，浮窗里显示的信息，如何采集？需要用连续动作中的悬浮动作。下面以淘宝关键词搜索店铺为例，演示如何采集浮窗里显示的店铺动态评分。案例：第一级任务：悬停信息采集-第一级第二级任务：悬停信息采集-第 ...
2021-3-17 17:41
-
- 康托尔对角线方法与停机问题和罗素悖论(4)
-
上接《哥德尔不完备定理》4. 大道至简 —— 康托尔的天才“ 大道至简 ” 这个名词或许更多出现在文学和哲学里面，一般用在一些模模糊糊玄玄乎乎的哲学观点上。然而，用在这里，数学上，这个名词才终于适得其所。大道 ...
2021-3-16 18:28
-
- 哥德尔的不完备性定理(3)
-
上接《Y Combinator、lambda算子和不动点原理》3.哥德尔的不完备性定理然而，漫长的 Y Combinator 征途仍然并非本文的最终目的，对于 Y combinator 的构造和解释，只是给不了解 lambda calculus 或 Y combinator 的 ...
2021-3-16 16:12
-
- Y Combinator、lambda算子和不动点原理(2)
-
接第一部分《图灵停机问题》原文链接：https://blog.csdn.net/pongba/article/details/13360282. Y Combinator了解 Y combinator 的请直接跳过这一节，到下一节 “ 哥德尔的不完备性定理 ” 。让我们暂且搁下但记住 ...
2021-3-14 23:32
-
- 图灵停机问题、哥德尔不完备定理和康托尔的对角线方法(1)
-
原标题：康托尔、哥德尔、图灵 —— 永恒的金色对角线原文链接：https://blog.csdn.net/pongba/article/details/1336028By 刘未鹏 C++ 的罗浮宫 (http://blog.csdn.net/pongba)我看到了它，却不敢相信它 。—— 康 ...
2021-3-14 20:01
-
- 自动滚屏采集瀑布流网页—以今日头条新闻为例
-
常见的网页大多数在页面下方会有翻页的按钮，比如“下一页”、“加载更多”，这类网页设置翻页就可以搞定，但是瀑布流网页没有这些按钮，而是随着鼠标滚动会不停的加载更多内容，变成很长的、没有底的网页。爬虫只能 ...
2021-3-11 11:56
-
- 集搜客分词结果表用Jupyter Notebook做统计分析—对应Excel功能
-
Excel是数据分析师的必备工具，众多功能可以满足绝大多数的数据清洗、转换、统计计算、可视化展示。而Jupyter Notebook这类交互式数据探索和分析工具代表了一股不容忽视的潮流，借助于Python编程的强大力量，数据加 ...
2021-3-8 11:48
-
- 自动点击京东商品价格条件，智能采集价格数据
-
现在不少动态网页需要交互操作，才能浏览到最终数据，而集搜客爬虫的连续动作可以模拟人在浏览网页时的操作，从而采集到最终显示出来的数据。连续动作的难点是：怎样写xpath。我们需要用xpath告诉爬虫，去哪个位置进 ...
2021-3-3 16:40
-
- 实验Jupyter Notebook的code cell的输出结果
-
Jupyter Notebook是数据探索和数据分析的必不可少的工具。另外，一些探索性的数据计算、可视化都可以在上面进行，交互式的工作方式，而且同时把探索过程记录成文档，而不是编程与写文档分离，这个特点很适合在项目可 ...
2021-2-28 11:43
-
- 用Jupyter notebook写文档的常用格式
-
本文收集常用的文档格式，Markdown的例子可以参看Jupyter的官方文档《Working with Markdown Cells》。以前写文档主要使用MediaWiki，其实这类文档的格式很类似，虽然使用了不同的格式符号，但是基本上是一一对应的 ...
2021-2-28 11:22
-
- 用Jupyter Notebook的模板管理数据分析过程
-
CookieCutter的开发者在 Building a Repeatable Data Analysis Process with Jupyter Notebooks 一文讲解了怎样规划数据分析项目的目录结构和notebook的结构，跟《Jupyter Notebook在机器学习领域的项目目录结构规划 ...
2021-2-19 10:12
-
- Jupyter Notebook在机器学习领域的项目目录结构规划
-
在我看来，合理规划磁盘上的文件夹层次是高效工作的关键保障，而数据分析师更应该具有这个素质，所以，目录结构规划不局限于一个个Jupyter Notebook项目（project）内部，而是整个磁盘存储空间。本文只展示一个规划 ...
2021-2-18 12:39
-
- 统计学中的二项分布、负二项分布、几何分布、泊松分布有什么关系 ... ...
-
用概率理论求解实际问题，可以总结出来一个套路，这里面最关键的是step 1和step 2。step 1: Define the experiment;step 2: List the simple events。面对一个问题，最关键的是把握住：要观察什么，并且列出来所有可 ...
2021-2-18 11:35
-
- 自动输入关键词采集搜索结果信息—以人民网搜索为例
-
如果网页上有搜索框，但是搜索结果页面没有独立网址，想要采集搜索结果，直接做采集任务是采集不到的，要先做连续动作（输入+点击）来实现自动输入关键词并搜索，然后才能采集数据。下面以人民网关键词搜索为例，演 ...
2021-2-7 18:12
-
- 利用重加载防止采集微博博主消息列表中断
-
采集微博博主的所有微博需要翻页，而且需要开启网络爬虫软件的自动滚屏功能。因为微博博主发布的微博消息列表很长，不滚屏就不会加载完整。翻页和滚屏过程中会遇到加载内容中断，比如，加载内容的旋转图标一直在旋转 ...
2021-1-29 17:48
