信息熵、交叉熵、相对熵

前言 信息论在1948年由香农提出，此后在各个工程技术领域都有广泛应用。 在机器学习领域，当然也包括自然语言处理领域，信息论是一个基础内容。离开信息论想要讨论清楚NLP是非常困难的。 因此，本文主要是为了给下一步的自然语言处理做理论基础铺垫，尽量不涉及公式，而是从直观的角度来理清信息论的直觉逻辑，这

Vincent 发布于 2024-07-07

常用损失函数

一、基本概念 在我们开始讨论损失函数之前，首先需要理解什么是损失函数，以及为什么我们需要它。 1.1 什么是损失函数 损失函数，也被称为代价函数或误差函数，是一个用来估计模型预测与真实值之间差异的函数。换句话说，损失函数可以帮助我们理解模型的预测结果有多糟糕。损失函数的值越小，说明模型的预测结果与真

Vincent 发布于 2024-07-07

数学基本概念

1.众数 出现频率最高的数 2.中位数 把样本值排序，分布在最中间的值； 样本总数为奇数时，中位数为第(n+1)/2个值； 样本总数为偶数时，中位数是第n/2个，第(n/2)+1个值的平均数。 3.平均数 所有数的总和除以样本数量； 现在大家接触最多的概念应该是平均数，

Vincent 发布于 2024-07-07

广播机制

本文默认你已知晓Numpy中的数组类ndarray来生成多维数组 提醒：不动手实践可不行噢，热热身且还不会出汗不挺好嘛 一、与数字运算 第一步：咱们来创建一个多维数组x1，简单点就来个3行3列的吧 # 导入包 import numpy as np # 使用np.array方法创建多维数组，数组中的

Vincent 发布于 2024-07-07

Trigonometric functions 三角函数|Algebra 代数|Math 数学|Khan Academy 可汗学院

Trigonometric functions 三角函数|Algebra 代数|Math 数学|Khan Academy 可汗学院 转自Bilibili - 3Blue1Brown 合集地址：

Vincent 发布于 2024-04-13

三角函数之歌

Vincent 发布于 2024-04-13

深入浅出、直观明了地分享数学之美 - 3Blue1Brown

几何 转自Bilibili - 3Blue1Brown 合集地址：几何

Vincent 发布于 2024-04-13

概率论 - 可汗学院

转自Bilibili - 婆婆町 合集地址：-UP主汉语配音-【概率】合集-转载于可汗学院公开课

Vincent 发布于 2024-04-13

深度学习 - 反向传播 - 3Blue1Brown

直观理解反向传播 反向传播的微积分原理

Vincent 发布于 2024-04-13

深度学习 - 神经网络的结构 - 3Blue1Brown

Vincent 发布于 2024-04-13

概率论 - 3Blue1Brown

贝叶斯定理，使概率论直觉化 贝叶斯定理的简洁证明

Vincent 发布于 2024-04-13

微积分的本质（7-12）

极限 积分与微积分的基本定理 面积

Vincent 发布于 2024-04-13

微积分的本质（1-6）

概论 导数的悖论 用几何来求导

Vincent 发布于 2024-04-13

线性代数的本质（11-15）

叉积的标准介绍 以线性变换的眼光看叉积

Vincent 发布于 2024-04-13

线性代数的本质（6-10）

三维空间的线性变换 行列式

Vincent 发布于 2024-04-13

线性代数的本质（1-5）

序言 向量的本质 线性组合、张成的空间与基<

Vincent 发布于 2024-04-13

符号对照表

Vincent 发布于 2024-04-12

Numpy

NumPy - 简介 NumPy 是一个 Python 包。 它代表 “Numeric Python”。 它是一个由多维数组对象和用于处理数组的例程集合组成的库。 Numeric，即 NumPy 的前身，是由 Jim Hugunin 开发的。 也开发了另一个包 Numarray ，它拥有一些额外的功

Vincent 发布于 2024-04-10

查阅文档

查阅文档 由于篇幅限制，本书不可能介绍每一个MXNet函数和类。 API文档、其他教程和示例提供了本书之外的大量文档。 本节提供了一些查看MXNet API的指导。 2.7.1. 查找模块中的所有函数和类 为了知道模块中可以调用哪些函数和类，可以调用dir函数。 例如，我们可以查询随机数生成模块中的

Vincent 发布于 2024-04-07

概率

概率 简单地说，机器学习就是做出预测。 根据病人的临床病史，我们可能想预测他们在下一年心脏病发作的概率。 在飞机喷气发动机的异常检测中，我们想要评估一组发动机读数为正常运行情况的概率有多大。 在强化学习中，我们希望智能体（agent）能在一个环境中智能地行动。 这意味着我们需要考虑在每种可行的行为下

Vincent 发布于 2024-04-07

自动微分

自动微分 正如 2.4节中所说，求导是几乎所有深度学习优化算法的关键步骤。 虽然求导的计算很简单，只需要一些基本的微积分。 但对于复杂的模型，手工进行更新是一件很痛苦的事情（而且经常容易出错）。 深度学习框架通过自动计算导数，即自动微分（automatic differentiation）来加快求导

Vincent 发布于 2024-04-07

微积分

微积分 在2500年前，古希腊人把一个多边形分成三角形，并把它们的面积相加，才找到计算多边形面积的方法。 为了求出曲线形状（比如圆）的面积，古希腊人在这样的形状上刻内接多边形。 如 图2.4.1所示，内接多边形的等长边越多，就越接近圆。 这个过程也被称为逼近法（method of exhaustio

Vincent 发布于 2024-04-07

线性代数

线性代数 在介绍完如何存储和操作数据后，接下来将简要地回顾一下部分基本线性代数内容。 这些内容有助于读者了解和实现本书中介绍的大多数模型。 本节将介绍线性代数中的基本数学对象、算术和运算，并用数学符号和相应的代码实现来表示它们。 2.3.1. 标量 如果你曾经在餐厅支付餐费，那么应该已经知道一些基本

Vincent 发布于 2024-04-07

数据预处理

数据预处理 为了能用深度学习来解决现实世界的问题，我们经常从预处理原始数据开始， 而不是从那些准备好的张量格式数据开始。 在Python中常用的数据分析工具中，我们通常使用pandas软件包。 像庞大的Python生态系统中的许多其他扩展包一样，pandas可以与张量兼容。 本节我们将简要介绍使用p

Vincent 发布于 2024-04-07

数据操作

数据操作 为了能够完成各种数据操作，我们需要某种方法来存储和操作数据。 通常，我们需要做两件重要的事：（1）获取数据；（2）将数据读入计算机后对其进行处理。 如果没有某种方法来存储数据，那么获取数据是没有意义的。 首先，我们介绍�维数组，也称为张量（tensor）。 使用过Python中NumPy计

Vincent 发布于 2024-04-07

知识概要

引言 时至今日，人们常用的计算机程序几乎都是软件开发人员从零编写的。 比如，现在开发人员要编写一个程序来管理网上商城。 经过思考，开发人员可能提出如下一个解决方案： 首先，用户通过Web浏览器（或移动应用程序）与应用程序进行交互； 紧接着，应用程序与数据库引擎进行交互，以保存交易历史记录并跟踪每个用

Vincent 发布于 2024-04-07