当前位置： 首页 > news >正文

用大模型学大模型03-数学基础 概率论 随机变量 概率分布

news 来源：原创 2025/7/2 19:42:47

deepseek.com:什么是概率，什么是随机变量？深度学习中常用概率的分布有哪些？

1. 什么是概率？

概率是描述事件发生的可能性的数值，范围在 0 到 1 之间：

  • 0：事件不可能发生。
  • 1：事件必然发生。
  • 0.5：事件有一半的可能性发生。

概率用于量化不确定性，是机器学习和深度学习的核心概念之一。

2. 什么是随机变量？

随机变量是将随机事件的结果映射到数值的函数，分为两种类型：

  • 离散随机变量：取有限或可数无限个值（如掷骰子的结果）。
  • 连续随机变量：取无限不可数的值（如某地区的温度）。

随机变量通常用大写字母表示（如 X X X），其具体取值用小写字母表示（如 x x x）。

3. 深度学习中常用的概率分布

深度学习中使用多种概率分布来描述数据和模型的随机性，以下是一些常见的分布：

（1）离散分布

  1. 伯努利分布（Bernoulli Distribution）：

    • 描述二值随机变量（如抛硬币）。
    • 参数： p p p（事件发生的概率）。
    • 公式： P ( X = 1 ) = p P(X=1) = p P(X=1)=p， P ( X = 0 ) = 1 − p P(X=0) = 1-p P(X=0)=1−p。

  2. 二项分布（Binomial Distribution）：

    • 描述 n n n次独立伯努利试验中成功的次数。
    • 参数： n n n（试验次数）， p p p（每次成功的概率）。
    • 公式： P ( X = k ) = C ( n , k ) ⋅ p k ⋅ ( 1 − p ) n − k P(X=k) = C(n,k) \cdot p^k \cdot (1-p)^{n-k} P(X=k)=C(n,k)⋅pk⋅(1−p)n−k。

  3. 多项分布（Multinomial Distribution）：

    • 伯努利分布的推广，描述多类别随机变量。
    • 参数：试验次数 n n n，概率向量 p = ( p 1 , p 2 , … , p k ) \mathbf{p} = (p_1, p_2, \dots, p_k) p=(p1​,p2​,…,pk​)。
    • 公式： P ( X 1 = x 1 , X 2 = x 2 , … , X k = x k ) = n ! x 1 ! x 2 ! … x k ! p 1 x 1 p 2 x 2 … p k x k P(X_1=x_1, X_2=x_2, \dots, X_k=x_k) = \frac{n!}{x_1! x_2! \dots x_k!} p_1^{x_1} p_2^{x_2} \dots p_k^{x_k} P(X1​=x1​,X2​=x2​,…,Xk​=xk​)=x1​!x2​!…xk​!n!​p1x1​​p2x2​​…pkxk​​。
（2）连续分布

  1. 均匀分布（Uniform Distribution）：

    • 描述区间内所有值概率相等的随机变量。
    • 参数：区间 [ a , b ] [a, b] [a,b]。
    • 公式： f ( x ) = 1 b − a f(x) = \frac{1}{b-a} f(x)=b−a1​， x ∈ [ a , b ] x \in [a, b] x∈[a,b]。

  2. 正态分布（Normal Distribution / Gaussian Distribution）：

    • 描述大量独立随机变量的总和。
    • 参数：均值 μ \mu μ，方差 σ 2 \sigma^2 σ2。
    • 公式： f ( x ) = 1 2 π σ 2 exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) f(x)=2πσ2 ​1​exp(−2σ2(x−μ)2​)。

  3. 指数分布（Exponential Distribution）：

    • 描述事件发生的时间间隔。
    • 参数： λ \lambda λ（事件发生率）。
    • 公式： f ( x ) = λ e − λ x f(x) = \lambda e^{-\lambda x} f(x)=λe−λx， x ≥ 0 x \geq 0 x≥0。

  4. 拉普拉斯分布（Laplace Distribution）：

    • 类似正态分布，但尾部更重。
    • 参数：位置参数 μ \mu μ，尺度参数 b b b。
    • 公式： f ( x ) = 1 2 b exp ⁡ ( − ∣ x − μ ∣ b ) f(x) = \frac{1}{2b} \exp\left(-\frac{|x-\mu|}{b}\right) f(x)=2b1​exp(−b∣x−μ∣​)。

  5. Beta 分布（Beta Distribution）：

    • 描述区间 [ 0 , 1 ] [0, 1] [0,1]上的随机变量。
    • 参数： α \alpha α， β \beta β。
    • 公式： f ( x ) = x α − 1 ( 1 − x ) β − 1 B ( α , β ) f(x) = \frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha, \beta)} f(x)=B(α,β)xα−1(1−x)β−1​，其中 B ( α , β ) B(\alpha, \beta) B(α,β)是 Beta 函数。

  6. Gamma 分布（Gamma Distribution）：

    • 描述正值的随机变量。
    • 参数：形状参数 k k k，尺度参数 θ \theta θ。
    • 公式： f ( x ) = x k − 1 e − x / θ θ k Γ ( k ) f(x) = \frac{x^{k-1} e^{-x/\theta}}{\theta^k \Gamma(k)} f(x)=θkΓ(k)xk−1e−x/θ​，其中 Γ ( k ) \Gamma(k) Γ(k)是 Gamma 函数。
（3）深度学习中的常见应用
  • 正态分布：用于初始化神经网络权重（如 Xavier 初始化、He 初始化）。
  • 伯努利分布：用于二分类问题（如逻辑回归）。
  • 多项分布：用于多分类问题（如 Softmax 输出）。
  • Beta 分布：用于贝叶斯优化和概率建模。
  • 拉普拉斯分布：用于稀疏性建模（如 L1 正则化）。

4. 总结

  • 概率：描述事件发生的可能性。
  • 随机变量：将随机事件映射为数值的函数。
  • 常用分布：深度学习中使用多种分布（如正态分布、伯努利分布、多项分布等）来描述数据和模型的随机性。

这些分布在深度学习中被广泛用于模型设计、优化和推理。

deepseek.com:上述所说的分布中，随机事件的结果是什么？映射到数值的函数是什么

在概率论中，随机事件的结果和随机变量是两个核心概念。下面我们详细解释这两个问题，并结合具体的概率分布来说明。

1. 随机事件的结果是什么？

随机事件的结果是指某个随机试验的可能输出。例如：

  • 抛硬币：结果是“正面”或“反面”。
  • 掷骰子：结果是 1、2、3、4、5 或 6。
  • 测量温度：结果是某个实数值（如 25.3°C）。

随机事件的结果可以是离散的（如抛硬币、掷骰子）或连续的（如测量温度）。

2. 映射到数值的函数是什么？

随机变量是将随机事件的结果映射到数值的函数。它的作用是将随机事件的结果量化，以便进行数学分析。

举例说明：

  1. 抛硬币：

    • 随机事件的结果：{正面, 反面}。
    • 随机变量 X X X的定义：
      X ( 正面 ) = 1 , X ( 反面 ) = 0 X(\text{正面}) = 1, \quad X(\text{反面}) = 0 X(正面)=1,X(反面)=0
    • 这里，随机变量 X X X将“正面”映射为 1，“反面”映射为 0。

  2. 掷骰子：

    • 随机事件的结果：{1, 2, 3, 4, 5, 6}。
    • 随机变量 Y Y Y的定义：
      Y ( 结果 ) = 结果对应的数值 Y(\text{结果}) = \text{结果对应的数值} Y(结果)=结果对应的数值
    • 例如， Y ( 掷出 3 ) = 3 Y(\text{掷出 3}) = 3 Y(掷出 3)=3。

  3. 测量温度：

    • 随机事件的结果：某个实数值（如 25.3°C）。
    • 随机变量 T T T的定义：
      T ( 温度 ) = 温度值 T(\text{温度}) = \text{温度值} T(温度)=温度值
    • 例如， T ( 25.3°C ) = 25.3 T(\text{25.3°C}) = 25.3 T(25.3°C)=25.3。

3. 结合具体分布说明

以下是一些常见分布中随机事件的结果和随机变量的映射：

（1）伯努利分布（Bernoulli Distribution）
  • 随机事件的结果：{成功, 失败}。
  • 随机变量 X X X：
    X ( 成功 ) = 1 , X ( 失败 ) = 0 X(\text{成功}) = 1, \quad X(\text{失败}) = 0 X(成功)=1,X(失败)=0
  • 概率分布：
    P ( X = 1 ) = p , P ( X = 0 ) = 1 − p P(X=1) = p, \quad P(X=0) = 1-p P(X=1)=p,P(X=0)=1−p
（2）二项分布（Binomial Distribution）
  • 随机事件的结果： n n n次独立伯努利试验中成功的次数（0, 1, 2, …, n）。
  • 随机变量 X X X：
    X ( 成功次数 ) = k ( k = 0 , 1 , 2 , … , n ) X(\text{成功次数}) = k \quad (k = 0, 1, 2, \dots, n) X(成功次数)=k(k=0,1,2,…,n)
  • 概率分布：
    P ( X = k ) = C ( n , k ) ⋅ p k ⋅ ( 1 − p ) n − k P(X=k) = C(n,k) \cdot p^k \cdot (1-p)^{n-k} P(X=k)=C(n,k)⋅pk⋅(1−p)n−k
（3）正态分布（Normal Distribution）
  • 随机事件的结果：任意实数值（如测量温度、身高）。
  • 随机变量 X X X：
    X ( 测量值 ) = x ( x ∈ R ) X(\text{测量值}) = x \quad (x \in \mathbb{R}) X(测量值)=x(x∈R)
  • 概率分布：
    f ( x ) = 1 2 π σ 2 exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) f(x)=2πσ2 ​1​exp(−2σ2(x−μ)2​)
（4）均匀分布（Uniform Distribution）
  • 随机事件的结果：某个区间 [ a , b ] [a, b] [a,b]内的任意实数值。
  • 随机变量 X X X：
    X ( 取值 ) = x ( x ∈ [ a , b ] ) X(\text{取值}) = x \quad (x \in [a, b]) X(取值)=x(x∈[a,b])
  • 概率分布：
    f ( x ) = 1 b − a ( x ∈ [ a , b ] ) f(x) = \frac{1}{b-a} \quad (x \in [a, b]) f(x)=b−a1​(x∈[a,b])
（5）多项分布（Multinomial Distribution）
  • 随机事件的结果： n n n次独立试验中，每个类别出现的次数。
  • 随机变量 X = ( X 1 , X 2 , … , X k ) \mathbf{X} = (X_1, X_2, \dots, X_k) X=(X1​,X2​,…,Xk​)：
    X i ( 类别  i 出现的次数 ) = x i ( i = 1 , 2 , … , k ) X_i(\text{类别 } i \text{ 出现的次数}) = x_i \quad (i = 1, 2, \dots, k) Xi​(类别 i 出现的次数)=xi​(i=1,2,…,k)
  • 概率分布：
    P ( X 1 = x 1 , X 2 = x 2 , … , X k = x k ) = n ! x 1 ! x 2 ! … x k ! p 1 x 1 p 2 x 2 … p k x k P(X_1=x_1, X_2=x_2, \dots, X_k=x_k) = \frac{n!}{x_1! x_2! \dots x_k!} p_1^{x_1} p_2^{x_2} \dots p_k^{x_k} P(X1​=x1​,X2​=x2​,…,Xk​=xk​)=x1​!x2​!…xk​!n!​p1x1​​p2x2​​…pkxk​​

4. 总结

  • 随机事件的结果：随机试验的可能输出（如抛硬币的“正面”或“反面”）。
  • 随机变量：将随机事件的结果映射到数值的函数（如将“正面”映射为 1，“反面”映射为 0）。
  • 概率分布：描述随机变量取值的概率规律（如伯努利分布、正态分布等）。

通过随机变量，我们可以将抽象的随机事件转化为具体的数值，从而利用数学工具进行分析和建模。

deepseek.com:这些概率分布在深度学习中的哪些场景有应用？

在深度学习中，概率分布广泛应用于模型设计、优化、推理和生成任务中。以下是这些分布在深度学习中的具体应用场景：

1. 伯努利分布（Bernoulli Distribution）

  • 应用场景：
    • 二分类问题：如逻辑回归（Logistic Regression）中，模型的输出可以看作是一个伯努利分布，表示某个类别的概率。
    • Dropout：在训练神经网络时，Dropout 随机将神经元的输出置为 0，可以看作是一个伯努利分布。
    • 生成模型：在生成对抗网络（GAN）中，判别器的输出可以看作是一个伯努利分布，表示输入数据是真实数据的概率。

2. 二项分布（Binomial Distribution）

  • 应用场景：
    • 多批次训练：在深度学习中，训练数据通常被分成多个批次（mini-batch），每个批次的损失可以看作是二项分布的样本。
    • 模型评估：在分类任务中，模型的准确率可以看作是多次独立伯努利试验的结果，服从二项分布。

3. 多项分布（Multinomial Distribution）

  • 应用场景：
    • 多分类问题：在 Softmax 回归中，模型的输出是一个多项分布，表示每个类别的概率。
    • 语言模型：在自然语言处理（NLP）中，语言模型预测下一个词的概率分布可以看作是一个多项分布。
    • 词嵌入：在 Word2Vec 等词嵌入模型中，目标词的预测可以看作是一个多项分布。

4. 正态分布（Normal Distribution / Gaussian Distribution）

  • 应用场景：
    • 权重初始化：在神经网络中，权重通常使用正态分布进行初始化（如 Xavier 初始化、He 初始化）。
    • 正则化：在贝叶斯神经网络中，权重的先验分布通常假设为正态分布。
    • 变分自编码器（VAE）：在 VAE 中，潜在变量的分布通常假设为正态分布。
    • 噪声建模：在生成模型（如 GAN）中，噪声输入通常服从正态分布。

5. 均匀分布（Uniform Distribution）

  • 应用场景：
    • 权重初始化：在某些情况下，神经网络的权重可以使用均匀分布进行初始化。
    • 数据增强：在图像处理中，随机裁剪、旋转等操作可以看作是均匀分布的应用。
    • 随机搜索：在超参数优化中，随机搜索可以使用均匀分布来采样超参数。

6. 指数分布（Exponential Distribution）

  • 应用场景：
    • 时间序列建模：在时间序列数据中，事件发生的时间间隔可以建模为指数分布。
    • 强化学习：在强化学习中，某些策略的探索可以基于指数分布。

7. 拉普拉斯分布（Laplace Distribution）

  • 应用场景：
    • 稀疏性建模：在 L1 正则化中，拉普拉斯分布被用作权重的先验分布，以促进稀疏性。
    • 噪声建模：在某些生成模型中，拉普拉斯分布被用来建模噪声。

8. Beta 分布（Beta Distribution）

  • 应用场景：
    • 贝叶斯优化：在超参数优化中，Beta 分布被用来建模超参数的概率分布。
    • 多臂赌博机问题：在强化学习中，Beta 分布被用来建模每个动作的成功概率。

9. Gamma 分布（Gamma Distribution）

  • 应用场景：
    • 正则化：在贝叶斯神经网络中，Gamma 分布被用作某些超参数（如精度）的先验分布。
    • 时间间隔建模：在时间序列数据中，Gamma 分布被用来建模事件发生的时间间隔。

10. Dirichlet 分布（Dirichlet Distribution）

  • 应用场景：
    • 主题模型：在 Latent Dirichlet Allocation (LDA) 中，Dirichlet 分布被用来建模主题分布。
    • 多分类问题：在贝叶斯多分类问题中，Dirichlet 分布被用作类别的先验分布。

总结

概率分布在深度学习中的应用非常广泛，涵盖了模型设计、优化、推理和生成任务等多个方面。以下是一些常见的应用场景：

分布类型应用场景
伯努利分布二分类问题、Dropout、生成模型
二项分布多批次训练、模型评估
多项分布多分类问题、语言模型、词嵌入
正态分布权重初始化、正则化、变分自编码器、噪声建模
均匀分布权重初始化、数据增强、随机搜索
指数分布时间序列建模、强化学习
拉普拉斯分布稀疏性建模、噪声建模
Beta 分布贝叶斯优化、多臂赌博机问题
Gamma 分布正则化、时间间隔建模
Dirichlet 分布主题模型、贝叶斯多分类问题

通过合理选择和使用这些分布，可以更好地建模数据的不确定性，并提升深度学习模型的性能。

期望和方差参见

https://metaso.cn/s/XqbT3Qe
根据您的需求，我将为您整理一个入门级的概率论与统计学教程，涵盖随机变量、概率分布、期望与方差等内容，并结合具体实例进行说明。以下是详细的讲解：

一、概率基础

概率是描述随机事件发生可能性的数学工具，其值介于0到1之间，表示事件发生的可能性大小。例如，抛掷一枚公平的硬币，出现正面的概率为0.5。

二、随机变量

随机变量是将随机试验的结果映射到实数集上的函数，分为离散型和连续型两种类型：

  1. 离散型随机变量：取值为有限或可数无限多个值。例如，掷骰子的结果（1到6）是离散型随机变量。
  2. 连续型随机变量：取值为某一区间内的任意实数。例如，测量某地一天的温度值是连续型随机变量。
具体例子：
  • 离散型随机变量：假设掷两次骰子，记录两次点数之和。可能的取值为2到12，这是一个有限的离散型随机变量。
  • 连续型随机变量：假设测量某地一天的降雨量，其可能的取值范围为[0, ∞)，这是一个连续型随机变量。

三、概率分布

概率分布描述了随机变量取值的概率规律，分为离散型和连续型概率分布：

  1. 离散型概率分布：通过概率质量函数（PMF）描述。例如：
    • 二项分布：描述n次独立伯努利试验中成功次数的概率分布。设每次试验成功的概率为p，则二项分布的概率质量函数为：
      P ( X = k ) = C n k p k ( 1 − p ) n − k P(X = k) = C_n^k p^k (1-p)^{n-k} P(X=k)=Cnk​pk(1−p)n−k

其中， C n k C_n^k Cnk​为组合数，表示从n次试验中选择k次成功的方案数。

  • 泊松分布：用于描述单位时间内某事件发生的次数。设事件发生的平均次数为λ，则泊松分布的概率质量函数为：
    P ( X = k ) = e − λ λ k k ! P(X = k) = \frac{e^{-\lambda} \lambda^k}{k!} P(X=k)=k!e−λλk​

泊松分布常用于词频统计等场景。

  1. 连续型概率分布：通过概率密度函数（PDF）描述。例如：
    • 正态分布（高斯分布） ：具有钟形曲线，常用于描述自然和社会现象中的数据。其概率密度函数为：
      f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x)=2π ​σ1​e−2σ2(x−μ)2​

其中，μ为均值，σ为标准差。

  • 均匀分布：在区间[a, b]内取值的概率相等。其概率密度函数为：
    f ( x ) = 1 b − a , a ≤ x ≤ b f(x) = \frac{1}{b-a}, \quad a \leq x \leq b f(x)=b−a1​,a≤x≤b

均匀分布在神经网络权重初始化中经常被使用。

具体例子：
  • 二项分布：假设抛掷一枚硬币10次，计算出现正面次数的概率分布。若正面出现的概率为0.5，则该问题可以用二项分布描述。
  • 泊松分布：假设某网站每分钟收到的访问请求次数为3次，则可以用泊松分布描述该网站在任意一小时内收到的总访问请求次数。
  • 正态分布：假设某城市居民的身高服从均值为170cm、标准差为5cm的正态分布，则可以计算身高在165cm到175cm之间的概率。

四、期望与方差

  1. 期望（均值） ：衡量随机变量的中心位置，定义为所有可能取值的加权平均值。

    • 离散型随机变量的期望公式为：
      E ( X ) = ∑ x x P ( X = x ) E(X) = \sum_{x} x P(X = x) E(X)=x∑​xP(X=x)

    • 连续型随机变量的期望公式为：
      E ( X ) = ∫ − ∞ ∞ x f ( x ) d x E(X) = \int_{-\infty}^{\infty} x f(x) dx E(X)=∫−∞∞​xf(x)dx

    例如，对于二项分布，其期望为np。

  2. 方差：衡量随机变量取值的离散程度，定义为随机变量与其期望的偏差平方的期望值。

    • 离散型随机变量的方差公式为：
      V a r ( X ) = E [ ( X − E ( X ) ) 2 ] = ∑ x ( x − E ( X ) ) 2 P ( X = x ) Var(X) = E[(X - E(X))^2] = \sum_{x} (x - E(X))^2 P(X = x) Var(X)=E[(X−E(X))2]=x∑​(x−E(X))2P(X=x)

    • 连续型随机变量的方差公式为：
      V a r ( X ) = E [ ( X − E ( X ) ) 2 ] = ∫ − ∞ ∞ ( x − E ( X ) ) 2 f ( x ) d x Var(X) = E[(X - E(X))^2] = \int_{-\infty}^{\infty} (x - E(X))^2 f(x) dx Var(X)=E[(X−E(X))2]=∫−∞∞​(x−E(X))2f(x)dx

    例如，对于二项分布，其方差为np(1-p)。

具体例子：
  • 期望与方差计算：假设掷一枚骰子，其结果为1到6。计算其期望和方差。
    • 期望 E ( X ) = 1 + 2 + 3 + 4 + 5 + 6 6 = 3.5 E(X) = \frac{1+2+3+4+5+6}{6} = 3.5 E(X)=61+2+3+4+5+6​=3.5。
    • 方差 V a r ( X ) = ( 1 − 3.5 ) 2 + ( 2 − 3.5 ) 2 + . . . + ( 6 − 3.5 ) 2 6 = 2.9167 Var(X) = \frac{(1-3.5)^2 + (2-3.5)^2 + ... + (6-3.5)^2}{6} = 2.9167 Var(X)=6(1−3.5)2+(2−3.5)2+...+(6−3.5)2​=2.9167。

五、实例分析

以下通过一个简单的实例来说明上述概念的应用：

实例：掷骰子与期望计算

假设掷一枚骰子，记录其点数。定义随机变量 X X X 表示掷出的点数。

  1. 概率分布：

    • P ( X = 1 ) = P ( X = 2 ) = . . . = P ( X = 6 ) = 1 6 P(X=1) = P(X=2) = ... = P(X=6) = \frac{1}{6} P(X=1)=P(X=2)=...=P(X=6)=61​。
    • 概率质量函数为：
      P ( X = k ) = 1 6 , k = 1 , 2 , . . . , 6 P(X = k) = \frac{1}{6}, \quad k = 1, 2, ..., 6 P(X=k)=61​,k=1,2,...,6

  2. 期望计算：

    • 根据期望公式：
      E ( X ) = 1 ⋅ P ( X = 1 ) + 2 ⋅ P ( X = 2 ) + . . . + 6 ⋅ P ( X = 6 ) E(X) = 1 \cdot P(X=1) + 2 \cdot P(X=2) + ... + 6 \cdot P(X=6) E(X)=1⋅P(X=1)+2⋅P(X=2)+...+6⋅P(X=6)

计算得：
E ( X ) = 1 ⋅ 1 6 + 2 ⋅ 1 6 + . . . + 6 ⋅ 1 6 = 3.5 E(X) = 1 \cdot \frac{1}{6} + 2 \cdot \frac{1}{6} + ... + 6 \cdot \frac{1}{6} = 3.5 E(X)=1⋅61​+2⋅61​+...+6⋅61​=3.5

  1. 方差计算：
    • 根据方差公式：
      V a r ( X ) = E [ ( X − E ( X ) ) 2 ] = ( 1 − 3.5 ) 2 ⋅ 1 6 + ( 2 − 3.5 ) 2 ⋅ 1 6 + . . . + ( 6 − 3.5 ) 2 ⋅ 1 6 Var(X) = E[(X - E(X))^2] = (1-3.5)^2 \cdot \frac{1}{6} + (2-3.5)^2 \cdot \frac{1}{6} + ... + (6-3.5)^2 \cdot \frac{1}{6} Var(X)=E[(X−E(X))2]=(1−3.5)2⋅61​+(2−3.5)2⋅61​+...+(6−3.5)2⋅61​

计算得：
V a r ( X ) = 2.9167 Var(X) = 2.9167 Var(X)=2.9167

六、总结

通过以上内容的学习，您已经掌握了概率论与统计学中关于随机变量、概率分布、期望与方差的基本概念及其计算方法。这些知识在深度学习中有着广泛的应用，例如神经网络权重初始化（均匀分布）、模型性能评估（期望与方差）等。

希望这个教程对您有所帮助！如果还有其他问题，请随时提问！

相关文章：

用大模型学大模型03-数学基础 概率论 随机变量 概率分布

deepseek.com:什么是概率，什么是随机变量？深度学习中常用概率的分布有哪些？ 1. 什么是概率？ 概率是描述事件发生的可能性的数值，范围在 0 到 1 之间： 0：事件不可能发生。1：事件必…...

编程日记 2025/7/2 19:42:47

ASP.NET Core 使用 FileStream 将 FileResult 文件发送到浏览器后删除该文件

FileStream 在向浏览器发送文件时节省了服务器内存和资源，但如果需要删除文件怎么办？本文介绍如何在发送文件后删除文件；用 C# 编写。 另请参阅：位图创建和下载 使用FileStream向浏览器发送数据效率更高，因为文件是从…...

编程日记 2025/7/2 19:35:35

如何使用DHTMLX Scheduler的拖放功能，在 JS 日程安排日历中创建一组相同的事件

DHTMLX Scheduler 是一个全面的调度解决方案，涵盖了与规划事件相关的广泛需求。假设您在我们的 Scheduler 文档中找不到任何功能，并且希望在我们的 Scheduler 文档中看到您的项目。在这种情况下，很可能可以使用自定义解决方案来实现此类功能。…...

编程日记 2025/6/29 21:38:42

UE_C++ —— Unreal Interfaces

目录 一，Declare an Interface in C 二，Interface Specifiers 三，Implement an Interface in C 四，Declare Interface Functions 五，C Only Interface Functions 六，Blueprint Callable Interface Fu…...

编程日记 2025/6/29 21:38:38

mapbox 从入门到精通 - 目录

👨‍⚕️ 主页： gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏：mapbox 从入门到精通 文章目录 一、🍀总目录1.1 ☘️ mapbox基础1.2 ☘️…...

编程日记 2025/6/29 21:38:30

CentOS搭建PPPOE服务器

一、安装软件包 yum -y install rp-pppoe 二、配置服务器 1.修改配置文件 打开/etc/ppp/pppoe-server-options文件 nano /etc/ppp/pppoe-server-options 编辑为以下内容： # PPP options for the PPPoE server # LIC: GPL require-pap require-chap login …...

编程日记 2025/7/1 9:25:14

在 CentOS 系统中配置交换空间（Swap）解决内存不足

🚀 作者主页： 有来技术 🔥 开源项目： youlai-mall ︱vue3-element-admin︱youlai-boot︱vue-uniapp-template 🌺 仓库主页： GitCode︱ Gitee ︱ Github 💖 欢迎点赞 👍 收藏 ⭐评论 …...

编程日记 2025/6/29 21:38:05

pytorch训练五子棋ai

有3个文件 game.py 五子棋游戏 mod.py 神经网络模型 xl.py 训练的代码 aigame.py 玩家与对战的五子棋 game.py class Game:def __init__(self, h, w):# 行数self.h h# 列数self.w w# 棋盘self.L [[- for _ in range(w)] for _ in range(h)]# 当前玩家 - 表示空 X先…...

编程日记 2025/6/29 21:37:49

超越DeepSeek R1的Moe开源大模型 Qwen2.5-max 和 Qwen Chat Web UI 的发布，阿里搅动AI生态

敲黑板，说重点，最近阿里推出的 Qwen2.5-max 和 Qwen Chat Web UI，将对AI生态又一次冲击。 说冲击，因为 DeepSeek R1的热潮还未散退的情况下，由于服务器压力不能注册新的API，然后价格涨价，服务有…...

编程日记 2025/7/1 15:25:45

动态规划两个数组的dp问题系列一＞两个字符串的最小ASCII 删除和

这里写目录标题 题目解析：状态表示：状态转移方程：初始化：填表顺序：返回值：代码呈现： 题目解析： 状态表示： 状态转移方程： 初始化： 填表顺序&#…...

编程日记 2025/7/1 19:47:10

【C语言】程序环境与预处理

目录 程序的翻译环境和执行环境 粗谈编译链接 翻译环境 编译的几个阶段及链接 运行环境 预处理详解 预定义符号 #define #define 定义标识符 #define 定义宏 #define 替换规则 #和## 带副作用的宏参数 宏和函数的对比 命名约定 #undef 命令行定义 条件编译 …...

编程日记 2025/6/29 21:37:02

DeepSeek 背后的技术：GRPO，基于群组采样的高效大语言模型强化学习训练方法详解

强化学习（Reinforcement Learning, RL）已成为提升大型语言模型（Large Language Models, LLMs）推理能力的重要技术手段，特别是在需要复杂推理的任务中。DeepSeek 团队在 DeepSeek-Math [2] 和 DeepSeek-R1 [3] 模型中的…...

编程日记 2025/7/1 14:55:30

AnythingLLM打造私有知识库

一、 OllamaDeepSeek安装 https://blog.csdn.net/Stestack/article/details/145405151?spm1001.2014.3001.5502二、 nomic-embed-text nomic-embed-text主要用于文本嵌入和句子相似度任务，能够将这些任务应用于分类、聚类、检索等多种自然语言处理场景。该模型在…...

编程日记 2025/7/2 19:42:07

springboot多数据源事务管理

在Java应用中，使用多数据源时，事务管理是一个常见且复杂的问题。由于每个数据源都有自己的事务管理器，跨多个数据源的事务管理需要特别处理。以下是几种常见的解决方案： 1. JTA（Java Transaction API） JT…...

编程日记 2025/7/1 16:43:58

Lineageos 22.1 aosp15 定制学习专栏介绍

一.前言 学习了一段时间的rom开发，需求也大概做了一些，但是一直没有记录下来总结，这个专栏开始会基于如下平台开始尝试做一些常见模块的需求定制，记录学习，如果有错误欢迎指正，大家一起学习!至于pixel编译…...

编程日记 2025/7/1 17:46:36

win10中mstsc远程Centos-Stream 9图形化界面

文章目录 1 前置状态2 安装配置XRDP3 关闭SELinux3.1 查看selinux状态3.2 关闭selinux 4 启动XRDP5 Win10远程连接测试 1 前置状态 已安装CentOS9桌面版；Windows10。 2 安装配置XRDP sudo yum install epel-release sudo yum install xrdp sudo yum install tige…...

编程日记 2025/7/1 11:57:00

【Deepseek】解决Deepseek服务器繁忙的问题

随着Deepseek的爆火越来越多的人使用Deepseek,就导致很多情况下出现服务器繁忙的情况。本博客将讲述如何使用Deepseek不卡顿或者出现服务器繁忙的情况。 一.绕开官方服务器 现在无论是网页版还是app都是在访问【深度求索】的官方服务器，所以才会出现服务器繁忙的…...

编程日记 2025/7/1 7:41:33

【实战篇】室内设计师如何利用 DeepSeek 做设计：从灵感到落地的全方位指南

大家好！今天咱们来聊聊一个超级有趣的话题——室内设计师如何利用 DeepSeek 做设计。如果你是一名室内设计师，或者对室内设计感兴趣，那你一定知道，设计不仅仅是画画图、选选颜色那么简单。它涉及到灵感搜集、空间规划、材料选择、预算控制、客户沟通等一系列复杂的过程。而…...

编程日记 2025/7/1 20:20:41

从 ClickHouse 到 Apache Doris：在网易云音乐日增万亿日志数据场景下的落地

导读：日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案，替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度，规模达到…...

编程日记 2025/7/1 15:56:48

Linux执行一条命令并自动重试直到成功，自动化脚本

编辑filename.sh文件 sudo vim filename.shi 插入模式，编辑文件 # 定义函数来执行并重试每个命令 execute_with_retry() {local cmd"$1"while true; do# 执行命令，并将返回状态存储在STATUS变量中eval $cmdSTATUS$?# 检查命令是否成功&…...

编程日记 2025/7/1 11:50:19

洛谷 acwing刷题 有关图的存储形式和djstra算法的例题

在以往的408学习中，我们 往往采用邻接表和邻接矩阵解决图的存储问题， 但是经过刷题过程发现也有一种新的存储形式值得我们学习，废话不多说，直接上代码 讲解 初始的数组 int e[N], w[N], ne[N], h[H], idx; 算法过程 void add…...

编程日记 2025/7/2 15:45:31

SQL 大厂面试题目（由浅入深）

今天给大家带来一份大厂SQL面试覆盖：基础语法 → 复杂查询 → 性能优化 → 架构设计，大家需深入理解执行原理并熟悉实际业务场景的解决方案。 1. 基础查询与过滤 题目：查询 employees 表中所有薪资（salary）大于 10000…...

编程日记 2025/6/29 20:12:58

用 Python 实现 DeepSeek R1 本地化部署

DeepSeek R1 以其出色的表现脱颖而出，不少朋友想将其本地化部署，网上基于 ollama 的部署方式有很多，但今天我要带你领略一种全新的方法 —— 使用 Python 实现 DeepSeek R1 本地化部署，让你轻松掌握，打造属于自己的 AI…...

编程日记 2025/7/1 23:12:01

ToDesk远程打印详细设置步骤教学

很多小伙伴常有打印、远程打印的需求，特别是对于电商人、跨境电商、教师、产品经理、实验人员等群体来说掌握这项技能可谓是能够在很多场景下带来便捷，大幅提升做事效率！那么是否有方法可以随时随地实现这样需求呐？答案是肯定的&a…...

编程日记 2025/7/1 16:31:09

spring 学习 （注解）

目录 前言 常用的注解 须知 1 Conponent注解 demo（案例） 2 ControllerServiceRepository demo(案例） 3 ScopeLazyPostConstructPreDestroy demo(案例） 4 ValueAutowiredQualifierResource demo(案例） 5 Co…...

编程日记 2025/6/28 11:33:26

【学术投稿-第四届智能电网和绿色能源国际学术会议（ICSGGE 2025)】CSS基本选择器详解：掌握基础，轻松布局网页

可线上 官网：www.icsgge.org 时间：2025年2月28-3月2日 目录 前言 一、基本选择器简介 1. 元素选择器（Type Selector） 基本语法 示例 注意事项 2. 类选择器（Class Selector） 基本语法 示例 注意…...

编程日记 2025/6/29 20:39:58

5种解决方式来应对deepseek暂时无法回答

在工作中，你是否常常遇到deepseek回复“暂时无法回答”的情况？根据某权威机构的调研数据显示，约73%的用户在使用此类工具时遇到过类似问题，这严重影响了工作效率和体验。本文将为你提供5种实测有效的解决方法，帮助你快…...

编程日记 2025/7/1 23:54:29

【C/C++算法】从浅到深学习--- 二分查找（图文兼备 + 源码详解）

绪论：冲击蓝桥杯一起加油！！ 每日激励：“不设限和自我肯定的心态：I can do all things。 — Stephen Curry” 绪论​： 本章是算法篇章的第三章二分算法，本章主要是通过题目的形式来进行学习&…...

编程日记 2025/6/28 11:21:48

HTML之JavaScript使用JSON

HTML之JavaScript使用JSON JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。JSON是JavaScript对象的字符串表示法，它使用文本表示一个js对象的信息，可以将json字符串转换…...

编程日记 2025/7/1 13:35:16

elementui：element中el-dialog点击关闭按钮清除里面的内容和验证

问： element中el-dialog点击关闭按钮清除里面的内容和验证 回答： 在el-form中设置:before-close取消的回调函数就可以了...

编程日记 2025/7/2 4:24:36

从零搭建微服务项目（第5章——SpringBoot项目LogBack日志配置+Feign使用）

前言： 本章主要在原有项目上添加了日志配置，对SpringBoot默认的logback的配置进行了自定义修改，并详细阐述了xml文件配置要点（只对日志配置感兴趣的小伙伴可选择直接跳到第三节），并使用Feign代替原有RestT…...

编程日记 2025/6/29 21:33:29

传输层协议TCP (上)

文章目录 前言TCP报文格式TCP连接管理连接建立与中止三次握手三次握手的状态变化为什么是三次握手 四次挥手四次挥手的状态变化FIN_WAIT_2 状态可能导致连接长时间不释放的问题TIME_WAIT状态作用 复位报文段非法连接请求其他异常情况 半打开连接同时握手同时关闭 参考资料 前言…...

编程日记 2025/6/29 21:33:23

Proxmox 更新软件包数据库（TASK ERROR: command ‘apt-get update‘ failed: exit code 100）

1、连接自己报错的物理机Shell，编辑文件 vi /etc/apt/sources.list.d/pve-enterprise.list 2、注释文件的第一行在开头加上# 按I进入编辑模式后 开头添加# 然后shift： 输入wq或者wq！进行保存 3、注释后执行两个命令apt-get update 和 apt…...

编程日记 2025/7/1 10:49:01

java程序员进阶之路需要的学习过程

http://blog.csdn.net/qq_37267015/article/details/77108692...

编程日记 2025/7/2 4:56:52

C#01项目——计算器

实现需求: 可以连续相加，并记录计算表达式。 实现逻辑 1、利用字符串加减原则，获取相加的数值。 2、将数值存入到列表中，需要计算最终结果时，遍历列表中数值，全部相加 数字键 判断计算式长度是否超出上限根据运算…...

编程日记 2025/7/1 15:08:28

windows蓝牙驱动开发-在蓝牙配置文件驱动程序中接受 L2CAP 连接

L2CAP 服务器配置文件驱动程序会响应来自远程设备的传入逻辑链接控制和适应协议 (L2CAP) 连接请求。 例如，PDA 的 L2CAP 服务器配置文件驱动程序将响应来自 PDA 的传入连接请求。 接收传入 L2CAP 连接请求 1. 若要接收来自特定 PSM 的任何远程设备的传入 L2CAP 连…...

编程日记 2025/6/29 16:21:22

如何下载AndroidStudio的依赖的 jar，arr文件到本地

一、通过jitpack.io 下载依赖库 若需要下载 com.github.xxxxx:yy-zzz:0.0.2 的 jar则 https://jitpack.io/com/github/xxxxx/yy-zzz/0.0.2/ 下会列出如下build.logyy-zzz-0.0.2.jaryy-zzz-0.0.2.pomyy-zzz-0.0.2.pom.md5yy-zzz-0.0.2.pom.sha1jar 的下载路径为https://jitpack…...

编程日记 2025/7/1 9:12:27

QT笔记——QRadioButton

文章目录 1、概要2、实际的应用2.1、创建多个QRadioButton,只可同时选中其中一个，点击后实现对应的槽函数 1、概要 实现QRadioButton相关的应用；2、实际的应用 2.1、创建多个QRadioButton,只可同时选中其中一个，点击后实现对应的槽函数 创建…...

编程日记 2025/7/1 15:57:50

Vue 2 + Vite 项目集成 ESLint 和 Prettier

在 Vue 2 Vite 项目中集成 ESLint 和 Prettier 可以帮助你规范代码风格并自动格式化代码。以下是详细的步骤： 1. 安装 ESLint 和 Prettier 相关依赖 在项目根目录下运行以下命令，安装 ESLint、Prettier 和相关插件： npm install --save-de…...

编程日记 2025/6/29 21:27:52

uniapp canvas 生成海报并保存到相册

前言： 之前写过一篇canvas小程序画图只要是canvas各种方法的实际应用，有兴趣的小伙伴也可以看看 微信小程序：使用canvas 生成图片 并分享_小程序canvas生成图片-CSDN博客 上一篇文章是小试牛刀，这次是更加全面的记录生成海报的…...

编程日记 2025/7/2 15:42:10

无人机不等同轴旋翼架构设计应用探究

“结果显示，对于不等组合，用户应将较小的螺旋桨置于上游以提高能效，但若追求最大推力，则两个相等的螺旋桨更为理想。” 在近期的研究《不等同轴旋翼性能特性探究》中，Max Miles和Stephen D. Prior博士深入探讨了不同螺…...

编程日记 2025/6/29 21:31:04

C语言中隐式类型转换 截断和整型提升

C的整形算数总是至少以缺省整形类型的精度来进行的 为了获得这个精度 表达式中的字符和短整形操作数在使用之前被转换为普通整形 这种类型转换成为整型提升 给出代码实例↓ #include<stdio.h> int main() {//char signed charchar a 3;char b 127;char c a b;pri…...

编程日记 2025/7/1 16:25:24

R语言学习计划启动

R语言入门课 生信基地已然落地&#xff0c;我们希望能够给大家提供系统性、形成性、规范性的生信教学。前面几次活动中同学们表示希望能够有线下集中学习以及针对性的指导、答疑。所以&#xff0c;此次我们计划于2025年02月22日~23日(周六周日)推出"生信R语言入门课"…...

编程日记 2025/7/2 2:58:12

AI写代码工具时代：前端开发技能迭代的挑战与应对

近年来&#xff0c;人工智能&#xff08;AI&#xff09;技术飞速发展&#xff0c;深刻地改变着各个行业&#xff0c;前端开发领域也不例外。AI技术不仅带来了新的开发模式&#xff0c;也显著加快了前端开发技能的迭代速度&#xff0c;给前端工程师带来了巨大的挑战。本文将深入…...

编程日记 2025/7/1 17:08:33

消息队列之-springcloud-mq-stream 学习

背景： 开发中我们往往需要用到mq中间件进行消息处理，但是市面上的mq中间件实在太多了，导致我们在集成过程中困难重重，尤其在微服务当中，比如我们有一个订单模块、物流模块 他们都用到了mq，订单用的是rabbitmq 物流用的是kafka 导致当我们需要向这两个模块推送mq消息时，需…...

编程日记 2025/7/2 1:25:41

数据结构（考研）

线性表 顺序表 顺序表的静态分配 //线性表的元素类型为 ElemType//顺序表的静态分配 #define MaxSize10 typedef int ElemType; typedef struct{ElemType data[MaxSize];int length; }SqList;顺序表的动态分配 //顺序表的动态分配 #define InitSize 10 typedef struct{El…...

编程日记 2025/7/2 7:00:39

【16届蓝桥杯寒假刷题营】第1期DAY4

5.倍数区间 - 蓝桥云课 5. 倍数区间 问题描述 给定一个长度为 n 的数组 a&#xff0c;定义 f(i) 表示包含 ai​ 的最长区间长度&#xff0c;要求该区间中的所有数都是 ai​ 的倍数。请计算不同的 f(i) 的个数&#xff0c;其中 1≤i≤n。 输入格式 第一行包含一个正整数 n …...

编程日记 2025/6/29 21:30:23

「软件设计模式」适配器模式（Adapter）

软件设计模式深度解析&#xff1a;适配器模式&#xff08;Adapter&#xff09;&#xff08;C实现&#xff09; 一、模式概述 适配器模式&#xff08;Adapter Pattern&#xff09;是结构型设计模式中的"接口转换器"&#xff0c;它像现实世界中的电源适配器一样&#…...

编程日记 2025/7/2 17:25:31

进阶版MATLAB 3D柱状图

%% 1. 数据准备 % 假设数据是一个任意形式的矩阵 % 例如&#xff1a;5行 x 7列的矩阵 data [3 5 2 6 8 4 7;7 2 6 9 3 5 8;4 8 3 7 2 6 9;6 1 5 8 4 7 2;9 4 7 3 6 2 5];% 定义行和列的标签&#xff08;可选&#xff09; rowLabels {Row1, Row2, Row3, Row4, Row5}; % 行标签…...

编程日记 2025/6/29 21:30:08

【Elasticsearch】token filter分词过滤器

以下是Elasticsearch中常见的分词过滤器&#xff08;Token Filter&#xff09;的详细说明&#xff0c;基于搜索结果中的信息整理&#xff1a; 1.Apostrophe • 功能&#xff1a;处理文本中的撇号&#xff08;apostrophe&#xff09;&#xff0c;例如将“OReilly”转换为“ore…...

编程日记 2025/7/1 12:20:35