AI小白的第七天:必要的数学知识(概率)
概率 Probability
1. 概率的定义
概率是一个介于 0 和 1 之间的数,表示某个事件发生的可能性:
- 0:事件不可能发生。
- 1:事件必然发生。
- 0 到 1 之间:事件发生的可能性大小。
例如,掷一枚公平的硬币,正面朝上的概率是 0.5。
2. 概率的计算
(1)频率学派
抛一万次硬币,看硬币正面向上的概率。
P n ( x ) = n x n P_n(x)=\frac{n_x}{n} Pn(x)=nnx
- x x x代表证明朝上;
- n n n为实验总数;
- n x n_x nx为实验过程中发生x的次数。
这种方式,实验成本高,且误差不可控,概率始终是个近似值。
(2)古典学派
样本空间中,每个结果发生的可能性相等,则事件A的概率为:
P ( A ) = ∣ A ∣ ∣ S ∣ P(A)=\frac{|A|}{|S|} P(A)=∣S∣∣A∣
- 其中|A|是事件A的结果数
- |S|是样本空间的结果数
(3)贝叶斯学派
P ( A ∣ B ) = P ( B ∣ A ) ⋅ P ( A ) P ( B ) P(A|B)=\frac{P(B|A) \cdot P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)⋅P(A)
- P(A)表示事件A发生的概率,称为先验(prior)概率;
- P(B)表示事件B发生的概率,称为标准化常量或者证据(evidence);
- P(B|A)表示在事件A发生的条件下,事件B发生的概率,通常称之为可能性或者似然(likelihood);
- P(A|B)表示在事件B发生的条件下,事件A发生的概率,也称为后验(posterior),也就是表示了事件发生了,并且它属于某一类别的概率;
最大似然估计 Maximum Likelihood Estimation, MLE
1. 基本概念
- 参数估计:在统计学中,我们通常假设数据服从某个概率分布(如正态分布、泊松分布等),而分布的参数(如均值、方差)需要通过数据来估计。
- 似然函数:给定一组参数,似然函数描述了观测数据在该参数下出现的概率。
- 最大似然估计:通过最大化似然函数,找到最可能生成观测数据的参数值。
θ ^ = a r g m a x P ( X ∣ θ ) \hat \theta =argmaxP(X|\theta) θ^=argmaxP(X∣θ)
- θ ^ \hat \theta θ^ 是最优参数
- a r g m a x argmax argmax表示求使得 P ( X ∣ θ ) P(X|\theta) P(X∣θ)最大化的参数值。
2. 似然函数的定义
假设观测数据为 X = x 1 , x 2 , . . . , x 3 X={x_1,x_2,...,x_3} X=x1,x2,...,x3,且数据服从某个概率分布 P ( X ∣ θ ) P(X|\theta) P(X∣θ),其中 θ \theta θ是分布的参数。似然函数定义为
L ( θ ) = P ( X ∣ θ ) = ∏ i = 1 n P ( x i ∣ θ ) L(\theta)=P(X|\theta)=\prod_{i=1}^n P(x_i|\theta) L(θ)=P(X∣θ)=i=1∏nP(xi∣θ)
3. 最大似然估计的步骤
(1)写出似然函数
根据数据分布假设,写出似然函数 L ( θ ) L(θ) L(θ)。
(2)取对数似然函数
为了简化计算,通常对似然函数取对数,得到对数似然函数:
ln L ( θ ) = ∑ i = 1 n ln P ( x i ∣ θ ) \ln L(\theta) = \sum_{i=1}^n \ln P(x_i|\theta) lnL(θ)=i=1∑nlnP(xi∣θ)
(3)取对数似然函数
对对数似然函数关于参数 θ θ θ 求导,并令导数为零,求解使似然函数最大的参数值:
d d θ ln L ( θ ) = 0 \frac{d}{d\theta}\ln L(\theta) =0 dθdlnL(θ)=0
(4)求解参数
解上述方程,得到参数的估计值 θ ^ \hat \theta θ^。
关于“最大似然值估计”,我明白它干的事情了,但是过程现在实在是没搞懂,暂时先放一放,后面想通了以后专门出一篇理解的过程。
概率分布
在计算最大似然值的时候,要选对概率分布的类型。
a.伯努利分布(Bernoulli Distribution)**
- 定义:只有两个可能结果的单次试验的概率分布,即成功和失败。
- 参数:成功的概率 $p$(0 ≤ p ≤ 1)。
- 概率质量函数(PMF):P(X=1) = p, P(X=0) = 1-p。
b. 二项分布(Binomial Distribution)
- 定义:在固定次数的独立试验中,每次试验只有两种可能结果(成功或失败),且每次试验成功的概率相同的概率分布。
- 参数:试验次数 $n$ 和成功的概率 $p$。
- 概率质量函数(PMF):P(X=k) = C(n, k) × p^k × (1-p)^(n-k),其中 C(n, k) 是组合数,即从 n 个不同元素中取出 k 个元素的组合方式数量。
c. 泊松分布(Poisson Distribution)
- 定义:用于预测在固定时间间隔内某事件平均发生 $λ$ 次的条件下,该事件实际发生 $k$ 次的概率。
- 参数:事件发生的平均率 $λ$(λ > 0)。
- 概率质量函数(PMF):P(X=k) = (λ^k / k!) × e^(-λ)。
2. 连续型概率分布
a. 均匀分布(Uniform Distribution)
- 定义:在某一区间 [a, b] 内所有值出现的概率相等的概率分布。
- 参数:区间的下限 $a$ 和上限 $b$(a < b)。
- 概率密度函数(PDF):f(x) = 1 / (b - a)(当 a ≤ x ≤ b 时);否则 f(x) = 0。
b. 正态分布(Normal Distribution)/高斯分布(Gaussian Distribution)
- 定义:最常见的连续概率分布之一,许多自然现象都近似服从正态分布。
- 参数:均值 $μ$ 和标准差 $σ$(σ > 0)。
- 概率密度函数(PDF):f(x) = (1 / (√(2π)σ)) × e[-(x-μ)2 / (2σ^2)]。
c. 指数分布(Exponential Distribution)
- 定义:描述两个相继发生的事件之间的时间间隔的概率分布,常用于可靠性理论和排队论。
- 参数:率参数 $λ$(λ > 0),与泊松分布的 $λ$ 相关,但意义不同。
- 概率密度函数(PDF):f(x) = λe^(-λx)(当 x ≥ 0 时);否则 f(x) = 0。
3. 其他重要分布
a. 卡方分布(Chi-Squared Distribution)
- 定义:与正态分布的样本方差有关的概率分布,常用于假设检验。
- 参数:自由度 $ν$(ν 为正整数)。
b. t分布(Student’s t-Distribution)
- 定义:在小样本情况下估计总体均值的统计量的分布,常用于假设检验。
- 参数:自由度 $ν$(ν 为正整数)。
c. F分布(F-Distribution)
- 定义:两个独立的卡方分布变量的比率的分布,常用于方差分析。
- 参数:分子自由度 $ν_1$ 和分母自由度 $ν_2$(两者均为正整数)。
相关文章:
AI小白的第七天:必要的数学知识(概率)
概率 Probability 1. 概率的定义 概率是一个介于 0 和 1 之间的数,表示某个事件发生的可能性: 0:事件不可能发生。1:事件必然发生。0 到 1 之间:事件发生的可能性大小。 例如,掷一枚公平的硬币…...
SVN常用命令
SVN常用命令 基本操作命令 • 检出代码(Checkout):从SVN服务器获取代码到本地。 svn checkout [svn服务器url] [检出本地的path] 示例: svn checkout svn://47.106.183.193/helloworld ./ • 提交代码(Commit&…...
23种设计模式中的策略模式
在策略模式定义了一系列算法或策略,并将每个算法封装在独立的类中,使得它们可以互相替换。通过使用策略模式,可以在运行时根据需要选择不同的算法,而不需要修改客户端代码。 策略模式:Strategy。指的是,定义…...
车载通信方案为何选择CAN/CANFD?
摘要 随着汽车电子技术的飞速发展,车载通信系统在车辆的智能化、网联化进程中扮演着至关重要的角色。控制器局域网络(CAN)及其扩展版本CANFD凭借其卓越的可靠性、高效的数据传输能力和强大的抗干扰特性,成为现代汽车通信架构的核心…...
有价值的面试问题
迅雷一面 都是c和网络问题 了解epoll吗?解释下水平触发和边缘触发,医院的叫号系统应该算哪一种 c类a有成员b,成员b调用了a的函数,但是a不小心把b的成员删除了,会发生什么,怎么解决 c类a有一个static的函数…...
深度学习|表示学习|多头注意力在计算时常见的张量维度变换总结|28
如是我闻: 以下是多头注意力(Multi-Headed Attention)在计算时常见的张量维度变换总结,帮助理解从输入到输出是如何一步步处理的。为了方便,令: B B B 表示 batch size(批量大小) S …...
Mysql内置函数篇
🏝️专栏:Mysql_猫咪-9527的博客-CSDN博客 🌅主页:猫咪-9527-CSDN博客 “欲穷千里目,更上一层楼。会当凌绝顶,一览众山小。” 目录 7.函数 7.1 日期函数 函数总:编辑 获得当前日期 获得…...
使用事件监听器来处理并发环境中RabbitMQ的同步响应问题
RabbitListener 是 Spring AMQP 提供的核心注解,用于简化 RabbitMQ 消息监听器的创建。以下是对 RabbitListener(queues "balloonWords.queue") 的详细解析: 一、基础功能 队列监听 通过 queues 属性指定监听的队列名称(如 "…...
基于Java的班级事务管理系统(源码+lw+部署文档+讲解),源码可白嫖!
摘要 随着世界经济信息化、全球化的到来和电子商务的飞速发展,推动了很多行业的改革。若想达到安全,快捷的目的,就需要拥有信息化的组织和管理模式,建立一套合理、畅通、高效的线上管理系统。当前的班级事务管理存在管理效率低下…...
Rviz 同时显示多个独立 URDF!解决双机械臂+底盘等场景(球体+方块实例演示)
视频讲解: Rviz 同时显示多个独立 URDF!解决双机械臂底盘等场景(球体方块实例演示) 仓库地址:GitHub - LitchiCheng/ros2_package 有小伙伴留言说想看下同时使用多个独立的urdf如何配置,实际上这个场景是很…...
【C++】--- 类和对象(中)之日期类的实现
日期类的实现 1. 应该实现哪些默认成员函数 构造函数是需要自己来实现的,因为日期类的成员变量都是内置类型,是否初始化取决于编译器,这里可以给出一个带参全缺省的构造函数,由于日期类不需要申请资源,所有不用显式的实现析构函…...
kafka基础
一:消息队列(message queue [MQ]): 1.1消息队列解释:用来存储消息的队列 简单理解就是将需要的数据传输到队列里,队列可存可取,like 一个管道,但是与hdfs不同的是kafka作为临时存储 1.2消息队列中间件 消息队列中间件其实就是一个组件,简单例子就是用户对于服务器产…...
蓝桥杯第十届 特别的数
题目描述 小明对数位中含有 2、0、1、9 的数字很感兴趣(不包括前导 0),在 1 到 40 中这样的数包括 1、2、9、10 至 32、39 和 40,共 28 个,他们的和是 574。 请问,在 1 到 n 中,所有这样的数的…...
fpga pcie
pcie reg 介绍 debug pcie issue using lspci & setpci 介绍了lspci & setpci用法, 以及fpga pcie调试过程中重点关注的reg Lspci -tv Sudo lspci -vvv -s 18:00.0 Sudo lspci -nvmms 18:00.0 setpci --dumpregs setpci -s 18:00.0 COMMAND #&#x…...
模数转换电路(A/D转换器)
A/D转换,是将输入的模拟电压量转换成相应的数字量。 A/D转换器的类型很多,按工作原理可分为直接转换型和间接转换型两大类。前者直接将模拟电压量转换成数字量,后者是先将模拟电压量转换成一个中间量,再将中间量转换成数字量。 …...
PAT乙级1007
常规解法 #include <iostream> using namespace std;// 判断一个数是否为素数的函数 bool isprime(int a) {// 遍历 2 到 sqrt(a) 之间的数,判断 a 是否能被它们整除for (int i 2; i * i < a; i) {if (a % i 0) // 如果能整除,说明 a 不是素…...
代码随想录刷题day52|(二叉树篇)106.从中序与后序遍历序列构造二叉树
目录 一、二叉树理论知识 二、构造二叉树思路 2.1 构造二叉树流程(给定中序后序 2.2 整体步骤 2.3 递归思路 2.4 给定前序和后序 三、相关算法题目 四、易错点 一、二叉树理论知识 详见:代码随想录刷题day34|(二叉树篇)二…...
MTK平台 Android12-Android13 默认搜狗输入法
系统默认搜狗输入法功能实现 文章目录 需求:场景 参考资料需求实现内置搜狗输入法配置第三方apk .mk 和 搜狗安装包,不可卸载方式搜狗输入法module 配置到系统device.mk 中去 设置搜狗输入法为默认输入法给输入法授权,默认所有权限 总结思考 …...
vue3实现动态路由
文章目录 一、基础信息1.路由构成2.菜单配置表3.vue-router4方法 二、实现思路1.登录获取菜单配置表2.导航守卫3.添加动态路由4.渲染菜单5.退出登录删除动态路由 三、实现代码1.路由守卫2.基础路由文件3.添加动态路由逻辑4.待特殊处理路由配置表5.404类路由6.删除动态路由 场景…...
行为型设计模式
深入理解行为型设计模式:模板方法、观察者、责任链 设计模式是软件开发中解决常见问题的经典方案,而行为型设计模式尤其关注对象之间的职责分配与通信方式。本文将详细讲解模板方法模式、观察者模式和责任链模式。 一、模板方法模式(Templat…...
【服务器环境安装指南-指定 cuda 版本】在 Ubuntu 22.04 上完成 cuda-toolkit 12.0 和 cudnn 12.x 的安装教程
0.引言 在深度学习和高性能计算领域,CUDA 和 cuDNN 是不可或缺的工具。为充分发挥硬件性能,我们需要在服务器环境中正确配置这些工具。然而,安装过程中可能会遇到诸多挑战,例如版本兼容性和环境变量设置等问题。本篇文章将以 Ubu…...
蓝桥杯第十届 数的分解
题目描述 本题为填空题,只需要算出结果后,在代码中使用输出语句将所填结果输出即可。 把 2019 分解成 3 个各不相同的正整数之和,并且要求每个正整数都不包含数字 2 和 4,一共有多少种不同的分解方法? 注意交换 3 个…...
二叉搜索树
目录 概念 代码实现 成员 基本结构 查找 插入 删除 中序遍历 拷贝构造 赋值运算符重载 析构函数 递归实现 递归实现查找 递归实现插入 递归实现删除 概念 关于二叉树的基本结构已经进行过详细剖析,本篇博客将对一种特殊的二叉树进行分析。 二叉树&…...
Linux多线程详解
Linux多线程详解 一、Linux多线程概念1.1 什么是线程1.2 进程和线程1.3 进程的多个线程共享1.4 进程和线程的关系 二、Linux线程控制2.1 POSIX线程库2.2 线程创建2.3 获取线程ID pthread_self2.4 线程等待pthread_join2.5 线程终止2.6 线程栈 && pthread_t2.7 线程的局…...
攻防世界-web-1
Training-WWW-Robots 在URL后面加上/robots.txt 直接在URL后面添加/fl0g.php PHP2 他问我能不能登录这个网站,又因为考察php内容,在URL后面添加/index.php,无任何回显 试试/index.phps 分析一下代码,发现要用get方式上传idadmin,…...
笔记本+移动端维修全套教程
今天分享的是笔记本移动端维修全套教程(免费视频资料大全) 当自己手机或者电脑坏了,很多人都会想着去维修店铺修,但价格不透明,容易被坑,当自己了解一些之后,即使不会修,也可以对手…...
【STM32】知识点介绍二:GPIO引脚介绍
文章目录 一、概述二、GPIO的工作模式三、寄存器编程 一、概述 GPIO(英语:General-purpose input/output),即通用I/O(输入/输出)端口,是STM32可控制的引脚。STM32芯片的GPIO引脚与外部设备连接起来,可实现与外部通讯、…...
【STM32】GPIO
目录 1、什么是GPIO2、什么是GPIO组3、GPIO的基本结构4、GPIO位结构5、GPIO八种工作模式6、GPIO相关寄存器1. 端口配置低寄存器GPIO[x]_CRL和端口配置高寄存器GPIO[x]_CRH, Config Register High和Config Register Low)2. 端口输入数据寄存器(GPIO[x]_IDR)3. 端口输出数据寄存器…...
鸿蒙移动应用开发--UI组件布局
实验要求: 制作一个B站视频卡片界面,大致如下图所示,要求应用到线性布局、层叠布局等相关课堂知识。背景图、logo及文本内容不限。 实验环境 :DevEco Studio 实验过程: 步骤1:创建项目 1. 在您的开发环境…...
[MySQL]MySQL数据库基础知识与操作
MySQL基础知识 为什么要有数据库? 文件存储的缺点 1.没有以某种特定的数据格式存储数据,查找不方便,只能遍历2.安全性:数据误操作后不能回滚3.每次操作数据都要用户自己操作4.数据量大的时候,操作的成本很高 创建一…...
卡诺图化简法的原理
引子 若两个最小项只有一个因子不同,则称这两个最小项具有相邻性。 例如, A ′ B C ′ ABC A′BC′和 A B C ABC ABC两个最小项仅第一个因子不同,所以它们具有相邻性。这两个最小项相加时定能合并成一项并将一对不同的因子消去 A ′ B C ′…...
从零开始:使用Luatools工具高效烧录Air780EPM核心板项目的完整指南
本文将深入讲解如何使用Luatools工具烧录一个具体的项目到Air780EPM开发板中。如何使用官方推荐的Luatools工具(一款跨平台、命令行驱动的烧录利器),通过“环境配置→硬件连接→参数设置→一键烧录”四大步骤,帮助用户实现Air780E…...
探秘Transformer系列之(18)--- FlashAttention
探秘Transformer系列之(18)— FlashAttention 文章目录 0x00 概述0.1 问题0.2 其它解决方案0.3 Flash Attention 0x01 背景知识1.1 GPU相关概念硬件概念运行单元内存 软件概念运行模式线程模型Grid & DeviceBlock & SMThread & SPThread &am…...
VUE2导出el-table数据为excel并且按字段分多个sheet
首先在根目录下建一个文件夹export用来存储export.js import * as XLSX from xlsxfunction autoWidthFunc(ws, data) {// 设置每列的最大宽度const colWidth data.map(row > row.map(val > {var reg new RegExp([\\u4E00-\\u9FFF], g) // 检测字符串是否包含汉字if (v…...
Android面试总结之Android RecyclerView:从基础机制到缓存优化
引言 在 Android 开发中,RecyclerView是高效展示列表数据的核心组件。其强大的性能源于独特的视图复用机制和四级缓存体系。本文将结合源码与示例,带你深入理解RecyclerView的工作原理与优化策略。 核心组件 RecyclerView:作为容器视图&am…...
【C#语言】C#文件操作实战:动态路径处理与安全写入
文章目录 ⭐前言⭐一、场景痛点⭐二、完整实现代码⭐三、关键技术解析🌟1、动态路径处理🌟2、智能目录创建🌟3、安全的文件写入 ⭐四、进阶扩展方案🌟1、用户自定义路径选择🌟2、异常处理增强🌟3、异步写入…...
react中 useEffect和useLayoutEffect的区别
useEffect 和 useLayoutEffect 都是 React 中用于处理副作用的 Hook,但它们在执行时机和用途上有一些关键区别。理解这些区别可以帮助你更好地选择适合的 Hook 来实现特定的功能。 1. 执行时机 useEffect: 异步执行:useEffect 是在组件渲染完…...
TDengine 中的系统信息统计
简介 TDengine 3.0 版本开始提供一个内置数据库 performance_schema,Performance_Schema 数据库中存储了系统中的各种统计信息,包括存储及性能有关统计数据。本节详细介绍其中的表和表结构。 PERF_APP 提供接入集群的应用(客户端ÿ…...
C++可变参数
可变参数C风格的可变参数C风格可变参数的使用 C11可变参数模板递归展开参数包参数列表展开折叠表达式 STL中的emplace插入接口 可变参数 C风格的可变参数 可变参数是一种语言特性,可以在函数声明中使用省略号...来表示函数接受可变数量的参数。 例如典型的printf…...
建造者模式 (Builder Pattern)
建造者模式 (Builder Pattern) 是一种创建型设计模式,它将一个复杂对象的构建与其表示分离,使得同样的构建过程可以创建不同的表示。 一、基础 1.1 意图 将一个复杂对象的构建与其表示分离,使得同样的构建过程可以创建不同的表示。 1.2 适用场景 当创建复杂对象的算法应该…...
Thales靶机攻略
1.下载导入VBox,并启动靶机 靶机地址:https://download.vulnhub.com/thales/Thales.zip 解压后,在VBox中导入虚拟电脑。包含所有网卡的MAC地址。 导入完成,设置网卡模式为仅主机网络。开启靶机。 kali网卡更改为桥接模式。点击工…...
【redis】哨兵:搭建主从/哨兵节点详解和细节
文章目录 编排步骤搭建主从节点创建容器启动容器 搭建哨兵节点创建容器哨兵节点配置文件配置节点启动容器 主从/哨兵节点连入同一个局域网 编排步骤 分为两组 yml,先后启动 我们其实也可以用于一个 yml 文件,直接启动 6 个容器,但是&#x…...
零基础上手Python数据分析 (9):DataFrame 数据读取与写入 - 让数据自由穿梭
回顾一下,上篇博客我们学习了 Pandas 的核心数据结构 Series 和 DataFrame。 DataFrame 作为 Pandas 的 “王牌” 数据结构,是进行数据分析的基石。 但 DataFrame 的强大功能,还需要建立在 数据输入 (Input) 和 数据输出 (Output) 的基础上。 数据从哪里来? 分析结果又如何…...
Emacs 折腾日记(十九)——配置输入法和vim操作方式
上一篇文章中,我们将Emacs变得稍微好看了点。换成了自己喜欢的主题和颜色,这样每天用起来也比较养眼,不会特别排斥。本篇文章的主要任务就是配置输入法方便输入中文以及将vim的操作模式搬到Emacs中。进一步提到Emacs的可用性 配置中文输入法…...
Docker 镜像构建与优化
一、Dockerfile 构建镜像 1.1.拉取所需镜像 首先 docker pull 拉取一个 centos7 的镜像。 docker pull centos:7 下载 nginx 源码包。 官网:nginx: download wget https://nginx.org/download/nginx-1.26.3.tar.gz 1.2.解决 CentOS 7 安装源问题 因为原本的 …...
Mininet--moduledeps.py源码解析
整体构架概述 1. What is it moduledeps.py是Mininet网络模拟框架的模块依赖管理工具,用于动态管理Linux内核模块(如Open vSwitch、TUN/TAP)和验证系统环境。其核心目的是确保Mininet运行所需的底层模块和可执行文件已正确加载或存在&#…...
JAVA EE_多线程-初阶(一)
1.认识线程 1.1概念 1)线程是什么 线程是在进程内部中进行运行的,可以把它想成一个“执行流“,每个线程负责执行线程内的部分代码,多个线程之间可以”同时“执行多个代码。 “同时”:指并行,采用分时复用…...
批量优化与压缩 PPT,减少 PPT 文件的大小
我们经常能够看到有些 PPT 文档明明没有多少内容,但是却占用了很大的空间,存储和传输非常的不方便,这时候通常是因为我们插入了一些图片/字体等资源文件,这些都可能会导致我们的 PPT 文档变得非常的庞大,今天就给大家介…...
AI 的“幻觉”现象:深入解析 Hallucination 的成因与应对之道
文章目录 一、啥是 AI 的 Hallucination?二、啥时候容易出现幻觉?1. 知识边界之外的问题2. 模糊或不明确的输入3. 生成长篇内容4. 多模态任务中的误解5. 过度自信的语气要求 三、幻觉为啥会出现?原理是啥?1. 概率预测的本质2. 训练…...
加载huggingface数据集报token无效错误解决方案
加载huggingface数据集报错 import pandas as pddf pd.read_json("hf://datasets/udell-lab/NLP4LP/data/test.jsonl", linesTrue) print(df)PS C:\Users\pengkangzhen\PythonProjects\llm-ecr> & C:/Users/pengkangzhen/.conda/envs/py3.12_ml/python.exe …...