机器学习数学基础:37.统计学基础知识1
统计学基础概念入门教程
在统计学的世界里,概率和数据分布是基础且重要的概念,它们能帮助我们理解和分析各种数据现象。除此之外,点估计与区间估计也是在对总体参数进行推断时常用的方法。下面,就为统计学小白详细讲解这些关键的基础概念。
一、小概率事件:不太可能发生的随机事件
在生活中,我们会遇到各种随机事件,比如抛硬币正面朝上、抽奖中奖等。在统计学中,对于随机事件的可能性大小有精确的衡量方式。当某随机事件B发生的概率P(B) ≤ 0.05时,它就被定义为小概率事件。这意味着在一次实验或事件过程中,该事件发生的可能性非常小,我们通常认为它几乎不会发生。但要注意,“几乎不会发生”并不等同于“绝对不会发生”,只是发生的机会微乎其微。
在统计推断里,为了方便表示事件发生概率的高低,我们常用“”来标注。“”代表p<0.05,说明事件发生的概率较小;“”代表p<0.01,意味着概率比前者更小;“”代表p<0.001,此时事件发生的概率极低。例如,在医学研究中测试某种新药物的疗效,如果得出某个结果的p值小于0.01,标注为“*”,那就表示这个结果出现的概率很低,药物很可能真的有效果,而不是偶然因素导致的。
二、正态分布:常见的数据分布形态
正态分布是统计学中极为重要的一种概率分布,也被称为“常态分布”或“高斯分布”,通常用N(μ, σ²) 来表示。它在很多领域都有着广泛的应用,因为自然界和人类社会中的许多数据都近似服从正态分布。
(一)均数μ:数据的集中趋势指标
均数μ是描述正态分布的集中趋势位置的参数,也就是数据分布的中心位置。在正态分布的图像上,取值离μ越近,出现的概率就越大;取值离μ越远,出现的概率就越小。而且,正态分布是以x = μ为对称轴,左右完全对称的。这表明在μ两侧相同距离处,数据出现的概率是相等的。特别的是,在正态分布中,均值、中位数和众数是相同的,都等于μ。
举个例子,假设我们统计一个班级学生的身高数据,如果这些数据符合正态分布,那么平均身高就是μ。处于中间位置的身高值(中位数),以及出现次数最多的身高值(众数),都和平均身高相等。也就是说,大部分学生的身高会接近平均身高,偏离平均身高较多的学生数量较少,并且在平均身高两侧偏离程度相同的学生数量大致相等。
(二)标准差σ:数据的离散程度指标
标准差σ是用来描述正态分布资料数据离散程度的参数。σ的大小直接影响着数据的分布形态。当σ越大时,数据分布越分散,正态分布曲线就越扁平,这意味着数据之间的差异较大;当σ越小时,数据分布越集中,曲线就越瘦高,说明数据之间的差异较小。
比如,有两个班级的数学考试成绩,班级A成绩的标准差小,这表示班级A学生的成绩比较集中在平均分附近,学生之间的成绩差异较小;班级B成绩的标准差大,则说明班级B学生的成绩比较分散,高低分差距较大。
三、偏态分布:不同于正态分布的形态
偏态分布是相对于正态分布而言的一种数据分布形态,它分为正偏态分布和负偏态分布两种。
(一)正偏态分布:数据向右偏移
从正偏态分布示意图中可以看到,众数在最左边,中位数在中间,均值在最右边。这是因为数据中存在一些较大的值,这些较大的值把均值拉高了,从而使得均值大于中位数大于众数。
例如,在统计一个城市居民的收入情况时,如果少数高收入人群的收入非常高,就会使整体收入数据呈现正偏态分布。大部分居民的收入处于较低水平(众数附近),中间位置的收入(中位数)比众数高一些,而平均收入(均值)由于受到高收入人群的影响,会比中位数更高。
(二)负偏态分布:数据向左偏移
在负偏态分布示意图中,均值在最左边,中位数在中间,众数在最右边。这是由于数据中存在一些较小的值,这些较小的值把均值拉低了,导致均值小于中位数小于众数。
比如,在对某班级学生的错题数量进行统计时,如果个别学生错题数量特别多,就可能使错题数据呈现负偏态分布。大部分学生的错题数量相对较多(众数附近),处于中间位置的错题数量(中位数)比众数少一些,而平均错题数量(均值)由于受到少数错题很多的学生的影响,会比中位数更少。
四、标准正态分布:特殊的正态分布
标准正态分布又称z分布,是正态分布的一种特殊形式。它的均数μ固定为0,标准差σ固定为1。标准正态分布曲线所围成的面积(p值)被划分成几个部分,每个部分反映了相应区间内的例数占总例数的百分比,也就是该变量值落在这个区间的概率。
在自然界和人类社会中,许多现象(变量)的取值通常会落在(μ - 3σ, μ + 3σ)区间内。由于标准正态分布中μ = 0,σ = 1,所以取值通常落在(-3, 3)区间内。落在这个区间以外的事件就是小概率事件,在一次实验中几乎不可能发生。因此,区间(μ - 3σ, μ + 3σ)被看作是变量实际上可能的取值区间,这就是标准正态分布的“3σ”原则。
例如,在生产制造中测量产品的质量指标,如果该质量指标符合标准正态分布,那么绝大部分产品的质量指标会在(-3, 3)范围内,超出这个范围的产品属于小概率事件,可能是生产过程中出现了异常情况导致的。
五、点估计与区间估计:对总体参数的估计方法
(一)点估计
在统计学研究中,我们常常想知道总体的某些参数,比如总体均值、总体标准差等。但很多时候,总体包含的个体数量非常庞大,要获取总体的所有数据几乎是不可能的,这时就需要从总体中抽取一部分样本。点估计就是一种用样本的统计量直接作为总体参数估计的方法。
比如说,我们想知道某个学校所有学生的平均身高(这是总体参数),但全校学生数量众多,逐一测量不现实。于是我们从全校学生中随机抽取了100名学生(这就是样本),计算出这100名学生的平均身高(这是样本统计量),然后就把这个样本平均身高直接当作全校学生平均身高的估计值,这就是点估计。点估计法比较简单,是最基本的估计方法。不过,由于样本只是总体的一部分,点估计得到的结果可能和总体参数的真实值存在一定偏差。
(二)区间估计
区间估计是在点估计的基础上发展而来的。在实际研究中,我们不仅想得到一个估计值,还希望知道这个估计值的可靠程度。区间估计就是根据事先给定的Ⅰ类错误α(通常取0.05) ,计算出未知总体参数的可能取值范围,这个范围被称为“置信区间”,通常情况下置信区间的置信水平是95%。
这里的Ⅰ类错误α,也叫显著性水平,它表示我们在进行统计推断时,错误地拒绝了原本正确的原假设的概率。当α取0.05时,意味着我们有5%的可能性会犯这种错误。而95%的置信区间意味着,如果我们重复抽样很多次,每次都计算一个置信区间,那么这些置信区间中大约有95%会包含总体参数的真实值。
例如,还是以学校学生身高为例,我们通过样本数据计算出一个包含总体平均身高的区间,比如[165cm, 175cm],这就是一个置信区间。它表示我们有95%的把握认为全校学生的平均身高在165cm到175cm之间。另外,在一些统计分析中,我们还会关注置信区间是否包含0。比如在比较两种教学方法效果差异的研究中,如果差异的置信区间包含0,就说明这两种教学方法可能没有显著差异;如果不包含0,则表明两种教学方法存在显著差异。
通过对这些统计学基础概念的学习,相信你对概率、数据分布以及总体参数估计有了更清晰的认识,这将为你进一步学习统计学知识和进行数据分析打下坚实的基础。
相关文章:
机器学习数学基础:37.统计学基础知识1
统计学基础概念入门教程 在统计学的世界里,概率和数据分布是基础且重要的概念,它们能帮助我们理解和分析各种数据现象。除此之外,点估计与区间估计也是在对总体参数进行推断时常用的方法。下面,就为统计学小白详细讲解这些关键的…...
HTB academy ---Active Directory Enumeration Attacks---An ACE in the Hole
ACL Enumeration 那么章节开始我们先枚举一下用户的GUID,也就是如图所示objectacetype这一块儿的内容,这一步的目的其实是观察我们已获得的用户对其他用户的权限,这个权限就是通过这个GUID得出来的(当然枚举的时间会比较长可能需…...
2025华为OD机试真题目录【E卷+A卷+B卷+C卷+D卷】持续收录中...
摘要 本专栏提供2025最新最全的华为OD机试真题库(EABCD卷),包括100分和200分题型。题目包含题目描述、输入描述、用例、备注和解题思路、多种语言解法(Java/JS/Py/C/C)。希望小伙伴们认真学习、顺利通过。 声明 本专…...
【Linux第一弹】Linux基础指令(上)
目录 1.ls指令 1.1 ls使用实例 2.pwd指令 3.cd指令 3.1 cd使用实例 4.touch指令 4.1touch使用实例 5.mkdir指令 5.1mkdir使用实例 6.rmdir指令和rm指令 6.1 rmdir指令使用实例->: 6.2 rm指令使用实例 7.man指令 8.cp指令 8.1 cp 使用实例 9.mv指令 9.1mv使用…...
linux下自旋锁(spin_lock)
文章目录 Linux自旋锁:单核与多核环境下的实现差异与核心原理 🖥️🔒一、自旋锁的核心特性 ⚙️🎯 适用场景: 二、单核环境下的自旋锁实现 🛑1. **实现原理** 🔄2. **关键代码解析** Ǵ…...
【华为OD机考】2024E+D卷真题【完全原创题解 详细考点分类 不断更新题目 六种主流语言Py+Java+Cpp+C+Js+Go】
可上 欧弟OJ系统 练习华子OD、大厂真题 绿色聊天软件戳 oj1441了解算法冲刺训练(备注【CSDN】否则不通过) 文章目录 相关推荐阅读模拟 数学排序字符串基础数组基础系统设计蒙特卡洛模拟其他 栈 常规栈单调栈 队列(题目极少,几乎不…...
VirtualBox虚拟机转VM虚拟机
前言:部分靶机只适用于VirtualBox,VM打不开VirtualBox的文件,所以需要进行转换 前置条件:本机已经下载VM和VirtualBox 第一步:文件转换 找到VirtualBox.exe所在位置,启动cmd窗口 文件转换的命令…...
UE5设置打开新窗口默认停靠在主窗口
打开引擎所在位置 找到路径 ...\UE_5.5\Engine\Config 找到 BaseEditorPerProjectUserSettings.ini 文件 打开后CtrlF搜索 [/Script/UnrealEd.EditorStyleSettings] 在末尾添加一行 AssetEditorOpenLocationMainWindow 保存即可,之后的项目都是默认主窗口打开...
vi常见操作命令
vi(Visual Editor)是Linux和Unix系统中广泛使用的文本编辑器,它以其高效、强大的功能深受程序员和系统管理员的喜爱。这个“常用vi命令集合.zip”压缩包包含了一份详细记录了vi编辑器常用命令的文档“常用vi命令集合.doc”。下面,…...
AIGC和搜索引擎的异同
AIGC(生成式人工智能)与搜索引擎的核心差异体现在信息处理方式和输出形态上,我们可以从以下维度对比: 一、工作原理的本质差异 信息检索机制 搜索引擎:基于关键词匹配(如"中暑怎么办"→返回相关…...
【ATXServer2】Android无法正确显示手机屏幕
文章目录 现象原因分析与解决排查手机内部minicap 解决minicap问题查看移动端Android SDK版本查看minicap支持版本单次方案多次方案 现象 原因分析与解决 由于atxserver2在与Android动终端的链接过程中使用了agent:atxserver2-android-provider,按照项目…...
fps项目总结:动画蓝图
文章目录 状态不同状态的并存性。 状态 不同状态的并存性。...
Trae:国内首款AI原生IDE,编程效率大提升
今年一月,在新闻上看到字节跳动面向海外市场推出了一款名为Trae的AI集成开发环境(IDE)。起初,我并未给予过多关注,因为市面上已有不少IDE集成了AI插件,功能也非常全面,而字节跳动自家的MarsCode…...
《深度学习进阶》第8集:多模态学习与跨领域融合**
第8集:多模态学习与跨领域融合 在深度学习的浪潮中,单模态模型(如仅处理图像或文本的模型)已经取得了令人瞩目的成就。然而,随着人工智能应用场景的复杂化和多样化,多模态学习逐渐成为研究和应用的热点。多…...
大模型在败血症预测及围手术期管理中的应用研究报告
目录 一、引言 1.1 研究背景与意义 1.2 研究目的与创新点 1.3 研究方法与数据来源 二、败血症概述 2.1 定义与流行病学 2.2 病因与发病机制 2.3 临床表现与诊断标准 2.4 并发症与危害 三、大模型技术原理及在医疗领域的应用 3.1 大模型技术概述 3.2 大模型在医疗领…...
Hadoop架构详解
Hadoop 是一个开源的分布式计算系统,用于存储和处理大规模数据集。Hadoop 主要由HDFS(Hadoop Distributed File System)、MapReduce、Yarn(Jobtracker,TaskTracker)三大核心组件组成。其中HDFS是分布式文件…...
【操作系统】文件
文件 一、文件的概念二、文件目录2.1 FCB2.2 目录结构2.2.1 单机目录2.2.2 两级目录2.2.3 树形目录结构2.2.4 无环图目录结构 三、文件的逻辑结构和物理结构3.1 文件的逻辑结构3.1.1 顺序文件3.1.2 索引文件3.1.3 索引顺序文件 3.2 文件的物理结构3.2.1 连续分配3.2.2 隐式链接…...
我的ChatGPT怎么登不上?
近期,不少用户反馈在使用ChatGPT时遇到登录困难、连接超时等问题。本文将从技术角度分析常见原因,并提供合规、安全的解决方案,同时结合开发者实际需求推荐实用工具,助您高效应对登录障碍。 ChatGPT登录失败的常见原因 网络环境限…...
实时金融信息搜索的新突破:基于大型语言模型的智能代理框架
“An Agent Framework for Real-Time Financial Information Searching with Large Language Models” 论文地址:https://arxiv.org/pdf/2502.15684 摘要 在金融决策过程中,需要处理海量的实时信息以及复杂的时序关系。然而,传统的搜索引擎在…...
Linux服务器Ubuntu系统环境中安装Jupyter Notebook并且配置内核以便在网页端调用
一、前提 在使用终端访问,并且个人目录下已创建环境。如果还不知道创建环境和安装包,请参考之前文章 机器学习模型算法代码需要在环境中安装的库和包 二、安装相关库Jupyter Notebook 使用pip 或 conda指令安装,确保服务器上安装了 Python …...
Magic 1-For-1: 在一分钟内生成一分钟视频片段(基于Python实现,视频生成模型)
一、前言 文章所有代码都使用Python实现,并且可以分享开源,文章末尾联系博主或者往期文章末尾联系,欢迎探讨学习分享专业领域前言研究和技术分享。 二、摘要 在本技术报告中,我们介绍了 Magic 1-For-1 (Magic141&#…...
基于RK3588的重症监护信息系统应用解决方案
重症监护信息系统是医院临床信息系统的重要组成部分,也是医院信息化建设的重要组成部分。通过集成化的电子病历、实时监测、决策支持等功能,提高重症患者的诊疗效率和质量。 图片来源于网络 重症监护信息系统主要由数据信息采集单元、信息处理单元、通信…...
二十三种设计模式
2 工厂方法模式 工厂模式(Factory Pattern)是 Java 中最常用的设计模式之一。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。 在工厂模式中,我们在创建对象时不会对客户端暴露创建逻辑,并且是通…...
网络安全六层模型
🍅 点击文末小卡片 ,免费获取网络安全全套资料,资料在手,涨薪更快 一、单选题(一) 1、在以下人为的恶意攻击行为中,属于主动攻击的是( )A A.数据篡改及破坏 B…...
BrainSCK:通过知识注入和再激活进行大脑结构和认知对齐以诊断脑部疾病
文章目录 BrainSCK: Brain Structure and Cognition Alignment via Knowledge Injection and Reactivation for Diagnosing Brain Disorders摘要方法实验结果 BrainSCK: Brain Structure and Cognition Alignment via Knowledge Injection and Reactivation for Diagnosing Bra…...
【在Spring Boot项目中接入Modbus协议】
【在Spring Boot项目中接入Modbus协议】 在Spring Boot项目中接入Modbus协议,可以通过使用第三方库(如jamod或modbus4j)来实现。以下是一个基本的步骤指南,帮助你在Spring Boot项目中集成Modbus。 1. 添加依赖 首先,…...
CSS_复合选择器
目录 7. 复合选择器 7.1 交集选择器 7.2 并集选择器 7.3 后代选择器 7.4 子代选择器 7.5 兄弟选择器 7.6 属性选择器 7.7 伪类选择器 7.7.1动态伪类 7.7.2结构伪类 7.7.3否定伪类 7.7.4 UI伪类 7.7.5 目标选择器 7. 复合选择器 7.1 交集选择器 作用:…...
QT-信号与槽
1.在注册登录的练习里面,追加一个QListWidget项目列表 要求:点击注册之后,将账号显示到列表窗口小部件上面去 以及,在列表窗口小部件中双击某个账号的时候,将该账号删除 头文件 #ifndef WIDGET_H #define WIDGET_H #include <…...
在python语言中,请详细介绍一下比较运算符中等于符号(==)的情况?
李升伟 整理 一、有关思考 嗯,我现在要详细了解一下Python中的等于运算符()。首先,我得回忆一下自己之前学过的知识,可能有些地方不太确定,需要仔细思考或者查阅资料。 首先,等于运算符&#…...
halcon学习笔记1
环境的搭建就不说了,主要是作者在入职后的实际学习与实践。 打开应用程序 这里作者的个人理解是1号区域主要是可以观察到读取的图像以及后续对图像进行何种操作,2的算子类似于Opencv中的API,可以在上面进行参数的调整,例如read_I…...
解决寻找两个正序数组中位数问题:C语言实现与解析
在算法学习和实际编程应用中,处理数组相关的问题是很常见的。其中,寻找两个正序数组的中位数就是一个经典的题目,不仅考验对数组操作的熟悉程度,还涉及到对算法效率的考量。今天,我们就来深入探讨如何使用C语言解决这一…...
在 ArcGIS Pro 中描绘和绘制流域
查找数字高程模型 (DEM) 对于 DEM,我使用了USGS Lidar Explorer 地图。该地区有 10m 分辨率的 DEM。 设置坐标系 将坐标系设置为 UTM,以尽量减少失真,并使工具在后续过程中进行更精确的计算。对于俄勒冈州,这是 UTM 区域 10。 …...
在华为统信UOS中安装Anaconda,并配置PyCharm
这里写目录标题 1. 下载Anaconda安装包2. 打开终端3. 安装Anaconda4.下载安装PyCharm 1. 下载Anaconda安装包 首先打开 Anaconda官网 : https://www.anaconda.com/products/distribution,接受或拒绝网站投喂的饼干 然后输入自己的邮箱后,进入下载页面…...
谈谈 HTTPS 的工作原理,SSL / TLS 握手流程是什么?
一、HTTPS 核心机制:非对称加密 对称加密 HTTPS HTTP over TLS/SSL,通过 混合加密体系 解决三大问题: 防窃听 - 对称加密传输内容(如 AES)防篡改 - 数字签名验证数据完整性防冒充 - 数字证书验证服…...
Linux虚拟机网络配置-桥接网络配置
简介 本文档旨在指导用户如何在虚拟环境中配置Linux系统的桥接网络,以实现虚拟机与物理主机以及外部网络的直接通信。桥接网络允许虚拟机如同一台独立的物理机一样直接连接到物理网络,从而可以被分配一个独立的IP地址,并能够与网络中的其他设…...
Transformer架构
核心原理 自注意力机制 通过计算输入序列中每个位置与其他位置的关联权重(Query-Key匹配),动态聚合全局信息,解决了传统RNN/CNN的长距离依赖问题。 实现公式:Attention(Q,K,V)softmax(QKTdk)VAttention(…...
Sat- nerf深度损失
首先损失函数定义在metrics.py,代码如下: class DepthLoss(torch.nn.Module):def __init__(self, lambda_ds1.0):super().__init__()# 初始化lambda_ds参数,用于调节深度损失的权重,并且将其缩小为原来的1/3self.lambda_ds lambda_ds / 3.# 初始化均方…...
c++的多态
1.多态的概念 多态,通俗来说,就是多种形态 多态分为编译时多态(静态多态)和运⾏时多 态(动态多态) 静态多态主要是函数重载和函数模板,它们传不同类型的参数就可以调⽤不同的函数,通过参数不同达到多种形态,之所以叫…...
基于 Rust 与 GBT32960 规范构建高并发、高可用、高扩展服务端程序
一、需求背景 如今,数字化发展特别快,各种设备和系统之间要频繁地交换数据,而且这个过程变得越来越复杂。很多行业都有难题,既要处理大量的数据,又得快速响应各种命令。比如说在智能交通这一块,路上跑的车…...
《宝塔 Nginx SSL 端口管理实战指南:域名解析、端口冲突与后端代理解析》
📢 Nginx & SSL 端口管理分析 1️⃣ 域名解析与 SSL 申请失败分析 在使用宝塔申请 www.mywebsite.test 的 SSL 证书时,遇到了解析失败的问题。最初,我认为 www 只是一个附加的前缀,不属于域名的关键部分,因此只为…...
iOS 实现UIButton自动化点击埋点
思路:我们HOOK UIControl的 addtarget:action:forControlEvents方法,交换UIControl的 addtarget:action:forControlEvents 方法的实现, 在交换的方法中添加原来响应的同时,再添加一个埋点响应,该响应方法实现了点击埋点…...
Java 并行流(Parallel Stream)详解
并行流是Java 8引入的高效处理集合数据的工具,通过多线程加速计算。以下是其核心概念、使用方法及注意事项的详细指南: 1. 核心概念与原理 并行处理机制:将数据分割为多个块,利用Fork/Join框架在多个线程上并行处理,…...
开源软件的版权保护措施
开源软件的版权保护措施主要有以下几方面: 著作权保护 明确版权归属与许可使用:开源软件的源代码是著作权法保护的对象,作者享有复制权、发行权、改编权等专有权益。通过开源协议,作者明确授权用户使用、复制和修改软件…...
11.24 SpringMVC(1)@RequestMapping、@RestController、@RequestParam
一.RequestMapping("/user")//HTTP 请求方法既支持get也支持post,可表示为类路径与方法路径 二.RequestMapping(value "/m7", method {RequestMethod.POST, RequestMethod.GET}) value这个参数指定了请求的 URL 路径。method 参数指定了允许…...
杰和科技GDSM-C数字化信息发布管理系统,信息触达无死角,更全面
在数字化时代,信息的高效传递与精准管理成为商业、教育、公共服务等领域的核心需求。传统信息发布模式常面临设备分散难管控、内容更新滞后、多屏协同效率低等问题。 杰和科技为此开发了一套数字化信息发布管理系统GDSM-C(简称 GDSM-C)系统&a…...
如何停止Oracle expdp/impdp job
一、停止 expdp job举例 1.执行 expdp 命令 $ expdp rui/rui DIRECTORYdmp_dir dumpfilestudyfull_expdp.dmp FULLy logfilestudyfullexpdp.log job_nameexpdp_job2.查看在运行的作业名称 SQL> select job_name,state from dba_datapump_jobs; JOB_NAME …...
Java 8 中,可以使用 Stream API 和 Comparator 对 List 按照元素对象的时间字段进行倒序排序
文章目录 引言I 示例对象II List 按时间字段倒序排序: 使用 `Stream` 和 `Comparator` 排序方法 1:使用 `Comparator.comparing`方法 2:使用 `Comparator.reversed`方法 3:自定义 `Comparator`输出结果III 注意事项**时间字段类型**:**空值处理**:IV 总结引言 案例:在线用…...
MySQL零基础教程14—子查询
子查询比较简单,我们还是通过案例引入。 有时候我们查询的时候,需要用到的不止一个表的数据,比如下面的场景: 查询名字叫李晓红同学的班主任姓名 我们提供三个表的基础信息如下: 从三张表的结构,我们不难…...
考研408数据结构线性表核心知识点与易错点详解(附真题示例与避坑指南)
一、线性表基础概念 1.1 定义与分类 定义:线性表是由n(n≥0)个相同类型数据元素构成的有限序列,元素间呈线性关系。 分类: 顺序表:元素按逻辑顺序存储在一段连续的物理空间中(数组实现&…...
Microk8s Ingress实现七层负载均衡
Microk8s Ingress是什么 Ingress是k8s的一种资源对象,用于管理外部对集群内服务的访问, 它通过提供一个统一的入口点,将外部流量路由到集群内部的不同服务。 Microk8s Ingress用于解决什么问题 k8s集群中服务默认只能在集群内访问。 如果需要从外部访…...