当前位置：首页 > news >正文

第1章：伯努利模型的极大似然估计与贝叶斯估计

news 来源：原创 2025/6/27 18:11:11

伯努利模型的极大似然估计与贝叶斯估计

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import beta, bernoulli
from scipy.optimize import minimize_scalar# 设置中文字体
plt.rcParams['font.sans-serif'] = ['SimHei']  # 使用黑体
plt.rcParams['axes.unicode_minus'] = False  # 解决负号显示问题# 1. 生成伯努利试验数据
np.random.seed(42)
true_theta = 0.7  # 真实概率
n = 100  # 试验次数
data = bernoulli.rvs(true_theta, size=n)
k = sum(data)  # 成功次数print(f"试验次数: {n}, 成功次数: {k}")# 2. 极大似然估计
theta_mle = k / n
print(f"极大似然估计值: {theta_mle:.4f}")# 3. 贝叶斯估计
# 3.1 均匀先验 (Beta(1,1))
alpha_unif, beta_unif = 1, 1
theta_map_unif = (k + alpha_unif - 1) / (n + alpha_unif + beta_unif - 2)
print(f"均匀先验的MAP估计: {theta_map_unif:.4f}")# 3.2 Beta(2,2)先验
alpha_beta, beta_beta = 2, 2
theta_map_beta = (k + alpha_beta - 1) / (n + alpha_beta + beta_beta - 2)
print(f"Beta(2,2)先验的MAP估计: {theta_map_beta:.4f}")# 4. 可视化
theta_range = np.linspace(0, 1, 1000)# 似然函数
likelihood = theta_range**k * (1-theta_range)**(n-k)# 后验分布 (Beta先验)
posterior_unif = beta.pdf(theta_range, k+alpha_unif, n-k+beta_unif)
posterior_beta = beta.pdf(theta_range, k+alpha_beta, n-k+beta_beta)plt.figure(figsize=(12, 6))
plt.plot(theta_range, likelihood, label='似然函数', color='blue')
plt.plot(theta_range, posterior_unif, label='均匀先验后验', color='green')
plt.plot(theta_range, posterior_beta, label='Beta(2,2)先验后验', color='red')
plt.axvline(true_theta, color='black', linestyle='--', label='真实值')
plt.axvline(theta_mle, color='blue', linestyle=':', label='MLE估计')
plt.axvline(theta_map_unif, color='green', linestyle=':', label='均匀先验MAP')
plt.axvline(theta_map_beta, color='red', linestyle=':', label='Beta先验MAP')
plt.title('伯努利参数估计比较')
plt.xlabel('θ')
plt.ylabel('概率密度')
plt.legend()
plt.show()# 5. 经验风险最小化验证
def neg_log_likelihood(theta):return -np.sum(data * np.log(theta) + (1-data) * np.log(1-theta))res = minimize_scalar(neg_log_likelihood, bounds=(0.001, 0.999), method='bounded')
print(f"通过优化得到的最优θ: {res.x:.4f} (应与MLE相同)")

在这里插入图片描述

proscess

数据生成

使用bernoulli.rvs生成100次伯努利试验数据
设置真实概率为0.7

极大似然估计

直接计算成功次数k与总次数n的比值
计算公式：
$\hat{\theta} = \frac{k}{n}$

贝叶斯估计

实现了两种先验分布：

均匀先验 (Beta(1,1))
Beta(2,2)先验

MAP估计公式：
$\hat{\theta} = \frac{k + \alpha - 1}{n + \alpha + \beta - 2}$

结果

绘制似然函数曲线
绘制两种先验下的后验分布曲线
标出真实值和各估计值（MLE、MAP等）

经验风险最小化验证

通过最小化负对数似然函数来验证
验证结果应与MLE估计一致

统计学习方法三要素

方法	模型	策略	算法
极大似然估计	概率模型	经验风险最小化	数值解
贝叶斯估计	概率模型	结构风险最小化	解析解

1. 极大似然估计

设 $x_1, x_2, ..., x_n$ 为n次独立实验产生的结果，其中k次的结果为1。

1.1 似然函数

设 $\theta$ ，则 $1-\theta$

似然函数：
$L(x_1, x_2,..., x_n;\theta) = \theta^k(1-\theta)^{n-k} \tag{1}$

解释：由于数据独立，可直接用幂次简化计算。

1.2 对数似然函数

$\ln L = k\ln\theta + (n-k)\ln(1-\theta) \tag{2}$

1.3 求导并求极值

$\frac{d}{d\theta}\ln L = \frac{k}{\theta} - \frac{n-k}{1-\theta} = 0 \tag{3}$

解得：
$\theta = \frac{k}{n} \tag{4}$

2. 贝叶斯估计

2.1 均匀分布先验

假设 $\theta \sim U[0,1]$ ， $f(\theta)=1$

后验概率：
$P(\theta|D) \propto P(D|\theta) = \theta^k(1-\theta)^{n-k} \tag{5}$

2.2 贝塔分布先验（修正正态分布错误）

贝塔分布PDF：
$f(\theta;\alpha,\beta) = \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1} \tag{6}$

后验分布：
$P(\theta|D) \propto \theta^{k+\alpha-1}(1-\theta)^{n-k+\beta-1} \tag{7}$

注意：先前正态分布的例子错误，因为 $\theta\in[0,1]$ 。

3. 经验风险最小化与极大似然估计

当使用对数损失函数时：

最小化经验风险：
$\min \frac{1}{N}\sum_{i=1}^N -\ln P(Y_i|X_i,\theta) \tag{8}$

等价于最大化：
$\frac{1}{N}\ln \prod_{i=1}^N P(Y_i|X_i,\theta) \tag{9}$

即极大化似然函数：
$\prod_{i=1}^N P(Y_i|X_i,\theta) \tag{10}$

证毕：两者在条件概率分布和对数损失下等价。

第1章：伯努利模型的极大似然估计与贝叶斯估计

伯努利模型的极大似然估计与贝叶斯估计 import numpy as np import matplotlib.pyplot as plt from scipy.stats import beta, bernoulli from scipy.optimize import minimize_scalar# 设置中文字体 plt.rcParams[font.sans-serif] [SimHei] # 使用黑体 plt.rcParams[axes.…...

编程日记 2025/6/27 18:11:11

IPv4编址及IPv4路由基础

一、实验目的掌握接口 IPv4 地址的配置方法理解 LoopBack 接口的作用与含义理解直连路由的产生原则掌握静态路由的配置方法并理解其生效的条件掌握通过 PING 工具测试网络层连通性掌握并理解特殊静态路由的配置方法与应用场景二、实验环境安装有eNSP模拟器的PC一台&#…...

编程日记 2025/6/27 17:42:05

基于Python的机动车辆推荐及预测分析系统

博主介绍：java高级开发，从事互联网行业六年，熟悉各种主流语言，精通java、python、php、爬虫、web开发，已经做了六年的毕业设计程序开发，开发过上千套毕业设计程序，没有什么华丽的语言&#xff0…...

编程日记 2025/6/27 17:36:16

SpringBoot扩展——发送邮件！

发送邮件在日常工作和生活中经常会用到电子邮件。例如，当注册一个新账户时，系统会自动给注册邮箱发送一封激活邮件，通过邮件找回密码，自动批量发送活动信息等。邮箱的使用基本包括这几步：先打开浏览器并登录邮箱&…...

编程日记 2025/6/26 10:27:56

啊啊啊啊啊啊啊啊code

前序遍历和中序遍历构建二叉树 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, TreeNode left, TreeNod…...

编程日记 2025/6/27 17:45:18

不同程度多径效应影响下的无线通信网络电磁信号仿真数据生成程序

生成.mat数据： %创建时间：2025年6月19日 %zhouzhichao %遍历生成不同程度多径效应影响的无线通信网络拓扑推理数据用于测试close all clearsnr 40; n 30;dataset_n 100;for bias 0.1:0.1:0.9nodes_P ones(n,1);Sampling_M 3000;%获取一帧信号及对…...

编程日记 2025/6/20 20:10:47

C语言学习day17-----位运算

目录 1.位运算 1.1基础知识 1.1.1定义 1.1.2用途 1.1.3软件控制硬件 1.2运算符 1.2.1与 & 1.2.2或 | 1.2.3非 ~ 1.2.4异或 ^ 1.2.5左移 << 1.2.6右移 >> 1.2.7代码实现 1.2.8置0 1.2.9置1 1.2.10不借助第三方变量，实现两个数的交换…...

编程日记 2025/6/23 2:03:16

Spring MVC参数绑定终极手册：单多参对象集合JSON文件上传精讲

我们通过浏览器访问不同的路径，就是在发送不同的请求，在发送请求时，可能会带一些参数，本文将介绍了Spring MVC中处理不同请求参数的多种方式一、传递单个参数接收单个参数，在Spring MVC中直接用方法中的参数就可以…...

编程日记 2025/6/27 18:08:00

宽度优先遍历(bfs)(2)——fllodfill算法

欢迎来到博主的专栏：算法解析博主ID：代码小豪文章目录 floodfiil算法leetcode733——图像渲染题目解析算法原理题解代码 leetcode130——被围绕的区域题目解析算法原理题解代码 floodfiil算法 floodfill算法，在博主这里看来则是一个区域填…...

编程日记 2025/6/27 18:08:01

嵌入式编译工具链熟悉与游戏移植

一、Linux 系统编译工具链使用与 mininim 源码编译在 Ubuntu 系统上编译 mininim 开源游戏需要正确配置编译工具链和依赖库。以下是详细的操作步骤和故障解决方法： 1. 环境准备与源码获取首先需要安装必要的编译工具和依赖库： # 更新系统软件包索引…...

编程日记 2025/6/27 17:48:11

STUN (Session Traversal Utilities for NAT) 服务器是一种网络协议

STUN (Session Traversal Utilities for NAT) 服务器是一种网络协议，主要用于帮助位于网络地址转换 (NAT) 设备（如路由器）后面的客户端发现自己的公共 IP 地址和端口号。这对于建立点对点 (P2P) 通信至关重要，尤其是在 VoIP&#…...

编程日记 2025/6/27 17:43:33

Transformer结构介绍

[编码器 Encoder] ←→ [解码器 Decoder] 编码器： 输入：源语言序列输出：每个词的上下文表示(embedding) 解码器：输入：目标语言序列编码器输出输出：下一个词的概率分布（目标句子生成&#xff09…...

编程日记 2025/6/27 17:36:14

SpringBoot扩展——应用Web Service！

应用Web Service Web Service是一个SOA（面向服务的编程）架构，这种架构不依赖于语言，不依赖于平台，可以在不同的语言之间相互调用，通过Internet实现基于HTTP的网络应用间的交互调用。Web Service是一个可以…...

编程日记 2025/6/27 17:52:04

5G核心网周期性注册更新机制：信令流程与字段解析

一、周期性注册更新的技术背景与流程概述 1.1 注册更新的核心目的在5G网络中，UE通过周期性注册更新维持与核心网的连接状态，主要作用包括：状态保活：避免AMF因超时而释放UE上下文（T3512定时器超时前需完成更新）；位置更新：通知网络UE的当前位置，确保寻呼可达；能力同…...

编程日记 2025/6/23 23:44:49

【LLM学习笔记3】搭建基于chatgpt的问答系统（下）

目录一、检查结果检查有害内容检查是否符合产品信息二、搭建一个简单的问答系统三、评估输出1.当存在一个简单的正确答案2.当不存在一个简单的正确答案一、检查结果本章将引领你了解如何评估系统生成的输出。在任何场景中，无论是自动化流程还是其他环境&#x…...

编程日记 2025/6/26 4:31:50

算法导论第十九章并行算法：解锁计算新维度

第十九章并行算法：解锁计算新维度 “并行计算不是未来，而是现在。” —— David Patterson 在单核性能增长放缓的时代，并行算法成为突破计算极限的关键。本章将带你探索多核处理器、分布式系统和GPU加速的奇妙世界，揭示如何通过协…...

编程日记 2025/6/20 18:32:36

Python 数据分析与可视化 Day 1 - Pandas 数据分析基础入门

🎯 今日目标理解 Pandas 的作用和核心概念学会创建 Series 和 DataFrame掌握基本数据读取（CSV）与常用查看方法 🧰 1. 什么是 Pandas？ Pandas 是基于 NumPy 的强大数据分析库，提供了灵活的表格数据结构 Da…...

编程日记 2025/6/23 18:08:13

【数字人开发】Unity+百度智能云平台实现长短文本个性化语音生成功能

一、创建自己的应用百度智能云控制台网址：https://console.bce.baidu.com/ 1、创建应用 2、获取APIKey和SecretKey 3、Api调试调试网址：https://console.bce.baidu.com/support/?timestamp1750317430400#/api?productAI&project%E8%AF%AD%E9%…...

编程日记 2025/6/24 14:44:38

（哈希）128. 最长连续序列

题目给定一个未排序的整数数组 nums ，找出数字连续的最长序列（不要求序列元素在原数组中连续）的长度。请你设计并实现时间复杂度为 O(n) 的算法解决此问题。示例 1： 输入：nums [100,4,200,1,3,2] 输出&#xff…...

编程日记 2025/6/27 15:39:44

MFC中使用CRichEditCtrl控件让文本框中的内容部分加粗

MFC中文本框控件的内容，设置好字体格式后，只能单一的显示，如果相对文本框的内容部分加粗，或者部分加颜色、链接等都无法实现，但MFC中提供了CRichEditCtrl控件，就很方便的实现文本框中部分内容需要特殊处理的…...

编程日记 2025/6/23 13:19:11

Redis 的优势有哪些，它是CP 还是 AP？CAP 理论又是什么？

Redis的核心优势 Redis作为当今最流行的内存数据库之一，具有以下显著优势： 1. 卓越的性能表现内存存储：数据主要存储在内存中，读写速度极快（10万 QPS）单线程架构：避免多线程竞争&#xff0c…...

编程日记 2025/6/25 15:34:49

flink的多种部署模式

## 部署模式和运行模式 ### 部署模式 - 本地local - 单机无需分布式资源管理 - 集群 - 独立集群standalone - 需要flink自身的任务管理工具 - jobmanager接收和调度任务 - taskmanager执行 - on其他资源管理工具yarn/k8s …...

编程日记 2025/6/26 9:35:25

SQL分片工具类

SQL分片工具类(SqlShardingUtil)提供数据库查询的智能分片功能，支持数字和字符串两种字段类型的分片策略。对于数字字段，可以指定分片数量均匀划分数值区间；对于字符串字段，则按照ASCII字符范围自动划分。工具类确保分片后的SQL语…...

编程日记 2025/6/26 11:24:25

死锁相关知识

死锁是什么死锁（Deadlock）是指两个或多个进程（或线程）在执行过程中，因为互相等待对方释放资源，导致永远无法继续执行的状态。 ✅ 死锁的形成条件（必须同时满足以下四个）&#xff1…...

编程日记 2025/6/20 16:36:49

oscp靶机练习PG Reconstruction

枚举阶段 nmap -A -T4 -p- -Pn -n 192.168.217.103 发现ftp，进行连接枚举都下载到本地这里提示我们两点，可以看看pcap文件，还有就是可能有密码遗留还没有删除。使用下面命令进行过滤筛选流量包，查看与密码相关 http.reque…...

编程日记 2025/6/20 15:55:41

写题。贪心题组

一、解题思路：主要还是写出val / m，按这个排序，就行了 #include<bits/stdc.h> #define endl "\n" #define ll long long #define pii pair<int,int> using namespace std;struct doro {int m, val;double cmp; } arr…...

编程日记 2025/6/26 18:07:06

UE官方文档学习 TAarry 查询

这个很简单经常用。二.GetData() . GetData()，像C里拿到数组首地址一样。它不具有越界保护机制，StrArr拥有越界保护机制。这个地址在数组不做改变，如扩容等有用。 void AWXArrayActor::WXFindArray() {TArray<FString> StrArr { &q…...

编程日记 2025/6/27 14:16:47

使用Haproxy搭建Web群集

LVS负载均衡群集 Haproxy介绍http请求负载均衡常用调度算法常见的web群集调度器示例操作安装httpd（两台网站服务器操作一致）编译安装haproxyhaproxy服务器配置(1)建立haproxy的配置文件(2)修改haproxy.cfg配置文件测试haproxy的日志(1)修改 haproxy 配…...

编程日记 2025/6/26 4:26:19

Linux 基础命令：`ls`、`cd`、`du` 快速入门

在 Linux 系统中，ls、cd 和 du 是日常操作中最常用的三个命令。掌握它们能大幅提升文件管理效率。 1. ls：查看目录内容用途：列出当前或指定目录下的文件和子目录。常用命令： ls -l # 详细列表（权限、大…...

编程日记 2025/6/20 15:19:12

[论文阅读] 人工智能 + 软件工程 | USEagent：迈向统一的AI软件工程师

论文信息 article{applis2025unified,title{Unified Software Engineering agent as AI Software Engineer},author{Applis, Leonhard and Jiang, Nan and Zhang, Yuntong and Tan, Lin and Liang, Shanchao and Roychoudhury, Abhik},journal{arXiv preprint arXiv:2506.1468…...

编程日记 2025/6/22 16:15:34