当前位置： 首页 > news >正文

第18章：基于Global Context Vision Transformers（GCTx_unet）网络实现的oct图像中的黄斑水肿和裂孔分割

news 来源：原创 2025/9/15 19:57:09

1. 网络概述

GCTx-UNET是基于传统UNet架构的改进版本，主要引入了以下几个关键创新：

  • GCT模块：全局上下文变换器(Global Context Transformer)模块

  • 多尺度特征融合：增强的特征提取能力

  • 改进的跳跃连接：优化编码器与解码器之间的信息传递

1. 网络架构组成

1.1 编码器部分(下采样路径)

编码器由多个阶段组成，每个阶段包含：

  1. 卷积块：通常由2-3个卷积层组成，每个卷积后接批量归一化和ReLU激活

  2. GCT模块：全局上下文特征提取

  3. 下采样层：通常使用最大池化或步长卷积

与传统UNet相比，GCTx-UNet的编码器在每个阶段后加入了GCT模块，增强了全局上下文信息的捕获能力。

1.2 解码器部分(上采样路径)

解码器同样由多个阶段组成，每个阶段包含：

  1. 上采样层：通常使用转置卷积或插值方法

  2. 特征拼接：与对应编码器阶段的特征图拼接

  3. 卷积块：与编码器类似的卷积结构

  4. GCT模块：增强解码过程中的全局信息利用

1.3 瓶颈层

位于编码器和解码器之间的过渡层，包含：

  • 深度卷积层

  • GCT模块

  • 常规卷积层

2. GCT模块详解

GCT(Global Context Transformer)模块是GCTx-UNet的核心创新，其结构如下：

2.1 主要组件

  1. 全局平均池化(GAP)：将空间维度压缩为1×1，获取通道级全局信息

  2. 通道注意力机制：学习各通道的重要性权重

  3. 空间注意力机制：捕捉空间位置间的长程依赖关系

  4. 特征变换：通过1×1卷积调整特征维度

2.2 数学表达

给定输入特征图X∈R^(H×W×C)，GCT模块的处理流程：

  1. 全局上下文提取：

    z = GAP(X) ∈ R^(1×1×C)

  2. 通道注意力计算：

    a_c = σ(W_c z + b_c) ∈ R^C

  3. 空间注意力计算：

    a_s = σ(conv(W_s * X)) ∈ R^(H×W×1)

  4. 特征融合：

    Y = X ⊗ a_c ⊗ a_s + X

其中σ表示sigmoid函数，⊗表示逐元素乘法。

3. 改进的跳跃连接

GCTx-UNet对传统UNet的跳跃连接进行了优化：

  1. 特征对齐：使用1×1卷积调整通道数

  2. GCT增强：在拼接前对编码器特征应用GCT模块

  3. 注意力门控：可选地加入注意力机制，抑制不相关区域

GCTx-UNet通过巧妙结合CNN的局部特征提取能力和Transformer的全局建模优势，在医学图像分割领域取得了优异的性能表现。

2. OCT 图像中的黄斑水肿和裂孔分割

数据集总共有2500张图片和mask标签，按照7：3划分了训练集和验证集

数据集自动预处理结果：

3. 训练参数

参数如下：

  • ct 如果数据集是医学影像的ct格式，那么会自动进行windowing增强，效果会更好
  • model 可以选择unet、unet++、unet3+三种模型
  • base size是预处理的图像大小，也就是输入model的图像尺寸
  • batch size 批大小，epoch 训练轮次，lr 是cos衰减的起始值，lrf是衰减倍率，这里lr最终大小是0.01 * 0.001 
  • results 是训练生成的主目录
    parser.add_argument("--ct", default=False,type=bool,help='is CT?')    # Ct --> Trueparser.add_argument("--model", default='gctx_unet',help='gctx_unet')parser.add_argument("--base-size",default=(224,224),type=tuple)         # 根据图像大小更改parser.add_argument("--batch-size", default=16, type=int)parser.add_argument("--epochs", default=300, type=int)parser.add_argument('--lr', default=0.002, type=float)parser.add_argument('--lrf',default=0.002,type=float)                  # 最终学习率 = lr * lrfparser.add_argument("--img_f", default='.jpg', type=str)               # 数据图像的后缀parser.add_argument("--mask_f", default='.png', type=str)              # mask图像的后缀parser.add_argument("--results", default='runs', type=str)                  # 保存目录parser.add_argument("--data-train", default='./data/train/images', type=str)parser.add_argument("--data-val", default='./data/val/images', type=str)

4. 训练结果

如下：这里以unet为例
这里新添了网络参数个数、flops

    "train parameters": {"model": "gctx_unet","input size": [224,224],"batch size": 16,"lr": 0.002,"lrf": 0.002,"ct": false,"epochs": 300,"num classes": 3},"model": {"total parameters": 14048512.0,"flops": 4427196736.0

曲线如下：

最后一个epoch的指标：

    "epoch:299": {"train log:": {"info": {"pixel accuracy": [0.9974969029426575],"Precision": ["0.9147","0.9549"],"Recall": ["0.8954","0.9517"],"F1 score": ["0.9050","0.9533"],"Dice": ["0.9050","0.9533"],"IoU": ["0.8264","0.9107"],"mean precision": 0.9347942471504211,"mean recall": 0.9235433340072632,"mean f1 score": 0.9291158318519592,"mean dice": 0.929115891456604,"mean iou": 0.868566632270813}},"val log:": {"info": {"pixel accuracy": [0.9966462850570679],"Precision": ["0.8974","0.9246"],"Recall": ["0.8812","0.9088"],"F1 score": ["0.8893","0.9166"],"Dice": ["0.8893","0.9166"],"IoU": ["0.8006","0.8461"],"mean precision": 0.9109943509101868,"mean recall": 0.8950419425964355,"mean f1 score": 0.9029476642608643,"mean dice": 0.9029476642608643,"mean iou": 0.8233512043952942}

5. 推理

把想要推理的图片直接放在inference/img下，运行predict脚本即可

6. 下载

下载地址：基于GlobalContextVisionTransformers-UNet（GCViT）模型实现的oct黄斑水肿和裂孔完整分割项目、代码、数据、和训练结果、推理结果等资源-CSDN文库

关于图像分类、分割网络的改进：图像分类网络改进_听风吹等浪起的博客-CSDN博客 

相关文章：

第18章：基于Global Context Vision Transformers（GCTx_unet）网络实现的oct图像中的黄斑水肿和裂孔分割

1. 网络概述 GCTx-UNET是基于传统UNet架构的改进版本，主要引入了以下几个关键创新： GCT模块：全局上下文变换器(Global Context Transformer)模块 多尺度特征融合：增强的特征提取能力 改进的跳跃连接：优化编码器与解…...

编程日记 2025/9/15 19:57:09

深入理解 Spring 的 MethodParameter 类

MethodParameter 是 Spring 框架中一个非常重要的类，它封装了方法参数（或返回类型）的元数据信息。这个类在 Spring MVC、AOP、数据绑定等多个模块中都有广泛应用。 核心功能 MethodParameter 主要提供以下功能： 获取参数类型信息…...

编程日记 2025/9/12 6:52:03

Docker部署HivisionIDPhotos1分钟生成标准尺寸证件照实操指南

文章目录 前言1. 安装Docker2. 本地部署HivisionIDPhotos3. 简单使用介绍4. 公网远程访问制作照片4.1 内网穿透工具安装4.2 创建远程连接公网地址 5. 配置固定公网地址 前言 相信大部分人办驾照、护照或者工作证时都得跑去照相馆，不仅费时还担心个人信息泄露。好消…...

编程日记 2025/9/7 7:22:24

python多线程+异步编程让你的程序运行更快

多线程简介 多线程是Python中实现并发编程的重要方式之一，它允许程序在同一时间内执行多个任务。在某些环境中使用多线程可以加快我们代码的执行速度，例如我们通过爬虫获得了一个图片的url数组，但是如果我们一个一个存储很明显会非常缓慢&…...

编程日记 2025/9/7 11:49:41

HDCP（五）

HDCP 2.2 测试用例设计详解 基于HDCP 2.2 CTS v1.1规范及协议核心机制，以下从正常流程与异常场景两大方向拆解测试用例设计要点，覆盖认证、密钥管理、拓扑验证等关键环节： 1. 正常流程测试 1.1 单设备认证 • 测试目标：验证源设…...

编程日记 2025/9/4 14:05:44

datagrip如何连接数据库

datagrip连接数据库的步骤 2025版本 想要链接数据库是需要一个jar包的，所以将上面进行删除之后，需要下载一个jar包 那么这个时候需要链接上传一个mysql链接的jar包 选择核心驱动类 上述操作完成之后，然后点击apply再点击ok即可 如下图说明my…...

编程日记 2025/9/10 19:31:00

Spring Boot 自动配置与启动原理全解析

下面分两部分系统讲解： 第一部分：Spring Boot 自动配置原理（核心是自动装配） 一、Spring Boot 的自动配置是干嘛的？ 传统 Spring 开发时，你要写一堆 XML 或配置类，非常麻烦。Spring Boot 引入…...

编程日记 2025/9/6 21:39:00

python 基础：句子缩写

n int(input()) for _ in range(n):words input().split()result ""for word in words:result word[0].upper()print(result)知识点讲解 input()函数 用于从标准输入（通常是键盘）读取用户输入的内容。它返回的是字符串类型。例如在代码中…...

编程日记 2025/9/10 3:38:37

QML 中 Z 轴顺序（z 属性）

在 QML 中，z 属性用于控制元素的堆叠顺序（Z 轴顺序），决定元素在视觉上的前后层次关系。 基本概念 默认行为： 所有元素的默认 z 值为 0 同层级元素后声明的会覆盖先声明的 父元素的 z 值会影响所有子元素 核心规则…...

编程日记 2025/9/8 15:48:50

Redis快的原因

1、基于内存实现 Redis将所有数据存储在内存中，因此它可以非常快速地读取和写入数据，而无需像传统数据库那样将数据从磁盘读取和写入磁盘，这样也就不受I/O限制。 2、I/O多路复用 多路指的是多个socket连接；复用指的是复用一个线…...

编程日记 2025/9/10 17:06:46

蓝桥杯c ++笔记(含算法 贪心+动态规划+dp+进制转化+便利等)

蓝桥杯 #include <iostream> #include <vector> #include <algorithm> #include <string> using namespace std; //常使用的头文件动态规划 小蓝在黑板上连续写下从 11 到 20232023 之间所有的整数&#xff0c;得到了一个数字序列&#xff1a; S12345…...

编程日记 2025/9/10 21:30:32

每日算法-250410

今天分享两道 LeetCode 题目&#xff0c;它们都可以巧妙地利用二分查找来解决。 275. H 指数 II 问题描述 思路&#xff1a;二分查找 H 指数的定义是&#xff1a;一个科学家有 h 篇论文分别被引用了至少 h 次。 题目给定的 citations 数组是升序排列的。这为我们使用二分查找…...

编程日记 2025/9/15 1:37:20

swagger + Document

swagger 虽然有了api接口&#xff0c;对于复杂接口返回值说明&#xff0c;文档还是不能少。如果是一个人做的还简单一点&#xff0c;现在都搞前后端分离&#xff0c;谁知道你要取那个值呢...

编程日记 2025/8/17 20:44:14

线程同步与互斥（下）

线程同步与互斥&#xff08;中&#xff09;https://blog.csdn.net/Small_entreprene/article/details/147003513?fromshareblogdetail&sharetypeblogdetail&sharerId147003513&sharereferPC&sharesourceSmall_entreprene&sharefromfrom_link我们学习了互斥…...

编程日记 2025/9/8 0:17:09

MySQL 优化教程：让你的数据库飞起来

文章目录 前言一、数据库设计优化1. 合理设计表结构2. 范式化与反范式化3. 合理使用索引 二、查询优化1. 避免使用 SELECT *2. 优化 WHERE 子句3. 优化 JOIN 操作 三、服务器配置优化1. 调整内存分配2. 调整并发参数3. 优化磁盘 I/O 四、监控与分析1. 使用 EXPLAIN 分析查询语句…...

编程日记 2025/9/12 4:11:24

SD + Contronet，扩散模型V1.5+约束条件后续优化：保存Canny边缘图，便于视觉理解——stable diffusion项目学习笔记

目录 前言 背景与需求 代码改进方案 运行过程&#xff1a; 1、Run​编辑 2、过程&#xff1a; 3、过程时间线&#xff1a; 4、最终效果展示&#xff1a; 总结与展望 前言 机器学习缺点之一&#xff1a;即不可解释性。最近&#xff0c;我在使用stable diffusion v1.5 Co…...

编程日记 2025/9/7 0:08:09

位掩码、哈希表、异或运算、杨辉三角、素数查找、前缀和

1、位掩码 对二进制数操作的方法&#xff0c;&#xff08;mask1<<n&#xff09;,将数mask的第n位置为1&#xff0c;其它位置为0&#xff0c;即1000...2^n&#xff0c;当n较小时&#xff0c;可以用于解决类似于0/1背包的问题&#xff0c;要么是0&#xff0c;要么是1&…...

编程日记 2025/9/11 22:44:55

安装OpenJDK1.8 17 (macos M芯片)

安装OpenJDK 1.8 下载完后&#xff0c;解压&#xff0c;打开 环境变量的配置文件即可 vim ~/.zshrc #export JAVA_HOME/Users/xxxxx/jdk-21.jdk/Contents/Home #export JAVA_HOME/Users/xxxxx/jdk-17.jdk/Contents/Home #export JAVA_HOME/Users/xxxxx/jdk-11.jdk/Contents…...

编程日记 2025/9/15 18:28:03

Spring Boot 自动加载流程详解

前言 Spring Boot 是一个基于约定优于配置理念的框架&#xff0c;它通过自动加载机制大大简化了开发者的配置工作。本文将深入探讨 Spring Boot 的自动加载流程&#xff0c;并结合源码和 Mermaid 图表进行详细解析。 一、Spring Boot 自动加载的核心机制 Spring Boot 的自动加…...

编程日记 2025/9/5 3:50:23

2025 年“认证杯”数学中国数学建模网络挑战赛 C题 化工厂生产流程的预测和控制

流水线上也有每个位置的温度、压力、流量等诸多参数。只有参数处于正常范 围时&#xff0c;最终的产物才是合格的。这些参数很容易受到外部随机因素的干扰&#xff0c;所 以需要实时调控。但由于参数众多&#xff0c;测量困难&#xff0c;很多参数想要及时调整并不容 易&#x…...

编程日记 2025/9/7 15:22:07

Richardson-Lucy (RL) 反卷积算法 —— 通过不断迭代更新图像估计值

文章目录 一、RL反卷积算法&#xff08;1&#xff09;主要特点&#xff08;2&#xff09;基本原理&#xff08;3&#xff09;关键步骤&#xff08;4&#xff09;优化算法 二、项目实战&#xff08;1&#xff09;RL 反卷积&#xff08;2&#xff09;优化&#xff1a;RL 反卷积 …...

编程日记 2025/9/13 3:41:43

2025.04.10-拼多多春招笔试第四题

📌 点击直达笔试专栏 👉《大厂笔试突围》 💻 春秋招笔试突围在线OJ 👉 笔试突围OJ 04. 优惠券最优分配问题 问题描述 LYA是一家电商平台的运营经理，负责促销活动的策划。现在平台上有 n n n...

编程日记 2025/8/29 13:42:47

------------------V2024-2信息收集完结------------------

第二部分信息收集完结撒花*★,*:.☆(&#xffe3;▽&#xffe3;)/$:*.★* 。 进入开发部分&#xff0c;工具要求&#xff1a;phpstorm Adobe Navicat16 小皮 准备完毕 php开发起飞起飞~~~~~...

编程日记 2025/8/29 20:07:10

Java Lambda与方法引用：函数式编程的颠覆性实践

在Java 8引入Lambda表达式和方法引用后&#xff0c;函数式编程范式彻底改变了Java开发者的编码习惯。本文将通过实战案例和深度性能分析&#xff0c;揭示如何在新项目中优雅运用这些特性&#xff0c;同时提供传统代码与函数式代码的对比优化方案。 文章目录 一、Lambda表达式&a…...

编程日记 2025/9/10 1:05:20

2025年常见渗透测试面试题- PHP考察（题目+回答）

网络安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 PHP考察 php的LFI&#xff0c;本地包含漏洞原理是什么&#xff1f;写一段带有漏洞的代码。手工的话如何发掘&am…...

编程日记 2025/9/15 11:20:34

【在校课堂笔记】南山 - 第 10 节课 总结

- 第 92 篇 - Date: 2025 - 04 - 10 Author: 郑龙浩/仟墨 【Python 在校课堂笔记】 南山 - 第 10 节课 文章目录 南山 - 第 10 节课一 in –> 存在性测试 - 基础介绍二 in –> 例题 - 火车票 - 使用 in 优化**问题**【代码 - 以前的代码】【代码 - 使用存在性测试 in】 …...

编程日记 2025/9/14 1:31:20

GaussDB ECPG与Oracle Pro_C深度对比：嵌入式SQL开发者的迁移指南

GaussDB ECPG与Oracle Pro*C深度对比&#xff1a;嵌入式SQL开发者的迁移指南 一、体系架构差异 关键组件对比表 二、语法兼容性分析 核心语法差异对比 c /* Pro*C示例 */ EXEC SQL SELECT empno INTO :emp_id FROM employees WHERE ename :name;/* ECPG等效实现 */ EXEC…...

编程日记 2025/9/14 22:13:53

debian系统中文输入法失效解决

在 Debian 9.6 上无法切换中文输入法的问题通常与输入法框架&#xff08;如 Fcitx 或 IBus&#xff09;的配置或依赖缺失有关。以下是详细的解决步骤&#xff1a; 1. 安装中文语言包 确保系统已安装中文语言支持&#xff1a; sudo apt update sudo apt install locales sudo…...

编程日记 2025/9/14 20:12:43

2025年危化品安全管理人员备考指南｜智能题库+核心考点解析

作为危化品生产单位安全管理人员&#xff08;主要负责人&#xff09;&#xff0c;考试内容主要涵盖三大模块&#xff1a; 法律法规体系 《安全生产法》修订要点&#xff08;2023版&#xff09; 危险化学品重大危险源辨识标准&#xff08;GB 18218&#xff09; 最新《化工过…...

编程日记 2025/9/8 0:16:21

我为女儿开发了一个游戏网站

大家好&#xff0c;我是星河。 自从协助妻子为女儿开发了算数射击游戏后&#xff0c;星河就一直有个想法&#xff1a;为女儿打造一个专属的学习游戏网站。之前的射击游戏虽然有趣&#xff0c;但缺乏难度分级&#xff0c;无法根据女儿的学习进度灵活调整。而且&#xff0c;仅仅…...

编程日记 2025/9/11 10:03:57

SpringBoot企业级开发之【用户模块-更新用户基本信息】

接口文档&#xff1a; 开发前我们先看一下接口文档&#xff1a; 这是实现的预想结果&#xff1a; 实现思路&#xff1a; 设计一下我们的实现思路 拿起家伙实操&#xff1a; 1.controller 定义一个方法去修改用户&#xff1a; 注意&#xff01;是【put请求】 //更改用户信…...

编程日记 2025/9/15 14:27:20

循环神经网络 - 长短期记忆网络的门控机制

长短期记忆网络&#xff08;LSTM&#xff09;的门控机制是其核心设计&#xff0c;用来解决普通 RNN 在长程依赖中遇到的梯度消失与信息混淆问题。为了更进一步理解长短期记忆网络&#xff0c;本文我们来深入分析一下其门控机制。 一、理解长短期记忆网络的“三个门” 所谓门控…...

编程日记 2025/9/14 14:59:51

AutoKeras 处理图像回归预测

AutoKeras 是一个自动机器学习库&#xff0c;在处理图像回归预测问题时&#xff0c;它可以自动选择最佳的模型架构和超参数&#xff0c;从而简化深度学习模型的构建过程。 AutoKeras 主要用于分类和回归任务&#xff0c;它同样可以进行图像数据的回归预测。 步骤 1: 安装 Auto…...

编程日记 2025/9/13 6:59:15

批量清空图片的相机参数、地理位置等敏感元数据

我们在使用相机或者手机拍摄照片的时候&#xff0c;照片中都会带有一些敏感元数据信息&#xff0c;比如说相机的型号&#xff0c;参数&#xff0c;拍摄的时间地点等等。这些信息虽说不是那么引人注意&#xff0c;但是在某些时候他是非常隐私非常重要的。如果我们将这些信息泄露…...

编程日记 2025/9/6 4:34:13

驱动-字符设备驱动框架

简要了解 字符设备驱动框架 整个流程 文章目录 基本知识&#xff1a;实际应用效果说明 参考资料字符设备驱动框架基本结构关键数据结构 - 文件操作结构体(file_operations)struct module *ownerssize_t (*read) (struct file *, char __user *, size_t, loff_t *);ssize_t (*wr…...

编程日记 2025/9/12 1:22:47

RK3588芯片NPU的使用：Windows11 Docker中运行PPOCRv4例子

本文的目标 本文将在RKNN Docker环境中练习PPOCR示例&#xff0c;并通过adb工具部署到RK3588开发板。 开发环境说明 主机系统&#xff1a;Windows11目标设备&#xff1a;搭载RK3588芯片的安卓开发板核心工具&#xff1a;包含rknn-toolkit2、rknn_model_zoo等工具的Docker镜像…...

编程日记 2025/9/10 0:44:06

88.高效写入文件—StringBuilder C#例子 WPF例子

在处理文件写入操作时&#xff0c;选择合适的方法可以显著影响程序的性能。本文将通过两个示例代码&#xff0c;对比使用 StringBuilder 和直接写入文件的性能差异&#xff0c;并提供具体的实现步骤。 问题背景 在实际开发中&#xff0c;我们经常需要将大量数据写入文件。然而…...

编程日记 2025/9/14 9:51:30

redis 延迟双删

Redis延迟双删是一种用于解决缓存与数据库数据一致性问题的策略&#xff0c;通常在高并发场景下使用。以下是其核心内容&#xff1a; 1. 问题背景 当更新数据库时&#xff0c;如果未及时删除或更新缓存&#xff0c;可能导致后续读请求仍从缓存中读取旧数据&#xff0c;造成数…...

编程日记 2025/9/12 22:14:44

如何在CentOS部署青龙面板并实现无公网IP远程访问本地面板

&#xfeff;青龙面板的功能多多&#xff0c;可以帮助我们自动化处理很多需要手动操作的事情&#xff0c;比如京东领京豆&#xff0c;阿里云盘签到白嫖 vip、掘金签到等等&#xff0c;本教程使用 Docker 搭建青龙面板&#xff0c;并结合 cpolar 内网穿透实现使用公网地址远程访…...

编程日记 2025/9/9 4:11:28

VectorBT量化入门系列：第五章 VectorBT性能评估与分析

VectorBT量化入门系列&#xff1a;第五章 VectorBT性能评估与分析 本教程专为中高级开发者设计&#xff0c;系统讲解VectorBT技术在量化交易中的应用。通过结合Tushare数据源和TA-Lib技术指标&#xff0c;深度探索策略开发、回测优化与风险评估的核心方法。从数据获取到策略部署…...

编程日记 2025/9/10 14:58:13

新能源商用车能耗终极优化指南：悬架、制动、电驱桥全链路硬核拆解（附仿真代码）

引言&#xff1a;新能源商用车的“续航战争”与工程师的破局点 1.1 行业现状&#xff1a;政策红利与技术瓶颈的博弈 数据冲击&#xff1a; 2023年中国新能源商用车销量突破50万辆&#xff0c;但平均续航仅为燃油车的55%&#xff08;数据来源&#xff1a;中汽协&#xff09;。…...

编程日记 2025/9/15 12:34:20

Maven笔记

Maven作用 依赖管理、版本控制标准化项目结构、自动化构建项目生命周期管理细分项目模块自动化构建、通过插件拓展构建过程 Maven下载及配置 https://blog.csdn.net/qq_29689343/article/details/135566775 使用IDEA 构建Maven工程 https://blog.csdn.net/qq_29689343/art…...

编程日记 2025/9/12 17:36:42

Java——接口扩展

JDK8开始接口中新增的方法 JDK7以前:接口中只能定义抽象方法。 JDK8的新特性:接口中可以定义有方法体的方法。(默认、静态) JDK9的新特性:接口中可以定义私有方法。 默认方法 需要使用关键字default修饰 作用: 解决接口升级的问题 接口中默认方法的定义格式: 格式: public d…...

编程日记 2025/9/11 9:26:41

COD任务论文--MAMIFNet

摘要 提示&#xff1a;论文机翻 由于难以从复杂背景中区分高度相似的目标&#xff0c;伪装物体检测&#xff08;COD&#xff09;仍然是计算机视觉领域的一项具有挑战性的任务。现有的伪装物体检测方法往往在场景理解和信息利用方面存在困难&#xff0c;导致精度不足&#xff0c…...

编程日记 2025/9/14 19:19:07

基于MCP协议调用的大模型agent开发04

目录 MCP客户端Client开发流程 uv工具 uv安装流程 uv的基本用法介绍 MCP极简客户端搭建流程 MCP客户端接入OpenAI、DeepSeek在线模型流程 参考来源及学习推荐&#xff1a; Anthropic MCP发布通告&#xff1a;https://www.anthropic.com/news/model-context-protocol MC…...

编程日记 2025/9/9 13:51:38

ComfyUI_Echomimic部署问题集合

本博客总结自己在从WebUI转到ComfyUI的过程配置Echomimic遇到的一些问题和解决方法。 默认大家已经成功安装ComfyUI&#xff0c;我之前装的是ComfyU桌面版&#xff0c;现在用的是B站秋葉大佬的整合包。但内核都一样&#xff0c;错误也是通用的。遇到问题时&#xff0c;应该先去…...

编程日记 2025/9/12 13:58:17

音频转文本：如何识别音频成文字

Python脚本：MP4转MP3并语音识别为中文 以下是一个完整的Python脚本，可以将MP4视频转换为MP3音频，然后使用语音识别模型将音频转换为中文文本。 准备工作 首先需要安装必要的库： pip install moviepy pydub SpeechRecognition openai-whisper完整脚本 import os from m…...

编程日记 2025/9/10 4:16:10

脑科学与人工智能的交叉：未来智能科技的前沿与机遇

引言 随着科技的迅猛发展&#xff0c;脑科学与人工智能&#xff08;AI&#xff09;这两个看似独立的领域正在发生深刻的交汇。脑机接口、神经网络模型、智能机器人等前沿技术&#xff0c;正带来一场跨学科的革命。这种结合不仅推动了科技进步&#xff0c;也在医疗、教育、娱乐等…...

编程日记 2025/9/15 6:51:06

Linux | I.MX6ULL外设功能验证(11)

01 CSI 摄像头测试 I.MX6ULL 终结者开发板引出了一路 CSI 的摄像头接口，支持【007】的 OV5640 摄像头模块。首先我们连接OV5640 摄像头模块到开发板上，如下图所示（大家在连接的时候一定要注意方向，摄像头朝向开发板的内侧，千万不要接反）：...

编程日记 2025/8/17 19:55:16

AI助手：Claude

一、简介 Claude 是由 Anthropic 公司开发的一款人工智能助手&#xff0c;类似于 OpenAI 的 ChatGPT。它以 Anthropic 提出的“宪法式 AI&#xff08;Constitutional AI&#xff09;”为核心设计理念&#xff0c;强调安全性、透明性和可控性。以下是对 Claude 的一个简要介绍&…...

编程日记 2025/9/8 17:51:30