当前位置：首页 > news >正文

多模态（3）：实战 GPT-4o 视频理解

news 来源：原创 2025/6/26 11:25:58

最近，OpenAI 团队的 GPT-4o 模型，在多模态方面的能力有了大幅提升，这次我们就使用 GPT-4o 完成一个视频理解的实战。

1. 环境搭建

1.1 安装 FFmpeg

做视频处理，我们需要用到 FFmpeg 这款功能强大的开源多媒体处理工具。FFmpeg 用于处理音频、视频和其他多媒体文件，可以实现以下功能：

转码：将多媒体文件从一种格式转换为另一种格式，例如将视频从 MP4 转换为 AVI。
剪辑：从多媒体文件中提取片段或合并多个片段。
处理：调整视频的尺寸、比特率、帧率，或音频的采样率、声道数等。
添加效果：为视频添加滤镜、字幕、水印等。
流媒体：将多媒体文件实时传输到网络上。

首先我们来安装 FFmpeg 工具。我使用的是 Mac 电脑，可以直接通过 brew 来安装。如果同学们使用的是其它平台，也可以参考官网的教程进行安装，这里就不赘述了。

brew install ffmpeg

安装完成后，可以通过下面的命令进行验证：

ffmpeg -version

1.2 安装依赖库

除了 FFmpeg 之外，我们还需要安装 opencv-python 和 moviepy，它们是 Python 领域非常主流的计算机视觉库，具备强大的音视频处理能力。

pip install --upgrade opencv-python moviepy

2. 视频抽帧

因为 OpenAI 官方暂时还没有直接开放视频理解的 API，所以我们只能曲线救国，先对视频进行抽帧，提取出一组帧的图片，再批量发送给 GPT-4o 进行理解。

我利用大模型生成了一段 5秒的搞笑视频：

对该视频进行抽帧，按照每1秒提取一帧，总共可以提取出5帧的内容。具体代码如下：

3. 视频理解

抽帧完成后，我们就可以将这些图片批量发送给 GPT-4o，让其生成视频内容介绍。

代码如下：

import os
from typing import Listimport dotenv
from openai import OpenAI# 加载环境变量
dotenv.load_dotenv()# 创建OpenAI客户端
client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"),base_url=os.getenv("OPENAI_API_BASE"))def introduction(frames: List) -> str:"""生成视频介绍:param frames: 视频帧列表:return: 视频内容介绍"""# 使用GPT-4o模型,生成视频介绍response = client.chat.completions.create(model='gpt-4o',messages=[{"role": "system", "content": "你是一位资深的内容编辑。请以Markdown格式，生成视频的介绍。"},{"role": "user", "content": ["下面是视频的图像帧",*map(lambda x: {"type": "image_url","image_url": {"url": f'data:image/jpg;base64,{x}', "detail": "low"}},frames)]},],temperature=0,)return response.choices[0].message.content

执行代码，可以看到 GPT-4o 为我们生成了 Markdown 格式的内容：

# 视频介绍在这段富有喜剧色彩的视频中，乡村田野的宁静被一位尝试骑行水坑的年轻人打破。阳光明媚的一天，他戴着大帽子，骑着复古自行车，试图勇敢地穿越一条泥泞的小路。## 场景描绘- **骑自行车者的冒险**: 骑车者穿着淳朴的服装，头戴宽檐帽，给人一种漫游田园的印象。在他的自行车后座绑着一只体型小巧的家禽，为场景增添了趣味性。
- **挑战与失误**: 视频的高潮部分呈现了骑车者试图跨越路面上的浅水坑。尽管动作充满信心，但他最终失去平衡，坠入水中，溅起大片水花，构成了幽默的结局。
- **观众的反应**: 在画面的一侧，可以看到一群穿着传统服装的人们，他们以各种姿态观望骑自行车者的冒险，脸上似乎带着惊讶和喜悦。 ## 视频氛围整个场景在绿色的草地和清澈的蓝天背景中进行，表现出乡村生活的悠然宁静，同时以幽默的方式捕捉人们日常尝试中的滑稽瞬间。这段视频不仅让观众感受到幽默，也让人赞美大自然的美丽与朴实生活的简单乐趣。

可以看出，GPT-4o 基本 Get 到了视频内容的精髓。

小结

本篇文章中，我们全面了解了 GPT-4o 的强大功能及其在多模态 AI 应用开发中的巨大潜力，并通过实际操作体验了如何利用 GPT-4o 进行视频理解。

GPT-4o 作为全新的端到端多模态模型，能够在极短的时间内处理多种模态输入和输出，使得人机交互更加自然和高效。尤其是在音频分析和视频理解方面，GPT-4o 的表现令人印象深刻。

大模型在多模态方面能力的持续提升，将为 AI 应用的开发带来革命性的变化，一方面可以大幅提升用户体验；另一方面也可以加速促进 AI 应用在各行各业的广泛应用，并不断催生出更多创新的解决方案。

多模态（3）：实战 GPT-4o 视频理解

最近，OpenAI 团队的 GPT-4o 模型，在多模态方面的能力有了大幅提升，这次我们就使用 GPT-4o 完成一个视频理解的实战。 1. 环境搭建 1.1 安装 FFmpeg 做视频处理，我们需要用到 FFmpeg 这款功能强大的开源多媒体处理工具。FFmpeg…...

编程日记 2025/6/26 11:25:58

基于python实现一个二维图片的路径规划问题

一、场景基于如下的一个楼层平面图，假设有几个预置的点（实际项目中可能是动态的点，比如找车位，找工位），做路径规划，并画在平面图上二、方案 1.准备平面室内图可以自己用QGIS/cad等其他方式…...

编程日记 2025/6/26 10:28:22

百度搜索云服务器centos 安装hadoop 创建Hadoop用户 sudo useradd hadoop -m -s /bin/bash sudo passwd hadoop 123456 下载Hadoop wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz 解压并移动Hadoop到指定目录 tar …...

编程日记 2025/6/23 11:49:16

【k8s】sidecar边车容器

一、Sidecar 模式简介 Sidecar 模式是一种常见的微服务架构设计模式。它通过将附加功能或服务与主应用程序部署在同一容器或主机上，从而实现对主应用程序的增强和扩展。Sidecar 的名称来源于摩托车的边车，它与摩托车紧密相连，为主车提供额外…...

编程日记 2025/6/25 22:44:27

Web漏洞--XSS之订单系统和Shell箱子

本文主要内容手法 XSS平台使用 XSS工具使用 XSS结合其他漏洞 XSS具体使用场景某订单系统XSS盲打_平台某Shell箱子系统XSS盲打_工具 [1]订单系统经典案例第一个简易攻击流程（订单系统）：通过平台完成XSS跨站之后&a…...

编程日记 2025/6/23 16:43:27

# 构建词汇表：自然语言处理中的关键步骤

构建词汇表：自然语言处理中的关键步骤在自然语言处理（NLP）任务中，词汇表（Vocabulary）是文本数据预处理的核心组件之一。它将文本中的单词或字符映射为数值索引，从而让计算机能够理解和处理语言…...

编程日记 2025/6/25 22:41:55

新！在 podman-machine-default 中安装 CUDA、cuDNN、Anaconda、PyTorch 等并验证安装

#工作记录一、前言在 Windows 系统开发环境中，Podman Desktop 凭借强大的容器管理与 WSL-Linux 子系统集成能力备受开发者关注。其中，podman-machine-default 是 Podman Desktop 安装后自带的默认 WSL-Fedora 子系统，支持与显卡通信&am…...

编程日记 2025/6/21 20:07:47

python_BeautifulSoup提取html中的信息

目录描述： 过程： step one 下载html网页到本地 step two 提取html信息 list_con soup.select(.list-con) [0] li_list list_con.find_all(li) a li.find(span).find(a) title a.get(title) url a.get(href) span li.find(span).find(spa…...

编程日记 2025/6/26 7:23:36

pcd2pgm的launch文件实现

1.新建工作空间和克隆代码 mkdir -p pcd2pgm_launch/src && cd pcd2pgm_launch/src git clone https://github.com/Hinson-A/pcd2pgm_package 2. 编译 cd .. catkin_make -j4 3.修改launch 在launch文件目录下，可以用gedit 打开launch文件&#xff0c…...

编程日记 2025/5/8 17:08:32

Vue里面elementUi-aside 和el-main不垂直排列

先说解决方法 main.js少导包 import element-ui/lib/theme-chalk/index.css; //加入此行即可问题复现排查了一个小时终于找出来问题了，建议导包去看官方的文档，作者就是因为看了别人的导包流程导致的问题导包官网地址Element UI导包快速入门...

编程日记 2025/6/22 12:25:28

论文阅读：2024 ACL ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs

总目录大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328 Artprompt: Ascii art-based jailbreak attacks against aligned llms https://www.doubao.com/chat/3846685176618754 https://arxiv.org/pdf/2402.11753 https://github…...

编程日记 2025/6/24 21:26:03

项目maven版本不一致导致无法下载

路程：打开一个新项目发现，maven加载不了报错： Error running ‘dataManage [clean]’ No valid Maven installation found. Either set the home directory in the configuration dialog or set the M2_HOME environment variable on your s…...

编程日记 2025/6/24 12:40:22

论文阅读：2024 NeurIPS Group Robust Preference Optimization in Reward-free RLHF

Group Robust Preference Optimization in Reward-free RLHF https://www.doubao.com/chat/3870738843518978 https://arxiv.org/pdf/2405.20304 速览研究动机传统RLHF忽视群体偏好差异，导致模型对少数群体表现不佳，需提升群体鲁棒性。研究问题如…...

编程日记 2025/6/26 4:16:33

数据可视化平台产品介绍及功能特色

数据可视化平台是一款适用于高校教学和各领域企业的零门槛可视化工具，能够解决高校数据分析与可视化类课程教学、实训问题。平台通过浏览器即可访问，无需安装客户端。平台内置公式编辑器与指标构建器，学生可通过四则运算、分组聚合等方式衍生…...

编程日记 2025/6/25 20:54:17

MySQL索引优化、SQL分析与运行原理 - Java架构师面试实战

MySQL索引优化、SQL分析与运行原理 - Java架构师面试实战第一轮提问面试官：马架构，请问您对MySQL的B树索引有什么理解？ 马架构：B树是一种平衡多路查找树，所有的数据节点都存储在叶子节点上。相比于B树&#xff0c…...

编程日记 2025/6/25 22:23:55

C++学习：六个月从基础到就业——STL：函数对象与适配器

C学习：六个月从基础到就业——STL：函数对象与适配器本文是我C学习之旅系列的第二十九篇技术文章，也是第二阶段"C进阶特性"的第八篇，主要介绍C STL中的函数对象与适配器。查看完整系列目录了解更多内容。引言在前面的…...

编程日记 2025/6/24 7:16:10

Linux基础篇、第四章_02磁盘及分区管理fdisk 和 gdisk

题目：Linux 磁盘及分区管理版本号: 1.0,0 作者: 老王要学习日期: 2025.04.25 适用环境: Centos7 文档说明本教程适用于 Centos7 环境，详细介绍 Linux 磁盘及分区管理操作。包含虚拟机添加磁盘的关机与开机添加方法、MBR 和 GPT 两种分区方式特点、…...

编程日记 2025/6/25 1:22:23

火山云的市场竞争

火山云是字节跳动旗下的云计算服务，对吧？那它的竞争对手应该包括国内外的大型云服务提供商。首先，国际市场上，像AWS、Azure、Google Cloud这些巨头肯定是大头。国内的话，阿里云、腾讯云、华为云这些应该都是主要的竞争…...

编程日记 2025/6/24 10:56:28

创建型设计模式之：简单工厂模式、工厂方法模式、抽象工厂模式、建造者模式和原型模式

创建型设计模式之：简单工厂模式、工厂方法模式、抽象工厂模式、建造者模式和原型模式 （一）简单工厂模式简单工厂模式将对象的实例化过程封装到一个工厂类中，根据输入的条件创建不同类型的对象。角色划分： 抽象产品…...

编程日记 2025/6/24 1:48:46

【Linux内核设计与实现】第三章——进程管理01

文章目录 1. 引言2. 进程&线程——概念3. 进程控制块/进程描述符(PCB)4. 进程内核栈（Kernel Stack）4.1. 进程内核栈的定义4.2. thread_info 体系结构相关进程描述4.3. 定位进程描述符(task_struct)和内核栈以及内核栈指针的问题 5. 进程 ID&#xff…...

编程日记 2025/6/23 12:45:46

正大模型视角下的市场结构判断逻辑

正大模型视角下的市场结构判断逻辑在多数交易策略中，结构识别往往先于方向判断。以正大的数据研判风格为例，其核心逻辑是：价格行为不能孤立解读，必须结合时间与成交效率来判断当前结构的有效性。例如，一个上涨过程&…...

编程日记 2025/6/20 9:31:25

4.25学习——文件上传之00截断

继昨天学习的基础文件上传内容，进一步学习文件上传的绕过方式 00截断绕过原理：00截断是操作系统层的漏洞，由于操作系统是C语言或汇编语言编写的，这两种语言在定义字符串时，都是以\0（即0x00）作…...

编程日记 2025/5/27 13:29:41

黑马Redis（三）黑马点评项目

优惠卷秒杀一、全局唯一ID 基于Redis实现全局唯一ID的策略： Component RequiredArgsConstructor public class RedisIdWorker {private static final Long BEGIN_TIMESTAMP1713916800L;private static final int COUNT_BITS 32;Resourceprivate final StringRed…...

编程日记 2025/6/23 18:13:11

dedecms织梦arclist标签noflag属性过滤多个参数

织梦dedecms系统arclist标签noflag属性默认是只能过滤一个参数，比如过滤推荐是noflagc，过滤有图片的文章是noflagc，在模板制作过程中，有时候我们为了seo和避免重复，需要过滤多个参数。今天小编就来跟大家讲讲织梦dedec…...

编程日记 2025/6/23 11:30:22

Jira、PingCode、Redmine等18款缺陷管理工具对比评测

本文主要介绍了以下：1. PingCode; 2. Worktile; 3. Jira; 4. Bugzilla; 5. TAPD; 6. 码云; 7. Redmine; 8. Trac; 9. 蓝鲸智云; 10. 阿里云效等等18款缺陷管理工具。在现代软件开发和项目管理中，缺陷管理工具扮演着至关重要的角色。随着企业对软件质量的…...

编程日记 2025/5/17 20:12:00

京东以图搜图（拍立淘）API接口返回参数详解

京东以图搜图（拍立淘）API接口的返回参数通常以结构化JSON格式呈现，涵盖商品基础信息、相似度评分、库存状态及扩展字段，以下为关键参数详解及使用建议： 一、核心返回参数解析状态标识类 status：请求状态…...

编程日记 2025/6/22 11:28:53

LSTM+KNN - 多元数据异常检测！

大家好！我是我不是小 upper~ 今天想和大家分享一个超实用的案例：如何通过 LSTM 与 KNN 实现多元数据异常检测。想象一下，在工厂的智能化监控场景中，各类传感器实时采集着温度、湿度、压力等海量数据。我们的目标，就是从中精准识别出设备潜在故障等异常情况。 LSTM 作为时…...

编程日记 2025/6/25 8:16:54

OpenHarmony之电源管理子系统公共事件定义

OpenHarmony之电源管理子系统公共事件定义电源管理子系统面向应用发布如下系统公共事件，应用如需订阅系统公共事件，请参考公共事件接口文档。 COMMON_EVENT_BATTERY_CHANGED 表示电池充电状态、电平和其他信息发生变化的公共事件的动作。值&#x…...

编程日记 2025/6/24 19:38:34

angular 实现可编辑可选择复制的表格

这个实现的核心就是ag-grid 当然有类似的库就不必多说，React, Vue和纯h5类似。简单贴一下代码 1.首先是h5部分，就一个id为supply-chain-material-grid-table的div，记住要设置高度 <div class"dki-supply-chain-page-body">…...

编程日记 2025/6/26 20:50:58

组织用户数统计实现

# 完整的组织用户数统计实现完整的组织用户数统计实现，包括模拟SQL查询、完整的Java代码实现以及详细解释。 ## 1. 模拟SQL查询假设我们有一个组织表(organization)和用户表(user)，以下是模拟查询SQL： sql -- 获取各组织及其用户数量&a…...

编程日记 2025/6/25 9:32:44

天机学堂day10作业，完善兑换优惠券功能

UserCouponServiceImpl /*** 兑换码兑换优惠券* param code*/TransactionalOverridepublic void exchangeCoupon(String code) {//1、校验code是否为空if (StringUtils.isBlank(code)) {throw new BadRequestException("非法参数！");}//2、解析兑换码&…...

编程日记 2025/6/23 14:30:00

Python编程的真谛：超越语法，理解编程本质

你是否也曾陷入这样的误区：学了无数的 Python 语法、刷了几十套题，写起代码却仍然卡顿、举步维艰？这时候你才发现，真正阻碍进步的，从不是语法，而是你对“编程本质”的理解。如果你只是死记硬背Python的语…...

编程日记 2025/6/24 18:52:03

C语言函数补充

目录 static和extern函数 1.static和extern函数 static和extern都是C语言中的关键字 static 是静态的的意思，可以用来: - 修饰局部变量- 修饰全局变量- 修饰函数 extern 是用来声明外部符号的。在讲解 static 和 extern 之前再讲一下: 作用域和生命周期。 …...

编程日记 2025/6/25 22:15:33

【AI图像创作变现】04实操路径—插图/绘本/创意图集

引言如果说头像是“一个角色的起点”，那么插图、绘本和图集就是“这个角色能走多远”。相比于头像这种单图任务，插图类创作更强调批量性、叙事性与风格统一性，它既可以承载故事，也可以构成一套完整的内容产品结构。这类任务特…...

编程日记 2025/6/24 20:41:55

Lesar: 面向 Lustre/Scade 语言的形式化模型检查工具

在《同步反应式系统》的第一课中，介绍了同步数据流语言 Lustre 生态中的形式化模型检查器 Lesar 的用法。Lesar 可对 lustre v4 语言以及 Scade 语言中部分数据流核心特性进行模型检查。 Lesar 介绍 Lesar 是 Verimag 研发维护的形式化方法模型检查工具。该工具的理…...

编程日记 2025/6/1 17:53:06

告别 “幻觉” 回答：RAG 中知识库与生成模型的 7 种对齐策略

一、引言大语言模型（LLM）在文本生成领域展现出惊人能力，但 “幻觉” 问题（生成虚构或偏离事实的内容）始终是落地应用的核心挑战。检索增强生成（RAG）通过将外部知识库与 LLM 结合，形…...

编程日记 2025/6/25 7:45:26

【Web应用服务器_Tomcat】一、Tomcat基础与核心功能详解

在 Java Web 应用开发领域，Apache Tomcat 是一座不可或缺的基石。作为一款开源、轻量级的 Servlet 容器和 Web 服务器，Tomcat 以其稳定可靠、易于部署和高度可定制性，被广泛应用于各类 Web 应用的部署与运行。一、Tomcat 简介 Tomcat 是…...

编程日记 2025/5/10 17:01:00

Cesium实现地形可视域分析

Cesium实现可视化分析一、地形可视域主要实现技术（Ray + 地形碰撞检测） Cesium 本身的 Ray 类可以用来执行非常精确的射线检测，我们可以结合地形高度（sample）来逐点检测光线是否与 terrain 相交，从而判断是否可见。 1.1 优势实时判断每条射线是否被 terrain 遮挡地形…...

编程日记 2025/6/20 14:40:01

Java—— 常见API介绍第五期

JDK8以后新增的时间相关类 Date类ZoneId：时区Instant：时间戳ZoneDateTime：带时区的时间日期格式化类 SimpleDateFormat DateTimeFormatter：用于时间的格式化和解析日历类 Calendar LocalDate：年、月、日LocalTime…...

编程日记 2025/6/24 19:53:50

ViewPager FragmentPagerAdapter在系统杀死应用后重建时UI不刷新的问题

解决方案通过重写getItemId方法，返回Fragment的hashCode： Override public long getItemId(int position) {/*** 恢复状态重建时，新的 Fragment 不刷新UI。* 原因：instantiateItem 中通过 mFragmentManager.findFragmentByTag(…...

编程日记 2025/6/25 18:04:07

第3讲、大模型如何理解和表示单词：词嵌入向量原理详解

1. 引言大型语言模型（Large Language Models，简称LLM）如GPT-4、Claude和LLaMA等近年来取得了突破性进展，能够生成流畅自然的文本、回答复杂问题、甚至编写代码。但这些模型究竟是如何理解人类语言的？它们如何表示和处…...

编程日记 2025/6/26 1:23:05

关于STM32f1新建工程

创建文件夹首先创建一个存放工程的文件夹，建议建立在D，E盘新建工程在kiel5里面找到刚刚建立的文件夹，然后在此文件夹里面新建一个文件夹用来存放本次工程，文件夹可以根据工程内容所编写，然后给自己工程也就是…...

编程日记 2025/6/24 11:10:36

Linux：进程间通信---匿名管道

文章目录 1. 进程间通信1.1 什么是进程间通信？1.2 为什么进程要进行进程间通信？1.3 怎么实现进程间通信？ 2. 匿名管道2.1 匿名管道的原理2.2 匿名管道的系统接口2.3 匿名管道的使用2.4 匿名管道的运用场景序：在上一篇文章中我们知…...

编程日记 2025/6/26 20:36:09

python代做推荐系统深度学习知识图谱c#代码代编神经网络算法创新

以下是针对推荐系统、深度学习、知识图谱和神经网络算法创新的代码框架及开发建议，适用于C#和Python的跨语言协作项目。以下内容分为几个部分，涵盖技术选型、代码示例和创新方向。 1. 推荐系统（Python C#） Python部分&#xff0…...

编程日记 2025/6/26 23:10:16

【动手学大模型开发】VSCode 连接远程服务器

Visual Studio Code（VSCode）是一款由微软开发的免费、开源的现代化代码编辑器。它以其轻量级、高性能和广泛的编程语言支持而受到开发者的青睐。VSCode 的核心特点包括： 跨平台：支持 Windows、macOS 和 Linux 操作系统。扩展市场…...

编程日记 2025/6/21 11:35:59

PostgreSQL 漏洞信息详解

PostgreSQL 漏洞信息详解 PostgreSQL 作为一款开源关系型数据库，其安全漏洞会被社区及时发现和修复。以下是 PostgreSQL 漏洞相关的重要信息和资源。一、主要漏洞信息来源 1. 官方安全公告 PostgreSQL 安全信息页面：https://www.postgresql.org/sup…...

编程日记 2025/5/24 21:28:12