当前位置：首页 > news >正文

23- TIME-LLM: TIME SERIES FORECASTING BY REPRO- GRAMMING LARGE LANGUAGE MODELS

news 来源：原创 2025/6/17 16:15:49

解决问题

用LLM来解决时序预测问题，并且能够将时序数据映射（reprogramming）为NLP token，并且保持backbone的大模型是不变的。解决了时序序列数据用于大模型训练数据稀疏性的问题。

方法

Input Embedding

输入： $X^{N*T}$ ,首先对 $X_i$ 进行均方差归一化，再对 $X_i$ 进行类似卷积操作的分块，每个分块长度为 $L_p$ ，滑动步长为 $s$ ,那么分块后新的序列长度为
在这里插入图片描述
再将 $X_{p}\in{P*L_p}$ 通过线性映射层映射为 $X_{p}\in{P*d_m}$ （相当于将每个段时序信息的数据映射为一个embeding，来描述该时段的信息）。

Patch Reprogramming

将时序数据进行数据对齐，为nlp能理解的信息
文中学习一个 $E'\in{V'*D}$ ，其中 $V^{'}$ 远小于原词典大小，这样可以提升效果。 $E^{'}$ 在模型中进行学习，学习词典与path的相关性信息。
在这里插入图片描述

再将 $E^{'}$ 作为attention中的V和K，path embedding作为attention中的Q，这样就可以得到path与每个nlp token之间的相关性。
在这里插入图片描述

Prompt-as-Prefix.

同时在序列特征前面构造一些提示词信息，来帮助学习。

在打包和前馈时，prompt and patch嵌入 $O_i$ , 通过如图2所示的冻结LLM，我们丢弃前置Prompt-as-Prefix部分并获得输出表示。在此之后，将它们展平并线性投影，以得出最终预测 $Y_i$ . （丢弃指得是只用他们来计算attention吗，最终输出的embedding表示丢弃掉？）
在这里插入图片描述

整体结构

其中LLM是冻结的
在这里插入图片描述

实验

在few-shot（减少训练集数量）和zero-shot（训练集和测试集不同）都进行了评估，都获得了很好的效果

Reprogramming Interpretation

可以看出，在经过充分的学习之后，不同的patch有不同的语意含义，需要不同的原型来表示。
key

在这里插入图片描述

可以借鉴的点

对序列特征进行滑动窗口的划分，每段有不同的含义，生成对应的embedding
通过学习与nlp词典的相关性来减少词表大小，加速训练

相关文章：

23- TIME-LLM: TIME SERIES FORECASTING BY REPRO- GRAMMING LARGE LANGUAGE MODELS

解决问题用LLM来解决时序预测问题，并且能够将时序数据映射（reprogramming）为NLP token，并且保持backbone的大模型是不变的。解决了时序序列数据用于大模型训练数据稀疏性的问题。方法 Input Embedding 输入： X …...

编程日记 2025/6/4 12:05:13

【Go】Go数据类型详解—数组与切片

1. 前言今天需要学习的是Go语言当中的数组与切片数据类型。很多编程语言当中都有数组这样的数据类型，Go当中的切片类型本质上也是对数组的引用。但是在了解如何定义使用数组与切片之前，我们需要思考为什么要引入数组这样的数据结构。 1.1 为什么需要…...

编程日记 2025/6/2 19:01:14

微服务中引入消息队列的利弊

微服务中引入消息队列的利弊 1、微服务架构中引入消息队列(Message Queue)的主要优势： 1.1 解耦(Decoupling) 服务之间不需要直接调用，通过消息队列实现松耦合生产者和消费者可以独立扩展和维护降低系统间的依赖性 1.2 异步处理(Asynchronous Proc…...

编程日记 2025/6/3 8:22:48

如何使用策略模式并让spring管理

1、策略模式公共接口类 BankFileStrategy public interface BankFileStrategy {String getBankFile(String bankType) throws Exception; } 2、策略模式业务实现类 Slf4j Component public class ConcreteStrategy implements BankFileStrategy {Overridepublic String ge…...

编程日记 2025/5/26 19:16:18

骑砍2霸主MOD开发(11)-可编程渲染管线Shader编程

一.固定渲染管线&可编程渲染管线固定渲染管线:GPU常规渲染算法,将3D模型经过四大变换计算得到2D屏幕图像可编程渲染管线:定制化GPU渲染算法,需要提交Shader至GPU中,GPU根据定制化算法得到2D屏幕图像二.CoreShader&TerrainShader CoreShader:游戏中使用的静态shader…...

编程日记 2025/6/3 5:33:50

【PowerQuery专栏】PowerQuery 函数之CSV文件处理函数

CSV.Document 函数是进行CSV文件解析功能的函数，函数目前包含4个参数：参数1为文件的数据源，数据类型为二进制类型，值为需要读取的文本数据参数2为列名称，数据类型为字符串类型，值为分割后的列名称参数3为分隔符，数据类型为任意类型，值为分割数据的分隔符参数4为文件编…...

编程日记 2025/6/2 0:19:57

【FAQ】HarmonyOS SDK 闭源开放能力 —Map Kit（4）

1.问题描述： 添加了很多的marker点，每个marker点都设置了customInfoWindow，但是每次只能显示一个customInfoWindow吗？ 解决方案： Marker的InfoWindow每次只能显示一个。 2.问题描述： 在地图选型中&…...

编程日记 2025/6/1 18:24:51

通过ffmpeg将FLV文件转换为MP4

使用 ffmpeg 将 FLV 文件转换为 MP4 文件是一个常见的操作。ffmpeg 是一个强大的多媒体处理工具，支持多种格式的转换、剪辑、合并等操作。以下是详细的步骤和命令示例，帮助你完成这一任务。安装 FFmpeg 如果你还没有安装 ffmpeg，可以根据你…...

编程日记 2025/6/1 14:59:25

深入分析Java中的重载与重写：理解多态的两个面向

深入分析Java中的重载与重写：理解多态的两个面向之前其实写过一篇文章来探讨Java当中的方法重载与方法重写但当时学的还不够通透，分析有点片面，这次我从多态的角度对其进行分析，有问题欢迎大家来评论区一起探讨在Java编程中&a…...

编程日记 2025/6/4 7:25:14

STM32的集成开发环境STM32CubeIDE安装

STM32CubeIDE - STM32的集成开发环境 - 意法半导体STMicroelectronics...

编程日记 2025/6/1 11:35:39

【狂热算法篇】探秘图论之 Floyd 算法：解锁最短路径的神秘密码(通俗易懂版)

： 羑悻的小杀马特.-CSDN博客羑悻的小杀马特.擅长C/C题海汇总,AI学习,c的不归之路,等方面的知识,羑悻的小杀马特.关注算法,c,c语言,青少年编程领域.https://blog.csdn.net/2401_82648291?spm1010.2135.3001.5343 在本篇文章中，博主将带大家去学习所谓的…...

编程日记 2025/6/2 1:21:48

25/1/13 嵌入式笔记继续学习Esp32

PWM（Pulse Width Modulation，脉宽调制） 是一种通过快速切换高低电平来模拟中间电压值的技术。它广泛应用于控制 LED 亮度、电机速度、音频生成等场景。 analogWrite函数:用于在微控制器（如 Arduino）上生成模拟信号。 …...

编程日记 2025/6/3 6:41:10

C语言的语法糖

C语言的语法糖引言在程序开发的过程中，语言的设计和编写风格往往会直接影响开发效率和代码可读性。C语言作为一种广泛应用于系统编程和嵌入式开发的编程语言，其设计虽然追求简洁与高效，但在某些方面同样存在可以提高编程体验的“语法糖”…...

编程日记 2025/5/29 18:11:36

客户案例：致远OA与携程商旅集成方案

一、前言本项目原型客户公司创建于1992年,主要生产并销售包括糖果系列、巧克力系列、烘焙系列、卤制品系列4大类,200多款产品。公司具有行业领先的生产能力,拥有各类生产线100条,年产能超过10万吨。同时,经过30年的发展,公司积累了完善的销售网络,核心经销商已经超过1200个,超…...

编程日记 2025/6/1 9:15:21

浔川 AI 翻译已修复，可正常使用

浔川 AI 翻译已修复，可正常使用亲爱的用户们： 大家好！经过技术团队的不懈努力，浔川 AI 翻译平台已完成修复，目前各项功能均已恢复正常，可流畅使用。在此，我们向一直以来关心和支持浔川 AI 翻译…...

编程日记 2025/6/3 19:51:59

【Python】深入探讨Python中的单例模式：元类与装饰器实现方式分析与代码示例

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！ 解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界单例模式（Singleton Pattern）是一种常见的设计模式，它确保一个类只有一个实例&…...

编程日记 2025/5/30 19:58:38

D. Paint the Tree

https://codeforces.com/problemset/problem/1975/D 分析： 观察样例可以发现，对于PB第一次在位置 r 接触到红点之后，接下来的怎么走完全可以有PB说了算，情况不会更差。同时还能发现，大部分边都是需要走两遍的&#xff…...

编程日记 2025/6/4 5:41:20

ScratchLLMStepByStep：训练自己的Tokenizer

1. 引言分词器是每个大语言模型必不可少的组件，但每个大语言模型的分词器几乎都不相同。如果要训练自己的分词器，可以使用huggingface的tokenizers框架，tokenizers包含以下主要组件： Tokenizer: 分词器的核心组件，定…...

编程日记 2025/6/4 14:28:10

【Linux】Socket编程-TCP构建自己的C++服务器

🌈 个人主页：Zfox_ 🔥 系列专栏：Linux 目录一：🔥 Socket 编程 TCP 🦋 TCP socket API 详解🦋 多线程远程命令执行🦋 网络版计算器（应用层自定义协议与序列化…...

编程日记 2025/6/2 3:04:29

数据结构——线性表和顺序表

1、线性表的基本概念 1.1 定义线性结构是简单且常用的数据结构，而线性表则是一种典型的线性结构存储数据，最简单，最有效的方法是吧它们存储在一个线性表中一个线性表是n个元素的有限序列。每个元素在不同的情况下有不同的含义&#xff0c…...

编程日记 2025/6/3 21:06:17

FunASR 在Linux/Unix 平台编译

第一步拉取镜像并生成容器： ### 镜像启动通过下述命令拉取并启动FunASR软件包的docker镜像： shell sudo docker pull \ registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-online-cpu-0.1.12 mkdir -p ./funasr-runtime-…...

编程日记 2025/6/3 1:50:57

AIP-200 先例

编号200原文链接AIP-200: Precedent状态批准创建日期2018-06-28更新日期2018-06-28 很多时候，API的编写方式会违反新的指导原则。此外，有时出于特定原因也需要打破标准，例如与现有系统保持一致、满足严格的性能要求或其他因素。最后&#xf…...

编程日记 2025/5/31 17:58:44

SAP五大核心模块：塑造企业数字化未来

在数字化转型的浪潮中，SAP（Systems, Applications and Products in Data Processing）以其强大的企业资源规划（ERP）系统，成为众多企业信赖的伙伴。SAP系统通过五大核心模块，即财务管理&#xff0…...

编程日记 2025/6/1 17:18:19

【UE5.3】fix DONET报错

新的机器 4070 gpu 运行ue项目，可能是epic 启动器是vs安装的， vs安装的epic 启动器自己更新了一波，导致了.NET的问题？ ue项目是拷贝远程的windows的电脑里面的，应该不会导致ue源码里的cs出问题？【UE5.3】UnrealLink 安装：fix Detected compiler newer than Visual Stu…...

编程日记 2025/6/2 7:03:13

【0393】Postgres内核 checkpointer process ③ 构建 WAL records 工作缓存区

1. 初始化 ThisTimeLineID、RedoRecPtr 函数 InitXLOGAccess() 内部会初始化 ThisTimeLineID、wal_segment_size、doPageWrites 和 RedoRecPtr 等全局变量。下面是这四个变量初始化前的值： (gdb) p ThisTimeLineID $125 = 0 (gdb) p wal_segment_size $126 = 16777216 (gdb…...

编程日记 2025/5/30 0:07:20

pc 端 TensorRT API 实现 YOLOv11 的 C++ 小白部署经验

标题1 模型转化 python 先下载项目 https://github.com/ultralytics/ultralytics 同时下载模型 https://github.com/ultralytics/assets/releases/download/v8.3.0/yolo11n.pt pythonconda虚拟环境，主要是以下三个，其余缺什么直接pip anaconda…...

编程日记 2025/6/3 6:03:27

LLM - 大模型 ScallingLaws 的 C=6ND 公式推导教程(1)

欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/145185794 Scaling Laws (缩放法则) 是大模型领域中，用于描述模型性能(Loss) 与模型规模N、数据量D、计算资源C 之间关系的经验规律…...

编程日记 2025/6/2 9:11:33

【机器学习实战】kaggle 欺诈检测---使用生成对抗网络（GAN）解决欺诈数据中正负样本极度不平衡问题

【机器学习实战】kaggle 欺诈检测---如何解决欺诈数据中正负样本极度不平衡问题https://blog.csdn.net/2302_79308082/article/details/145177242 本篇文章是基于上次文章中提到的对抗生成网络，通过对抗生成网络生成少数类样本，平衡欺诈数据中正类样本极…...

编程日记 2025/6/4 17:20:11

C++ 之多线程相关总结

C 之多线程相关总结 1.多线程相关基础知识 1.1 线程的创建和管理 1. std::thread 类： 用于创建和管理线程。通过将可调用对象（如函数、函数对象、lambda 表达式）作为参数传递给 std::thread 的构造函数，可以创建一个新的线程。…...

编程日记 2025/5/29 17:15:18

基于机器学习随机森林算法的个人职业预测研究

1.背景调研随着信息技术的飞速发展，特别是大数据和云计算技术的广泛应用，各行各业都积累了大量的数据。这些数据中蕴含着丰富的信息和模式，为利用机器学习进行职业预测提供了可能。机器学习算法的不断进步，如深度学习、强化学习等…...

编程日记 2025/5/29 23:52:49

性能测试 - Locust WebSocket client

Max.Bai 2024.10 0. 背景 Locust 是性能测试工具，但是默认只支持http协议，就是默认只有http的client，需要其他协议的测试必须自己扩展对于的client，比如下面的WebSocket client。 1. WebSocket test Client “”“ Max.Bai W…...

编程日记 2025/6/4 17:15:50

量子计算将彻底改变商业分析

虽然量子计算听起来颇具未来感，但这项技术正迅速走向成熟 —— 就如同 ChatGPT 这类人工智能（AI）工具一样。我相信，量子计算技术所产生的连锁反应很快就会对业务分析领域产生巨大影响。什么是量子计算？ 尽管名字听起…...

编程日记 2025/6/4 6:58:25

爬山算法与模拟退火算法的全方面比较

一、基本概念与原理 1. 爬山算法爬山算法是一种基于启发式的局部搜索算法，通过不断地向当前解的邻域中搜索更优解来逼近全局最优解。它的核心思想是，从当前解出发，在邻域内找到一个使目标函数值更大（或更小）的解作为新的当前解，直到找不到更优的解为止。 2.模拟退火算…...

编程日记 2025/6/4 9:51:10

【深度学习】用RML2018训练好模型去识别RML2016的数据会遇到输入维度不匹配的问题，如何解决？

文章目录问题解决办法1. 调整输入数据长度2. 修改模型结构(我个人比较推崇的方法)3. 迁移学习4. 重新训练模型5. 数据增强6. 其他差异问题经常会有人问的一个问题：我用RML2018跑的调制识别模型，用RML2016数据集能直接识别吗？（2018数据集信号样本的长度是1024,2016数据集…...

编程日记 2025/5/29 1:35:11

2025年1月17日（点亮一个 LED）

系统信息： Raspberry Pi Zero 2W 系统版本： 2024-10-22-raspios-bullseye-armhf Python 版本：Python 3.9.2 已安装 pip3 支持拍摄 1080p 30 (1092*1080), 720p 60 (1280*720), 60/90 (640*480) 已安装 vim 已安装 git 学习目标：…...

编程日记 2025/6/3 6:36:37

商用车电子电气零部件电磁兼容条件和试验（8）—辐射抗干扰（ALSE）和便携式发射机抗干扰（HPT）

写在前面本系列文章主要讲解商用车电子/电气零部件或系统的传导抗干扰、传导发射和辐射抗干扰、电场辐射发射以及静电放电等试验内容及要求，高压试验项目内容及要求。若有相关问题，欢迎评论沟通，共同进步。(*^▽^*) 目录商用车电子电气零部件电磁兼容条件和试验—目录…...

编程日记 2025/6/1 12:33:01

NumPy；NumPy在数据分析中的应用；NumPy与其他库的搭配使用

NumPy；NumPy在数据分析中的应用；NumPy与其他库的搭配使用 NumPy：Python 数据分析的核心工具什么是 NumPy？NumPy 的主要优势 NumPy 在数据分析中的应用1. 数据处理与清洗2. 数学和统计分析3. 数组变换与矩阵运算 NumPy 与其他库的搭…...

编程日记 2025/6/3 4:16:06

机器学习经典无监督算法——聚类K-Means算法

目录算法原理算法步骤算法API 算法导入 API参数理解算法实现算法原理 Kmeans 算法是一种无监督的聚类算法，目的是将数据集中的样本划分到 K 个不同的簇中。聚类：将数据集中相似的数据点归为一组或一个簇的过程。数据集：一组相…...

编程日记 2025/5/31 10:38:29

网络变压器的分类

网络变压器是局域网(LAN)中各级网络设备中必备的元件。它们的主要功能是传输数据，增强信号，并提供电气隔离，以防雷保护和匹配阻抗。网络变压器也被称为数据泵或网络隔离变压器。它们广泛应用于网络交换机、路由器、网卡、集线器等设备中。网…...

编程日记 2025/6/2 8:01:51

【MySQL】复合查询+表的内外连接

复合查询表的内外连接 1.基本查询回顾2.多表查询3.自连接4.子查询4.1单列子查询4.2多列子查询 5.在from子句中使用子查询6.合并查询7.表的内连和外连7.1内连接7.2外连接7.2.1左外连接7.2.2右外连接点赞👍👍收藏🌟🌟关注&#x1f…...

编程日记 2025/5/29 10:38:06

创建模式、结构模式及行为模式

谁在什么地方提供什么功能？ 要设计几个类?这些类各个是什么功能？相互间的关系是什么？ 创建模式指的是对象那么多，怎么把它"生"出来？生几个？从这个角度上来说数组就是一种另类的创建模式。主要…...

编程日记 2025/6/2 0:23:23

警惕IDEA 2024版重大Bug问题:LomBok失效、Gradle冲突、Spring Boot启动错误

一直以来我认为工具类的软件是越新越好，因为工具代表着一定的先进性；但是IDEA 2024好好的给我上了一课，比如lombok 不起作用、比如Spring Boot 3.4.x 启动报错、再比如MyBatis log plus冲突、再比如Gradle插件冲突. 一、Lombok 失效问题请不…...

编程日记 2025/6/2 5:45:09

C语言中char str和char str[]的区别

char* str和char* str[]的区别：C语言中char *str[] 和char *str有什么区别-CSDN博客 char str 和 char str[] 在 C 语言中也有不同的含义和用途，以下是它们的区别： 1. char str 类型：这是一个单一的字符变量。用途&#xff1a…...

编程日记 2025/5/30 13:41:56

(学习总结20)C++11 可变参数模版、lambda表达式、包装器与部分新内容添加

C11 可变参数模版、lambda表达式、包装器与部分新内容添加一、可变参数模版基本语法及原理包扩展emplace系列接口二、lambda表达式lambda表达式语法捕捉列表lambda的原理lambda的应用三、包装器bindfunction 四、部分新内容添加新的类功能1.默认的移动构造和移动赋值2.声明时…...

编程日记 2025/6/2 4:51:59

备份和容灾之区别（The Difference between Backup and Disaster Recovery）

备份和容灾之区别备份和容灾都是数据安全常见的保障手段，但是一般在正常业务运行时是无需用到这两个技术手段的。只有在业务已经崩溃，需要进行业务恢复时，这两种技术的价值才能真正体现。所以，备份和容灾可以说是数据安全最后两…...

编程日记 2025/5/29 11:16:24

Go语言之路————数组、切片、map

Go语言之路————数组、切片、map 前言一、数组二、切片三、map 前言我是一名多年Java开发人员，因为工作需要现在要学习go语言，Go语言之路是一个系列，记录着我从0开始接触Go，到后面能正常完成工作上的业务开发的过程&#xff…...

编程日记 2025/6/4 12:33:58

Kotlin Bytedeco OpenCV 图像图像57 图像ROI

Kotlin Bytedeco OpenCV 图像图像57 图像ROI 1 添加依赖2 测试代码3 测试结果 1 添加依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xmlns"http://maven.apache.o…...

编程日记 2025/5/31 10:38:31

字符编码通过字节数组向16进制的互转【终端设备通讯案例篇】：微信小程序 JavaScript字符串转gb2312 字符编码，以16进制字符串传输。（接收蓝牙设备的信息，发送北斗终端消息）

文章目录引言I 原理II 案例一：微信小程序字符串转gb2312 字符编码，以16进制字符串传输。字节数组转16进制字符串微信小程序字符串转gb2312 字节数组（utf8ToGb2312Bytes）demo：gb2312 字符编码->字节数组->16进制字符串III 案例二：小程序接收gb2312 的16进制字符串…...

编程日记 2025/6/2 5:36:38

LabVIEW与WPS文件格式的兼容性

LabVIEW 本身并不原生支持将文件直接保存为 WPS 格式（如 WPS 文档或表格）。然而，可以通过几种间接的方式实现这一目标，确保您能将 LabVIEW 中的数据或报告转换为 WPS 可兼容的格式。以下是几种常见的解决方案： 导出…...

编程日记 2025/6/2 16:14:11

协程（还需要输入3个字）

昨天我偶然听到协程这个概念，不禁好奇地了解了一下，做些笔记如下： 一、什么是协程协程是在线程内部，由程序自己控制逻辑， 显式地让出控制权（yield）来实现任务切换，而不是由操作系…...

编程日记 2025/5/29 17:11:36