当前位置：首页 > news >正文

TVM调度原语完全指南：从入门到微架构级优化

news 来源：原创 2025/7/3 9:56:12

调度原语

在TVM的抽象体系中，调度（Schedule）是对计算过程的时空重塑。每一个原语都是改变计算次序、数据流向或并行策略的手术刀。其核心作用可归纳为：

$\text{优化目标} = \max \left( \frac{\text{计算密度}}{\text{内存延迟} \times \text{指令开销}} \right)$

下面我们将解剖20+个核心原语，揭示它们的运作机制与优化场景。

基础维度操作

1. split：维度的量子裂变

作用：将单个维度拆分为多个子维度，为后续优化创造空间

# 将长度128的维度拆分为(外轴, 内轴)=(16, 8)  
outer, inner = s[op].split(op.axis[0], factor=8)  
# 或者指定外层大小  
outer, inner = s[op].split(op.axis[0], nparts=16)  '''  
数学等价转换：  
原始迭代: for i in 0..127  
拆分后: for i_outer in 0..15  for i_inner in 0..7  i = i_outer * 8 + i_inner  
'''

硬件视角：

当处理256-bit SIMD寄存器时，拆分成8个float32元素的分块可完美利用向量化
在L1缓存为32KB的CPU上，拆分后的子块应满足：
$\text{子块大小} \times \text{数据类型大小} \leq 32768B$

2. fuse：维度的熔合反应

作用：合并多个连续维度，简化循环结构

fused = s[op].fuse(op.axis[0], op.axis[1])  
'''  
数学等价：  
原始: for i in 0..15  for j in 0..31  
合并后: for fused in 0..511 (16*32=512)  
'''

优化场景：

当相邻维度具有相同优化策略时，减少循环嵌套层数
与parallel原语配合实现粗粒度并行
案例：将H和W维度融合后做分块，更适合GPU线程块划分

3. reorder：维度的空间折叠

作用：重新排列循环轴的顺序

s[op].reorder(op.axis[2], op.axis[0], op.axis[1])  
'''  
原始顺序: axis0 -> axis1 -> axis2  
调整后: axis2 -> axis0 -> axis1  
'''

硬件敏感优化：

将内存连续访问的维度置于内层循环

# 将通道维度移到最内层以利用向量化  
s[conv].reorder(n, h, w, c)

在GPU上将块索引维度提前以提升局部性

s[matmul].reorder(block_idx, thread_idx, inner)

并行化武器库

4. parallel：多核并发的起搏器

作用：标记循环轴进行多线程并行

s[op].parallel(op.axis[0])

实现机制：

在LLVM后端会生成OpenMP pragma指令

#pragma omp parallel for  
for (int i = 0; i < N; ++i)

黄金法则：

并行粒度不宜过细（避免线程创建开销）
每个线程的任务量应大于10μs
案例：对batch维度做并行，每个线程处理不同样本

5. vectorize：SIMD的激活密钥

作用：将内层循环转换为向量化指令

s[op].vectorize(inner_axis)

代码生成示例：
原始标量计算：

for (int i = 0; i < 8; ++i)  C[i] = A[i] + B[i];

向量化后（AVX2）：

__m256 va = _mm256_load_ps(A);  
__m256 vb = _mm256_load_ps(B);  
__m256 vc = _mm256_add_ps(va, vb);  
_mm256_store_ps(C, vc);

性能临界点：

向量化收益公式：
$\text{加速比} = \min\left(\frac{\text{元素数}}{\text{向量宽度}}, \text{内存带宽}\right)$
当循环长度不是向量宽度整数倍时，需尾部处理

6. bind：硬件线程的映射协议

作用：将循环轴绑定到硬件线程索引

block_x = tvm.thread_axis("blockIdx.x")  
s[op].bind(op.axis[0], block_x)

GPU编程范式：

blockIdx.x：GPU线程块索引
threadIdx.x：块内线程索引

典型绑定策略：

bx = tvm.thread_axis("blockIdx.x")  
tx = tvm.thread_axis("threadIdx.x")  
s[matmul].bind(s[matmul].op.axis[0], bx)  
s[matmul].bind(s[matmul].op.axis[1], tx)

CPU-GPU差异：

CPU：通常绑定到OpenMP线程
GPU：需要精确管理线程层次结构

内存优化原语

7. compute_at：计算的时空折叠

作用：将一个阶段的计算插入到另一个阶段的指定位置

s[producer].compute_at(s[consumer], consumer_axis)

优化效果：

提升数据局部性，减少中间结果存储
案例：在卷积计算中，将输入加载插入到输出通道循环内

8. storage_align：内存对齐的标尺

作用：调整张量存储的内存对齐

s[op].storage_align(axis, factor, offset)

底层原理：

确保数据地址满足：
$\text{address} \% \text{factor} == \text{offset}$

典型用例：

# 对齐到64字节边界（适合AVX-512）  
s[input].storage_align(axis=2, factor=64, offset=0)

性能影响：

对齐错误可导致性能下降10倍以上
现代CPU对非对齐访问的惩罚已减小，但SIMD指令仍需对齐

9. cache_read/cache_write：数据的时空驿站

作用：创建数据的临时缓存副本

AA = s.cache_read(A, "shared", [B])

GPU优化案例：

# 将全局内存数据缓存到共享内存  
s[AA].compute_at(s[B], bx)  
s[AA].bind(s[AA].op.axis[0], tx)

缓存层次选择：

缓存类型	硬件对应	延迟周期
“local”	寄存器	1
“shared”	GPU共享内存	10-20
“global”	设备内存	200-400

循环优化原语

10. unroll：循环展开的时空折叠

作用：将循环体复制多份，消除分支预测开销

s[op].unroll(inner_axis)

代码生成对比：
原始循环：

for (int i = 0; i < 4; ++i) {  C[i] = A[i] + B[i];  
}

展开后：

C[0] = A[0] + B[0];  
C[1] = A[1] + B[1];  
C[2] = A[2] + B[2];  
C[3] = A[3] + B[3];

收益递减点：

循环体过大会导致指令缓存压力
经验公式：
$\text{最佳展开因子} = \sqrt{\frac{\text{L1 ICache Size}}{\text{循环体代码大小}}}$

11. pragma：编译器的微观调控

作用：插入特定编译指导语句

s[op].pragma(axis, "unroll_and_jam", 4)

常见Pragma指令：

# 强制向量化  
s[op].pragma(axis, "vectorize", 8)  # 流水线并行  
s[op].pragma(axis, "software_pipeline", 3)  # 内存预取  
s[op].pragma(axis, "prefetch", A)

架构特定优化：

Intel CPU：

s[op].pragma(axis, "ivdep")  # 忽略向量依赖

NVIDIA GPU：

s[op].pragma(axis, "ldg", 1)  # 使用__ldg指令

张量计算原语

12. tensorize：硬件指令的直通车

作用：将计算模式映射到特定硬件指令

# 定义矩阵内积的Tensorize内核  
def dot_product_4x4():  # 此处定义计算规则  pass  s[matmul].tensorize(ci, dot_product_4x4)

硬件案例：

Intel VNNI：4x4矩阵乘指令
NVIDIA Tensor Core：混合精度矩阵运算
ARM SVE：可伸缩向量扩展

性能收益：

在兼容硬件上可获得10-100倍加速
需要精确匹配计算模式和数据布局

高级组合原语

13. rfactor：归约计算的时空分裂

作用：将归约操作分解为多阶段计算

# 原始归约  
C = tvm.compute((n,), lambda i: tvm.sum(A[i,j], axis=j))  # 创建rfactor阶段  
_, ki = s[C].split(s[C].op.reduce_axis[0], factor=4)  
Crf = s.rfactor(C, ki)

数学等价性：
原始：
$\sum_{j=0}^{15} A[i,j]$
分解后：
$\sum_{j=0}^{3} A[i,4k+j] \\ C[i] = \sum_{k=0}^{3} Crf[i,k]$

优化场景：

提升归约操作的并行度
减少原子操作冲突（GPU）

14. compute_inline：计算的时空湮灭

作用：将中间计算结果直接内联到消费者

s[B].compute_inline()

代码变换：
内联前：

B = A + 1  
C = B * 2

内联后：

C = (A + 1) * 2

权衡分析：

优点：减少内存占用，提升局部性
缺点：可能增加重复计算量

架构特定原语

15. stencil：数据流动的模板

作用：定义滑动窗口式计算模式

with tvm.stencil.grid([H, W]) as [i, j]:  B[i,j] = A[i-1,j] + A[i+1,j] + A[i,j-1] + A[i,j+1]

硬件映射：

FPGA：生成流水线化数据流
GPU：映射到共享内存的滑窗缓存
CPU：自动生成SIMD优化代码

16. sparse：稀疏数据的压缩艺术

作用：处理稀疏张量计算

# 定义CSR格式稀疏矩阵  
indptr = tvm.placeholder((n+1,), dtype="int32")  
indices = tvm.placeholder((nnz,), dtype="int32")  
data = tvm.placeholder((nnz,), dtype="float32")  # 稀疏矩阵乘调度  
s = tvm.create_schedule([indptr, indices, data, dense])  
s.sparse_indices(indptr, indices)

优化技巧：

使用行分块减少随机访问
利用向量化处理非零元素
案例：在Transformer模型中优化稀疏注意力计算

调试与剖析原语

17. debug：计算图的显微镜

作用：输出中间计算步骤详情

s[op].debug()

输出示例：

Compute stage:  for (i, 0, 16) {  for (j, 0, 32) {  C[i, j] = (A[i, j] + B[i, j])  }  }

调试技巧：

结合TVM的Lower函数查看IR变更
使用LLDB/GDB附加到编译过程

18. profile：性能的时空计量仪

作用：插入性能剖析代码

s[op].profile()

输出信息：

循环迭代次数
缓存命中率
指令吞吐量
案例：发现某个循环存在90%的缓存未命中

未来原语展望

19. auto_tensorize：AI优化AI

作用：自动匹配硬件指令模式

s.auto_tensorize(target="avx512")

实现原理：

使用机器学习模型识别可优化的计算模式
自动生成tensorize内核

20. quantum：量子计算接口

作用：映射到量子计算指令

s[op].quantum(gate="H", qubits=[0,1])

前沿领域：

量子神经网络优化
混合经典-量子调度

原语组合艺术

优化案例：三维卷积调度策略

# 定义计算  
data = tvm.placeholder((N, C, D, H, W), "float32")  
kernel = tvm.placeholder((K, C, KD, KH, KW), "float32")  
conv3d = topi.nn.conv3d_ndhwc(data, kernel)  # 创建调度  
s = tvm.create_schedule(conv3d.op)  # 分块策略  
n, d, h, w, k = conv3d.op.axis  
dn, di = s[conv3d].split(d, factor=2)  
hn, hi = s[conv3d].split(h, factor=4)  
wn, wi = s[conv3d].split(w, factor=4)  
s[conv3d].reorder(n, dn, hn, wn, di, hi, wi, k)  # 并行化  
s[conv3d].parallel(n)  # 向量化  
s[conv3d].vectorize(wi)  # 缓存优化  
AA = s.cache_read(data, "local", [conv3d])  
WW = s.cache_read(kernel, "local", [conv3d])  
s[AA].compute_at(s[conv3d], wn)  
s[WW].compute_at(s[conv3d], wn)  # 指令级优化  
s[conv3d].unroll(hi)  
s[conv3d].pragma(dn, "prefetch", AA)

结语：调度原语的哲学

在TVM的世界里，每一个调度原语都是时空的雕塑工具。优秀的性能工程师需要兼具：

微观直觉：理解每个原语在硬件底层的映射
宏观视野：把握多个原语之间的相互作用
艺术感知：在约束条件下找到优雅的优化路径

正如计算机图形学中的渲染方程，调度优化也是一个积分过程：

$\text{最优性能} = \int_{\text{硬件空间}} \prod_{\text{原语}} f(x) \, dx$

愿每一位读者都能在TVM的调度世界中，找到属于自己的优化之美。

TVM调度原语完全指南：从入门到微架构级优化

调度原语在TVM的抽象体系中，调度（Schedule）是对计算过程的时空重塑。每一个原语都是改变计算次序、数据流向或并行策略的手术刀。其核心作用可归纳为： 优化目标 max ⁡ ( 计算密度内存延迟指令开销 ) \text{优化目标} \max…...

编程日记 2025/7/3 9:56:12

题目：ImageNet Classification with Deep Convolutional Neural Networks 发文机构：多伦多大学作者：Alex Krizhevsky，Ilya Sutskever，Geoffrey E. Hinton（人工智能教父，AI三巨头——杰弗里.辛顿（Geoffrey Hinton），约书亚.本吉奥（Yoshua Bengio）和扬.勒丘恩（Yan…...

编程日记 2025/7/3 8:52:00

Starrocks 对比 Clickhouse

极速查询的单表查询 StarRocks 在极速查询方面上做了很多，下面着重介绍四点： 1）向量化执行：StarRocks 实现了从存储层到查询层的全面向量化执行，这是 StarRocks 速度优势的基础。向量化执行充分发挥了 CPU 的处理能力…...

编程日记 2025/7/3 9:42:35

C++实现一款功能丰富的通讯录管理系统

在学习编程的过程中，如何设计一个实用的项目是许多同学头疼的问题。如果你是一位正在学习C的同学，想通过实际项目巩固知识，那么这个通讯录管理系统绝对是一个理想的练手项目。在本文中，我将详细拆解代码逻辑，帮助你理解…...

编程日记 2025/6/29 21:29:50

动态规划之背包问题

文章目录 0-1 背包问题1. 二维动态规划实现（0-1 背包）：2. 一维动态规划实现（0-1 背包）： 完全背包问题1. 二维动态规划实现（完全背包）：2. 一维动态规划实现（完…...

编程日记 2025/7/3 9:40:41

Linux抢占式内核：技术演进与源码解析

一、引言 Linux内核作为全球广泛使用的开源操作系统核心，其设计和实现一直是计算机科学领域的研究热点。从早期的非抢占式内核到2.6版本引入的抢占式内核，Linux在实时性和响应能力上取得了显著进步。本文将深入探讨Linux抢占式内核的引入背景、技术实现以及与非抢占式内核的…...

编程日记 2025/7/2 22:39:04

Rust语言进阶之文件处理：BufWriter用法实例(一百零四)

简介： CSDN博客专家、《Android系统多媒体进阶实战》一书作者新书发布：《Android系统多媒体进阶实战》🚀 优质专栏： Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏： 多媒体系统工程师系列【…...

编程日记 2025/7/1 19:52:32

EtherCAT主站IGH-- 30 -- IGH之master.h/c文件解析

EtherCAT主站IGH-- 30 -- IGH之master.h/c文件解析 0 预览一该文件功能`master.c` 文件功能函数预览二函数功能介绍`master.c` 中主要函数的作用1. `ec_master_init`2. `ec_master_clear`3. `ec_master_thread_start`4. `ec_master_thread_stop`5. `ec_master_enter_idle_pha…...

编程日记 2025/6/30 20:24:49

关于deepseek的一些普遍误读

最近deepseek成为全球最热门的话题，甚至没有之一，无论是北美，欧洲，各大IT巨头，各个投资机构，政府官员，乃至脱口秀演员，都在不断提及这个话题，而国内，自媒体也…...

编程日记 2025/7/1 14:25:46

刷题记录动态规划-7: 63. 不同路径 II

题目：63. 不同路径 II 难度：中等给定一个 m x n 的整数数组 grid。一个机器人初始位于左上角（即 grid[0][0]）。机器人尝试移动到右下角（即 grid[m - 1][n - 1]）。机器人每次只能向下或者向右移动一步。…...

编程日记 2025/7/2 22:06:42

7-2 拯救外星人

7-2 拯救外星人你的外星人朋友不认得地球上的加减乘除符号，但是会算阶乘 —— 正整数 N 的阶乘记为 “N!”，是从 1 到 N 的连乘积。所以当他不知道“57”等于多少时，如果你告诉他等于“12!”，他就写出了“479001600”这个答案。…...

编程日记 2025/6/30 1:11:40

人工智能导论-第3章-知识点与学习笔记

参考教材3.2节的内容，介绍什么是自然演绎推理；解释“肯定后件”与“否定前件”两类错误的演绎推理是什么意义，给出具体例子加以阐述。参考教材3.3节的内容，介绍什么是文字（literal）；介绍什么是子…...

编程日记 2025/7/1 17:15:54

一个开源 GenBI AI 本地代理（确保本地数据安全），使数据驱动型团队能够与其数据进行互动，生成文本到 SQL、图表、电子表格、报告和 BI

一、GenBI AI 代理介绍（文末提供下载） github地址：https://github.com/Canner/WrenAI 本文信息图片均来源于github作者主页在 Wren AI，我们的使命是通过生成式商业智能 （GenBI） 使组织能够无缝访问数据&…...

编程日记 2025/7/3 1:18:00

Java 大视界 -- Java 大数据在智能电网中的应用与发展趋势（71）

💖亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也…...

编程日记 2025/7/3 5:37:44

c语言练习题【消息队列、共享内存、信号灯集】

练习1:消息队列请使用消息队列实现2个终端之间互相聊天 #发送端 key_t key; int id;typedef struct Msgbuf{long channel;char buf[128];}msg_t;int main(int argc, const char *argv[]) {if (argc<2){printf("传入频道号\n");return 1;}keyftok("./ipc&q…...

编程日记 2025/7/1 7:05:33

力扣 295. 数据流的中位数

🔗 https://leetcode.cn/problems/find-median-from-data-stream/ 题目数据流中不断有数添加进来，add 表示添加数据，find 返回数据流中的中位数思路大根堆存储数据流中偏小的数据小根堆存储数据流中偏大的数据若当前的 num 比大根堆的…...

编程日记 2025/7/2 1:27:21

JavaScript原型链与继承：优化与扩展的深度探索

在 JavaScript 的世界里，万物皆对象，而每个对象都有一个与之关联的原型对象，这就构成了原型链的基础。原型链，简单来说，是一个由对象的原型相互连接形成的链式结构。每个对象都有一个内部属性[[Prototype]]&#xff0…...

编程日记 2025/6/29 9:55:22

【建站】专栏目录

建站专栏的想法有很多，想写穷鬼如何快速低成本部署前后端项目让用户能访问到，如何将网站收录到百度，bing，google并优化seo让搜索引擎搜索到网站，想写如何把网站加入google广告或者接入stripe信用卡首款平台收款&#x…...

编程日记 2025/6/29 2:14:33

题目 1160: 出圈

题目描述设有n个人围坐一圈并按顺时针方向从1到n编号，从第1个人开始进行1到m的报数，报数到第个m人，此人出圈，再从他的下一个人重新开始1到m的报数，如此进行下去直到所剩下一人为止。输入格式输入多行，每…...

编程日记 2025/7/2 14:08:35

Python小游戏29乒乓球

import pygame import sys # 初始化pygame pygame.init() # 屏幕大小 screen_width 800 screen_height 600 screen pygame.display.set_mode((screen_width, screen_height)) pygame.display.set_caption("打乒乓球") # 颜色定义 WHITE (255, 255, 255) BLACK (…...

编程日记 2025/7/1 16:57:28

力扣【99. 恢复二叉搜索树】Java题解(二叉树的 Morris 遍历)

题目链接 Morris遍历递归和迭代遍历，不管是前序中序还是后续，空间复杂度都是O(n)（递归是因为隐式调用栈的开销）。而Morris遍历可以做到空间复杂度是O(1)。思路就是节点的前序节点的右指针指向该节点，来保证可以通…...

编程日记 2025/7/1 4:26:00

CNN的各种知识点（一）：卷积神经网络CNN通道数的理解！

卷积神经网络CNN通道数的理解！ 通道数的核心概念解析1. 通道数的本质 2. 单张灰度图的处理示例： 3. 批量输入的处理通道与批次的关系： 4. RGB三通道输入的处理计算过程：示例： 5. 通道数的实际意义6. 可视化理解(1) 单通…...

编程日记 2025/7/1 19:45:10

python-UnitTest框架笔记

UnitTest框架的基本使用方法 UnitTest框架介绍框架：framework，为了解决一类事情的功能集合 UnitTest框架：是python自带的单元测试框架自带的，可以直接使用，不需要格外安装测试人员用来做自动化测试，作…...

编程日记 2025/7/1 18:04:19

书生大模型实战营3

文章目录 L0——入门岛git基础Git 是什么？Git 中的一些基本概念工作区、暂存区和 Git 仓库区文件状态分支主要功能 Git 平台介绍GitHubGitLabGitee Git 下载配置验证下载 Git配置 Git验证 Git配置 Git常用操作Git简易入门四部曲Git其他指令闯关任务任务1: 破冰活动…...

编程日记 2025/7/2 14:41:43

在CentOS服务器上部署DeepSeek R1

在CentOS服务器上部署DeepSeek R1，并通过公网IP与其进行对话，可以按照以下步骤操作：一、环境准备系统要求： CentOS 8+（需支持AVX512指令集）。硬件配置： GPU版本：NVIDIA驱动520+，CUDA 11.8+。 CPU版本：至少16核处理器，64GB内存。存储空间：原始模型需要30GB，量…...

编程日记 2025/7/1 23:07:12

C++中常用的十大排序方法之4——希尔排序

成长路上不孤单😊😊😊😊😊😊 【😊///计算机爱好者😊///持续分享所学😊///如有需要欢迎收藏转发///😊】今日分享关于C中常用的排序方法之4——希尔排序的相…...

编程日记 2025/6/27 11:06:11

机器学习day7

自定义数据集使用pytorch框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预测，对预测结果计算精确度和召回率及F1分数代码 import numpy as np import torch import torch.nn as nn import torch.optim as optimizer import matplotlib.pyp…...

编程日记 2025/6/30 12:27:27

【流媒体】搭建流媒体服务器

搭建Windows Nginx服务器搭建下载nginx工具包解压至本地，并在cmd窗口中切换至nginx所在的本地目录修改 conf/nginx.conf 文件，更改其端口号 server中的 listen的端口号从 80改为 8080，因为80经常被其他服务占用，导致无法打开 …...

编程日记 2025/6/29 5:49:15

（电脑版）植物大战僵尸幼儿园版本，开启你的冒险之旅！

欢迎来到植物大战僵尸中文版，园长Jen已准备好迎接你的挑战！在这个充满乐趣和策略的游戏中，你将体验到多种游戏模式，每种模式都带来不同的挑战和乐趣。游戏模式： 冒险模式：踏上刺激的冒险旅程，…...

编程日记 2025/6/30 1:25:26

民法学学习笔记(个人向) Part.2

民法学学习笔记(个人向) Part.2 民法始终在解决两个生活中的核心问题： 私法自治；交易安全； 3. 自然人 3.4 个体工商户、农村承包经营户都是特殊的个体经济单位； 3.4.1 个体工商户是指在法律的允许范围内，依法经…...

编程日记 2025/6/30 1:09:46

解决SetWindowCompositionAttribute使控件文本透明的问题

用以下参数调用该API，能实现类似Aero的模糊透明效果。参数具体含义见 https://zhuanlan.zhihu.com/p/569258181 http://www.memotech.de/WindowComposition/Text.txt http://www.memotech.de/WindowComposition/WindowComposition.zip DWORD accent[4] { 3,0,0,0 …...

编程日记 2025/6/29 6:18:51

响应式编程与协程

响应式编程与协程的比较响应式编程的弊端虚拟线程Java线程内核线程的局限性传统线程池的demo虚拟线程的demo 响应式编程的弊端前面用了几篇文章介绍了响应式编程，它更多的使用少量线程实现线程间解耦和异步的作用，如线程的Reactor模型，主要…...

编程日记 2025/7/2 4:02:53

Altium Designer绘制原理图时画斜线的方法

第一步：检查设置是否正确打开preferences->PCB Editor ->Interactive Routing->Interactive Routing Options->Restrict TO 90/45去掉勾选项，点击OK即可。如下图所示： 然后在划线时，按下shift空格就能够切换划线…...

编程日记 2025/6/28 6:03:29

Android --- CameraX讲解

预备知识 surface surfaceView SurfaceHolder surface 是什么？ 一句话来说： surface是一块用于填充图像数据的内存。 surfaceView 是什么？ 它是一个显示surface 的View。在app中仍在 ViewHierachy 中，但在wms 中可以理解为…...

编程日记 2025/7/1 21:04:03

动态分库分表

1. 动态分库分表的核心目标解决单库性能瓶颈：通过水平拆分数据，提升并发处理能力。支持弹性扩展：在不中断服务的前提下，实现数据分片的动态扩容/缩容。避免跨分片操作：减少跨分片查询（如JOIN、事务&am…...

编程日记 2025/6/29 10:22:17

shell -c

个人博客地址：shell -c | 一张假钞的真实世界 shell -c {string}：表示命令从-c后的字符串读取。在需要使用管道或者重定向需要sudo时很有用，如下： $ sudo find ../*/exportFiles -mtime 15 -name "*" | xargs -I {} r…...

编程日记 2025/7/2 9:40:58

Spring Boot 2 快速教程：WebFlux处理流程（五）

WebFlux请求处理流程下面是spring mvc的请求处理流程具体步骤： 第一步：发起请求到前端控制器(DispatcherServlet) 第二步：前端控制器请求HandlerMapping查找 Handler （可以根据xml配置、注解进行查找） 匹配条件包括…...

编程日记 2025/7/2 10:59:35

10.8 LangChain Output Parsers终极指南：从JSON解析到流式处理的规范化输出实践

LangChain Output Parsers终极指南：从JSON解析到流式处理的规范化输出实践关键词： LangChain Output Parsers、结构化输出、JSON解析、数据校验、流式处理一、为什么需要规范化输出？大模型输出的“荒野西部”问题原始输出的三大痛点：格式不可控：模型可能返回纯文本、…...

编程日记 2025/6/30 7:55:10

G1. Yunli‘s Subarray Queries (easy version)

题目链接：Problem - 2009G1 - Codeforces 题目大意： 给你一个长度为n的整数数组a序列， 然后你可以操作任何次， 将序列里的一个数换成其他任意数字。后有q次询问， 每一次询问[L, R] 在此区间里， 可最少进行…...

编程日记 2025/6/28 1:10:00

[漏洞篇]SQL注入漏洞详解

[漏洞篇]SQL注入漏洞详解介绍把SQL命令插入到Web表单提交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。通过构造恶意的输入，使数据库执行恶意命令，造成数据泄露或者修改内容等，以达到攻击的目的。…...

编程日记 2025/7/2 1:25:48

【apt源】RK3588 平台ubuntu20.04更换apt源

RK3588芯片使用的是aarch64架构，因此在Ubuntu 20.04上更换apt源时需要使用针对aarch64架构的源地址。以下是针对RK3588芯片在Ubuntu 20.04上更换apt源到清华源的正确步骤： 步骤一：打开终端在Ubuntu 20.04中，按下Ctrl Alt T打…...

编程日记 2025/6/29 14:29:56

Maven

什么是Maven？ Maven是一个项目管理工具，基于POM（Project Object Model，项目对象模型）的概念呢，Maven可以通过一小段描述信息来管理项目的构建，报告和文档的项目管理工具软件。 Maven包含了一个…...

编程日记 2025/6/30 10:43:05

软件工程概论试题五

一、多选 1.好的软件的基本属性包括()。 A. 效率 B. 可依赖性和信息安全性 C. 可维护性 D.可接受性正答：ABCD 2.软件工程的三要素是什么()? A. 结构化 B. 工具 C.面向对象 D.数据流! E.方法 F.过程正答：BEF 3.下面中英文术语对照哪些是正确的、且是属…...

编程日记 2025/7/2 7:50:46

Python量化交易助手：xtquant的安装与应用

Python量化交易助手：xtquant的安装与应用技术背景和应用场景在量化交易领域，Python因其强大的库支持和灵活性成为了许多开发者的首选语言。其中，xtquant 是迅投官方开发的一个Python包，专门用于与miniqmt通信，实现…...

编程日记 2025/7/3 2:04:39

opencv图像处理框架

一.课程简介与环境配置二.图像基本操作 (1)计算机眼中的视觉 1)计算机眼中图像是由一块块组成，每一块又由很多很多个像素点组成，一个像素点的值是在0到255之间，值越大就越亮。 2)RGB表示彩色图像的三个颜色通道(红绿蓝)，一张…...

编程日记 2025/7/2 4:05:49

MotionLCM 部署笔记

目录依赖项 humanml3d： sentence-t5-large 下载数据： 报错：No module named sentence_transformers 继续报错：from transformers.integrations import CodeCarbonCallback 解决方法： 推理相关 GitHub - Dai-W…...

编程日记 2025/6/29 22:45:19

BUUCTF_[安洵杯 2019]easy_web（preg_match绕过/MD5强碰撞绕过/代码审计）

打开靶场，出现下面的静态html页面，也没有找到什么有价值的信息。查看页面源代码在url里发现了img传参还有cmd 求img参数这里先从img传参入手，这里我发现img传参好像是base64的样子进行解码，解码之后还像是base64的样子再次进…...

编程日记 2025/6/28 1:40:16

LLM - 基于LM Studio本地部署DeepSeek-R1的蒸馏量化模型

文章目录前言开发环境快速开始LM Studio简单设置模型下载开始对话模型选择常见错误最后前言目前，受限于设备性能，在本地部署的基本都是DeepSeek-R1的蒸馏量化模型，这些蒸馏量化模型的表现可能并没有你想象的那么好。绝大部分人并不需要本…...

编程日记 2025/6/29 22:27:29

Intel 与 Yocto 项目的深度融合：全面解析与平台对比

在嵌入式 Linux 领域，Yocto 项目已成为构建定制化 Linux 发行版的事实标准，广泛应用于不同架构的 SoC 平台。Intel 作为 x86 架构的领导者，在 Yocto 生态中投入了大量资源，为其嵌入式处理器、FPGA 和 AI 加速硬件提供了完整的支持…...

编程日记 2025/7/1 7:34:51

2025-工具集合整理

科技趋势 github-rank 🕷️Github China/Global User Ranking, Global Warehouse Star Ranking (Github Action is automatically updated daily). 科技爱好者周刊制图工具 D2 D2 A modern diagram scripting language that turns text to diagrams 文档帮助 …...

编程日记 2025/6/30 10:27:09