40分钟学 Go 语言高并发:Go程序性能优化方法论
Go程序性能优化方法论
一、性能指标概述
指标类型 | 关键指标 | 重要程度 | 优化目标 |
---|---|---|---|
CPU相关 | CPU使用率、线程数、上下文切换 | ⭐⭐⭐⭐⭐ | 降低CPU使用率,减少上下文切换 |
内存相关 | 内存使用量、GC频率、对象分配 | ⭐⭐⭐⭐⭐ | 减少内存分配,优化GC |
延迟指标 | 响应时间、处理延迟、等待时间 | ⭐⭐⭐⭐ | 降低延迟,提高响应速度 |
吞吐量 | QPS、TPS、并发数 | ⭐⭐⭐⭐ | 提高系统吞吐量 |
让我们通过代码示例来展示如何进行性能优化:
package mainimport ("fmt""runtime""sync""testing""time"
)// 性能基准测试示例
func BenchmarkSliceAppend(b *testing.B) {for i := 0; i < b.N; i++ {var s []intfor j := 0; j < 1000; j++ {s = append(s, j)}}
}// 优化后的版本
func BenchmarkSliceAppendOptimized(b *testing.B) {for i := 0; i < b.N; i++ {s := make([]int, 0, 1000)for j := 0; j < 1000; j++ {s = append(s, j)}}
}// 内存优化示例
type DataBlock struct {mu sync.Mutexitems map[string][]byte
}// 未优化版本
func (db *DataBlock) ProcessDataUnoptimized(key string, data []byte) {db.mu.Lock()defer db.mu.Unlock()// 创建一个新的切片并复制数据dataCopy := make([]byte, len(data))copy(dataCopy, data)db.items[key] = dataCopy
}// 优化后的版本 - 使用对象池
var dataBlockPool = sync.Pool{New: func() interface{} {return make([]byte, 0, 1024)},
}func (db *DataBlock) ProcessDataOptimized(key string, data []byte) {// 从对象池获取缓冲区buf := dataBlockPool.Get().([]byte)buf = buf[:len(data)]// 复制数据copy(buf, data)db.mu.Lock()db.items[key] = bufdb.mu.Unlock()
}// CPU优化示例
func CalculateSum(numbers []int) int64 {var sum int64for _, n := range numbers {sum += int64(n)}return sum
}// 优化后的并行版本
func CalculateSumParallel(numbers []int) int64 {if len(numbers) < 1000 {return CalculateSum(numbers)}numGoroutines := runtime.NumCPU()var wg sync.WaitGroupch := make(chan int64, numGoroutines)// 计算每个goroutine处理的数量batchSize := len(numbers) / numGoroutinesfor i := 0; i < numGoroutines; i++ {wg.Add(1)start := i * batchSizeend := start + batchSizeif i == numGoroutines-1 {end = len(numbers)}go func(start, end int) {defer wg.Done()var sum int64for _, n := range numbers[start:end] {sum += int64(n)}ch <- sum}(start, end)}// 等待所有goroutine完成go func() {wg.Wait()close(ch)}()// 汇总结果var totalSum int64for sum := range ch {totalSum += sum}return totalSum
}// 性能测试工具
type PerformanceMetrics struct {StartTime time.TimeEndTime time.TimeMemStats runtime.MemStatsNumGoroutine int
}func NewPerformanceMetrics() *PerformanceMetrics {return &PerformanceMetrics{StartTime: time.Now(),}
}func (pm *PerformanceMetrics) Stop() {pm.EndTime = time.Now()runtime.ReadMemStats(&pm.MemStats)pm.NumGoroutine = runtime.NumGoroutine()
}func (pm *PerformanceMetrics) Report() string {duration := pm.EndTime.Sub(pm.StartTime)return fmt.Sprintf("Performance Report:\n"+"Duration: %v\n"+"Memory Allocated: %v MB\n"+"Number of GC Cycles: %v\n"+"Number of Goroutines: %v\n",duration,pm.MemStats.Alloc/1024/1024,pm.MemStats.NumGC,pm.NumGoroutine,)
}func main() {// 创建测试数据data := make([]int, 1000000)for i := range data {data[i] = i}// 测试未优化版本metrics := NewPerformanceMetrics()sum1 := CalculateSum(data)metrics.Stop()fmt.Printf("Unoptimized version result: %d\n", sum1)fmt.Println("Unoptimized version metrics:")fmt.Println(metrics.Report())// 测试优化版本metrics = NewPerformanceMetrics()sum2 := CalculateSumParallel(data)metrics.Stop()fmt.Printf("Optimized version result: %d\n", sum2)fmt.Println("Optimized version metrics:")fmt.Println(metrics.Report())
}
二、性能优化方法
1. CPU优化
主要优化方向:
-
算法优化
- 降低时间复杂度
- 减少不必要的计算
- 使用更高效的算法
-
并行处理
- 合理使用goroutine
- 避免过度并行
- 控制并发数量
-
缓存利用
- 使用本地缓存
- 避免频繁GC
- 减少内存分配
2. 内存优化
主要优化方向:
-
内存分配
- 预分配内存
- 使用对象池
- 减少临时对象
-
GC优化
- 控制GC触发频率
- 减少GC压力
- 使用合适的GC参数
-
数据结构
- 选择合适的数据结构
- 控制切片容量
- 减少指针使用
3. 并发优化
-
goroutine管理
- 控制goroutine数量
- 避免goroutine泄露
- 使用合适的并发模型
-
锁优化
- 减少锁竞争
- 使用细粒度锁
- 采用无锁算法
三、基准测试
1. 编写基准测试
package mainimport ("sync""testing"
)// 字符串连接基准测试
func BenchmarkStringConcat(b *testing.B) {b.ResetTimer()for i := 0; i < b.N; i++ {var s stringfor j := 0; j < 100; j++ {s += "a"}}
}// 使用 strings.Builder 的优化版本
func BenchmarkStringBuilder(b *testing.B) {b.ResetTimer()for i := 0; i < b.N; i++ {var builder strings.Builderfor j := 0; j < 100; j++ {builder.WriteString("a")}_ = builder.String()}
}// 内存分配基准测试
func BenchmarkSliceAllocation(b *testing.B) {b.ResetTimer()for i := 0; i < b.N; i++ {data := make([]int, 1000)for j := range data {data[j] = j}}
}// 使用对象池的优化版本
var slicePool = sync.Pool{New: func() interface{} {return make([]int, 1000)},
}func BenchmarkSlicePool(b *testing.B) {b.ResetTimer()for i := 0; i < b.N; i++ {data := slicePool.Get().([]int)for j := range data {data[j] = j}slicePool.Put(data)}
}// 并发基准测试
func BenchmarkConcurrentMap(b *testing.B) {m := make(map[int]int)var mu sync.Mutexb.RunParallel(func(pb *testing.PB) {for pb.Next() {mu.Lock()m[1] = 1mu.Unlock()}})
}// 使用sync.Map的优化版本
func BenchmarkSyncMap(b *testing.B) {var m sync.Mapb.RunParallel(func(pb *testing.PB) {for pb.Next() {m.Store(1, 1)}})
}// 子测试基准测试
func BenchmarkCalculation(b *testing.B) {nums := make([]int, 1000000)for i := range nums {nums[i] = i}b.Run("Sequential", func(b *testing.B) {for i := 0; i < b.N; i++ {_ = CalculateSum(nums)}})b.Run("Parallel", func(b *testing.B) {for i := 0; i < b.N; i++ {_ = CalculateSumParallel(nums)}})
}
2. 运行基准测试
# 运行所有基准测试
go test -bench=.# 运行特定基准测试
go test -bench=BenchmarkStringConcat# 包含内存统计
go test -bench=. -benchmem# 指定运行时间
go test -bench=. -benchtime=10s
3. 分析测试结果
基准测试输出解释:
BenchmarkStringConcat-8 1000000 1234 ns/op 2048 B/op 3 allocs/op
- 8: 使用的CPU核心数
- 1000000: 执行的迭代次数
- 1234 ns/op: 每次操作的平均时间
- 2048 B/op: 每次操作分配的内存
- 3 allocs/op: 每次操作的内存分配次数
继续完成性能采样部分的内容。
四、性能采样
1. CPU Profiling
package mainimport ("fmt""log""os""runtime/pprof""time"
)// CPU密集型操作示例
func cpuIntensiveTask() {// 创建CPU profile文件f, err := os.Create("cpu.prof")if err != nil {log.Fatal(err)}defer f.Close()// 启动CPU profilingif err := pprof.StartCPUProfile(f); err != nil {log.Fatal(err)}defer pprof.StopCPUProfile()// 执行CPU密集型操作start := time.Now()result := 0for i := 0; i < 10000000; i++ {result += fibonacci(20)}duration := time.Since(start)fmt.Printf("计算完成,耗时: %v, 结果: %d\n", duration, result)
}func fibonacci(n int) int {if n <= 1 {return n}return fibonacci(n-1) + fibonacci(n-2)
}func main() {fmt.Println("开始CPU profiling...")cpuIntensiveTask()fmt.Println("CPU profiling完成,使用以下命令查看结果:")fmt.Println("go tool pprof cpu.prof")
}
2. 内存 Profiling
package mainimport ("fmt""log""os""runtime""runtime/pprof"
)// 内存分配示例
type BigStruct struct {data []bytestr string
}func memoryIntensiveTask() {// 创建内存profile文件f, err := os.Create("mem.prof")if err != nil {log.Fatal(err)}defer f.Close()// 分配大量内存var structs []*BigStructfor i := 0; i < 1000; i++ {s := &BigStruct{data: make([]byte, 1024*1024), // 1MBstr: fmt.Sprintf("large string %d", i),}structs = append(structs, s)}// 触发GCruntime.GC()// 写入内存profileif err := pprof.WriteHeapProfile(f); err != nil {log.Fatal(err)}// 打印内存统计信息var m runtime.MemStatsruntime.ReadMemStats(&m)fmt.Printf("Alloc = %v MiB\n", m.Alloc/1024/1024)fmt.Printf("TotalAlloc = %v MiB\n", m.TotalAlloc/1024/1024)fmt.Printf("Sys = %v MiB\n", m.Sys/1024/1024)fmt.Printf("NumGC = %v\n", m.NumGC)
}func main() {fmt.Println("开始内存profiling...")memoryIntensiveTask()fmt.Println("内存profiling完成,使用以下命令查看结果:")fmt.Println("go tool pprof mem.prof")
}
3. 协程 Profiling
package mainimport ("fmt""log""net/http"_ "net/http/pprof""runtime""sync""time"
)// 模拟协程泄露
func leakyGoroutine() {// 永远阻塞的通道ch := make(chan struct{})go func() {<-ch // 永远不会收到数据}()
}// 模拟协程阻塞
func blockingGoroutine(wg *sync.WaitGroup) {defer wg.Done()var mu sync.Mutexmu.Lock()go func() {time.Sleep(time.Second)mu.Unlock()}()mu.Lock() // 会阻塞mu.Unlock()
}func startProfileServer() {go func() {log.Println(http.ListenAndServe("localhost:6060", nil))}()
}func goroutineIntensiveTask() {var wg sync.WaitGroup// 创建一些泄露的协程for i := 0; i < 100; i++ {leakyGoroutine()}// 创建一些阻塞的协程for i := 0; i < 10; i++ {wg.Add(1)go blockingGoroutine(&wg)}// 等待一段时间time.Sleep(2 * time.Second)// 打印协程数量fmt.Printf("当前协程数量: %d\n", runtime.NumGoroutine())
}func main() {// 启动profile serverstartProfileServer()fmt.Println("Profile server started at http://localhost:6060/debug/pprof")// 记录初始协程数量fmt.Printf("初始协程数量: %d\n", runtime.NumGoroutine())// 执行协程密集型任务goroutineIntensiveTask()fmt.Println("使用以下命令查看协程profile:")fmt.Println("go tool pprof http://localhost:6060/debug/pprof/goroutine")// 保持程序运行select {}
}
4. 性能分析工具使用流程
- 收集性能数据
# 收集CPU profile
go tool pprof http://localhost:6060/debug/pprof/profile?seconds=30# 收集内存profile
go tool pprof http://localhost:6060/debug/pprof/heap# 收集协程profile
go tool pprof http://localhost:6060/debug/pprof/goroutine
- 分析性能数据
# 查看top N的耗时函数
(pprof) top 10# 查看特定函数的详细信息
(pprof) list functionName# 生成可视化报告
(pprof) web
- 优化建议
问题类型 | 现象 | 优化方向 |
---|---|---|
CPU瓶颈 | CPU使用率高,响应慢 | 优化算法、减少计算、并行处理 |
内存问题 | 内存使用高,GC频繁 | 减少分配、使用对象池、控制对象大小 |
并发问题 | 协程数量多,竞争严重 | 控制并发数、减少锁竞争、优化通信 |
5. 性能优化实践建议
-
制定优化目标
- 明确性能指标
- 设定具体目标
- 评估优化成本
-
选择优化方向
- 找到性能瓶颈
- 分析收益成本比
- 制定优化策略
-
实施优化方案
- 循序渐进
- 及时验证效果
- 保证代码质量
-
长期维护
- 持续监控
- 定期评估
- 及时调整
6. 注意事项
-
优化原则
- 先性能分析,后优化
- 优化最有价值的部分
- 保持代码可维护性
-
避免过早优化
- 确认真实瓶颈
- 评估优化收益
- 权衡开发成本
-
注意测试
- 完整的测试覆盖
- 验证优化效果
- 确保功能正确
怎么样今天的内容还满意吗?再次感谢观众老爷的观看,关注GZH:凡人的AI工具箱,回复666,送您价值199的AI大礼包。最后,祝您早日实现财务自由,还请给个赞,谢谢!
相关文章:
40分钟学 Go 语言高并发:Go程序性能优化方法论
Go程序性能优化方法论 一、性能指标概述 指标类型关键指标重要程度优化目标CPU相关CPU使用率、线程数、上下文切换⭐⭐⭐⭐⭐降低CPU使用率,减少上下文切换内存相关内存使用量、GC频率、对象分配⭐⭐⭐⭐⭐减少内存分配,优化GC延迟指标响应时间、处理延…...
MySQL基础(语句)知识复习 (除索引和视图)
1.客户端和数据库操作 1.登录客户端界面:mysql -uroot -p 2.查看当前的数据库版本:select version(); 3.显示所有数据库:show databases;, 4.创建数据库:create [IF NOT EXISTS] database 库名 character set 字符…...
【sqlcipher】pc端sqflite使用过程中遇到的问题
在flutter中使用sqlcipher时 Mac上如果通过flutter带的文件管理api(即File的delete()方法)删除数据库文件,再创建同名的数据文件的话,必现readonly问题, 这里需要注意的一点是 DatabaseFactory 在Mac上直接使用全局的…...
Vue 实现无线滚动效果
目录 1.Element-plus官网中的Infinite Scroll组件说明 2.滚动条设置 3.滚动到底部的函数调用 1.Element-plus官网中的Infinite Scroll组件说明 官网链接如下所示: Infinite Scroll 无限滚动 | Element Plus 首先查看该代码,发现这个组件使用了一个…...
【CSS in Depth 2 精译_062】第 10 章 CSS 中的容器查询(@container)概述 + 10.1 容器查询的一个简单示例
当前内容所在位置(可进入专栏查看其他译好的章节内容) 【第十章 CSS 容器查询】 ✔️ 10.1 容器查询的一个简单示例 ✔️ 10.1.1 容器尺寸查询的用法 ✔️ 10.2 深入理解容器10.3 与容器相关的单位10.4 容器样式查询的用法10.5 本章小结 文章目录 第 10…...
conda手动初始化
问题:环境中存在conda但是conda无法使用 方法: 进入到anaconda目录下, 进入bin目录, 然后执行 source activate要想启动时自动进入conda环境, 需要在 ~/.bashrc中添加如下命令 # >>> conda initialize >>> # !! Contents within this block are managed by …...
hhdb数据库介绍(10-28)
管理 管理菜单主要囊括对业务数据进行管理的功能,例如对数据的备份恢复或执行业务表的DDL语句等操作。 数据对象 数据对象功能可以帮助用户通过列表实时查看当前已存在的数据对象,了解业务数据的整体情况。提供了对数据对象的筛选、统计、关联、详情等…...
Spring Boot自定义启动banner
在启动 Springboot 应用时,默认情况下会在控制台打印出 Springboot 相关的banner信息。 自定义banner 如果你想自定义一个独特的启动banner,该怎么做呢?Springboot 允许我们通过自定义启动banner来替换默认的banner。只需要在 resources 目…...
c语言——数组名该如何理解呢?
一般情况下,数组名表示首元素地址,以下2种除外: ①、sizeof(数组名) 表示整个数组 ※只有数组名的情况 sizeof(数组名i) 就不能表示整个数组 ②、&数组名 表示整个数组,取的是整个数…...
前端 如何用 div 标签实现 步骤审批
在前端实现一个步骤审批流程,通常是通过 div 标签和 CSS 来构建一个可视化的流程图,结合 JavaScript 控制审批的状态变化。你可以使用 div 标签创建每一个步骤节点,通过不同的样式(如颜色、边框等)表示审批的不同状态&…...
QT工程,它该怎么学?
在现代软件开发中,QT因其强大的跨平台能力和友好的用户界面设计工具,成为开发者学习和应用的热门选择。特别是在Linux系统下,如何安装、配置QT开发环境,以及创建和管理QT工程是入门QT开发的关键环节。本文将从安装QT开发环境开始&…...
第426场周赛:仅含置位位的最小整数、识别数组中的最大异常值、连接两棵树后最大目标节点数目 Ⅰ、连接两棵树后最大目标节点数目 Ⅱ
Q1、仅含置位位的最小整数 1、题目描述 给你一个正整数 n。 返回 大于等于 n 且二进制表示仅包含 置位 位的 最小 整数 x 。 置位 位指的是二进制表示中值为 1 的位。 2、解题思路 我们需要找到一个整数 x,使得: x ≥ nx 的二进制表示中仅包含置位…...
23种设计模式之外观模式
目录 1. 简介2. 代码2.1 SelectFoodService (选择食品)2.2 PayService (支付服务)2.3 TakeService (制作服务)2.4 OrderService (下单服务)2.5 Food (食品)2.6 TackingSystem (外观类)2.7 Test (测试类) 3. 优缺点3. 总结 1. 简介…...
【智商检测——DP】
题目 代码 #include <bits/stdc.h> using namespace std; const int N 1e510, M 110; int f[N][M]; int main() {int n, k;cin >> n >> k;for(int i 1; i < n; i){int x;cin >> x;f[i][0] __gcd(f[i-1][0], x);for(int j 1; j < min(i, k)…...
LeetCode-430. 扁平化多级双向链表-题解
题目链接 430. 扁平化多级双向链表 - 力扣(LeetCode) 题目介绍 你将得到一个双链表,节点包含一个“下一个”指针、一个“前一个”指针和一个额外的“子指针”。这个子指针可能指向一个单独的双向链表,并且这些链表也包含类似的特殊…...
【CSS】一篇掌握CSS
不是因为有了希望才去坚持,而是坚持了才有了希望 目录 一.导入方式 1.行内样式 2.内部样式 3.外部样式(常用) 二.选择器 1.基本选择器(常用) 1.1标签选择器 1.2类选择器 1.3id选择器 2.层次选择器 2.1后代选择器 2.2子选择器 2.3相邻兄弟选择器 2.4通用兄弟选择器…...
华为仓颉编程环境搭建
1、仓颉介绍 摘自华为官方:仓颉编程语言作为一款面向全场景应用开发的现代编程语言,通过现代语言特性的集成、全方位的编译优化和运行时实现、以及开箱即用的 IDE 工具链支持,为开发者打造友好开发体验和卓越程序性能。 其具体特性表现为&am…...
手机实时提取SIM卡打电话的信令声音-蓝牙电话如何适配eSIM卡的手机
手机实时提取SIM卡打电话的信令声音 --蓝牙电话如何适配eSIM卡的手机 一、前言 蓝牙电话的海外战略中,由于海外智能手机市场中政策的差异性,对内置eSIM卡的手机进行支持是非常合理的需求。Android系列手机中,无论是更换通信运营商…...
三种方式(oss、本地、minio)图片的上传下载
一、OSS 1、前期准备 1.1 注册阿里云账号,开启对象存储oss功能,创建一个bucket(百度教程多的是,跟着创建一个就行,创建时注意存储类型是标准存储,读写权限是公共读) 有的在创建桶时读写属性是…...
使用pyQT完成简单登录界面
import sysfrom PyQt6.QtGui import QMovie,QPixmap from PyQt6.QtWidgets import QApplication, QWidget, QLabel, QPushButton,QLineEdit#封装我的窗口类 class MyWidget(QWidget):#构造函数def __init__(self):#初始化父类super().__init__()# 设置窗口大小self.resize(330,…...
Postgres数据库自动化分区
一.创建自动化分区配置表并插入数据 -- Table: managerdb.par_info-- DROP TABLE IF EXISTS managerdb.par_info;CREATE TABLE IF NOT EXISTS managerdb.par_info (table_schema character varying(255) COLLATE pg_catalog."default" NOT NULL,table_name characte…...
【技术介绍】C++编程语言中的瑰宝
C,这门源于C语言并在其基础上进行大幅增强的编程语言,自诞生以来便以其独特的魅力和强大的功能吸引了无数编程者的目光。它不仅是计算机科学领域的一颗璀璨明珠,更是现代软件开发中不可或缺的重要工具。 解析【前言】 C的命名,寓…...
nginx反向代理
目录 环境准备 启动HTTP服务 配置Nginx 访问 部署 1.配置nginx 2.自动化脚本 3.执行脚本 4.使用ansible 什么是反向代理呢,参考nginx反向代理,业务部署过长中,常遇到的场景如下,通过访问域名/ip地址,后面接入网…...
分层图最短路
常见情形: 对于边有k次操作的题。。 整体思想: 分层图最短路可以视作是dijkstra的一个扩展,通常用于处理N小于10000,或者是k不大的情形。整体有点类似于拆点。将一个点拆成k个点处理。层与层之间互不影响。 好了我就说这么多&…...
FRU文件
FRU(Field Replaceable Unit)源文件的格式通常遵循IPMI FRU Information Storage Definition标准。在实际应用中,FRU源文件可以是JSON格式的,这种格式允许用户指定所有的FRU信息字段。以下是FRU源文件的JSON格式的一些关键点&…...
兔子繁衍问题
7-2 兔子繁衍问题 分数 15 全屏浏览 切换布局 作者 徐镜春 单位 浙江大学 一对兔子,从出生后第3个月起每个月都生一对兔子。小兔子长到第3个月后每个月又生一对兔子。假如兔子都不死,请问第1个月出生的一对兔子,至少需要繁衍到第几个月时兔…...
飞凌嵌入式受邀亮相OpenHarmony人才生态大会2024
2024年11月27日,OpenHarmony人才生态大会2024在武汉洲际酒店举行。在这场汇聚了行业精英、技术大咖及生态伙伴的年度盛会上,飞凌嵌入式作为OpenHarmony社区的重要成员受邀出席,并展示了其在OpenHarmony 4.1系统适配方面的最新成果。 在大会的…...
Resrful控制器
Linux Debian 包管理器 apt DebianUbuntuKali红帽子 包管理器dnf或者yum RHELFedroaCentos Stream RHEL上游版本,就是什么新的内容、特性会在这个上面进行测试 运行 运行页面--dotnet blog.dll配置管理 server{listen 80;server_name m.域名;location / {proxy_p…...
Python练习(2)
重复元素判定续。利用集合的无重复性来编写一个程序如果有一个元素出现了不止一次则返回true但不要改变原来列表的值: 一: def has_duplicates(lst): # 使用集合来存储已经见过的元素 seen set() for item in lst: if item in seen: # 如果元素已经在…...
Qt清空文件夹下的内容
Qt清空文件夹下的内容 你可以使用 QDir 类来清空文件夹下的所有内容。以下是一个示例,展示了如何删除指定文件夹中的所有文件和子文件夹: #include <QCoreApplication> #include <QDir> #include <QFileInfoList> #include <QDeb…...
如何手动设置ubuntu服务器的ip、子网掩码、网关、DNS
在 Ubuntu 服务器上手动设置 IP 地址、子网掩码、网关和 DNS,通常有两种方式:使用传统的 ifconfig 命令和配置文件,或者使用现代的 netplan 配置方式(对于 Ubuntu 17.10 及以后版本,netplan 是默认的网络配置工具&…...
单片机状态机实现多个按键同时检测单击、多击、长按等操作
1.背景 在之前有个项目需要一个或多个按键检测:单击、双击、长按等操作 于是写了一份基于状态机的按键检测,分享一下思路 2.实现效果 单击翻转绿灯电平 双击翻转红灯电平 长按反转红绿灯电平 实现状态机检测按键单击,双击,长…...
graph rag都能做哪些事情
从提供的项目目录结构看,系统具备高复杂度和模块化的设计,可能用于大规模数据处理、知识图谱构建、自然语言处理等方面。以下是一些推理出的核心能力和应用场景: 1. 核心模块能力: API 层 (api) 主要用于对外接口的定义和服务调…...
Linux 用户和用户组管理
Linux 用户和用户组管理 Linux系统是一个多用户多任务的分时操作系统,任何一个要使用系统资源的用户,都必须首先向系统管理员申请一个账号,然后以这个账号的身份进入系统。 用户的账号一方面可以帮助系统管理员对使用系统的用户进行跟踪&…...
Python酷库之旅-第三方库Pandas(251)
目录 一、用法精讲 1186、pandas.tseries.offsets.BusinessMonthEnd.is_year_start方法 1186-1、语法 1186-2、参数 1186-3、功能 1186-4、返回值 1186-5、说明 1186-6、用法 1186-6-1、数据准备 1186-6-2、代码示例 1186-6-3、结果输出 1187、pandas.tseries.offs…...
利用Ubuntu批量下载modis图像(New)
由于最近modis原来批量下载的代码不再直接给出,因此,再次梳理如何利用Ubuntu下载modis数据。 之前的下载代码为十分长,现在只给出一部分,需要自己再补充另一部分。之前的为: 感谢郭师兄的指导(https://blo…...
Redis分布式锁
一、全局ID生成器 1.1 概念 全局ID生成器,是一种在分布式系统下用来生成全局唯一ID的工具。具有以下特点: (1)唯一性;(2)高可用;(3&…...
【Maven】依赖管理
4. Maven的依赖管理 在 Java 开发中,项目的依赖管理是一项重要任务。通过合理管理项目的依赖关系,我们可以有效的管理第三方库,模块的引用及版本控制。而 Maven 作为一个强大的构建工具和依赖管理工具,为我们提供了便捷的方式来管…...
leetcode——移除数组
26.删除有序数组中的重复项 给你一个 非严格递增排列 的数组 nums ,请你 原地 删除重复出现的元素,使每个元素 只出现一次 ,返回删除后数组的新长度。元素的 相对顺序 应该保持 一致 。然后返回 nums 中唯一元素的个数。 考虑 nums 的唯一元素…...
vue项目部署到github pages后页面显示不出来??
问题: 当我们在命令行执行 npm run build 后,项目的目录下会生成一个 dist 文件夹,它里面又包含一个 static 文件夹和一个 index.html 文件,这是 webpack 最终打包好的文件 项目上传到仓库后发现页面为空,找不到文件路…...
为什么爱用低秩矩阵
目录 为什么爱用低秩矩阵 一、定义与性质 二、区别与例子 为什么爱用低秩矩阵 我们更多地提及低秩分解而非满秩分解,主要是因为低秩分解在数据压缩、噪声去除、模型简化和特征提取等方面具有显著的优势。而满秩分解虽然能够保持数据的完整性,但在实际应用中的场景较为有限…...
如何在MySQL中计算两个日期的间隔天数
目录 1. DATEDIFF函数2. TIMESTAMPDIFF函数3. PERIOD_DIFF函数4. 函数对比 在MySQL 5.7中,计算两个日期之间的间隔天数是一项常见的任务。 1. DATEDIFF函数 DATEDIFF函数可以直接计算两个日期之间的天数差异。 -- 计算2024年1月1日和2024年1月10日之间的天数差异 …...
SQL面试题——抖音SQL面试题 共同问题—共同使用ip用户检测问题
共同使用ip用户检测问题 现有用户登录日志表,记录了每个用户登录的IP地址,请查询共同使用过3个及以上IP的用户对; +---+--------------+-------------------+ | id| ip| etime| +---+--------------+-------------------+ | 2|223.104.41.101|20…...
python学习笔记2
下载安装PyCharm 打开pycharm官网: https://www.jetbrains.com.cn/en-us/pycharm/download/?sectionwindows 找到社区版(免费) 下载之后打开,不停下一步就行 打开pycharm软件后,新建py文件 基本输出:…...
IS-IS的原理
IS-IS的基本概念: 概述: IS-IS,中间系统到中间系统,是ISO国际标准化组织为它的无连接网络协议设计的一种动态路由协议 IS-IS支持CLNP网络和IP网络,采用数据链路层封装,区别于ospf只支持IP网络࿰…...
现代应用程序中基于 Cell 架构的安全防护之道
在飞速发展的软件开发领域,基于 Cell 的架构日益流行起来。其概念源自船舶舱壁的设计准则,即单独的水密舱室能允许故障孤立存在。通过将这个概念应用于软件,我们创建了一个架构,将应用程序划分为离散的、可管理的组件,…...
Rust : 生成日历管理markdown文件的小工具
需求: 拟生成以下markdown管理小工具,这也是我日常工作日程表。 可以输入任意时间段,运行后就可以生成以上的markdown文件。 一、toml [package] name "rust-workfile" version "0.1.0" edition "2021"[d…...
Burp Suite 全面解析:开启你的 Web 安全测试之旅
声明! 学习视频来自B站up主 **泷羽sec** 有兴趣的师傅可以关注一下,如涉及侵权马上删除文章,笔记只是方便各位师傅的学习和探讨,文章所提到的网站以及内容,只做学习交流,其他均与本人以及泷羽sec团队无关&a…...
RocketMQ: 消息积压问题的解决
概述 1 ) 什么是消息积压 在分布式消息系统中,消息积压是指消息生产速度超过消息消费速度,导致未处理的消息在消息队列中累积的现象这种现象可能会导致系统性能下降、资源占用增加,甚至影响系统的正常运行 2 )消息积…...
Qt的定时器应用案例 || Qt的图片添加显示
目录 1.ui界面 2.头文件 3.cpp源文件 4.main文件 5.关于ui_mytimerevent.h的代码编译错误 6.图片的添加展示方式 7.结果展示 8.参考文章 1.ui界面 2.头文件 #ifndef MYTIMEREVENT_H #define MYTIMEREVENT_H#include <QMainWindow> #include <QTime> //#in…...