《AI大模型应知应会100篇》第49篇:大模型应用的成本控制策略
第49篇:大模型应用的成本控制策略
🧾 摘要
随着AI大模型的广泛应用,其高昂的部署与运行成本成为企业面临的一大挑战。本文将从技术架构、资源优化、业务模式等多个维度出发,系统性地讲解如何在保障服务质量的前提下,实现最优成本效益的大模型应用策略。
文章不仅包含详细的理论分析,还配有实战代码、可视化仪表盘、成本计算器模板等实用工具,适合人工智能初中级开发者和工程师参考学习。
🔍 核心概念与知识点
1. 成本构成与分析框架(🔍 实战)
成本拆解
一个典型的大模型应用成本主要包括以下几个方面:
类别 | 细项说明 | 占比示例 |
---|---|---|
计算资源 | GPU/CPU租赁费用、推理/训练时间 | ~60% |
存储资源 | 模型权重存储、缓存、日志等 | ~15% |
网络传输 | API请求、数据上传下载带宽 | ~10% |
API服务费 | 使用第三方模型API(如OpenAI) | ~15% |
💡 小贴士:如果你使用的是云厂商(如AWS、阿里云),可以通过其“账单管理”功能导出详细资源消耗报表进行分析。
单位成本计算
我们以每次用户查询为例,构建一个简单的单位成本模型:
def calculate_cost_per_query(gpu_hourly_rate, avg_inference_time_sec):"""计算每次查询的平均成本:param gpu_hourly_rate: GPU每小时租金(美元):param avg_inference_time_sec: 平均推理时间(秒):return: 每次查询成本(美元)"""return (avg_inference_time_sec / 3600) * gpu_hourly_rate# 示例:A10 GPU每小时约$0.75,平均推理时间为2s
cost = calculate_cost_per_query(0.75, 2)
print(f"每次查询成本约为:${cost:.4f}")
输出结果:
每次查询成本约为:$0.0004
监控仪表板(📊 实战)
我们可以使用Prometheus + Grafana搭建实时监控仪表盘,追踪GPU利用率、请求数量、响应延迟等指标。
✅ 部署步骤详见下文【实战方案】部分。
预算控制机制
通过设置预算限额与告警规则,可以防止意外超支。例如,在AWS中可以配置如下策略:
- 当月累计支出超过$500时触发告警;
- 自动暂停非核心任务的资源调度。
2. 计算资源优化(💻 实战)
硬件选型对比(GPU vs CPU)
GPU型号 | 每小时价格($) | TFLOPs | 推理速度(tokens/s) | 适用场景 |
---|---|---|---|---|
A10 | 0.75 | 32 | 80 | 中等规模推理 |
H100 | 2.00 | 67 | 180 | 大模型高速推理 |
T4 | 0.50 | 16 | 40 | 成本敏感型项目 |
⚖️ 建议:对于低并发、长文本任务,可选用T4;高并发场景优先考虑H100。
自建 vs 云服务:TCO对比表
项目 | 自建服务器(年) | 云服务(年) |
---|---|---|
初始投入 | $10,000 | $0 |
运维成本 | $2,000 | $3,000 |
折旧费用 | $1,000 | - |
弹性扩容能力 | 差 | 强 |
总拥有成本(TCO) | $13,000 | $15,000+ |
✅ 结论:长期稳定负载适合自建,短期波动负载推荐云服务。
批处理优化
利用批处理可以显著提高GPU利用率。以下是一个基于PyTorch的批量推理示例:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLMmodel_name = "gpt2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to("cuda")def batch_generate(prompts):inputs = tokenizer(prompts, return_tensors="pt", padding=True, truncation=True).to("cuda")outputs = model.generate(**inputs, max_new_tokens=20)return [tokenizer.decode(output, skip_special_tokens=True) for output in outputs]# 批量输入
prompts = ["讲个笑话", "写首诗", "解释量子力学"]
results = batch_generate(prompts)
for prompt, result in zip(prompts, results):print(f"Prompt: {prompt}\nOutput: {result}\n")
📈 效果提升:批量大小为4时,GPU利用率可提升至80%以上。
自动扩缩容策略(.AutoScale with Kubernetes )
使用Kubernetes + Prometheus + KEDA实现动态扩缩容:
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:name: gpt-inference-scaledobject
spec:scaleTargetRef:name: gpt-inference-podminReplicaCount: 1maxReplicaCount: 10triggers:- type: prometheusmetadata:serverAddress: http://prometheus-service.monitoring.svc.cluster.local:9090metricName: http_requests_totalthreshold: '10'
📦 说明:当每秒请求数超过10时,自动增加Pod数量,最多扩展到10个副本。
3. 模型与架构优化(🧠 实战)
模型选择策略
根据任务复杂度选择合适的模型:
任务类型 | 推荐模型 | 参数量 | 推理速度 | 成本占比 |
---|---|---|---|---|
简单问答 | BERT-base | 110M | 快 | 低 |
对话理解 | Llama3-8B | 8B | 中等 | 中 |
复杂生成任务 | GPT-4 / Qwen-Max | 100B+ | 慢 | 高 |
🎯 建议:优先用小模型完成基础任务,复杂问题再调用大模型。
多模型路由系统(🔄 动态路由)
设计一个基于成本效益的模型路由系统:
class ModelRouter:def __init__(self):self.models = {"small": {"cost": 0.0001, "accuracy": 0.7},"medium": {"cost": 0.0004, "accuracy": 0.85},"large": {"cost": 0.001, "accuracy": 0.95}}def route(self, task_complexity):if task_complexity < 0.3:return "small"elif task_complexity < 0.7:return "medium"else:return "large"router = ModelRouter()
print(router.route(0.5)) # 输出 medium
混合精度部署(FP16 / INT8)
使用混合精度(FP16或INT8)可降低显存占用并加速推理:
# 使用transformers库启用FP16推理
python -m torch.distributed.launch --nproc_per_node=1 \run_generation.py \--model_name_or_path gpt2 \--fp16 \--output_dir ./output
📊 效果:FP16推理速度可提升20%,显存占用减少50%。
缓存高频查询(💾 Redis缓存)
对高频重复请求进行缓存,减少重复推理开销:
import redis
import hashlibcache = redis.Redis(host='localhost', port=6379, db=0)def get_cached_response(prompt):key = hashlib.md5(prompt.encode()).hexdigest()cached = cache.get(key)if cached:return cached.decode()return Nonedef set_cache_response(prompt, response):key = hashlib.md5(prompt.encode()).hexdigest()cache.setex(key, 3600, response) # 缓存1小时# 示例
prompt = "今天天气怎么样?"
cached = get_cached_response(prompt)
if not cached:# 假设这是调用模型的结果result = "北京今天晴朗,气温22℃。"set_cache_response(prompt, result)print(result)
else:print("From Cache:", cached)
4. 业务策略与定价模型(💰 实战)
用户用量分级策略
用户等级 | 月查询上限 | 优先级 | 成本限制 |
---|---|---|---|
免费用户 | 1000 | 低 | 不收费 |
付费用户 | 10万 | 中 | 按量计费 |
VIP用户 | 无限 | 高 | 包月套餐 |
✅ 实现方式:在API网关层加入速率限制中间件(如Nginx、Kong)。
限额与节流机制(🚦 Rate Limiting)
使用FastAPI + Redis实现简单的请求频率控制:
from fastapi import FastAPI, Depends, HTTPException
import time
import redisapp = FastAPI()
r = redis.Redis()def rate_limiter(user_id: str, limit=10, period=60):key = f"rate_limit:{user_id}"current = r.incr(key)if current == 1:r.expire(key, period)if current > limit:raise HTTPException(status_code=429, detail="Too Many Requests")@app.get("/query")
def query(user_id: str, prompt: str):rate_limiter(user_id)# 调用模型逻辑return {"response": "Hello World"}
弹性计费模型(📈 按量计价)
设计一个基于资源消耗的弹性计费模型:
def calculate_billing(tokens_used, cost_per_1k_tokens=0.002):return (tokens_used / 1000) * cost_per_1k_tokensprint(f"使用1500 tokens,费用为 ${calculate_billing(1500):.4f}")
输出:
使用1500 tokens,费用为 $0.0030
🛠️ 工具与实战方案
成本计算器(📊 Excel/Web App)
提供一个Excel模板,包含以下字段:
- GPU型号
- 每小时价格
- 每天推理次数
- 每次推理耗时
- 月总成本估算
📥 可在GitHub仓库获取完整模板文件:https://github.com/example/ai-cost-calculator
实时监控脚本(📈 Prometheus Exporter)
编写一个简单的Python脚本收集GPU使用情况:
import GPUtil
from prometheus_client import start_http_server, Gauge
import timegpu_usage_gauge = Gauge('gpu_usage_percent', 'Current GPU Usage (%)')def collect_gpu_metrics():while True:gpus = GPUtil.getGPUs()for gpu in gpus:gpu_usage_gauge.labels(gpuId=gpu.id).set(gpu.load * 100)time.sleep(5)start_http_server(8000)
collect_gpu_metrics()
访问 http://localhost:8000/metrics
即可看到监控数据。
自动化资源配置脚本(🛠️ AutoScaler)
使用Shell脚本定时调整实例数量:
#!/bin/bashCURRENT_INSTANCES=$(aws ec2 describe-instances --filters "Name=tag:Role,Values=InferenceWorker" | jq '.Reservations | length')
REQUESTS_PER_SECOND=$(curl -s http://monitoring/api/rps)if (( REQUESTS_PER_SECOND > 100 && CURRENT_INSTANCES < 10 )); thenaws autoscaling set-desired-capacity --auto-scaling-group-name inference-asg --desired-capacity=$((CURRENT_INSTANCES + 1))
fi
📈 案例与ROI分析
企业案例:大型电商对话系统优化(📦 降本70%)
- 原始成本:每月$20,000
- 优化措施:
- 引入多模型路由系统,减少GPT调用;
- 启用FP16推理;
- 加入Redis缓存;
- 使用自动扩缩容。
- 最终成本:每月$6,000
- ROI:节省$14,000/月,投资回收周期<2个月
初创公司案例:有限预算下的资源分配
- 预算:$200/月
- 策略:
- 使用免费模型(如Llama3);
- 设置用户查询限额;
- 启用缓存机制;
- 仅在高峰时段启动GPU实例。
- 效果:支撑每日1000次查询,响应延迟<1s
投资回报模型(📊 ROI Calculator)
def calculate_roi(initial_saving, monthly_saving, implementation_cost):months_to_recoup = implementation_cost / monthly_savingreturn {"Initial Saving": initial_saving,"Monthly Saving": monthly_saving,"Implementation Cost": implementation_cost,"Months to Recoup": months_to_recoup}print(calculate_roi(0, 1000, 2000))
输出:
{"Initial Saving": 0,"Monthly Saving": 1000,"Implementation Cost": 2000,"Months to Recoup": 2.0
}
📈 未来规划与风险防范
成本预测模型(📈 Time Series Forecasting)
使用Prophet或ARIMA预测未来成本趋势,提前做好资源规划。
多供应商策略(🌐 Multi-Cloud)
避免供应商锁定,可在多个平台部署模型(如AWS + Azure),并通过统一API网关进行调度。
技术债务管理(⚠️ Trade-offs)
短期节约可能导致后期维护成本上升。建议:
- 文档完备
- 架构清晰
- 自动化运维
- 定期重构
🧠 总结与扩展思考
成本控制与价值创造的战略平衡
- 成本不是唯一目标,用户体验和业务增长同样重要;
- 成本优化应服务于产品战略,而非反向驱动。
硬件演进对未来成本结构的影响
- 新一代GPU(如H100、B100)性能翻倍,但价格下降;
- 模型压缩与蒸馏技术成熟,进一步降低部署门槛。
开源生态的力量
- Llama3、Qwen、ChatGLM等开源模型逐步替代商业模型;
- 社区支持强大,文档齐全,适合中小团队快速上马。
📦 附录:安装与部署指南
Prometheus + Grafana部署
# 安装Prometheus
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm install prometheus prometheus-community/kube-prometheus-stack# 安装Node Exporter(用于采集GPU信息)
kubectl apply -f https://raw.githubusercontent.com/NVIDIA/gpu-monitoring-tools/master/exporters/node-feature-discovery/nfd.yaml
📚 参考资料
- AWS Pricing Calculator: https://calculator.aws/
- NVIDIA GPU Performance Benchmarks: https://developer.nvidia.com/deep-learning-performance-training-inference
- Prometheus官方文档: https://prometheus.io/docs/
📣 下一篇预告
第50篇:大模型服务的可观测性设计 —— 日志、监控、追踪三位一体
敬请关注!
📌 欢迎订阅专栏《AI大模型应知应会100篇》持续更新中!
相关文章:
《AI大模型应知应会100篇》第49篇:大模型应用的成本控制策略
第49篇:大模型应用的成本控制策略 🧾 摘要 随着AI大模型的广泛应用,其高昂的部署与运行成本成为企业面临的一大挑战。本文将从技术架构、资源优化、业务模式等多个维度出发,系统性地讲解如何在保障服务质量的前提下,实…...
利用Ollama部署DeepSeek模型
利用Ollama部署DeepSeek模型 最近,DeepSeek作为一款高效的推理模型受到了广泛关注,但在使用网页版过程中,总是遇到服务器繁忙,因此尝试在本地部署DeepSeek来使用。 一、Ollama安装指南 Ollama是一个开源的AI大模型部署工具&…...
数字孪生储能充电站,实现智慧能源设施全景管控
图扑将储能充电站的电池组、充电桩、配电系统等设备进行数字孪生,通过实时接入充放电数据、设备状态及能耗信息,以三维可视化界面直观呈现储能动态、电力调度与运维场景,助力运营方优化资源配置、预判设备故障,推动储能充电设施高…...
MCP服务发展现状的有趣发现
MCP服务发展现状的有趣发现 当前,MCP(Model Context Protocol)在AI领域逐渐成为一个热门话题。其核心意义在于赋予大模型直接调用外部工具的能力,从而打破“数据孤岛”,实现真正的工具增强型AI。然而,在深…...
aws平台windows虚拟机扩容
收到aws平台windows虚拟机扩容磁盘的请求 登陆aws平台ec2找的对应的虚拟机 进入实例详情 然后点击存储 点击进入卷 然后远程登陆这台虚拟机 在运行对话框中,输入 diskmgmt.msc 并按 Enter。然后,磁盘管理实例程序随之打开 在 Disk Management 菜单上&am…...
QuecPython+Aws:快速连接亚马逊 IoT 平台
提供一个可接入亚马逊 Iot 平台的客户端,用于管理亚马逊 MQTT 连接和影子设备。 初始化客户端 Aws class Aws(client_id,server,port,keep_alive,ssl,ssl_params)参数: client_id (str) - 客户端唯一标识。server (str) - 亚马逊 Iot 平台服务器地址…...
从创业踩雷到依法解债:湖北理元理律师事务所的危机拆解逻辑
“本以为最坏结果是创业失败,没想到差点毁了家庭。”34岁的武汉宝妈李婷(化名)在咖啡厅里翻着厚厚的案件材料。因参与朋友奶茶店项目,她在网贷平台借款28万,却因合同漏洞陷入债务旋涡。本文将拆解专业机构处理此类案件…...
1、Kafka与消息队列核心原理详解
消息队列(Message Queue, MQ)作为现代分布式系统的基础组件,极大提升了系统的解耦、异步处理和削峰能力。本文以Kafka为例,系统梳理消息队列的核心原理、架构细节及实际应用。 Kafka 基础架构及术语关系图 术语简要说明 Produce…...
【Linux系统】线程安全
线程安全和重入问题 概念 线程安全:多个线程在访问共享资源时,能够正确地执行,不会相互干扰或破坏彼此的执行结果。一般而言,多个线程并发同一段只有局部变量的代码时,不会出现不同的结果。但是对全局变量或者静态变…...
什么是gitlab自动部署,怎么配置gitlab自动部署
在现代软件开发流程中,自动化部署是提高效率和确保软件质量的关键环节。GitLab作为一个强大的DevOps平台,提供了完整的自动部署工具,帮助开发团队实现代码从编写到生产的无缝转换。本文将详细解析GitLab的自动部署功能是什么,如何进行操作,以及这一功能的实用性评估,帮助…...
Android开发-工程结构
在进行Android应用开发时,了解并掌握项目的工程结构是非常重要的一步。一个典型的Android项目由多个模块组成,每个模块又包含不同的目录和文件,它们各自承担着特定的功能。本文将带你深入了解Android Studio生成的默认项目结构,并…...
典籍知识问答模块AI问答功能feedbackBug修改+添加对话名称修改功能
1.feedbackBug修改 由于原先定为enum类型,导致无法正常评价,一直报错Data truncated for column feedback at row 1,将其修改为varchar类型,而类型选择在代码中实现 QAService代码修改后如下: 2.添加对话名称修改功…...
极狐Gitlab 里程碑功能介绍
极狐GitLab 是 GitLab 在中国的发行版,关于中文参考文档和资料有: 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网 里程碑 (BASIC ALL) 极狐GitLab 中的里程碑是一种跟踪议题和合并请求的方法,这些请求是为了在特定时间段内实现更…...
信奥赛CSP-J复赛集训(DP专题)(37):P4170 [CQOI2007] 涂色
信奥赛CSP-J复赛集训(DP专题)(37):P4170 [CQOI2007] 涂色 题目描述 假设你有一条长度为 5 5 5 的木板,初始时没有涂过任何颜色。你希望把它的 5 5 5 个单位长度分别涂上红、绿、蓝、绿、红色,…...
代码随想录算法训练营第五十六天| 图论2—卡码网99. 岛屿数量(dfs bfs)
假期归来继续刷题,图论第二天,主要是进一步熟悉dfs 和 bfs 的运用。 99. 岛屿数量(dfs) 99. 岛屿数量 ACM模式还是需要练,不过现在输入输出的感觉已经比较熟悉了。首先是要按照输入搭建一个grid,然后有一…...
iOS开发架构——MVC、MVP和MVVM对比
文章目录 前言MVC(Model - View - Controller)MVP(Model - View - Presenter)MVVM(Model - View - ViewModel) 前言 在 iOS 开发中,MVC、MVVM、和 MVP 是常见的三种架构模式,它们主…...
雅思阅读--易错词汇60个
文章目录 5. pretty6. matterIt does not matter ...7. stage8. draw... draw attention ...5. pretty 23个大满贯单打冠军,传奇网球运动员 WIlliams 曾经说过: I’ve always been pretty confident in my abilities. 翻译:我一直对自己的能力很有信心。 分析:在本句中,“…...
精益数据分析(44/126):深度解析媒体网站商业模式的关键要点
精益数据分析(44/126):深度解析媒体网站商业模式的关键要点 在创业与数据分析的探索道路上,我们不断挖掘不同商业模式的核心要素,今天将深入剖析媒体网站商业模式。希望通过对《精益数据分析》相关内容的解读…...
【回眸】QAC使用指南——导出 Dashboard Report个性化定制Report
前言 按错误级别导出Dashboard的报告 导出Dashboard个性化定制报告 添加个性化设计 导出个性化报告(HTML/PDF/XML) 过滤级别错误 后记 前言 QAC除了导出常规的报告之外,还可以导出Dashboard的报告(XML格式或者PDF格式&…...
高铁座位指示灯系统技术深度解析:从物联网到智慧出行的实践路径
摘要 高铁座位指示灯系统作为铁路数字化转型的核心场景,通过物联网、实时数据同步等技术,实现了客票系统与列车座位状态的动态联动。本文结合权威技术文档与现场实践,从系统架构、数据交互、工程实现等维度展开深度解析,并探讨其…...
ReSearch:强化学习赋能大模型,推理与搜索的创新融合
ReSearch:强化学习赋能大模型,推理与搜索的创新融合 大语言模型(LLMs)的推理能力不断提升,却在与外部搜索结合处理复杂问题时遇阻。本文提出的ReSearch框架,借助强化学习让LLMs学会将搜索融入推理…...
python的selenium操控浏览器
咱们以操控谷歌浏览器为例子 各系统谷歌浏览器及其工具最新版本下载地址 Chrome for Testing availability 查看谷歌浏览器版本 设置->关于Chrome->查看当前谷歌浏览器版本 下载与谷歌浏览器版本对应的chromedriver 注意:与谷歌浏览器版本一模一样的不一定…...
1、PLC控制面板 - /自动化与控制组件/plc-control-panel
76个工业组件库示例汇总 PLC控制系统监控面板 这是一个用于PLC控制系统监控面板的自定义组件,提供了PLC编程与自动化控制逻辑设计的可视化监控界面。组件采用工业风格设计,包含实时数据展示、系统状态监控、控制功能以及报警和日志记录等功能。 功能特…...
LeetCode 热题 100 279. 完全平方数
LeetCode 热题 100 | 279. 完全平方数 大家好,今天我们来解决一道经典的动态规划问题——完全平方数。这道题在 LeetCode 上被标记为中等难度,要求找到和为给定整数 n 的完全平方数的最少数量。 问题描述 给定一个整数 n,返回和为 n 的完全…...
USB学习【2】通讯的基础-反向不归零编码
一.写在前面 所有的通讯协议,发送端和接收端必须按照同一节奏发送信号和接受信号才能保证通讯的正常进行,否则会出现错位。 这个节奏用我自己的话说:时间卡尺。 串口协议是通过约定好波特率来进行解析信号。IIC是专门有一个时钟线作为时间卡…...
Polygon Miden网络:具有客户端执行的边缘区块链
1. 引言 LambdaClass与Miden已合作超过18个月,这段合作关系始于帮助 Miden 开发客户端,为 Miden 网络提供交易执行和证明的支持。随着时间推移,双方的合作不断加深,工作也扩展到了协议和节点的开发上,涵盖了多个方面。…...
临床智能体AI与环境感知AI的融合:基于python的医疗自然语言处理深度分析
引言 医疗领域的数智化进程正以前所未有的速度推进,人工智能技术的应用尤为显著。随着大型语言模型(LLMs)的迅猛发展,医疗AI已从简单的辅助工具升级为复杂的智能体系统。临床智能体AI与环境感知AI的融合代表了医疗AI的最新发展方向,为重塑医疗运营自然语言处理提供了全新…...
Spring AI Alibaba-03- Spring AI + DeepSeek-R1 + ES/Milvus + RAG 智能对话应用开发全流程
Spring AI Alibaba-03- Spring AI DeepSeek-R1 ES/Milvus RAG 智能对话应用开发全流程 在[人工智能](AI)应用中,模型通常需要访问外部资源或执行特定操作,例如数据库查询、调用外部API或执行计算任务。Spring AI,作…...
20250506异形拼图块(圆形、三角、正方,椭圆/半圆)的中2班幼儿偏好性测试(HTML)
背景介绍 最近在写一份工具运用报告,关于剪纸难度的。所以设计了蝴蝶描边系列和异形凹凸角拼图。 【教学类-102-20】蝴蝶三色图作品2——卡纸蝴蝶“满格变形图”(滴颜料按压对称花纹、原图切边后变形放大到A4横版最大化)-CSDN博客文章浏览阅读609次,点赞8次,收藏3次。【…...
Edge浏览器PDF字体显示错误
Edge浏览器PDF字体显示错误 软件版本信息 Edge Version: 136.0.3240.50 Word Version: Microsoft Office 专业增强版2021问题描述 在Word中使用多级列表自动编号, 并使用Word软件自带的导出为PDF文件功能, 在Word中显示正常的数字, 在Edge中查看PDF将会出现渲染错误的现象,…...
git中android studio不想提交文件
修改.gitignore文件 *.iml .gradle /local.properties /.idea/caches /.idea/libraries /.idea/modules.xml /.idea/workspace.xml /.idea/navEditor.xml /.idea/assetWizardSettings.xml /.idea/* /app/* .DS_Store /build /captures .externalNativeBuild .cxx local.propert…...
==和equals的区别 hashCode和equals的联系
和equals的区别: 对于没有重写equals()方法的类,和equals的作用是相同的:比较两个实例对象的地址是否相同。而对于重写了equals方法的类,equals方法则比较的是两个实例对象的内容(例如String对象)。 hashC…...
国联股份卫多多与国术科技签署战略合作协议
4月30日,国术科技(北京)有限公司(以下简称“国术科技”)营销中心总经理 王志广、贾雷一行到访国联股份卫多多,同卫多多/纸多多副总裁、产发部总经理段任飞,卫多多机器人产业链总经理桂林展开深入…...
依图科技C++后端开发面试题及参考答案
请介绍你所了解的分布式系统 分布式系统是由多个独立的计算节点通过网络连接组成的系统,这些节点共同协作以完成特定的任务。分布式系统的设计目标在于提升系统的性能、可扩展性、可靠性和容错性。 从性能方面来看,分布式系统能够把任务分配到多个节点…...
【计算机网络】TCP/IP四层模型是什么?与OSI七层模型哪些区别?
TCP/IP四层模型从上到下依次为: 1.应用层 2.传输层 3.网络层 4.网络接口层 一、TCP/IP四层模型: 1.应用层: 提供用户可直接使用的网络服务。如网页、邮件。 关键协议: HTTP/HTTPS:网页浏览。DNS:域名解…...
基于计算机视觉的试卷答题区表格识别与提取技术
基于计算机视觉的试卷答题区表格识别与提取技术 摘要 本文介绍了一种基于计算机视觉技术的试卷答题区表格识别与提取算法。该算法能够自动从试卷图像中定位答题区表格,执行图像方向矫正,精确识别表格网格线,并提取每个答案单元格。本技术可…...
Java面试全栈解析:Spring Boot、Kafka与Redis实战揭秘
《Java面试全栈解析:Spring Boot、Kafka与Redis实战揭秘》 【面试现场】 面试官:(推了推眼镜)小张,你简历里提到用Spring Boot开发过微服务系统,能说说自动配置的实现原理吗? 程序员࿱…...
打成jar 包以后,运行时找不到文件路径?
报错信息: FileNotFoundException。。。。。。。 原因: 打成jar包后,路径src/*可能都找不到了。 使用命令,查看jar包内的结构及文件路径: tar -tf XX.jar 你会看到目录结构: META-INF/ META-INF/MANIFEST.MF main/ ma…...
C++复习2
set、map、multiset、multimap CSTL包含了序列式容器和关联式容器: 序列式容器里面存储的是元素本身,其底层为线性序列的数据结构。比如:vector,list,deque,forward_list(C11)等。 关联式容器里面存储的是…...
el-row el-col
参考layout布局 Element - The worlds most popular Vue UI frameworkElement,一套为开发者、设计师和产品经理准备的基于 Vue 2.0 的桌面端组件库https://element.eleme.cn/#/zh-CN/component/layout#row-attributes 一行可以看做24个 Element UI 中的 el-row 是…...
【旅游网站设计与实现】基于SpringBoot + Vue 的前后端分离项目 | 万字详细文档 + 源码 + 数据库 + PPT
一、项目简介 旅游网站管理系统以信息化为核心,结合用户体验和系统管理功能,为旅游爱好者和管理者提供全面的服务平台。通过系统,用户可以浏览线路、收藏心仪旅游产品、下单订购,管理员则可在后台完成旅游线路管理、用户管理、订…...
On the Biology of a Large Language Model——论文学习笔记——拒答和越狱
本文仍然是对Anthropic团队的模型解释工作 On the Biology of a Large Language Model 的学习笔记。 前几篇课见我的主页中相同标题的几篇文章 本篇主要关注的是该博客中的Refusal和 Life of a Jailbreak这两部分的内容。 一句话总结 在这两部分中,作者展示了以下…...
使用OpenCV 和Dlib 实现表情识别
文章目录 引言1.代码主要概述2.代码解析2.1 面部特征计算函数(1) 嘴部宽高比(MAR)(2) 嘴宽与脸颊宽比值(MJR)(3) 眼睛纵横比(EAR)(4) 眉毛弯曲比(EBR) 2.2 自定义函数显示中文2.3 表情分类逻辑2.4 实时视频处理 3.系统特点4.总结 引言 面部表情是人类情感交流的重要方式&#…...
Matplotlib 饼图
pie():绘制饼图 Matplotlib 直方图 我们也可以结合 Pandas 来绘制直方图 除了数据框之外,我们还可以使用 Pandas 中的 Series 对象绘制直方图。只需将数据框中的列替换为 Series 对象 Matplotlib imshow() imshow() 可以显示灰度图像 imshow() 可以显示彩…...
区块链交易所开发:开启数字交易新时代
区块链交易所开发:开启数字交易新时代 ——2025年技术革新与万亿级市场的破局指南 一、区块链交易所的颠覆性价值 1️⃣ 去中心化革命终结数据霸权 区块链交易所通过分布式账本技术,将交易数据存储于全网节点,彻底消除中心化服务器宕机、跑路…...
ChatGPT对话导出工具-轻松提取聊天记录导出至本地[特殊字符]安装指南
1、edge浏览器安装tampermonkey插件 Edge浏览器安装:https://microsoftedge.microsoft.com/addons/detail/%E7%AF%A1%E6%94%B9%E7%8C%B4/iikmkjmpaadaobahmlepeloendndfphd 其他浏览器安装:https://www.tampermonkey.net/index.php?browserchrome 2、…...
k8s node soft lockup (内核软死锁) 优化方案
在 Kubernetes 环境中,Node 节点的内核软死锁(soft lockup)是一个严重的稳定性问题,可能导致节点无响应、Pod 调度失败甚至数据丢失。以下是针对该问题的优化策略和解决方案: 一、临时缓解措施 1. 调整内核 watchdog…...
【LDM】视觉自回归建模:通过Next-Scale预测生成可扩展图像(NeurIPS2024最佳论文阅读笔记与吃瓜)
【LDM】视觉自回归建模:通过Next-Scale预测生成可扩展图像(NeurIPS2024最佳论文阅读笔记与吃瓜) 《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》 视觉自回归建模:通过Next-Scale预测…...
计算机网络-传输层
一、概述 1、逻辑通信:对等层之间的通信好像是沿着水平方向传送的,但两个对等层之间并没有一条水平方向的物理连接。 2、复用与分用 2.1传输层 复用:发送方不同的应用进程可以使用同一传输层协议传送数据 分用:接收方的传输层…...
MacOS+VSCODE 安装esp-adf详细流程
安装python3,省略vscode安装ESP-IDF插件,选择v5.2.5 版本,电脑需要能够访问github,esp-idf安装后的默认目录是: /Users/***/esp/v5.2.5/esp-idf# 启动***为省略名称在/Users/***/esp/ 目录下使用git clone 下载 esp-adf # 国内用…...