CI/CD与DevOps流程流程简述(给小白运维提供思路)
一 CI/CD流程详解:代码集成、测试与发布部署
引言
在软件开发的世界里,CI/CD(持续集成/持续交付)就像是一套精密的流水线,确保代码从开发到上线的整个过程高效、稳定。我作为一名资深的软件工程师,接下来将深入剖析CI流程和CD流程的关键环节,结合底层原理与行业应用,为你呈现这一技术的全貌。
CI流程详解(代码集成与测试)
核心目标与重要性
CI流程的核心目标是确保代码频繁、高质量地合并到主干,并通过自动化测试快速发现缺陷。在大型项目中,多个开发人员同时进行代码开发,如果不能及时集成和测试,很容易出现代码冲突和隐藏的缺陷。频繁集成代码可以让团队成员及时发现并解决问题,保证代码的一致性和稳定性。
关键环节分析
- 研发本地开发与代码上传:开发人员在本地进行代码编写和调试,完成后将代码上传到测试环境。这是整个CI流程的起点,代码的质量直接影响后续的测试和部署。
- QA介入测试
- 代码锁定:为了保证QA测试的代码和上线代码保持一致,可以锁定分支或锁定COMMIT。这就像是给代码上了一把锁,确保在测试过程中代码不会被意外修改。
- 测试开始:QA人员对上传的代码进行测试,如果发现问题,将代码打回给开发人员修改,然后重新进行测试。这个过程可能会反复进行,直到代码通过测试。
额外阶段分析
- 静态代码检查
- 技术痛点:在代码开发过程中,开发人员可能会犯一些低级错误,如语法错误、代码规范问题等。这些错误如果在代码上线后才被发现,修复成本会很高。
- 解决方案:通过自动化工具(如ESLint、SonarQube)对代码进行静态检查,在代码提交阶段就发现并阻止这些低级错误进入主分支。
- 构建与单元测试
- 技术痛点:代码编写完成后,需要将其编译成可执行包,并验证代码的逻辑正确性。手动编译和测试不仅效率低下,而且容易出错。
- 解决方案:使用构建工具(如Maven/Gradle)编译代码生成可执行包(如Java的.jar、前端的dist),并运行单元测试(Jest、JUnit)验证逻辑正确性。通过Jenkins应用调用这些工具,还可以生成测试覆盖率报告,帮助开发人员了解代码的测试情况。
- 自动化测试阶段
- 技术痛点:随着软件系统的复杂性不断增加,手动测试难以覆盖所有的测试场景,而且测试效率低下。
- 解决方案:执行集成测试、端到端测试(如Selenium、Cypress),验证多模块协作和用户场景。自动化测试可以快速、准确地发现代码中的问题,提高软件的质量和稳定性。
CI流程示意图
二 CD流程详解(发布与部署)
核心目标与意义
CD流程的核心目标是将已验证的代码快速、可靠地部署到目标环境(测试/生产)。通过自动化的部署流程,可以减少人工干预,提高部署的效率和准确性,确保软件能够及时上线。
关键环节分析
- 环境准备与部署
- K8S环境:可以使用Jenkins应用调用HELM模版进行发布。Kubernetes是一种容器编排平台,HELM是Kubernetes的包管理工具,通过它们可以实现自动化的容器部署和管理。
- 虚拟机环境:调用Ansible进行发布。Ansible是一种自动化运维工具,可以实现对虚拟机的自动化配置和部署。
- 发布策略控制
- 持续交付:将代码部署到预生产环境(如Staging),需要人工审批后再发布至生产环境。这种方式可以在上线前进行最后的验证,确保代码的稳定性。
- 持续部署:全自动化发布到生产环境,如蓝绿部署、金丝雀发布。蓝绿部署是指同时维护两个相同的生产环境,一个用于当前版本的运行,另一个用于新版本的测试,测试通过后切换到新版本;金丝雀发布是指先将新版本的代码部署到一小部分用户中进行测试,观察用户反馈后再逐步扩大范围。
CD流程技术痛点与解决方案
- 环境一致性问题
- 技术痛点:不同环境(开发、测试、生产)的配置可能存在差异,导致代码在不同环境中运行出现问题。
- 解决方案:使用容器化技术(如Docker)将应用程序及其依赖打包成一个独立的容器,确保在不同环境中运行的一致性。同时,结合Kubernetes等容器编排平台进行自动化部署。
- 发布风险控制问题
- 技术痛点:全自动化的持续部署可能会引入新的问题,对生产环境造成影响。
- 解决方案:采用灰度发布策略,如金丝雀发布,先将新版本的代码部署到一小部分用户中进行测试,观察用户反馈和系统性能,逐步扩大范围,降低发布风险。
CD流程示意图
三 DevOps系统(发布)
技术痛点
CI/CD流程涉及多个环节和工具,缺乏一个统一的管理界面会导致流程管理困难,信息不透明。开发、测试和运维团队之间的沟通和协作效率低下,容易出现信息断层和误解。此外,不同团队使用的工具和技术可能存在差异,需要一个统一的平台来整合和管理。
解决方案
我们可以开发一个DevOps系统来统一管理和展示CI/CD流程。
开发语言选择
- 如果是运维主动开发且后续由运维来维护,可以选择Python,因为Python具有简洁易读的语法,开发效率高,而且有丰富的库和框架可以使用。
- 如果有专门的研发支持团队,可以选择Java,毕竟Java是当下研发主流,具有强大的性能和稳定性。
- 运维主导场景:Python+Django/Flask(快速开发,运维友好)
- 研发团队支持场景:Java+Spring Boot(企业级扩展性)
- 前端统一:Vue3 + Element Plus(交互式管理界面
逻辑设计
功能模块设计
-
统一管理界面功能矩阵
模块 功能要点 服务看板 按部门/类型筛选服务卡片,展示最后部署状态 部署管理 分支冲突检测→构建日志实时流→人工审批→自动合并master(含回滚入口) 权限中心 RBAC模型,支持项目级/环境级(DEV/UAT/PROD)权限隔离
界面设计
界面需要展示服务的相关信息,包括服务描述、项目类型、归属部门等。每个服务还需要提供部署详情、修改、构建配置、权限配置等功能。这样可以方便各个团队成员查看和管理项目信息,提高协作效率。
DevOps系统界面示意图
| 服务 | 服务描述 | 项目类型 | 归属部门 |
|------|----------|----------|----------|
| 服务1 | 描述1 | 类型1 | 部门1 |
| 服务2 | 描述2 | 类型2 | 部门2 | 服务1 - 部署
| 子项目部署 | 部署历史 | 详情 | 修改 | 构建配置 | 权限配置 |
|------------|----------|------|------|----------|----------|
| ... | ... | ... | ... | ... | ... |
通过以上CI/CD和DevOps流程的实施,我们可以提高软件开发的效率和质量,减少人为错误,实现代码的快速迭代和部署。同时,结合GitHub/GCP/AWS等平台的最新技术动态,不断优化和改进我们的流程,以适应不断变化的市场需求。
相关文章:
CI/CD与DevOps流程流程简述(给小白运维提供思路)
一 CI/CD流程详解:代码集成、测试与发布部署 引言 在软件开发的世界里,CI/CD(持续集成/持续交付)就像是一套精密的流水线,确保代码从开发到上线的整个过程高效、稳定。我作为一名资深的软件工程师,接下来…...
python调用国税乐企直连接口开数电票之查询税收分类编码信息
背景 通过国税官方开放乐企平台接口, 实现了在EPR系统内直接开票. 无需通过任何第三方系统.逐步更新到CSDN专栏分享大家参考. 接口说明 定时获取可用税收分类编码,绑定ERP内部的编码, 使开票时能根据商品匹配到对应的税收分类编码…针对不同编码维护了 18 类增值…...
国标GB28181视频平台EasyGBS打造电力行业变电站高效智能视频监控解决方案
一、方案背景 在数字化浪潮席卷电力行业的当下,变电站作为电力输送与分配的核心枢纽,其运行的安全性与稳定性直接关乎社会生产生活的正常运转。然而,传统变电站监控模式设备存在兼容性差、数据处理滞后、管理效率低下等问题,无…...
快速上手 Docker:从入门到安装的简易指南(Mac、Windows、Ubuntu)
PS:笔者在五一刚回来一直搞Docker部署AI项目,发现从开发环境迁移到生成环境时,Docker非常好用。但真的有一定上手难度,推荐读者多自己尝试踩踩坑。 本篇幅有限,使用与修改另起篇幅。 一、Docker是什么 #1. Docker是什…...
Kubernetes(k8s)学习笔记(九)--搭建多租户系统
K8s 多租户管理 多租户是指在同一集群中隔离多个用户或团队,以避免他们之间的资源冲突和误操作。在K8s中,多租户管理的核心目标是在保证安全性的同时,提高资源利用率和运营效率。 在K8s中,该操作可以通过命名空间(Nam…...
后端项目进度汇报
项目概述 本项目致力于构建一个先进的智能任务自动化平台。其核心技术是一套由大型语言模型(LLM)驱动的后端系统。该系统能够模拟一个多角色协作的团队,通过一系列精心设计或动态生成的处理阶段,来高效完成各种复杂任务ÿ…...
掌握 Kubernetes 和 AKS:热门面试问题和专家解答
1. 在 AKS(Azure Kubernetes 服务)中,集群、节点、Pod 和容器之间的关系和顺序是什么? 在 AKS(Azure Kubernetes 服务)中,集群、节点、Pod 和容器之间的关系和顺序如下: 集群&#…...
C++面向对象设计类的核心知识详解总述(1)
C 中的类是面向对象编程(OOP)的核心,用于封装数据和操作这些数据的函数。 下面将系统讲解 C 中类的核心知识点(包含语法 概念 示例): 一、类的基本结构 class MyClass { public:// 构造函数MyClass();//…...
【大模型系列篇】Qwen3思考预算及思考模式切换实现原理探索
我们之前一期有介绍过阿里发布并开源的Qwen3大语言模型,无缝集成思考模式、多语言和MCP智能体:《Qwen3开源全新一代大语言模型来了,深入思考,更快行动》,感兴趣的小伙伴可以跳转阅读。 而在本次开源的 Qwen3 的更新中…...
PPT 制作难题迎刃而解,影刀 RPA 开启自动化创作时代
前言 影刀cto说过这么一句话:不迷信AI,也不忽视AI,我们要打造以AI驱动的RPA,AI对当前社会的影响真的不亚于一场战争的爆发 RPA(机器人流程自动化)作为一种已被广泛应用的技术,能基于预设规则自…...
Node.js面试题
一、什么是Node.js? Node.js 是一个开源的跨平台 JavaScript 运行时环境,允许开发者在服务器端运行 JavaScript 代码。它基于 Chrome 的 V8 JavaScript 引擎构建,能够高效地处理 I/O 操作,适合构建高性能的网络应用。 异步非阻塞&…...
C# NX二次开发:投影曲线和偏置曲线UFUN函数详解
大家好,今天要讲的是关于投影曲线和偏置曲线相关的函数。 (1)UF_CURVE_create_proj_curves1:这个函数的定义为创建投影曲线。 Defined in: uf_curve.h Overview Creates projection curves. Objects to project may be poi…...
从明文裸奔到密钥长城:HTTPS加密全链路攻防与CA信任锚点构建
前言:本文将从HTTP的隐患出发,深入剖析HTTPS如何通过加密算法、数字证书与信任链机制重塑网络通信的安全边界。我们将探讨协议的证书颁发机构(CA)的信任逻辑,以及HTTPS在性能与安全之间的平衡艺术。将帮助您更从容地应…...
C# WPF 颜色拾取器
x:Name=Color Picker 语言:C# WPF 下载:https://download.csdn.net/download/polloo2012/90780640 主界面 颜色库 关于我们 颜色拾取器是一种能够帮助用户获取颜色信息,并进行颜色选择、识别和调整的工具,以下将从其常见类型、使用场景及部分软件工具这几个维度展开介绍…...
MySQL关于锁的面试题
目录 1.了解过 MySQL 死锁问题吗? 2.什么是线程死锁?死锁相关面试题 2.1 什么是死锁: 2.2 形成死锁的四个必要条件是什么? 2.3 如何避免线程死锁? 3. MySQL 怎么排查死锁问题? 4.Java线上死锁问题如…...
亚远景-ASPICE vs ISO 21434:汽车软件开发标准的深度对比
ASPICE(Automotive SPICE)和ISO 21434是汽车软件开发领域的两大核心标准,分别聚焦于过程质量与网络安全。以下从核心目标、覆盖范围、实施重点、协同关系及行业价值五个维度进行深度对比分析: 一、核心目标对比 ASPICE࿱…...
第5讲、Transformer 编码器(Encoder)处理过程详解
🔍 Transformer 编码器(Encoder)处理过程详解 Transformer Encoder 是一个由 N 层(一般为 6 层)堆叠而成的模块结构。每一层的本质是两个核心子模块: 多头自注意力(Multi-Head Self-Attention…...
Flutter Drawer 详解
目录 一、引言 二、Drawer 的基本用法 三、主要属性 四、常见问题与解决方案 4.1 手势冲突处理 4.2 多级导航管理 4.3 响应式布局适配 五、最佳实践建议 5.1 性能优化 5.2 无障碍支持 5.3 跨平台适配 六、结论 相关推荐 一、引言 在移动应用开发中,侧边…...
游戏引擎学习第263天:添加调试帧滑块
运行游戏,开始今天的开发工作。 我们继续游戏代码基础上进行重构,目标是实现更多的性能分析界面功能,尤其是调试用的用户界面。 目前运行游戏并打开性能分析窗口后,发现界面功能上还有不少缺陷。现在的界面可以向下钻取查看具体…...
Hadoop客户端环境准备
hadoop集群我们配置好了,要与它进行交互,我们还需要准备hadoop的客户端。要分成两步:下载hadoop包、配置环境变量。 1. 找到资料包路径下的Windows依赖文件夹,拷贝hadoop-3.1.0到非中文路径(比如d:\hadoop-3.1.0&#…...
当“信任”遇上“安全”:如何用Curtain Logtrace记录文件操作活动 守护团队与数据的双重底线?
你是否也有过这样的担忧? 团队成员在处理敏感数据时是否遵守了公司规范? 某份被篡改或外泄的文档,到底发生了什么? 为了数据安全而频繁加密、限制下载,却反过来打击了员工的工作积极性…… 如何在不伤害团队信任的…...
如何进行室内VR全景拍摄?
如何进行室内VR全景拍摄? 室内VR全景拍摄作为先进的视觉技术,能够为用户提供沉浸式的空间体验。本文介绍如何进行室内VR全景拍摄,并阐述众趣科技在这一领域的技术支持和服务优势。 室内VR全景拍摄基础 1. 室内VR全景拍摄概述 室内VR全景拍…...
一文走进GpuGeek | conda常用命令
conda 常用命令 查看conda版本 conda --version 查看conda信息 conda info 更新conda自身到最新版本,同时也会更新其它包 conda update conda conda更新指定包,这里更新通过conda安装的zlib包 conda update zlib 列出所有虚拟环境 conda env li…...
Consumer Group的作用是什么?Rebalance的触发条件有哪些? (实现消费者负载均衡;消费者加入/离开、订阅Topic变化等)
好的,我现在需要回答用户关于Kafka Consumer Group和Rebalance的问题。首先,用户问的是Consumer Group的作用以及Rebalance的触发条件。根据之前的对话历史,用户已经了解了Kafka的基本组件、消息保留策略、顺序性保证等,现在的问题…...
【计算机视觉】OpenCV实战项目:Long-Exposure:基于深度学习的长时间曝光合成技术
Long-Exposure:基于深度学习的长时间曝光合成技术 项目概述与技术背景项目核心功能技术原理 环境配置与安装硬件要求建议详细安装步骤可选组件安装 实战应用指南1. 基础使用:视频转长曝光2. 高级模式:自定义光轨合成3. 批量处理模式 技术实现…...
CentOS 7 安装OpenJDK 17 JRE
CentOS 7 自带的java 版本为:java version "1.8.0_311", 有些软件的运行需要更高的java版本。CentOS 7 自带的默认仓库里 没有 OpenJDK 17,但是 Adoptium 项目(前身 AdoptOpenJDK)提供了稳定的 OpenJDK 17 版…...
C++从入门到实战(十三)C++函数模板与类模板初阶讲解
C从入门到实战(十三)C函数模板与类模板初阶讲解 前言一、为什么需要模板1. 函数重载的问题2. 泛型编程和模板的作用 二、函数模板2.1 函数模板格式2.2 函数模板的原理2.3 函数模板的实例化(1)隐式实例化:(2…...
CentOS服务器中如何解决内存泄漏问题?
内存泄漏并不是“爆炸性内存飙升”,而是程序申请了内存但没有释放,造成系统可用内存逐渐减少,直到用光。 表现形式: 系统空闲内存越来越少;swap频繁被占用;某些服务响应变慢甚至挂掉;重启服务后内存才释放。 内存泄漏的根源在哪…...
【Java项目脚手架系列】第三篇:Spring MVC基础项目脚手架
【Java项目脚手架系列】第三篇:Spring MVC基础项目脚手架 前言 在前面的文章中,我们介绍了Maven基础项目脚手架和JavaWeb基础项目脚手架。今天,我们将介绍Spring MVC项目脚手架,这是一个用于快速搭建Web应用的框架。 什么是Spr…...
chili3d调试笔记12 deepwiki viewport svg雪碧图 camera three.ts
xiangechen/chili3d | DeepWiki viewport阅读 🧠deep 我要把模型投影成dxf导出有什么办法 引用lookat 截图是如何实现的 明天接着搞 ---------------------------------------------------------------- 截图没什么用 搞个工程图模块可能才行 一个文件一行 忘…...
tinyrenderer笔记(Shader)
tinyrenderer个人代码仓库:tinyrenderer个人练习代码 前言 现在我们将所有的渲染代码都放在了 main.cpp 中,然而在 OpenGL 渲染管线中,渲染的核心逻辑是位于 shader 中的,下面是 OpenGL 的渲染管线: 蓝色是我们可以自…...
【奔跑吧!Linux 内核(第二版)】第1章:Linux 系统基础知识
笨叔 陈悦. 奔跑吧 Linux 内核(第2版) [M]. 北京: 人民邮电出版社, 2020. 文章目录 Linux 系统的发展历史Linux 发行版Red Hat LinuxDebian LinuxSuSE Linux优麒麟 Linux Linux 内核介绍宏内核和微内核Linux 内核概貌 Linux 系统的发展历史 Linux 系统诞…...
Spring + Shiro 整合的核心要点及详细实现说明
在 Spring 项目中集成 Apache Shiro 可以实现轻量级的安全控制(认证、授权、会话管理等)。以下是 Spring Shiro 整合的核心要点及详细实现说明: 一、Spring 与 Shiro 整合的核心组件 组件作用ShiroFilterFactoryBean创建 Shiro 过…...
已经写好论文的AI率降低
视频演示 https://www.bilibili.com/video/BV1v4VpzgEdc 提示词 你是我专门请来的“降维写作助手”,专门干一件事:把 AI 写得太“像 AI”的文字改得更像人写的。我们主要是处理论文、创作类内容,目标就是:不让检测工具一眼识破…...
AI教你学VUE——Deepseek版
一、基础阶段:打好Web开发基础 HTML/CSS基础 学习HTML标签语义化、CSS布局(Flex/Grid)、响应式设计(媒体查询、REM/VW单位)。资源推荐: MDN Web文档(免费):HTML | CSS实战…...
卷积神经网络基础(五)
6.3 Softmax-with-Loss 层 我们最后介绍输出层的softmax函数,之前我们知道softmax函数会将输入值正规化之后再输出。在手写数字识别的例子中,softmax层的输出如下: 输入图像通过Affi ne层和ReLU层进行转换,10个输入通过Softmax层…...
Go语言——string、数组、切片以及map
一、string、数组、切片代码 package mainimport "fmt"// 定义结构体 type student struct {id intname stringage intscore float32 }func main() {// 使用var声明切片var slice1 []intslice1 append(slice1, 1)slice1 append(slice1, 2)slice1 append(sl…...
线性回归有截距
In [ ]: ∑ i 1 m ( y i − x i T w ) 2 \sum _{i1}^{m}(y_{i}-x_{i}^{T}w)^{2} i1∑m(yi−xiTw)2 w ^ ( X T X ) − 1 X T y \hat {w}(X^{T}X)^{-1}X^{T}y w^(XTX)−1XTy In [ ]: 1 #如果有截距,求解时,需要梯度下降法求解w 和b …...
【基础】Python包管理工具uv使用全教程
一、uv简介 uv 是由 Astral(前身为 Basis)团队开发的 Python 包安装器和解析器,完全使用 Rust 语言编写。与传统 Python 工具不同,uv 将多个工具的功能整合到一个高性能的解决方案中,旨在提供更现代、更高效的 Python…...
事务(transaction)-上
事务概述 食物是一个最小的工作单元。在数据库当中,事务表示一件完整的事儿。一个业务的完成可能需要多条DML语句共同配合才能完成,例如转账业务,需要执行两条DML语句,先更新张三账户的余额,再更新李四账户的余额&…...
Python训练打卡Day17
无监督算法中的聚类 知识点 聚类的指标聚类常见算法:kmeans聚类、dbscan聚类、层次聚类三种算法对应的流程 实际在论文中聚类的策略不一定是针对所有特征,可以针对其中几个可以解释的特征进行聚类,得到聚类后的类别,这样后续进行解…...
【爬虫】码上爬第6题-倚天剑
堆栈入手: 全部复制的话,注意修改一些必要在地方: 通过s函数来获取请求头的加密参数 通过xxxxoooo来获取解密后的数据 js代码关键点: python代码我推荐使用这个网站: Convert curl commands to code 根据生成的代码…...
自定义SpringBoot Starter-笔记
SpringBoot Starter的介绍参考: Spring Boot Starter简介-笔记-CSDN博客。这里介绍如何自定义一个springBoot Starter。 1. 项目结构 创建一个 Maven 项目,结构如下: custom-spring-boot-starter-demo/ ├── custom-hello-jdk/ # jdk模…...
一周学会Pandas2 Python数据处理与分析-Pandas2数据类型转换操作
锋哥原创的Pandas2 Python数据处理与分析 视频教程: 2025版 Pandas2 Python数据处理与分析 视频教程(无废话版) 玩命更新中~_哔哩哔哩_bilibili Pandas 提供了灵活的方法来处理数据类型转换,以下是常见操作及代码示例: 1. 查看数据类型 …...
Java中常见的问题
1. SSO中的Cookie/Token生成与安全传递 生成Cookie/Token: Cookie:服务器通过Set-Cookie响应头生成,包含用户ID、过期时间等,需设置HttpOnly和Secure属性防止XSS和中间人攻击。Token(如JWT):使…...
【JEECG】BasicTable内嵌Table表格错位
功能说明: 解决代码生成后,本地内嵌Table表格样式错位。 优化前: 优化后: 解决方法: 对应的List.vue页面增加css样式调整。 <style lang"less" scoped>//内嵌表格margin边距覆盖:deep(.ant-table-…...
人工智能 计算智能模糊逻辑讲解
引言 在计算智能(Computational Intelligence)领域,模糊逻辑(Fuzzy Logic)作为一种处理不确定性与模糊性信息的数学工具,自 1965 年由洛夫特扎德(Lotfi Zadeh)提出以来,…...
基于SSM实现的健身房系统功能实现一
一、前言介绍: 1.1 项目摘要 随着社会的快速发展和人们健康意识的不断提升,健身行业也在迅速扩展。越来越多的人加入到健身行列,健身房的数量也在不断增加。这种趋势使得健身房的管理变得越来越复杂,传统的手工或部分自动化的管…...
spring详解-循环依赖的解决
Spring循环依赖 重点提示: 本文都快写完了,发现“丈夫” 的英文是husband… 在“②有AOP循环依赖” 改过来了,前面用到的位置太多了就没改。我是说怎么idea的hansband英文下面怎么有波浪线。各位能够理解意思就行,英文拼写不要过…...
【大模型面试每日一题】Day 10:混合精度训练如何加速大模型训练?可能出现什么问题?如何解决?
【大模型面试每日一题】Day 10:混合精度训练如何加速大模型训练?可能出现什么问题?如何解决? 📌 题目重现 🌟🌟 面试官:混合精度训练如何加速大模型训练?可能出现什么问…...