当前位置： 首页 > news >正文

论广告系统对存算分离架构的应用

news 来源：原创 2025/8/18 16:22:50

辅助论点

辅助论点一：存算分离架构起源于数据库领域，并不是在线系统。

  1. 存算分离的架构源于Google的Spanner数据库，这个数据库采用了KV做存储层，OLAP做计算层的分离式设计，其目的是能快速伸缩计算资源，且节省数据被动配合计算进行伸缩所带来的存储资源浪费。在这个设计中，没有特别考虑计算时延，更多的是为了突破“水平扩展瓶颈”。
  2. 相关论文在论证存算分离架构合理性时做了一个很关键的假设，那就是网络性能的发展速度没有受到摩尔定律的约束，因此预判未来带宽成本会越来越低。

辅助论点二：在线系统考虑应用存算分离架构，主要目的是借助存算分离实现快速启动、快速迁移，节省存储资源。
在线系统中确实也存在对存算分离架构的需求，主要源于两点。

  1. 从稳定性和运维效率角度出发，希望服务可以快速启动、快速迁移，这要求也恰好也是微服务架构的标准之一。
  2. 希望节省数据被动配合计算进行伸缩所带来的存储资源浪费，这一点上和数据库领域的诉求是一致的。

辅助论点三：广告系统当下并不是微服务架构，未来也不会全面应用微服务架构。

  1. 当前广告系统的的模块划分粒度较粗，模块内部各个功能组件合并部署，在严格意义并不是微服务架构。
  2. 微服务架构的优势在于运维效率高，缺点在于性能差。广告系统对性能有比较高的要求，因此只能有限的应用微服务架构。

中心论点

中心论点一：广告系统应用存算分离，需要结合稳定性需求、存储资源开销、时延需求三者综合决定，不同的场景可能有不同决策结果。
说“存算分离是好的”，就像说“200年后我们都会死”一样，是绝对正确的论断。但绝对正确的论断是无用的。这种论断在指导实际应用前，仍然需要思考并回答清楚几个问题：

  1. 水平扩展是否已经成为当前系统的核心瓶颈？
  2. 存储成本是否已经不可接受了？
  • 如果是一个10GB的数据，是否需要分离？100GB呢？1TB呢？
    2. 稳定性风险是否已经不可接受了？
  • 如果某一个实例需要故障迁移，迁移的时间的最低要求是多少，是2min还是10min？
  • 在不分离的场景下，我们已经能做到什么程度了，还有没有优化空间？
  1. 是否认为带宽成本足够低？
  • 带宽增加成本是否低于分离后节省的存储开销？
  1. 时延增长是否可以接受？
    有些业务对时延十分敏感，时延增长能否接受？

中心论点二：在存算分离这个话题下，架构的主要工作是提供灵活性、便捷性。
架构应该通过自身的建设，实现一个这样的完美系统：

  1. 在数据量较小、水平扩容简单、稳定性风险可控、时延敏感的场景，提供数据本地部署方式；
  2. 在数据量大、水平扩容困难、稳定性风险过大、时延不敏感的场景，提供数据远程部署方式；
  3. 支持在这两种部署模式下任意平滑切换的能力。

相关文章：

论广告系统对存算分离架构的应用

辅助论点 辅助论点一：存算分离架构起源于数据库领域，并不是在线系统。 存算分离的架构源于Google的Spanner数据库，这个数据库采用了KV做存储层，OLAP做计算层的分离式设计，其目的是能快速伸缩计算资源，且节…...

编程日记 2025/8/18 16:22:50

create-vue搭建Vue3项目（Vue3学习2）

一、认识create-vue image.png 二、create-vue搭建Vue3项目 image.png image.png 依次执行npm install 和npm run dev即可运行项目 image.png image.png © 著作权归作者所有,转载或内容合作请联系作者 喜欢的朋友记得点赞、收藏、关注哦！！&#xff…...

编程日记 2025/8/17 8:27:34

NHDEEP档案管理系统功能介绍

NHDEEP档案管理系统单机版专注于提高档案管理效率，无需网络连接即可独立运作，确保数据的安全与私密性。无论是机关单位的常规档案工作，还是工程、基建项目的特殊档案管理需求，系统都能提供全面的解决方案。系统支持信创环境。 核心…...

编程日记 2025/8/18 5:41:06

【C++】C++中的命名/名字/名称空间 namespace

C中的命名/名字/名称空间 namespace 1、问题引入2、概念3、作用4、格式5、使用命名空间中的成员5.1 using编译指令（ 引进整个命名空间） ---将这个盒子全部打开5.2 using声明使特定的标识符可用(引进命名空间的某个成员) ---将这个盒子中某个成员的位置打…...

编程日记 2025/8/17 8:29:43

游戏引擎学习第260天:在性能分析器中实现钻取功能

昨天那个帧内存满之后触发段错误实在没找到什么原因导致的 继续研究一下为什么导致的 内存不够进来释放frame 释放frame 应该会给DebugState->FirstFreeStoredEvent 赋值吧 这段宏定义： #define FREELIST_DEALLOCATE(Pointer, FreeListPointer) \if(Pointer) {…...

编程日记 2025/8/18 16:22:34

人工智能100问☞第15问：人工智能的常见分类方式有哪些？

目录 一、通俗解释 二、专业解析 三、权威参考 人工智能的常见分类方式包括：​​按智能水平​​（弱人工智能、通用人工智能、超级人工智能）、​​按技术原理​​（生成式AI、判别式AI、强化学习）、​​按功能目标​​（生成内容、优化决策）、​​按应用领域​​（自然语…...

编程日记 2025/8/17 10:15:05

JavaSE核心知识点01基础语法01-04（数组）

🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉 📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息 文章目录 JavaSE核心知识点01基础语法01-04&#xff0…...

编程日记 2025/8/17 10:16:11

抖音代播领航者——品融电商（PINKROON）的运营实力与服务解析

抖音代播领航者——品融电商（PINKROON）的运营实力与服务解析 在兴趣电商高速发展的背景下，杭州品融品牌管理有限公司（PINKROON）凭借其全域增长方法论与抖音生态的深度布局，成为众多品牌首选的抖音代播服务商…...

编程日记 2025/8/16 17:33:20

LeetCode 790 多米诺和托米诺平铺 题解

对于本题不去看LeetCode的评论区和题解很难想到如何去dp，毕竟就算再怎么枚举也很难找到适用于面向结果的规律。所以对于题解我建议大家还是去看一下灵神给的题解，以下是灵神汇总的图，如果能看懂的话，对于解决题目有很大的帮助。 根…...

编程日记 2025/8/18 16:22:33

力扣-hot100 (缺失的第一个正数)

41. 缺失的第一个正数 困难 给你一个未排序的整数数组 nums ，请你找出其中没有出现的最小的正整数。 请你实现时间复杂度为 O(n) 并且只使用常数级别额外空间的解决方案。 示例 1： 输入：nums [1,2,0] 输出：3 解释&#xff…...

编程日记 2025/8/17 9:19:30

Electrolink信息泄露(CVE-2025-28228)

免责声明 本文档所述漏洞详情及复现方法仅限用于合法授权的安全研究和学术教育用途。任何个人或组织不得利用本文内容从事未经许可的渗透测试、网络攻击或其他违法行为。使用者应确保其行为符合相关法律法规，并取得目标系统的明确授权。 对于因不当使用本文信息而造成的任何直…...

编程日记 2025/8/18 16:20:41

Leetcode Hot 100 三数之和

思路 对数组先排序，然后使用双指针法进行，并且整个过程需要把握去重的逻辑 代码 class Solution:def threeSum(self, nums: List[int]) -> List[List[int]]:if not nums:return []nums.sort() #去重都需要排序res[]for i in range(len(nums)):if i…...

编程日记 2025/8/17 9:39:50

5月6日日记

一点心得是 看通知要仔细认真，自己想问的问题要先看看通知或者文件中说了没有，如果没说再去问相关负责人。 上课的教室一定要看好，看准了再去。别像今天一样先去了科技楼又去了工学馆。 线代开课了。感觉总体还行，并不是很难。…...

编程日记 2025/8/18 6:58:42

巧记英语四级单词 Unit7-中【晓艳老师版】

collapse v.倒塌，坍塌 都(col)来扑(lap)噻immune a.不受影响的，免疫的 我im 木讷mune，人应该木讷一点yard n.院子 鸭的，在哪养；backyard 后院backward a.往后的 ward表示方向 profile n.外形，轮廓 从前面看…...

编程日记 2025/8/17 10:04:16

Windows系统修改Docker Desktop(WSL2)内存分配

# Windows查看docker信息 docker info 新增wsl全局配置文件(.wslconfig文件)：windows路径栏输入：%UserProfile%，找到目录C:\Users\Administrator，默认是没有这个配置文件的，可以自己新增 # 设置在wsl2上运行 [wsl2] # …...

编程日记 2025/8/18 16:22:32

Oracle02-安装

零、文章目录 Oracle02-安装 1、Windows Server2022安装Oracle11g （1）下载 百度网盘地址： https://pan.baidu.com/s/15MBkMt1ldbSFm4L74h7Myg?pwd8888下载完成两个压缩包解压放在一起 （2）安装 双击 setup 文件安…...

编程日记 2025/8/17 13:24:30

Linux[Makefile]

Makefile基础结构 规则语法 target: prerequisitescommandtarget：生成的目标（如可执行文件、.o文件） prerequisites：依赖项（源码、头文件等） command：构建命令（必须用Tab缩进&am…...

编程日记 2025/8/17 8:28:32

相同的数（简单）

深度优先搜索 如果两个二叉树都为空，则两个二叉树相同。如果两个二叉树中有且只有一个为空，则两个二叉树一定不相同。 如果两个二叉树都不为空，那么首先判断它们的根节点的值是否相同，若不相同则两个二叉树一定不同，…...

编程日记 2025/8/18 16:22:31

「Mac畅玩AIGC与多模态22」开发篇18 - 多段输出拼接与格式化展现工作流示例

一、概述 本篇以已有多字段输出为基础，介绍如何通过执行 LLM 节点对多个上游字段进行统一拼接与格式化处理。开发人员将学习如何从多个节点输出中提取数据字段，并组合为结构清晰、风格统一的最终输出，提升用户阅读体验。 二、环境准备 mac…...

编程日记 2025/8/17 10:40:51

餐饮部绩效考核管理制度与综合评估方法

在竞争激烈的餐饮行业中，标准化与数据驱动的管理手段正成为提升服务质量与运营效率的关键。绩效考核不仅关乎员工奖惩，更直接影响顾客体验、成本控制与营收水平。构建一套科学有效的绩效体系，是餐饮部精细化运营的起点。 本文围绕餐饮部绩效…...

编程日记 2025/8/18 15:00:47

conda虚拟环境相关操作

查看当前存在哪些虚拟环境 conda env list conda info --env创建虚拟环境conda create -n env_name pythonX.X删除虚拟环境conda remove -n env_name --all查看安装了哪些包conda list下载/删除环境中的某个包conda install package_nameconda uninstall package_name删除所有未…...

编程日记 2025/8/18 7:37:30

达梦DM数据库安装步骤

文章目录 1、下载并解压缩2、安装DM数据库2.1 运行安装程序2.2 选择语言与时区2.3 安装向导2.4 许可证协议2.5 Key文件2.6 选择组件2.7 安装位置2.8 安装前小结2.9 安装过程2.10 已完成2.11 初始化 3、配置实例3.1选择操作方式3.2创建数据库模版3.3指定数据库目录3.4数据库标识…...

编程日记 2025/8/17 9:38:04

vue3在使用@import “./index.scss“报错

Deprecation Warning: Sass import rules are deprecated and will be removed in Dart Sass 3.0.0. More info and automated migrator: https://sass-lang.com/d/import 2 │ import "./index.scss"; 在 Sass 3.0.0.之后 导入样式使用 “use” ，不在使…...

编程日记 2025/8/17 10:19:35

对标研华ECU-461，搭载飞腾4核/8核国产处理器, 提供8网 8串B码对时 双显 无风扇的ARM通信管理平台

ƒ 飞腾 FT-2000/4 和 D2000/8 主控制器，主频 2.3~2.6GHz ƒ 8 个千兆网口 , 8 个全功能隔离串口 ƒ HDMIVGA 双显示接口 ƒ 3 个 USB2.0, 2 个 USB3.0 ƒ 支持 2 组 SATA 硬盘存储 ƒ 支持 CAN 通讯 ( 替换 4 路或 8 路 COM) ƒ 整机无风扇散热设计 …...

编程日记 2025/8/18 16:20:40

如何将C#程序打包成软件绿色包

文章目录 前言步骤如下：总结 前言 在实际工作中，很多时候会开发一些特别小的工具，当这些工具需要发给别人用时，不值当的打个安装包，最适合做一个绿色包，别人拿到后，直接双击exe就可以用。 步骤…...

编程日记 2025/8/17 9:24:51

实验三 数据查询

一、【实验教学 1、掌握单表查询。 2、掌握多表查询。 二、【实验教学的基本要求】 1、掌握SQL程序设计基本规范； 2、熟练运用SQL实现数据基本查询，包括单表查询、分组统计查询和连接查询； 3、理解和掌握SQL查询语句中各个子句的特点和…...

编程日记 2025/8/17 9:41:45

关于串口读写NAND闪存的用法

在嵌入式系统中，nand 命令通常用于操作和管理 NAND 闪存子系统，特别是在引导加载程序（如 U-Boot）中。NAND 闪存是一种非易失性存储设备，广泛用于嵌入式设备中，用于存储操作系统、应用程序、配置文件等数据。…...

编程日记 2025/8/17 8:31:23

C++：实现线程池

线程池（Thread Pool）是一种多线程处理方式，用于管理和复用多个线程，以提高程序的并发性能并避免频繁创建和销毁线程所带来的开销。 基本概念： 线程池维护着若干个已创建好的线程，当有任务需要执行时&…...

编程日记 2025/8/18 14:09:09

本地运行qwen3:30b-a3b速度测试

仍然使用的是ollama，运行的Q4_K_M量化版。 这个模型在相同硬件环境下对比我电脑上其他32b的模型速度（小于3 tokens/s）提升非常明显，并且可以设置是否打开思考模式。 注意： /no_think前有个空格 非思考模式&#xff1…...

编程日记 2025/8/18 16:20:40

keil+vscode+腾讯ai助手

嵌入式软件开发 这个是之前一直想写的开发方式，不过上份工作一直在忙，没有抽出时间花在上面，现在空下来好好写一写吧！标题软件安装 关于VSCode以及Keil的安装可以在以下链接中点击浏览 VSCode安装 Keil5安装 CubeMx安装 插件下…...

编程日记 2025/8/17 10:34:45

通过TinyML为语音助手赋能，推动以用户为中心的创新和现实世界应用

英文标题：Empowering voice assistants with TinyML for user-centric innovations and real-world applications 中文标题：通过TinyML为语音助手赋能，推动以用户为中心的创新和现实世界应用 作者信息 Sireesha Chittepu1, Sheshikala Mart…...

编程日记 2025/8/18 16:20:38

学习Python网络爬虫的实例

30岁程序员学习Python的第二天之网络爬虫的练习实例 爬取软科2025年中国大学排名 思路： 1、百度查到到网页地址：https://www.shanghairanking.cn/rankings/bcur/2025 2、编写爬取代码，具体步骤分3步，第一步通过requests库爬取网…...

编程日记 2025/8/17 8:29:20

雨云游戏云MCSM面板服使用教程我的世界Forge服务端开服教程

雨云 - 新一代云服务提供商 雨云面板服目前支持一键开服的游戏有：Minecraft Java版、Minecraft 基岩版、泰拉瑞亚、饥荒，还提供纯Java/Linux环境（Docker），方便开自己开其他游戏服。 其中Minecraft Java版支持一键开…...

编程日记 2025/8/17 10:04:44

关于loadstartcode使用

loadstartcode 命令用于从 TFTP 服务器下载一个名为 startcode 的文件。这个命令通常用于将启动代码（如引导加载程序或内核启动映像）从 TFTP 服务器加载到设备内存中。它是嵌入式设备和网络设备（如路由器）常见的命令，通…...

编程日记 2025/8/17 10:24:25

Linux死锁实验分析与总结

三、实验结果截图及分析 1. 实验代码 #include <pthread.h> #include <stdio.h> #include <unistd.h>pthread_mutex_t mutex1 PTHREAD_MUTEX_INITIALIZER; pthread_mutex_t mutex2 PTHREAD_MUTEX_INITIALIZER;void* producer(void* arg) {while (1) {pth…...

编程日记 2025/8/17 8:27:22

【计网】ipconfig、ping、arp、tracert

目录 ipconfig ping arp tracert cmd ipconfig ipcofig -all IPv4 物理地址 ping 检测网络连通情况&#xff0c;分析网络速度 根据域名得到服务器IP 根据TTL判断对方所使用的操作系统以及数据包经过路由器数量 byte数据包大小 time响应时间 TTLDNS记录在DNS服务器上存在…...

编程日记 2025/8/17 8:27:43

当手机开始预判你的下一步：一场正在颠覆生活的AI静默革命

当手机开始预判你的下一步&#xff1a;一场正在颠覆生活的AI静默革命 深夜加班时&#xff0c;手机自动调暗屏幕亮度&#xff1b;出差途中&#xff0c;智能音箱提前预定好常去的酒店&#xff1b;打开购物APP&#xff0c;推荐清单里躺着昨天刚在聊天中提到的商品——这些场景背后…...

编程日记 2025/8/17 8:28:59

【SDRS】面向多模态情感分析的情感感知解纠缠表征转移

abstract 多模态情感分析（MSA）旨在利用多模态的互补信息对用户生成的视频进行情感理解。现有的方法主要集中在设计复杂的特征融合策略来整合单独提取的多模态表示，忽略了与情感无关的信息的干扰。在本文中，我们提出将单模表征分解为情感特定特征和情感独立特征，并将前者融…...

编程日记 2025/8/18 10:16:32

C++ 中的静态链接和动态链接详解

目录 一、什么是链接&#xff1f; 链接分为两类&#xff1a; 二、静态链接&#xff08;Static Linking&#xff09; 特点&#xff1a; 优点&#xff1a; 缺点&#xff1a; 使用方式&#xff1a; 三、动态链接&#xff08;Dynamic Linking&#xff09; 特点&#xff1a; 优…...

编程日记 2025/8/17 8:27:36

426、N叉树的层序遍历

输入检查&#xff1a; if not root:return [] 如果根节点为空&#xff0c;直接返回空列表 初始化&#xff1a; result [] queue collections.deque([root]) result用于存储最终结果queue初始化包含根节点&#xff0c;使用双端队列实现 主循环&#xff1a; while queue:leve…...

编程日记 2025/8/18 14:21:49

雅思阅读--重点短语/句式39个

文章目录 1. according to2. regardless of3. make/keep/leave + n. + adj.leave us stronger1. according to “according to（根据）”。 德国著名数学家 David Hilbert（大卫希尔伯特）说过： Mathematics is a game played according to certain simple rules with meanin…...

编程日记 2025/8/17 9:51:11

探索开源大模型体系：当今AI的引领者

目录 1. Hugging Face Transformers 2. OpenAI GPT 3. DeepSpeed 4. Megatron-LM 5. AllenNLP 总结 在当今人工智能的迅猛发展中&#xff0c;大模型&#xff08;Large Model&#xff09;已经成为了AI领域的核心。与传统的机器学习模型相比&#xff0c;大模型在自然语言处…...

编程日记 2025/8/17 8:37:14

n8n系列（1）初识n8n：工作流自动化平台概述

1. 引言 随着各类自动化工具的涌现，n8n作为一款开源的工作流自动化平台，凭借其灵活性、可扩展性和强大的集成能力，正在获得越来越多技术团队的青睐。 本文作为n8n系列的开篇，将带您全面了解这个强大的自动化平台，探索其起源、特性以及与其他工具的差异，帮助您判断n8n是否…...

编程日记 2025/8/18 13:27:07

n8n 与智能体构建：开发自动化 AI 作业的基础平台

n8n 是一款开源的自动化流程构建平台&#xff0c;通过其模块化节点系统&#xff0c;开发者可以快速实现跨平台的任务编排、数据集成与智能交互。当 n8n 与大型语言模型&#xff08;LLM&#xff09;结合时&#xff0c;就能构建出具备感知、推理、执行能力的 AI 智能体&#xff0…...

编程日记 2025/8/17 2:09:02

大模型主干

1.什么是语言模型骨架LLM-Backbone,在多模态模型中的作用&#xff1f; 语言模型骨架&#xff08;LLM Backbone&#xff09;是多模态模型中的核心组件之一。它利用预训练的语言模型&#xff08;如Flan-T5、ChatGLM、UL2等&#xff09;来处理各种模态的特征&#xff0c;进行语义…...

编程日记 2025/8/17 8:29:47

大模型在宫颈癌诊疗全流程预测与应用研究报告

目录 一、引言 1.1 研究背景与意义 1.2 研究目的与创新点 二、大模型预测宫颈癌术前风险 2.1 术前数据收集与预处理 2.2 预测模型构建与算法选择 2.3 术前风险预测指标与案例分析 三、大模型辅助制定术中方案 3.1 术中风险动态监测与预测 3.2 基于预测的手术方案优化…...

编程日记 2025/8/17 9:15:03

Diffusion Transformer（DiT）

扩散模型的核心思想&#xff1a;Diffusion Models是一种受到非平衡热力学启发的生成模型&#xff0c;其核心思想是通过模拟扩散过程来逐步添加噪声到数据中&#xff0c;并随后学习反转这个过程以从噪声中构建出所需的数据样本。 DiT的架构&#xff1a;DiT架构基于Latent Diffu…...

编程日记 2025/8/17 8:37:28

多模态理论知识

说一下多模态的定义? 多模态是指使用多种不同类型的媒体和数据输入&#xff0c;例如文本、图像、音频、视频等&#xff0c;它们之间存在关联或者对应关系。 这些不同类型的媒体和数据输入可以在不同的层面上传达信息并表达意义。多模态数据的处理需要融合不同类型的信息&…...

编程日记 2025/8/17 9:23:23

Nginx 安全防护与HTTPS部署

目录 一、核心安全配置 1、隐藏版本号 2、限制危险请求方法 3、请求限制&#xff08;CC攻击防御&#xff09; &#xff08;1&#xff09;使用Nginx的limit_req模块限制请求速率 &#xff08;2&#xff09;压力测试验证 4、防盗链 &#xff08;1&#xff09;修改 Window…...

编程日记 2025/8/17 9:08:02

Python爬虫+代理IP+Header伪装：高效采集亚马逊数据

1. 引言 在当今大数据时代&#xff0c;电商平台&#xff08;如亚马逊&#xff09;的数据采集对于市场分析、竞品监控和价格追踪至关重要。然而&#xff0c;亚马逊具有严格的反爬虫机制&#xff0c;包括IP封禁、Header检测、验证码挑战等。 为了高效且稳定地采集亚马逊数据&am…...

编程日记 2025/8/17 10:36:44