当前位置： 首页 > news >正文

《系统架构设计师教程（第2版）》第19章-大数据架构设计理论与实践-01-传统数据处理系统存在的问题

news 来源：原创 2025/8/22 9:01:29

文章目录

  • 1. 异步处理队列
  • 2. 数据库分区
  • 3 读写分离
  • 4. 基于Hadoop的 Map/Reduce 管道

1. 异步处理队列

在这里插入图片描述

  • 出现的原因：用户访问量增加，数据库无法支撑用户请求的负载，导致数据库服务器无法及时响应用户请求
  • 解决：在Web服务器和数据库中间加入一层异步处理的队列，缓解数据库的读写压力

    当Web服务器收到页面请求时，会将消息添加到队列中。在数据库端，创建一个工作处理层定期从队列中取出消息进行处理，例如每次读取100条消息。

  • 存在问题：未根本解决数据库过载问题

2. 数据库分区

  • 出现原因：
    • 工作层跟不上业务请求时，增加工作层并发执行
    • 工作层增加到一定数量，数据库又将成为瓶颈
  • 解决：对数据库进行分区 (Horizontal Partitioning)
  • 存在的问题：读写复杂，大量分区导致读写错误

3 读写分离

  • 出现原因：提高数据库性能、安全性，增加可用性
  • 解决：主从复制，读从库、写主库

4. 基于Hadoop的 Map/Reduce 管道

  • 出现原因：应用程序需要了解数据的存储位置、数据库的存储格式、数据组织结构 (schema) 等信息
  • 实现：
    在这里插入图片描述
  • 仍存在的问题：其本质是一种批处理方式，当新的数据进入而旧数据的处理尚未完成时，可能会导致数据过时或延迟

在这里插入图片描述

相关文章：

《系统架构设计师教程（第2版）》第19章-大数据架构设计理论与实践-01-传统数据处理系统存在的问题

文章目录 1. 异步处理队列2. 数据库分区3 读写分离4. 基于Hadoop的 Map/Reduce 管道 1. 异步处理队列 出现的原因：用户访问量增加，数据库无法支撑用户请求的负载，导致数据库服务器无法及时响应用户请求解决：在Web服务器和数据库中…...

编程日记 2025/8/22 9:01:29

Vue接口平台学习五——测试环境页面

一、实现效果图及界面布局简单梳理 这块内容分左侧，中间，右侧三大部分 左侧： 上面一行固定内容，显示icon，名字，一个按钮。下面部分通过v-for循环读取数据库获取的测试环境列表用来展示名称。 中间&#…...

编程日记 2025/8/22 9:01:27

FFMpeg视频编码实战和音频编码实战

视频编码流程 avcodec_find_encoder：首先，通过指定的编码器名称（如H.264、MPEG-4等）找到对应的编码器。avcodec_alloc_context3：为找到的编码器分配一个上下文结构，这个结构包含了编码器所需的各种参数和状…...

编程日记 2025/8/21 18:14:27

vue+uniapp 获取上一页直接传递的参数

在小程序里页面之间跳转有时候需要传递参数给下个页面用 const toDetail item > { uni.navigateTo({ url: /pagesFood/stu/FoodSelection?groupCode1&merchCode2, }); }; 那么下个页面就要获取到这些参数，在实际开发中&#xff…...

编程日记 2025/8/22 2:02:32

各种排序思路及实现

目录 1.排序概念常见的排序算法 2.常见排序算法实现（1）插入排序直接插入排序希尔排序（缩小增量排序） （2）选择排序直接选择排序堆排序 （3）交换排序冒泡排序快速排序（hoare…...

编程日记 2025/8/21 15:51:14

GPT文生图模型新玩法

GPT-4o发布了最新的生图模型GPT-4o-Image，在图像控制力、一致性上实现了显著提升，其表现甚至展现出超越Midjourney的潜力。这款模型不仅能读懂细致的指令，还能赋予照片艺术化的新生命。接下来，我们将介绍几个有趣的实践方向&#…...

编程日记 2025/8/21 18:05:19

uni-app ucharts自定义换行tooltips

实现效果： 第一步：在uni_modules文件夹下找到config-ucharts.js和u-charts.js文件 第二步：在config-ucharts.js文件中配置换行格式 // 换行格式"wrapTooltip":function(item, category, index, opts){return item.name：…...

编程日记 2025/8/22 9:00:49

java 集合进阶

双列集合 map 实例 package mymap;import java.util.HashMap; import java.util.Map;public class MapDemo1 {public static void main(String[] args) {/*V put(K key,v value)添加元素V remove(object key)根据键删除键值对元素void clear()移除所有的键值对元素boolean c…...

编程日记 2025/8/22 9:01:28

RPC 2025/4/8

RPC（Remote Procedure Call），远程过程调用。 应用场景：大型微服务项目，服务部署到不同的服务器上，需要远程调用，可以使用RPC。 两个概念： 远程过程调用本地调用 RPC目的&#xff1a…...

编程日记 2025/8/20 12:36:31

浅层神经网络：全面解析（扩展）

浅层神经网络：全面解析（扩展） 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，可以分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/ccc 一、神经网络架构演进图谱 #mermaid-svg-…...

编程日记 2025/8/22 5:10:19

【Hadoop入门】Hadoop生态之ZooKeeper简介

1 什么是ZooKeeper？ 在分布式系统的世界里，协调各节点之间的工作是一项复杂而关键的任务。ZooKeeper正是为解决这一问题而生的开源分布式协调服务，它像一个高效的"和事佬"，帮助分布式系统中的各个组件达成一致、同步状态…...

编程日记 2025/8/22 8:55:02

树和图论(详细整理，简单易懂！)

树和图论 树的遍历模版 #include <iostream> #include <cstring> #include <vector> #include <queue> // 添加queue头文件 using namespace std;const int MAXN 100; // 假设一个足够大的数组大小 int ls[MAXN], rs[MAXN]; // 定义左右子树数…...

编程日记 2025/8/22 8:57:13

CWGAN-GP 原理及实现（pytorch版）

CWGAN-GP 一、CWGAN-GP 原理1.1 CWGAN-GP 的核心改进1.2 CWGAN-GP 的损失函数1.3 CWGAN-GP 的优势1.4 关键参数选择1.5 应用场景 二、CWGAN-GP 实现2.1 导包2.2 数据加载和处理2.3 构建生成器2.4 构建判别器2.5 训练和保存模型2.6 查看训练损失2.7 图片转GIF2.8 模型加载和推理…...

编程日记 2025/8/21 22:45:37

zookeeper平滑扩缩容

在进行ZooKeeper的扩容和缩容操作时&#xff0c;需要注意以下几点&#xff1a; 数据一致性 重要性&#xff1a;ZooKeeper的核心特性之一是保证数据的一致性。在操作过程中&#xff0c;必须确保数据的一致性&#xff0c;以避免数据丢失或损坏。 实现方式&#xff1a;ZooKeeper通…...

编程日记 2025/8/21 17:33:15

Github 热点项目 ChartDB AI自动导表结构+迁移脚本，3分钟生成专业数据库关系图

ChartDB堪称数据库设计神器&#xff01;亮点①&#xff1a;动动手指输入SQL&#xff0c;秒出结构图&#xff0c;表关系一目了然&#xff0c;团队评审时再也不用画图两小时。亮点②&#xff1a;AI智能转换超贴心&#xff0c;MySQL转PostgreSQL只需点个按钮&#xff0c;跨平台迁移…...

编程日记 2025/8/21 15:08:24

RVOS-1.环境搭建与系统引导

0.环境搭建 riscv-operating-system-mooc: 开放课程《循序渐进&#xff0c;学习开发一个 RISC-V 上的操作系统》配套教材代码仓库。 mirror to https://github.com/plctlab/riscv-operating-system-mooc 在 Ubuntu 20.04 以上环境下我们可以直接使用官方提供的 GNU工具链和 QEM…...

编程日记 2025/8/17 6:55:16

Java List＜JSONObject＞ 转换为 List＜实体类＞

可以使用 Fastjson 的 toJavaObject 方法直接转换&#xff0c;无需中间序列化步骤。以下是具体实现和注意事项&#xff1a; import com.alibaba.fastjson.JSONObject; import java.util.List; import java.util.stream.Collectors;public class Converter {public static List…...

编程日记 2025/8/19 18:31:51

CesiumEarth v1.12 更新，支持安卓平板离线浏览3DTiles格式的三维倾斜模型

CesiumEarth v1.12 更新 2025年4月8日 阅读需 1 分钟 发布时间&#xff1a;2025年04月08日 新增用户登录&#xff1a;​ 从1.12版本开始需要通过登录方可使用CesiumEarth 账号可以通过邮箱免费注册 后续将陆续发布云服务相关的功能 发布Desktop版本&#xff1a;​ Deskt…...

编程日记 2025/8/20 19:37:06

OpenEuler运维实战-系统资源监控与性能优化-CPU·内存·IO

CPU 基本概念定界定位思路常用CPU性能分析工具 基本概念 中央处理器&#xff08;Central Processing Unit&#xff0c;简称CPU&#xff09;是计算机的主要设备之一&#xff0c;其功能是解释计算机指令以及处理计算机软件中的数据。 物理核&#xff1a;可以真实看到的CPU核&…...

编程日记 2025/8/22 9:00:16

react实现SVG地图区域中心点呈现圆柱体，不同区域数据不同，圆柱体高度不同

效果图&#xff1a; 代码&#xff1a; import React, { useState, useEffect } from react;const InnerMongoliaMap () > {// 每个区域的数据&#xff08;名称、中心坐标、圆柱体高度值&#xff09;const [regionData, setRegionData] useState([{ id: "呼和浩特市…...

编程日记 2025/8/20 8:18:20

Qwen - 14B 怎么实现本地部署，权重参数大小：21GB

Qwen - 14B 权重参数大小&#xff1a;21GB 参数量与模型占用存储空间&#xff08;GB&#xff09;是不同概念。Qwen - 14B参数量约140亿 。其模型大小在不同精度下占用存储空间不同&#xff0c;如在一些资料中提到&#xff0c;Qwen - 14B在特定情况下占用空间约21GB 。实际存储…...

编程日记 2025/8/20 15:41:18

线程实现参考资料

参考 并发编程系列 - Java线程池监控及CompletableFuture详解_taskexecutor.execute没有执行如何监控到-CSDN博客 JAVA异步实现的四种方式_java异步编程的四种方法-CSDN博客 Java线程池深度解析与自定义实战-CSDN博客 Java8 CompletableFuture 异步多线程的实现_java_脚本之…...

编程日记 2025/8/21 10:46:37

python-63-前后端分离之图书管理系统的Flask后端

文章目录 1 flask后端1.1 数据库实例extension.py1.2 数据模型models.py1.3 .flaskenv1.4 app.py1.5 运行1.6 测试链接2 关键函数和文件2.1 请求视图类MethodView2.2 .flaskenv文件3 参考附录基于flask形成了图书管理系统的后端，同时对其中使用到的关键文件.flaskenv和函数类M…...

编程日记 2025/8/21 17:52:14

Qt网络编程之服务端

Qt网络编程之服务端 TCP&#xff08;传输控制协议&#xff09;是一种可靠的、面向流的、面向连接的传输协议。它特别适合连续的数据传输。 1. 主要类和函数 1.1 QTcpServer 监听函数&#xff1a; bool QTcpServer::listen(const QHostAddress &address QHostAddress::…...

编程日记 2025/8/19 17:25:15

案例-流量统计

1.建一个data目录&#xff0c;在data下建log.txt文件 输入手机号码 上行流量 下行流量 2.在com.example.flow下建四个Java类3.flowBean flowMapper flowReducer flowDriver...

编程日记 2025/8/21 10:55:10

开源身份和访问管理方案之keycloak（二）管理员引导和恢复

文章目录 开源身份和访问管理方案之keycloak&#xff08;二&#xff09;管理员引导和恢复管理员引导和恢复在 Keycloak 启动时引导临时管理员帐户对于恢复丢失的管理员访问权限使用专用命令引导管理员用户或服务帐户创建一个管理员用户创建一个服务账号重新获得对具有更高安全性…...

编程日记 2025/8/20 16:59:05

TCP,UDP协议和域名地址

1.TCP&#xff08;传输控制协议&#xff09;是面向连接&#xff0c;UDP&#xff08;用户数据报协议&#xff09;是无连接的 2.应用层&#xff1a;FTP,HTTP,SMTP,TELNET,DNS,TFTP 传输层;TCP,UDP 网际层&#xff1a;IP,ICMP,ARP,RARP 3.TCP21:20端口数据传输&#xff1b;21端…...

编程日记 2025/8/20 21:57:35

算法进阶指南 分形

问题描述 分形&#xff0c;具有以非整数维形式充填空间的形态特征。通常被定义为&#xff1a; “一个粗糙或零碎的几何形状&#xff0c;可以分成数个部分&#xff0c;且每一部分都&#xff08;至少近似地&#xff09;是整体缩小后的形状”&#xff0c;即具有自相似的性质。 现…...

编程日记 2025/8/20 20:12:43

2025年 npm淘宝镜像最新地址

查看当前镜像 npm config get registry 切换陶宝镜像源 npm config set registry https://registry.npmmirror.com/ 验证npm镜像源是否切换成功 npm config get registry 如果返回的地址是https://registry.npmmirror.com/&#xff0c;那么说明你已经成功切换到淘宝的npm…...

编程日记 2025/8/20 7:46:25

0基础 | 硬件 | LM386芯片

LM386芯片&#xff1a;音频功率放大器芯片 内部集成三极管功能将微弱信号放大20-200倍&#xff0c;并且驱动内阻为8Ω的扬声器注意CD系列芯片&#xff0c;内部集成MOS管 LM386特性 LM386主要由以下三个部分组成 内部电路 差分输入 差分输入 多个三极管左右对称&#xff0c;形…...

编程日记 2025/8/21 14:46:46

Spring Boot集成APK Parser库实现APK文件解析

目录 1. 添加依赖 2. 创建APK解析服务 3. 创建控制器 4. 测试 注意事项 在Spring Boot项目中集成APK Parser库并解析APK文件&#xff0c;可以按照以下步骤进行操作&#xff1a; 1. 添加依赖 在项目的pom.xml文件中添加apk-parser库的依赖&#xff1a; <dependency&…...

编程日记 2025/8/21 21:18:37

java基础 迭代Iterable接口以及迭代器Iterator

Itera迭代 Iterable < T>迭代接口(1) Iterator iterator()(2) forEach(Consumer<? super T> action)forEach结合Consumer常见场景forEach使用注意细节 (3)Spliterator spliterator() Iterator< T>迭代器接口如何“接收” Iterator<T>核心方法迭代器的…...

编程日记 2025/8/21 18:08:53

Linux: network: tcpdump: packets dropped by kernel

文章目录 最近遇到一个问题原因libpcap/tcpdump 接口linux/libpcap 接口内核的处理原因可能有以下几种：解决方法：man pcap_stats最近遇到一个问题 tcpdump命令显示有dropped的包，而且是被内核drop的。 [root@-one-01 ~]# tcpdump -i any udp and port 8080 -v -w /root/udp…...

编程日记 2025/8/22 1:47:06

TCP三次握手和TCP四次挥手

一 TCP三次握手 TCP建立连接的过程叫做握手&#xff0c;握手需要客户端和服务器之间交换三个TCP报文段。如图所示&#xff0c;假设主机A为TCP客户端&#xff0c;主机B为TCP服务端。在最初时间&#xff0c;两端的TCP进程都是处于CLOSED状态 &#xff08;1&#xff09;主机A主动…...

编程日记 2025/8/21 11:43:14

博途 TIA Portal之1200做主站与调试助手的TCP通讯

博途支持的通讯非常多&#xff0c;常见的有S7、TCP/IP&#xff0c;UDP等等&#xff0c;本文将演示TCP的通讯&#xff0c;通讯的双方是1200PLC和调试助手之间&#xff0c;编程采用ST语言。 1、硬件准备 1200PLC一台&#xff0c;带调试助手的PC机一台&#xff0c;调试助手是我经…...

编程日记 2025/8/20 18:05:39

第十天 - socket编程基础 - TCP/UDP服务开发 - 练习：简易端口扫描器

Python网络编程入门&#xff1a;从Socket到端口扫描器实战 一、前言&#xff1a;为什么要学网络编程&#xff1f; 在这个万物互联的时代&#xff0c;掌握网络编程技术就像拥有了一把打开互联网世界的钥匙。无论是开发聊天软件、网络游戏&#xff0c;还是构建分布式系统&#…...

编程日记 2025/8/21 15:34:09

欧税通香港分公司办公室正式乔迁至海港城！

3月20日&#xff0c;欧税通香港分公司办公室正式乔迁至香港油尖旺区的核心商业区海港城!左手挽着内地市场&#xff0c;右手牵起国际航道——这波乔迁选址操作堪称“地理课代表”! 乔迁仪式秒变行业大联欢!感谢亚马逊合规团队、亚马逊云、阿里国际站、Wayfair、coupang、美客多…...

编程日记 2025/8/20 16:01:18

Maven的安装配置-项目管理工具

各位看官&#xff0c;大家早安午安晚安呀~~~ 如果您觉得这篇文章对您有帮助的话 欢迎您一键三连&#xff0c;小编尽全力做到更好 欢迎您分享给更多人哦 今天我们来学习&#xff1a;Maven的安装配置-项目管理工具 目录 1.什么是Maven&#xff1f;Maven用来干什么的&#xff1f…...

编程日记 2025/8/20 22:22:12

【Linux篇】缓冲区的工作原理：如何影响你程序的输入输出速度

从内存到磁盘&#xff1a;缓冲区如何提升文件I/O效率 一. 缓冲区1.1 什么是缓冲区1.2 为什么要引入缓冲区1.3 缓冲区类型1.4 FILE1.4.1 基本概念1.4.2 FILE 结构体的作用1.4.3 FILE 的工作机制 二. 最后 在程序开发中&#xff0c;缓冲区是一个经常被提及却不容易深入理解的概念…...

编程日记 2025/8/21 11:04:10

编写junit测试类 import org.junit.Test；

1. 添加依赖 <!-- Spring Boot Starter Test --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> 2. …...

编程日记 2025/8/22 7:21:55

初识数据结构——深入理解LinkedList与链表：吃透LinkedList与链表的终极指南

&#x1f4cc; 深入理解LinkedList与链表&#xff1a;从原理到实战应用 &#x1f31f; 引言 在Java集合框架中&#xff0c;LinkedList和ArrayList是最常用的两种列表结构。它们各有优劣&#xff0c;适用于不同的场景。本文将带你深入探索LinkedList的底层实现——链表&#x…...

编程日记 2025/8/20 2:26:11

C++版Qt之登录界面设计

在C开发中&#xff0c;使用Qt框架可以快速构建美观且功能强大的GUI应用程序。本文将介绍如何设计一个漂亮的登录界面&#xff0c;包括账号和密码输入框&#xff0c;并确保只有验证成功后才能进入主窗口。 项目结构 文件列表 LoginDialog.h&#xff1a;登录对话框的头文件Logi…...

编程日记 2025/8/18 22:14:24

Java logback框架日志输出中文乱码的解决方案(windows)

在Java开发中&#xff0c;日志记录是一个重要的部分&#xff0c;它可以帮我们定位问题、运行时监控、错误排查与故障恢复。但是&#xff0c;在有些情况下&#xff0c;使用Logback记录的中文日志会出现乱码&#xff0c;这会影响日志的可读性&#xff0c;给维护带来麻烦。本文将探…...

编程日记 2025/8/21 19:42:03

【c++】c/c++内存管理

小编个人主页详情<—请点击 小编个人gitee代码仓库<—请点击 c系列专栏<—请点击 倘若命中无此运&#xff0c;孤身亦可登昆仑&#xff0c;送给屏幕面前的读者朋友们和小编自己! 目录 前言一、c语言内存管理二、一图搞懂c/c中的程序内存区域划分三、c内存管理1. new和d…...

编程日记 2025/8/20 14:45:21

【C++】Stack Queue 仿函数

&#x1f4dd;前言&#xff1a; 这篇文章我们来讲讲STL中的stack和queue。因为前面我们已经有了string、vector和list的学习基础&#xff0c;所以这篇文章主要关注一些stack和queue的细节问题&#xff0c;以及了解一下deque&#xff08;缝合怪&#xff09;和priority_queue &am…...

编程日记 2025/8/21 8:27:50

Python:基于Flask框架的数据可视化系统

以下是一个基于Flask框架的数据可视化系统代码示例&#xff0c;包含核心功能实现&#xff1a; python 复制 # app.py 后端核心代码 from flask import Flask, render_template, jsonify import sqlite3 from collections import defaultdict import jieba import reapp Fla…...

编程日记 2025/8/19 5:41:51

JVM即时编译(JIT)

JVM基础回顾 Java 作为一门高级程序语言&#xff0c;由于它自身的语言特性&#xff0c;它并非直接在硬件上运行&#xff0c;而是通过编译器(前端编译器)将 Java 程序转换成该虚拟机所能识别的指令序列&#xff0c;也就是字节码&#xff0c;然后运行在虚拟机之上的&#xff1b;…...

编程日记 2025/8/22 2:09:56

JVM高阶架构：并发模型×黑科技×未来趋势解析

&#x1f680;前言 “你是否还在为synchronized锁竞争头疼&#xff1f;是否好奇ZGC如何实现亚毫秒停顿&#xff1f;Java的未来将走向何方&#xff1f; 本文将带你深入JVM最硬核的三大领域&#xff1a; 并发模型&#xff1a;揭秘happens-before如何保证多线程安全&#xff08;…...

编程日记 2025/8/21 22:06:53

Java的JDK、JRE、JVM关系与作用

Java的JDK、JRE、JVM关系与作用 java中的JDK、JRE和JVM是三个核心组件&#xff0c;各自承担不同角色&#xff0c;且存在层级依赖关系 1. JVM&#xff08;Java Virtual Machine&#xff0c;Java虚拟机&#xff09; 是什么&#xff1a; JVM是虚拟的计算机&#xff0c;能够执行…...

编程日记 2025/8/21 17:28:32

XMLHttpRequest vs Fetch API：一场跨越时代的“浏览器宫斗剧“

## 序幕&#xff1a;两个API的"身世之谜" 在Web开发的江湖里&#xff0c;XMLHttpRequest&#xff08;简称XHR&#xff09;就像一位身经百战的老将&#xff0c;而Fetch API则是手持光剑的绝地武士。让我们先来段"DNA检测"&#xff1a; - **XHR&#xff08…...

编程日记 2025/8/21 4:16:01