当前位置：首页 > news >正文

从零开始学架构——互联网架构的演进

news 来源：原创 2025/7/12 21:19:16

1 技术演进

1.1 技术演进的动力

对于新技术，我们应该站在行业的角度上思考，哪些技术我们要采取，哪些技术我们不能用，投入成本过大会不会导致满盘皆输？
市场、技术、管理三者组成的业务发展铁三角，任何一个不足都会导致企业的业务停滞不前，我们可以发现，其实三者都是服务于业务，业务有需求那么就应该尽量去满足，技术只不过是满足业务的一种手段
可以将企业的业务分为：产品类、服务类
产品类：开发出的产品，提供给用户使用，数据以及一些功能都可以定制化，且数据存储在用户本地
服务类：更像是给你提供服务，所以需要将数据留在服务端，以便于更好的服务于用户
- 服务的用户越多，价值也就越大
- 服务类的业务符合互联网的特征和本质：“互联”+“网”

对于产品类业务，技术的创新会推动业务发展，比如UC浏览器独创云端架构，很好解决了上网满的问题等。
对于服务类业务，业务发展推动技术发展，可以发现和产品类业务相反

为什么业务发展是推动技术发展

产品类更多的选择是个人喜好，因为产品一般提供的是功能，但是服务类的选择则是规模
- 比如微信和qq你用哪个，如果社畜所在的公司都用的微信来进行沟通，那么你的人际关系可能就会转移到微信沟通上，qq就会逐渐舍弃，但是当规模都一样时，这时候可能才会看中个人喜好去选择

当规模成为业务的决定因素后，服务模式的创新就会成为业务发展的核心驱动力，而产品只是完成服务提供给用户使用的一个载体，服务类的业务发展路径一般是：一种创新的服务模式—>吸引了一批用户->业务开发发展->吸引更多用户->服务模式不断完善和创新->吸引更多用户

综上所述，除非是开创性的技术，能够推动活创造易总新的业务，其他情况下，都是业务的发展促使了技术的发展创新

1.2 淘宝发展

由于距离较多，以淘宝为例，讲述其发展，淘宝主要经历了个人网站->Oracle/支付宝/旺旺->java时代1.0->java时代2.0->java时代3.0->分布式时代

1.2.1 个人网站

在淘宝初创时，并未考虑技术是否优越，也没有考虑性能是否海量，以及稳定，主要的考虑因素是快，快速上线

当时的背景就是抢占先机，占领市场
买一个系统就是为了快速可用，而买一个轻量级的系统就是为了“快速开发”
业务决定技术，所以当时的架构也非常简单

1.2.1 Oracle/支付宝/旺旺

淘宝推出时，正好遇到非典，网购很火，且又采取了成功的市场运作，业务也发展起来，所以MySQL很快就撑不住了

直接采取替换为Oracle，原因是容量大，稳定，安全，性能高，且有人员储备
数据量变大后，本地存储又不够用，就买了NAS，加上Oracle RAC来实现负载均衡
这个阶段主要就是买“性能”

1.2.3 Java时代1.0——脱胎换骨

这个阶段并没有直接去买技术，而是通过sun公司来转换开发语言为java，主要是因为，技术影响了业务的发展，频繁死锁和重启对用户业务产生了严重音响。

java时当时最成熟的网站开发语言，有良好的企业开发框架，被世界主流的大规模网站采用
且java开发经验的人也多，后续维护成本低

1.2.4 Java时代2.0——坚若磐石

这个时期，淘宝做了很多优化工作：数据分库，放弃EJB，引入Spring，加入缓存，加入CDN，采用开源的JBoss

这些操作都是围绕提高容量、提高性能、节约成本来做的，没有继续买技术来解决这些问题主要是买也解决不了问题，只能从架构上去优化
买技术的成本会更高

1.2.5 Java时代3.0和分布式时代

这个阶段淘宝技术从商用转为“自研”，去IOE化

这个阶段业务规模急剧上升后，复杂度高的IOE成本是这个阶段的主要原因

2 技术演进的模式

业务发展究竟是如何驱动技术发展的？

业务模式虽然千差万别，但是无论什么样的业务，都需要有一定的技术同步发展进行支撑，因为业务的复杂性导致了，不得不去驱动技术
- 因为面向的是服务，提供给用户的服务，就会有竞争，和安全保障
  - 你的服务不好，我就换一个好一点的呗
  - 你的服务导致我一个订单丢失几万几百，我难道还用你家服务啊
- 用的人越来越多肯定会导致性能下降，功能越来越多也会导致架构变得复杂
所以业务的复杂性要么来源于功能的不断叠加，和规模的扩大，从而对性能和可用性有了更高的要求。
- 所以判断复杂性到底考虑功能复杂性，还是规模复杂性，还是都考虑
应该基于业务的发展阶段来进行判断，不同的行业业务发展路径、轨迹、模式不一样、所以需要根据自身所在行业的发展以及自身情况进行判断
假设是一个银行IT系统的架构师
90年代的业务复杂度肯能就是业务范围扩大，功能增多和复杂，导致内部系统的数量增多，单系统功能越来越复杂
2004年，转向网上银行，稳定性、安全性、易用性是主要复杂度，由IT系统自己解决
2009年复杂度又转为移动支付，要应对其他第三方调用的请求，比如双十一，支付宝，微信等，高性能、稳定性、安全性是主要复杂度
若假设你是淘宝的架构师：那么你会遇到的问题就会和银行IT遇到的问题不通，因为你们面向的业务不一样，所以复杂度出现的地方也可能不会相同，但是可能对于某一些相同的复杂度问题，也许有相似的解决方案

3 互联网业务发展

互联网业务千差万别，但由于其具有规模决定一切的相同点，发展路径也基本上是一致的
业务可以分为几个时期：初创期，快速发展期，竞争期，成熟期。
不同的时期的差别也主要体现在：复杂性、用户规模

3.1 业务复杂性

初创期

这个时期的业务点在于创新，不是完善
先创新吸引用户，所以要求就只有一个“快”
- 同时初创时期，技术人员少，所以能买就买，能用开源的就用开源的

发展期

当业务以及功能推出后，经过市场验证是可行的，那么吸引的用户就会越来越多
此时的功能要求也会增加，所以快速实现需求是此阶段的核心任务
如何做到快？
- 堆功能：这时候就是朴实无华的增加功能，即使是重构，代码优化等想做可能都没有时间去做
- 优化期：当发现新功能越来越难堆了，可能就是需要优化和重构代码的时候了，此时又会分为两派：优化派和架构派
优化派：核心思想是将现有系统优化，比如重构代码，分层，优化SQL查询，硬件优化，数据库选型等等，就是对系统尽量小的改动，可以快速实施，但是这样做，可能撑不了多久
架构派：调整系统架构，优化架构，将大系统拆分为多个相互配合的小系统，动作比较大，对业务的发展影响也很大
大多数情况下，都是优化派能胜出

架构期

很多情况下，业务量增长，即使进行了优化，慢慢也会发现扛不住，所以还是要进行架构优化
总结一个字“拆”
- 拆功能：将各个系统拆分为多个子系统
- 拆分数据库：进行分库分表
- 拆分服务器：根据子系统改成分布式或者集群，增加负载均衡系统

竞争期

这个时候，由于市场已经形成，肯定会有人来分蛋糕，所以这个阶段对于技术的要求是更快了，也要有新的业务创新
同时，架构优化后的美好时光就慢慢消逝，此时的问题体现如下
- 重复造轮子：系统越来越多，相似的工作重复，例如每个系统都有存储，缓存等
- 系统交互一团乱麻：各系统之间的交互变成了网状结构
解决办法如下：
- 平台化：用于解决重复造轮子的问题
  - 存储平台化：淘宝的TFS，京东的JFS
  - 数据库平台化：百度的DBProxy，淘宝的TDDL
  - 缓存平台化：Twitter的Twemproxy，腾讯的TTC
- 服务化：系统之间交互混乱的问题，常见是通过MQ来完成系统间异步通知，或者使用服务框架
  - 消息队列：淘宝的Notify，MetaQ，Kafka等
  - 服务框架：Facebook的Thrift，淘宝的HSF等

成熟期

此时企业已经熬过了竞争期，成为了行业的领头羊，业务已经趋于稳定和成熟，业务创新机会不多，更多是优化用户体验和项目求精方面，比如响应时间，以及用户体验，还有结构优化降低成本
此时的优化可能就需要从各方面入手
- 架构上的调整
- 技术上的选型和采用可行成熟的新技术——需要测试
- CDN、数据库、缓存、网络等
- 机器硬件优化等等，没有规定死需要采用哪些优化

3.2 用户规模

用户量越来越大，导致对性能和可用性的要求越来越高

性能：性能确实会随着用户规模变大而降低，原因是对于计算机来说，计算资源是有限的，过多的人导致了每个人能使用的资源变少，所以我们很多时候都是把资源变多来解决问题
- 比如一台MySQL不够，我们可以多用几台，只不过就会设计到数据的同步等问题以及分库分表等问题
可用性：可用性的关注点是系统故障出现的几率和持续时间
- 如果系统宕机次数一天能达到2-3次，每次10分钟，肯定会影响用户操作，用户可能放弃产品的概率会很大
- 同时也会影响收入，如果初创时期，人不多，可能最多损失几千，但是用户多起来后，损失可能就更大了

3.3 量变到质变

前面提到了复杂性和用户的规模是导致技术的发展，且不同的阶段带来的影响也是不同的，究竟用户规模发展到什么地步才会量变产生质变

阶段	用户规模	业务阶段	技术影响
婴儿期	0~1万	初创期	用户规模对性能和可用性都没有什么压力，技术人员可以安心睡好觉
幼儿期	1~10万	初创期	用户规模对性能和可用性已经有一点压力了，主要体现为单台机器（服务器、数据库）可能已经撑不住了，需要开始考虑拆分机器，但这个时候拆分还比较简单，因为机器数量不会太多
少年期	10~100万	发展期	用户规模对性能和可用性已经有较大压力了，除了拆分机器，已经开始需要将原来大一统的业务拆分为更多子业务了
青年期	100~1000万	竞争期	用户规模对性能和可用性已经有很大压力了，集群、多机房等手段开始用上了虽然如此，技术人员还是很高兴的，毕竟到了此时公司已经发展得非常不错了
壮年期	1000万~1亿	竞争期&成熟期	用户规模对性能和可用性已经有非常大压力了，可能原有的架构和方案已经难以继续扩展下去，需要推倒重来不过如果你真的身处这样一个公司，虽然可能有点辛苦，但肯定会充满干劲，因为这样的机会非常难得，也非常锻炼人
巨人气	1亿+	成熟期	和壮年期类似，不过如果你真的身处这样一个公司，虽然可能有点辛苦，但估计做梦都要笑醒了！因为还没有哪个互联网行业能够同时容纳两家1亿+用户的公司
不管什么样的方式，核心都是满足业务快的要求，当发现业务快不起来的时候，其实就是技术的水平跟不上业务的发展，技术的变革和发展的时候就到了

4 总结

产品类业务：技术创新推动业务发展。
“服务”类的业务：业务发展推动技术的发展。
架构师需要基于业务发展阶段判断出系统当前面临的主要复杂度。
互联网业务千差万别，但都具有“规模决定一切”的特点。
互联网业务发展一般分为几个时期：初创期、快速发展期、竞争期、成熟期。
互联网业务发展第一个主要方向就是“业务越来越复杂”。
互联网业务发展第二个主要方向就是“用户量越来越大”。
互联网业务发展带来复杂度的本质原因其实都是“量变带来质变”。

从零开始学架构——互联网架构的演进

1 技术演进 1.1 技术演进的动力对于新技术，我们应该站在行业的角度上思考，哪些技术我们要采取，哪些技术我们不能用，投入成本过大会不会导致满盘皆输？市场、技术、管理三者组成的业务发展铁三角，任何一个…...

编程日记 2025/7/12 21:19:16

Linux 系统常见问题

SSH问题 SSH连接服务器时报错： ssh_exchange_identification: read: Connection reset by peer 报错信息： ssh_exchange_identification: read: Connection reset by peer可以通过ssh -p root -v查看连接时详情解决方法： vi /etc/host…...

编程日记 2025/7/11 21:24:07

工厂模式与抽象工厂模式在Unity中的实际应用案例

一、实验目的实践工厂模式和抽象工厂模式的实际应用。创建一个小型的游戏场景，通过应用这些设计模式提升游戏的趣味性和可扩展性。掌握在复杂场景中管理和使用不同类型的对象。比较在实际游戏开发中不同设计模式的实际效果和应用场景。学习如何进行简单的性…...

编程日记 2025/7/8 1:13:51

AI定义汽车/跨域融合/整车智能，汽车智能化2.0时代新机会来了

汽车智能化2.0，产业正在发生深度变革。一方面，AI大模型开始在多个域同步赋能智能汽车，从智能座舱到智能驾驶，再到底盘域，AI大模型正在快速推动汽车变革为超级智能体，AI定义汽车时代开始来临。另一方面&…...

编程日记 2025/7/12 21:11:45

QT----------多媒体

实现思路多媒体模块功能概述： QT 的多媒体模块提供了丰富的功能，包括音频播放、录制、视频播放和摄像头操作等。播放音频： 使用 QMediaPlayer 播放完整的音频文件。使用 QSoundEffect 播放简短的音效文件。录制音频： 使用 QMe…...

编程日记 2025/7/12 20:46:42

[ubuntu-22.04]ubuntu不识别rtl8153 usb转网口

问题描述 ubuntu22.04插入rtl8153 usb转网口不识别解决方案安装依赖包 sudo apt-get install libelf-dev build-essential linux-headers-uname -r sudo apt-get install gcc-12 下载源码 Realtek USB FE / GBE / 2.5G / 5G Ethernet Family Controller Softwarehttps:/…...

编程日记 2025/7/12 21:14:17

洛谷P1525 [NOIP2010 提高组] 关押罪犯（种子并查集基础）

题目链接：P1525 [NOIP2010 提高组] 关押罪犯 - 洛谷 | 计算机科学教育新生态题目难度：普及+/提高题目描述： S 城现有两座监狱，一共关押着 N 名罪犯，编号分别为 1∼N，有m对罪犯，每对之间有仇恨值，问如何分配罪犯使得现 Z 市长要看到其中最大的矛盾值最小。输入格…...

编程日记 2025/7/12 21:16:29

Android笔试面试题AI答之Android基础（11）

Android入门请看《Android应用开发项目式教程》，视频、源码、答疑，手把手教文章目录 1.Android的权限有哪些？**1. 普通权限****常见普通权限** **2. 危险权限****权限分组****常见危险权限组及权限** **3. 特殊权限****常见特殊权限** **4. …...

编程日记 2025/7/12 20:01:38

【智行安全】基于Synaptics SL1680的AI疲劳驾驶检测方案

随著车载技术的快速进步，驾驶安全越来越受到重视，而疲劳驾驶是造成交通事故的重要原因之一。传统的驾驶监控技术因精度不足或反应迟缓，无法满足实时监测需求。因此，结合人工智能技术的疲劳驾驶检测系统成为行业新方向，…...

编程日记 2025/7/12 20:38:53

多分类的损失函数

在多分类任务中，常用的损失函数能够衡量模型输出的类别分布与目标类别之间的差异，帮助模型学习更准确的分类能力。以下是多分类任务中常用的损失函数： 1. 交叉熵损失（Cross-Entropy Loss）公式: CrossEntropyLoss = − 1 N ∑ i =...

编程日记 2025/7/2 17:42:18

探索数据之美，Plotly引领可视化新风尚

在数据如潮的今天，如何精准捕捉信息的脉搏，让数据说话？Plotly，这款强大的数据可视化工具，正以其卓越的性能和丰富的功能，成为数据分析师、科学家及工程师们的得力助手。 Plotly不仅仅是一个绘图库&#xf…...

编程日记 2025/7/12 18:02:54

青少年编程与数学 02-006 前端开发框架VUE 02课题、创建工程

青少年编程与数学 02-006 前端开发框架VUE 02课题、创建工程一、开发环境（一）WebStorm安装WebStorm配置WebStorm安装中文语言包安装 Translation插件 （二）Node.jsWindows系统安装Node.jsLinux系统安装Node.jsNode.js与Vue.js的关…...

编程日记 2025/7/12 1:07:58

高并发场景下的秒杀系统架构设计与实现

引言秒杀系统是一种高并发场景的典型应用，广泛存在于电商平台、抢票系统和促销活动中。秒杀活动的特点是短时间内吸引大量用户同时访问并尝试抢购商品，这对系统的高并发处理能力、稳定性和用户体验提出了极高的要求。在秒杀系统中，常见的…...

编程日记 2025/7/12 20:22:28

局域网中单台交换机VLAN应用

网络拓扑其中交换机接口类型都为access接口。 Ethernet 0/0/1 VLAN ID为10 Ethernet 0/0/2 VLAN ID为10 Ethernet 0/0/5 VLAN ID为20 Ethernet 0/0/6 VLAN ID为20 Host-1 ip为192.168.64.11/24 Host-2 ip为192.168.64.12/24 Host-3 ip为192.168.64.21/24 Host-4 ip为192.168…...

编程日记 2025/7/12 20:19:27

UNI-APP_i18n国际化引入

官方文档：https://uniapp.dcloud.net.cn/tutorial/i18n.html vue2中使用 1. 新建文件 locale/index.js import en from ./en.json import zhHans from ./zh-Hans.json import zhHant from ./zh-Hant.json const messages {en,zh-Hans: zhHans,zh-Hant: zhHant }…...

编程日记 2025/7/12 19:34:36

纯血鸿蒙ArkUI选项卡布局详解

当页面信息较多的时候，为了让用户能够聚焦于当前显示的内容，需要对页面的内容进行分类，提高页面空间利用率。Tabs组件可以在一个页面内实现快速的视图内容切换，一方面提升查找信息的效率，另一方面精简用户单词获取到的…...

编程日记 2025/7/12 9:20:25

从0开始的opencv之旅（1）cv::Mat的使用

目录 Mat 存储方法创建一个指定像素方式的图像。尽管我们完全可以把cv::Mat当作一个黑盒，但是笔者的建议是仍然要深入理解和学习cv::Mat自身的构造逻辑和存储原理，这样在查找问题，或者是遇到一些奇奇怪怪的图像显示问题的时候能够快速的想…...

编程日记 2025/7/12 20:16:55

uniapp 微信小程序开发使用高德地图、腾讯地图

一、高德地图 1.注册高德地图开放平台账号 （1）创建应用这个key 第3步骤，配置到项目中locationGps.js 2.下载高德地图微信小程序插件 （1）下载地址高德地图API | 微信小程序插件 （2）引入项目…...

编程日记 2025/7/12 21:09:29

Activation Functions

Chapter4：Activation Functions 声明：本篇博客笔记来源于《Neural Networks from scratch in Python》，作者的youtube 其实关于神经网络的入门博主已经写过几篇了，这里就不再赘述，附上链接。 1.一文窥见神经网络 2.神经…...

编程日记 2025/7/12 15:11:12

【TextIn—智能文档解析与DocFlow票据AI自动化处理：赋能企业文档数字化管理与数据治理的双重利器】

TextIn—智能文档解析与票据AI自动化处理：赋能企业文档数字化管理与数据治理的双重利器在数据驱动的时代，企业面临的挑战不仅在于海量数据的整理和响应速度的提高，更在于如何有效管理和利用这些日益增长的海量信息。尤其是在信息日趋多样…...

编程日记 2025/7/12 20:00:47

Quartus In-System Sources and Probes Editor 的使用说明

文章目录前言使用说明参考资料前言 Quartus 提供了 In-System Sources and Probes Editor 调试工具，通过 JTAG 接口使用该工具可以驱动和采样内部节点的逻辑值。即通过 Sources 功能来驱动 FPGA 内部信号，通过 Probes 功能来探测内部节点的逻辑值。在…...

编程日记 2025/7/12 16:59:45

【视觉SLAM:八、后端Ⅱ】

视觉SLAM后端的核心任务是估计相机的轨迹和场景的三维结构，这需要解决非线性优化问题。为了保证效率和精度，后端主要依赖以下两种方法：滑动窗口法（基于局部优化的策略）和位姿图优化（基于全局优化的策略&…...

编程日记 2025/7/12 21:03:31

【大模型实战篇】LLaMA Factory微调ChatGLM-4-9B模型

1. 背景介绍虽然现在大模型微调的文章很多，但纸上得来终觉浅，大模型微调的体感还是需要自己亲自上手实操过，才能有一些自己的感悟和直觉。这次我们选择使用llama_factory来微调chatglm-4-9B大模型。之前微调我们是用两块3090GPU显卡&…...

编程日记 2025/7/12 20:24:43

多个DataV遍历生成

DataV是数据可视化工具与Echart类似相对Echart图标边框装饰可选官网DataV 安装 npm install kjgl77/datav-vue3main.ts import DataVVue3 from kjgl77/datav-vue3 app.use(DataVVue3)多个DataV遍历生成 Vue3viteDataV为例:<template><div w50rem h25rem flex&qu…...

编程日记 2025/7/12 21:03:37

【JavaWeb后端学习笔记】MySQL的常用函数（字符串函数，数值函数，日期函数，流程函数）

MySQL函数 1、字符串函数2、数值函数3、日期函数4、流程函数 1、字符串函数函数说明concat(s1, s2, …, sn)字符串拼接，将 s1, s2, …, sn 拼接成一个字符串lower(str)将字符串 str 全部转为小写upper(str)将字符串 str 全部转为大写lpad(str, n, pad)左填充&…...

编程日记 2025/7/12 20:02:39

开源AI智能名片2+1链动模式O2O商城小程序在流量留存与转化中的深度应用与优化策略

摘要在数字化时代，企业面临的市场竞争日益激烈，传统的营销手段已难以满足当前市场的多样化需求。开源AI智能名片21链动模式O2O商城小程序作为一种创新的数字化营销工具，凭借其开源特性、AI智能名片功能、21链动模式以及O2O商城小程序的优势…...

编程日记 2025/7/12 2:30:23

API多并发识别、C#文字识别

在当今数字化转型的浪潮中，信息处理的速度和准确性成为了企业在市场中立足的关键因素之一。特别是在大数据时代，海量的信息需要被快速、精确的解析和利用，因此，这正是文字识别技术大放异彩的舞台。翔云平台针对市场需求&#xff0…...

编程日记 2025/7/12 19:43:37

JVM和异常

Java 虚拟机（Java Virtual Machine，简称 JVM） 概述 JVM 是运行 Java 字节码的虚拟计算机，它是 Java 程序能够实现 “一次编写，到处运行（Write Once, Run Anywhere）” 特性的关键所在。Java 程…...

编程日记 2025/7/12 19:52:46

设计模式创建型单例模式（Singleton Pattern）与常见技术框架应用解析

单例模式（Singleton Pattern）是一种创建型设计模式，旨在确保某个类在应用程序的生命周期内只有一个实例，并提供一个全局访问点来获取该实例。这种设计模式在需要控制资源访问、避免频繁创建和销毁对象的场景中尤为有用。一、核心…...

编程日记 2025/7/12 20:25:28

idea( 2022.3.2)打包报错总结

一报错 class lombok.javac.apt.LombokProcessor (in unnamed module 0x4fe64d23) cannot access class com.sun.tools.javac.processing.JavacProcessingEnvironment (in module jdk.compiler) because module jdk.compiler does not export com.sun.tools.javac.processing …...

编程日记 2025/7/12 19:54:43