当前位置：首页 > news >正文

揭秘大数据 | 12、大数据的五大问题之大数据管理与大数据分析

news 来源：原创 2025/7/20 18:25:34

书接上文，老夫讲到规划大数据战略、构建大数据的解决方案与体系架构、解决大数据问题及大数据发展历程中通常会依次涉及到大数据存储、大数据管理、大数据分析、数据科学、大数据应用这五大问题。上篇内容主要围绕的是大数据存储，今天主要聊一下大数据管理和分析。

构建面向海量信息的大数据管理平台，其本质上是要实现一个可软件定义的数据中心来对下层的基础架构进行有效的管理（存储、网络、计算及相关资源的调度、分配、虚拟化、容器化等），以满足上层的业务与应用需求，并通过软件的灵活性与敏捷性实现高的总投资收益率(Return on Investment，ROI)。

在之前的文章中，老夫就提到过大数据与云计算之间相辅相成的关系，这一点也充分体现在它们两者技术栈的对应关系上（见图1）。大数据存储对应于云计算架构中的存储方式+存储媒介，大数据管理对应于基础设施、计算、云拓扑结构、IaaS及PaaS层，大数据分析对应于云平台中的应用服务，大数据应用则是云应用程序中的一大类（如传统企业级应用、Web/HTML5类越来越多的面向移动设备的应用、大数据应用等）。

云计算背景下的大数据应用可以划分为构建于公有云之上和企业混合云（兼有私有云和公有云的特征）之上两大类。

从垂直技术栈的角度看，两者都自下而上分为网络层、存储层、服务器层、操作系统层、大数据处理引擎层、大数据中间件及服务层、大数据应用层（如可视化、操控中心）等。

它们提供的服务与应用无外乎有如下几类：传统数据类服务的延展，如数据仓库、商业智能；新型服务，如大数据存储、大数据分析、流数据分析、无主机计算、机器学习、云间数据迁移等。大数据技术栈与应用如图2所示。

在上面提到的大数据服务与应用中，值得一提的是无主机计算。无主机计算是一种新型的公有云（或混合云）服务，最为知名的是亚马逊公司的AWSLambda，其核心颠覆了DevOps，用NoOps取而代之。我们知道DevOps颠覆了传统的开发、测试、运维模式没有多久，现在它又要被别人颠覆了，这的确是个“颠覆”的时代！

NoOps顾名思义就是不需要担心运维的事情，从而使程序员得到极大程度的解放，同时企业也不需要负担任何基础架构的运维成本。AWS Lambda的特点就是让使用者不再需要事先部署服务器，而是只需要把要执行的代码提交给Lambda，然后以AWS庞大的基础架构做后台支撑，并采取了一种新颖的计费方式，让用户只为所需内容付费，并且仅在需要时付费即可。在本质上，无主机计算摒弃了传统的以设备（服务器、网络、存储）为中心的计算模式，让用户应用聚焦于业务逻辑本身，在实现上采用容器化封装、面向服务的架构、事件驱动的应用程序接口等技术。这些技术最终带来的是更低成本的计算资源与更强大的能力，特别是大数据处理，通常需要更多的基础架构及资源。随着无主机计算的发展，我们有理由相信更多的大数据应用会与之结合。

在大数据（即分布式系统）的管理、分析、处理中，有一些基础的理论模型需要被读者了解，主要有：BASE最终一致性模型、ACID强一致性模型。

BASE指的是Basically Available（基本可用）、Soft-State（柔性状态）、Eventual Consistency（最终一致性）这3个特性，它是相对于传统的（单机）关系数据库时代的ACID而言的。ACID指的是Atomicity（原子性）、Consistency（一致性）、Isolation（隔离性）、Durability（持久性）这4个特性。以数据库交易为例，要实现ACID，最关键的部分是数据的一致性，通常的做法是通过加锁的方式，在一个读写方对某数据进行读写的时候，让其他读写方只能等待。两段锁是一种常见的加锁实现方法，这种方法的效率对于高频交易系统而言显然不太适宜，于是就有了多版本并发控制策略，它通过为每个读写方提供数据库当前状态的快照来提供操作隔离及数据一致性。在分布式交易系统中，如后面要提到的NewSQL数据库，ACID的实现变得更加困难。有一种实现方式是两阶段提交，这种方式可以保证分布式交易（事务）操作的原子性及一致性。有趣的是在英文中BASE还有碱的意思，而ACID有酸的意思，看来前辈们在研究理论基础时也没少在起名字上下功夫。

关于分布式系统，还有一个CAP（Consistency-Availability-Partition Tolerance，一致性-可用性-分区容忍性）理论需要读者关注。CAP理论是大数据领域的一个著名理论，确切地说是分布式计算网络领域的一种假说，最早由加利福尼亚大学伯克利分校的计算机科学家、同时也是后来在2002年被雅虎公司收购的著名搜索公司Inktomi的联合创始人兼首席科学家埃里克·布鲁尔(Eric Brewer)提出。2002年，麻省理工学院的两位学者对其论证并随后使其成为理论，所以这个理论又称为Brewer's Theorem。

这个理论是非常有哲学高度的，不过两位麻省理工学院的学者据说是从比较“狭隘”的视角来论证的，所以该理论受到了学术界与业界的连番挑战，最知名的当属2012年谷歌公司推出的Spanner系统，该系统在全球范围内的跨数据中心间同时满足了CAP理论的3个特性。前文中提到过Spanner通过全球原子钟实现了极高精度的时钟同步，进而实现了数据强一致性，后来我们也称类似的系统为NewSQL系统或新型分布式系统。应该指出的是，大部分分布式系统的部署规模远没有Spanner庞大，毕竟Spanner面向的是谷歌公司内部庞大的网络服务器集群及天文数字级的海量数据。在大多数商业环境的业务场景中，复杂的无线接入点类场景远远多过单纯的OLTP类场景，而是否满足CAP的3个特性并不是最主要的挑战。在后文中我们会对此类系统展开论述。

CAP理论认为，一个分布式系统不可能同时保证一致性、可用性和分区容忍性（又称可扩展性）这3个要素。换言之，对于一个大型的分布式计算网络存储系统而言，可用性与可扩展性是需要首要保证的，那么唯一可以牺牲的是一致性。对于绝大多数场景而言，只要达到最终一致性（非强一致性）即可。

可以从下面对强一致性的举例分析来理解所谓的最终一致性。强一致性在早期的金融网络中要求当你付款给对方，并在对方收到钱后，你的账户要相应地同步扣款，否则就会出现不可预知的结果——比如对方收到钱，你的账户却没有扣款（赚到了的感觉）；或者对方没收到，而你的钱被扣掉了（被坑了的感觉）。这些都属于系统不能做到实时一致性的体现。今天，绝大多数金融系统是规模庞大的分布式系统，要求强一致性只可能会造成系统进入瓶颈（比如由一个数据库来保证交易的实时一致性，但是这样整个分布式系统的效率会变得低下），因此弱一致性系统应运而生，这也是为什么你在进行转账、股票交易等操作时通常会有一些滞后（几秒或者几分钟或者几天）的交易确认。而对于金融系统来说，对账是最重要的，它就是对规定时间内的所有交易进行确认，以保证每一笔交易的双方的进出是均衡的。

CAP理论还有很多容易被人误解的地方，比如一个分布式系统到底应该拥有哪一个或哪两个属性。抛开理论层面的争执，我们看到今天大规模分布式系统的设计各有千秋。比如谷歌公司的GFS就是满足了一致性与可用性，相对牺牲了可扩展性。

（文/Ricky - HPC高性能计算与存储专家、大数据专家、数据库专家及学者）

· END ·

相关文章：