当前位置: 首页 > news >正文

镜舟科技助力某大型电网企业破解数据架构升级难题,打造国产化湖仓标杆

在 “十四五” 规划全面推进国产化替代的背景下,某大型电网企业联合镜舟科技与腾讯云,基于全球领先的开源分析型数据库 StarRocks 及腾讯 TBDS 大数据平台,构建电力行业国产化湖仓一体架构。该项目实现 PB 级电力数据的统一管理,为能源行业核心系统国产化升级提供了可复制的技术范本。

数字电力正面临日益复杂的数据挑战

随着数字化转型深入推进,该电网企业作为服务超 2.5 亿用户的特大型能源企业,面临着日益复杂的数据管理挑战:

  • 数据链路复杂,时效性低:数据供给路径冗长,导致延迟高,无法满足实时性要求。
  • 资源瓶颈:计算集群资源紧张,CPU 和 IO 高负载,限制了性能扩展。
  • 高并发挑战:先有的业务大量使用宽表设计,查询并发压力剧增,现有架构难以支撑。
  • 融合计算能力不足:数据分散,跨集群融合计算能力缺失,限制了个性化需求支持。
  • 数据治理难度大:全域的数据资产建设,没有统一的主题划分,数据分散。

解决方案:基于 StarRocks+TBDS 构建统一数据平台

作为 StarRocks 核心商业化公司,镜舟科技联合腾讯云为该电网企业设计了一套分层渐进式的技术升级方案。

该方案核心在于优化数据链路,通过缩短供给路径并引入实时分析引擎,有效提升数据时效性。同时,通过扩展集群规模提升资源利用率,解决计算资源瓶颈问题。

针对高并发查询压力,镜舟团队对查询引擎进行深度优化,增强缓存机制和负载均衡能力。此外,通过构建统一数据平台,实现跨集群数据整合和计算,满足多样化的分析需求,并为数据治理奠定坚实基础。

在该电网企业实际业务场景下的 POC 测试中,StarRocks 展现了显著的性能优势:现网系统查询耗时:1513 秒,StarRocks 查询耗时:0.176 秒,实现近 8600 倍的查询加速。

1. 基于 StarRocks+TBDS 的湖仓技术架构

该电网企业的湖仓架构包含四个关键层次,包含从数据采集到业务应用的全链路:

  • 数据接入层:Flink 实时数据处理
  • 数据湖存储:腾讯 TBDS(Iceberg 表格式)
  • 分析加速层:StarRocks 多集群(存算一体 + 存算分离)
  • 业务应用层:SmartBI 等可视化工具

2. 关键技术提升整体性能

方案实施过程中,团队重点解决了三大技术难题,确保系统平稳过渡的同时提升整体性能:

1. 国产化适配验证

完成包括海光芯片和麒麟 V10 操作系统在内的全栈国产化适配验证,保障系统在国产化基础设施上的稳定运行。

2. 业务平滑迁移

通过支持 Greenplum 语法兼容,成功保障了存量业务的平滑迁移,并利用多集群架构实现了网级与省侧业务高效协同。

3. 湖仓数据统一协同

基于腾讯 TBDS 数据湖构建统一元数据目录,同时借助 Flink 实现实时数据入湖,StarRocks 提供强大的分析加速能力,形成完整的数据流转与处理闭环。

StarRocks 数据底座:电力业务腾飞的新引擎

此次升级帮助该电网企业进一步构建统一的基础数据底座,为各业务平台提供数据存储、处理、治理、建模和计算分析等全数据生命周期能力服务,支撑网省各级单位数据应用需求。

  1. 业务连续性保障:StarRocks 兼容 Greenplum 近 10 万条 SQL 语法。支持渐进式改造,存算分离与存算一体混合部署模式灵活可选。
  2. 架构扩展性提升:多集群架构实现分散 MPP 集群的统一纳管,弹性扩缩容能力适配业务增长需求。
  3. 技术自主可控:全国产化技术栈(海光芯片 + 麒麟系统),并与腾讯 TBDS 实现数据湖管理标准统一。

未来,镜舟科技将持续完善 StarRocks 与腾讯 TBDS 的深度协同,为关键行业提供安全可靠的数据基座。

镜舟科技:企业级数据分析基座构建者

作为 StarRocks 开源项目的主要贡献者及商业化领军企业,镜舟科技基于 “开源 + 商业化” 双引擎模式,通过企业级产品镜舟数据库(Mirrorship)为企业级用户打造专业的 Lakehouse 解决方案:

  1. 技术领先性:镜舟数据库支持 PB 级实时分析的分布式数据库,同时镜舟科技技术团队深度参与 StarRocks 开源社区建设,并基于此给企业级用户提供更多技术保障。
  2. 行业实践经验积累:镜舟科技已成功支撑金融、智能制造等领域的数据分析平台建设,企业级客户已覆盖超百家头部企业。

相关文章:

镜舟科技助力某大型电网企业破解数据架构升级难题,打造国产化湖仓标杆

在 “十四五” 规划全面推进国产化替代的背景下,某大型电网企业联合镜舟科技与腾讯云,基于全球领先的开源分析型数据库 StarRocks 及腾讯 TBDS 大数据平台,构建电力行业国产化湖仓一体架构。该项目实现 PB 级电力数据的统一管理,为…...

Linux内核内存管理单元 详解Linux 内核伙伴系统(Buddy System)的快速路径分配函数get_page_from_freelist

一、函数核心作用 get_page_from_freelist 是 Linux 内核伙伴系统(Buddy System)的快速路径分配函数,负责从指定的内存区域(Zone)中高效分配连续的物理内存页。其核心逻辑是遍历允许的 Zone 列表,检查水位…...

网络原理 - 初识网络 2

目录 OSI 七层协议 TCP / IP 五层模型 网络设备所在分层 网络分层对应 封装和分用(网络传输数据过程中,最核心的流程) 用一个具体例子来梳理以下封装和分用的过程 封装 1. 应用层(应用程序) -- QQ 2. 传输层 …...

如何利用GM DC Monitor快速监控一台网络类设备

GM DC Monitor v2.0在网络类设备监控的效率非常高! 如果您需要管理运维大量的网络类设备,GM DC Monitor是个不错的选择。 如果您具备一定的采集脚本编写能力,可以在平台的定制属于自己的监控模板! 1)首先建立数据中…...

类和对象终

一、初始化列表 再谈构造函数 我们之前实现构造函数的时候,初始化成员变量在函数体内赋值的,构造函数还有一种初始化方式,就是初始化列表 我们先实现一个栈来举例: // 实现一个栈 typedef int DataType; class Stack { public:…...

教程:批量提取图片pdf固定位置文字然后保存为新的文件名,基于Python和阿里云的实现方案

一、项目背景 在实际工作和生活中,存在大量需要对图片或 PDF 进行批量处理的场景。例如,在档案管理中,工作人员可能会扫描大量文件,生成图片或 PDF 格式的档案资料。这些资料通常包含特定位置的关键信息,如文件编号、日期等。通过批量提取这些关键信息并将其作为文件名,…...

JVM:堆、方法区

一、堆 概念:堆用于存储对象和数组,主要分为新生代和老年代,新生代又细分为伊甸园区、幸存者 0 区(S0)和幸存者 1 区(S1)内存设置:可用 -Xmx 和 -Xms 设置堆内存大小,-X…...

JVM-基于Hotspot

前言 Java虚拟机(Java Virtual Machine简称JVM)是运行所有Java程序的抽象计算机,是Java语言的运行环境,其主要任务为将字节码装载到内部,解释/编译为对应平台上的机器指令执行。 Java虚拟机规范定义了一个抽象的——…...

Android 10.0 第三方Launcher设置默认Launcher后导致Recent最近任务键无效

1.前言 在10.0的系统rom定制化开发中,在进入launcher的定制过程中,在某些产品中,需要设置第三方launcher为默认Launcher功能, 所以在设置以后,会发现最近recent键无效,所以接下来需要分析相关流程来实现相关功能的实现 2.第三方Launcher设置默认Launcher后导致Recent最…...

状态模式详解与真实场景案例(Java实现)

模式定义 状态模式(State Pattern) 允许对象在其内部状态改变时改变它的行为,使对象看起来像是修改了它的类。属于行为型设计模式,核心思想是将状态抽象为独立对象,不同状态下行为封装在不同状态类中。 解决的问题 …...

uniapp-商城-26-vuex 使用流程

为了能在所有的页面都实现状态管理,我们按照前面讲的页面进行状态获取,然后再进行页面设置和布局,那就是重复工作,vuex 就会解决这样的问题,如同类、高度提炼的接口来帮助我们实现这些重复工作的管理。避免一直在造一样的轮子。 https://vuex.vuejs.org/zh/#%E4%BB%80%E4…...

科技快讯 | 智谱开源最新GLM模型系列;“AI 洗头店”现身广州;ChatGPT上线图库功能

智谱开源最新GLM模型系列,启用全球域名“Z.ai” 4月15日,智谱开源最新GLM模型系列,包括32B和9B尺寸,涵盖基座、推理、沉思三类模型,全部遵循MIT开源许可协议。推理模型GLM-Z1-32B-0414实测推理速度达200 tokens/秒&…...

LeetCode 2537.统计好子数组的数目:滑动窗口(双指针)

【LetMeFly】2537.统计好子数组的数目:滑动窗口(双指针) 力扣题目链接:https://leetcode.cn/problems/count-the-number-of-good-subarrays/ 给你一个整数数组 nums 和一个整数 k ,请你返回 nums 中 好 子数组的数目。 一个子数组 arr 如果…...

精益数据分析(1/126):从《精益数据分析》探寻数据驱动增长之道

精益数据分析(1/126):从《精益数据分析》探寻数据驱动增长之道 在当今数字化时代,数据无疑是企业发展的关键驱动力,对于竞争激烈的程序化广告行业更是如此。最近我在研读《精益数据分析》这本书,收获颇丰&…...

uniapp-商城-27-vuex 通用方法

1 概述 上节说了vuex 的基本使用方法,分析了基本的使用方法。 在使用中,常见使用,我们要针对状态,购物车,不同类事务的管理,如果按照上节课的通用方法,那么使用和维护是会很大的难度的。 所以这里就必须要进行处理,借助 modules 进行定义不同类事务的处理手段。便于…...

MetaLiveX:用AI重新定义直播互动的边界

“直播的核心价值,在于它能否让观众从‘旁观者’变为‘共創者’。”在近期一场数字技术峰会上,杜子程(Emma Zicheng Du)首次公开阐释了其团队研发的MetaLiveX平台核心理念。这一以AI为驱动的智能直播系统,正通过动态场景生成与情感化交互设计,重新定义虚拟社群的参与逻辑。目前…...

线程安全学习

1 什么是线程 线程是cpu调度的最小单位&#xff0c;在Linux 下 实现线程的方式为轻量级进程&#xff0c;复用进程的结构体&#xff0c;使用clone函数创建 2 线程安全 所谓线程安全&#xff0c;更确切的应该描述为内存安全 #include <stdio.h> #include <pthread.h…...

三层路由器,SSH远程登录访问路由器,通过telnet远程登录访问路由器(不安全),路由器的基本设置之多网络互联解决办法:单臂路由

三层路由器 默认路由器端口关闭&#xff1a;no shutdown &#xff08;开启&#xff09;需进入端口默认路由开启&#xff1a;无需 ip routing路由器充当网关&#xff0c;可以连接不同网络接口种类丰富&#xff0c;数量少 SSH远程登录访问路由器 记得设IP Would you like to e…...

分布式光伏电站运维难?Acrel-1000DP助力安全稳定运行

针对用户新能源接入后存在安全隐患、缺少有效监控、发电效率无法保证、收益计算困难、运行维护效率低等通点&#xff0c;提出的Acrel-1000DP分布式光伏监控系统平台&#xff0c;对整个用户电站全面监控&#xff0c;为用户实现降低能源使用成本、减轻变压器负载、余电上网&#…...

基于sherpa-onnx 安卓语音识别尝鲜

sherpa-onnx简介 Sherpa&#xff1a;是一个由 K2-FSA 团队 开发的 开源语音处理框架&#xff0c;旨在解决传统语音识别工具&#xff08;如 Kaldi&#xff09;在模型部署和跨平台适配中的复杂性问题。它通过整合现代深度学习技术和高效推理引擎&#xff0c;提供了从语音识别、合…...

利用 Python 和 AI 技术创作独特的图像艺术作品

1. 项目目标 生成艺术作品&#xff1a;利用 AI 模型&#xff08;如 Stable Diffusion&#xff09;生成具有艺术风格的图像。自定义风格&#xff1a;通过文本提示&#xff08;prompt&#xff09;控制图像的艺术风格&#xff08;如赛博朋克、印象派、超现实主义等&#xff09;。…...

Web自动化测试的详细流程和步骤

&#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 Web自动化测试是软件测试中非常重要的一种测试方法&#xff0c;它通过编写脚本来模拟人工操作网页&#xff0c;从而实现对Web应用程序进行自动化测试的过程。为了保…...

记录一个坑关于STM32 ARM Compiler Version

在用 Keil 进行 STM32 开发的时候&#xff0c;一开始下载&#xff0c;下载的 ARM 编译器是 Version6&#xff0c;他就不兼容老的代码&#xff0c;就很抽象。 所以必须要更换编译器。 可以去官网下载编译器 Downloads - Arm Developer &#xff0c;也可以自己找资源哈&#xff…...

TCP实现多线程远程命令执行

1.上一篇篇代码改进 bind的绑定第一个是对象&#xff0c;其余的都是参数&#xff0c;传给一个类需要this指针&#xff0c;所以有&r 错误地方是智能指针的参数要加&&#xff0c;thread.name()要删除 2.介绍需要用到函数 popen函数 FILE *popen(const char *command, …...

【MySQL】索引特性

文章目录 &#x1f449;没有索引可能会有什么问题&#x1f448;&#x1f449;认识磁盘&#x1f448;前置知识MySQL 与磁盘磁盘定位扇区结论磁盘随机访问与连续访问MySQL 与磁盘交互基本单位 &#x1f449;MySQL 的整体轮廓&#x1f448;&#x1f449;索引的理解&#x1f448;建…...

红宝书第四十七讲:Node.js服务器框架解析:Express vs Koa 完全指南

红宝书第四十七讲&#xff1a;Node.js服务器框架解析&#xff1a;Express vs Koa 完全指南 资料取自《JavaScript高级程序设计&#xff08;第5版&#xff09;》。 查看总目录&#xff1a;红宝书学习大纲 一、框架定位&#xff1a;HTTP服务器的工具箱 共同功能&#xff1a; 快…...

SDK游戏盾ip可以破解吗

从技术实现和法律合规性角度&#xff0c;​​不建议也不应尝试破解SDK游戏盾的IP防护机制​​。以下是详细分析&#xff1a; ​​一、法律与道德风险​​ ​​违法行为​​ 破解游戏盾的IP防护属于​​非法侵入计算机信息系统​​或​​破坏网络安全​​的行为&#xff0c;可能…...

​​eBay东南亚爆单密码:72小时交付计划如何重构厦门仓+东南亚供应链?​

2024年东南亚电商市场规模预计突破2340亿美元&#xff0c;年复合增长率达18%。eBay最新战略将厦门纳入海外仓核心节点&#xff0c;推出“72小时交付计划”&#xff0c;通过“仓配转”一体化链路&#xff0c;助力中国卖家实现东南亚市场订单履约率提升10%&#xff0c;退货成本降…...

大语言模型

1.当前有哪些主流AI方向 1.1大语言模型方向 OpenAI的GPT语言模型系列&#xff0c;o3等推理模型系列 综合能力强 anthrotic的claude系列&#xff0c;推理预测混合模型 代码能力强 DeepSeek的V系列&#xff0c;R1推理模型 …...

深入理解Java缓冲输入输出流:性能优化的核心武器

在Java应用程序的IO操作中,频繁的磁盘读写或网络传输往往是性能瓶颈的主要来源。JDK提供的缓冲流(Buffered Streams)通过内存缓冲机制,将零碎的IO操作转化为批量处理,成为提升IO效率的关键技术。本文将从设计原理、核心机制到实战技巧,全面解析缓冲流的技术细节。 一、缓…...

AI 对话高效输入指令攻略(一):了解AI对话指令

目录 引 一.认识 AI 对话中的指令基础​ 1.运行原理​ 2.智能体在 AI 对话中的关键角色与运行机制​ 3.智能体的核心任务​ 4.对不同指令的响应差异​ 5.针对不同指令类型的处理方式​ 6.智能体在底层逻辑中的运作​ 二.高效输入指令的底层逻辑​ 1.语义匹配逻辑​ …...

AI大模型从0到1记录学习 数据结构和算法 day19

常用算法 查找算法 二分查找 算法原理 二分查找又称折半查找&#xff0c;适用于有序列表。其利用数据的有序性&#xff0c;每轮缩小一半搜索范围&#xff0c;直至找到目标元素或搜索区间为空为止。 代码实现 def binary_search(arr, target): left, right 0, len(arr) - 1 w…...

Python + Playwright:使用正则表达式增强自动化测试

Python + Playwright:使用正则表达式增强自动化测试 前言一、 为什么选择正则表达式?二、 Playwright 中集成正则表达式:途径与方法三、 实战应用:正则表达式解决典型测试难题场景 1:定位 ID 或 Class 包含动态部分的元素场景 2:验证包含可变数字或文本的提示信息场景 3:…...

构建用户友好的记账体验 - LedgerX交互设计与性能优化实践

构建用户友好的记账体验 - LedgerX交互设计与性能优化实践 发布日期: 2025-04-16 引言 在财务管理应用领域&#xff0c;技术实力固然重要&#xff0c;但最终决定用户留存的往往是日常使用体验。本文作为LedgerX技术博客的第二篇&#xff0c;将深入探讨我们如何通过精心的交互…...

AI赋能PLC(一):三菱FX-3U编程实战初级篇

前言 在工业自动化领域&#xff0c;三菱PLC以其高可靠性、灵活性和广泛的应用场景&#xff0c;成为众多工程师的首选控制设备。然而&#xff0c;传统的PLC编程往往需要深厚的专业知识和经验积累&#xff0c;开发周期长且调试复杂。随着人工智能技术的快速发展&#xff0c;利用…...

人工智能——梯度提升决策树算法

目录 摘要 14 梯度提升决策树 14.1 本章工作任务 14.2 本章技能目标 14.3 本章简介 14.4 编程实战 14.5 本章总结 14.6 本章作业 本章已完结&#xff01; 摘要 本章实现的工作是&#xff1a;首先采用Python语言读取含有英语成绩、数学成绩以及学生所属类型的样本数据…...

智能家居适老化改造:让科技回归“无感服务”

在老龄化加速与科技飞速发展的当下&#xff0c;智能家居适老化改造成为提升老年人生活品质的关键举措。 理想的适老化智能家居&#xff0c;应实现 “无感服务”&#xff0c;即让老年人在无需刻意操作或复杂学习的情况下&#xff0c;自然、流畅地享受科技带来的便利&#xff0c…...

2025年最新Web安全(面试题)

活动发起人小虚竹 想对你说&#xff1a; 这是一个以写作博客为目的的创作活动&#xff0c;旨在鼓励大学生博主们挖掘自己的创作潜能&#xff0c;展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴&#xff0c;那么&#xff0c;快来参加吧&#xff01…...

【linux】命令收集

1. 系统信息 uname -m&#xff1a;显示处理器架构uname -r&#xff1a;显示内核版本arch&#xff1a;显示处理器架构cat /proc/cpuinfo&#xff1a;查看CPU信息cat /proc/meminfo&#xff1a;查看内存使用情况cat /proc/version&#xff1a;显示内核版本date&#xff1a;显示系…...

从零到一:网站设计新手如何快速上手?

从零到一&#xff1a;网站设计新手如何快速上手&#xff1f; 在当今数字化时代&#xff0c;网站已成为企业、个人展示信息、提供服务的重要窗口。对于想要涉足网站设计领域的新手而言&#xff0c;如何快速上手并掌握必要的技能成为首要任务。本文将从基础知识、软件工具、设计…...

API平台(API网关)的API安全保障机制

API安全保障机制是一个复杂而重要的任务&#xff0c;需要综合运用多种技术和策略来确保API的安全性和稳定性。 1.黑名单 将不合法的服务、API及终端加入平台黑名单&#xff0c;限制其访问。支持黑名单的列表展示&#xff0c;且可将内容从黑名单删除。按类型、内容搜索黑名单。…...

【软考】论devops在企业信息系统开发中的应用

摘要&#xff1a; 随着互联网的不断发展&#xff0c;各行各业都在建设自己的企业信息系统&#xff0c;而随着业务的不断升级和复杂化&#xff0c;系统的更新迭代速度越来越快&#xff0c;系统也越来越复杂。对于信息系统开发者&#xff0c;架构师&#xff0c;管理者&#xff0c…...

端、管、云一体化原生安全架构 告别外挂式防护!

面对数字化转型浪潮&#xff0c;企业网络安全风险日益凸显。数据泄露、黑客勒索等事件频发&#xff0c;合规要求加速推进。尽管企业纷纷部署了防病毒、身份认证、文件加密、入侵防护、流量监控等多种安全系统&#xff0c;但分散且孤立的架构非但没有有效抵御风险&#xff0c;反…...

每天记录一道Java面试题---day39

GC如何判断对象可以被回收了 回答重点 引用计数法&#xff1a; - 每个对象由一个引用计数属性&#xff0c;新增一个引用时计数器加1&#xff0c;引用释放时计数减1&#xff0c;计数为0时可以回收。可达性分析法&#xff1a; - 从GC Roots开始向下搜索&#xff0c;搜索所走过的…...

码界奇缘 Java 觉醒 后记 第二十五章 安全结界攻防战 - 从沙箱到模块化

第二十五章&#xff1a;安全结界攻防战 - 从沙箱到模块化 知识具象化场景 陆小柒站在由安全策略文件堆砌的古城墙上&#xff0c;眼前是千疮百孔的沙箱结界。空中漂浮着残缺的SecurityManager符石&#xff0c;远处java.security包化身的青铜守卫正在崩塌&#xff1a; 权限校验…...

【数据结构】励志大厂版·初阶(复习+刷题):线性表(顺序表)

前引&#xff1a;上一篇我们复习了复杂度&#xff0c;今天我们来通过实践回忆我们的线性表知识点&#xff0c;下面将讲解什么是线性表&#xff0c;顺序结构又是什么&#xff0c;知识点简洁精髓&#xff0c;无废话可言&#xff0c;小编会从每个细节讲起&#xff0c;包含头文件的…...

C 语言结构体中的函数指针与 Kotlin 高阶函数的对比

在学习 C 语言的过程中&#xff0c;很多 Java/Kotlin 背景的开发者都会对结构体中出现的“函数指针”感到陌生。特别是当看到如下代码时&#xff1a; struct Animal {void (*speak)(void); };void dogSpeak() {printf("Woof!\n"); }int main() {struct Animal dog;d…...

MicroK8s和K8s的区别优劣在哪?

运行ubuntu24.04后提示这么一段话&#xff1a; Strictly confined Kubernetes makes edge and IoT secure. Learn how MicroK8sjust raised the bar for easy, resilient and secure K8s cluster deployment.https://ubuntu.com/engage/secure-kubernetes-at-the-edge 这段话…...

C++指针和引用之区别(The Difference between C++Pointers and References)

面试题&#xff1a;C指针和引用有什么区 C指针和引用有什么区别&#xff1f; 在 C 中&#xff0c;指针和引用都是用来访问其他变量的值的方式&#xff0c;但它们之间存在一些重要的区别。了解这些区别有助于更好地理解和使用这两种工具。 01 指针 指针&#xff08;Pointer…...

Linux——Shell编程之正则表达式与文本处理器(笔记)

目录 基础正则表达式 1:基础正则表达式示例 &#xff08;4&#xff09;查找任意一个字符“.”与重新字符“*” &#xff08;5&#xff09;查找连续字符范围“{ }” 文本处理器 一、sed工具 二、awk工具 &#xff08;1&#xff09;按行输出文本 &#xff08;2&#xff0…...