StarRocks Community Monthly Newsletter (Apr)
版本动态
3.4.3 版本更新
核心功能升级
-
Routine Load和Stream Load新增Lambda表达式支持，支持复杂的列数据提取
-
增强JSON数据处理能力，支持将JSON Array/Object转为ARRAY/MAP类型
-
优化information_schema.task_runs视图查询，新增LIMIT支持
性能与稳定性提升
-
修复查询ORC格式Hive表时的读取错误
-
修复查询含Equality Delete文件的Iceberg表时RuntimeFilter无法下推的问题
-
修复查询队列功能未启用时的超时误触发问题
🔎Release Note： https://docs.mirrorship.cn/zh/releasenotes/release-3.4/
3.4.2 版本更新
功能优化
-
FE支持优雅退出机制，通过
./stop_fe.sh -g命令退出时会：-
向Load Balancer返回500状态码
-
继续执行当前查询直至完成或超时（默认60秒）
-
性能与稳定性提升
-
修复分区列为生成列时分区裁剪可能失效的问题
-
修复concat函数参数处理导致的BE崩溃问题
-
修复Broker Load导入时ssl_enable属性不生效的问题
3.3.13 版本更新
功能优化
-
审计日志和QueryDetail接口新增FE内存消耗指标
-
优化并发创建表达式分区的策略
-
新增存活FE节点数的监控指标
-
information_schema.task_runs视图支持LIMIT下推
-
修复多个CVE安全问题
-
主键表PUBLISH阶段支持Retry机制
-
降低Flat JSON的内存占用
-
information_schema.routine_load_jobs视图新增timestamp_progress列
-
增强LDAP授权验证机制
-
AVRO文件与Hive表Schema不一致时明确报错
-
物化视图新增excluded_refresh_tables属性
性能与稳定性提升
-
修复Flat JSON不支持get_json_bool函数的问题
-
修复SHOW AUTHENTICATION语句返回密码的安全问题
-
修复percentile_count函数返回错误
-
修复大算子落盘策略导致的问题
-
修复BE黑名单后Stream Load仍分发任务的问题
🔎Release Note：https://docs.mirrorship.cn/zh/releasenotes/release-3.3/
3.3.12 版本更新
新增功能
-
新增percentile_approx_weighted函数支持
-
支持修改Hive Catalog和Hudi Catalog的Property配置
-
Paimon Catalog新增Manifest Cache功能
-
Paimon Catalog支持SHOW PARTITIONS操作
-
Paimon Catalog支持统计信息收集
功能优化
-
统计信息收集功能多项优化与问题修复
-
优化建表失败的错误提示信息
-
增强Broker Load的重试机制
-
提升array_generate函数执行效率
性能与稳定性提升
-
修复INSERT INTO FILES不支持CSV分隔符转换的问题
-
修复Iceberg REST Catalog的若干问题
-
修复基于视图的物化视图改写丢失谓词的问题
-
修复Paimon Catalog读取变更表失败的问题
StarRocks 应用
1.StarRocks 集群运维工具
贡献者：夏天
-
项目亮点：
-
全局监控：一键查看集群核心指标、运行/排队任务及资源隔离状态
-
深度洞察：细粒度监控节点资源（CPU/内存/存储）及查询负载
-
精准定位：快速追踪特定SQL或连接，高效排查问题
-
-
项目介绍：https://forum.mirrorship.cn/t/topic/18550
-
项目地址：https://github.com/chengkenli/StarRocksDevops
2.StarRocks 权限可视化工具
贡献者：夏天
-
项目亮点：
-
批量权限管理：支持3000+用户权限的集中查看与管理，告别繁琐的逐条SQL查询
-
快速权限定位：一键检索特定用户/角色的权限明细，提升权限稽核效率
-
多Catalog支持：适配复杂多Catalog环境，实现跨数据源的统一权限视图
-
-
项目介绍：https://forum.mirrorship.cn/t/topic/18299/2
-
项目地址：https://github.com/chengkenli/getu 11
文档动态
-
【文档体验】：新增功能成熟度标签【试验性】以及 【Beta】。
-
【数据湖】：新增文档 为 AWS S3 表创建 Iceberg REST Catalog。
-
【管理手册】
更新文档 存算分离集群 Compaction。
新增/优化部分 FE/BE 配置项 描述。
-
【参考手册】：优化部分 SQL 及函数参考文档的示例。
本月精选内容
文章精选
迈向云原生：理想汽车 OLAP 引擎变革之路
StarRocks 查询优化器深度解析
从被动救火到主动预防，StarRocks 监控与告警全攻略
RAG 实战｜用 StarRocks + DeepSeek 构建智能问答与企业知识库
千万级数据秒级响应！碧桂园服务技术引擎重构智慧社区新标杆
StarRocks 助力首汽约车精细化运营
StarRocks Compaction&内存异常问题深度剖析
如何实现 SQL Server 全库 2000+ 表高效同步至 StarRocks
StarRocks 存算一体集群迁移至存算分离，BE减少25%！
StarRocks问题复盘 Clone RUNTIME_ERROR 及修复
StarRocks Zonemap Index
Flink高性能读写StarRocks内表剖析
Apache Paimon数据湖查询引擎StarRocks
视频精选
【中字教程】数据入湖到可视化：Hudi+MinIO+StarRocks + HiveMetaStore + Apache SuperSet
本月精选活动
StarRocks 社区 2025 布道师计划正式开启
StarRocks 社区 2025 布道师计划正式开启！我们诚邀开发者围绕技术内容创作、演讲分享、社区答疑三大方向参与共建：可以分享你在 AI、湖仓一体、性能优化等场景中的实践，也可以登上 Meetup 或技术峰会的舞台，更可以在论坛和微信群中积极答疑、助力他人。
每月将评选「社区答疑之星」，优秀作品和积分奖励将于 6 月底公布，并收录于社区月报。
参与方式、积分规则及积分商城详情，敬请查阅正文。来领奖啦！StarRocks 社区 2025 布道师计划正式开启
StarRocks 小课堂 | 监控告警全覆盖，别等服务挂了才处理！
4 月 16 日，StarRocks 小课堂邀请镜舟科技 DBA 团队负责人景丹，深入解读监控告警前的核心要点，涵盖：
服务监控 & 故障处理：FE/BE 服务挂起、Schema Change 失败、Compaction 异常等场景的应对方案；
服务可用性监控：Checkpoint 异常、Routine Load 延迟、物化视图刷新失败等问题的排查技巧；
资源 & 查询监控：CPU/内存过载、连接数异常、查询耗时升高等性能瓶颈的优化建议。
告别被动救火，掌握监控主动权
⏬演讲文档：从被动救火到主动预防，StarRocks 监控与告警全攻略
📺视频回放：StarRocks 小课堂| 监控告警全覆盖，别等服务挂了才处理！
本月新晋 Contributor
感谢新朋友们为 StarRocks 社区注入活力！期待你们继续闪耀光芒，与社区共同成长，创造更多精彩！✨🚀
GitHub：https://github.com/StarRocks/starrocks
中文社区官网：https://www.mirrorship.cn/zh-CN/community
相关文章：
)
StarRocks Community Monthly Newsletter (Apr)
版本动态 3.4.3 版本更新 核心功能升级 Routine Load和Stream Load新增Lambda表达式支持，支持复杂的列数据提取 增强JSON数据处理能力，支持将JSON Array/Object转为ARRAY/MAP类型 优化information_schema.task_runs视图查询，新增LIMIT支持…...
延时双删-争议与我的思路-001
目录 概括大概思路目的场景思路一退货时间差 思路2思路3 最后 概括 延时双删,是指在代码中删除两次缓存. 第一次自己访问,先删除.之后直接访问数据库获得数据 第二次是指 在第一步之后,在删除一次缓存的数据 大概思路 不进行延时双删的.寻找别的解决方法 目的 主要是为了…...
Tomcat简述介绍
文章目录 Web服务器Tomcat的作用Tomcat分析目录结构 Web服务器 Web服务器的作用是接收客户端的请求，给客户端作出响应。 知名Java Web服务器 Tomcat（Apache）：用来开发学习使用；免费，开源JBoss࿰…...
掌握版本控制从本地到分布式
一、什么是版本控制？ 版本控制是一种记录文件（尤其是源代码）在“时间轴”上变更的系统，主要功能包括： 历史回溯：随时恢复到任意版本的代码或文档；差异比较：查看两个版本之间的改动…...
Linux `touch` 命令深度解析与高阶应用指南
Linux `touch` 命令深度解析与高阶应用指南 一、核心功能解析1. 基本作用2. 与类似操作对比二、选项系统详解1. 基础选项说明2. 时间格式说明三、高阶应用技巧1. 时间戳控制2. 批量文件操作3. 特殊文件处理四、企业级应用场景1. 日志系统维护2. 持续集成系统3. 安全审计跟踪五、…...
Django学习
1：在PyCharm终端： # 查看已安装的Django版本 python -m django --version # 或 pip show django # 卸载当前Django pip uninstall django# 安装指定版本（例如Django 3.2.10） pip install django3.2.10 2. 检查Python版本兼容性 …...
Java IO框架
I/O框架 流 流的分类： 按方向： 输入流：将存储设备的内容读入到内存中 输出流：将内存的内容写入到存储设备中 按单位： 字节流：以字节为单位，可以读取所有数据 字符流：以字符为单…...
Spring AI Alibaba集成阿里云百炼大模型
1.准备工作 开发环境：JDK17、SpringBoot3.x 2.引入maven依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance&q…...
5月18总结
一.算法题总结 1. 解题思路：对于这个题，我最开始想到就是二分，但是头痛的是有三个解，如果我在-100到100之间二分，那么只能得出一个解，然后我就想了一下，这个要求精度，那么0.01这么小…...
动态规划（4）可视化理解：图形化思考
引言 动态规划作为一种强大的算法设计范式，其抽象性常常使初学者感到困惑。许多学习者在理解状态定义、状态转移方程和递归结构时遇到困难，这些困难往往源于动态规划问题的高度抽象性和复杂性。然而，人类的大脑天生擅长处理视觉信息，通过将抽象的动态规划概念转化为直观的…...
2025年- H31-Lc139- 242.回文链表（快慢指针）---java版--需2刷
1.题目描述 2.思路 （1）将链表取中位数，分为左右两部分。 （2）右半部分的元素进行反转链表，能达到O（1）的空间复杂度 （3）再判断左右部分的元素，是否…...
云原生安全：IaaS安全全解析（从基础到实践）
🔥「炎码工坊」技术弹药已装填！ 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、基础概念：IaaS的核心价值与安全边界 1.1 什么是IaaS？ 基础设施即服务（Infrastructure as a Service）是云计算的基础层，提供虚拟机、存储、网络等基础资源。用户通过…...
【AGI】大模型微调数据集准备
【AGI】大模型微调数据集准备 （1）模型内置特殊字符及提示词模板（2）带有系统提示和Function calling微调数据集格式（3）带有思考过程的微调数据集结构（4）Qwen3混合推理模型构造微调数据…...
二分算法的介绍简单易懂
目录 1.概论 2.朴素的二分算法 3.求左端点的二分算法和求右端点的二分算法 4.总结 1.概论 要想了解什么是二分算法，我们就要知道什么是二分算法，二分算法是根据数组的规律，每次查找的数据原来的效率可能要O（n）,而我…...
Trae IDE和VSCode Trae插件初探
Trae IDE初探 输入以下提示词： 生成一个to do list清单web页面，采用vue实现，可以在页面上进行todolist进行增删改查。 VSCode Trae插件初探 trae vscode插件初探 tips：如果还是提示找不到npm命令，重启vscode即可&am…...
数据结构 -- 树形查找（三）红黑树
红黑树 为什么要发明红黑树 平衡二叉树AVL：插入/删除很容易破坏平衡性，需要频繁调整树的形态。如：插入操作导致不平衡，则需要先计算平衡因子，找到最小不平衡子树（时间开销大），在进行…...
Mac 在恢复模式下出现 旋转地球图标 但进度非常缓慢
如果您的 Mac 在恢复模式下出现 旋转地球图标 但进度非常缓慢，可能是由于网络连接或系统恢复机制的问题。以下是详细的解决方案： 1. 检查网络连接 • Wi-Fi 信号：确保您的 Wi-Fi 信号稳定，建议靠近路由器或使用有线网络ÿ…...
格式数据集】以及【制作VOC格式数据集 】)
【YOLO（txt）格式转VOC(xml)格式数据集】以及【制作VOC格式数据集 】
1.txt—>xml转化代码 如果我们手里只有YOLO标签的数据集，我们要进行VOC格式数据集的制作首先要进行标签的转化，以下是标签转化的脚本。 其中picPath为图片所在文件夹路径； txtPath为你的YOLO标签对应的txt文件所在路径； xmlPa…...
【信息系统项目管理师】第8章：项目整合管理 - 39个经典题目及详解
更多内容请见： 备考信息系统项目管理师-专栏介绍和目录 文章目录 【第1题】【第2题】【第3题】【第4题】【第5题】【第6题】【第7题】【第8题】【第9题】【第10题】【第11题】【第12题】【第13题】【第14题】【第15题】【第16题】【第17题】【第18题】【第19题】【第20题】【第…...
“Cloud Native English“云原生时代下的微服务架构设计：从理论到实战全解析
前引 ：技术演进与架构变革的必然性 在数字经济高速发展的今天，软件系统的复杂度呈指数级增长。传统单体架构已无法满足高并发、弹性扩展和快速迭代的需求。根据Gartner预测，到2026年全球75%的企业将完成微服务架构改造。本文将深入探讨云原生…...
自由学习记录（61）
使用了 #pragma multi_compile_fwdbase 这条编译指令启用了 Unity 内部用于主光源阴影支持的一组关键词变体，如： SHADOWS_SCREEN（屏幕空间阴影贴图） SHADOWS_DEPTH（深度图阴影） SHADOWS_SOFT（…...
深入了解linux系统—— 基础IO（下）
前言 在基础IO（上）中，我们了解了文件相关的系统调用；以及文件描述符是什么，和操作系统是如何将被打开的文件管理起来的。 本篇文章来继续学习文件相关的知识 重定向 在了解重定向之前，我们先来看这样的…...
Flink Table SQL
Apache Flink 提供了强大的 Table API 和 SQL 接口，用于统一处理批数据和流数据。它们为开发者提供了类 SQL 的编程方式，简化了复杂的数据处理逻辑，并支持与外部系统集成。 🧩 一、Flink Table & SQL 核心概念 概念描述Table…...
【Git】基本操作
【简介】 Git是一种“版本控制器”， 可以用于记录每次的修改以及版本的迭代 其可以控制电脑上所有格式的文件，方便地查看文件的每个小修改版本都修改了什么内容，但前提条件是被管理的文件需要放在对应的git仓库（又名“版本库”&…...
【八股战神篇】MySQL高频面试题
目录 专栏简介 一 什么是索引 延伸 1 索引的底层使用的是什么数据结构？ 2 MySQL 索引分类有哪些？ 3 什么字段适合创建索引？ 4 索引失效的场景 5 什么是最左匹配原则？ 二 为什么 InnoDB 存储引擎选用 B 树而不是 B 树呢&a…...
服务器防文件上传手写waf
一、waf的目录结构，根据自己目录情况进行修改 二、创建文件夹以及文件 sudo mkdir -p /www/server/waf-monitor sudo mkdir -p /www/server/waf-monitor/quarantine #创建文件夹 chmod 755 /www/server/waf-monitor #赋权cd /www/server/waf-monitor/touch waf-m…...
ElasticSearch-集群
本篇文章依据ElasticSearch权威指南进行实操和记录 1，空集群 即不包含任何节点的集群 集群大多数分为两类，主节点和数据节点 主节点 职责：主节点负责管理集群的状态，例如分配分片、添加和删除节点、监控节点故障等。它们不直接…...
Android开发——原生渲染方案实现 PDF 预览功能
Android开发——原生渲染方案实现 PDF 预览功能 1. 引言2. 原生渲染方案核心设计：从数据到视图3. 混合文档容器：ViewPager2 与适配器设计1. 引言 在移动应用开发中，PDF 预览是文档处理场景的核心需求之一。Android 生态提供了多元化的技术方案，从系统级简版预览到原生渲染…...
Java求职者面试：从Spring Boot到微服务的技术点解析
Java求职者面试：从Spring Boot到微服务的技术点解析 场景：互联网医疗-预约挂号系统 面试官： “小明，我们今天的场景是一个互联网医疗的预约挂号系统。我们需要支持高并发的用户预约操作，同时保证数据一致性和系统的高…...
操作系统听课笔记之进程的概念
引入新的概念,为什么不能叫程序 内存中进程Image实例: stack: 局部变量(函数弹出来没有了) data: 全局变量(共享) 静态变量 heap: malloc分配的内存 从数据结构和算法角度解决问题: 设计相应的数据结构和设计算法 数据结构: 进程PCB 算法:创建进程和进程通信各种操作在线内…...
【基于Spring Boot 的图书购买系统】深度讲解 用户注册的前后端交互，Mapper操作MySQL数据库进行用户持久化
引言 在现代Web应用中，用户注册功能是用户与应用交互的入口。一个高效、安全且用户友好的注册系统不仅能吸引用户，还能为后续功能（如个性化服务）奠定基础。本博客将通过一个实际案例，展示如何使用HTML、JavaScript、j…...
Spark，连接MySQL数据库，添加数据，读取数据
以下是使用 Spark/SparkSQL 连接 MySQL 数据库、添加数据和读取数据的完整示例（需提前准备 MySQL 驱动包）： 一、环境准备 1. 下载 MySQL 驱动 - 下载 mysql-connector-java-8.0.33.jar （或对应版本），放…...
ubuntu的虚拟机上的网络图标没有了
非正常的关机导致虚拟机连接xshell连接不上，ping也ping不通。网络的图标也没有了。 记录一下解决步骤 1、重启服务 sudo systemctl restart NetworkManager 2、图标显示 sudo nmcli network off sudo nmcli network on 3、sudo dhclient ens33 //(网卡) …...
Linux系统：ext2文件系统的核心概念和结构
本节重点 块、块组、分区的引入块组的构成inode与inode Table路径解析与路径缓存机制目录与文件名在文件系统中的存储分区的初始化与挂载 一、ext2文件系统 1.1 “块”的引入 在前言部分我们说扇区是磁盘硬件的最小读写单位，通常为512字节，但是在操作…...
Python 装饰器详解
装饰器是 Python 中一种强大的语法特性，它允许在不修改原函数代码的情况下动态地扩展函数的功能。装饰器本质上是一个高阶函数，它接受一个函数作为参数并返回一个新的函数。 基本装饰器 1. 简单装饰器示例 def my_decorator(func):def wrapper():prin…...
Docker配置容器开机自启或服务重启后自启
要将一个 Docker 容器设置为开机自启，你可以使用 docker update 命令或配置 Docker 服务来实现。以下是两种常见的方法： 方法 1：使用 docker update 设置容器自动重启 使用 docker update 设置容器为开机自启 你可以使用以下命令，…...
20250518 黎曼在三维空间中总结的一维二维的规律，推广到高维度合适吗？有没有人提出反对意见
黎曼在三维空间中总结的一维二维的规律，推广到高维度合适吗？有没有人提出反对意见 黎曼几何在数学物理中的广泛应用，尤其是在广义相对论和高维空间理论中，确实是建立在黎曼在三维空间中的推广基础上的。不过，这种推广…...
使用AI 生成PPT 最佳实践方案对比
文章大纲 一、专业AI生成工具（推荐新手）**1. 推荐工具详解****2. 操作流程优化****3. 优势与局限**二、代码生成方案（开发者推荐）**1. Python-pptx进阶用法****2. GitHub推荐**三、混合工作流（平衡效率与定制）**1. 工具链升级****2. 示例Markdown结构**四、网页转换方案（…...
集群)
【Docker】Docker Compose方式搭建分布式协调服务(Zookeeper)集群
开发分布式应用时,往往需要高度可靠的分布式协调,Apache ZooKeeper 致力于开发和维护开源服务器，以实现高度可靠的分布式协调。具体内容见zookeeper官网。现代应用往往使用云原生技术进行搭建,如何用Docker搭建Zookeeper集群,这里介绍使用Docker Compose方式搭建分布…...
)
R for Data Science(3)
R for Data Science以下是关于网页内容的详细笔记： 1. 章节概览 章节主题：数据转换（Data Transformation）核心内容：介绍如何使用 R 中的 dplyr 包进行数据转换，包括对数据框的行、列和组的操作࿰…...
深入浅出Hadoop：大数据时代的“瑞士军刀”
深入浅出Hadoop：大数据时代的“瑞士军刀” 在当今这个数据爆炸的时代，每天产生的数据量已经远超人类的想象。从社交媒体的互动到电商平台的交易记录，从物联网设备的实时监控到科学研究的实验数据，大数据已经成为推动各行各业变革…...
《Python星球日记》 第94天：走近自动化训练平台
名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》 创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊） 目录 一、自动化训练平台简介1. Kubeflow Pipelines2. TensorFlow Extended (TFX) 二…...
MetaMask安装及使用-使用水龙头获取测试币的坑？
常见的异常有： 1.unable to request drip, please try again later. 2.You must hold at least 1 LINK on Ethereum Mainnet to request native tokens. 3.The address provided does not have sufficient historical activity or balance on the Ethereum Mainne…...
软件架构之--论微服务的开发方法1
论微服务的开发方法1 摘要 2023年 2月，本人所在集团公司承接了长三角地区某省渔船图纸电子化审查系统项目开发，该项目旨在为长三角地区渔船建造设计院、以及渔船图纸审查机构提供一个便捷的渔船图纸电子化审查服务平台。在此项目中，我作为项目组成员参与项目的建设工作，并…...
SOLID 面对象设计的五大基本原则
SOLID 原则的价值 原则核心价值解决的问题SRP职责分离，提高内聚性代码臃肿、牵一发而动全身OCP通过扩展而非修改实现变化频繁修改现有代码导致的风险LSP确保子类行为的一致性继承滥用导致的系统不稳定ISP定制化接口，避免依赖冗余接口过大导致的实现负担…...
游戏引擎学习第293天:移动Familiars
回顾并为今天的内容定下基调 我们正在做一款完整的游戏，今天的重点是“移动模式”的正式化处理。目前虽然移动机制大致能运作，但写法相对粗糙，不够严谨，我们希望将其清理得更规范，更可靠一点。 目前脑逻辑࿰…...
《沙尘暴》观影记：当家庭成为人性的修罗场
起初点开《沙尘暴》，不过是想在碎片时间里寻个消遣，毕竟短剧的篇幅显得轻松无负担。未曾想，这看似简短的故事却如一场裹挟着砂砾的风暴，在心底掀起层层涟漪，让我忍不住在家庭教育、人性幽微处反复踱步沉思。 一、风暴眼…...
牛客网NC21989:牛牛学取余
牛客网NC21989:牛牛学取余 📝 题目描述 ⏱️ 限制条件 时间限制：C/C/Rust/Pascal 1秒，其他语言2秒空间限制：C/C/Rust/Pascal 32 M，其他语言64 M输入范围：两个整数，在int范围内 📥…...
王者荣耀游戏测试场景题
如何测试一个新英雄：方法论与实践维度 测试一个新英雄不仅仅是“打打打”，而是一套完整的测试流程，包括设计文档验证、功能验证、数值验证、性能验证、交互验证等。可以从以下多个角度展开： 🔍 1. 方法论维度 ✅ 测试…...
Spring Boot 与 RabbitMQ 的深度集成实践（二）
集成步骤详解 配置 RabbitMQ 连接信息 在 Spring Boot 项目中，通常在application.properties或application.yml文件中配置 RabbitMQ 的连接信息。以application.yml为例，配置如下： spring: rabbitmq: host: localhost port: 5672 usern…...