当前位置： 首页 > news >正文

Apache Kylin最简单的解析、了解

news 来源：原创 2025/6/24 2:26:37

官网：Overview | Apache Kylin

一、Apache Kylin是什么？

由中国团队研发具有浓厚的中国韵味，使用神兽麒麟（kylin）为名

的一个OLAP多维数据分析引擎:（据官方给出的数据）

  1. 亚秒级响应（亚秒内查询巨大的hive表）
  2. 支持超大数据集（PB级以上，千亿条数据）
  3. 标准SQL接口、简短易用的即席查询工具
  4. 拥有丰富的工具集成支持标准数据库协议、各种BI分析工具

可伸缩性和高吞吐量：单节点Kylin可实现每秒70个查询，还可以结合Zookeeper分布式协调服务搭建Kylin集群，速度更快。

二、Kylin架构：

三、环境、依赖、配置

Kylin版本对应最低依赖图（官方数据）

环境

  • Hadoop：Kylin 依赖 Hadoop 进行数据存储和计算。
  • Hive：用于数据源的管理和访问。
  • HBase：作为 Kylin 的默认存储引擎。
  • Spark：用于加速 Cube 构建。
  • Kylin：Apache Kylin 的核心服务。

注意：在MySQL中手动创建kylin数据库（官方默认连接mysql设置的是kylin这个数据库）

或更改配置

硬件要求：

Yarn内存设置

Kylin4.0使用Spark作为计算引擎和查询引擎，因此对spark任务运行的yarn容器内存有所要求，要求yarn容器内存不能低于4G，因此需要将Yarn容器内存调为8G，否则kylin启动会报错。 注意：yarn容器内存都调为了8G，所以三台虚拟机内存一定要大于8G，否则Kylin运行会报错，此处建议学者最低要将三台虚拟机内存设置为12G，8G，8G。（电脑内存不能低于32G）

增加ApplicationMaster 资源比例

因为Kylin的查询会生成一个在后台长期运行的Sparder任务，占用Default队列，因此一定要调大此参数，否则Kylin无法正常使用。

需要对 Kylin 进行配置。主要配置文件为：

kylin.properties：Kylin 的核心配置文件，包含元数据存储、查询引擎和存储引擎的配置。

hive-site.xml：Hive 配置文件，Kylin 需要访问 Hive 进行数据抽取。

hbase-site.xml：HBase 配置文件，Kylin 需要访问 HBase 进行数据存储。

相关文章：

Apache Kylin最简单的解析、了解

官网：Overview | Apache Kylin 一、Apache Kylin是什么？ 由中国团队研发具有浓厚的中国韵味，使用神兽麒麟（kylin）为名 的一个OLAP多维数据分析引擎:（据官方给出的数据） 亚秒级响应&#xff…...

编程日记 2025/6/24 2:26:37

axfbinhexelf文件区别

0 Preface/Foreword axf,bin,hex,elf四个都能存在于嵌入式软件领域。 1 文件介绍 嵌入式软件中常见的文件包含： axf，包含调试信息，文件最大。调试信息放在机器码前面。elfhex，包含地址信息，文件内容较大。bin&#x…...

编程日记 2025/6/24 0:59:10

MySQL表自增id溢出的故障复盘，你是如何解决与监控的

文章精选推荐 1 JetBrains Ai assistant 编程工具让你的工作效率翻倍 2 Extra Icons：JetBrains IDE的图标增强神器 3 IDEA插件推荐-SequenceDiagram，自动生成时序图 4 BashSupport Pro 这个ides插件主要是用来干嘛的 ？ 5 IDEA必装的插件&…...

编程日记 2025/6/24 1:50:45

03、SpirngMVC核心（下）

一、关于RESTful编程风格 什么是RESTful RESTful的英文全称是：Representational State Transfer（表述性状态转移） RESTful是Web服务接口的一种设计风格。它定了一组约束和规范，可以让Web服务接口更加简洁、易于理解、易于扩展、安全可靠。 RESTful对于请求的约束如下：…...

编程日记 2025/6/23 19:52:56

【游戏设计原理】10 - 科斯特的游戏理论

科斯特的游戏理论强调了游戏与学习之间的关系，认为“玩得开心”与“学习”是紧密相连的。换句话说，游戏的核心魅力在于通过适当的挑战和不断的学习进程激发玩家的内啡肽循环，这让玩家在不断的探索和进步中找到乐趣。 科斯特的理论通过游戏是…...

编程日记 2025/6/22 1:19:18

【JAVA】Java项目实战—Java EE项目：客户关系管理（CRM）系统

Java EE项目：客户关系管理（CRM）系统 一、背景介绍 1.1 Java语言的重要性 Java是一种广泛使用的编程语言，因其跨平台性、面向对象特性以及丰富的生态系统而受到开发者的青睐。Java EE（Enterprise Edition&#xff09…...

编程日记 2025/6/24 1:30:35

JAVA 零拷贝技术和主流中间件零拷贝技术应用

目录 介绍Java代码里面有哪些零拷贝技术java 中文件读写方式主要分为什么是FileChannelmmap实现sendfile实现 文件IO实战需求代码编写实战IOTest.java 文件上传阿里云，测试运行代码看耗时为啥带buffer的IO比普通IO性能高？BufferedInputStream为啥性能高点…...

编程日记 2025/6/20 5:31:19

STM32软件IIC驱动TCA9548A多路测量AHT10

STM32软件IIC驱动TCA9548多路测量AHT10 TCA9548AAHT10代码逻辑代码展示现象总结 TCA9548A TCA9548A 有八个可通过 I2C 总线控制的双向转换开关，SCL/SDA 上行对扩展到八个下行对，或者通道，适用于系统中存在I2C目标地址冲突的情况。8路双向转换…...

编程日记 2025/6/21 13:49:05

博弈论3：图游戏SG函数（Graph Games）

目录 一、图游戏是什么 1.游戏特征 2.游戏实例 二、图游戏的必胜策略 1.SG 函数（Sprague-Grundy Function） 2.必胜策略（利用SG函数） 3.拿走游戏转化成图游戏（Take-away Game -> Graph Game） 一、图…...

编程日记 2025/6/20 5:54:31

音视频入门基础：MPEG2-TS专题（17）——FFmpeg源码中，解析TS program map section的实现

一、引言 由《音视频入门基础：MPEG2-TS专题（16）——PMT简介》可以知道，PMT表（Program map table）由一个或多个段（Transport stream program map section，简称TS program map sectio…...

编程日记 2025/6/4 5:25:00

SQL server学习05-查询数据表中的数据（上）

目录 一，基本格式 1，简单的SQL查询语句 2，关键字TOP 3，关键字DISTINCT 二，模糊查询 1，通配符 三，对结果集排序 1，不含关键字DISTINCT 2，含关键字DISTINCT 3&…...

编程日记 2025/6/20 5:01:18

Transformer记录Attention is all you need

视频： Transformer 原理详解_哔哩哔哩_bilibili 代码： harvardnlp/annotated-transformer: An annotated implementation of the Transformer paper....

编程日记 2025/5/31 8:04:42

JAVA入门：使用IDE开发

JAVA入门：使用IDE开发 什么是IDE IDE（Integrated Development Environment，集成开发环境）是一种软件应用程序，它为程序开发、软件设计、项目管理等提供全面的设施。 简单来说就是简化开发过程，让编程更加…...

编程日记 2025/6/4 9:09:25

汽车嵌入式软件构建高效技术团队的全面思考

在汽车嵌入式软件开发领域，构建一支高效的通用技术团队至关重要。这类团队负责为各种项目提供可复用、标准化的技术基石，从而提高开发效率、降低成本并确保产品质量。构建这样的团队需要从技术能力、角色分工、标准化与复用、流程管理与质量保证、工具和…...

编程日记 2025/6/20 15:08:38

Debezium源码分析: TopicSelector实现原理与应用

Debezium源码分析: TopicSelector实现原理与应用 Debezium源码分析: TopicSelector实现原理与应用文章目录背景介绍主要功能应用场景实现原理DataCollectionId 接口核心设计工作流程源码分析基础实现默认选择器创建应用示例1. 分库分表场景2. 多租户场景3. 业务领域分组总结设计…...

编程日记 2025/6/1 10:05:35

SpringCloud微服务实战系列：03spring-cloud-gateway业务网关灰度发布

目录 spring-cloud-gateway 和zuul spring webflux 和 spring mvc spring-cloud-gateway 的两种模式 spring-cloud-gateway server 模式下配置说明 grayLb://system-server 灰度发布代码实现 spring-cloud-gateway 和zuul zuul 是spring全家桶的第一代网关组件&#x…...

编程日记 2025/6/21 15:38:49

【恶意软件检测论文】通过提取 API 语义来实现的一个新颖的安卓恶意软件检测方法

目录 摘要1. 引言2. 相关工作2.1. 基于重新训练的恶意软件检测2.2. 基于应用关系图的恶意软件检测2.3. 基于异常样本识别的恶意软件检测2.4. 基于API聚类的恶意软件检测 3. AMDASE概述4. 基于语义距离的API聚类4.1. API特征提取4.2. API句子生成4.3. API句子编码4.4.聚类中心生…...

编程日记 2025/6/2 22:19:30

大模型系列4--开源大模型本地部署到微调（WIP）

背景 一直想真正了解大模型对硬件资源的需求，于是准备详细看一篇视频，将核心要点总结记录下。本文内容参考视频：保姆级教程：6小时掌握开源大模型本地部署到微调，感谢up主 训练成本 训练 > 微调 > 推理训练GPT…...

编程日记 2025/6/2 15:58:11

Linux 磁盘满了怎么办？快速排查和清理方法

当 Linux 磁盘满了，会导致系统无法正常运行，比如无法写入文件、服务停止、甚至系统崩溃。因此，快速排查并清理磁盘空间是非常重要的。以下是详细的排查和解决步骤： 一、快速定位磁盘占用原因 1. 检查磁盘使用情况 使用 df 命令查…...

编程日记 2025/6/23 15:39:58

go 协程练习例题

go 协程练习例题 例1：统计 1-200000 的数字中，哪些是素数例2：使用单通道、2个协程交替读取字符串例3：使用1个管道，2个协程写数据、1个协程读例4：完成一个并发任务调度器，按照指定顺序执行一系列…...

编程日记 2025/6/19 22:39:29

JAVA：访问者模式（Visitor Pattern）的技术指南

1、简述 访问者模式（Visitor Pattern）是一种行为型设计模式，允许你将操作分离到不同的对象中，而无需修改对象本身的结构。这种模式特别适合复杂对象结构中对其元素进行操作的场景。 本文将介绍访问者模式的核心概念、优缺点，并通过详细代码示例展示如何在实际应用中实现…...

编程日记 2025/5/31 1:06:58

如何实现邮箱+验证码登录功能（express+vue+MySQL版）

目录 1. 初始化项目2. 配置环境变量3. 更新数据库4. 编写路由函数5. 前端调用接口 1. 初始化项目 前端根目录：/web 后端根目录：/api_server 安装依赖： npm install express mysql nodemailer randomstring dotenv其中，nodemaile…...

编程日记 2025/6/19 22:26:00

Pycharm访问MySQL数据库·上

1.MySQL驱动模块Connector #导入数据库的驱动工具 import mysql.connector #连接数据库必备的条件 config {"host": "localhost","port": 3306,"user": "root","password": "888888","database&…...

编程日记 2025/6/1 16:07:49

vscode+msys2+clang+xmake c++开发环境搭建

转载请标明出处：小帆的帆的专栏 安装msys2 下载msys2安装包：清华源下载地址安装msys2：安装目录，C:\Softwares\msys64 安装cling工具链，xmake ！！！在开始菜单中启动MSYS2 CLANG64,…...

编程日记 2025/6/22 14:56:51

Python面试常见问题及答案5

一、基础语法相关 问题1： Python的可变数据类型和不可变数据类型有哪些？ 答案： 在Python中，可变数据类型有列表（list）、字典（dict）、集合（set）。这些数据类型…...

编程日记 2025/6/21 10:58:17

威联通docker无法拉取镜像

链接：威联通TS-464C 折腾--Container Station国内无法拉取镜像_docker_wangguanghe-开放原子开发者工作坊我这里用的是IPV6 ，没有公网资源啊。 wangguanghe...

编程日记 2025/6/1 10:11:54

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf 文章目录 0 论文工作1 论文方法2 实验结果 0 论文工作 感觉这个论文可能能shapE差不多同时期工作，但是shapE是生成任意种类。 本文提出了一种新颖的单图像视图合成方法NerfDiff，该方法利用神经辐射场 …...

编程日记 2025/6/1 8:41:11

ASP.net Core EntityFramework Code EF code 汇总

Entity FrameWork EF 总结 EF Core EF Core 如果实体模型很多，全部放在 上下文中的 OnModelCreating(ModelBuilder modelBuilder) 不太好维护 可以把实体模型 分离出去，每个类创建一个实体模型 public class BookConfiguration ：IEntityT…...

编程日记 2025/6/3 22:29:13

AtCoder Beginner Contest 384 Solution

文章目录 ABCDEFG A void solve() {string s; char x, y;qr(n, x, y, s);for(auto i: s) {if(i ! x) i y;cout << i;} }B void solve() {qr(n, m);for (int i 1; i < n; i) {int x, y;qr(x, y);x--;if(1600 - x * 400 < m && m < 2799 - x * 400) m…...

编程日记 2025/6/19 23:11:44

c# TaskScheduler

这里记录下 TaskScheduler 的简单用法。 使用场景&#xff1a; 使用 Task 的时候&#xff0c;大家知道用 TaskFactory.StartNew 可以用来创建一个 Task 。这里如果创建了 3 个&#xff0c;那么这3个 Task 就各自放飞直接运行了。 class Program {private static TaskFactory…...

编程日记 2025/6/23 21:40:05

FFMPEG视频转图片

用FFMPEG视频转图片&#xff0c;并且for循环 import os import subprocess# 输入文件夹和输出文件夹路径 input_folder r"I:\xxx" output_base_folder r"D:\xxx\YOLO\data\video" output_subfolder_name "20240609"# 创建输出子文件夹 output…...

编程日记 2025/6/3 13:12:14

激活函数-swiGLU

swiGLU&#xff08;Switch Gated Linear Unit&#xff09;简介 swiGLU 是一种改进的激活函数模块&#xff0c;主要用于深度学习中的 Transformer 模型和其他神经网络架构。它在 GLU&#xff08;Gated Linear Unit&#xff09; 的基础上进行了修改&#xff0c;以提升模型的表现…...

编程日记 2025/5/31 0:06:33

PCIe学习笔记

PCIE高速串行数据总线 当拿到一块板子 比如你要用到PCIE 首先要看这块板子的原理图 一般原理图写的是 PCI express 表示PCIE 以下是Netfpga为例下的PCIE插口元件原理图 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/01dc604fbdc847e8998a978c83c7b2eb.png 一般主…...

编程日记 2025/6/2 5:29:30

制作容器镜像

容器基础镜像制作 由于项目使用麒麟操作系统&#xff0c;需要在麒麟桌面操作系统和服务器操作系统里编译代码&#xff0c;如果每次都在物理机和虚拟机里编译太不方便&#xff0c;也无法使用常用的 jenkins k8s 组成的 CI/CD 编译环境&#xff0c;如果基于整个ISO太大了&#…...

编程日记 2025/6/3 2:36:14

mysql系列4—mysql数据库设计和查询优化

背景 数据库作为持久层需要从磁盘读写数据&#xff0c;是整个系统的短板&#xff0c;其性能会直接体现在产品性能上。因此数据库的设计和优化再怎么强调也不为过。本文将从数据库设计和查询优化两个角度思考如何提高数据库性能&#xff0c;内容包括数据库范式与表设计、基本字…...

编程日记 2025/6/2 7:03:31

音视频入门基础：MPEG2-TS专题（16）——PMT简介

一、引言 PMT&#xff08;Program Map Table&#xff09;与PAT表成对出现&#xff0c;其PID由PAT表给出。通过PMT表可以得到该节目包含的视频和音频信息&#xff0c;从而找到音视频流&#xff1a; 二、PMT表中的属性 根据《T-REC-H.222.0-202106-S!!PDF-E.pdf》第79页&#x…...

编程日记 2025/6/22 1:05:57

2024小迪安全信息收集第三课

目录 一、Web应用-架构分析-WAF&蜜罐识别 二、Web应用-架构分析-框架组件指纹识别 #Web架构 开源CMS 前端技术 开发语言 框架组件 Web服务器 应用服务器 数据库类型 操作系统信息 应用服务信息 CDN信息 WAF信息 蜜罐信息 其他组件信息 #指纹识别 #WAF识别…...

编程日记 2025/6/22 10:20:05

ESP32-C3 入门笔记07: ESP-NOW动态绑定MAC地址. (ESP-IDF + VSCode)

ESP-NOW 简介 ESP-NOW [gitbuh] ESP-NOW 是一种由乐鑫公司定义的无连接 Wi-Fi 通信协议。在 ESP-NOW 中&#xff0c;应用程序数据被封装在各个供应商的动作帧中&#xff0c;然后在无连接的情况下&#xff0c;从一个 Wi-Fi 设备传输到另一个 Wi-Fi 设备。 CTR 与 CBC-MAC 协…...

编程日记 2025/6/20 16:48:36

Windows如何安装go环境，离线安装beego

一、安装go 1、下载go All releases - The Go Programming Language 通过网盘分享的文件&#xff1a;分享的文件 链接: https://pan.baidu.com/s/1MCbo3k3otSoVdmIR4mpPiQ 提取码: hxgf 下载amd64.zip文件&#xff0c;然后解压到指定的路径 2、配置环境变量 需要新建两个环境…...

编程日记 2025/6/20 5:29:55

【Unity技巧】如何设置屏幕最小宽度

在 Unity 中&#xff0c;设置屏幕最小宽度可以通过调整 Canvas 的 CanvasScaler 组件来控制 UI 元素的缩放&#xff0c;并确保 UI 在不同屏幕宽度下始终能保持适当的布局。 不过&#xff0c;如果你想要限制游戏的实际窗口宽度&#xff0c;通常是通过代码来实现的。例如&#x…...

编程日记 2025/6/23 7:42:29

【新版】阿里云ACP云计算题库及答案解析

阿里云ACO云计算考试提醒都是选择题&#xff0c;70道单选题30道单选题&#xff0c;聪明的小伙伴都知道刷题备考加深记忆&#xff0c;给大家分享一波阿里云ACP云计算题库及答案&#xff0c;希望对大家顺利拿到阿里云ACP云计算高级工程师证书有所帮助&#xff01; 1、设计云上架…...

编程日记 2025/6/20 10:36:42

【蓝桥杯每日一题】推导部分和——带权并查集

推导部分和 2024-12-11 蓝桥杯每日一题 推导部分和 带权并查集 题目大意 对于一个长度为 ( N ) 的整数数列 A 1 , A 2 , ⋯ , A N A_1, A_2, \cdots, A_N A1​,A2​,⋯,AN​ &#xff0c;小蓝想知道下标 ( l ) 到 ( r ) 的部分和 ∑ i l r A i A l A l 1 ⋯ A r \sum_{…...

编程日记 2025/6/23 22:40:35

【Linux服务器nginx前端部署详解】ubantu22.04，前端Vue项目dist打包

本文主要讲一下在Linux系统环境下&#xff08;以ubantu22.04为例&#xff09;&#xff0c;如何用nginx部署前端Vue项目打包的dist静态资源。有些具体的命令就不展开讲了&#xff0c;可以自行查看其他博主的文章&#xff0c;我主要讲整体的步骤和思路。 一、ubantu系统安装ngin…...

编程日记 2025/6/4 8:22:09

Groovy 语法快速入门

文章目录 1. Groovy 的特点2. 基本语法2.1. 变量2.2. 字符串2.3. 条件语句 3. 集合操作3.1. 列表&#xff08;List&#xff09;3.2. 映射&#xff08;Map&#xff09; 4. 循环语句4.1. 普通循环4.2. 闭包遍历 5. 方法定义6. 闭包&#xff08;Closure&#xff09;6.1. 定义与调用…...

编程日记 2025/6/20 16:01:25

vue3 Textarea在光标定位处，增加一定的关键词。

1、经常碰到这种情况&#xff0c;有一些是系统预留的关键词可以选择&#xff0c;当用户把光标定位到什么地方&#xff0c;我们就要在这个位置插入指定的关键词。 2、光标定位在今天的前面&#xff0c;那么我们点击【逗号】按钮&#xff0c;在这个位置增加一个逗号。 3、代码&…...

编程日记 2025/6/20 10:52:17

硬件设计-电源轨噪声对时钟抖动的影响

目录 定义 实际案例 总结 定义 首先了解抖动的定义&#xff0c;在ITU-T G.701中有关抖动的定义如下&#xff1a; 数字信号重要瞬间相对于其理想时间位置的短期非累积变化。 抖动是时钟或数据信号时序的短期时域变化。抖动包括信号周期、频率、相位、占空比或其他一些定时特…...

编程日记 2025/6/23 15:09:15

Graspness 端到端抓取点估计 | 环境搭建 | 模型推理测试

在复杂场景中实现抓取检测&#xff0c;Graspness是一种端到端的方法&#xff1b; 输入点云数据&#xff0c;输出抓取角度、抓取深度、夹具宽度等信息。 开源地址&#xff1a;https://github.com/rhett-chen/graspness_implementation?tabreadme-ov-file 论文地址&#xff1…...

编程日记 2025/6/23 15:58:18

大模型呼入机器人的缺点是什么？(转)

大模型呼入机器人的缺点是什么&#xff1f;(转) 原作者&#xff1a;开源呼叫中心FreeIPCC&#xff0c;其Github&#xff1a;https://github.com/FreeIPCC/FreeIPCC 大模型呼入机器人在提供高效、自动化服务的同时&#xff0c;也存在一些缺点。以下是对其缺点的详细归纳&#…...

编程日记 2025/6/23 8:12:53

ASP.NET ｜日常开发中连接Oracle数据库详解

ASP.NET &#xff5c;日常开发中连接Oracle数据库详解 前言一、安装和配置 Oracle 数据访问组件1.1 安装ODP.NET&#xff08;Oracle Data Provider for.NET&#xff09;&#xff1a;1.2 引用相关程序集&#xff1a; 二、配置连接字符串2.1 连接字符串的基本组成部分&#xff1a…...

编程日记 2025/6/23 7:05:13

Kaggler日志-Day4

进度24/12/14 昨日复盘&#xff1a; Pandas课程完成 Intermediate Mechine Learning2/7 今日记录&#xff1a; Intermediate Mechine Learning之类型变量 读两篇讲解如何提问的文章&#xff0c;在提问区里发起一次提问 实战&#xff1a;自己从头到尾首先Housing Prices Compe…...

编程日记 2025/6/23 17:01:34