当前位置：首页 > news >正文

Doris Streamloader安装教程

news 来源：原创 2025/6/28 5:08:26

官方连接：Doris Streamloader - Apache Doris

简单概述：Doris Streamloader 是一款用于将数据导入 Doris 数据库的专用客户端工具。

step1：安装go环境

[root@localhost ~]# rpm --import https://mirror.go-repo.io/centos/RPM-GPG-KEY-GO-REPO
[root@localhost ~]# curl -s https://mirror.go-repo.io/centos/go-repo.repo | tee /etc/yum.repos.d/go-repo.repo
yum install go

step2：新建一个目录，用于存放Doris Streamloader工具

mkdir /opt/DorisStreamloader
cd /opt/DorisStreamloader
git clone https://github.com/apache/doris-streamloader.git
cd doris-streamloader

step3：编译项目

./build.sh

编译构建成功。

step4：加入到环境变量中

vim /etc/profile

source /etc/profile

step5：构建测试数据，试验工具是否安装成功

创建streamloader_example.csv文件

1,Emily,25
2,Benjamin,35
3,Olivia,28
4,Alexander,60
5,Ava,17
6,William,69
7,Sophia,32
8,James,64
9,Emma,37
10,Liam,64

创建表：

CREATE TABLE TEST.test_streamloader(user_id            BIGINT       NOT NULL COMMENT "用户 ID",name               VARCHAR(20)           COMMENT "用户姓名",age                INT                   COMMENT "用户年龄"
)
DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES(
"replication_num" = "2"
);

使用steamloader

doris-streamloader --source_file="/root/streamloader_example.csv" --url="http://udh01:8030" --header="column_separator:," --db="TEST" --table="test_streamloader"

--source_file：为刚刚创建的CSV绝对路径

--url=：为FE_OR_BE_SERVER_URL:PORT，FE_OR_BE_SERVER_URL是FE或任意BE的IP，PORT是doris webUI访问的端口，我用的是8030

--db="TEST"，代表需要导入到TEST库中

--table="test_streamloader"，代表导入对应表是test_streamloader

执行以上命令返回如下图代表成功：

Doris Streamloader安装教程

官方连接：Doris Streamloader - Apache Doris 简单概述：Doris Streamloader 是一款用于将数据导入 Doris 数据库的专用客户端工具。 step1：安装go环境 [rootlocalhost ~]# rpm --import https://mirror.go-repo.io/centos/RPM-GPG-KEY-GO-…...

编程日记 2025/6/28 5:08:26

用Python做数据分析之数据统计

接下来说说数据统计部分，这里主要介绍数据采样，标准差，协方差和相关系数的使用方法。 1、数据采样 Excel的数据分析功能中提供了数据抽样的功能，如下图所示。Python 通过 sample 函数完成数据采样。 2、数据抽样 Sample是进行…...

编程日记 2025/6/28 4:39:26

H.264编码解析与C++实现详解

一、H.264编码核心概念 1.1 分层编码结构 H.264采用分层设计，包含视频编码层（VCL）和网络抽象层（NAL）。VCL处理核心编码任务，NAL负责封装网络传输数据。 1.2 NALU单元结构 // NAL单元头部结构示例 struc…...

编程日记 2025/6/28 5:45:28

OpenAI即将开源！DeepSeek“逼宫”下，AI争夺战将走向何方？

OpenAI 终于要 Open 了。北京时间 4 月 1 日凌晨，OpenAI 正式宣布：将在未来几个月内开源一款具备推理能力的语言模型，并开放训练权重参数。这是自 2019 年 GPT-2 部分开源以来，OpenAI 首次向公众开放核心模型技术。【图片来源于…...

编程日记 2025/6/28 4:56:59

音视频四看书的笔记 MediaPlayerService

Binder机制看这里 Binde机智这是一个分割符 Binder机智分割(goutou) Binder机制 MediaPlayerService多媒体框架中一个非常重要的服务。MediaPlayerService 我原称之为链接之王图片来源 MediaPlayer 是客户端 C/S 中的CMediaPlayerService MediaPlayerService::Client 是服…...

编程日记 2025/6/24 1:42:09

android Fragment使用

在 Android Fragment 中，导入 id（findViewById）并给控件赋值的逻辑通常应该写在 onViewCreated() 方法中，而不是 onCreateView()。 Fragment 生命周期 & 适合的位置方法作用适合的操作onCreateView()创建并返回 Fragment 的…...

编程日记 2025/6/28 2:23:38

LayaAir3.3.0-beta.3重磅更新！Spine4.2、2D物理、UI系统、TileMap等全面升级！

正式版推出前，说明3.3的功能还没开发完。所以，又一大波更新来了~ 下面对重点更新进行说明。 Spine的重要更新 3.3.0-beta.3版本开始，新增了Spine 4.2 的运行时库，Spine动画上可以支持物理特性了。例如，下图右侧女孩在启…...

编程日记 2025/6/28 6:24:26

deepseek v3-0324 化学键线式Canvas编辑器设计

化学键线式Canvas编辑器设计下面是一个基于HTML5 Canvas的化学键线式编辑器的基本实现方案。这个编辑器允许用户绘制有机化学中常见的键线式结构。基本HTML结构 <!DOCTYPE html> <html lang"zh-CN"><head><meta charset"UTF-8"…...

编程日记 2025/6/28 4:46:56

解决 CMS Old GC 频繁触发线上问题技术方案

目录一、CMS GC 工作原理二、现象分析 （一）具体表现说明 （二）触发条件三、总结优化措施 （一）调整 CMS 启动条件：降低 Old 区触发阈值 1. 原理分析 2. 建议配置 （二&…...

编程日记 2025/6/28 4:02:41

后端实现加解密工具类（记录）

后端利用3DES加解密工具类实现特殊字段加解密，比如个人信息、请求参数等 ，可以自定义密钥和IV加密，代码如下，直接使用即可。 import javax.crypto.Cipher; import javax.crypto.SecretKey; import javax.crypto.SecretKeyFactory…...

编程日记 2025/6/28 1:19:08

云原生技术赋能企业数字化转型：实战案例与架构演进

引言：数字化转型的云原生机遇在VUCA时代背景下，某金融科技企业面临系统扩展性差、运维成本高企的困境。通过采用云原生技术栈，6个月内实现资源利用率提升300%，故障恢复时间从小时级缩短至分钟级。本文将深度解析该企业技术演进路…...

编程日记 2025/6/28 1:19:06

驱动开发系列49 - 搭建 Vulkan 驱动调试环境（编译 mesa 3D）- Ubuntu24.04

一：搭建Vulkan运行环境安装vulkan依赖包： 1. sudo apt install vulkan-tools 2. sudo apt install libvulkan-dev 3. sudo apt install vulkan-utility-libraries-dev spirv-tools 4. sudo apt install libglfw3-dev libglm-dev 5. sudo apt install libxxf86vm-dev libxi-…...

编程日记 2025/6/28 5:52:40

自然语言处理（26:（终章Attention 2.）带Attention的seq2seq的实现)

系列文章目录终章 1：Attention的结构终章 2：带Attention的seq2seq的实现终章 3：Attention的评价终章 4：关于Attention的其他话题终章 5：Attention的应用目录系列文章目录前言一、编码器的实现二、解…...

编程日记 2025/6/28 6:17:25

Qt5.14.2+mingw64编译OpenCV3.4.14一次成功记录

上一文中编译opencv4.5成功了，但是使用过程中没有成功，网上很多的代码没法跑起来，所以才有了此文来编译一个低版本的opencv3的过程记录，全程截图。一、软件安装 1.1 Python3.8版本安装路径:C:\Users\Administrator\AppData\Loca…...

编程日记 2025/6/28 4:15:15

【数据库原理】基础篇：MySQL基础入门与实战指南

前言在当今数字化时代，数据已成为企业运营的核心资产之一。而MySQL作为一款广泛使用的开源关系型数据库管理系统，凭借其高性能、可靠性和易用性，成为众多开发者和企业的首选。本文将从MySQL的基础概念出发，逐步深入到实际操作&a…...

编程日记 2025/6/28 4:52:21

使用Python解析PPT文件并生成JSON结构详解

引言 PowerPoint（PPT）文件的自动化处理是办公自动化和数据提取的常见需求。本文将介绍如何通过Python的python-pptx库，将PPT文件的样式、结构、文本内容等信息解析为标准化的JSON格式，为后续的自动化处理、数据迁移或样式复用提供…...

编程日记 2025/6/28 3:03:05

C#：第一性原理拆解属性（property)

目录第一步：从最基本的需求出发第二步：引入控制需求第三步：优化访问方式第四步：剖析属性的本质第五步：进一步简化和演化自动属性的定义和作用自动属性的特点和限制第六步：总结属性的第一性…...

编程日记 2025/6/28 7:07:07

nacos 2.x使用java语言实现自定义Loadbalance

一、核心实现思路 Nacos 2.x 的负载均衡自定义支持两种模式： 基于 Ribbon 的兼容方案（适用于 Spring Cloud 2020 之前版本）基于 Spring Cloud LoadBalancer 的方案（推荐，适配最新 Spring Cloud 2023 和 Nacos 2.x&am…...

编程日记 2025/6/28 4:16:30

torch.nn.Conv2d介绍——Pytorch中的二维卷积层

torch.nn.Conv2d是torch.nn模块中的二维卷积层类，用于构建神经网络中的二维卷积层。 1、基本语法 torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride1, padding0, dilation1, groups1, biasTrue, padding_modezeros, deviceNone, dtypeNone)将 2D …...

编程日记 2025/6/28 6:43:34

ubuntu虚拟机裁剪img文件系统

1. 定制文件系统前期准备将rootfs.img文件准备好，并创建target文件夹2. 挂载文件系统 sudo mount rootfs.img target #挂载文件系统 sudo chroot target #进入chroot环境3. 内裁剪文件系统增删裁剪文件系统 exit #退出chroot环境 sudo umount target…...

编程日记 2025/6/28 3:56:49

一文详细讲解Python（详细版一篇学会Python基础和网络安全）

引言在当今数字化时代，Python 作为一种简洁高效且功能强大的编程语言，广泛应用于各个领域，从数据科学、人工智能到网络安全等，都能看到 Python 的身影。而网络安全作为保障信息系统和数据安全的关键领域，其重要性不言…...

编程日记 2025/6/28 4:29:35

使用QT调试LidarView

前段时间使用VeloView想进行点云的显示，后来发现VeloView的尺子测距不好用，也没有筛选点的功能，就放弃了。kitware同家的还有LidarView，功能多一些，更新的时间更晚，而且还兼容速腾、禾赛等多家点云设备可以…...

编程日记 2025/6/28 3:36:05

JAVA：使用 Curator 进行 ZooKeeper 操作的技术指南

1、简述 Apache Curator 是一个基于 ZooKeeper 的 Java 客户端库，它极大地简化了使用 ZooKeeper 的开发工作。Curator 提供了高层次的 API，封装了很多复杂的 ZooKeeper 操作，例如连接管理、分布式锁、Leader 选举等。在分布式系统中&#…...

编程日记 2025/6/28 4:06:34

【SpringCloud】LoadBalance-负载均衡

4. 负载均衡-LoadBalance 4.1 为什么需要负载均衡？ 不知道各位心中有没有女神，通常来说一个女神就会有多个舔狗，那这些舔狗呢，就会心甘情愿的帮女神干活，假设女神小美现在有三个舔狗，小美喜欢让这三个舔狗…...

编程日记 2025/6/28 6:19:37

[250401] OpenAI 向免费用户开放 GPT-4o 图像生成功能 | Neovim 0.11 新特性解读

目录 OpenAI 向免费用户开放 GPT-4o 图像生成功能Neovim 0.11 新特性解读更简化的 LSP 设置和配置内置自动补全改进的悬停文档诊断信息增强更多默认键映射终端模拟器改进其他改进 OpenAI 向免费用户开放 GPT-4o 图像生成功能 2025年4月1日早上，OpenAI CEO Sam Altm…...

编程日记 2025/6/28 5:07:57

VBA数据库解决方案第二十讲：SQL在VBA中几种常见的表达方式

《VBA数据库解决方案》教程（版权10090845）是我推出的第二套教程，目前已经是第二版修订了。这套教程定位于中级，是学完字典后的另一个专题讲解。数据库是数据处理的利器，教程中详细介绍了利用ADO连接ACCDB和EXCEL的方法…...

编程日记 2025/6/28 6:28:55

SAIL-RK3588J 核心板技术方案——高精度装配式建筑机器人控制‌

（本方案契合《建筑机器人产业目录》政策要求） 一、方案背景与政策支持‌ ‌政策驱动‌ 2025年2月《建筑机器人产业目录》明确将‌“高精度建筑机器人控制设备”‌纳入重点补贴范围，要求定位精度≤0.5mm、支持实时质检与多机协同&#xff0c…...

编程日记 2025/6/28 6:06:08

人工智能在生物医药领域的应用地图：AIBC2025将于6月在上海召开！

人工智能在生物医药领域的应用地图：AIBC2025将于6月在上海召开！ 近年来，人工智能在生物医药行业中的应用受到广泛关注。 2024年10月，2024诺贝尔化学奖被授予“计算蛋白质设计和蛋白质结构预测”，这为行业从业人员带来…...

编程日记 2025/6/28 4:08:37

C#高级：利用LINQ进行实体列表的集合运算

问题引入： Teacher实体的唯一标识符是Name和Classes字段（或者说这两个字段唯一确定一条数据），如何对两个实体列表做交集、差集运算呢？（并集直接调用AddRange方法即可） 一、重写方法实现 1.原…...

编程日记 2025/6/27 20:59:25

Python项目-基于Flask的个人博客系统设计与实现(2)

源代码续 {% extends base.html %}{% block title %}评论管理{% endblock %}{% block content %} <div class"container py-4"><div class"row"><div class"col-md-3"><div class"list-group mb-4"><a h…...

编程日记 2025/6/28 5:59:56

2023第十四届蓝桥杯大赛软件赛省赛C/C++ 大学 B 组(真题题解)（C++/Java题解）

记录刷题的过程、感悟、题解。希望能帮到，那些与我一同前行的，来自远方的朋友😉 大纲： 1、日期统计-（解析）-暴力dfs（😉蓝桥专属 2、01串的熵-（解析）-不要chu…...

编程日记 2025/6/28 3:26:54

前端界面在线excel编辑器。node编写post接口获取文件流，使用传参替换表格内容展示、前后端一把梭。

首先luckysheet插件是支持在线替换excel内容编辑得但是浏览器无法调用本地文件，如果只是展示，让后端返回文件得二进制文件流就可以了，直接使用luckysheet展示。这里我们使用xlsx-populate得node简单应用来调用本地文件，自己写一个…...

编程日记 2025/6/28 4:47:49

‌在 Fedora 系统下备份远程 Windows SQL Server 数据库的完整方案

‌一、环境准备与工具安装‌ ‌1. 安装 Microsoft SQL Server 命令行工具‌ Fedora 需安装 mssql-tools 和 ODBC 驱动： # 添加 Microsoft 仓库 sudo curl -o /etc/yum.repos.d/msprod.repo https://packages.microsoft.com/config/rhel/8/prod.repo# 安装工具包 …...

编程日记 2025/6/28 6:10:24

从24GHz到71GHz：Sivers半导体的广泛频率范围5G毫米波产品解析

在5G技术的浪潮中，Sivers半导体推出了创新的毫米波无线产品，为通信行业带来高效、可靠的解决方案。这些产品支持从24GHz到71GHz的频率，覆盖许可与非许可频段，适应高速、低延迟的通信场景。 5G通信频段的一点事儿及Sivers毫米波射频…...

编程日记 2025/6/28 3:49:14

从【抖音安全与信任中心】观察企业如何做算法透明

抖音主动公开算法原理树立行业新标杆： “抖音安全与信任中心”网站（95152.douyin.com） 1 算法透明的几点准则需涵盖技术逻辑公开、治理机制可查、用户参与共建等维度。以下是基于抖音案例总结的可行路径，以及几个准则&#xff1…...

编程日记 2025/6/28 1:19:20

html处理Base文件流

处理步骤从服务返回的字符串中提取文件流数据，可能是Base64或二进制。将数据转换为Blob对象。创建对象URL。创建<a>元素，设置href和download属性。触发点击事件以下载文件。删除缓存数据代码 // 假设这是从服务返回的Base64字符串&#xff08…...

编程日记 2025/6/28 5:29:38

MySQL内存管理机制详解

目录标题 MySQL内存管理机制详解1. **内存组成与核心组件**2. **RSS与共享内存的关系**3. **OOM问题排查步骤**4. **典型案例** Buffer Pool（缓冲池） 确实属于共享内存（Shared Memory）的核心组成部分？1. **Buffer Pool…...

编程日记 2025/6/28 4:42:53

《算法笔记》9.7小节——数据结构专题(2)-＞堆问题 C: 合并果子（堆）

题目描述在一个果园里，多多已经将所有的果子打了下来，而且按果子的不同种类分成了不同的堆。多多决定把所有的果子合成一堆。每一次合并，多多可以把两堆果子合并到一起，消耗的体力等于两堆果子的重量之和。可以看出&#xff0c…...

编程日记 2025/6/28 4:19:29

化繁为简解决leetcode第1289题下降路径最小和II

1289.下降路径最小和II 难度：困难问题描述： 给你一个nxn整数矩阵grid，请你返回非零偏移下降路径数字和的最小值。非零偏移下降路径定义为：从grid数组中的每一行选择一个数字，且按顺序选出来的数字中，…...

编程日记 2025/6/28 4:59:33

蓝桥杯省模拟赛数位和

问题描述只能被 1 和本身整除的数称为质数。请问在 1 （含）到 1000000 （含）中，有多少个质数的各个数位上的数字之和为 2323 。提示：599 就是这样一个质数，各个数位上的数字之和为 59923 。…...

编程日记 2025/6/28 3:47:05

MySQL和Oracle批量插入SQL差异详解

文章目录 MySQL和Oracle批量插入SQL差异详解1. 基本批量插入语法1.1 MySQL批量插入1.2 Oracle批量插入 2. 带序列的批量插入2.1 MySQL带自增ID的批量插入2.2 Oracle带序列的批量插入 3. 条件批量插入3.1 MySQL条件批量插入3.2 Oracle条件批量插入 MySQL和Oracle批量插入SQL差异…...

编程日记 2025/6/28 6:52:14

YOLOv5配置训练以及华为昇腾910B推理

参考文章： 保姆式yolov5教程，训练你自己的数据集 - 知乎 Windows 10|11下安装mmyolo-0.5.0版本 - 知乎 Ubuntu22.04安装教程&基于华为Ascend AI处理器的om模型atc转换环境安装_ubuntu安装atc工具-CSDN博客嵌入式AI---在华为昇腾推理自己的yolov5目标…...

编程日记 2025/6/28 1:19:21

Visual Studio Code配置自动规范代码格式

目录前言1. 插件安装2. 配置个性化设置2.1 在左下角点击设置按钮 ，点击命令面板（或者也可以之间按快捷键CtrlShiftP）2.2 在弹出的搜索框输入 settings.json，打开首选项：打开工作区设置；2.3 在settings.jso…...

编程日记 2025/6/28 6:51:31

【网安面经合集】42 道高频 Web 安全面试题全解析（附原理+防御+思路）

对于正在准备安全岗求职或实习的同学们来说，Web 安全面试题几乎是必问项。尤其是一些经常出现的考点，比如 SQL 注入、XSS、CSRF、反序列化、逻辑漏洞、WAF 绕过等等，不仅需要你知道“是什么”，还得能“讲清楚原理、分类、修复和…...

编程日记 2025/6/28 1:19:17

论文笔记（七十五）Auto-Encoding Variational Bayes

Auto-Encoding Variational Bayes 文章概括摘要1 引言2 方法2.1 问题场景2.2 变分下界2.3 SGVB估计器与AEVB算法2.4 重参数化技巧 3 示例：变分自编码器（Variational Auto-Encoder）4 相关工作5 实验6 结论7 未来工作文章概括引用&#xff1…...

编程日记 2025/6/28 6:46:41

前端学习记录之HTML

1. 网页 1.1 什么是网页网站是指在因特网上根据一定的规则，使用HTML等制作的用于展示特定内容相关的网页集合。网页是网站中的一“页”，通常是HTML格式的文件，它要通过浏览器来阅读网页是构成网站的基本元素。它通常由图片，…...

编程日记 2025/6/28 6:22:49

程序化广告行业（39/89）：广告投放的数据分析与优化秘籍

程序化广告行业（39/89）：广告投放的数据分析与优化秘籍在程序化广告的领域中，数据分析与优化调整是实现精准投放、提升广告效果的核心环节。作为一名热衷于探索程序化广告的学习者，我希望通过这篇博客，和大…...

编程日记 2025/6/28 2:59:08

蓝桥杯 01游戏

问题描述小蓝最近玩上了 01 游戏，这是一款带有二进制思想的棋子游戏。游戏在一个大小为 N N 的棋盘上进行。棋盘上的每个位置都需要放置一个数字 0 或 1。初始情况下，棋盘上有一部分位置已经放置了固定的数字，玩家不可以更改这些位置。其…...

编程日记 2025/6/28 6:45:36

NoSQL 数据库的适用场景与局限性分析

NoSQL（Not Only SQL）数据库是一类非关系型数据库，通过灵活的数据模型和分布式架构解决传统关系型数据库在扩展性、性能和数据多样性上的瓶颈。以下从技术特性、适用场景、不适用场景及行业实践展开分析：一、NoSQL数据库的核心技术特性四大数据模型文档型：以JSON/BSON格…...

编程日记 2025/6/28 1:19:22

个人网站：基于html、css、js网页开发界面

1、注册 <!DOCTYPE html> <html lang"zh-CN"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>注册页面</title><link rel&qu…...

编程日记 2025/6/28 7:17:07

相关文章：