当前位置：首页 > news >正文

Flume详解——介绍、部署与使用

news 来源：原创 2025/8/10 14:42:18

1. Flume 简介

Apache Flume 是一个专门用于高效地 收集、聚合、传输 大量日志数据的 分布式、可靠 的系统。它特别擅长将数据从各种数据源（如日志文件、消息队列等）传输到 HDFS、HBase、Kafka 等大数据存储系统。

特点：

可扩展：支持大规模数据传输，灵活扩展
容错性：支持数据恢复和失败重试，确保数据不丢失
多种数据源：支持日志文件、网络数据、HTTP请求、消息队列等多种来源
流式处理：数据边收集边传输，支持实时传输

2. Flume 架构

Flume 的核心架构由三大组件构成，理解它们对掌握 Flume 的原理至关重要：

2.1 Source（来源）

负责从数据源获取数据，比如：

taildir（监听日志文件）
exec（执行命令读取数据）
kafka（从 Kafka 消费数据）
netcat（监听端口接收数据）

2.2 Channel（通道）

作为 缓冲区，临时存储数据，支持两种常见类型：

Memory Channel（内存通道）：速度快，但重启可能丢数据
File Channel（文件通道）：写入磁盘，保证数据持久性

2.3 Sink（下游输出）

负责将数据写入目标位置，支持：

HDFS（写入 Hadoop 分布式文件系统）
HBase（写入 HBase 数据库）
Kafka（推送到 Kafka）
ElasticSearch（支持实时检索）

补充组件：

Sink Processor：管理多个 Sink，支持负载均衡、故障转移
Interceptor：在数据进入 Channel 前拦截处理，比如格式转换、过滤数据等

3. Flume 数据流动原理

数据在 Flume 中是按事件 (Event) 传输的，基本流程如下：

1️⃣ Source 从外部采集数据，将每条数据封装为一个 Event
2️⃣ Event 进入 Channel 暂存
3️⃣ Sink 从 Channel 拉取数据，写入目标系统

👉 示例流程：
Web日志 -> Source（taildir） -> Channel（Memory Channel） -> Sink（HDFS）

4. Flume 部署模式

Flume 支持灵活的部署方式，主要有三种：

单机模式：Source、Channel、Sink 都在同一节点，简单但不适合大规模数据
多机流模式：多个 Flume 节点串联，Source 采集数据，Sink 输出到下一个 Flume 节点的 Source，逐层转发
多 Agent 模式：多个 Flume Agent 独立采集数据，汇总到统一 Sink

5. 本地部署(单机)

下载地址：http://archive.apache.org/dist/flume/

tar -zxf apache-flume-1.9.0-bin.tar.gz -C /export/server/
cd /export/server/
mv apache-flume-1.9.0-bin/ flume--将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3
cd flume/lib
rm guava-11.0.2.jar

6.Flume 入门案例

6.1 监控端口数据官方案例

案例需求：使用 Flume 监听一个端口，收集该端口数据，并打印到控制台。

实现步骤：

yum install -y nc--判断 44444 端口是否被占用
netstat -nlp | grep 44444cd /export/server/flume/
mkdir job
cd job/vim net-flume-logger.conf
--添加如下内容
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444# Describe the sink
a1.sinks.k1.type = logger# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

开启 flume 监听端口

第一种写法：

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/net-flume-logger.conf -
Dflume.root.logger=INFO,console

第二种写法：

bin/flume-ng agent -c conf/ -n a1 -f job/net-flume-logger.conf -Dflume.root.logger=INFO,console

参数说明：

--conf/-c：表示配置文件存储在 conf/目录

--name/-n：表示给 agent 起名为 a1

--conf-file/-f：flume 本次启动读取的配置文件是在 job 文件夹下的 flume-telnet.conf 文件。

-Dflume.root.logger=INFO,console ：-D 表示 flume 运行时动态修改 flume.root.logger 参数属性值，并将控制台日志打印级别设置为 INFO 级别。日志级别包括:log、info、warn、 error。

此时服务端已经开启，新建一个会话作为客户端，使用 netcat 工具向本机的 44444 端口发送内容

nc localhost 44444
hello

在 Flume 监听页面观察接收数据情况

6.2 实时监控单个追加文件

案例需求：实时监控 Hive 日志，并上传到 HDFS 中

实现步骤：

确认 Hadoop 和 Hive 环境已经配置，没有配置的可以参考这两篇文章

本地部署HDFS集群https://blog.csdn.net/m0_73641796/article/details/145998092?spm=1001.2014.3001.5501

本地部署Hive集群https://blog.csdn.net/m0_73641796/article/details/146078614?spm=1001.2014.3001.5501

创建 flume-file-hdfs.conf 文件

vim flume-file-hdfs.conf
--添加如下内容# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /export/server/hive/logs/hive.log# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://node1:8020/flume/%Y%m%d/%H
# 上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
# 是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
# 多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
# 重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
# 是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
# 积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k2.hdfs.batchSize = 100
# 设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
# 多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 30
# 设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
# 文件的滚动与 Event 数量无关
a2.sinks.k2.hdfs.rollCount = 0# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

确保 hadoop 用户有写入权限

mkdir -p /export/server/flume/logs
chown -R hadoop:hadoop /export/server/flume/logs
chmod -R 755 /export/server/flume/logs

运行 Flume（用Hadoop用户运行，因为要操作HDFS）

bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf

新建会话，开启 Hadoop 和 Hive 并操作 Hive 产生日志

su hadoopstart-dfs.sh
start-yarn.shcd /export/server/hive/
nohup bin/hive --service metastore  >> logs/metastore.log 2>&1 &
bin/hive

在 HDFS 上查看文件

6.3 实时监控目录下多个新文件

案例需求：使用 Flume 监听整个目录的文件，并上传至 HDFS

实现步骤：

创建配置文件

vim flume-dir-hdfs.conf
--添加如下内容a3.sources = r3
a3.sinks = k3
a3.channels = c3# Describe/configure the source
a3.sources.r3.type = spooldir
a3.sources.r3.spoolDir = /export/server/flume/upload
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
# 忽略所有以.tmp 结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://node1:8020/flume/upload/%Y%m%d/%H
# 上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
# 是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
# 多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
# 重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
# 是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
# 积攒多少个 Event 才 flush 到 HDFS 一次
a3.sinks.k3.hdfs.batchSize = 100
# 设置文件类型，可支持压缩
a3.sinks.k3.hdfs.fileType = DataStream
# 多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 30
# 设置每个文件的滚动大小大概是 128M
a3.sinks.k3.hdfs.rollSize = 134217700
# 文件的滚动与 Event 数量无关
a3.sinks.k3.hdfs.rollCount = 0# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

创建目录并启动

--创建目录
mkdir upload
chown hadoop:hadoop upload/--启动flume（用hadoop用户）
bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-dir-hdfs.conf

新建会话，向 upload 文件夹中添加文件

cd /export/server/flume/upload/
echo "hello world" > 1.txt

查看 HDFS 上的数据

6.4 实时监控目录下的多个追加文件

案例需求:使用 Flume 监听整个目录的实时追加文件，并上传至 HDFS

实现步骤：

创建配置文件

vim flume-taildir-hdfs.conf
--添加如下内容a3.sources = r3
a3.sinks = k3
a3.channels = c3# Describe/configure the source
a3.sources.r3.type = TAILDIR
a3.sources.r3.positionFile = /export/server/flume/tail_dir.json
a3.sources.r3.filegroups = f1 f2
a3.sources.r3.filegroups.f1 = /export/server/flume/files/.*file.*
a3.sources.r3.filegroups.f2 = /export/server/flume/files2/.*log.*# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://node1:8020/flume/upload2/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a3.sinks.k3.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是 128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a3.sinks.k3.hdfs.rollCount = 0# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

创建目录并启动

--创建目录
mkdir files files2
chown hadoop:hadoop files
chown hadoop:hadoop files2--启动flume（用hadoop用户）
bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-taildir-hdfs.conf

向 upload 文件夹中添加文件

cd files
echo hello >> file1.txt

查看 HDFS 上的数据

Flume详解——介绍、部署与使用

1. Flume 简介 Apache Flume 是一个专门用于高效地收集、聚合、传输大量日志数据的分布式、可靠的系统。它特别擅长将数据从各种数据源（如日志文件、消息队列等）传输到 HDFS、HBase、Kafka 等大数据存储系统。特点： 可扩展&#xff1…...

编程日记 2025/8/10 14:42:18

笔记类AI应用体验

笔记类AI应用体验叮当好记视频一键转笔记， 祝你学习效率起飞 IMAGet笔记印象笔记（Evernote）：Notion：Trilium Notes：二、开始搭建三、搭建步骤四、创建博客 Obsidian：案例让ai帮我执行大模型学习…...

编程日记 2025/8/10 14:31:08

Mysql篇——SQL优化

本篇将带领各位了解一些常见的sql优化方法，学到就是赚到，一起跟着练习吧~ SQL优化准备工作准备的话我们肯定是需要一张表的，什么表都可以，这里先给出我的表结构（表名：userinfo） 通过sql查看…...

编程日记 2025/8/10 14:31:49

【css酷炫效果】纯CSS实现故障文字特效

【css酷炫效果】纯CSS实现故障文字特效缘创作背景html结构css样式完整代码基础版进阶版(3D效果) 效果图想直接拿走的老板，链接放在这里：https://download.csdn.net/download/u011561335/90492053 缘创作随缘，不定时更新。创作背景刚…...

编程日记 2025/8/10 14:34:29

【Java】链表（LinkedList）（图文版）

本博客总结了Java当中链表的实现，以及相关方法的使用，在最后附带了一些常见链表相关处理技巧，希望对你有帮助！ ps：可拷贝到IDEA上自行测试，代码全部完成测试。一.链表概述 1.什么是链表？ 链…...

编程日记 2025/8/10 14:35:09

审批工作流系统xFlow

WorkFlow-审批流程系统该项目为完全开源免费项目可用于学习或搭建初始化审批流程系统希望有用的小伙伴记得点个免费的star gitee仓库地址仿钉钉飞书工作审批流系统介绍前端技术栈: vue3 ts vite arcodesign eslint 后端技术栈:springbootspring mvc mybatis mavenmysq…...

编程日记 2025/8/10 14:34:28

UNION，UNION ALL 的详细用法

目录一、基本概念二、核心区别三、语法使用规则四、代码实演示 4.1 两张表字段相同，字段顺序也相同 4.2 两张表字段相同。但字段顺序不同 4.3 两张表存在相同字段，但一张表字段多，一张表字段少一、基本概念操作符功能描述去重处…...

编程日记 2025/8/10 11:23:30

Java 集合遍历过程中修改数据触发 Fail-Fast 机制，导致报ConcurrentModificationException异常

Java Fail-Fast 机制 Fail-Fast 机制是 Java 集合框架中的一种错误检测机制，用于在遍历集合时检测结构修改。如果在迭代器创建之后，集合被修改（例如添加或删除元素），并且这种修改不是通过迭代器自身的 remove() 方法进…...

编程日记 2025/8/10 14:40:12

1、获取当前日期的前一天 // 获取当前日期let today new Date();today.setDate(today.getDate() - 1);// 转换为本地日期字符串格式let yesterdayStr today.toISOString().slice(0, 10);console.log(yesterdayStr); // 例如: "2023-04-03" (格式取决于地区设置) 2…...

编程日记 2025/8/10 6:35:03

自动驾驶背后的数学：特征提取中的线性变换与非线性激活

在上一篇博客「自动驾驶背后的数学：从传感器数据到控制指令的函数嵌套」—— 揭秘人工智能中的线性函数、ReLU 与复合函数中，我们初步探讨了自动驾驶技术中从传感器数据到控制指令的函数嵌套流程，其中提到了特征提取模块对传感器数据进行线性…...

编程日记 2025/8/10 14:35:10

DNS解析查询工具

dig命令 1 常用命令命令：dig 您的域名（示例：dig www.baidu.com） 2、根据解析记录查询，比如MX，CNAME，NS，PTR等，只需将类型加在命令后面即可。示例：dig bai…...

编程日记 2025/8/10 10:32:15

【eNSP实战】（续）一个AC多个VAP的实现—将隧道转发改成直接转发

在一个AC多个VAP的实现—CAPWAP隧道转发此篇文章配置的基础上，将隧道转发改成直接转发一、改成直接转发需要改动的配置 （一）将连接AP的接口改成trunk口，并允许vlan100、101、102通过 [AC1]interface GigabitEthernet 0/0/8 …...

编程日记 2025/8/10 2:28:21

解决远程卡在下载vscode-server的问题，一键安装脚本

vscode-server 下载与安装脚本 vscode-server一键安装脚本简介此脚本用于下载并安装指定提交 ID 和架构的 VS Code Server。用户可以选择不同的架构，并输入对应的 VS Code 提交 ID 来下载和安装 vscode-server。VS Code提交ID可以在VS Code界面“帮助>关于…...

编程日记 2025/8/10 14:33:36

【unity实战】用unity封装一个复杂全面且带不同射击模式的飞机大战射击系统

考虑到每个人基础可能不一样，且并不是所有人都有同时做2D、3D开发的需求，所以我把【零基础入门unity游戏开发】分为成了C#篇、unity通用篇、unity3D篇、unity2D篇。【C#篇】：主要讲解C#的基础语法，包括变量、数据类型、运算符、流程控制、面向对象等，适合没有编程基础的…...

编程日记 2025/8/10 14:35:11

LeetCode[42] 接雨水

动态规划 left_max[i] height[i]左侧的最高高度right_max[i] height[i]右侧的最高高度height[i]能接多少水？min(left_max[i], right_max[i])-height[i] class Solution { public:int trap(vector<int>& height) {int len height.size();vector<in…...

编程日记 2025/8/10 14:31:06

c++ 基础题目lambda

1. auto lambda = [](double x) { return static_cast<int>(x); }; 是匿名函数对象 ,不可直接声明 a.可以赋值给一个与其类型兼容的 std::function 类型的对象 std::function<int(int, int)> lambda = [](int x, int y) { return x + y; }; b.使用具体的 lambda …...

编程日记 2025/8/10 14:36:55

RTSP/Onvif安防视频EasyNVR平台 vs.多协议接入视频汇聚EasyCVR平台：设备分组的区别

EasyNVR安防视频云平台是旭帆科技TSINGSEE青犀旗下支持RTSP/Onvif协议接入的安防监控流媒体视频云平台。平台具备视频实时监控直播、云端录像、云存储、录像检索与回看、告警等视频能力，能对接入的视频流进行处理与多端分发，包括RTSP、RTMP、HTTP-FLV、W…...

编程日记 2025/8/10 1:24:30

网络编程套接字【端口号/TCPUDP/网络字节序/socket编程接口/UDPTCP网络实验】

网络编程套接字 0. 前言1. 认识端口号2. 认识TCP和UDP协议3. 网络字节序4. socket编程接口5. 实现一个简单的UDP网络程序5.1 需求分析5.2 头文件准备5.3 服务器端设计5.4 客户端设计5.5 本地测试5.6 跨网络测试5.7 UDP小应用——客户端输入命令，服务器端执行 6. 地址…...

编程日记 2025/8/10 13:17:19

【C语言预编译处理精选题】

C语言预编译处理精选题一、选择易错题1.1 纯文本替换，注意优先级！1.2 再来一道文本替换，别马虎1.3 宏定义的替换1.4带参数宏定义的空格问题1.5 " "的include1.6 条件编译1.7 预编译概念二、填空易错题2.1 注意两个连续的 i2.2 异…...

编程日记 2025/8/8 5:46:03

云钥科技工业相机定制服务，助力企业实现智能智造

在工业自动化、智能制造和机器视觉快速发展的今天，工业相机作为核心感知设备，其性能直接决定了检测精度、生产效率和产品质量。然而，标准化工业相机往往难以满足复杂多样的应用场景需求，‌工业相机定制‌逐渐成为企业突破技术瓶颈…...

编程日记 2025/8/9 11:03:03

用了Cline和华为云的大模型，再也回不去了

这两年AI火热，受影响最大的还是程序员群体，因为编程语言是高度形式化的，完全可以用BNF等形式精确地定义，不像自然语言那样，容易出现歧义。另外开源是软件界的潮流，GitHub上有海量的开源代码可供AI来训练&am…...

编程日记 2025/8/9 13:55:31

vs2017版本与arcgis10.1的ArcObject SDK for .NET兼容配置终结解决方案

因电脑用的arcgis10.1,之前安装的vs2010正常能使用AO和AE，安装vs2017后无法使用了，在重新按照新版本arcgis engine或者arcObject费时费力，还需要重新查找资源。用vs2017与arc10.1的集成主要两个问题，1：安装后vs中没有…...

编程日记 2025/8/8 19:09:39

Java对接微信支付全过程详解

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/8/9 1:18:40

微软 System Center Configuration Manager（SCCM）的组件文件

微软 System Center Configuration Manager（SCCM）或 Microsoft Endpoint Configuration Manager（MECM）的组件文件，属于企业级设备管理工具的一部分。以下是具体说明： C:\Windows\CCM\smsswd.exe C:\Windows\CCM\tsmanager.exe smsswd.exe 和 tsmanager.exe 是 Micros…...

编程日记 2025/8/6 1:13:39

C语言和C++到底有什么关系？

C 读作“C 加加”，是“C Plus Plus”的简称。顾名思义，C 就是在 C 语言的基础上增加了新特性，玩出了新花样，所以才说“Plus”，就像 Win11 和 Win10、iPhone 15 和 iPhone 15 Pro 的关系。 C 语言是 1972 年由美国贝…...

编程日记 2025/8/6 13:43:26

10.PE导出表

一：定位导出表 PIMAGE_NT_HEADERS->OptionalHeader->DataDirectory[0] typedef struct _IMAGE_DATA_DIRECTORY {DWORD VirtualAddress; // 导出表的RVADWORD Size; // 导出表大小（没用） } IMAGE_DATA_DIRECTORY, *PIMAGE_DATA_DIRECTORY; 该结构的Vi…...

编程日记 2025/8/9 17:15:43

springBoot中不添加依赖 , 手动生成一个token ,并校验token,在统一拦截器中进行校验 (使用简单 , 但是安全性会低一点)

要在 Spring Boot 里实现接口统一拦截并校验 Token，可以借助 Spring 的拦截器机制。下面是具体的实现步骤和代码示例。 1. 创建 Token 工具类 import java.nio.charset.StandardCharsets; import java.security.MessageDigest; import java.security.NoSuchAlgori…...

编程日记 2025/8/8 21:05:49

VSCode C/C++ 环境搭建指南

一、前言 Visual Studio Code（简称 VSCode）是一款轻量级且功能强大的跨平台代码编辑器，凭借丰富的插件生态和高度的可定制性，深受开发者喜爱。对于 C/C 开发者而言，在 VSCode 中搭建开发环境，能够获得灵活…...

编程日记 2025/8/9 22:03:00

ES6（4） Map 集合详解

1. Map 集合简介 Map 是 ES6 提供的一种新的键值对数据结构，与普通对象（Object）不同，Map 的键可以是任意类型（包括对象、函数等）。 2. 创建 Map 集合可以使用 new Map() 创建一个 Map，并在括…...

编程日记 2025/8/5 11:10:24

DeepSeek私有化部署与安装浏览器插件内网穿透远程访问实战

文章目录前言1. 本地部署OllamaDeepSeek2. Page Assist浏览器插件安装与配置3. 简单使用演示4. 远程调用大模型5. 安装内网穿透6. 配置固定公网地址前言最近，国产AI大模型Deepseek成了网红爆款，大家纷纷想体验它的魅力。但随着热度的攀升&#xff0c…...

编程日记 2025/8/9 8:07:47

【设计模式】建造者模式

三、建造者模式 3.3 建造者模式建造者(Builder) 模式也称构建器模式、构建者模式或生成器模式，同工厂模式或原型模式一样，也是一种创建型模式。建造者模式比较复杂，不太常用，但这并不表示不需要了解和掌握该模式。建造者模式…...

编程日记 2025/8/8 7:37:42

一场由 ES 分片 routing 引发的问题

一场由 ES 分片 routing 引发的问题 ES 结构 {"poroperties": {"joinType": {"type": "join","eager_global_ordinals": true,"relations": {"spu": "sku"}},"id":{"type&q…...

编程日记 2025/8/5 16:02:33

搭建Python量化开发环境：从零开始的完整指南

搭建Python量化开发环境：从零开始的完整指南在量化投资领域，一个稳定且高效的开发环境是成功的关键。本文将引导你一步步搭建起自己的Python量化开发环境，确保你能够顺利开始编写和运行量化策略。 🚀量化软件开通 &#x1f68…...

编程日记 2025/8/7 11:39:01

JavaScript日期区间计算：精准解析年月日差异

一、应用场景与功能概述在日常的制作项目或者是练习，我们经常需要计算两个日期之间的精确时间差。本文将通过一个JavaScript日期计算函数，详细解析如何实现精准的年/月/日差异计算，并探讨实际开发中的常见问题和解决方案。二、核心功能解…...

编程日记 2025/8/9 6:33:24

大数据学习（71）-三范式构成

🍋🍋大数据学习🍋🍋 🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。 💖如果觉得博主的文章还不错的话，请点赞👍收藏⭐️留言📝支持一…...

编程日记 2025/8/6 5:11:50

el-table 插槽踩过的坑：slot-scope 和#default的区别

slot-scope和#default是Vue中用于定义插槽的两种不同语法，它们在Vue 2和Vue 3中有不同的应用场景和语法规则。‌ slot-scope 在‌Vue 2.x‌中，slot-scope是用于声明具名插槽并获取父组件传递过来的数据的主要方式。通过slot-scope可以定义一个变量scop…...

编程日记 2025/8/4 1:36:52

Linux一键安装node.js【脚本】

node.js一般不用系统的apt安装，而是用nvm这个前端的应用商店安装 node.js是js环境，nvm是安装nodejs管理器。npm是nodejs里的包管理器，安装模块的，类似于python的pip 把以下代码复制保存在一个文件里比如nano install_nodejs.sh …...

编程日记 2025/8/10 1:26:35

vue3:pinia安装及其使用

一、安装 Pinia 的步骤 1、安装 Pinia npm install pinia 2、在 Vue 应用中引入 Pinia 在 main.js 中引入并注册 Pinia： import { createApp } from vue; import { createPinia } from pinia; import App from ./App.vue;const app createApp(App); app…...

编程日记 2025/8/5 7:21:43

vue2升级Vue3--native、对inheritAttrs作用做以解释、声明的prop属性和未声明prop的属性

native取消在 Vue 3 中，v-on 的 .native 修饰符已经被移除。在 Vue 2 中，.native 修饰符用于在组件的根元素上监听原生 DOM 事件，但在 Vue 3 中，这一行为发生了变化。在 Vue 3 中，所有未在子组件的 emits 选项中定…...

编程日记 2025/8/9 19:16:16

【漫话机器学习系列】146.Softmax 激活函数（Softmax Activation Function）

Softmax 激活函数详解 1. Softmax 函数概述 Softmax 函数（Softmax Activation Function）是一种常用于多分类任务的激活函数，广泛应用于机器学习和深度学习模型，特别是在神经网络的输出层。它的主要作用是将输入的多个实数值转换…...

编程日记 2025/8/6 18:59:33

解决：ModuleNotFoundError: No module named ‘_sqlite3‘

报错： from _sqlite3 import * ModuleNotFoundError: No module named _sqlite3安装sqlite3支持组件: sudo apt-get install libsqlite3-dev进入之前下载的python包下，重新编译和安装Python ./configure --enable-loadable-sqlite-extensions make &a…...

编程日记 2025/8/5 22:42:57

C++差分风暴：区间修改终极模板

目录 🔥 差分核心价值 🌟 一维差分模板 1. 核心思想 2. 代码实现 3. 动态图示 📦 二维差分模板 1. 核心公式 2. 代码实现 3. 二维修改示意图 🚨 六大避坑指南 💡 复杂度对比 🌈 LeetCode实战 &…...

编程日记 2025/8/9 7:30:44

easypoi导入Excel兼容日期和字符串格式的日期和时间

问题场景在使用easypoi导入Excel时，涉及到的常用日期会有yyyy-MM-dd HH:mm:ss、yyyy-MM-dd和HH:mm:ss，但是Excel上面的格式可不止这些，用户总会输入一些其他格式，如如果在定义verify时用下面这种格式定义，那么总会…...

编程日记 2025/8/5 1:19:42

《保险科技》

自己在保险行业工作很多年，只是接触了一些数据的内容，对于保险业务的知识了解的很少，想通过这本书补充一下，但是发现这本书就是一些知识的拼接。先将保险的历史，后讲保险的定义，然后就是吹嘘保险行业和互联…...

编程日记 2025/8/7 14:06:16

QT编程之HTTP服务端与客户端技术

一、HTTP 服务器实现方案 ‌QtWebApp 集成‌ 将QtWebApp源码的 httpserver 目录导入项目，并在 .pro 文件中添加 include ($$PWD/httpserver/httpserver.pri)‌。配置 WebApp.ini 文件定义服务参数（IP、端口、线程池等），通过 HttpL…...

编程日记 2025/8/3 17:17:03

每日一题--计算机网络

一、基础概念类问题 1. TCP 和 UDP 的区别是什么？ 回答示例： TCP：面向连接、可靠传输（通过三次握手建立连接，丢包重传）、保证数据顺序（如文件传输、网页访问）。 UDP：无…...

编程日记 2025/8/5 20:48:10

IIS 服务器日志和性能监控

Internet Information Services （IIS） 是 Microsoft 提供的一款功能强大、灵活且可扩展的 Web 服务器，用于托管网站、服务和应用程序。IIS 支持 HTTP、HTTPS、FTP、SMTP 和更多用于提供网页的协议，因此广泛用于企业环境。 IIS 的…...

编程日记 2025/8/1 23:05:43

Unity学习之Shader总结（一）

一、Lesson1 1、渲染流水线 （1）应用阶段模型->模型处理（应用阶段）–>输入结构应用阶段主要操作：粗粒度剔除、进行渲染设置、准备基本数据、输出到几何阶段 （2）几何阶段输入结构-&…...

编程日记 2025/8/6 10:16:57

java，poi，提取ppt文件中的文字内容

注意，不涉及图片处理。先上pom依赖： <dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId><version>5.2.3</version></dependency><!--…...

编程日记 2025/8/10 6:12:30

matlab R2024b下载教程及安装教程（附安装包）

文章目录前言一、matlab R2024b 安装包下载二、matlab R2024b安装教程前言为帮助大家顺利安装该版本软件，特准备matlab R2024b下载教程及安装教程，它将以简洁明了的步骤，指导你轻松完成安装，开启 MATLAB R2024 的强大功能之旅…...

编程日记 2025/8/1 5:44:23

1. Flume 简介

2. Flume 架构

2.1 Source（来源）

2.2 Channel（通道）

2.3 Sink（下游输出）

3. Flume 数据流动原理

4. Flume 部署模式

5. 本地部署(单机)

6.Flume 入门案例

6.1 监控端口数据官方案例

6.2 实时监控单个追加文件

6.3 实时监控目录下多个新文件

6.4 实时监控目录下的多个追加文件

相关文章：