当前位置： 首页 > news >正文

Flume 监控配置和实践

news 来源：原创 2025/5/15 14:37:39

        要解释 Flume 的监控机制，需要了解 Flume 是如何设计其监控架构的，以及如何将性能指标暴露给用户或集成工具。下面我将详细分解 Flume 的监控机制，从基础架构、实现原理到源码解析，并提供非专业人也能理解的通俗解释。

Flume 的监控架构

Flume 的监控架构分为以下几个部分：

  1. 监控指标的收集：Flume 的每个组件（Source、Channel、Sink）都会通过内置的监控逻辑统计运行时的性能指标（如事件速率、处理错误、队列深度等）。
  2. 监控数据的暴露：这些指标会通过 JMX 或 HTTP 接口暴露给外部工具。
  3. 外部工具集成：通过开放接口将这些监控数据集成到外部监控系统中。

详细实现原理与流程

1. 指标的定义和收集

Flume 内部有一个 Instrumentation（仪表）系统，用于定义和收集各类监控指标。

  • 核心概念：
    Flume 的每个组件（Source、Channel 和 Sink）都实现了一个 Monitorable 接口。这个接口规定了组件如何收集自己的监控数据。

    主要接口定义：

    public interface Monitorable {String getName(); // 获取组件名称Map<String, String> getMetrics(); // 返回指标的键值对
}

    指标示例：

    • Source：接收的事件速率、累计事件数、失败次数。
    • Channel：当前事件数、容量利用率、读取/写入速率。
    • Sink：发送速率、成功发送事件数、失败次数。

  • 源码逻辑：
    Flume 内部的每个组件都有对应的 Instrumentation 实现。例如，Channel 的实现类 MemoryChannel 会统计当前队列的大小和容量：

    @Override
public Map<String, String> getMetrics() {Map<String, String> metrics = new HashMap<>();metrics.put("ChannelSize", String.valueOf(queue.size()));metrics.put("ChannelCapacity", String.valueOf(capacity));return metrics;
}

2. 数据的存储与更新

每个组件的监控指标会实时更新，并存储在 Flume 的内存中。

  • MetricsStorage 机制：
    Flume 使用一个 MetricsRegistry 注册表来集中存储和管理这些监控指标。每次组件状态发生变化时，都会通过注册表更新相应的数据。

    核心代码：

    MetricsRegistry metricsRegistry = new MetricsRegistry();
metricsRegistry.addMetric("Source.EventReceived", eventReceivedCount);
metricsRegistry.addMetric("Source.EventFailed", eventFailedCount);

    作用：

    • MetricsRegistry 是一个线程安全的数据结构，可以同时被多个组件更新和读取。
    • 它负责维护所有组件的监控数据，提供统一的访问接口。

3. 数据的暴露机制

Flume 将监控数据暴露给外部主要通过两种方式：JMX 和 HTTP。

(1) JMX 暴露

  • 原理：
    JMX 是 Java 自带的管理扩展框架，允许应用程序通过标准接口暴露内部状态，提供内置的监控功能。Flume 的每个组件都会注册一个 JMX MBean，将自己的监控数据暴露给 JMX 客户端。

  • 代码实现：
    Flume 的每个 Monitorable 组件都会注册为一个 MBean。以 Source 为例：

    ManagementFactory.getPlatformMBeanServer().registerMBean(new SourceInstrumentation(source), new ObjectName("flume:type=Source,name=MySource"));

    外部工具访问：
    用户可以通过 JMX 客户端（如 JConsole 或 VisualVM）实时查看这些监控数据。
    可以监控以下指标：

    • Source：事件接收速率、累计事件数、错误次数等。
    • Channel：当前事件数量、容量使用率、读写速率等。
    • Sink：发送速率、累计发送事件数、错误次数等。
(2) HTTP 暴露

  • 原理：
    Flume 内置了一个简单内置的 HTTP 服务，将监控指标以 JSON 格式的状态数据暴露在指定端口上。默认情况下，HTTP 端口是 41414。
    示例：

    curl http://<hostname>:41414/metrics

    返回的数据包括每个组件的详细状态，可以解析和分析。

  • 代码实现：
    Flume 的 HTTP 监控模块通过 MetricsServlet 实现：

    public class MetricsServlet extends HttpServlet {@Overrideprotected void doGet(HttpServletRequest req, HttpServletResponse resp) {Map<String, String> metrics = metricsRegistry.getAllMetrics();resp.getWriter().write(new Gson().toJson(metrics));}
}

    示例输出：

    {"Source.EventReceived": "1000","Channel.ChannelSize": "500","Sink.EventSent": "950"
}

 下面是较为全面的参数：

{"CHANNEL.memoryChannel": {"ChannelCapacity": "550000","ChannelFillPercentage": "0.18181818181818182","Type": "CHANNEL","ChannelSize": "1000","EventTakeSuccessCount": "33541400","EventTakeAttemptCount": "33541527","StartTime": "1536572886273","EventPutAttemptCount": "33542500","EventPutSuccessCount": "33542500","StopTime": "0"},"SINK.hdfsSink": {"ConnectionCreatedCount": "649","ConnectionClosedCount": "648","Type": "SINK","BatchCompleteCount": "335414","BatchEmptyCount": "27","EventDrainAttemptCount": "33541500","StartTime": "1536572886275","EventDrainSuccessCount": "33541400","BatchUnderflowCount": "0","StopTime": "0","ConnectionFailedCount": "0"},"SOURCE.avroSource": {"EventReceivedCount": "33542500","AppendBatchAcceptedCount": "335425","Type": "SOURCE","EventAcceptedCount": "33542500","AppendReceivedCount": "0","StartTime": "1536572886465","AppendAcceptedCount": "0","OpenConnectionCount": "3","AppendBatchReceivedCount": "335425","StopTime": "0"}
}
参数说明：
字段名称含义
SOURCE.OpenConnectionCount打开的连接数
SOURCE.TYPE组件类型
SOURCE.AppendBatchAcceptedCount追加到channel中的批数量
SOURCE.AppendBatchReceivedCountsource端刚刚追加的批数量
SOURCE.EventAcceptedCount成功放入channel的event数量
SOURCE.AppendReceivedCountsource追加目前收到的数量
SOURCE.StartTime(StopTime)组件开始时间、结束时间
SOURCE.EventReceivedCountsource端成功收到的event数量
SOURCE.AppendAcceptedCountsource追加目前放入channel的数量
CHANNEL.EventPutSuccessCount成功放入channel的event数量
CHANNEL.ChannelFillPercentage通道使用比例
CHANNEL.EventPutAttemptCount尝试放入将event放入channel的次数
CHANNEL.ChannelSize目前在channel中的event数量
CHANNEL.EventTakeSuccessCount从channel中成功取走的event数量
CHANNEL.ChannelCapacity通道容量
CHANNEL.EventTakeAttemptCount尝试从channel中取走event的次数
SINK.BatchCompleteCount完成的批数量
SINK.ConnectionFailedCount连接失败数
SINK.EventDrainAttemptCount尝试提交的event数量
SINK.ConnectionCreatedCount创建连接数
SINK.Type组件类型
SINK.BatchEmptyCount批量取空的数量
SINK.ConnectionClosedCount关闭连接数量
SINK.EventDrainSuccessCount成功发送event的数量
SINK.BatchUnderflowCount正处于批量处理的batch数

注意问题：每个任务都需要占用一个端口，且需要不停调用端口来获取json格式数据，占用资源。

 

(3) 日志监控(不是暴露机制，但是也可以算是一个方法)

        Flume 会生成详细的日志文件，记录运行状态、错误和异常信息。日志文件可以通过以下方式进行监控：

  • 使用 grep 定期检查错误日志。
  • 配置 Log4j 的日志级别，设置为 INFO 或 DEBUG 以获取更详细的信息。
  • 使用日志收集工具（如 ELK、Splunk）集中分析日志。

4. 外部集成与可视化

Flume 暴露的监控数据可以通过以下工具进一步处理和可视化：

  • Prometheus 集成：
    使用 JMX Exporter 或 HTTP Exporter 将 Flume 的监控数据转换为 Prometheus 格式。
  • Grafana 可视化：
    从 Prometheus 中获取 Flume 指标，创建实时监控面板。
  • 定制化监控脚本：
    用户可以通过 HTTP 接口抓取数据，编写自己的报警或分析脚本。

生产环境中：Apache Flume 与 Prometheus 集成-CSDN博客  

  • Nagios 或 Zabbix
    配置定制化的监控插件，定期检查 Flume 运行状态和性能指标。
  • Ganglia
    Flume 提供对 Ganglia 的支持，可以将监控指标直接发送到 Ganglia。

自定义监控

Flume 支持自定义监控指标，开发者可以基于 Flume 的 Monitoring API 编写自定义的监控程序：

  • 编写监控报告器
    使用 Flume 的 org.apache.flume.instrumentation 包，获取组件运行状态。
  • 接入内部监控系统
    将采集到的指标发送到公司内部的监控系统（如 Kafka、InfluxDB）。

 报警设置

通过结合日志、JMX 或外部工具，设置报警机制：

  • 数据流量突然下降或停止。
  • Channel 长时间高负载或已满。
  • Source 或 Sink 出现高错误率。

完整流程总结

  1. Flume 的每个组件实现了 Monitorable 接口，收集自身的性能指标。
  2. 指标通过 MetricsRegistry 集中管理，并实时更新。
  3. Flume 将这些指标通过 JMX 和 HTTP 暴露出来。
  4. 用户或外部工具通过这些接口抓取监控数据，进行分析和报警。

通俗解释

  • 想象 Flume 是一座工厂：

    • Source 是原材料进来的门卫，统计有多少原材料进来（事件数）。
    • Channel 是存放原材料的仓库，记录仓库的容量和存货。
    • Sink 是成品运出的通道，统计每天运出多少成品。

  • 监控的工作方式：
    每个部门（Source、Channel、Sink）都会用一个计数器记录自己的工作情况。
    然后，这些记录通过两种方式展示出来：

    1. JMX：像管理者的内部管理系统，可以实时查看每个部门的状态。
    2. HTTP：像一个报表系统，每隔一段时间生成一份公开的统计报告。

        通过这种架构设计，Flume 能够在运行时持续监控自己的健康状态，并提供丰富的接口供用户扩展和分析。

相关文章：

Flume 监控配置和实践

要解释 Flume 的监控机制&#xff0c;需要了解 Flume 是如何设计其监控架构的&#xff0c;以及如何将性能指标暴露给用户或集成工具。下面我将详细分解 Flume 的监控机制&#xff0c;从基础架构、实现原理到源码解析&#xff0c;并提供非专业人也能理解的通俗解释。 Flume 的监…...

编程日记 2025/5/15 14:37:39

二分法算法

提示&#xff1a;文章 文章目录 前言一、背景二、二分法2.2 最坏情况下冒泡排序的比较次数 三、大算法之一&#xff1a;分治法总结 前言 前期疑问&#xff1a; 本文目标&#xff1a; 二分法 一、背景 问题来源是一个题目&#xff0c;在A[N]字符串数组中匹配长度为M的字符串&…...

编程日记 2025/5/11 8:05:30

3.27浮点数计算

-127就是说&#xff0c;有8位的数来表示指数&#xff0c;然后给他减去127就是这八位劈半&#xff0c;一半表示负数的指数&#xff0c;一半表示整数的指数&#xff1b;对于移码来说&#xff0c;最高位为1时表示为正&#xff0c;为0时表示为负 对阶是要小阶向大阶对齐&#xff0c…...

编程日记 2025/5/14 17:18:48

存储过程与自然语言处理逻辑的不同与结合

在现代软件开发中&#xff0c;存储过程与自然语言处理&#xff08;NLP&#xff09;逻辑都发挥着重要作用。存储过程是一种在数据库内部运行的预编译程序&#xff0c;通常用于处理与数据相关的任务&#xff0c;例如插入、更新、删除数据以及复杂的查询操作。而自然语言处理&…...

编程日记 2025/5/15 14:04:22

数据集搜集器（百科）008

对数据集搜集器&#xff08;百科&#xff09;007进行一下改进&#xff1a; 错误处理&#xff1a;增加更多的错误处理&#xff0c;比如网络请求超时、解析错误等。 用户界面&#xff1a;增加一些提示信息&#xff0c;让用户更清楚当前的操作状态。 多线程处理&#xff1a;确保多…...

编程日记 2025/5/14 6:57:04

用Pycharm安装manim

由于版本和工具的差异&#xff0c;manim的安装方式不尽相同。本文用Pycharm来安装manim. 一、准备工作&#xff1a;安装相应版本的python、pycharm和ffmpeg. 此处提供一种安装ffmpeg的方式 下载地址&#xff1a;FFmpeg 下载后&#xff0c;解压到指定目录。 配置环境变量&am…...

编程日记 2025/5/13 2:32:05

HTB：Love[WriteUP]

目录 连接至HTB服务器并启动靶机 信息收集 使用rustscan对靶机TCP端口进行开放扫描 使用nmap对靶机开放端口进行脚本、服务扫描 使用浏览器访问靶机443端口 尝试利用该功能访问靶机自身80端口 使用ffuf对靶机80端口进行路径FUZZ 漏洞利用 使用searchsploit搜索靶机80端…...

编程日记 2025/5/14 2:33:26

程序设计 26种设计模式，如何分类？

1. 创建型模式 (Creational Patterns) 这些模式关注如何实例化对象。它们通过各种方式封装对象的创建过程&#xff0c;从而提供灵活性和可扩展性。 单例模式 (Singleton)&#xff1a;确保某个类只有一个实例&#xff0c;并提供全局访问点。工厂方法模式 (Factory Method)&…...

编程日记 2025/5/15 0:50:37

Oracle对比表与表之间的结构

自己首先想到的就是,navicat有提供结构同步 但是有些时候情况不一样,比如我遇到的是连接不同,而且是互相同步,以最多的列的那个表为样 没有说一个固定的源 那么还可以通过导出表结构去另一个库中执行看是否报错,以此来判断结构的不同 但是我感觉有点儿麻烦 最后想到通过sql语…...

编程日记 2025/5/15 3:24:21

MySQL 查询 执行顺序

MySQL查询的执行顺序大致如下&#xff1a; FROM子句&#xff1a;确定要查询的表。 ON&#xff1a;对JOIN语句中的表进行关联条件指定。 JOIN&#xff1a;如果有的话&#xff0c;对表进行关联。 WHERE&#xff1a;对记录进行过滤。 GROUP BY&#xff1a;根据指定的列分组记录…...

编程日记 2025/5/15 12:27:24

Scala习题

姓名&#xff0c;语文&#xff0c;数学&#xff0c;英语 张伟&#xff0c;87&#xff0c;92&#xff0c;88 李娜&#xff0c;90&#xff0c;85&#xff0c;95 王强&#xff0c;78&#xff0c;90&#xff0c;82 赵敏&#xff0c;92&#xff0c;88&#xff0c;91 孙涛&#xff0c…...

编程日记 2025/5/14 1:19:09

VSCode 使用教程：项目使用配置、使用哪些插件、Live Server使用问题及解决方案(你想要的，都在这里)

VSCode的配置&#xff1a; Ⅰ、VSCode 可能需要的项目配置&#xff1a;1、项目颜色主题的切换&#xff1a;其一、点击设置 -> 选择主题 -> 选择颜色主题&#xff1a;其二、通过上下键操作&#xff0c;选择想要的主题&#xff1a; 2、项目文件图标主题的切换&#xff1a;其…...

编程日记 2025/5/15 13:39:03

RPA：电商订单处理自动化

哈喽&#xff0c;大家好&#xff0c;我是若木&#xff0c;最近闲暇时间较多&#xff0c;于是便跟着教程做了一个及RPA&#xff0c;谈到这个&#xff0c;可能很多人并不是很了解&#xff0c;但是实际上&#xff0c;这玩意却遍布文末生活的边边角角。话不多说&#xff0c;我直接上…...

编程日记 2025/5/12 9:49:16

分布式协同 - 分布式锁一二事儿

文章目录 导图Pre概述概述1. 分布式互斥和临界资源的协调2. 分布式锁的基本原理3. 分布式锁的实现方式a. 基于数据库实现的分布式锁b. 基于Redis实现的分布式锁c. 基于Zookeeper实现的分布式锁 4. 高并发场景下的分布式锁优化a. 分段锁&#xff08;Sharded Locks&#xff09;b.…...

编程日记 2025/5/13 14:31:59

React Native学习笔记（三）

一 组件简介 1.1 简介 RN中的核心组件&#xff0c;是对原生组件的封装 原生组件&#xff1a;Android或ios内的组件核心组件&#xff1a;RN中常用的&#xff0c;来自react-native的组件 原生组件 在 Android 开发中是使用 Kotlin 或 Java 来编写视图&#xff1b;在 iOS 开发…...

编程日记 2025/5/15 14:11:03

什么是B+Tree？

BTree是B-Tree的一种变体&#xff0c;它在数据库索引和文件系统中被广泛使用&#xff0c;因为它优化了磁盘I/O操作&#xff0c;并且对于范围查询非常高效。 以下是BTree的详细全面解释&#xff1a; 基本概念 节点&#xff08;Node&#xff09;&#xff1a;BTree由节点组成&…...

编程日记 2025/5/13 21:45:12

LeetCode 热题100（十一）【二分查找】（2）

11.4搜索旋转排序数组&#xff08;中等&#xff09; 题目描述&#xff1a;leetcode链接 33. 搜索旋转排序数组 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&…...

编程日记 2025/5/15 12:58:57

《Python基础》之OS模块

目录 前言 各种文件操作方法 1、os.path.exists() 2、os.path.join() 3、os.path.abspath(__file__) 4、os.path.dirname() 5、os.path.isfile() 6、os.path.isdir() 7、os.mkdir() 8、os.remove() 9、os.rmdir() 前言 本文主要介绍使用os模块中的功能操作文件或者文…...

编程日记 2025/5/15 13:52:12

esp32触发相机

esp32触发相机&#xff0c;测试成功上升沿触发 串口发送命令 up 20000 1 20000 触发 #include <Arduino.h>const int outputPin 12; // 输出引脚 String inputCommand ""; // 串口输入缓冲区// 解析命令参数&#xff0c;例如 "up 10 5" 解析为…...

编程日记 2025/5/6 12:13:01

AWS EC2设置用户名密码登录

使用AWS EC2 设置用户名密码登录 步骤 1: 访问控制台 登录到AWS管理控制台。导航至 EC2 Dashboard。在左侧导航栏中选择 Instances。选择需要配置的实例。使用 EC2 Instance Connect 访问实例控制台。 步骤 2: 切换到 root 用户 打开终端或命令行工具&#xff0c;通过SSH连…...

编程日记 2025/5/10 15:23:48

Mac配置和启动 Tomcat

Tomcat 配置与启动&#xff1a; 配置 Tomcat&#xff1a; homebrew install tomcat 启动 Tomcat&#xff1a; 如果cd ~/tomcat/bin文件夹存在startup.sh文件&#xff0c;可以直接在终端运行&#xff1a;./startup.sh 如果~/bin目录下&#xff0c;只有catalina文件。则在终端运行…...

编程日记 2025/5/15 13:56:39

基于深度学习的手势识别算法

基于深度学习的手势识别算法 概述算法原理核心逻辑效果演示使用方式参考文献 概述 本文基于论文 [Simple Baselines for Human Pose Estimation and Tracking[1]](ECCV 2018 Open Access Repository (thecvf.com)) 实现手部姿态估计。 手部姿态估计是从图像或视频帧集中找到手…...

编程日记 2025/5/12 9:34:24

ffmpeg RTP PS推流

要实现 CRtpSendPs 类&#xff0c;使其能够将 H264 数据通过 RTP PS 流推送到指定的 URL&#xff0c;并支持 TCP 和 UDP 传输方式&#xff0c;您需要使用 FFmpeg 库。以下是该类的实现示例&#xff0c;包括必要的初始化、推流和退出函数。 步骤 初始化 FFmpeg 库&#xff1a;…...

编程日记 2025/5/12 7:32:04

uniapp开发支付宝小程序自定义tabbar样式异常

解决方案&#xff1a; 这个问题应该是支付宝基础库的问题&#xff0c;除了依赖于官方更新之外&#xff0c;开发者可以利用《自定义 tabBar》曲线救国 也就是创建一个空内容的自定义tabBar&#xff0c;这样即使 tabBar 被渲染出来&#xff0c;但从视觉上也不会有问题 1.官方文…...

编程日记 2025/5/12 13:49:06

YOLOv8实战无人机视角目标检测

本文采用YOLOv8作为核心算法框架&#xff0c;结合PyQt5构建用户界面&#xff0c;使用Python3进行开发。YOLOv8以其高效的实时检测能力&#xff0c;在多个目标检测任务中展现出卓越性能。本研究针对无人机目标数据集进行训练和优化&#xff0c;该数据集包含丰富的无人机目标图像…...

编程日记 2025/5/13 9:30:50

RNN详解及其实现

目录 概述为什么需要 RNN&#xff1f;RNN 理解及其简单实现RNN 完成文本分类任务RNN 存在的问题 概述 提及 RNN&#xff0c;绝大部分人都知道他是一个用于序列任务的神经网络&#xff0c;会提及他保存了时序信息&#xff0c;但是&#xff0c;为什么需要考虑时序的信息&#xf…...

编程日记 2025/5/10 7:33:17

SpringBoot开发——详细讲解 Spring Boot 项目中的 POM 配置

文章目录 一、POM 文件简介二、单模块项目的 POM 配置1. 创建基本的 Spring Boot 单模块项目2. 重点解析三、多模块项目的 POM 配置1. 多模块项目结构2. 父模块 POM 文件3. 子模块 POM 文件4. 重点解析结语在 Spring Boot 项目中，POM（Project Object Model）文件起着关键作用…...

编程日记 2025/5/12 7:20:43

数据仓库: 8- 数据仓库性能优化

CSDN 目录展示 目录 8- 数据仓库性能优化8.1 查询优化8.1.1 索引优化8.1.2 分区和分桶8.1.3 使用缓存8.1.4 查询简化与重写8.1.5 聚合优化8.1.6 并行化和分布式计算8.1.7 基于列存储的优化8.1.8 表的分区和数据清洗8.1.9 查询提示 (Hints)8.1.10 自动调优工具 8.2 索引设计8.2…...

编程日记 2025/5/13 14:43:09

如何使用GCC手动编译stm32程序

如何不使用任何IDE&#xff08;集成开发环境&#xff09;编译stm32程序? 集成开发环境将编辑器、编译器、链接器、调试器等开发工具集成在一个统一的软件中&#xff0c;使得开发人员可以更加简单、高效地完成软件开发过程。如果我们不使用KEIL,IAR等集成开发环境&#xff0c;…...

编程日记 2025/5/11 5:28:42

2023年MathorCup高校数学建模挑战赛—大数据竞赛B题电商零售商家需求预测及库存优化问题求解全过程文档及程序

2023年MathorCup高校数学建模挑战赛—大数据竞赛 B题 电商零售商家需求预测及库存优化问题 原题再现&#xff1a; 电商平台存在着上千个商家&#xff0c;他们会将商品货物放在电商配套的仓库&#xff0c;电商平台会对这些货物进行统一管理。通过科学的管理手段和智能决策&…...

编程日记 2025/5/12 23:38:08

不可分割的整体—系统思考的微妙法则

不可分割的整体——系统思考的微妙法则 作为企业领导者&#xff0c;我们经常需要做出决策&#xff0c;但有时候&#xff0c;我们会忽略一个事实&#xff1a;每个决策都不是孤立的&#xff0c;它背后都是一个复杂系统的一部分。 无论是市场动态、团队协作&#xff0c;还是产品…...

编程日记 2025/5/14 21:12:20

使用Grafana K6来测测你的系统负载能力

背景 近期我们有个号称会有很高很高并发的系统要上线&#xff0c;为了测试一下自己开发的系统的负载能力&#xff0c;准备了点海克斯科技&#xff0c;来看看抗不抗的住。 之前笔者写过用Apache JMeter进行压力测试的文章&#xff08;传送门&#x1f449;&#xff1a;https://…...

编程日记 2025/5/15 11:29:56

ENSP IPV6-over-IPV4

IPv6是网络层协议的第二代标准协议&#xff0c;一个IPv6地址同样可以分为网络前缀和主机ID两个部分。 可以将IPV4的网络看成IPV6的承载网&#xff0c;只有IPv4网络是连通的&#xff0c;则IPv6网络才有可能连通。所以配置的时候需要先配置IPv4网络的路由功能&#xff0c;再配IP…...

编程日记 2025/5/15 13:30:11

FLASH分区---FAT分区添加操作

1、板卡配置 注意&#xff1a;使用fat文件系统的时候&#xff0c;必须download进去一个fat系统的镜像 fat.img 0xee0000 注意&#xff1a;需要打开fat宏定义&#xff08;涉及到底层&#xff0c;必须开&#xff0c;否则无法创建文件&#xff09; 2、板卡.c 配置 修改分区大小、增…...

编程日记 2025/5/15 6:51:45

javax.xml.ws.soap.SOAPFaultException: ZONE_OFFSET

javax.xml.ws.soap.SOAPFaultException 表示 SOAP 调用过程中发生了错误&#xff0c;并且服务端返回了一个 SOAP Fault。 错误信息中提到的 ZONE_OFFSET 可能指的是时区偏移量。在日期和时间处理中&#xff0c;时区偏移量是指格林威治标准时间 (GMT) 的偏移量。如果服务期望特…...

编程日记 2025/5/14 22:25:08

针对解决conda环境BUG的个人笔记

1-conda学习&安装 安装视频&#xff1a; 零基础教程&#xff1a;基于Anaconda和PyCharm配置Pytorch环境_哔哩哔哩_bilibili 安装过程&#xff1a; MX250笔记本安装Pytorch、CUDA和cuDNN-CSDN博客 Win10MX250CUDA10.1cuDNNPytorch1.4安装测试全过程(吐血)_nvidia geforc…...

编程日记 2025/5/7 17:31:44

代理IP与百度在信息时代的交互

目录 一、代理IP的基本概念和工作原理 二、代理IP在百度搜索中的多重作用 解决网络延时问题&#xff0c;提高搜索速度 提高网络安全 隐藏用户的真实IP地址&#xff0c;保护个人隐私 突破访问限制&#xff0c;拓宽网络视野 三、代理IP在百度关键词排名优化中的应用 模拟…...

编程日记 2025/5/15 14:24:33

10、PyTorch autograd使用教程

文章目录 1. 相关思考2. 矩阵求导3. 两种方法求jacobian 1. 相关思考 2. 矩阵求导 假设我们有如下向量&#xff1a; y 1 3 x 1 5 [ w T ] 5 3 b 1 3 \begin{equation} y_{1\times3}x_{1\times5}[w^T]_{5\times3}b_{1\times3} \end{equation} y13​x15​[wT]53​b13​​…...

编程日记 2025/5/10 6:57:55

Flink随笔 20241129 流数据处理：以生产线烤鸡为例理解 Flink

流数据&#xff08;streaming data&#xff09;就像是一条永不停歇的生产线&#xff0c;源源不断地向前推进&#xff0c;带来新的数据。而 Apache Flink 就是这条生产线的核心&#xff0c;它负责对数据进行处理、分类、聚合和存储。为了更好地理解 Flink 的流处理&#xff0c;我…...

编程日记 2025/5/11 9:40:27

Web day02 Js Vue Ajax

目录 1.javascript: 1.js的引入方式&#xff1a; 2.js变量 & 数据类型 & 输出语句&#xff1a; 模板字符串&#xff1a; 3.函数 & 自定义对象&#xff1a; 4. json 字符串 & DOM操作&#xff1a; 5. js事件监听&#xff1a; 6.js的模块化导入或者导出&a…...

编程日记 2025/5/9 18:57:43

Vue的生命周期

Vue.js 的生命周期是指一个 Vue 实例从创建到销毁的整个过程。在这个过程中&#xff0c;Vue 会提供一系列的钩子函数&#xff08;也称为生命周期钩子&#xff09;&#xff0c;开发者可以在这些钩子中执行特定的操作。理解 Vue 的生命周期对于编写高效、可维护的 Vue 应用至关重…...

编程日记 2025/5/7 15:10:40

【LeetCode热题100】优先级队列

这盘博客记录了关于优先级队列的几道题&#xff0c;包括最后一块石头的重量、数据流中的第K大元素、前K个高频单词、数据流的中位数。 class Solution { public:int lastStoneWeight(vector<int>& stones) {priority_queue<int> heap;for(auto s : stones) hea…...

编程日记 2025/5/13 4:20:34

用go语言写一个小服务

文章目录 简介重新想到go 小服务main.go部署测试 结束语 简介 golang的优势 响应速度&#xff1a; Go > Java > Python 内存占用&#xff1a; Go < Java < Python 从java转go&#xff0c;然后go又转java&#xff0c;感觉就是go虽然在编译、内存占用都强于java&am…...

编程日记 2025/5/10 17:13:13

shell编程练习巩固

一、用shell写出一个简单的计算器。 其实用shell写个简单的计算器还是很简单&#xff0c;我们不用构建那么复杂的计算功能&#xff0c;只需要复现出简单的加减乘除取余即可。 既然是计算器就要明确一下思路&#xff1a; 用户可以输入一个数字根据数字选择加、减、乘、除、取…...

编程日记 2025/5/10 22:33:00

pytest+allure生成报告显示loading和404

pytestallure执行测试脚本后&#xff0c;通常会在电脑的磁盘上建立一个临时文件夹&#xff0c;里面存放allure测试报告&#xff0c;但是这个测试报告index.html文件单独去打开&#xff0c;却显示loading和404, 这个时候就要用一些办法来解决这个报告显示的问题了。 用命令产生…...

编程日记 2025/5/12 13:04:05

从数据孤岛到数据协同：企业如何构建安全的数据共享生态？

聚焦数据协作与隐私保护技术&#xff0c;探索企业如何在共享中保持安全性。 导读 在数字经济时代&#xff0c;数据已成为企业最宝贵的战略资源。然而&#xff0c;传统的"数据孤岛"模式正阻碍企业价值创新。本文将深度解析如何突破数据壁垒&#xff0c;构建安全高效的…...

编程日记 2025/5/13 17:10:29

数据采集中，除了IP池的IP被封，还有哪些常见问题？

在数据采集的过程中&#xff0c;代理IP池的使用无疑为我们打开了一扇通往信息宝库的大门。然而&#xff0c;除了IP被封禁这一常见问题外&#xff0c;还有许多其他问题可能影响数据采集的效果。本文将探讨在数据采集中&#xff0c;除了IP被封之外&#xff0c;还可能遇到的一些常…...

编程日记 2025/5/13 6:53:06

数据结构--数组

目录 1 定义 1.1 数组内存结构 1.2二维数组 2 练习 2.1 将数组内两个区间内有序元素合并 2.2 leetcode88. 合并两个有序数组 3 缓存与局部性原理 1 定义 1.1 数组内存结构 1 2 3 5 6 给数组添加元素时&#xff0c;应将原来添加位置的元素和之后的元素进行复制 System…...

编程日记 2025/5/15 3:24:24

基础入门-Web应用架构搭建域名源码站库分离MVC模型解析受限对应路径

知识点&#xff1a; 1、基础入门-Web应用-域名上的技术要点 2、基础入门-Web应用-源码上的技术要点 3、基础入门-Web应用-数据上的技术要点 4、基础入门-Web应用-解析上的技术要点 5、基础入门-Web应用-平台上的技术要点 一、演示案例-域名差异-主站&分站&端口站&…...

编程日记 2025/5/15 12:27:05

屏幕触控支持指纹

一、前端navigator.maxTouchPoints获取屏幕是否支持触控。 二、navigator.maxTouchPoints c接口修改。 1、third_party\blink\renderer\core\events\navigator_events.idl // https://w3c.github.io/pointerevents/#extensions-to-the-navigator-interface[ImplementedAsNavi…...

编程日记 2025/5/14 15:22:51