当前位置：首页 > news >正文

中间件--ClickHouse-12--案例-1-日志分析和监控

news 来源：原创 2025/8/11 1:12:17

1、案例背景

一家互联网公司需要实时分析其服务器日志、应用日志和用户行为日志，以快速发现潜在问题并优化系统性能。

2、需求分析

目标：实时分析日志数据，快速发现问题并优化系统性能。
数据来源：
- 服务器日志：如 Nginx、Tomcat、Docker等日志。
- 应用日志：业务系统的运行日志。
- 用户行为日志：用户操作记录（如点击、浏览、下单等）。
输出：
- 错误率、请求延迟、用户行为路径等关键指标。
- 实时监控仪表盘。

3、解决思路

日志采集：使用工具（如Filebeat或Fluentd）将日志数据写入Kafka。
数据存储与分析：Kafka中的数据被导入到ClickHouse，利用其高效的压缩和查询性能进行日志分析。
可视化：通过 Grafana 或 Redash 构建仪表盘，展示关键指标（如错误率、请求延迟等）。

4、技术选型

日志采集：Filebeat 或 Fluentd。
消息队列：Kafka（用于缓冲和传输日志数据）。
存储与分析：ClickHouse（高性能 OLAP 数据库）。
可视化：Grafana 或 Redash。

5、ClickHouse的作用

高效存储：日志数据量通常非常庞大，ClickHouse的列式存储和高压缩比显著降低了存储成本。
实时分析：支持毫秒级响应的复杂查询，适合对海量日志进行实时分析。
灵活扩展：支持分布式部署，能够处理PB级别的日志数据。

6、基本实现步骤

（1）、日志采集

1. 安装 Filebeat：

bash示例：

sudo apt-get install filebeat

2. 配置 Filebeat：

编辑 filebeat.yml 文件，指定日志文件路径和 Kafka 输出：
yaml示例：

  filebeat.inputs:- type: logpaths:- /var/log/nginx/*.log- /var/log/application/*.logoutput.kafka:hosts: ["kafka-broker:9092"]topic: "logs"

解释：
Input为采集日志相关配置，如nginx的log日志文件，应用程序的log日志文件，output指定输出到kafka。

3. 启动 Filebeat：

bash示例：

sudo service filebeat start

（2）、消息队列（Kafka）

1. 安装 Kafka：

bash示例：

wget https://downloads.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz
tar -xzf kafka_2.13-3.0.0.tgz
cd kafka_2.13-3.0.0

2. 启动 Kafka：

bash示例：

bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties

（3）、数据消费与写入ClickHouse

1. 创建 ClickHouse 表：

sql示例：

   CREATE TABLE logs (timestamp DateTime,level String,message String,source String) ENGINE = MergeTree()ORDER BY (timestamp);

（4）、可视化

1. 安装 Grafana：

bash示例：

sudo apt-get install grafana
sudo service grafana-server start

2. 配置 ClickHouse 数据源：

在 Grafana 中添加 ClickHouse 数据源，配置连接信息。

3. 构建仪表盘：

创建图表展示日志的关键指标，如错误率、请求延迟等。

7、Spring Boot代码示例

使用Spring Boot消费Kafka数据并写入 ClickHouse。

（1）、添加依赖

<dependencies><!-- Spring Boot Starter --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId></dependency><!-- Kafka --><dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId></dependency><!-- ClickHouse JDBC --><dependency><groupId>com.clickhouse</groupId><artifactId>clickhouse-jdbc</artifactId><version>0.3.2</version></dependency><!-- Jackson for JSON Parsing --><dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-databind</artifactId></dependency>
</dependencies>

（2）、配置 Kafka 和 ClickHouse

在 application.yml 中配置 Kafka 和 ClickHouse：

spring:kafka:bootstrap-servers: kafka-broker:9092consumer:group-id: clickhouse-groupauto-offset-reset: earliestdatasource:url: jdbc:clickhouse://clickhouse-server:8123/defaultdriver-class-name: com.clickhouse.jdbc.ClickHouseDriverusername: defaultpassword:

（3）、Kafka 消费者

import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Service;@Service
public class LogConsumer {private final LogRepository logRepository;public LogConsumer(LogRepository logRepository) {this.logRepository = logRepository;}@KafkaListener(topics = "logs", groupId = "clickhouse-group")public void consume(String message) {// 解析日志消息Log log = parseLog(message);// 写入 ClickHouselogRepository.save(log);}private Log parseLog(String message) {// 假设日志是 JSON 格式ObjectMapper objectMapper = new ObjectMapper();try {return objectMapper.readValue(message, Log.class);} catch (Exception e) {throw new RuntimeException("Failed to parse log message", e);}}
}

（4）、ClickHouse 数据访问层

创建Repository类。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.stereotype.Repository;@Repository
public class LogRepository {private final JdbcTemplate jdbcTemplate;@Autowiredpublic LogRepository(JdbcTemplate jdbcTemplate) {this.jdbcTemplate = jdbcTemplate;}public void save(Log log) {String sql = "INSERT INTO logs (timestamp, level, message, source) VALUES (?, ?, ?, ?)";jdbcTemplate.update(sql, log.getTimestamp(), log.getLevel(), log.getMessage(), log.getSource());}
}

（5）、日志实体类

import java.time.LocalDateTime;public class Log {private LocalDateTime timestamp;private String level;private String message;private String source;// Getters and Setters
}

（6）、 Service 层（LogService.java）

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.stereotype.Service;
import java.util.List;
import java.util.Map;@Service
public class LogService {@Autowiredprivate JdbcTemplate jdbcTemplate;// 查询最近5分钟的错误率public List<Map<String, Object>> getErrorRate() {String sql = "SELECT program, error_count * 100.0 / total_requests AS error_percent " +"FROM log_errors_mv " +"WHERE minute >= now() - interval 5 minute " +"GROUP BY program";return jdbcTemplate.queryForList(sql);}// 查询指定时间段的响应时间分布public List<Map<String, Object>> getResponseTimeStats(String startTime, String endTime) {String sql = "SELECT percentileState(upstream_response_time, 0.95) AS p95 " +"FROM log_main " +"WHERE timestamp BETWEEN ? AND ?";return jdbcTemplate.queryForList(sql, startTime, endTime);}
}

（7）、Controller 层（LogController.java）

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;
import java.util.Map;@RestController
public class LogController {@Autowiredprivate LogService logService;@GetMapping("/error-rate")public List<Map<String, Object>> getErrorRate() {return logService.getErrorRate();}@GetMapping("/response-time")public List<Map<String, Object>> getResponseTime(@RequestParam String startTime,@RequestParam String endTime) {return logService.getResponseTimeStats(startTime, endTime);}
}

8、关键优化与注意事项

以上仅为简单的示例，实际生产中每一步都会比较复杂，需要结合实际需求在做详细的数据库设计以及接口设计等。这里我们主要是理解做的思路。

（1）、表设计优化

分区策略：按 toYYYYMMDD(timestamp) 分区，便于按天清理旧数据。
物化视图：预聚合高频查询指标（如错误率、响应时间），避免重复计算。
索引与排序：在 program 和 timestamp 字段上建立索引，加速过滤查询。

（2）、ClickHouse 配置优化

资源分配：增大 max_threads 和 max_memory_usage，提升并发处理能力。
日志压缩：使用 gzip 或 lz4 压缩日志数据，减少存储开销。

（3）、Spring Boot 性能调优

连接池配置：使用 HikariCP 管理数据库连接（通过 spring.datasource.hikari.* 配置）。
缓存机制：对高频查询结果使用 Redis 缓存（如错误率统计）。

逆风成长，Dare To Be！！！

中间件--ClickHouse-12--案例-1-日志分析和监控

1、案例背景一家互联网公司需要实时分析其服务器日志、应用日志和用户行为日志，以快速发现潜在问题并优化系统性能。 2、需求分析目标：实时分析日志数据，快速发现问题并优化系统性能。数据来源： 服务器日志：如 Ng…...

编程日记 2025/8/11 1:12:17

QML中的3D功能--自定义着色器开发

在 Qt 3D 中使用自定义着色器可以实现高度定制化的渲染效果。以下是完整的自定义着色器开发方案。一、基础着色器创建 1. 创建自定义材质 qml import Qt3D.Core 2.15 import Qt3D.Render 2.15 import Qt3D.Extras 2.15Entity {components: [Transform { translation: Qt.v…...

编程日记 2025/8/11 1:11:46

如何防止接口被刷

目录 🛡️ 一、常见的防刷策略分类 🔧 二、技术实现细节 ✅ 1. 基于 IP 限流 ✅ 2. 给接口加验证码 ✅ 3. 使用 Token 限制接口访问权限 ✅ 4. 给接口加冷却时间（验证码类经典） ✅ 5. 使用滑动窗口限流算法（更精…...

编程日记 2025/8/9 16:34:11

18、TimeDiff论文笔记

TimeDiff **1. 背景与动机****2. 扩散模型基础****3. TimeDiff 模型****3.1 前向扩散过程****3.2 后向去噪过程** 4、TimeDiff（架构）原理训练推理其他关键点解释 DDPM（相关数学）1、正态分布2、条件概率1. **与多个条件相关**&…...

编程日记 2025/8/7 15:10:17

docker底层原理

一句话，dockerfile里面的一行指令，就是一个layer层 docker底层原理在机器上安装docker服务器端的程序，就会在机器上自动创建以下目录，默认安装路径是/var/lib/ docker服务器端的工作目录的作用如下，镜像的每一层的元数…...

编程日记 2025/8/10 19:03:42

YOLO拓展-NMS算法

1.概述 NMS（non maximum suppression）即非极大值抑制，其本质就是搜索局部极大值，抑制非极大值元素，可以理解为局部最大搜索。这里不讨论通用的NMS算法(参考论文《Efficient Non-Maximum Suppression》对1维和2维数据…...

编程日记 2025/8/10 1:20:04

Docker Swarm 容器与普通 Docker 容器的网卡差异

问题背景在 Docker Swarm 网络空间启动的容器有两张网卡（eth0 和 eth1），而普通 Docker 容器只有一张网卡（eth0）。以下通过分析 ip addr show 和 ip link show 的输出，解释原因。命令输出解析 Docker S…...

编程日记 2025/8/10 18:57:22

【Linux】线程ID、线程管理、与线程互斥

📚 博主的专栏 🐧 Linux | 🖥️ C | 📊 数据结构 | 💡C 算法 | 🌐 C 语言上篇文章： 【Linux】线程：从原理到实战，全面掌握多线程编程！-CSDN博客下…...

编程日记 2025/8/10 19:06:22

服务器简介（含硬件外观接口介绍）

服务器（Server）是指提供资源、服务、数据或应用程序的计算机系统或设备。它通常比普通的个人计算机更强大、更可靠，能够长时间无间断运行，支持多个用户或客户端的请求。简单来说，服务器就是专门用来存储、管理和提供数…...

编程日记 2025/8/10 2:26:57

自动驾驶---决策规划之导航增强端到端

1 背景自动驾驶算法通常包括几个子任务，包括3D物体检测、地图分割、运动预测、3D占用预测和规划。近年来，端到端方法将多个独立任务整合到多任务学习中，优化整个系统，包括中间表示，以实现最终的规划任务。随着端到端技…...

编程日记 2025/8/8 1:33:30

Datawhale AI春训营世界科学智能大赛--合成生物赛道：蛋白质固有无序区域预测小白经验总结

一、报名大赛二、跑通baseline 在魔塔社区创建实例，根据教程完成速通第一个分数~ Datawhale-学用 AI,从此开始三、优化实例（这里是我的学习优化过程） 1.先将官方给的的模型训练实例了解一遍（敲一敲代码） 训练模…...

编程日记 2025/8/3 8:39:56

基于Java(Struts2 + Hibernate + Spring)+MySQL实现的（Web）在线预约系统

基于Struts2 Hibernate Spring的在线预约系统 1.引言 1.1编写目的针对医院在线预约挂号系统，提供详细的设计说明，包括系统的需求、功能模块、界面设计、设计方案等，以辅助开发人员顺利进行系统的开发并让项目相关者可以对这个系统进行分…...

编程日记 2025/8/8 13:58:11

PHP获取大文件行数

在PHP中获取大文件的行数时，直接读取整个文件到内存中可能会导致内存溢出，特别是对于非常大的文件。因此，最有效的方法是逐行读取文件并计数。以下是一些实现方法： 方法一：使用 fgets() fgets() 函数逐行读取文件&am…...

编程日记 2025/8/9 7:33:53

2024年网站开发语言选择指南：PHP/Java/Node.js/Python如何选型？

2024年网站开发语言选择指南：PHP/Java/Node.js/Python如何选型？ 一、8大主流Web开发语言技术对比 1. PHP开发：中小型网站的首选方案最新版本：PHP 8.3（2023年11月发布）核心优势： 全球78%的网站…...

编程日记 2025/8/6 4:55:58

Win7模拟器2025中文版：重温经典，掌上电脑体验

随着科技的快速发展，现代操作系统变得越来越高级，但许多用户仍然怀念经典的Windows 7系统。如果你也想重温那种熟悉的操作体验，Win7模拟器2025中文版是一个不错的选择。这款软件能够让你在手机上轻松实现Windows 7系统的模拟，带来…...

编程日记 2025/8/11 1:12:16

HTML5+CSS3小实例：CSS立方体

实例：CSS立方体技术栈：HTML+CSS 效果：源码：【HTML】 <!DOCTYPE html> <html lang="zh-CN"> <head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0&q…...

编程日记 2025/8/5 11:53:25

使用 Vite 快速搭建现代化 React 开发环境

1.检查环境说明：检测环境，node版本为18.20.6。 2.创建命令说明：创建命令，选择对应的选项。 npm create vitelatest 3.安装依赖说明：安装相关依赖。 npm i...

编程日记 2025/8/4 1:42:30

Linux网络编程——基于ET模式下的Reactor

一、前言上篇文章中我们已经讲解了多路转接剩下的两个接口：poll和epoll，并且知道了epoll的两种工作模式分别是 LT模式和ET模式，下来我们就实现的是一个简洁版的 Reactor，即半同步半异步I/O，在linux网络中&#xff0c…...

编程日记 2025/8/9 14:22:34

【现代深度学习技术】循环神经网络04：循环神经网络

【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈PyTorch深度学习 ⌋ ⌋ ⌋ 深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和大算力的发展而发展出来的。深度学习最重…...

编程日记 2025/8/7 12:15:21

1. 认识DartGoogle为Flutter选择了Dart语言已经是既

1. 认识Dart Google为Flutter选择了Dart语言已经是既定的事实，无论你多么想用你熟悉的语言，比如JavaScript、TypeScript、ArkTS等来开发Flutter，至少目前都是不可以的。 Dart 是由谷歌开发的计算机编程语言，它可以被应用于 Web/…...

编程日记 2025/8/1 23:36:44

学习设计模式《三》——适配器模式

一、基础概念适配器模式的本质是【转换匹配，复用功能】； 适配器模式定义：将一个类的接口转换为客户希望的另外一个接口；适配器模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。适配器模式的目的：复用…...

编程日记 2025/8/3 7:54:25

【Java面试系列】Spring Boot微服务架构下的分布式事务处理与性能优化 - 2025-04-19详解 - 3-5年Java开发必备知识

【Java面试系列】Spring Boot微服务架构下的分布式事务处理与性能优化 - 2025-04-19详解 - 3-5年Java开发必备知识引言在微服务架构中，分布式事务处理和性能优化是面试中高频出现的主题。随着系统规模的扩大，如何保证数据一致性和系统性能成为开发者…...

编程日记 2025/8/11 0:10:27

Elasticsearch只返回指定的字段（用_source）

在Elasticsearch中，当你想要查询文档但不返回所有字段，只返回指定的字段（比如这里的id字段），你可以使用_source参数来实现这一点。但是，有一点需要注意：Elasticsearch的_source字段默认是返回的…...

编程日记 2025/8/7 20:06:02

【Linux “sed“ 命令详解】

本章目录: 1. 命令简介sed 的优势： 2. 命令的基本语法和用法基本语法：参数说明：常见用法场景：示例1：替换文本示例2：删除空行示例3：从命令输出中处理内容 3. 命令的常用选项及参数常用命令动作&a…...

编程日记 2025/8/9 17:20:56

JMETER使用

接口测试流程: 1.获取接口文档，熟悉接口业务 2.编写接口测试用例以及评审正例:输入正常的参数，验证接口能否正常返回反例:权限异常(为空、错误、过期)、参数异常(为空、长度异常、类型异常)、其他异常(黑名单、调用次数限制)、兼容异常(一个接口被多种…...

编程日记 2025/8/4 1:55:58

JavaWeb 课堂笔记 —— 13 MySQL 事务

本系列为笔者学习JavaWeb的课堂笔记，视频资源为B站黑马程序员出品的《黑马程序员JavaWeb开发教程，实现javaweb企业开发全流程（涵盖SpringMyBatisSpringMVCSpringBoot等）》，章节分布参考视频教程，为同样学习…...

编程日记 2025/8/9 15:44:47

离线安装elasticdump并导入和导出数据

离线安装elasticdump 在 CentOS 或 RHEL 系统上安装 elasticdump，你可以使用 npm（Node.js 的包管理器）来安装，因为 elasticdump 是一个基于 Node.js 的工具。以下是步骤先在外网环境下安装下载nodejs和npm（注意x8…...

编程日记 2025/8/6 23:40:03

WhatTheDuck：一个基于浏览器的CSV查询工具

今天给大家介绍一个不错的小工具：WhatTheDuck。它是一个免费开源的 Web 应用程序，允许用户上传 CSV 文件并针对其内容执行 SQL 查询分析。 WhatTheDuck 支持 SQL 代码自动完成以及语法高亮。 WhatTheDuck 将上传的数据存储为 DuckDB 内存表，继…...

编程日记 2025/8/6 22:25:01

关于数字信号与图像处理——基于Matlab的图像增强技术

本篇博客是在做数字信号与图像处理实验中的收获。具体内容包括：根据给定的代码放入Matlab中分别进行两次运行测试——比较并观察运行后的实验结果与原图像的不同点——画出IJ的直方图，并比较二者差异。接下来会对每一步进行具体讲解。题目&#xff1a…...

编程日记 2025/8/7 20:17:40

MySQL数据库 - 锁

锁此笔记参考黑马教程，仅学习使用，如有侵权，联系必删文章目录锁1. 概述1.1 介绍1.2 分类 2. 全局锁2.1 介绍2.2 语法2.3 特点（弊端） 3. 表级锁3.1 介绍3.2 表锁3.3 元数据锁（meta data lock&#xff0…...

编程日记 2025/8/6 16:32:39

免费多平台运行器，手机畅玩经典主机大作

软件介绍飞鸟模拟器是一款面向安卓设备的免费游戏平台，支持PS2/PSP/NDS等十余种经典主机游戏运行。该软件突破传统模拟器复杂操作模式，采用智能核心加载技术，用户只需双击主程序即可开启游戏之旅，真正实现"即下即玩"…...

编程日记 2025/8/7 9:34:09

计算机软考中级知识点记忆——排序算法冒泡排序-插入排序- 归并排序等各种排序算法知识点整理

一、📌 分类与比较排序算法最优时间复杂度平均时间复杂度最坏时间复杂度空间复杂度稳定性应用场景与特点算法策略冒泡排序 O(n) O(n) O(n) O(1) 稳定简单易实现，适用于小规模数据排序。交换排序策略插入排序 O(n) O(n) O…...

编程日记 2025/8/4 8:35:20

STC32G12K128单片机GPIO模式SPI操作NorFlash并实现FatFS文件系统

STC32G12K128单片机GPIO模式SPI操作NorFlash并实现FatFS文件系统 Norflash简介NorFlash操作驱动代码文件系统测试代码 Norflash简介 NOR Flash是一种类型的非易失性存储器，它允许在不移除电源的情况下保留数据。NOR Flash的名字来源于其内部结构中使用的NOR逻辑门。…...

编程日记 2025/8/8 9:37:30

uniapp-x 二维码生成

支持X，二维码生成，支持微信小程序，android，ios，网页 - DCloud 插件市场免费的单纯用爱发电的...

编程日记 2025/8/3 4:57:23

一、从HTTP请求到数据库查询：漏洞如何产生？危险的参数拼接：Servlet中的经典错误漏洞代码重现： public void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {String category = request.getParameter("…...

编程日记 2025/8/8 21:18:21

[dp20_完全背包] 介绍 | 零钱兑换

目录 1. 完全背包题解背包必须装满 2.零钱兑换题解 1. 完全背包链接： DP42 【模板】完全背包描述你有一个背包，最多能容纳的体积是V。现在有n种物品，每种物品有任意多个，第i种物品的体积为vivi ,价值为wiwi。 &a…...

编程日记 2025/8/8 16:36:35

精打细算 - GPU 监控

精打细算 - GPU 监控在上一篇，咱们历经千辛万苦，终于让应用程序在 Pod 的“驾驶舱”里成功地“点火”并用上了 GPU。太棒了！但是，车开起来是一回事，知道车速多少、油耗多少、引擎水温是否正常，则是另一回事，而且同样重要，对吧？我们的 GPU 应用跑起来了，但新的问题…...

编程日记 2025/8/6 16:11:42

故障诊断 | CNN-BiGRU-Attention故障诊断

效果一览摘要在现代工业生产中，设备的稳定运行至关重要，故障诊断作为保障设备安全、高效运行的关键技术，其准确性和及时性直接影响着生产效率与成本[[doc_refer_1]][[doc_refer_2]]。随着工业设备复杂性的不断增加，传统故障诊断方法已难以满足实际需求。深度学习技术凭借…...

编程日记 2025/8/10 1:39:01

单片机AIN0、AIN1引脚功能

目录 1. 模拟-数字转换器（ADC） 2. 交流电源（AC） 总结这两部分有什么区别？ 在这个电路图中，两个部分分别是模拟-数字转换器（ADC）和交流电源（AC）。以下是这…...

编程日记 2025/8/5 8:15:36

交换机与路由器的主要区别：深入分析其工作原理与应用场景

在现代网络架构中，交换机和路由器是两种至关重要的设备。它们在网络中扮演着不同的角色，但很多人对它们的工作原理和功能特性并不十分清楚。本文将深入分析交换机与路由器的主要区别，并探讨它们的工作原理和应用场景。一、基本定义 1. 交换…...

编程日记 2025/8/1 20:03:47

uniApp小程序保存定制二维码到本地（V3）

这里的二维码组件用的 uv-ui 的二维码可以按需引入 QRCode 二维码 | 我的资料管理-uv-ui 是全面兼容vue32、nvue、app、h5、小程序等多端的uni-app生态框架 <uv-qrcode ref"qrcode" :size"280" :value"payCodeUrl"></uv-qrcode>&l…...

编程日记 2025/8/3 10:08:34

手机投屏到电视方法

一、投屏软件比如乐播投屏二、视频软件腾讯视频、爱奇艺三、手机无线投屏功能四、有线投屏五、投屏器...

编程日记 2025/7/31 8:48:48

桌面应用UI开发方案

一、基于 Web 技术的跨平台方案 Electron Python/Go 特点： 技术栈：前端使用 HTML/CSS/JS，后端通过 Node.js 集成 Python/Go 模块或服务。跨平台：支持 Windows、macOS、Linux 桌面端，适合开发桌面应用。生态成熟&…...

编程日记 2025/8/8 22:23:30

FFmpeg+Nginx+VLC打造M3U8直播

一、视频直播的技术原理和架构方案直播模型一般包括三个模块：主播方、服务器端和播放端主播放创造视频，加美颜、水印、特效、采集后推送给直播服务器播放端： 直播服务器端：收集主播端的视频推流，将其放大后推送给…...

编程日记 2025/8/10 1:39:24

山东科技大学深度学习考试回忆

目录一、填空（五个空，十分） 二、选择题(五个，十分） 三、判断题（五个，五分） 四、论述题（四个，四十分） 五、计算题（二个&#xff…...

编程日记 2025/8/10 16:04:27

【Flutter动画深度解析】性能与美学的完美平衡之道

Flutter的动画系统是其UI框架中最引人注目的部分之一，它既能创造令人惊艳的视觉效果，又需要开发者对性能有深刻理解。本文将深入剖析Flutter动画的实现原理、性能优化策略以及设计美学，帮助你打造既流畅又美观的用户体验。一、Flutter动画核…...

编程日记 2025/8/3 23:58:15

【嵌入式】——Linux系统远程操作和程序编译

目录一、虚拟机配置网络设置二、使用PuTTY登录新建的账户 1、在ubuntu下开启ssh服务 2、使用PuTTY连接三、树莓派实现远程登录四、树莓派使用VNC viewer登录五、Linux使用talk聊天程序 1、使用linux自带的talk命令 2、使用c语言编写一个talk程序一、虚拟机配置网络…...

编程日记 2025/8/5 17:23:22

零、HarmonyOS应用开发者基础学习总览

零、HarmonyOS应用开发者基础认证 1 整体学习内容概览 1 整体学习内容概览通过系统化的课程学习，熟练掌握 DevEco Studio，ArkTS，ArkUI，预览器，模拟器，SDK 等 HarmonyOS 应用开发的关键概念，具…...

编程日记 2025/8/5 12:30:03

记录一次项目中使用pdf预览过程以及遇到问题以及如何解决

背景项目中现有的pdf浏览解析不能正确解析展示一些pdf文件，要么内容一直在加载中展示不出来，要么展示的格式很凌乱解决方式一：（优点：比较无脑，缺点：不能解决遇到的一些特殊问题&#xff0…...

编程日记 2025/8/10 7:22:21

致远OA——自定义开发rest接口

文章目录 :apple: 业务流程 🍎 业务流程代码案例： https://pan.quark.cn/s/57fa808c823f 官方文档： https://open.seeyoncloud.com/seeyonapi/781/https://open.seeyoncloud.com/v5devCTP/39/783.html 登录系统 —— 后台管理 —— 切换系…...

编程日记 2025/8/5 1:11:45

1、案例背景

2、需求分析

3、解决思路

4、技术选型

5、ClickHouse的作用

6、基本实现步骤

（1）、日志采集

1. 安装 Filebeat：

2. 配置 Filebeat：

3. 启动 Filebeat：

（2）、消息队列（Kafka）

1. 安装 Kafka：

2. 启动 Kafka：

（3）、数据消费与写入ClickHouse

1. 创建 ClickHouse 表：

（4）、可视化

1. 安装 Grafana：

2. 配置 ClickHouse 数据源：

3. 构建仪表盘：

7、Spring Boot代码示例

（1）、添加依赖

（2）、配置 Kafka 和 ClickHouse

（3）、Kafka 消费者

（4）、ClickHouse 数据访问层

（5）、日志实体类

（6）、 Service 层（LogService.java）

（7）、Controller 层（LogController.java）

8、关键优化与注意事项

（1）、表设计优化

（2）、ClickHouse 配置优化

（3）、Spring Boot 性能调优

相关文章：