当前位置：首页 > news >正文

业务日志设计

news 来源：原创 2025/5/8 19:27:13

当一个项目足够大的时候，我们需要将统计系统完全独立出去，那么就无法避免数据采集的问题，我们可以在业务触发处增加log日志来记录当前变化的原始数据，提供统计系统进行采集

设计一个统计系统的日志记录机制时，主要需要考虑日志的结构、数据存储方案、查询效率和系统扩展能力。

一、日志设计

1.日志结构

时间戳 : 记录事件发生的时间。
业务系统标识: 标识记录来源于哪个业务系统。
事件类型: 描述业务中发生的具体事件（例如：创建、更新、删除）。
用户标识: 记录哪个用户触发了事件（如果适用）。
事件详情: 事件的具体内容，可以是 JSON 格式，包含更多关键信息（如影响的数据、变更的值等）。
状态: 事件的状态，如成功、失败等。

2.日志存储形式

批量写入:
- 为了提高性能，可以使用批量写入的方式，将多个日志记录合并后一起写入数据库。
异步处理:
- 主业务流程中的日志记录操作可以异步进行（例如，通过消息队列），避免对主流程的性能影响。

二、数据库选择

1.NoSql数据库

MongoDB:
- 特别适合存储 JSON 格式的日志记录，灵活的文档模型能很好地应对结构变化。
- 自带水平扩展能力，适合大规模日志数据存储。
- 虽然 MongoDB 不支持传统的 SQL JOIN，但可以通过手动查询、$lookup 聚合管道等方式实现关联查询（引用）。
Elasticsearch:
- 适合进行复杂的查询和分析，良好的全文搜索功能。
- 实时数据分析能力强，能快速从海量日志中检索信息。
- 适合用于构建实时的监控和统计系统。

2.关系型数据库

PostgreSQL:
- 功能强大的关系数据库，支持 JSON 数据类型，可以存储灵活的日志记录。
- 适合需要复杂查询和强一致性的场景。
MySQL:
- 传统的关系型数据库，支持高并发读写。
- 可以通过使用合适的分区策略来处理大规模日志。

3.数据库对比

MongoDB vs MySQL：
- 如果应用需要处理非结构化数据、灵活的数据模型和高并发的写入，MongoDB 是更好的选择。MySQL 的结构化数据模型在特定情况下可能会造成性能瓶颈。
PostgreSQL vs MySQL：
- PostgreSQL 通常在处理复杂查询、支持高级功能（例如窗口函数、CTE、JSONB 等）方面超越 MySQL。如果需要复杂的数据分析，大型项目通常倾向于使用 PostgreSQL
MongoDB vs Elasticsearch：
- 如果你的应用程序需要存储、更新和处理柔性数据结构，并且需要一些基本的查询能力，MongoDB 可能更合适。
- 如果你的需求主要集中在快速搜索、分析和实时数据处理，Elasticsearch 可能是更合适的选择。

三、数据采集与分析

数据采集:
- 使用ETL（提取、转换、加载）工具或自定义脚本，定期将日志数据从数据库或消息队列中提取到统计系统中。
统计分析:
- 使用数据分析工具（如 Apache Spark、Presto 等）进行批量数据处理和分析。
- 对于实时统计需求，可以直接从日志数据库（如 Elasticsearch）进行查询和分析。

四、性能和扩展

设计日志收集系统时，请考虑日志的写入性能和查询性能。
随着数据量的增加，监控性能，并基于需求进行扩展（如读写分离、增加节点、分区等）。

五、ETL工具推荐

1.Apache Nifi

特点: 一个易于使用、强大的数据处理和分发工具，支持实时数据流处理。
优点: 可视化的数据流设计界面，支持多种数据源和目标，能够处理数据流的路由、转换和操作。
官网: Apache NiFi
与 PHP 的结合: 可通过 REST API 与 PHP 集成。您可以使用 PHP 发出 API 请求来管理数据流、启动流程等操作。
推荐方式: 创建一个 PHP 应用，使用 cURL 或其他 HTTP 客户端库与 Nifi 的 REST API 进行交互。

2.Apache Airflow

特点: 一个调度工作流的工具，可以编排 ETL 任务。
优点: 高度灵活，可扩展的工作流管理，支持定时和依赖性任务管理。
官网: Apache Airflow
与 PHP 的结合: 可以通过 Airflow 的 REST API 来调度任务，您可以使用 PHP 发送 API 请求来管理 DAG（有向无环图）和任务执行。
推荐方式: 使用 PHP 创建自动化脚本来调用 Airflow API，推进 ETL 流程

3.Singer

特点: 采用“音乐”协议的开源工具，专注于数据提取和加载。
优点: 易于扩展和构建，提供许多预构建的连接器，可以通过编写 TAP 和 TARGET 轻松集成。
官网: Singer | Open Source ETL
与 PHP 的结合: Singer 的 TAP 和 TARGET 可以用任何编程语言实现，包括 PHP。您可以编写 Singer 的目标应用程序来提取数据并加载到目标位置。
推荐方式: 使用 PHP 实现自己的 Singer TAP 或 TARGET。

4.阿里云 DataWorks

中文支持: 阿里云的 DataWorks 是一个大数据开发和管理平台，整个界面和文档均为中文。
特点: 提供丰富的数据集成、处理和分析功能，适合生产环境。
与 PHP 集成: 阿里云的 DataWorks 可以通过 API 进行集成。您可以在 PHP 程序中使用阿里云的 API 调用数据工作流和任务。
推荐方式: 使用 PHP 代码调用 DataWorks 的 REST API，以启动作业或管理工作流。

5.DataX (阿里巴巴开源)

中文支持: DataX 是阿里巴巴开源的 ETL 工具，相关文档和社区交流多为中文。
特点: 适合大规模数据的实时和离线同步，支持多种数据源和目标。
与 PHP 集成: DataX 是一个命令行工具，因此可以通过 PHP 调用所在服务器中对应的执行命令。也可以在定期任务中结合 PHP 与 DataX 进行数据迁移。
推荐方式: 创建 PHP 脚本，使用 exec() 或 shell_exec() 来运行 DataX 任务。

业务日志设计

当一个项目足够大的时候，我们需要将统计系统完全独立出去，那么就无法避免数据采集的问题，我们可以在业务触发处增加log日志来记录当前变化的原始数据，提供统计系统进行采集设计一个统计系统的日志记录机制时，主要需要…...

编程日记 2025/5/8 19:27:13

梯度下降方法

2.5 梯度下降方法介绍学习目标掌握梯度下降法的推导过程知道全梯度下降算法的原理知道随机梯度下降算法的原理知道随机平均梯度下降算法的原理知道小批量梯度下降算法的原理上一节中给大家介绍了最基本的梯度下降法实现流程，本节我们将进一步介绍梯度下降法的详细…...

编程日记 2025/4/23 13:15:44

javascript

引入方式 JavaScript 程序不能独立运行，它需要被嵌入 HTML 中，然后浏览器才能执行 JavaScript 代码。通过 script 标签将 JavaScript 代码引入到 HTML 中，有两种方式： 内部方式通过 script 标签包裹 JavaScript 代码 <!DO…...

编程日记 2025/5/5 23:38:55

大语言模型训练所需的最低显存，联邦大语言模型训练的传输优化技术

联邦大语言模型训练的传输优化技术目录联邦大语言模型训练的传输优化技术大语言模型训练所需的最低显存大语言模型训练所需的最低显存基于模型微调、压缩和分布式并行处理的方法，介绍了相关开源模型及技术应用核心创新点多维度优化策略：综合运用基于模型微调、模型压缩和…...

编程日记 2025/5/7 2:02:38

二叉树的二叉链表和三叉链表

在二叉树的数据结构中，通常有两种链表存储方式：二叉链表和三叉链表。这里，我们先澄清一下概念，通常我们讨论的是二叉链表，它用于存储二叉树的节点。而“三叉链表”这个术语在二叉树的上下文中不常见，可能是…...

编程日记 2025/5/6 0:11:41

api开发如何在代码中使用京东商品详情接口的参数？

选择编程语言和相关工具以 Python 为例，你可以使用requests库来发送 HTTP 请求获取接口数据。如果是 Java，可以使用OkHttp等库。 Python 示例假设你已经安装了requests库，以下是一个简单的代码示例来获取和使用京东商品详情接口参数&#…...

编程日记 2025/5/8 19:17:58

Quartz如何实现分布式调度

系列文章目录任务调度管理——Quartz入门 Quartz如何实现分布式控制系列文章目录一、持久化二、分布式调度1. 表信息2. 调度器的竞争3. 触发器的分配三、总结我们都说Quartz是个分布式调度框架，那么在分布式环境上，如何使得各个服务器上的定时任务…...

编程日记 2025/5/7 17:08:47

JUC--线程池

线程池七、线程池7.1线程池的概述7.2线程池的构建与参数ThreadPoolExecutor 的构造方法核心参数线程池的工作原理 Executors构造方法newFixedThreadPoolnewCachedThreadPoolnewSingleThreadExecutornewScheduledThreadPool(int corePoolSize) 为什么不推荐使用内置线程池&…...

编程日记 2025/4/28 21:23:20

以柔资讯-D-Security终端文件保护系统 logFileName 任意文件读取漏洞复现

0x01 产品简介 D-Security终端文件保护系统是一套专注于企业文件管理效率与安全的解决方案，统对文件进行全文加密，而非仅在文件表头或特定部分进行加密，从而大大提高了文件的安全性，降低了被破解的风险。D-Security终端文件保护系统是被政府和国安局等情报单位唯一认定的安…...

编程日记 2025/5/4 6:48:19

【JavaScript】Set，Map，Weakmap

以下来源：九剑科技。 weakmap WeakMap是 ES6 中新增的一种集合类型，叫做“弱映射”，由于他的键引用的对象是弱引用，键所指向的对象可以被垃圾回收，可以防止内存泄露。 map ①Map是键值对的集合，键值不限…...

编程日记 2025/5/5 17:38:13

idea小操作

idea 所边定位到你目前阅读的代码 AltF1 或者选择定位图标...

编程日记 2025/5/6 6:20:27

[tesseract]Deserialize header failed: FIRC.lstmf

tesseract5.0训练时候会提示 [INFO]cd /d D:\program\tesseract-ocr-lstm-train\data [INFO]D:\program\tesseract-ocr-lstm-train\Tesseract-OCR\tesseract.exe xiangjiao.tif xiangjiao -l eng --psm 7 lstm.train [INFO]Page 1 [INFO]Page 2 [INFO]Deserialize header fail…...

编程日记 2025/5/6 17:53:53

深度学习知识点：RNN

文章目录 1.简单介绍2.网络结构3.应对梯度消失 1.简单介绍循环神经网络（RNN，Recurrent Neural Network）是一类用于处理序列数据的神经网络。与传统网络相比，变化不是特别大，不如CNN的变化那么大。为什么要有循环神经…...

编程日记 2025/5/3 17:32:05

【数据可视化-11】全国大学数据可视化分析

🧑 博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。CSDN…...

编程日记 2025/5/3 7:42:47

CSS：背景样式、盒子模型与文本样式

背景样式背景样式用于设置网页元素的背景，包括颜色、图片等。背景颜色使用 background-color 属性设置背景颜色，支持多种格式（颜色英文、十六进制、RGB等）。 div {background-color: lightblue; }格式示例十六进制#ff5733R…...

编程日记 2025/5/5 19:46:14

学英语学压测：02jmeter组件-测试计划和线程组ramp-up参数的作用

📢📢📢：先看关键单词，再看英文，最后看中文总结，再回头看一遍英文原文，效果更佳！！ 关键词 Functional Testing功能测试[ˈfʌŋkʃənəl ˈtɛstɪŋ]Sample样…...

编程日记 2025/5/4 14:48:31

环动科技平均售价波动下滑：大客户依赖明显，应收账款周转率骤降

《港湾商业观察》施子夫 2024年12月18日，浙江环动机器人关节科技股份有限公司（以下简称，环动科技）的上市审核状态变更为“已问询”，公司在11月25日科创板IPO获上交所受理，独家保荐机构为广发证券。此次环…...

编程日记 2025/5/4 22:13:48

数据结构：LinkedList与链表—无头双向链表（二）

目录一、什么是LinkedList？ 二、LinkedList的模拟实现 1、display()方法 2、addFirst(int data)方法 3、addLast(int data)方法 4、addIndex(int index,int data)方法 5、contains(int key)方法 6、remove(int key)方法 7、removeAllKey(int key)方法 8、…...

编程日记 2025/5/3 17:43:04

『SQLite』解释执行（Explain）

摘要：本节主要讲解SQL的解释执行：Explain。在 sqlite 语句之前，可以使用 “EXPLAIN” 关键字或 “EXPLAIN QUERY PLAN” 短语，用于描述表查询的细节。基本语法 EXPLAIN 语法： EXPLAIN [SQLite Query]EXPLAIN QUER…...

编程日记 2025/5/5 11:41:56

计算机网络之---物理层的基本概念

物理层简介物理层（Physical Layer） 是 OSI（开放系统互联）模型中的第 1 层，它主要负责数据在物理媒介上的传输，确保原始比特（0 和 1）的传输不受干扰地从一个设备传送到另一个设备。…...

编程日记 2025/5/3 6:23:09

Elasticsearch：优化的标量量化 - 更好的二进制量化

作者：来自 Elastic Benjamin Trent 在这里，我们解释了 Elasticsearch 中的优化标量量化以及如何使用它来改进更好的二进制量化 (Better Binary Quantization - BBQ)。我们的全新改进版二进制量化 (Better Binary Quantization - BBQ) 索引现在变得更强大…...

编程日记 2025/5/3 9:19:14

KBQA前沿技术

文章目录 KBQA面临的挑战基于模板的方法基于语义解析的方法基于深度学习的传统问答基于深度学习的端到端问答模型KBQA面临的挑战目前还存在两个很大的困难阻碍着KBQA系统被广泛应用。一个困难是现有的自然语言理解技术在处理自然语言的歧义性和复杂性方面还显得比较薄弱。例如…...

编程日记 2025/5/1 9:53:10

patchwork++地面分割学习笔记

参考资料：古月居 - ROS机器人知识分享社区 https://zhuanlan.zhihu.com/p/644297447 patchwork算法一共包含四部分内容：提出了以下四个部分：RNR、RVPF、A-GLE 和 TGR。 1）基于 3D LiDAR 反射模型的反射噪声消除 (RNR)&#xff…...

编程日记 2025/5/4 18:01:09

OSPF浅析

一、预习： 1、介绍： 是一种基于接口的典型的链路状态路由协议，协议号89，把大型网络分隔为多个较小、可管理的单元：Area，管理距离110；OSPF基于IP，使用了LSAck包来保证包数据的可靠性&…...

编程日记 2025/5/6 5:15:30

批量写入数据到数据库，卡顿怎么解决

在批量写入数据到数据库时，遇到卡顿或性能瓶颈是比较常见的问题。以下是一些可能的解决方案和优化策略，帮助你提高批量写入的性能： ### 1. **批量大小优化** - **调整批量大小**：尝试调整批量写入的数据量，找到一个平衡点。过大或过小的批量大小都可能影响性能。通常，批…...

编程日记 2025/5/6 8:37:47

Residency 与 Internship 的区别及用法解析

Residency 与 Internship 的区别及用法解析在英文中，“residency” 和 “internship” 都与职业培训相关，但它们的使用场景和具体含义存在显著差异。本文将详细解析这两个词的区别，以及它们在不同语境下的应用。 Residency 的定义及使用场景…...

编程日记 2025/5/6 20:05:16

【数据结构-堆】力扣2530. 执行 K 次操作后的最大分数

给你一个下标从 0 开始的整数数组 nums 和一个整数 k 。你的起始分数为 0 。在一步操作中： 选出一个满足 0 < i < nums.length 的下标 i ， 将你的分数增加 nums[i] ，并且将 nums[i] 替换为 ceil(nums[i] / 3) 。返回在恰好…...

编程日记 2025/4/29 9:04:38

基于生成式对抗网络（GAN）的前沿研究与应用

引言人工智能（AI）领域在过去几年中经历了快速的发展，尤其是深度学习的兴起带来了许多变革。其中，生成式对抗网络（Generative Adversarial Network, GAN）因其强大的生成能力成为了研究热点。自2014年Ian G…...

编程日记 2025/5/6 17:13:12

stm32 移植RTL8201F（正点原子例程为例）

最近在工作中需要使用RTL8201F，在网上找了很多帖子，没有找到合适的，自己翻资料移植了一个。模板工程使用的是正点原子的f407探索版的例程，原子使用的是LAN8720,需要把他的驱动修改成为我们自己用的RTL8201F。 1.将PHY_TYPE改成我…...

编程日记 2025/5/6 13:12:14

QT-TCP-server

为了实现高性能的TCP通讯，以下是一个基于Qt的示例，展示如何利用多个线程、非阻塞I/O、数据分块和自定义协议进行优化。该示例以TCP服务器和客户端的形式展示，能够承受高负载并实现快速数据传输。高性能TCP Server示例 #include <QTcpSe…...

编程日记 2025/5/5 23:41:08

第 24 章网络请求与远程资源

第 24 章网络请求与远程资源 24.1 XMLHttpRequest 对象所有现代浏览器都通过 XMLHttpRequest 构造函数原生支持 XHR 对象： let xhr new XMLHttpRequest()24.1.1 使用 XHR 使用 XHR 对象首先要调用 open()方法，这个方法接收 3 个参数：请…...

编程日记 2025/5/5 15:51:30

k8s dashboard离线部署步骤

确定k8s版本，以1.23为例。部署metrics-server服务，最好用v0.5.2。用v0.6.0，可能会报以下错误： nodekubemaster:~/Desktop/metric$ kubectl top nodes Error from server (ServiceUnavailable): the server is currently unabl…...

编程日记 2025/5/8 14:46:16

热备份路由HSRP及配置案例

✍作者：柒烨带你飞 💪格言：生活的情况越艰难，我越感到自己更坚强；我这个人走得很慢，但我从不后退。 📜系列专栏：网路安全入门系列目录一，HSRP的相关概念二，…...

编程日记 2025/5/4 23:03:17

【文本分类】bert二分类

import os import torch from torch.utils.data import DataLoader, Dataset from transformers import BertTokenizer, BertForSequenceClassification, AdamW from sklearn.metrics import accuracy_score, classification_report from tqdm import tqdm# 自定义数据集 class…...

编程日记 2025/5/5 2:44:38

一、日志设计

1.日志结构

2.日志存储形式

二、数据库选择

1.NoSql数据库

​​​2.关系型数据库

3.数据库对比

三、数据采集与分析

四、性能和扩展

五、ETL工具推荐