当前位置： 首页 > news >正文

什么是实时流数据？核心概念与应用场景解析

news 来源：原创 2025/7/1 1:51:14

在当今数字经济时代，实时流数据正成为企业核心竞争力。金融机构需要实时风控系统在欺诈交易发生的瞬间进行拦截；电商平台需要根据用户实时行为提供个性化推荐；工业物联网需要监控设备状态预防故障。这些场景都要求系统能够“即时感知、即时分析、即时响应”。

一、什么是实时流数据？

实时流数据是指持续产生、动态变化且需要即时处理的数据流。与传统批处理模式相比，实时流数据处理能够在数据产生的同时进行分析和响应，将数据价值的实现时间从“小时/天级”压缩至“秒/毫秒级”。

核心特征：

  • 高吞吐：能够处理每秒数十万至数百万条数据记录；

  • 低延迟：从数据产生到分析结果输出的端到端延迟通常在秒级以内；

  • 无界性：数据持续不断地产生，理论上没有终点；

二、流数据的处理流程

流数据的生命周期通常包含四个环节： 采集→传输→处理→存储/应用。

1. 数据采集

日志文件（如 audit.log）、数据库变更（如 MySQL 的 Binlog）、传感器数据等通过工具（如 Flume、Debezium）实时采集。例如， 欢聚集团通过 Beats 组件收集日志，金融场景则依赖 SDK 埋点捕获交易行为。

2. 数据传输

消息队列（如 Apache Kafka）是流数据的“高速公路”，支持高吞吐、低延迟的传输。例如，在实际应用中， 芒果 TV 的实时业务数据通过 Kafka 分发至下游处理系统，而腾讯大数据则依赖 Kafka 构建湖仓一体化的数据管道。

3. 实时处理

流计算引擎（如 Apache Flink、Spark Streaming）对数据进行清洗、聚合或复杂分析。例如， 得物电商通过 Flink 实时消费 Kafka 数据，以微批方式（十秒一次）写入 StarRocks，满足高并发查询需求。

4. 存储与应用

处理后的数据存入实时数仓（如 StarRocks、ClickHouse）或数据湖（如 Apache Hudi、Iceberg），支撑 BI 报表、实时大屏、风控等场景。例如， 碧桂园物业通过 StarRocks 实现亿级数据毫秒级响应，支持企业微信的实时查询。

三、实时流数据的处理流程

一个完整的实时流数据处理架构通常包含三个关键层次：

1. 数据采集层

负责高效、可靠地捕获和传输数据流，主流技术包括：

  • Apache Kafka：高吞吐消息队列，实现数据缓冲和解耦；

  • Flink CDC：变更数据捕获，实时获取数据库变更事件；

  • 日志采集工具：如 Fluentd、Logstash 等；

2. 数据处理层

进行实时计算和转换，核心引擎包括：

  • Apache Flink：低延迟、高吞吐的分布式流处理框架；

  • Spark Streaming：基于微批处理模式的准实时计算引擎；

3. 数据存储与分析层

存储处理结果并支持实时查询分析：

  • OLAP 数据库：以 StarRocks 为例，作为新一代 MPP 数据库，其凭借 流批一体能力脱颖而出：

    • 实时写入：通过 Stream Load（微批）、Routine Load（Kafka 直连）实现秒级延迟。

    • 动态更新：主键模型支持 CDC 数据实时更新，查询性能较传统方案提升 3-10 倍。

    • 统一分析：联邦查询可融合数据湖（如 Hudi）与实时数仓，避免冗余存储。

  • 实时 数据仓库：支持流式数据实时入库和查询；

典型应用场景——实时监控与报表

网易邮箱 ——10 亿级用户行为实时风控与高并发查询

核心痛点

  1. 资源瓶颈：10 亿存量用户+PB 级日志数据，ClickHouse 与 Kafka 资源压力过大，导致报警频发，影响业务连续性。

  2. 查询效率低下：跨表查询需多系统协作，亿级数据关联耗时过长，风控响应无法满足 99.99% SLA 要求。

  3. 数据链路臃肿：离线与实时数据分储于 HDFS 与 ClickHouse，开发迭代周期长，难以应对业务快速变化。

解决方案

  • 架构升级：引入 StarRocks 作为统一存储层，聚合 ClickHouse 实时数仓数据，构建流批一体查询引擎。

  • 模型优化：

    • 明细模型存储全量用户登录行为数据，支撑海量数据落盘；

    • 聚合模型实现实时风控指标秒级计算（如敏感行为阈值监控）；

    • 跨表查询能力简化漏斗分析，亿级大表关联查询耗时降至 2 分钟以内。

  • 成本优化：替换 ClickHouse 部分场景，减少 30%服务器资源占用。

成果与数据收益

  • 性能提升：高并发查询响应时间从秒级降至 50 毫秒内，风控规则触发延迟<1 秒；

  • 效率突破：复杂跨表查询效率提升 5 倍，支撑每日 1 万+数据服务调用；

  • 成本降低：运维人力减少 40%，硬件采购成本下降 25%。

四、未来趋势：流批融合与湖仓一体化

2025 年的技术演进呈现两大方向：

1. 流批一体存储

数据湖（如 Hudi、 Apache Paimon）与实时数仓（StarRocks）的边界逐渐模糊，通过统一存储减少冗余。例如， 同程旅行用 Paimon+StarRocks 替代 Kudu，实现全链路实时。

2. Serverless 与云原生

云原生湖仓（如 StarRocks 3.0）支持多源数据联邦分析，弹性扩缩容降低成本。未来湖仓将趋向“数据库化”，以简化流程并赋能 AI。

结语

从日志分析到金融风控，从实时推荐到物联网运维，流数据的价值在于将“数据滞后”转化为“即时行动”。随着流批一体和 湖仓一体化技术的成熟，2025 年的实时流数据计算正迈向更高效、更普惠的新纪元。

相关文章：

什么是实时流数据？核心概念与应用场景解析

在当今数字经济时代&#xff0c;实时流数据正成为企业核心竞争力。金融机构需要实时风控系统在欺诈交易发生的瞬间进行拦截&#xff1b;电商平台需要根据用户实时行为提供个性化推荐&#xff1b;工业物联网需要监控设备状态预防故障。这些场景都要求系统能够“即时感知、即时分…...

编程日记 2025/7/1 1:51:14

计算机视觉与深度学习 ｜ Python实现CEEMDAN-ABC-VMD-DBO-CNN-LSTM时间序列预测（完整源码和数据)

以下是一个结合CEEMDAN、ABC优化VMD、DBO优化CNN-LSTM的完整时间序列预测实现方案。该方案包含完整的数据生成、算法实现和模型构建代码。 完整实现代码 import numpy as np import pandas as pd from PyEMD import CEEMDAN from vmdpy import VMD from sklearn.preprocessing…...

编程日记 2025/6/27 23:03:36

每日Prompt：实物与手绘涂鸦创意广告

提示词 一则简约且富有创意的广告&#xff0c;设置在纯白背景上。 一个真实的 [真实物体] 与手绘黑色墨水涂鸦相结合&#xff0c;线条松散而俏皮。涂鸦描绘了&#xff1a;[涂鸦概念及交互&#xff1a;以巧妙、富有想象力的方式与物体互动]。在顶部或中部加入粗体黑色 [广告文案…...

编程日记 2025/7/1 1:38:02

期刊采编系统安装升级错误

我们以ojs系统为例&#xff1a; PHP Fatal error: Uncaught Error: Call to a member function getId() on null in /esci/data/html/classes/install/Upgrade.inc.php:1019 Stacktrace: #0 /esci/data/html/lib/pkp/classes/install/Installer.inc.php(415): Upgrade->con…...

编程日记 2025/7/1 1:44:37

【linux命令】git命令简单使用

git命令简单使用 1. 将代码下载到到本地2. 查看分支是否正确3. 将工作目录中的变更添加到暂存区&#xff0c;为下一次提交做准备4. 提交更改&#xff0c;添加提交信息5. 将本地的提交推送到远程仓库6.从远端仓库拉取分支代码7.查看修改日志8. 解决冲突 1. 将代码下载到到本地 …...

编程日记 2025/7/1 1:42:16

使用Tkinter写一个发送kafka消息的工具

文章目录 背景工具界面展示功能代码讲解运行环境创建GUI程序搭建前端样式编写功能实现代码 背景 公司是做AR实景产品的&#xff0c;近几年无人机特别的火&#xff0c;一来公司比较关注低空经济这个新型领域&#xff0c;二来很多政企、事业单位都采购了无人机用于日常工作。那么…...

编程日记 2025/7/1 1:27:38

【VS2017】cpp文件字符编码异常导致编译报错

这是一个 wav 转 pcm 的简单demo&#xff0c;但VS2017编译报错 #define _CRT_SECURE_NO_WARNINGS #include <stdio.h> #include <inttypes.h> #pragma pack(push, 1) struct TWavHead {int8_t riff[4]; /*!< (4)资源交换文件标志 RIFF */uint32_t file_si…...

编程日记 2025/7/1 1:49:31

Vue3 中 Route 与 Router 的区别

在 Vue Router 中&#xff0c;Route 和 Router 是两个相关但完全不同的概念&#xff1a; 1、Router (路由实例) 定义&#xff1a;Router 是路由器的实例&#xff0c;负责整个应用的路由管理 功能&#xff1a; 管理路由映射表&#xff08;路由配置&#xff09; 提供编程式导航…...

编程日记 2025/7/1 1:34:23

gcc还会有自己的头文件呢？

1. GCC自己的头文件目录 路径&#xff1a; .../lib/gcc/<target>/<version>/include 作用&#xff1a; 这里存放的是GCC编译器自身实现的一些头文件&#xff0c;比如 stdarg.h、float.h、limits.h、varargs.h 等。这些头文件是C/C标准规定必须有的&#xff0c;但…...

编程日记 2025/7/1 1:35:20

YOLO训练输入尺寸代表什么 --input_width 和 --input_height 参数

参数作用 硬件对齐要求 许多边缘计算芯片&#xff08;如 K230&#xff09;的 NPU 对输入尺寸有 内存对齐要求&#xff08;例如 32 的倍数&#xff09;。脚本会自动将你填写的输入尺寸向上对齐到最近的 32 倍数&#xff1a; input_width int(math.ceil(args.input_width / 32.0…...

编程日记 2025/7/1 1:41:20

缓存穿透、缓存击穿、缓存雪崩解决方案

在分布式系统中，缓存是提升性能的关键组件，但也可能面临 缓存穿透、缓存击穿、缓存雪崩 三大典型问题。以下是三者的核心概念、区别及解决方案： 一、缓存穿透（Cache Penetration） 概念 场景：客户端请求 不存在的数据（如恶意攻击的非法 Key），由于缓存和数...

编程日记 2025/6/27 1:50:49

前端面经-nginx/docker

1.如何查看 Linux 系统负载&#xff1f;如何判断负载是否过高&#xff1f; 使用 top、htop 或 uptime 查看系统负载。 负载值&#xff08;Load Average&#xff09;反映 CPU 繁忙程度&#xff0c;理想情况下应小于 CPU 核心数。例如&#xff0c;4 核 CPU 的负载持续超过 4 表示…...

编程日记 2025/6/27 23:22:32

权限控制相关实现

Spring Boot-Shiro-Vue&#xff1a; 这个项目可以满足基本的权限控制需求&#xff0c;前后端都有&#xff0c;开箱即用...

编程日记 2025/6/27 22:51:02

[论文精读]Ward: Provable RAG Dataset Inference via LLM Watermarks

Ward: Provable RAG Dataset Inference via LLM Watermarks [2410.03537] Ward: Provable RAG Dataset Inference via LLM Watermarks ICLR 2025 Rebuttal&#xff1a;Ward: 可证明的 RAG 数据集推理通过 LLM 水印 | OpenReview --- Ward: Provable RAG Dataset Inference v…...

编程日记 2025/6/27 18:36:50

第23天-Python Flet 开发指南

环境准备 pip install flet 示例1：基础计数器应用 import flet as ftdef main(page: ft.Page):page.title = "计数器"page.vertical_alignment = ft.MainAxisAlignment.CENTERtxt_number = ft.TextField(value="0", text_align=ft.TextAlign.RIGHT, wid…...

编程日记 2025/6/27 23:17:48

LangGraph(五)——自定义状态

目录 1. 向状态添加键2. 更新工具中的状态3. 构建状态图4. 提示聊天机器人5. 添加人工协助6. 手动更新状态参考 1. 向状态添加键 通过向状态添加name和birthday键来更新聊天机器人对实体生日的研究&#xff1a; from typing import Annotated from typing_extensions import T…...

编程日记 2025/6/27 5:54:16

fatload使用方式

‌Fatload是U-Boot中的一个命令&#xff0c;用于从FAT文件系统加载二进制文件到内存中‌。其基本用法如下&#xff1a; fatload <interface> <dev[:part]> <addr> <filename> <bytes>‌interface‌&#xff1a;所使用的接口&#xff0c;如MMC、…...

编程日记 2025/6/27 23:36:48

Pytorch基础操作

面试的时候&#xff0c;PhD看我简历上面写了”熟悉pytorch框架“&#xff0c;然后就猛猛提问了有关于tensor切片的问题…当然是没答上来&#xff0c;因此在这里整理一下pytorch的一些基础编程语法&#xff0c;常看常新 PyTorch基础操作全解 一、张量初始化 PyTorch的核心数据…...

编程日记 2025/6/27 23:21:28

Femap许可证安装与配置指南

在电磁仿真领域&#xff0c;Femap凭借其卓越的性能和广泛的应用场景&#xff0c;已成为许多工程师和科研人员的首选工具。为了确保您能够顺利安装和配置Femap许可证&#xff0c;本文将提供详细的安装和配置指南&#xff0c;帮助您快速完成设置&#xff0c;开启高效的仿真之旅。…...

编程日记 2025/6/30 1:41:26

家用和类似用途电器的安全 第1部分：通用要求 与2005版差异（7）

文未有本标准免费下载链接。 ——增加了“对峰值电压大于15kV的&#xff0c;其放电电能应不超过350mJ”的要求&#xff08;见8.1.4&#xff09; 1. GB/T4706.1-2024&#xff1a; 8.1.4 如果易触及部件为下述情况,则不认为其是带电的。 ——该部件由安全特低电压供电,且: 对…...

编程日记 2025/6/29 21:43:35

基于Browser Use + Playwright 实现AI Agent操作Web UI自动化

Browser Use是什么 Browser Use是一个开源项目官网&#xff1a;Browser Use - Enable AI to control your browser&#xff0c;专为大语言模型&#xff08;LLM&#xff09;设计的只能浏览器工具&#xff0c;能够让AI像人类一样自然的浏览和操作网页&#xff0c;支持多标签页管…...

编程日记 2025/6/30 1:28:26

【题解-洛谷】B4302 [蓝桥杯青少年组省赛 2024] 出现奇数次的数

题目：B4302 [蓝桥杯青少年组省赛 2024] 出现奇数次的数 题目描述 奇数：指不能被 2 2 2 整除的整数。 例如： 3 3...

编程日记 2025/6/27 17:19:52

Redis SETNX：分布式锁与原子性操作的核心

SETNX 是 Redis 中的一个经典命令&#xff0c;全称是 Set if Not eXists&#xff08;当键不存在时设置值&#xff09;。它的核心作用是原子性地完成 “检查并设置” 操作&#xff0c;常用于分布式锁、防止重复提交等需要 “独占性” 的场景。 一、基本语法与返回值 命令格式&…...

编程日记 2025/6/27 7:11:46

常见字符串相似度算法详解

目录 引言 一、Levenshtein距离&#xff08;编辑距离&#xff09; 1.1 算法原理 1.2 Java实现 1.3 springboot中实现 二、Jaro-Winkler相似度 2.1 算法特点 2.2 Java实现 三、余弦相似度&#xff08;向量空间模型&#xff09; 3.1 实现步骤 3.2 Java实现 3.3 简化版…...

编程日记 2025/6/29 5:51:11

红蓝对抗中的网络安全设备操作手册

目录 &#x1f510; 关键要点 设备操作与实战应用 &#x1f4ca; 1. 防火墙 (Firewall) 蓝队&#xff08;防御&#xff09;用法 红队&#xff08;攻击&#xff09;用法 &#x1f50d; 2. 入侵检测/防护系统 (IDS/IPS) 蓝队&#xff08;防御&#xff09;用法 红队&#…...

编程日记 2025/6/27 22:51:03

用python实现汉字转拼音工具

用python实现汉字转拼音工具 主要功能特点&#xff1a; 多种拼音风格选择&#xff08;带声调符号、数字声调、无声调&#xff09;输出模式&#xff1a;可以选择“普通模式”&#xff08;仅拼音&#xff09;或“拼音注音”&#xff08;每个汉字的拼音显示在上方&#xff09;可…...

编程日记 2025/6/27 2:42:23

spring中的Interceptor使用说明

一、Interceptor 的核心概念 Interceptor&#xff08;拦截器&#xff09; 是 Spring MVC 提供的一种机制&#xff0c;用于在请求处理的不同阶段插入自定义逻辑。其核心作用包括&#xff1a; • 预处理&#xff1a;在控制器方法执行前进行权限校验、日志记录等。 • 后处理&am…...

编程日记 2025/6/27 22:51:04

Wi-Fi（无线局域网技术）

Wi-Fi&#xff08;Wireless Fidelity&#xff0c;无线保真&#xff09;是通过无线电波传输数据的技术&#xff0c;它使设备能够通过无线连接方式访问网络、共享文件或连接互联网。Wi-Fi已经成为现代家庭、办公室以及公共场所中常见的无线通信方式&#xff0c;支持的设备包括手机…...

编程日记 2025/6/27 23:04:51

MySQL Host 被封锁解决方案（全版本适用 + Java 后端优化）

引言 MySQL 中 “Host is blocked because of many connection errors” 是生产环境常见问题&#xff0c;若处理不当会导致服务中断。本文结合 MySQL 官方文档&#xff08;5.5/8.0&#xff09;、Java 后端最佳实践及企业级经验&#xff0c;提供从 “快速解封” 到 “根源优化”…...

编程日记 2025/6/27 22:51:08

分类预测 | Matlab实现PSO-RF粒子群算法优化随机森林多特征分类预测

分类预测 | Matlab实现PSO-RF粒子群算法优化随机森林多特征分类预测 目录 分类预测 | Matlab实现PSO-RF粒子群算法优化随机森林多特征分类预测分类效果**功能概述****算法流程** 分类效果 功能概述 数据预处理 读取Excel数据集&#xff0c;划分训练集&#xff08;前260行&#…...

编程日记 2025/6/27 23:05:44

【苍穹外卖】Day01—Mac前端环境搭建

目录 一、安装Nginx &#xff08;一&#xff09;安装Homebrew &#xff08;二&#xff09;Homebrew安装Nginx 1. 执行安装命令&#xff1a; 2. 验证安装&#xff1a; &#xff08;三&#xff09;启动与停止Nginx 二、配置Nginx 1. 替换nginx.conf 2. 替换html文件夹 三…...

编程日记 2025/6/27 11:25:13

anaconda创建环境出错HTTPS

报错信息 warnings.warn( /home/ti-3/anaconda3/lib/python3.12/site-packages/urllib3/connectionpool.py:1099: InsecureRequestWarning: Unverified HTTPS request is being made to host ‘repo.anaconda.com’. Adding certificate verification is strongly advised. Se…...

编程日记 2025/6/27 23:03:09

Nginx 强制 HTTPS：提升网站安全性的关键一步

在当今互联网时代&#xff0c;网站的安全性至关重要。使用 HTTPS 协议可以有效保护用户数据&#xff0c;防止信息泄露和中间人攻击。本文将详细介绍如何在 Nginx 中设置强制 HTTPS&#xff0c;确保所有 HTTP 请求都被自动重定向到 HTTPS。 一、背景与重要性 HTTPS&#xff08…...

编程日记 2025/6/27 23:24:35

青藏高原边界数据总集

关键数据集分类&#xff1a;地表参数数据集空间分辨率&#xff1a;m共享方式&#xff1a;开放获取数据大小&#xff1a;265.87 KB数据时间范围:2016元数据更新时间:2022-04-18 数据集摘要 此边界数据总集包含五种类型的边界&#xff1a; &#xff11;、TPBoundary_2500m&#…...

编程日记 2025/6/30 6:05:45

AI赋能R-Meta分析核心技术：从热点挖掘到高级模型

随着人工智能技术的不断进步&#xff0c;Meta分析作为科学研究中的一种重要方法&#xff0c;也在不断地被赋予新的活力。特别是以ChatGPT为代表的AI大语言模型&#xff0c;为Meta分析提供了更为高效和智能的工具。本文将详细介绍AI赋能R-Meta分析的核心技术&#xff0c;并结合实…...

编程日记 2025/6/27 12:56:30

基于R语言地理加权回归、主成份分析、判别分析等空间异质性数据分析实践技术应用

在自然和社会科学领域有大量与地理或空间有关的数据&#xff0c;这一类数据一般具有严重的空间异质性&#xff0c;而通常的统计学方法并不能处理空间异质性&#xff0c;因而对此类型的数据无能为力。以地理加权回归为基础的一系列方法&#xff1a;经典地理加权回归&#xff0c;…...

编程日记 2025/6/27 11:06:40

GPT 等decoder系列常见的下游任务

下面用一句话&#xff0b;四个例子&#xff0c;把上面那张“所有下游任务都要微调”架构图说清楚&#xff1a; 核心思路&#xff1a;不管你要做什么任务&#xff0c;都用同一个 Transformer&#xff08;这里是 GPT&#xff0f;Decoder-Only 模型&#xff09;当“特征抽取器”&a…...

编程日记 2025/6/27 22:51:21

java面试每日一背 day1

1.什么是缓存穿透 缓存穿透是指查询一个数据库中根本不存在的数据&#xff0c;导致这个查询请求绕过缓存直接访问数据库的情况。这种情况如果频繁发生&#xff0c;会对数据库造成不必要的压力。 典型特征&#xff1a; &#xff08;1&#xff09;查询的数据在数据库和缓存中都…...

编程日记 2025/6/30 8:25:13

Spring Boot AI 之 Chat Client API 使用大全

ChatClient提供了一套流畅的API用于与AI模型交互，同时支持同步和流式两种编程模型。 流畅API包含构建Prompt组成元素的方法，这些Prompt将作为输入传递给AI模型。从API角度来看，Prompt由一系列消息组成，其中包含指导AI模型输出和行为的指令文本。 AI模型主要处理两类消息： …...

编程日记 2025/6/27 22:52:06

初识Linux · 五种IO模型和非阻塞IO

目录 前言&#xff1a; 五种IO模型 什么是IO IO模型 非阻塞IO 前言&#xff1a; 前文我们已经将网络的基本原理介绍完了&#xff0c;都是通过围绕TCP/IP四层协议&#xff0c;将应用层&#xff0c;传输层&#xff0c;网络层&#xff0c;数据链路层全部介绍完毕&#xff0c…...

编程日记 2025/6/27 22:51:19

牛客网NC15869:长方体边长和计算问题解析

牛客网NC15869:长方体边长和计算问题解析 题目描述 问题分析 设长方体的三条边长为 x, y, z根据题意&#xff0c;三个面的面积分别为&#xff1a; 第一个面面积&#xff1a;a x * y第二个面面积&#xff1a;b x * z第三个面面积&#xff1a;c y * z 解题思路 通过三个面…...

编程日记 2025/6/29 11:02:40

Python60日基础学习打卡D32

我们已经掌握了相当多的机器学习和python基础知识&#xff0c;现在面对一个全新的官方库&#xff0c;看看是否可以借助官方文档的写法了解其如何使用。 我们以pdpbox这个机器学习解释性库来介绍如何使用官方文档。 大多数 Python 库都会有官方文档&#xff0c;里面包含了函数…...

编程日记 2025/6/29 12:43:01

Android本地语音识别引擎深度对比与集成指南：Vosk vs SherpaOnnx

技术选型对比矩阵 对比维度VoskSherpaOnnx核心架构基于Kaldi二次开发ONNX Runtime + K2新一代架构模型格式专用格式（需专用工具转换）ONNX标准格式（跨框架通用）中文识别精度89.2% (TDNN模型)92.7% (Zipformer流式模型)内存占用60-150MB30-80MB迟表现320-500ms180-300ms多线程…...

编程日记 2025/6/29 23:01:50

Flink 核心概念解析：流数据、并行处理与状态

一、流数据&#xff08;Stream Data&#xff09; 1. 有界流&#xff08;Bounded Stream&#xff09; 定义&#xff1a;有明确起始和结束时间的数据集合&#xff0c;数据量固定&#xff0c;处理逻辑通常是一次性计算所有数据。 典型场景&#xff1a; 历史交易数据统计&#xf…...

编程日记 2025/6/30 4:39:54

logits是啥、傅里叶变换

什么是logtis&#xff1f; 在深度学习的上下文中&#xff0c;logits 就是一个向量&#xff0c;下一步通常被投给 softmax/sigmoid 的向量。。 softmax的输出是分类任务的概率&#xff0c;其输入是logits层。 logits层通常产生-infinity到 infinity的值&#xff0c;而softmax层…...

编程日记 2025/6/29 12:43:02

【机器学习基础】机器学习与深度学习概述 算法入门指南

机器学习与深度学习概述 算法入门指南 一、引言&#xff1a;机器学习与深度学习&#xff08;一&#xff09;定义与区别&#xff08;二&#xff09;发展历程&#xff08;三&#xff09;应用场景 二、机器学习基础&#xff08;一&#xff09;监督学习&#xff08;二&#xff09;无…...

编程日记 2025/6/30 22:38:46

Ajax研究

简介 AJAX Asynchronous JavaScript and XML&#xff08;异步的 JavaScript 和 XML&#xff09;。 AJAX 是一种在无需重新加载整个网页的情况下&#xff0c;能够更新部分网页的技术。 Ajax 不是一种新的编程语言&#xff0c;而是一种用于创建更好更快以及交互性更强的Web应用…...

编程日记 2025/6/29 10:21:13

小数第n位--快速幂+数学

1.快速幂&#xff0c;a*10的n2次方/b可以实现整数位3位是答案&#xff0c;但是数太大会超限&#xff0c;就要想取余 2.要是取前三位的话&#xff0c;那么肯定就是结果取余1000&#xff0c;对于除法来说&#xff0c;就是分母取余b*1000&#xff1b; 蓝桥账户中心 #include<…...

编程日记 2025/6/27 23:10:21

Python包管理工具uv 国内源配置

macOS 下 .config/uv/uv.toml内 pip源 [[index]] url "https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/" default true#uv python install 下载源配置无效&#xff0c;需要在项目里配置 # python-install-mirror "https://mirror.nju.edu.cn/githu…...

编程日记 2025/6/27 23:36:52

RK3588 RKNN ResNet50推理测试

RK3588 RKNN ResNet50推理测试 一、背景二、性能数据三、操作步骤3.1 安装依赖3.2 安装rknn-toolkit,更新librknnrt.so3.3 下载推理图片3.4 生成`onnx`模型转换脚本3.5 生成rknn模型3.6 运行rknn模型一、背景 在嵌入式设备上进行AI推理时，我们面临着算力有限、功耗敏感等挑战…...

编程日记 2025/6/27 22:53:47