当前位置：首页 > news >正文

数据治理域——日志数据采集设计

news 来源：原创 2025/7/5 7:13:20

摘要

本文主要介绍了Web页面端日志采集的设计。首先阐述了页面浏览日志采集，包括客户端日志采集的实现方式、采集内容及技术亮点。接着介绍了无线客户端端日志采集，包括UserTrack的核心设计、移动端与浏览器端采集差异以及典型应用场景崩溃分析。最后探讨了日志采集的挑战与解决方案，以及日志采集前置到用户终端的相关问题。

1. Web页面端日志采集

1.1. 页面浏览(展现)日志采集

记录页面加载和首次渲染的日志，是互联网产品最基础的统计来源。

1.1.1. 客户端日志采集

实现方式：

动态脚本植入（占比高）：由业务服务器在响应HTTP请求时，动态插入日志采集脚本（如通过模板引擎注入<script>标签）。
优势：支持实时参数配置（如动态业务标识、AB实验参数），无需人工干预。
手动植入：开发人员在页面代码中手动嵌入SDK脚本，适用于定制化需求较高的场景。

采集内容：

页面参数：URL、Referrer（来源页）、页面标题等。
上下文信息：HTTP Referer（上一步页面）、用户行为轨迹（如点击事件）。
环境信息：UserAgent（浏览器类型/版本）、屏幕分辨率、时区等。

技术亮点：

防篡改机制：通过HMAC签名验证请求合法性，防止伪造日志。
跨域处理：使用JSONP或CORS解决跨域脚本加载问题。

1.1.2. 客户端日志发送

发送策略：

同步发送：优先在页面加载完成时立即发送，确保核心指标（PV/UV）实时性。
延迟发送：对非关键日志（如用户停留时长）采用异步上报，避免阻塞页面渲染。

技术实现：

HTTP协议：通过GET/POST请求发送，参数拼接在URL或Body中（如?t=1620000000&_m_h5_tk=xxx）。
可靠性保障：

- Beacon API：在页面卸载时使用navigator.sendBeacon确保数据发送。
- 本地存储兜底：失败日志暂存LocalStorage，下次会话补传。

优化措施：

请求合并：同页面多个日志合并为单次请求，减少连接数。
数据压缩：使用Gzip或Brotli压缩URL参数。

1.1.3. 服务器端日志收集

接收与响应：

快速响应：日志服务器收到请求后立即返回200状态码，避免影响页面加载性能。
异步写入：日志内容写入内存缓冲区（如Kafka Producer Buffer），非阻塞处理。

缓冲区设计：

分级存储：

- 热缓冲区：内存级存储，支持高吞吐写入（如Apache Pulsar内存队列）。
- 冷缓冲区：磁盘级存储，应对突发流量溢出（如本地文件队列）。

数据持久化：定期刷盘（如每5秒），防止数据丢失。

1.1.4. 服务器端日志解析存档

解析流程：

格式解码：解析URL参数或POST Body，提取结构化字段（如_m_h5_tk解析为设备指纹）。
数据清洗：

- 字段校验：过滤非法字符（如XSS攻击特征）。
- 异常值处理：剔除异常时间戳（如未来时间或超长停留时长）。

补全信息：

- 关联业务数据：通过_m_h5_tk关联用户画像（如地域、设备型号）。
- 时区校正：统一转换为UTC时间。

存储与分发：

- 标准日志文件：按小时切割存储至HDFS（如/log/pv/2023100101.log）。
- 实时消息队列：推送到Kafka供下游实时计算（如Flink统计UV）。

1.2. 页面交互日志数据采集

记录用户与页面交互行为的日志（如点击、滚动、表单输入等），用于行为分析。

1.2.1. 阿里“黄金令箭”交互日志采集方案

1.2.1.1. 业务方注册与模板生成

元数据管理：

业务方在“黄金令箭”控制台注册：

- 业务标识（如“淘宝购物车”）。
- 场景维度（如“商品详情页曝光”）。
- 交互采集点（如“按钮点击”“输入框回车”）。

动态生成代码模板：系统根据配置生成轻量级JS SDK代码片段（如goldendart.js）。

技术特点：无代码侵入：通过动态注入脚本，无需修改业务代码逻辑。

参数化配置：支持自定义事件参数（如按钮ID、输入内容）。

1.2.1.2. 交互代码植入与绑定

植入方式：

手动植入：开发人员将SDK代码嵌入HTML页面（如<script src="goldendart.js"></script>）。
自动注入：通过阿里云ARMS等工具动态注入SDK（适用于动态页面）。

行为绑定：

通过事件监听器（如addEventListener）绑定交互行为：

// 示例：监听按钮点击事件
goldendart.track('button_click', {button_id: 'add_to_cart',page_url: window.location.href
});

上下文增强：自动附加环境信息（如设备类型、页面URL、时间戳）。

1.2.1.3. 日志触发与上报

触发时机：

同步触发：用户行为发生时立即上报（如点击事件）。
延迟触发：对高频行为（如滚动）采用防抖策略（如每500ms聚合一次）。

数据上报：

HTTP协议：通过POST请求发送至日志服务器（如https://log.taobao.com/golden_arrow）。
数据完整性：通过HMAC签名验证数据合法性，防止篡改。
数据格式：

POST /golden_arrow
{"event_type": "input_submit","biz_code": "taobao_cart","custom_data": {"item_id": "12345", "price": 99.9},"_m_h5_tk": "设备指纹","timestamp": 1620000000
}

1.2.1.4. 服务器端处理与存储

日志接收：

快速响应：返回200状态码，避免阻塞业务请求。
异步写入缓冲区：数据写入Kafka或RocketMQ，支持削峰填谷。

数据解析策略：

非结构化存储：保留原始JSON数据，仅解析固定字段（如biz_code、event_type）。
动态Schema支持：业务方可自定义字段（如电商场景的sku_id、游戏场景的level_id）。

数据关联：通过_m_h5_tk设备指纹关联PV日志与交互日志，构建用户行为时序链条。

1.2.2. 页面日志的服务器端清洗和预处理

处理阶段	处理原因	处理方法	技术手段	输出结果
识别虚假流量	过滤恶意流量（如爬虫、作弊、DDoS攻击），避免污染核心指标（如PV/UV）。	- 基于机器学习模型识别异常模式（如高频点击、异常IP聚集） - 规则引擎匹配已知攻击特征（如UserAgent异常）	- 机器学习（如XGBoost） - 规则引擎（如正则表达式过滤） - 设备指纹黑名单	清洗后的合法日志，剔除异常流量
数据缺项补正	统一数据口径，补充缺失字段（如用户登录后回补身份信息）。	- 数据归一化（如统一时间戳格式） - 反向补正（基于后续日志修正早期数据） - 关联业务数据（如用户画像补全）	- Flink实时计算 - 数据清洗工具（如Hive SQL） - 外部数据源关联（如用户数据库）	标准化结构化数据，字段完整率提升
无效数据剔除	去除冗余、错误或失效数据（如已下架商品的交互日志）。	- 配置驱动的数据校验（如正则校验字段格式） - 动态淘汰规则（如删除3个月前的旧日志） - 异常值过滤（如负值停留时长）	- 数据质量监控工具（如Apache Griffin） - Spark批处理 - 规则配置平台（如Nacos）	精简数据集，存储与计算资源消耗降低
日志隔离分发	满足数据安全（如隐私合规）或业务隔离需求（如区分核心业务与非核心业务日志）。	- 基于RBAC的权限控制（如仅允许特定团队访问支付日志） - 数据脱敏（如手机号部分隐藏） - 物理隔离存储（如核心日志与非核心日志分库）	- 数据加密（如TLS传输） - 访问控制（如Kerberos认证） - 分区存储策略	隔离后的日志按需分发至不同业务环境

2. 无线客户端端日志采集

2.1. UserTrack（UT）的核心设计

2.1.1. 事件分类机制

事件类型	定义	典型场景	技术实现差异
页面事件	页面生命周期事件（加载、卸载、曝光）。	页面PV/UV统计、停留时长计算。	监听`Activity` 生命周期或前端路由变化。
控件点击事件	用户与界面元素的交互行为（按钮点击、滑动）。	按钮转化率分析、热力图生成。	注入事件监听器（如`setOnClickListener` ）。
自定义事件	业务定制化行为（如支付成功、游戏通关）。	核心业务指标统计、用户路径分析。	通过UT API主动上报（如`UT.track("pay_success")` ）。

2.1.2. 关键技术挑战与解决方案

挑战	问题表现	UT的解决方案
设备唯一性标识	Android设备ID碎片化（IMEI/Android ID等）。	设备指纹算法：融合多维度信息（设备ID+IP+UserAgent+时间戳），生成哈希值`_m_h5_tk` 。
Hybrid日志统一	H5与Native日志格式不一致，数据难以关联。	桥接机制：通过JSBridge将H5事件转发至Native层统一上报。
网络不稳定	数据上传失败导致丢失。	本地存储+重试策略：失败日志暂存SQLite，网络恢复后批量重试。
数据解析复杂性	日志字段异构（如JSON与键值对混合）。	统一数据格式：所有日志序列化为Key-Value结构，支持动态Schema解析。

2.1.3. 数据上传策略

实时性分级：

高优先级（如崩溃日志）：立即上传，失败时启用短信重试。
普通优先级（如点击事件）：批量上传（每30秒或退出页面时）。

流量控制：

动态压缩（GZIP压缩率>70%）。
智能降频（弱网环境下采样率降至10%）。

2.2. 移动端与Web端采集差异

维度	移动端（UT）	浏览器端（黄金令箭）
设备标识	设备指纹（IMEI/Android ID+算法哈希）	Cookie+IP+UserAgent
事件触发	依赖Native API（如Activity生命周期）	基于浏览器事件（如`window.onload`）
网络环境	需处理弱网、断网场景（如地铁、地下室）	依赖稳定HTTP连接
数据格式	统一Key-Value结构，适配多语言（Java/Kotlin）	基于URL参数或JSON，依赖JavaScript执行环境

2.3. 无线端日志采集典型场景

崩溃分析：捕获ANR（Android无响应）与Crash日志，关联设备信息快速定位问题。

// 示例：捕获Java异常并上报
try {// 业务代码
} catch (Exception e) {UT.track("crash", new HashMap<String, String>() {{put("stack_trace", e.toString());put("device_model", Build.MODEL);}});
}

用户行为分析：追踪“加入购物车”按钮点击率，优化商品详情页布局。

性能监控：统计页面加载时长（onCreate到onResume耗时）。

3. 日志采集挑战与解决方案

3.1. 日志采集核心挑战

以下是整理后的表格：

问题分类	表现描述	核心难点
海量日志处理压力	日志量达亿级/日，大促期间近万亿级数据；全链路（采集、传输、解析、分析）存在性能瓶颈。	需协同优化峰值QPS、传输速度、实时解析吞吐量与计算资源分配，避免单一环节成为性能瓶颈。
日志结构化与规范化	日志类型多样、规模激增，需统一分类与标准化；避免资源浪费（如过度预处理）或覆盖不全（仅处理关键日志）。	动态业务需求下，如何灵活适配不同日志的解析规则（如URL正则匹配维护成本高），平衡规范化和灵活性。
实时性与业务深度平衡	高实时性场景（如推荐系统）要求端到端低延迟，但传统链路环节多（采集→传输→解析→分析），难以满足需求。	需权衡稳定性与扩展性（如增加实时计算能力可能引入故障风险），优化链路环节或采用轻量化处理方案。
资源分配与热点突发	流量热点（如大促页面）与常规模块共享资源，易导致关键业务被淹没。	在共享基础设施时实现优先级控制与分流，避免资源竞争，需动态调度策略（如基于SLA的资源隔离）。
动态配置与扩展性	业务快速迭代要求日志采集规则灵活调整，传统静态配置（季度/年更新）无法适应。	客户端和服务端协同实现高频更新（如周/月级）与配置化落地，需动态配置中心支持（如热更新、版本回滚）。

3.2. 阿里数据采集解决方案

3.2.1. 日志采集链路的分层优化

推送式配置管理

服务端可动态下发采集配置，实现日志的实时采样、延迟上报、限流控制。
配置可针对具体应用、平台、事件或场景，实现精细化管理。

客户端前置分类与更新

将部分日志分类与逻辑前置到客户端，减少服务器端处理压力。
客户端采集代码支持高频率更新（周/月级），并实现配置化，提高响应速度。

3.2.2. 日志分流机制

按优先级与业务分流

对日志进行优先级划分（如用户行为 vs 技术日志）。
根据业务特征和日志重要程度，将日志拆分至不同采集处理通道。

按业务类型路由分流

日志采集路径根据页面类型变化，早期进行路由分流，减少后端分支判断和资源消耗。

3.2.3. 采算一体应用链路

SPM 与 Goldlog 规范系统

SPM（页面流量埋点）规范：支持页面访问日志结构化、归类、自动聚合分析。
Goldlog（自定义事件埋点）规范：支持定制事件采集与可视化分析。
用户通过简单配置即可完成日志注册、采集、统计、展示的全流程。

元数据中心支持

埋点信息通过元数据注册，驱动采集与后端计算协同，降低手动配置成本。

3.2.4. 高性能日志处理与错峰限流

高峰期日志限流机制

对非关键日志延迟上传或采样上报，确保系统高可用性。
高峰期动态启用限流策略，平稳过渡后再恢复全量日志处理。

端上日志记录+本地计算

对于高实时性场景（如实时推荐），直接在采集节点完成部分业务逻辑处理，跳过部分中间层，提升处理

4. 日志数据采集相关问题

4.1. 日志采集前置到用户终端（如手机）是否有要求、以及是否会影响用户使用体验？

4.1.1. 是否对用户手机有要求？

原则上没有硬性要求

日志前置分类主要涉及客户端（如App）中嵌入的埋点逻辑和配置信息，不依赖手机的硬件特性。
适用于绝大多数智能手机终端（Android/iOS主流版本均支持）。

面向客户端更新的兼容性设计

采用配置化、模块化更新，避免因新功能导致旧版本手机不兼容。
若某些机型或系统版本不支持某项功能，可通过灰度发布、降级策略处理。

性能资源方面需适当控制

日志前置分类需要一定的 本地计算资源（CPU）、存储资源（缓存），但设计时通常考虑其开销微小。
会对设备带来极小的计算和存储负担，但远低于音视频渲染等任务。

4.1.2. 是否会影响用户使用体验？

正常使用几乎无感知

分类操作通常在页面加载/事件触发后异步执行，不占用主线程，不阻塞 UI 渲染。
日志写入与上传采用异步+批量策略，不会造成明显卡顿或延迟。

日志上传有节流策略

支持延迟上传、弱网暂停、仅 WiFi 上传等配置策略，避免在用户弱网或流量宝贵时频繁传输日志。

极端情况下的影响控制

在极端高频埋点场景（如滚动监听、滑动手势等）中，如果埋点密集、优化不当，可能会引起：页面卡顿、电量消耗稍高、应用包体增大（埋点 SDK 过重）

解决方法：

使用采样率控制 + 埋点聚合策略（如将滚动次数合并统计）
动态配置控制哪些埋点启用
定期清理本地缓存日志

4.1.3. 互联网大厂是怎么控制这类问题的？

SDK 轻量设计：客户端 SDK 仅承担分类和缓存，不做复杂计算。
配置中心动态控制：可对特定设备型号/系统版本下发特定策略。
灰度与A/B测试机制：保障任何埋点和分类策略上线前都经过性能验证。
本地监控指标采集：检测客户端埋点对性能的影响，实时反馈和优化。

5. 博文参考

《阿里巴巴大数据实践》

数据治理域——日志数据采集设计

摘要本文主要介绍了Web页面端日志采集的设计。首先阐述了页面浏览日志采集，包括客户端日志采集的实现方式、采集内容及技术亮点。接着介绍了无线客户端端日志采集，包括UserTrack的核心设计、移动端与浏览器端采集差异以及典型应用场景崩溃分析。最后探…...

编程日记 2025/7/5 7:13:20

Dinky 安装部署并配置提交 Flink Yarn 任务

官方文档 https://www.dinky.org.cn/docs/1.1/deploy_guide/normal_deploy 版本 dinky 1.1.0、1.2.3 当前最新发布版本为 1.2.3 ，但是官方文档最新稳定版为 1.1 ，所以先选择 1.1.0，验证通过后，再尝试 1.2.3 ，发现 1…...

编程日记 2025/7/5 7:00:23

杰理-701-手表sdk无法电脑连接经典蓝牙

杰理-701-手表sdk无法电脑连接经典蓝牙只有手机可以连接经典蓝牙播放音乐，电脑无法连接，需要关闭emitter功能交流q群：187115320...

编程日记 2025/7/5 7:01:09

Timsort 算法

文章目录 1 基础理解1.1 定义和原理1.2 工作原理 2 算法实现2.1 Python 代码实现2.1.1 代码2.1.2 核心逻辑计算最小运行长度（calc_min_run(n)）插入排序（insertion_sort(arr, left, right)） 2.2 Java 代码实现2.3 C 代码实现 3 逻辑…...

编程日记 2025/7/5 7:07:55

Go构建高并发权重抽奖系统：从设计到优化全流程指南

引言：为何需要专业抽奖系统？ 在现代互联网应用中，抽奖系统被广泛用于营销活动、用户激励等场景。一个好的抽奖系统需要满足： 公平性：确保概率分布准确高性能：支持高并发抽奖请求安全性：防止作…...

编程日记 2025/6/29 1:33:57

深度学习计算

深度学习的飞速发展离不开强大的计算能力支撑。从张量计算到 GPU 加速，从自动微分到分布式计算，深度学习计算的每一项技术都如同精密仪器中的关键齿轮，推动着模型性能的不断提升。本文深入剖析深度学习计算的核心技术、优化策略以及前沿趋势&…...

编程日记 2025/7/5 7:10:30

【Bluedroid】蓝牙 HID DEVICE 初始化流程源码解析

本文深入剖析Android蓝牙协议栈中HID设备（BT-HD）服务的初始化与启用流程，从接口初始化、服务掩码管理、服务请求路由到属性回调通知，完整展现蓝牙HID服务激活的技术路径。通过代码逻辑梳理，揭示服务启用的核心机制&…...

编程日记 2025/7/5 6:59:37

Kotlin 中的 Unit 类型的作用以及 Java 中 Void 的区别

在 Kotlin 中，Unit 类型和 Java 中的 void 关键字都用于表示“没有返回值”的函数，但它们在设计理念、类型系统和实际使用中有显著的区别。 1 Kotlin 中的 Unit 类型表示无返回值： 当函数不返回有意义的值时，Kotlin 使用 Unit …...

编程日记 2025/6/30 16:18:33

Gemini 2.5 推动视频理解进入新时代

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/6/29 8:43:48

Spark Streaming 内部运行机制详解

核心思想：将实时数据流切割为“微批次”，利用 Spark Core 的批处理能力进行准实时计算。 1. 核心流程拆解数据接收（Input Data Stream） 输入源：Kafka、Flume、Socket 等实时数据流。接收器（Receiver&…...

编程日记 2025/6/29 8:46:34

Feign+Resilience4j实现微服务熔断机制：原理与实战

引言：为什么需要熔断器？ 在微服务架构中，服务间的依赖调用变得非常普遍。想象一下这样的场景：订单服务依赖支付服务，支付服务又依赖银行网关服务。如果银行网关服务出现故障，故障会向上蔓延，导…...

编程日记 2025/6/29 1:23:04

什么是SparkONYarn模式

1. 什么是 Spark on YARN？ Spark on YARN 是 Apache Spark 的一种部署模式，允许 Spark 应用程序在 Hadoop YARN 集群上运行，充分利用 YARN 的资源管理和调度能力。这种模式将 Spark 与 Hadoop 生态深度集成，使企业能够在同一集群…...

编程日记 2025/6/29 0:39:55

鸿蒙北向应用开发: deveco5.0 创建开源鸿蒙项目

本地已经安装deveco5.0 使用5.0创建开源鸿蒙项目文件->新建->新建项目直接创建空项目,一路默认 next 直接编译项目直接连接开源鸿蒙5.0开发板编译会提示 compatibleSdkVersion and releaseType of the app do not match the apiVersion and releaseType on the dev…...

编程日记 2025/6/29 0:40:18

操作系统：内存管理

目录 1、主要目标 2、核心概念和技术 2.1 物理内存与虚拟内存 2.2 内存分页机制 2.3 页面置换算法 3、监控与性能优化 3.1 查看物理内存 3.2 查看虚拟内存 3.3 性能问题 1> 内存不足（OOM） 2> 内存泄漏 3> 内存碎片 3.4 性能优化策…...

编程日记 2025/6/29 1:23:29

腾讯优化DeepSeek的DeepEP通信框架：开启AI大模型训练新时代

事件背景在人工智能（AI）技术迅猛发展的当下，大规模AI模型训练的需求与日俱增。高效的数据通信成为了提升AI模型训练效率的关键环节。混合专家模型（MoE）作为一种高效的大模型架构，通过动态分配专家网络处理…...

编程日记 2025/6/28 23:09:14

CSP-J普及组第一轮真题单选题专项训练（二）

CSP-J普及组第一轮真题单选题专项训练（二） (共15题，每2分，共30分;每题有且有一个正确选项） 1、一个 32 位整型变量占用（）个字节。 A. 32 B. 128 C. 4 D. 8 2、在内存储器中每个存储单元都被赋予一个唯一的序号,称为 A、下标 B、序号 C、地址 D、编号 3、编译器的主要…...

编程日记 2025/6/28 23:42:45

Android加固工具测评：易盾、顶象、360加固哪款更好用？

应用安全已经成为每个开发者和企业关注的核心问题。随着黑客技术的不断升级，单一的安全措施已经无法有效应对各种复杂的攻击威胁。Android加固工具应运而生，成为了提升应用安全的关键利器。这些加固工具通过代码混淆、加密、防篡改等技术手段&#xff0c…...

编程日记 2025/6/29 1:19:40

C++ 字符格式化输出

文章目录一、简介二、实现代码三、实现效果一、简介这里使用std标准库简单实现一个字符格式化输出，方便后续的使用，它有点类似Qt中的QString操作。二、实现代码 FMTString.hpp #pragma once#include <cmath> #include <cstdio> #include…...

编程日记 2025/6/28 23:58:29

内存中的“BANK”

一、BANK的定义与物理结构基本概念 BANK（存储体） 是内存芯片内部的一个逻辑或物理分区，每个BANK由存储单元阵列、地址解码电路和缓冲器组成，用于分块管理内存操作。作用：通过并行操作减少访问冲突，提升内…...

编程日记 2025/6/29 1:28:42

D-Pointer（Pimpl）设计模式（指向实现的指针）

Qt 的 D-Pointer（Pimpl）设计模式 1. Pimpl 模式简介 Pimpl（Pointer to Implementation）是一种设计模式，用于将类的接口与实现分离，从而隐藏实现细节，降低编译依赖，提高代码的可维护…...

编程日记 2025/6/29 0:14:27

XA协议和Tcc

基于 XA 协议的两阶段提交 (2PC)。这是一种分布式事务协议，旨在保证在多个参与者（通常是不同的数据库或资源管理器）共同参与的事务中，所有参与者要么都提交事务，要么都回滚事务，从而维护数据的一致性。你…...

编程日记 2025/6/29 0:57:54

我们该如何使用DeepSeek帮我们减负？

在当今信息爆炸的时代，如何快速获取、筛选和分析信息已经成为各行各业的重要能力。而DeepSeek作为一种先进的智能搜索和信息挖掘工具，能够帮助用户快速找到所需的信息，并从海量数据中提取出有用的洞见。在这篇博文中，我们将深入探…...

编程日记 2025/6/29 1:32:12

25.5.13

感觉很久没有写算法题了，先来个滑动队列模板题试试水，就是用双端队列来实现会很方便，拿结构体来记录是第几个数和数的值即可，再定义两个双端队列，一个使他的值单调递增一个使他的值单调递减使队头元素为最大值或者是最…...

编程日记 2025/6/28 23:01:46

软件测试——面试八股文（入门篇）

今天给大家分享软件测试面试题入门篇，看看大家能答对几题一、请你说一说测试用例的边界参考回答： 边界值分析法就是对输入或输出的边界值进行测试的一种黑盒测试方法。通常边界值分析法是作为对等价类划分法的补充，这种情况下&#xff…...

编程日记 2025/6/29 0:38:56

脑机接口技术：开启人类与机器融合的新时代

摘要脑机接口（BCI）技术作为一项前沿科技，正在逐步打破人类与机器之间的沟通障碍，为医疗、娱乐、教育等多个领域带来前所未有的变革。本文将详细介绍脑机接口技术的基本原理、发展现状、应用场景以及面临的挑战和未来发展趋势&…...

编程日记 2025/6/28 23:51:49

当三维地理信息遇上气象预警：电网安全如何实现“先知先觉”？

极端天气频发的当下，一场台风、一次暴雨就可能让电力系统陷入瘫痪。但你知道吗？如今的电网已能通过三维地理信息与气象数据的深度融合，在灾害来临前精准锁定风险，甚至将停电事故减少七成以上。这背后，正是国网电力空间…...

编程日记 2025/6/29 0:06:34

C++ string数据查找、string数据替换、string子串获取

string查找示例见下，代码见下，以及对应运行结果见下： #include<iostream>using namespace std;int main() {// 1string s1 "hellooooworld";cout << s1.find("oooo") << endl;// 2cout << (in…...

编程日记 2025/6/29 0:54:55

2025.5.13山东大学软件学院计算机图形学期末考试回忆版本

2025.5.13山东大学软件学院计图期末考试回忆版本学院：软件学院老师：周元峰、魏广顺一、简述题（2024原题一） 1.图形绘制流水线的组成和作用 2.双缓冲机制是什么，有什么作用？ 3.Delaunay三角化的四条…...

编程日记 2025/6/28 23:29:10

思极地图使用

思极地图api文档：思极地图开放平台 | 思极地图API SDK 思极地图SDK: <script src"https://map.sgcc.com.cn/maps?v3.0.0"></script> <script src"https://map.sgcc.com.cn/products/js-sdk/v3/assets/js/jquery-1.11.1.min.js&quo…...

编程日记 2025/6/29 0:10:46

Fiori学习专题四十一：表单控件

上节课我们学习了一些单一控件的使用，但是我们发现在页面内每个控件都占用了一行，这样子就显得不太好看，这节课我们引入一个表单控件来美化一下这个页面。 1.学习表单控件FORM之前我们先了解下哪些情况会使用到表单控件，最常见的场…...

编程日记 2025/6/29 1:09:11

基于STM32、HAL库的TDA7719TR音频接口芯片驱动程序设计

一、简介： TDA7719TR 是 NXP Semiconductors 推出的高性能音频处理芯片，专为汽车音响系统设计。它集成了 AM/FM 收音机调谐器、音频处理和音量控制功能，支持 I2C 控制接口，非常适合与 STM32 微控制器配合使用。二、硬件接口：典型的 STM32L4 与 TDA7719TR 硬件连接如下…...

编程日记 2025/6/29 1:15:50

Baklib智能云平台加速企业数据治理

Baklib数据治理核心优势 Baklib作为新一代企业级知识中台，其数据治理能力建立在全资产统一管理与智能化处理框架的双重基础之上。通过构建知识中台的核心架构，平台实现了图文、音视频等多模态数据的标准化存储与动态标签体系，有效解决传统管…...

编程日记 2025/6/29 0:09:11

面试中被问到谈谈你对threadlocal的理解

ThreadLocal 的核心理解 1. 基本概念 ThreadLocal 是 Java 提供的线程局部变量机制，用于在多线程环境中为每个线程维护独立的变量副本，实现线程隔离。其核心思想是空间换时间，通过避免共享变量带来的同步开销，提升并发性能。 2…...

编程日记 2025/6/28 23:01:06

Spring Boot 应用中实现基本的 SSE 功能

SSE 技术简介 SSE（Server-Sent Events）是一种允许服务器主动向客户端推送数据的技术。它基于 HTTP 长连接，使用简单，特别适合实时数据更新场景，如股票行情、新闻推送等。与 WebSocket 相比，SSE 更轻量级&a…...

编程日记 2025/6/28 23:46:58

【2025最新】Windows系统装VSCode搭建C/C++开发环境（附带所有安装包）

文章目录为什么选择VSCode作为C/C开发工具？一、VSCode安装过程（超简单！）二、VSCode中文界面设置（再也不用对着英文发愁！）三、安装C/C插件（编程必备神器！）四、…...

编程日记 2025/6/29 0:18:13

【MyBatis-8】MyBatis对象关联查询详解：高效处理复杂关系映射

在实际业务开发中，我们经常需要处理对象之间的关联关系，如一对一、一对多、多对多等。MyBatis作为一款优秀的持久层框架，提供了强大的对象关联查询能力。本文将深入探讨MyBatis中各种关联查询的实现方式、适用场景及最佳实践。 1. MyBatis关…...

编程日记 2025/6/28 23:34:19

Java基础(IO)

所有操作都在内存，不能长时间保存，IO主要在硬盘，可以长时间保存。一、File类 File类被定义为文件和目录路径名的抽象表示形式，这是因为 File 类既可以表示文件也可以表示目录，他们都通过对应的路径来描述。提供构…...

编程日记 2025/6/28 23:34:10

Trae IDE：AI深度集成的智能开发环境

（以高效人机协作重塑编程体验） 概述 Trae IDE（发音 /treɪ/）是一款深度集成AI能力的现代化开发工具，结合传统IDE的完备功能与前沿AI技术，提供智能问答、代码自动补全、跨文件编程及AI Agent驱动的自动化开…...

编程日记 2025/6/29 0:40:52

网站开发过程中样式忽然不显示问题

老规矩，先听故事：今天我开发网站时候遇到一个问题，就开发的这个网站在默认127.0.0.1运行样式有bug显示不出来，之前都可以，就完全一样的代码，之前可以正常运行显示，今天忽然就不行了，…...

编程日记 2025/6/28 23:02:31

双种群进化算法：动态约束处理与资源分配解决约束多目标优化问题

双种群进化算法：动态约束处理与资源分配解决约束多目标优化问题一、引言约束多目标优化问题（CMOPs）在工程设计、资源分配等领域广泛存在，其核心是在满足多个约束条件的同时优化多个目标函数。传统方法往往难以平衡约束满足与目…...

编程日记 2025/6/29 0:03:07

如何在 CentOS 7 虚拟机上配置静态 IP 地址并保持重启后 SSH 连接

在使用 CentOS 7 的虚拟机时，我们通常需要配置静态 IP 地址，以确保在每次虚拟机重启后能够通过 SSH 连接。本文将介绍如何在 CentOS 7 系统中配置静态 IP 地址，并确保配置在系统重启后依然生效。步骤 1：检查虚拟机网络接口首先…...

编程日记 2025/6/28 23:02:35

整数和浮点数转换时的精度损失

文章目录 int和float转换时的精度损失float组成解析（1） 32位浮点数的结构（2）示例：解析一个浮点数（3）偏置值的作用（4） 偏置值为什么是127？（5&#…...

编程日记 2025/6/28 23:02:30

Protobuf工具

#region 知识点一什么是 Protobuf //Protobuf 全称是 protocol - buffers（协议缓冲区） // 是谷歌提供给开发者的一个开源的协议生成工具 // 它的主要工作原理和我们之前做的自定义协议工具类似 // 只不过它更加的完善&…...

编程日记 2025/6/29 0:24:23

闭包原理与常见陷阱

引言 JavaScript闭包是前端开发中既强大又神秘的概念，它不仅是面试的必考题，更是解决复杂问题的利器。闭包让函数能够记住并访问其创建时的作用域，即使在该函数在其定义环境之外执行。然而，正如许多强大的工具一样，…...

编程日记 2025/6/29 0:41:04

用 VS Code / PyCharm 编写你的第一个 Python 程序

用ChatGPT做软件测试编写你的第一个 Python 程序——不只是“Hello, World”，而是构建认知、习惯与未来的起点 “第一行代码，是一个开发者认知世界的方式。” 编程的入门，不只是运行一个字符串输出，更是开始用计算机思维来理解、…...

编程日记 2025/6/29 1:27:07

Linux学习心得问题整理（一）

day01 运维初识理解云计算运维目的是什么？ 搭建云计算更有利于我们在公网环境下方便访问我们服务节省时间的成本，能随时随地方便调度硬件资源，更容易搭建软件服务安全可靠，售后期间支持技术支持维护什么是运维&#xff1f…...

编程日记 2025/6/29 0:34:27

在scala中sparkSQL连接masql并添加新数据

以下是 Scala 中使用 Spark SQL 连接 MySQL 并添加数据的完整代码示例（纯文本）： 1. 准备连接参数（需替换实际信息） scala val jdbcUrl "jdbc:mysql://localhost:3306/test_db?useUnicodetrue&characterEnc…...

编程日记 2025/6/28 23:01:17

STM32F103_LL库+寄存器学习笔记22 - 基础定时器TIM实现1ms周期回调

导言如上所示，STM32F103有两个基本定时器TIM6与TIM7，所谓「基本定时器」，即功能最简单的定时器。项目地址： github: LL库: https://github.com/q164129345/MCU_Develop/tree/main/stm32f103_ll_library22_Basic_Timer寄存器方…...

编程日记 2025/6/28 23:37:44

.Net HttpClient 使用Json数据

HttpClient 使用Json数据现代Web项目中，Json是最常用的数据格式。不论是前后端的交互中，还是纯前端项目中，都是如此。因此，.Net HttpClient 能不能更加方便、快捷的处理Json格式数据，也就至关重要了！ 文末…...

编程日记 2025/6/29 0:01:34

AI时代，如何实现人机共舞？

在科技飞速发展的当下，人工智能（AI）已不再是科幻作品中的遥远想象，而是深入渗透到我们生活与工作的方方面面。从智能手机中的语音助手，到金融领域的风险预测模型；从医疗影像的智能诊断，到工业生…...

编程日记 2025/6/28 23:42:55

摘要