当前位置：首页 > news >正文

第四天从CAN总线到Spark/Flink实时处理

news 来源：原创 2025/8/5 0:02:39

前言

在智能网联汽车快速发展的今天，每辆汽车每天产生的数据量高达数GB。这些数据蕴藏着驾驶行为、车辆健康、道路状况等宝贵信息。本文将带您从零开始，系统学习车辆数据采集与分析的全流程技术体系，包含：

CAN总线数据解析与采集
Telematics数据获取方法
使用Spark/Flink进行实时分析
典型行业应用案例

文章配套Python/Java代码示例，并提供完整的学习路径建议。无论您是汽车工程师还是大数据开发者，都能从中获得可直接落地的技术方案。

一、车辆数据采集基础

1.1 CAN总线协议解析

CAN（Controller Area Network）是车辆内部ECU（电子控制单元）的标准通信协议。其物理层采用双绞线传输，数据链路层使用CSMA/CA机制。

典型CAN数据帧结构：

CAN ID (11/29位) | 数据长度码DLC (4位) | 数据字段 (0-64位) | CRC校验 (15位)

Python解析示例：

import canbus = can.interface.Bus(channel='can0', bustype='socketcan')
for msg in bus:print(f"ID:{msg.arbitration_id} Data:{msg.data.hex()}")

1.2 Telematics数据采集

Telematics系统通过GPS+蜂窝网络实现车辆联网，主要数据类型：

数据类型	采集频率	典型内容
位置数据	1Hz	经纬度、速度、方向
诊断数据	0.1Hz	故障码、电池状态、里程数
驾驶行为数据	事件触发	急加速、急刹车、急转弯

OBD-II数据采集代码：

// 使用ELM327适配器读取数据
ATZ        // 重置适配器
ATSP0      // 自动协议检测
010C       // 读取发动机转速

二、大数据处理技术选型

2.1 Spark vs Flink对比

特性	Apache Spark	Apache Flink
处理模式	微批处理	真正的流处理
延迟	秒级	毫秒级
状态管理	需要额外处理	内置状态管理
典型应用场景	离线分析、ETL	实时监控、CEP

2.2 实时处理架构设计

[数据源] --> [Kafka] --> [Flink实时处理] --> [Redis/HBase] --> [可视化大屏]|--> [HDFS冷存储]

三、实战：实时驾驶行为分析

3.1 Flink流处理实现

数据流拓扑：

DataStream<CanMessage> rawStream = env.addSource(new KafkaSource()).keyBy(msg -> msg.vehicleId);// 窗口统计
DataStream<DriverBehavior> analysisStream = rawStream.window(TumblingEventTimeWindows.of(Time.minutes(5))).process(new BehaviorAnalyzer());// 复杂事件处理
Pattern<CanMessage, ?> pattern = Pattern.<CanMessage>begin("start").where(msg -> msg.speed > 120).next("brake").where(msg -> msg.brakePressure > 80);CEP.pattern(rawStream, pattern).select(new OverspeedAlert());

3.2 Spark离线分析示例

急加速行为分析：

val df = spark.read.parquet("hdfs:///telematics").filter($"speed" > 80)val accelerations = df.groupBy(window($"timestamp", "10 minutes")).agg(count(when($"accel_pedal" > 90, 1)).as("hard_accels"),avg($"speed").as("avg_speed")).orderBy(desc("hard_accels"))

四、行业应用案例

4.1 实时故障预警系统

特征提取：滑动窗口统计（1分钟均值/方差）
模型部署：TensorFlow模型嵌入Flink
报警触发：CEP检测连续异常

4.2 驾驶评分系统

评分维度：
- 平稳性（60%）  急加速/刹车/转弯次数
- 经济性（30%）  平均转速、刹车时长
- 合规性（10%）  超速、疲劳驾驶

第四天从CAN总线到Spark/Flink实时处理

前言在智能网联汽车快速发展的今天，每辆汽车每天产生的数据量高达数GB。这些数据蕴藏着驾驶行为、车辆健康、道路状况等宝贵信息。本文将带您从零开始，系统学习车辆数据采集与分析的全流程技术体系，包含： CAN总线数据解析与采集…...

编程日记 2025/8/5 0:02:39

pandas中的数据聚合函数：`pivot_table` 和 `groupby`有啥不同？

pivot_table 和 groupby 是 pandas 中两种常用的数据聚合方法，它们都能实现数据分组和汇总，但在使用方式和输出结构上有显著区别。 0. 基本介绍 groupby分组聚合 groupby 是 Pandas 库中的一个功能强大的方法，用于根据一个或多个列对数据进…...

编程日记 2025/8/4 23:59:43

AI客服问答自动生成文章(基于deepseek实现)

小编一直在用AI做网站平台文章的润色或者二创。一直有一个想法，在自己网站加一个AI智能客服，通过文心或者deepseek来智能回答网友提出的问题，这样就能减少很多人工回复的麻烦，提高互动效率。开发背景其实很多网友提出的问题非…...

编程日记 2025/8/4 23:58:04

镜头内常见的马达类型（私人笔记）

① 螺杆式马达驱动来源：机身内马达。镜头尾部有一个接收“螺杆”的接口，通过机械传动带动镜头对焦组。缺点：慢、吵、不能用于无机身马达的相机。✅ 典型镜头：尼康 AF、AF-D 系列；美能达老镜头。尼康传统的AF镜头通过…...

编程日记 2025/8/5 0:00:01

从 JMS 到 ActiveMQ：API 设计与扩展机制分析（一）

引言在当今的分布式系统开发中，消息中间件扮演着举足轻重的角色，它为应用程序之间提供了可靠的异步通信机制。JMS（Java Message Service）作为 Java 平台上的消息服务规范，定义了一套通用的 API，使得开发者…...

编程日记 2025/7/31 6:16:03

第J7周：ResNeXt解析

🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊目标具体实现 （一）环境语言环境：Python 3.10 编译器: PyCharm 框架: Tensorflow （二）具体…...

编程日记 2025/7/31 6:15:58

机器学习-无量纲化与特征降维（一）

一.无量纲化-预处理无量纲，即没有单位的数据无量纲化包括"归一化"和"标准化"，这样做有什么用呢？假设用欧式距离计算一个公司员工之间的差距，有身高（m）、体重（kg&#x…...

编程日记 2025/8/4 0:29:37

Shiro（八）：JWT介绍

1、什么是JWT？ JWT（JSON Web Token，JSON Web令牌）是一种开放标准（RFC 7519），用于在网络应用环境间安全地传递声明（claims）作为JSON对象；JWT会按指定的加密算…...

编程日记 2025/8/4 22:48:18

linux0.11内核源码修仙传第十六章——获取硬盘信息

🚀 前言书接第十四章：linux0.11内核源码修仙传第十四章——进程调度之fork函数，在这一节博客中已经通过fork进程创建了一个新的进程1，并且可以被调度，接下来接着主线继续走下去。希望各位给个三连，拜托啦&…...

编程日记 2025/8/4 23:58:10

画家沈燕的山水实验：在传统皴法里植入时代密码

导语：当宋代山水遇上AI算法，当青绿颜料邂逅生态数据，沈燕在宣纸与人工智能的交界处，开启了一场关于水墨基因的“基因突变”实验。她的画笔既似考古学家的洛阳铲，又似未来学家的扫描仪，在古今对话中重构山水…...

编程日记 2025/8/2 2:21:08

聊聊四种实时通信技术：短轮询、长轮询、WebSocket 和 SSE

这篇文章，我们聊聊四种实时通信技术：短轮询、长轮询、WebSocket 和 SSE 。 1 短轮询浏览器定时（如每秒）向服务器发送 HTTP 请求，服务器立即返回当前数据（无论是否有更新）。优点&#xff1…...

编程日记 2025/7/31 18:17:00

国联股份卫多多与北京经纬智诚签署战略合作协议

5月9日，北京经纬智诚电子商务有限公司（以下简称“经纬智诚”）总经理王学文一行到访国联股份卫多多，同卫多多/纸多多副总裁、产发部总经理段任飞，卫多多机器人产业链总经理郭碧波展开深入交流，双方就未来合作…...

编程日记 2025/7/31 5:13:34

在 Envoy 的配置文件中出现的 “@type“ 字段

在 Envoy 的配置文件中出现的 "type" 字段是 Protocol Buffers（Protobuf）的 JSON/YAML 编码规范的一部分，属于 Typed Struct 的表示方式。它的作用是明确指定当前配置对象的 Protobuf 类型，以便 Envoy 正确解析配置。以…...

编程日记 2025/7/31 5:13:32

编译原理实验之语法分析程序自动生成工具Yacc实验

文章目录实验环境准备复现实验例子分析总的文件架构实验任务什么是Yacc Yacc(Yet Another Compiler Compiler)是一个语法分析程序自动生成工具，Yacc实验通常是在编译原理相关课程中进行的实践项目，旨在让学生深入理解编译器的语法分析阶段以及掌握Yac…...

编程日记 2025/7/31 5:13:30

【大模型】LLM概念相关问题（上）

1.主流的大语言模型截至2025年，主流的大型语言模型（LLM）体系涵盖了多个国家和机构的成果，具有多样的架构设计、参数规模和应用场景。以下是一些具有代表性的开源和闭源 LLM 体系： 🇺🇸 OpenA…...

编程日记 2025/8/4 23:59:42

AWS IoT Core与MSK集成实战:打造高可靠实时IoT数据管道

在物联网快速发展的今天,如何高效、安全地处理海量设备数据成为企业面临的一大挑战。本文将带您深入探索AWS IoT Core与Amazon MSK(Managed Streaming for Apache Kafka)的集成方案,手把手教您搭建一个可靠、可扩展的实时IoT数据处理管道。无论您是IoT开发者、大数据工程师还是…...

编程日记 2025/7/31 2:12:29

智慧交通-车门开关状态检测数据集VOC+YOLO格式1006张2类

数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：1006 标注数量(xml文件个数)：1006 标注数量(txt文件个数)：1006 …...

编程日记 2025/7/31 5:13:24

【传感器】代码——DHT11温湿度传感器

目录一、代码流程二、模块.c代码三、模块.h代码四、主函数代码一、代码流程 1.模块复位：主机发送开始通信时序，从机做出响应（需检测是否有响应） 2.MCU读取1Bit数据 3.MCU读取1Byte数据 4.MCU读取8Byte数据组成完整Dat…...

编程日记 2025/8/4 23:58:02

MySQL 的事务（Transaction）

1. 什么是事务？ 事务是一组原子性的数据库操作序列，这些操作要么全部执行成功，要么全部失败回滚。事务的目的是确保数据库从一个一致状态转换到另一个一致状态，即使在执行过程中发生错误或中断。 …...

编程日记 2025/7/31 5:13:20

vue知识点总结依赖注入动态组件异步加载

一依赖注入使用场景：当需要多层组件需要传值如祖宗-》父亲-》儿子-》孙子如祖宗的数据需要直接传给孙子在祖宗组件中写： data(){return {}} provide(){ return {shujukey:数据值 } }在孙子组件中接收,模板代码中直接使用{{shujukey}}获取数据 dat…...

编程日记 2025/8/4 23:58:03

【软件设计师：存储】16.计算机存储系统

一、主存储器存储器是计算机系统中的记忆设备，用来存放程序和数据。计算机中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。存储器分为：寄存器Cache（高速缓冲存储器）主存储器辅存储器一、存储器的存取方式二、存储器的性…...

编程日记 2025/7/31 18:31:42

快速开发-基于gin的中间件web项目开发

一、概述在 Gin 框架中，中间件（Middleware）是一种在处理 HTTP 请求之前或之后执行的函数。使用中间件可以方便地实现诸如身份验证（Auth）、日志记录、请求限流等功能。二、编写中间件 // 中间件 func StartCost1(c …...

编程日记 2025/7/31 18:31:40

耀圣-气动带刮刀硬密封法兰球阀：攻克颗粒高粘度介质的自清洁 “利器”

气动带刮刀硬密封法兰球阀：攻克颗粒高粘度介质的自清洁 “利器” 在化工、矿业、食品加工等行业中，带颗粒高粘度介质、料浆及高腐蚀性介质的输送与控制一直是行业难题。普通阀门极易因介质附着、颗粒堆积导致卡阻失效，密封面磨损加剧&#x…...

编程日记 2025/8/4 19:49:01

MySQL + Elasticsearch：为什么要使用ES，使用场景与架构设计详解

MySQL Elasticsearch：为什么要使用ES，使用场景与架构设计详解前言一、MySQL Elasticsearch的背景与需求1.1 为什么要使用Elasticsearch（ES）？1.2 为什么MySQL在某些场景下不足以满足需求？1.3 MySQL Elas…...

编程日记 2025/8/4 19:00:32

【C语言】--指针超详解(三)

目录一.数组名的理解二.使用指针访问数组三.一维数组传参的本质四.冒泡排序五.二级指针六.指针数组 6.1--指针数组的定义 6.2--指针数组模拟二维数组 🔥个人主页：草莓熊Lotso的个人主页 🎬作者简介：C方向学习者 &…...

编程日记 2025/7/31 18:31:35

污水处理厂逆袭：Ethernet/IP 转 CANopen 开启“智净”时代

在我们的日常生活中，污水处理厂发挥着至关重要的作用，它们处理着城市污水，确保我们的水源安全。然而，这些关键设施的运行和管理并非易事，尤其是在数字化转型的大潮中。现在，我们有了一款创新的解决方案——…...

编程日记 2025/7/31 18:31:33

ROS导航局部路径规划算法

在导航功能包中，局部路径规划器的位置如图红框所示。它接受全局路径规划器生成的全局路径以及里程计信息和局部代价地图，最后输出速度控制信息一、DWA（Dynamic Window Approach） 原理介绍 DWA 是一种基于动态窗口采样的局部路…...

编程日记 2025/7/31 18:31:32

《深挖Java中的对象生命周期与垃圾回收机制》

大家好呀！👋 今天我们要聊一个Java中超级重要的话题——对象的生命周期和垃圾回收机制。一、先来认识Java世界的"居民"——对象 👶 在Java世界里，一切皆对象。就像现实世界中的人一样，每个Java对象也有自…...

编程日记 2025/7/31 18:31:30

Java——包装类

目录 3.5 包装类 3.5 包装类有时需要把基本类型转换为对象。所有基本类型都有一个与之对应的类。这些类称为包装器/类。这些类是不可变类，即一旦构造了包装器/类，就不允许改变包装在其中的值。其次包装类还是final，不用可以被继承。为什么要…...

编程日记 2025/8/4 23:58:00

【谭浩强】第七章第14题

实验结果：当M1时输出的结果实验总结：用define定义要频繁使用的值可以节省时间；求完一门课平均成绩之后要让sum重新等于0；求最高分对应的学生和对应的课程要循环完一遍覆盖一遍r和c的值； 程序代码 #include <stdi…...

编程日记 2025/7/31 15:54:04

Linux 内核中的 security_sk_free：安全模块与 Socket 释放机制解析

引言在 Linux 内核中，网络通信和进程间交互（IPC）的核心数据结构之一是 struct sock（即 socket）。其生命周期管理涉及复杂的资源分配与释放逻辑。本文聚焦于 security_sk_free 这一函数，探讨其作用、调用场景以及与安全模块的交互机制，并解答一个常见疑问：在单机间 TC…...

编程日记 2025/8/1 1:13:30

学习笔记：黑马程序员JavaWeb开发教程(2025.4.1)

11.10 案例-配置文件-yml配置文件 Yml语法： 数据格式： 11.11 案例-配置文件-ConfigurationProperties 配置项自动注入，需要保持KEY的属性名一样，需要在文件中加上Data注解，要将这个类交给IOC容器管理，使其成…...

编程日记 2025/8/5 0:00:02

深度学习-161-Dify工具之对比使用工作流和聊天流生成图表可视化的html文件

文章目录 1 任务背景2 使用chatflow聊天流2.1 开始节点2.2 文档提取器2.3 LLM2.4 参数提取器2.5 代码执行2.6 直接回复2.7 应用展示3 生成html文件可视化图表3.1 使用workflow工作流3.1.1 LLM3.1.2 效果展示3.2 使用chatflow聊天流3.2.1 LLM3.2.2 效果展示4 参考附录分别使用聊…...

编程日记 2025/7/31 15:53:59

关于VScode的调试

调试代码要有这么几个工具：源代码、带调试符号的程序、MAP表，调试器。在启动调试器之前，要首先编译带有符号表的程序，生成对应map。然后启动调试器。不同的语言有不同的特性，比如解释型语言不需要编译成可执行程序…...

编程日记 2025/7/31 15:53:57

(x ^ 2 + 2y − 1) ^ 3 − x ^ 2 * y ^ 3 = 1

二元高次方程 EquationSolver20250509.java package math;import org.apache.commons.math3.analysis.MultivariateFunction; import org.apache.commons.math3.optim.InitialGuess; import org.apache.commons.math3.optim.MaxEval; import org.apache.commons.math3.optim.P…...

编程日记 2025/7/31 15:53:55

前言