当前位置： 首页 > news >正文

数据分析与机器学习全解析

news 来源：原创 2025/9/23 8:01:58

一、数据分析基础要点

（一）数据收集

  1. 确定数据源：明确是内部数据库、外部公开数据、传感器采集还是用户调研等来源，不同来源数据质量与获取难度各异。例如内部销售数据可直接获取，而市场调研数据需设计问卷并投入人力收集。
  2. 数据采集频率：依据分析目的设定，高频采集可捕捉实时变化但成本高，低频采集可能错过关键信息，如股票交易数据需高频采集，年度财务数据则一年一次即可。
  3. 数据完整性检查：在收集时确保关键数据无缺失，例如收集用户信息时姓名、联系方式等不能缺失，否则影响后续分析与联系。

（二）数据清理

  1. 处理缺失值：可采用删除含缺失值的记录、填充均值或中位数、利用算法预测填充等方法，如分析员工绩效时，若少量绩效数据缺失，可根据岗位平均绩效填充。
  2. 消除重复数据：通过数据查重算法找出并删除完全相同的重复记录，避免重复数据对分析结果产生偏差，像订单数据中可能因系统故障产生重复订单记录。
  3. 纠正错误数据：依据数据的逻辑关系和业务规则，识别并修正明显错误，例如年龄数据出现负数或过大的值，可根据其他信息修正或删除。

（三）数据转换

  1. 数据标准化：将数据按比例缩放，使不同特征具有相同的尺度，如将身高、体重等数据标准化到特定区间，方便不同特征间比较与模型计算。
  2. 数据离散化：把连续数据划分成区间，转换为分类数据，例如将年龄数据划分为儿童、青年、中年、老年等区间，适用于某些基于类别分析的场景。
  3. 编码分类数据：将文本类的分类数据转换为数值型，如用 0、1 编码性别，可用于机器学习算法的输入，但要注意编码方式不能引入错误信息。

（四）数据探索

  1. 描述性统计分析：计算均值、中位数、标准差、众数等统计量，了解数据的集中趋势、离散程度和分布形态，如分析学生成绩分布，通过均值和标准差了解整体水平和差异程度。
  2. 数据可视化：绘制柱状图、折线图、散点图等图形，直观展示数据特征和关系，如用散点图展示身高与体重的关系，观察两者是否存在某种关联趋势。
  3. 相关性分析：计算变量间的相关系数，确定数据之间的线性关系强弱，例如分析广告投入与销售额之间的相关性，判断广告效果。

（五）数据存储

  1. 选择存储格式：根据数据特点和使用需求选择合适的格式，如结构化数据常用 CSV、关系型数据库，非结构化数据可采用 JSON、NoSQL 数据库等，像日志数据适合用 JSON 格式存储以便于灵活处理。
  2. 数据库选型：考虑数据量、读写速度、事务处理等因素选择数据库系统，如大规模数据可选用分布式数据库，频繁读写的业务数据适合使用内存数据库优化性能。
  3. 数据备份与恢复：制定定期备份策略，确保数据在硬件故障、误操作等情况下可恢复，备份频率根据数据更新频率和重要性确定，同时测试恢复流程的有效性。

二、机器学习基础要点

（一）机器学习类型

  1. 监督学习：
    • 分类任务：将数据划分到不同类别，如垃圾邮件分类，通过已标记的正常邮件与垃圾邮件训练模型，对新邮件进行分类判断。
    • 回归任务：预测连续数值，例如根据房屋面积、房龄等特征预测房价，模型学习特征与房价之间的关系并进行预测。
  2. 无监督学习：
    • 聚类分析：将数据点划分成不同簇，如对客户群体进行聚类，依据消费行为、年龄等特征将客户分为不同群体，以便针对性营销。
    • 降维处理：减少数据特征数量，如主成分分析（PCA）可将高维图像数据降维，在保留主要信息的同时降低数据处理复杂度。
  3. 半监督学习：利用少量标记数据和大量未标记数据训练模型，在数据标记成本高的场景适用，如医学图像分析，部分图像有专家标注，结合大量未标注图像提升模型性能。

（二）模型训练

  1. 数据划分：将数据集分为训练集、验证集和测试集，训练集用于模型训练，验证集用于调整模型超参数，测试集评估模型性能，一般按 60%、20%、20% 或 70%、15%、15% 等比例划分。
  2. 损失函数选择：根据任务类型选择合适的损失函数，如分类任务常用交叉熵损失函数，回归任务常用均方误差损失函数，损失函数衡量模型预测与真实值的差异程度，用于指导模型训练优化。
  3. 优化算法：采用梯度下降、随机梯度下降、Adagrad 等算法更新模型参数，通过不断迭代使损失函数值最小化，如梯度下降算法根据损失函数的梯度方向调整参数，逐步逼近最优解。

（三）特征工程

  1. 特征选择：从众多原始特征中挑选出对模型有重要影响的特征，可采用相关性分析、信息增益等方法，如在预测疾病时，从大量体检指标中选择与疾病关联性强的指标作为特征。
  2. 特征提取：将原始特征转换为更有意义的特征表示，如对图像数据提取边缘、纹理等特征，对文本数据进行词向量表示，可提高模型对数据的理解与处理能力。
  3. 特征组合：将多个特征组合成新特征，可能挖掘出特征间的交互信息，如将年龄与收入组合，形成反映消费能力的新特征，为模型提供更多信息。

（四）模型评估

  1. 准确率与召回率：在分类任务中，准确率表示预测正确的样本比例，召回率表示实际正样本中被正确预测的比例，两者需综合考虑，如在疾病筛查中，高准确率可减少误判，高召回率可降低漏诊。
  2. F1 值：综合准确率与召回率的评价指标，平衡两者关系，适用于类别不平衡的数据集，当正负样本比例差异大时，F1 值能更全面地评估模型性能。
  3. 均方误差（MSE）与均方根误差（RMSE）：在回归任务中，MSE 衡量预测值与真实值的平均平方误差，RMSE 是 MSE 的平方根，反映预测值与真实值的偏差程度，如预测气温时，RMSE 可直观表示预测温度与实际温度的平均误差。

（五）模型调优

  1. 超参数调整：对模型的超参数如学习率、正则化系数、决策树深度等进行调整，可采用网格搜索、随机搜索等方法，如通过网格搜索不同学习率和正则化系数组合，找到最优模型性能对应的超参数值。
  2. 集成学习：将多个模型组合，如 Bagging、Boosting 等方法，通过融合多个模型的预测结果提高整体性能，如随机森林是 Bagging 的一种，通过多棵决策树的投票或平均提高预测准确性。
  3. 模型压缩：对复杂模型进行压缩，减少模型参数数量或计算量，如采用剪枝技术去除决策树中的冗余分支，或使用量化方法将模型参数用低精度数据表示，适用于资源受限的应用场景。

三、数据分析与机器学习协同要点

（一）数据驱动决策

  1. 问题定义：数据分析确定业务问题和目标，如企业想提高销售额，数据分析找出可能影响销售的因素，为机器学习模型提供问题背景和方向。
  2. 数据洞察辅助模型设计：通过数据分析挖掘数据中的潜在模式和关系，为机器学习模型选择合适的算法和特征提供依据，例如发现销售数据与季节、促销活动有关，可设计包含这些特征的销售预测模型。
  3. 决策依据提供：机器学习模型预测结果结合数据分析的解释，为决策提供全面支持，如模型预测产品销量增长，数据分析可进一步说明是哪些地区、哪些客户群体带动增长，以便制定精准营销策略。

（二）模型解释性

  1. 特征重要性分析：在机器学习模型中，通过数据分析方法如 permutation importance 等评估特征对模型预测的重要性，让业务人员理解模型决策依据，如在信用评估模型中，确定收入、信用历史等特征的重要程度。
  2. 局部解释：采用 LIME（Local Interpretable Model-agnostic Explanations）等技术，对单个样本的预测结果进行解释，说明模型为何做出特定预测，例如解释为何某客户被判定为高风险信用客户，基于哪些特征因素。
  3. 可视化解释：将模型预测结果和相关数据以可视化方式呈现，如绘制决策树模型的决策边界图，或展示神经网络模型的中间层输出可视化，辅助非技术人员理解模型行为。

（三）数据反馈循环

  1. 模型输出反馈：机器学习模型的预测结果作为新的数据反馈到数据分析流程中，如推荐系统的推荐结果数据，分析用户对推荐的反馈行为，进一步优化模型和推荐策略。
  2. 数据更新与模型重训练：随着新数据的产生和业务变化，定期更新数据集并重新训练模型，保持模型的适应性和准确性，如电商平台商品数据不断更新，定期重训练商品推荐模型以适应新的销售趋势。
  3. 误差分析反馈：对模型预测误差进行分析，找出误差产生的原因，反馈到数据收集和模型改进环节，如预测股票价格误差大，分析是数据噪声还是模型结构问题，针对性改进。

（四）性能监控与优化

  1. 关键指标监控：在数据分析平台监控机器学习模型的性能指标，如准确率、召回率、RMSE 等，及时发现性能下降情况，例如监控电商商品销量预测模型的 RMSE，若指标突然上升则需关注。
  2. 数据质量监控：同时监控数据质量指标，如数据完整性、准确性、一致性等，因为数据质量下降会导致模型性能恶化，如发现数据缺失值比例增加，及时处理数据问题。
  3. 优化策略调整：根据监控结果，调整数据分析流程和机器学习模型的优化策略，如增加数据清洗步骤、调整模型超参数或更换算法等，持续提升整体性能。

（五）跨团队协作

  1. 数据团队与算法团队沟通：数据团队负责数据收集、清理和存储，与算法团队沟通数据特点和需求，算法团队根据数据情况设计和训练模型，如数据团队告知算法团队数据的分布特征，算法团队据此选择合适的模型初始化参数。
  2. 业务团队与技术团队协作：业务团队提出业务问题和目标，技术团队（数据与算法团队）提供解决方案并将结果反馈给业务团队，业务团队根据结果提出进一步需求和改进建议，如业务团队提出提高客户留存率需求，技术团队构建模型并提供策略，业务团队评估效果并反馈。
  3. 知识共享与培训：组织跨团队培训和知识共享活动，数据团队学习机器学习算法知识，算法团队了解数据业务背景和数据处理流程，提高团队整体协作效率，如开展数据挖掘与机器学习应用案例分享会。

四、数据分析与机器学习应用场景要点

（一）商业智能与营销

  1. 销售预测：分析历史销售数据、市场趋势、促销活动等因素，构建机器学习模型预测未来销售情况，企业据此安排生产、采购和人员调配，如服装企业根据季节、流行趋势和过往销售预测下一季各款式服装销量。
  2. 客户细分与定位：通过数据分析客户的行为、偏好、消费能力等数据，利用聚类等无监督学习方法将客户分为不同群体，针对不同群体制定个性化营销策略，如高端客户群体提供定制化服务，普通客户群体推送优惠活动。
  3. 营销效果评估：分析营销活动前后的数据，如广告投放前后的流量、转化率、销售额等变化，评估营销活动的有效性，机器学习模型可预测不同营销方案的效果，辅助选择最优方案。

（二）金融风险评估

  1. 信用评分：依据个人的信用历史、收入、负债等数据，通过机器学习模型计算信用评分，金融机构据此决定是否发放贷款及贷款额度、利率等，如银行利用逻辑回归模型评估信用卡申请者的信用风险。
  2. 欺诈检测：分析交易数据中的异常模式，如大额异常交易、异地频繁交易等，机器学习模型识别可能的欺诈行为，及时预警并采取防范措施，像信用卡盗刷检测系统可有效降低金融机构损失。
  3. 投资风险预测：分析宏观经济数据、行业数据、企业财务数据等，构建模型预测投资标的的风险水平，投资者根据预测结果优化投资组合，如基金公司利用机器学习评估股票投资的风险收益比。

（三）医疗健康领域

  1. 疾病诊断辅助：分析患者的症状、检查检验结果、病史等数据，机器学习模型辅助医生进行疾病诊断，如医学影像分析中利用深度学习模型识别肿瘤、病变等，提高诊断准确性和效率。
  2. 疾病预测与预防：通过分析大量人群的健康数据、生活习惯、基因数据等，预测疾病发生的概率，如预测糖尿病、心血管疾病等慢性疾病风险，提前进行干预和预防措施。
  3. 医疗资源管理：分析医院的患者流量、床位使用情况、医疗物资库存等数据，优化医疗资源配置，如预测医院不同科室的患者入院量，合理安排医护人员和床位资源。

（四）工业制造优化

  1. 质量控制：分析生产过程中的产品质量检测数据、生产工艺参数等，机器学习模型识别影响产品质量的关键因素并进行质量预测，如汽车制造中预测零部件的质量缺陷，提前调整生产工艺。
  2. 设备故障预测：采集设备运行数据，如温度、振动、电流等传感器数据，通过机器学习模型预测设备故障，提前安排维护保养，减少设备停机时间，如预测工厂大型机械设备的故障时间，合理安排维修计划。
  3. 生产流程优化：分析生产流程中的各个环节数据，如生产周期、物料流转时间、产能利用率等，利用机器学习优化生产流程，提高生产效率和降低成本，如优化生产线的布局和工序安排。

（五）交通与物流管理

  1. 交通流量预测：分析道路传感器数据、历史交通流量数据、天气等因素，预测不同路段不同时段的交通流量，交通管理部门据此进行交通疏导和信号灯控制，如城市智能交通系统预测早晚高峰交通拥堵情况。
  2. 物流路径规划：根据货物运输需求、交通状况、仓库位置等数据，机器学习模型规划最优物流运输路径，降低运输成本和时间，如快递企业利用算法优化包裹配送路线。
  3. 供应链需求预测：分析市场需求、销售数据、库存数据等，预测供应链各环节的产品需求，优化采购、生产和库存管理，如零售商根据销售数据和季节因素预测商品补货需求。

五、数据分析与机器学习的未来趋势要点

（一）技术创新

  1. 深度学习架构演进：新的神经网络架构不断涌现，如 Transformer 架构在自然语言处理领域取得巨大成功，未来可能在其他领域如计算机视觉、语音识别等有更多创新应用，不断提升模型性能和处理复杂任务的能力。
  2. 强化学习拓展：强化学习在更多领域如机器人控制、智能电网、金融交易等得到应用，通过与环境不断交互学习最优策略，未来有望在复杂动态环境下实现更高效的决策和控制，如智能机器人在复杂场景下的自主导航与任务执行。
  3. 量子计算与机器学习融合：量子计算的发展有望为机器学习带来计算能力的巨大飞跃，在处理大规模数据和复杂模型训练方面可能产生突破，如加速某些复杂优化算法的计算，开启新的研究和应用方向。

（二）数据隐私与安全

  1. 隐私保护技术发展：差分隐私、联邦学习等技术不断完善，在不泄露原始数据隐私的情况下进行数据分析和模型训练，未来将在更多行业如医疗、金融等得到广泛应用，满足数据合规要求和用户隐私保护需求。
  2. 数据安全防护强化：随着数据价值提升，针对数据的攻击手段也在增加，未来需要更强大的数据安全防护体系，包括数据加密、访问控制、数据溯源等技术的创新与融合，确保数据在整个生命周期的安全性。
  3. 隐私法规推动创新：全球各地隐私法规如欧盟 GDPR 的严格执行，促使企业和研究机构探索更多符合法规的数据分析与机器学习方法，推动隐私友好型技术的研发和应用，如开发匿名化数据处理工具。

（三）自动化与智能化

  1. 自动机器学习（AutoML）普及：AutoML 工具可自动完成数据预处理、模型选择、超参数调整等任务，降低机器学习应用门槛，未来将被更多非专业人员使用，加速机器学习在各行业的普及，如中小企业可利用 AutoML 快速构建预测模型。
  2. 智能数据分析助手：开发具有智能交互能力的数据分析助手，可理解用户自然语言查询，自动生成数据分析报告和可视化结果，提高数据分析效率，如数据分析师通过语音指令获取数据洞察和可视化展示。
  3. 模型自适应与自我优化：机器学习模型能够根据数据变化和运行环境自动调整结构和参数，实现自我优化，提高模型在动态环境中的适应性，如模型在新数据流入时自动调整特征权重或增加新的特征处理机制。

（四）跨领域融合

  1. 与物联网融合：数据分析与机器学习应用于物联网设备产生的海量数据，实现设备智能化管理、预测性维护和智能控制，如智能家居系统通过分析设备数据优化能源使用、提升居住体验，工业物联网实现工厂智能化升级。
  2. 与生物科学结合：在基因测序、药物研发等生物科学领域，数据分析与机器学习助力数据挖掘、疾病机制研究和药物疗效预测，如利用机器学习分析基因数据与疾病的关联，加速新药研发进程。
  3. 与社会科学交叉：在社会学、经济学、心理学等领域，通过分析大规模社会数据，机器学习模型辅助研究社会现象、经济趋势和人类行为模式，如预测社会舆论走向、分析消费者心理对市场的影响。

相关文章：

数据分析与机器学习全解析

一、数据分析基础要点 （一）数据收集 确定数据源：明确是内部数据库、外部公开数据、传感器采集还是用户调研等来源，不同来源数据质量与获取难度各异。例如内部销售数据可直接获取，而市场调研数据需设计问卷并投入人力收…...

编程日记 2025/9/23 8:01:58

Qt 一个简单的QChart 绘图

Qt 一个简单的QChart 绘图 先上程序运行结果图&#xff1a; “sample9_1QChart.h” 文件代码如下&#xff1a; #pragma once#include <QtWidgets/QMainWindow> #include "ui_sample9_1QChart.h"#include <QtCharts> //必须这么设置 QT_CHARTS_USE_NAME…...

编程日记 2025/9/23 8:00:41

力扣——322. 零钱兑换

给你一个整数数组 coins &#xff0c;表示不同面额的硬币&#xff1b;以及一个整数 amount &#xff0c;表示总金额。 计算并返回可以凑成总金额所需的 最少的硬币个数 。如果没有任何一种硬币组合能组成总金额&#xff0c;返回 -1 。 你可以认为每种硬币的数量是无限的。 示…...

编程日记 2025/9/22 20:21:05

Qt之网络监测

在Qt中&#xff0c;网络监测通常涉及到检测网络连接状态、网络延迟、带宽使用情况等。Qt提供了一些类和模块来帮助开发者实现这些功能。以下是一些常用的方法和类&#xff1a; 1. 检测网络连接状态 QtNetwork模块中的QNetworkConfigurationManager类可以用来检测设备的网络连…...

编程日记 2025/9/22 19:00:17

抓包软件fiddler和wireshark使用手册

fiddler官方文档 Fiddler 抓包教程1 Fiddler 抓包教程2 wireshark抓包学习 2添加链接描述 ip 过滤 ip.src_host ip.dst_host ip.addr mac 过滤 eth.src eth.dst eth.addr 端口过滤 tcp.port tcp.srcport tcp.dstport 协议类型过滤 arp dhcp 规则组合 and or...

编程日记 2025/9/23 7:56:32

【从零开始入门unity游戏开发之——C#篇03】变量和常量

文章目录 一、变量1、什么是变量&#xff1f;2、申明变量的固定写法3、变量的类型值和引用类型的区别无符号和有符号位——表示变量所占用的内存空间的大小范围——表示变量的取值范围取值范围和存储单位的关系为什么byte的范围是 0 到 255&#xff1f;为什么 sbyte 的范围是 -…...

编程日记 2025/9/21 7:14:39

SpringBoot 手动实现动态切换数据源 DynamicSource （上）

大家好&#xff0c;我是此林。 在实际开发中&#xff0c;经常可能遇到在一个SpringBoot Web应用中需要访问多个数据源的情况。 下面来介绍一下多数据源的使用场景、底层原理和手动实现。 一、 多数据源经典使用场景 场景一&#xff1a;业务复杂&#xff0c;数据量过大 1. 业务…...

编程日记 2025/9/20 17:16:31

ERROR Error: command failed: yarnError: command failed: yarn

1、异常信息 2、解决 解决方法一&#xff1a; WinR进入命令行&#xff0c;重新安装npm(如果报镜像源问题建议镜像源也重新配置) 输入命令&#xff0c;重新安装npm/yarn #npm npm install#npm 配置镜像源 npm config set registry https://registry.npmmirror.com#npm 查看镜…...

编程日记 2025/9/19 20:19:15

【java】finalize方法

目录 1. 说明2. 调用过程3. 注意事项 1. 说明 1.finalize方法是Java中Object类的一个方法。2.finalize方法用于在对象被垃圾回收之前执行一些清理工作。3.当JVM&#xff08;Java虚拟机&#xff09;确定一个对象不再被引用、即将被回收时&#xff0c;会调用该对象的finalize方法…...

编程日记 2025/9/23 7:23:37

C++ 内存管理和模板与STL

此篇目是之后各种C库的基础 目录 内存管理 内存分布 内存管理方式 new和delete operator new 与 operator delete函数 实现原理 定位new表达式(placement-new) 模板基础 泛型编程 模板 函数模板 类模板 STL 组成部分 内存管理 内存分布 int globalVar 1; //全局变量 静…...

编程日记 2025/9/19 14:46:07

同一个局域网下的两台电脑实现定时或者实时拷贝数据

【亲测能用】 需求&#xff1a;从数据库服务器上将数据库备份文件*.bak&#xff0c;每天定时拷贝到局域网下另一台电脑上&#xff0c;实现异机备份。 本文中192.168.1.110是本机&#xff0c;192.168.1.130是异机&#xff08;备份机&#xff09;。需求是每天定时从192.168.1.1…...

编程日记 2025/9/20 19:21:09

Python毕业设计选题：基于django+vue的汽车租赁管理网站

开发语言&#xff1a;Python框架&#xff1a;djangoPython版本&#xff1a;python3.7.7数据库&#xff1a;mysql 5.7数据库工具&#xff1a;Navicat11开发软件&#xff1a;PyCharm 系统展示 用户管理 汽车品牌管理 汽车信息管理 汽车租赁管理 汽车商品信息管理 汽车租赁 购物…...

编程日记 2025/9/21 10:43:44

scrapy对接rabbitmq的时候使用post请求

之前做分布式爬虫的时候,都是从push url来拿到爬虫消费的链接,这里提出一个问题,假如这个请求是post请求的呢,我观察了scrapy-redis的源码,其中spider.py的代码是这样写的 1.scrapy-redis源码分析 def make_request_from_data(self, data):"""Returns a Reques…...

编程日记 2025/9/20 2:58:38

Netty 性能优化与调试指南

Netty 是一款高性能的网络通信框架&#xff0c;其高性能得益于良好的设计和优化。但是在实际使用中&#xff0c;如果配置或实现不当&#xff0c;可能会导致性能下降或调试困难。本文将从性能优化和调试两方面入手&#xff0c;详细讲解如何在使用 Netty 时提高应用性能和诊断问题…...

编程日记 2025/9/22 10:16:51

网络安全产品之认识WEB应用防火墙

随着B/S架构的广泛应用&#xff0c;Web应用的功能越来越丰富&#xff0c;蕴含着越来越有价值的信息&#xff0c;应用程序漏洞被恶意利用的可能性越来越大&#xff0c;因此成为了黑客主要的攻击目标。传统防火墙无法解析HTTP应用层的细节&#xff0c;对规则的过滤过于死板&#…...

编程日记 2025/9/20 7:49:55

R学习——因子

目录 1 定义因子&#xff08;factor函数&#xff09; 2因子的作用 一个数据集中的 只需要考虑可以用哪个数据来进行分类就可以了&#xff0c;可以用来分类就可以作为因子。 Cy1这个因子对应的水平level是4 6 8&#xff1a; 1 定义因子&#xff08;factor函数&#xff09; 要…...

编程日记 2025/9/22 16:05:34

2024 亚马逊云科技re:Invent：Werner Vogels架构哲学，大道至简 六大经验助力架构优化

在2024亚马逊云科技re:Invent全球大会第四天的主题演讲中&#xff0c;亚马逊副总裁兼CTO Dr.Werner Vogels分享了 The Way of Simplexity&#xff0c;繁简之道&#xff0c;浓缩了Werner在亚马逊20年构建架构的经验。 Werner表示&#xff0c;复杂性总是会“悄无声息”地渗透进来…...

编程日记 2025/9/19 8:15:12

【代码随想录day58】【C++复健】 117. 软件构建（拓扑排序）；47. 参加科学大会（dijkstra（朴素版）精讲）

117. 软件构建&#xff08;拓扑排序&#xff09; 继续边看解析边做题&#xff0c;思考时的问题做个如下的总结&#xff1a; 1. 存边用什么数据结构&#xff1f; 在题目中&#xff0c;我们需要存储节点之间的依赖关系&#xff08;边信息&#xff09;。选择适合的数据结构非常重…...

编程日记 2025/9/22 8:26:19

单目深度估计模型 lite-mono 测试

lite-mono 使用工业数据集kitti 进行训练&#xff0c;目的使用单目摄像头实现物体深度预测&#xff0c;关于kitti数据集的介绍和下载参考 &#xff08;二&#xff09;一文带你了解KITTI数据集-CSDN博客文章浏览阅读2.7w次&#xff0c;点赞64次&#xff0c;收藏294次。文章介绍…...

编程日记 2025/9/21 23:08:46

JAVA基础学习笔记_网络编程

文章目录 网络编程网络编程三要素IPIPv4细节InetAddress 端口号协议 UDPUDP协议(发数据)UDP协议(接受数据)UDP聊天室单播,组播,广播 TCP中文乱码问题代码细节,三次握手和四次挥手 网络编程 计算机之间通过网络进行数据传输 软件结构 C/S,Client/Server,客户端服务器,精美但麻…...

编程日记 2025/9/22 7:36:22

说下JVM中一次完整的GC流程？

大家好&#xff0c;我是锋哥。今天分享关于【说下JVM中一次完整的GC流程&#xff1f;】面试题。希望对大家有帮助&#xff1b; 说下JVM中一次完整的GC流程&#xff1f; 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 在JVM中&#xff0c;垃圾回收&#xff08;GC&am…...

编程日记 2025/9/22 6:52:44

鸿蒙NEXT开发案例：保质期计算

【引言】 保质期计算应用是一个基于鸿蒙NEXT框架开发的数字和文本统计组件。用户可以输入商品的生产日期和保质期天数&#xff0c;应用会自动计算并展示相关信息&#xff0c;包括保质状态、剩余天数、生产日期和到期日期。 【环境准备】 • 操作系统&#xff1a;Windows 10 …...

编程日记 2025/9/18 16:52:37

LLM并发加速部署方案（llama.cpp、vllm、lightLLM、fastLLM）

大模型并发加速部署 解析当前应用较广的几种并发加速部署方案&#xff01; llama.cpp、vllm、lightllm、fastllm四种框架的对比&#xff1a; llama.cpp&#xff1a;基于C&#xff0c;①请求槽&#xff0c;②动态批处理&#xff0c;③CPU/GPU混合推理vllm&#xff1a;基于Pyth…...

编程日记 2025/9/20 22:43:14

用最小的代价解决mybatis-plus关于批量保存的性能问题

1.问题说明 问题背景说明&#xff0c;在使用达梦数据库时&#xff0c;mybatis-plus的serviceImpl.saveBatch()方法或者updateBatchById()方法的时候&#xff0c;随着数据量、属性字段的增加&#xff0c;效率越发明显的慢。 serviceImpl.saveBatch(); serviceImpl.updateBatch…...

编程日记 2025/9/21 19:18:21

蓝桥杯历届真题 --#递推 翻硬币(C++)

文章目录 思路完整代码结语 原题链接 思路 通过观察测试用例&#xff0c;我们猜测&#xff0c;从左到右依次对比每一个位置上的状态&#xff0c;如果不一样我们就翻一次&#xff0c;最终得到的答案即为正解。 完整代码 //这里是引入了一些常用的头文件,和一些常规操作 //第一…...

编程日记 2025/9/21 7:56:47

BurpSuite-8（FakeIP与爬虫审计）

声明&#xff1a;学习视频来自b站up主 泷羽sec&#xff0c;如涉及侵权马上删除文章 感谢泷羽sec 团队的教学 视频地址&#xff1a;IP伪造和爬虫审计_哔哩哔哩_bilibili 一、FakeIP 1.配置环境 BurpSuite是java环境下编写的&#xff0c;而今天的插件是python编写的&#xff0c…...

编程日记 2025/9/23 1:10:41

JAVA8、Steam、list运用合集

Steam运用 Java Stream API为开发人员提供了一种函数式和声明式的方式来表达复杂的数据转换和操作，使代码更加简洁和富有表现力。 1、使用原始流以获得更好的性能【示例：求和】 使用 int、long 和 double 等基本类型时，请使用IntStream、LongStream 和 DoubleStream 等基本流…...

编程日记 2025/9/19 13:12:21

深入详解人工智能机器学习：强化学习

目录 强化学习概述 强化学习的基本概念 定义 关键组件 强化学习过程 常用算法 应用示例 示例代码 代码解释 应用场景 强化学习核心概念和底层原理 核心概念 底层原理 总结 强化学习概述 强化学习&#xff08;Reinforcement Learning, RL&#xff09;是机器学习中的…...

编程日记 2025/9/20 16:40:02

docker的简单使用

文章目录 docker简介docker架构镜像和容器镜像有关的常用命令容器相关常用命令 docker简介 Docker是一个开源的应用容器引擎&#xff0c;基于Go语言并遵从Apache2.0协议开源。 Docker可以让开方子打包他们的应用以及依赖包到一个轻量级、可移植的容器中&#xff0c;然后发布到…...

编程日记 2025/9/21 21:08:24

启动的docker容器里默认运行dockerd

问题 已在Dockerfile里yum install docker 但docker run 启动容器后, docker ps等命令无法执行 ps -aux 没有dockerd 进程 临时解决 另开一个终端 docker exec -it 容器名 bash 手动启 dockerd 默认启动 分析 现在启动容器的默认命令是 /sbin/init sbin/init 是根文件系统…...

编程日记 2025/9/22 1:54:29

Python爬虫技术的最新发展

在互联网的海洋中&#xff0c;数据就像是一颗颗珍珠&#xff0c;而爬虫技术就是我们手中的潜水艇。2024年&#xff0c;爬虫技术有了哪些新花样&#xff1f;让我们一起潜入这个话题&#xff0c;看看最新的发展和趋势。 1. 异步爬虫&#xff1a;速度与激情 随着现代Web应用的复…...

编程日记 2025/9/21 22:51:49

什么是厄尔米特（Hermitian）矩阵？

厄米矩阵&#xff08;Hermitian Matrix&#xff09;定义 在数学和物理中&#xff0c;厄米矩阵是满足以下条件的复方阵&#xff1a; A A † \mathbf{A}\mathbf{A}^\dagger AA† 其中&#xff0c; A † \mathbf{A}^\dagger A†表示矩阵 A \mathbf{A} A的共轭转置&#xff0c;即…...

编程日记 2025/9/21 19:56:00

从零开始：Linux 环境下的 C/C++ 编译教程

个人主页&#xff1a;chian-ocean 文章专栏 前言&#xff1a; GCC&#xff08;GNU Compiler Collection&#xff09;是一个功能强大的编译器集合&#xff0c;支持多种语言&#xff0c;包括 C 和 C。其中 gcc 用于 C 语言编译&#xff0c;g 专用于 C 编译。 Linux GCC or G的安…...

编程日记 2025/9/22 7:25:21

Excel + Notepad + CMD 命令行批量修改文件名

注意&#xff1a;该方式为直接修改原文件的文件名&#xff0c;不会生成新文件 新建Excel文件 A列&#xff1a;固定为 renB列&#xff1a;原文件名称C列&#xff1a;修改后保存的名称B列、C列&#xff0c;需要带文件后缀&#xff0c;为txt文件就是.txt结尾&#xff0c;为png图片…...

编程日记 2025/9/20 2:05:32

1.1 android：监听并处理返回事件

在Android开发过程中&#xff0c;默认执行返回事件是结束当前界面&#xff0c;返回上一个界面&#xff0c;没有任何提示&#xff0c;但用户可能会误操作&#xff0c;这时出现一个提示界面对用户较为友好&#xff0c;接下来&#xff0c;让我们探究返回事件的处理。 一、onBackP…...

编程日记 2025/9/20 13:04:29

解决Ubuntu关机主板不断电的问题（其它使用GRUB的Linux发行版大概率也可用）

前言&#xff1a; 在某些主板上&#xff0c;Ubuntu20.04系统关机并不会连带主板一起断电。 猜测可能是主板太老了。无法识别较新的系统的关机信号&#xff0c;导致无法断电。连带着一些电脑周边设备也不会断电导致状态无法重置&#xff0c;后续会出现一些问题。 目标&#xf…...

编程日记 2025/9/22 7:20:32

【CTF-Web】文件上传漏洞学习笔记（ctfshow题目）

文件上传 文章目录 文件上传 What is Upload-File&#xff1f;Upload-File In CTF Web151 考点&#xff1a;前端校验解题&#xff1a; Web152 考点&#xff1a;后端校验要严密解题&#xff1a; Web153 考点&#xff1a;后端校验 配置文件介绍解题&#xff1a; Web154 考点&am…...

编程日记 2025/9/18 11:06:13

无法正常启动此程序，因为计算机丢失wlanapi.dll

wlanapi.dll丢失怎么办&#xff1f;有没有什么靠谱的修复wlanapi.dll方法_无法启动此程序,因为计算机中丢失wlanapi.dll-CSDN博客 wlanapi.dll是 Windows 操作系统中的一个动态链接库文件&#xff0c;主要与 Windows 无线 LAN (WLAN) API 相关。该DLL提供了许多必要的函数&…...

编程日记 2025/9/21 8:58:15

C++ webrtc开发（非原生开发，linux上使用libdatachannel库）

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、libdatachannel库的下载和build二、开始使用 1.2.引入库3.开始使用 总结 前言 使用c开发webrtc在互联网上留下的资料甚少&#xff0c;经过我一段时间的探…...

编程日记 2025/9/21 16:22:24

vue-router路由传参的两种方式（params 和 query ）

一、vue-router路由传参问题 1、概念&#xff1a; A、vue 路由传参的使用场景一般应用在父路由跳转到子路由时&#xff0c;携带参数跳转。 B、传参方式可划分为 params 传参和 query 传参&#xff1b; C、而 params 传参又可分为在 url 中显示参数和不显示参数两种方式&#x…...

编程日记 2025/9/21 7:15:33

VBA高级应用30例应用在Excel中的ListObject对象：向表中添加注释

《VBA高级应用30例》&#xff08;版权10178985&#xff09;&#xff0c;是我推出的第十套教程&#xff0c;教程是专门针对高级学员在学习VBA过程中提高路途上的案例展开&#xff0c;这套教程案例与理论结合&#xff0c;紧贴“实战”&#xff0c;并做“战术总结”&#xff0c;以…...

编程日记 2025/9/22 22:09:13

github操作学习笔记（杂乱版）

git开源的分布式版本控制系统&#xff1a; 每次修改文件提交后&#xff0c;都会自动创建一个项目版本 查看git版本看有没有安装成功&#xff1a;git --version 把默认编辑器设置成vim&#xff1a;git config --global core.editor "vim" 1、设置昵称和邮箱&#xff…...

编程日记 2025/9/20 23:33:11

TaskBuilder SQL执行工具

为了方便开发者连接当前任擎服务器上配置的各个数据源对应的数据库进行相关操作&#xff0c;TaskBuilder提供了一个SQL执行工具&#xff0c;点击系统侧边栏里的执行SQL图标 &#xff0c;即可打开该工具&#xff0c;界面如下图所示&#xff1a; 该工具从上至下分为三个区域&a…...

编程日记 2025/9/20 10:55:51

快速掌握Quartz.Net计划任务调度框架，轻松实现定时任务

前言 Quartz.Net是一个开源的作业调度框架&#xff0c;可以用于管理计划任务和定期执行。Quartz.Net提供了丰富的作业计划选项&#xff0c;例如精确或模糊时间表达式、日期和时间限制等。Quartz.Net采用分布式架构&#xff0c;允许在多个计算机上运行任务。 Quartz.Net架构设…...

编程日记 2025/9/23 2:46:09

Linux ufw命令丨Linux网络防火墙ufw命令详解

ufw&#xff08;Uncomplicated Firewall&#xff09;是Ubuntu系统上默认的防火墙组件&#xff0c;它为轻量化配置iptables而开发&#xff0c;提供了一个非常友好的界面用于创建基于IPv4和IPv6的防火墙规则 ufw在Ubuntu 8.04 LTS后的所有发行版中默认可用&#xff0c;它通过命令…...

编程日记 2025/9/20 14:24:07

shell编程（完结）

shell编程&#xff08;完结&#xff09; 声明&#xff01; 学习视频来自B站up主 ​泷羽sec​​ 有兴趣的师傅可以关注一下&#xff0c;如涉及侵权马上删除文章 笔记只是方便各位师傅的学习和探讨&#xff0c;文章所提到的网站以及内容&#xff0c;只做学习交流&#xff0c;其…...

编程日记 2025/9/20 19:20:48

深入了解Text2SQL开源项目（Chat2DB、SQL Chat 、Wren AI 、Vanna）

深入了解Text2SQL开源项目&#xff08;Chat2DB、SQL Chat 、Wren AI 、Vanna&#xff09; 前言1.Chat2DB2.SQL Chat3.Wren AI4.Vanna 前言 在数据驱动决策的时代&#xff0c;将自然语言查询转化为结构化查询语言&#xff08;SQL&#xff09;的能力变得日益重要。无论是小型创业…...

编程日记 2025/9/20 5:14:11

【Linux】报错：cannot create directory ‘test’: Read-only file system

1 报错 ❤️在使用mkdir test命令创建文件夹的时候，报错如下： mkdir:cannot create directory ‘test’:Read-only file system 2 解决方法 mount -o remount,rw / 🦋上述命令在Linux系统中用于重新挂载(root)文件系统，并将其从只读模式切换到读写模式。 ■ 下面是对…...

编程日记 2025/9/21 19:43:48

python mat是什么文件

.mat就是matlab的文件格式&#xff0c;一般用于matlab和python间的数据传输&#xff0c;python中numpy和scipy提供了一些函数&#xff0c;可以很好的对.mat文件的数据进行读写和处理。 在python中可以使用scipy.io中的函数loadmat()读取mat文件&#xff0c;函数savemat保存文…...

编程日记 2025/9/21 13:48:21

Redis: 一个高效的内存数据存储解决方案

Redis: 一个高效的内存数据存储解决方案 介绍 Redis&#xff08;Remote Dictionary Server&#xff09;是一种开源的高性能键值存储系统。它常被用作缓存、消息队列、会话存储、实时数据分析等多种场景。与传统的关系型数据库不同&#xff0c;Redis 是基于内存的数据存储&…...

编程日记 2025/9/21 8:14:16