当前位置：首页 > news >正文

大数据面试题--企业面试真题

news 来源：原创 2025/6/18 7:52:58

大数据面试题--企业面试真题

PlanHub

点击访问获取：

大数据面试体系专栏_酷兜科技www.kudoumh.top/hlwai/85.html

点击访问获取：

大数据面试体系专栏_酷兜科技www.kudoumh.top/hlwai/85.html

大数据面试题汇总

HDFS

1、 HDFS 读写流程。

2、HDFS 在读取文件的时候，出现Block块突然损坏了怎么办

3、HDFS 在上传文件的时候，如果其中一个 DataNode 突然挂掉了怎么办

4、NameNode 在启动的时候会做哪些操作

5、Secondary NameNode 的工作机制。

6、Secondary NameNode 不能恢复 NameNode 的全部数据，那如何保证NameNode 数据存储安全？

7、HA高可用模式下的共享存储实现方案有哪些？

8、在 NameNode HA 中，会出现脑裂问题吗？怎么解决脑裂问题？

9、小文件过多会有什么危害，如何避免？

10、请描述 HDFS 的组织架构？

MapReduce

1、请说下 MR 中 Map Task 的工作机制

2、请说下 MR 中 Reduce Task 的工作机制

3、请说下 MR 中 Shuﬄe 阶段

4、 Shuﬄe 阶段的数据压缩机制了解吗

5、在写 MR 时，什么情况下可以使用规约（combiner）？

YARN

1、YARN 的任务提交流程是怎样的

2、 YARN 的资源调度三种模型了解吗

3、 YARN 集群的架构和工作原理知道多少

HIVE

1、Hive 内部表和外部表的区别

2、 Hive 有索引吗

3、运维如何对Hive 进行调度

4、ORC、Parquet 等列式存储的优点

5、数据建模用的哪些模型？

6、为什么要对数据仓库分层？

7、使用过 Hive 解析JSON 串吗

8、sort by 和 order by 的区别

9、数据倾斜怎么解决

10、Hive 小文件过多怎么解决

11、Hive 优化有哪些

Spark

1、Spark 的运行流程？

2、Spark 有哪些组件？

3、Spark 中的 RDD 机制理解吗？

4、RDD 中 reduceBykey 与 groupByKey 哪个性能好，为什么？

5、介绍一下 cogroup rdd 实现原理，你在什么场景下用过这个 rdd？

6、如何区分 RDD 的宽窄依赖？

7、为什么要设计宽窄依赖？

8、DAG 是什么？

9、 DAG 中为什么要划分 Stage？

10、如何划分 DAG 的 stage？

11、DAG 划分为 Stage 的算法了解吗？

12、对于 Spark 中的数据倾斜问题你有什么好的方案？

13、Spark 中的 OOM 问题？

14、 Spark 中数据的位置是被谁管理的？

15、Spae

个数？

16、介绍

对于缩小

17、Spar

18、Spar

19、Spar

20、通常来说，Spark 与 MapReduce 相比，Spark 运行效率更高。请说明效率更高来源于 Spark 内

置的哪些机制？

21、Hadoop 和 Spark 的相同点和不同点？

22、Hadoop 和 Spark 使用场景？

23、Spark 如何保证宕机迅速恢复?

24、 RDD 持久化原理？

25、Checkpoint 检查点机制？

26、Checkpoint 和持久化机制的区别？

27、Spark Streaming 以及基本工作原理？

28、DStream 以及基本工作原理？

29、Spark Streaming 整合 Kafka 的两种模式？

30、Spark 主备切换机制原理知道吗？

31、Spark 解决了 Hadoop 的哪些问题？

32、数据倾斜的产生和解决办法？

33、你在使用 Spark Sql 处理的时候，处理过程中用的 DataFrame 还是直接写的 Sql？为什么？

34、 Spark Master HA 主从切换过程不会影响到集群已有作业的运行，为什么？

35、Spark Master 使用 Zookeeper 进行 HA，有哪些元数据保存到Zookeeper 里面？

36、如何实现 Spark Streaming 读取Flume 中的数据？

37、在实际开发的时候是如何保证数据不丢失的？

38、RDD 有哪些缺陷？

Kafka

1、为什么要使用 kafka？

2、Kafka 消费过的消息如何再消费？

3、kafka 的数据是放在磁盘上还是内存上，为什么速度会快？

4、Kafka 数据怎么保障不丢失？

5、采集数据为什么选择kafka？

6、kafka 重启是否会导致数据丢失？

7、kafka 宕机了如何解决？

8、为什么 Kafka 不支持读写分离？

9、kafka 数据分区和消费者的关系？

10、kafka 的数据 oﬀset 读取流程

11、kafka 内部如何保证顺序，结合外部组件如何保证消费者的顺序？

12、Kafka 消息数据积压，Kafka 消费能力不足怎么处理？

13、Kafka 单条日志传输大小

HBase

1、Hbase 是怎么写数据的？

2、HDFS 和HBase 各自使用场景

3、Hbase 的存储结构

4、热点现象（数据倾斜）怎么产生的，以及解决方法有哪些

5、HBase 的 rowkey 设计原则

6、HBase 的列簇设计

7、HBase 中 compact 用途是什么，什么时候触发，分为哪两种，有什么区别

Flink

1、简单介绍一下Flink

2、Flink 的运行必须依赖 Hadoop 组件吗？

3、Flink 集群运行时角色

4、Flink 相比 Spark Streaming 有什么区别

5、介绍下 Flink 的容错机制（checkpoint）

6、Flink checkpoint 与 Spark Streaming 的有什么区别或优势吗？

7、Flink 是如何保证 Exactly-once 语义的？

8、如果下级存储不支持事务，Flink 怎么保证exactly-once

9、Flink

10、Flink

11、Flink

12、如何

13、Flink

14、Ope

15、Flink

16、如何处理生产环境中的数据倾斜问题

17、Flink 中的 Time 有哪几种

18、Flink 对于迟到数据是怎么处理的

19、Flink 中 window 出现数据倾斜怎么解决

20、Flink CEP 编程中当状态没有到达的时候会将数据保存在哪里

21、Flink 设置并行度的方式

22、Flink 中 Task 如何做到数据交换

23、Flink 的内存管理是如何做的

24、介绍下 Flink 的序列化

25、Flink 海量数据高效去重

26、Flink SQL 的是如何实现的

业务方面

1、ODS 层采用什么压缩方式和存储格式？

2、DWD 层做了哪些事？

3、DWS 层做了哪些事？

4、在处理大数据过程中，如何保证得到期望值

5、你感觉数仓建设中最重要的是什么

6、数据质量怎么监控

7、数据分析方法论了解过哪些？

算法

1、排序算法相关概念

2、快速排序

3、归并排序

4、查找算法包含哪些？

5、二分查找

6、二叉树实现及遍历

大数据面试题汇总

HDFS

1、 HDFS 读写流程。

HDFS 写流程：

1. Client 客户端发送上传请求，通过RPC与NameNode建立通信，NameNode 检查该用户是否有上

传权限，以及上传的文件是否在 HDFS 对应的目录下重名，如果这两者有任意一个不满足，则直

接报错，如果两者都满足，则返回给客户端一个可以上传的信息；

2. Client 根据文件的大小进行切分，默认 128M 一块，切分完成之后给NameNode 发送请求第一个

block 块上传到哪些服务器上；

3. NameNode 收到请求之后，默认会进行三副本备份，根据网络拓扑和机架感知以及副本机制进行

文件分配，返回可用的 DataNode 的地址。

4. 客户端收到地址之后与服务器地址列表中的一个节点如 A 进行通信，本质上就是 RPC 调用，建立

pipeline，A 收到请求后会继续调用 B，B 在调用C，将整个 pipeline 建立完成，逐级返回

Client；

点击访问获取：

大数据面试体系专栏_酷兜科技www.kudoumh.top/hlwai/85.html

大数据面试题--企业面试真题

大数据面试题--企业面试真题 PlanHub 点击访问获取： 大数据面试体系专栏_酷兜科技www.kudoumh.top/hlwai/85.html 点击访问获取： 大数据面试体系专栏_酷兜科技www.kudoumh.top/hlwai/85.html 大数据面试题汇总 HDFS 1、 HDFS 读写流程。 2、HDF…...

编程日记 2025/6/4 17:26:20

1. 查找的基本概念 2. 静态查找 2.1 顺序查找 typedef int KeyType; typedef int InfoType; typedef struct {KeyType key;InfoType otherdata; }SeqList; // 顺序表类型 // 顺序查找int SeqSearch(SeqList R[], int n, int k) {int i n;R[0].key k; // R[0].key为查找不成…...

编程日记 2025/6/3 20:44:29

RabbitMQ消息队列的笔记

Rabbit与Java相结合引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-amqp</artifactId> </dependency> 在配置文件中编写关于rabbitmq的配置 rabbitmq:host: 192.168.190.132 /…...

编程日记 2025/6/3 16:40:03

linux不同发行版中的主要差异

一、初始化系统 Linux不同发行版中的系统初始化系统（如 System V init、Upstart 或 systemd） System V init： 历史：System V init 是最传统的 Linux 系统初始化系统，起源于 Unix System V 操作系统。运行级别&#xff…...

编程日记 2025/6/4 1:30:26

Elasticsearch+Kibana分布式存储引擎

1.ElaticSearch介绍 ElaticSearch ，简称为 ES ， ES 是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。 ES 也使用 …...

编程日记 2025/5/30 17:18:14

spark 分布式原理

Apache Spark 是一个快速且通用的大数据处理引擎，它支持分布式计算。Spark 的设计旨在通过高效的内存内计算和对多种数据源的支持来简化大规模数据集的处理。以下是关于 Spark 分布式原理的详细介绍： 1. 架构概述 Driver Program（驱动程序&…...

编程日记 2025/6/4 10:03:01

Hadoop学习笔记（包括hadoop3.4.0集群安装）（黑马）

Hadoop学习笔记 0-前置章节-环境准备 0.1 环境介绍配置环境：hadoop-3.4.0，jdk-8u171-linux-x64 0.2 VMware准备Linux虚拟机 0.2.1主机名、IP、SSH免密登录 1.配置固定IP地址（root权限） 开启master，修改主机名为…...

编程日记 2025/6/4 7:01:27

thinkphp：try-catch捕获异常

使用简单的例子，实现了一个简单的try-catch捕获异常的实例 //开始事务Db::startTrans(); try{ //有异常抛出异常 if(存在错误){ throw new \Exception("异常信息"); } // 提交事务 Db::commit(); // 返回成功信息 ... } catch (\…...

编程日记 2025/6/4 2:10:44

如何使用 uni-app 构建直播应用程序？

使用uni-app构建直播应用程序涉及前端和后端的开发，以及音视频处理技术的选择。下面我将概述一个典型的直播应用架构，并详细说明如何在uni-app中实现关键功能。直播应用架构前端（uni-app）：负责用户界面展示、互动逻…...

编程日记 2025/6/3 22:41:44

正则表达式入门教程

正则表达式入门教程 1. 引言正则表达式（Regular Expression，简称Regex）是一种用于处理字符串的强大工具，它允许用户通过特定的模式（pattern）来搜索、匹配、查找和替换文本中的数据。正则表达式在文本处理、数据验证、数据提取等领域有着广泛的应用。本教程将带你了解正…...

编程日记 2025/6/4 4:59:46

uniapp 常用的指令语句

uniapp 是一个使用 Vue.js 开发的跨平台应用框架，因此，它继承了 Vue.js 的大部分指令。以下是一些在 uniapp 中常用的 Vue 指令语句及其用途： v-if / v-else-if / v-else 条件渲染。v-if 有条件地渲染元素，v-else-if 和 v-else 用…...

编程日记 2025/6/3 18:50:38

【Figma_01】Figma软件初始与使用

Figma初识与学习准备背景介绍软件使用1.1 切换主题1.2 官方社区设计界面2.1 创建一个项目2.2 修改文件名2.3 四种模式2.4 新增界面2.5 图层2.6 工具栏2.7 属性栏section透明度和圆角改变多边形的边数渐变效果描边设置阴影等特效拖拽相同的图形背景介绍 Ul设计:User Interfa…...

编程日记 2025/6/2 10:06:29

AI工具如何深刻改变我们的工作与生活

在当今这个科技日新月异的时代，人工智能（AI）已经从科幻小说中的概念变成了我们日常生活中不可或缺的一部分。从智能家居到自动驾驶汽车，从医疗诊断到金融服务，AI正以惊人的速度重塑着我们的世界。一、工作方式的革新…...

编程日记 2025/6/2 18:04:08

信息安全实训室网络攻防靶场实战核心平台解决方案

一、引言网络安全靶场，作为一种融合了虚拟与现实环境的综合性平台，专为基础设施、应用程序及物理系统等目标设计，旨在向系统用户提供全方位的安全服务，涵盖教学、研究、训练及测试等多个维度。随着网络空间对抗态势的日益复杂化…...

编程日记 2025/6/2 13:16:43

平方根无迹卡尔曼滤波（SR-UKF）的MATLAB例程，使用三维非线性的系统

本MATLAB 代码实现了平方根无迹卡尔曼滤波（SR-UKF）算法，用于处理三维非线性状态估计问题文章目录运行结果代码概述代码运行结果三轴状态曲线对比： 三轴误差曲线对比： 误差统计特性输出（命令行截图&…...

编程日记 2025/6/1 14:16:32

【从零开始入门unity游戏开发之——C#篇04】栈（Stack）和堆（Heap），值类型和引用类型，以及特殊的引用类型string，垃圾回收（ GC）

文章目录知识回顾一、栈（Stack）和堆（Heap）1、什么是栈和堆2、为什么要分栈和堆3、栈和堆的区别栈堆 4、总结二、值类型和引用类型1、那么值类型和引用类型到底有什么区别呢？值类型引用类型 2、总结三、特殊的引用类…...

编程日记 2025/6/1 11:06:45

人员离岗监测摄像机智能人员睡岗、逃岗监测 Python 语言结合 OpenCV

在安全生产领域，人员的在岗状态直接关系到生产流程的顺利进行和工作环境的安全稳定。人员离岗监测摄像机的出现，为智能人员睡岗、逃岗监测提供了高效精准的解决方案，而其中的核心技术如AI识别睡岗脱岗以及相关的算法盒子和常见的安全生产AI算…...

编程日记 2025/6/4 5:25:09

Linux-ubuntu点LED灯C语言版

一，C语言点灯 1.寄存器配置设置为SVC模式，复用寄存器设置GPIO1-IO003,设置电气属性，设置为输出模式。 2.软件汇编语言对模式设置，并且将堆栈指针指向主程序： .global _start_start: /*设置为svr模式 */mrs …...

编程日记 2025/6/2 0:02:54

第P3周：Pytorch实现天气识别

🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊目标读取天气图片，按文件夹分类搭建CNN网络，保存网络模型并加载模型使用保存的模型预测真实天气具体实现 （一&#xf…...

编程日记 2025/6/2 3:39:10

代理IP与生成式AI：携手共创未来

目录代理IP：网络世界的“隐形斗篷” 1. 隐藏真实IP，保护隐私 2. 突破网络限制，访问更多资源生成式AI：创意与效率的“超级大脑” 1. 提高创作效率 2. 个性化定制代理IP与生成式AI的协同作用 1. 网络安全 2. 内容创作与…...

编程日记 2025/6/1 20:30:56

函数式编程

Lambda表达式 1、什么时候可以使用Lambda表达式呢？一般都是在简化匿名内部类，当这个函数是一个接口，并且接口中只要一个方法时，就可以使用Lambda表达式 2、格式 (参数列表)->{方法体} 其中形参也不需要传，只需要传实参只关注参数列表和方法体不关注方法啥的东西…...

编程日记 2025/5/29 18:45:52

抖音SEO短视频矩阵源码系统开发分享

在数字营销的前沿阵地，抖音短视频平台凭借其独特的魅力和庞大的用户基础，已成为社交媒体领域一股不可小觑的力量。随着平台影响力的持续扩大，如何有效提升视频内容的可见度与流量成为了内容创作者关注的焦点。在此背景下，一套专为…...

编程日记 2025/6/1 23:32:54

常见的锁与线程安全

目录一、STL,智能指针和线程安全 STL中的容器是否是线程安全的? 智能指针是否是线程安全的? 二、其他常见的各种锁三、自旋锁四、读者写者问题读写锁接口读者优先伪代码一、STL,智能指针和线程安全 STL中的容器是否是线程安全的? 不是 . 原因是 , STL 的设…...

编程日记 2025/6/2 4:29:04

java中的List、数组和set

在Java中，List、数组（Array）和Set 是三种常用的数据结构，它们各自有不同的特性、用途和实现方式。下面我们将深入探讨这三者的特点、区别以及它们在 Java 中的常见使用场景。 1. 数组（Array） 特性&#x…...

编程日记 2025/6/3 3:59:16

NLP-Huggingface基本使用方法

NLP的网络结构大同小异，只不过训练策略可能会不同。因为与图像cv不同，文本训练数据非常的多，cv可以使用10几张就可以获得特征向量，而文本做不到学几句话就能让计算机听得懂话。因此，我们都需要使用预训练模型&#xff…...

编程日记 2025/6/3 19:35:22

Liquibase结合SpringBoot使用实现数据库管理

Liquibase概述 Liquibase 是一个开源的数据库变更管理工具，用于跟踪、版本化、和管理数据库结构（如表、字段、索引等）的变更。它的目的是使数据库变更的过程更加透明、可控制、自动化，避免开发团队在多个环境中手动执行相同的数据…...

编程日记 2025/5/28 5:36:43

高防CDN 如何防止DDoS和CC攻击？

在数字化时代，网络安全威胁日益严重，尤其是DDoS（分布式拒绝服务）攻击和CC（Challenge Collapsar）攻击，已成为企业网站和网络服务最常见且最具破坏力的攻击手段。为了有效抵御这些攻击&#xff0c…...

编程日记 2025/6/1 15:41:25

15.初始接口1.0 C#

这是一个用于实验接口的代码适合初认识接口的人【CSDN开头介绍】（文心一言AI生成） 在C#编程世界中，接口（Interface）扮演着至关重要的角色，它定义了一组方法，但不提供这些方法的实现。接口作为…...

编程日记 2025/6/2 19:05:23

数据结构day5：单向循环链表代码作业

一、loopLink.h #ifndef __LOOPLINK_H__ #define __LOOPLINK_H__#include <stdio.h> #include <stdlib.h>typedef int DataType;typedef struct node {union{int len;DataType data;};struct node* next; }loopLink, *loopLinkPtr;//创建 loopLinkPtr create();//…...

编程日记 2025/6/4 1:52:33

利用CNN与多尺度特征、注意力机制的融合实现低分辨率人脸表情识别，并给出模型介绍与代码实现

大家好，我是微学AI，今天给大家介绍一下利用CNN与多尺度特征、注意力机制的融合实现低分辨率人脸表情识别，并给出模型介绍与代码实现。在当今社会，人脸识别技术已广泛应用，但特定场景下的低质量图像仍是一大挑战。低分…...

编程日记 2025/6/2 1:07:06

spring RestTemplate使用说明

rest-template是spring对httpclient的逻辑封装，它底层还是基于httpclient，所以一些配置其实跟httpclient是强相关的。基本配置 rest-template可以不带参数，使用默认配置，也可以指定ClientHttpRequestFactory参数，Cl…...

编程日记 2025/6/3 13:43:12

设置HP条UI

概述设置常见的生命值条， 实现过程设置UI/image作为形状设置UI/Image作为背景设置UI/image（healthfill）作为填充图片，层数低于背景设置heathfill的imagetype为filled fillmethod为horizontal [SerializeField] private Im…...

编程日记 2025/6/3 10:03:52

常见排序算法总结 (五) - 堆排序与堆操作

堆排序（借助 API） 算法思想利用堆能够维护数组中最大值的性质，根据数组元素建立最大堆，依次弹出元素并维护堆结构，直到堆为空。稳定性分析堆排序是不稳定的，因为堆本质上是完全二叉树，排…...

编程日记 2025/6/4 6:45:56

Linux 本地编译安装 gcc9

这里演示非sudo权限的本地linux 用户安装 gcc9 下载源代码： 可以从GCC官方网站或其镜像站点下载GCC 9的源代码压缩包。使用wget或curl命令，这通常不需要额外权限 wget https://ftp.gnu.org/gnu/gcc/gcc-9.5.0/gcc-9.5.0.tar.gz tar -xf gcc-9.5.0.tar…...

编程日记 2025/6/2 5:19:21

开源FreeSWITCH大模型智能客服系统的最佳实践

开源 FreeSWITCH 大模型智能客服系统的最佳实践原作者：开源呼叫中心FreeIPCC，其Github：https://github.com/lihaiya/freeipcc 引言开源 FreeSWITCH 大模型智能客服系统因其灵活性、成本效益和技术先进性，成为众多企业提升客户…...

编程日记 2025/6/1 6:36:35

大数据技术与应用——数据可视化（山东省大数据职称考试）

大数据分析应用-初级第一部分基础知识一、大数据法律法规、政策文件、相关标准二、计算机基础知识三、信息化基础知识四、密码学五、大数据安全六、数据库系统七、数据仓库. 第二部分专业知识一、大数据技术与应用二、大数据分析模型三、数据科学数据可视化大…...

编程日记 2025/6/1 15:47:22

大数据之Hbase环境安装

Hbase软件版本下载地址： http://mirror.bit.edu.cn/apache/hbase/ 1. 集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99 2. 下载软件包 #Master wget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-hadoop1-bin.tar.gz…...

编程日记 2025/6/4 16:31:01

Node.js day-01

01.Node.js 讲解什么是 Node.js，有什么用，为何能独立执行 JS 代码，演示安装和执行 JS 文件内代码 Node.js 是一个独立的 JavaScript 运行环境，能独立执行 JS 代码，因为这个特点，它可以用来编写服务器后端…...

编程日记 2025/6/3 21:29:17

OpenCV相机标定与3D重建(25)计算两个三维点集之间的最优仿射变换矩阵（3x4）函数estimateAffine3D()的使用

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述计算两个3D点集之间的最优仿射变换。它计算 [ x y z ] [ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ] [ X Y Z ] [ b 1 b 2 b 3 ] \beg…...

编程日记 2025/6/1 1:01:52

SQL 中 INNER JOIN 和 LEFT JOIN 的区别和用法

在数据库语言 SQL 中，连接 (也称进行表结合操作)是一种常见的操作，用于将多个数据表格核实关联进行查询。常见的连接类型中， INNER JOIN 和 LEFT JOIN 是最基本且最常用的。下面将给出完整的区别和用法说明。 1. 基本概念 INNER JOIN (内连…...

编程日记 2025/6/4 17:26:50

【计算机网络】lab2 Ethernet（链路层Ethernet frame结构细节）

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀各种软件安装与配置_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目录 1. …...

编程日记 2025/6/3 5:06:56

2024 年 MySQL 8.0.40 安装配置、Workbench汉化教程最简易（保姆级）

首先到官网上下载安装包：http://www.mysql.com 点击下载，拉到最下面，点击社区版下载 windows用户点击下面适用于windows的安装程序点击下载，网络条件好可以点第一个，怕下着下着断了点第二个离线下载双击下载好的安装…...

编程日记 2025/6/2 11:52:27

提升PHP技能：18个实用高级特性

掌握PHP基础知识只是第一步。深入了解这18个强大的PHP特性，将显著提升您的开发效率和代码质量。 1、超越 __construct() 的魔法方法虽然 __construct() 为大多数开发者所熟知，PHP 却提供了更多强大的魔术方法，例如： class Da…...

编程日记 2025/6/1 23:00:02

QT数据库（三）：QSqlQuery使用

QSqlQuery 简介 QSqlQuery 是能运行任何 SQL 语句的类，如 SELECT、INSERT、UPDATE、DELETE 等 SQL 语句。所以使用 QSqlQuery 几乎能进行任何操作，例如创建数据表、修改数据表的字段定义、进行数据统计等。如果运行的是 SELECT 语句，它查询…...

编程日记 2025/6/2 18:30:12

【机器学习】在向量的流光中，揽数理星河为衣，以线性代数为钥，轻启机器学习黎明的瑰丽诗章

文章目录线性代数入门：机器学习零基础小白指南前言一、向量：数据的基本单元1.1 什么是向量？1.1.1 举个例子： 1.2 向量的表示与维度1.2.1 向量的维度1.2.2 向量的表示方法 1.3 向量的基本运算1.3.1 向量加法1.3.2 向量的数乘1.3.3…...

编程日记 2025/5/31 16:05:36

设计模式详解（十一）：模板方法——Template Method

Template Method 设计模式 1. 概述 Template Method 是一种行为设计模式，它定义了一个算法的框架，并允许子类在不改变算法结构的前提下重新定义算法中的某些步骤。在 Template Method 模式中： 父类（抽象类）定义了…...

编程日记 2025/6/2 21:14:07

使用 DeepSpeed 微调 OPT 基础语言模型

文章目录 OPT 基础语言模型Using OPT with DeepSpeedmain.py 解析1、导入库和模块2、解析命令行参数3、main 函数3.1 设备与分布式初始化3.2 模型与数据准备3.3 定义评估函数3.4 优化器与学习率调度器设置3.5 使用 deepspeed 进行模型等初始化3.6 训练循环3.7 模型保存 4、dsch…...

编程日记 2025/5/31 23:09:34

DPDK用户态协议栈-TCP Posix API 2

tcp posix api send发送 ssize_t nsend(int sockfd, const void *buf, size_t len, __attribute__((unused))int flags) {ssize_t length 0;void* hostinfo get_host_fromfd(sockfd);if (hostinfo NULL) {return -1;}struct ln_tcp_stream* stream (struct ln_tcp_stream…...

编程日记 2025/6/1 4:56:12

打造微信小程序中的视频播放交互体验：videoUI组件库实战

本文还有配套的精品资源，点击获取简介：本项目介绍如何利用 videoUI 组件库在微信小程序中实现视频切换播放和全屏播放功能。涵盖微信小程序开发基础、 <video> 组件使用、视频切换逻辑、全屏播放实现以及 videoUI 库的应用。为开发者提供…...

编程日记 2025/6/1 4:04:36

Django REST framework（DRF）在处理不同请求方法时的完整流程

文章目录一、POST 请求创建对象的流程二、GET 请求获取对象列表的流程三、GET 请求获取单个对象的流程四、PUT/PATCH 请求更新对象的流程五、自定义方法的流程自定义 GET 方法自定义 POST 方法一、POST 请求创建对象的流程请求到达视图层方法调用： dispatch说明…...

编程日记 2025/6/3 1:26:16

大数据面试题--企业面试真题

相关文章：