当前位置：首页 > news >正文

基于云服务器的数仓搭建-hive/spark安装

news 来源：原创 2025/7/19 22:58:28

mysql本地安装

安装流程（内存占用200M，升至2.1G）

# 将资料里mysql文件夹及里面所有内容上传到/opt/software/mysql目录下
mkdir /opt/software/mysql
cd /opt/software/mysql/
# 待上传文件
install_mysql.sh
mysql-community-client-8.0.31-1.el7.x86_64.rpm
mysql-community-client-plugins-8.0.31-1.el7.x86_64.rpm
mysql-community-common-8.0.31-1.el7.x86_64.rpm
mysql-community-icu-data-files-8.0.31-1.el7.x86_64.rpm
mysql-community-libs-8.0.31-1.el7.x86_64.rpm
mysql-community-libs-compat-8.0.31-1.el7.x86_64.rpm
mysql-community-server-8.0.31-1.el7.x86_64.rpm
mysql-connector-j-8.0.31.jar
# 阿里云服务器按照如下步骤执行
# 由于阿里云服务器安装的是Linux最小系统版，没有如下工具，所以需要安装
# 卸载MySQL依赖，虽然机器上没有装MySQL，但是这一步不可少
sudo yum remove mysql-libs
# 下载依赖并安装
sudo yum install libaio
sudo yum -y install autoconf
# 如果想检查下上述文件有无安装，执行
sudo yum list installed | grep libaio
sudo yum list installed | grep autoconf
# 切换到hadoop102的root用户
su root
# 执行/opt/software/mysql/目录下install_mysql.sh
vim install_mysql.sh
# 执行脚本
sh install_mysql.sh

mysql本地安装脚本

install_mysql.sh
# 卸载MySQL
systemctl stop mysql mysqld 2>/dev/null
rpm -qa | grep -i 'mysql\|mariadb' | xargs -n1 rpm -e --nodeps 2>/dev/null
rm -rf /var/lib/mysql /var/log/mysqld.log /usr/lib64/mysql /etc/my.cnf /usr/my.cnf
set -e
# 安装并启动MySQL
yum install -y *.rpm >/dev/null 2>&1
systemctl start mysqld
#更改密码级别并重启MySQL
sed -i '/\[mysqld\]/avalidate_password.length=4\nvalidate_password.policy=0' /etc/my.cnf
systemctl restart mysqld
# 更改MySQL配置
tpass=$(cat /var/log/mysqld.log | grep "temporary password" | awk '{print $NF}')
cat << EOF | mysql -uroot -p"${tpass}" --connect-expired-password >/dev/null 2>&1
set password='000000';
update mysql.user set host='%' where user='root';
alter user 'root'@'%' identified with mysql_native_password by '000000';
flush privileges;
EOF

连接mysql

# 通过MySQL可视化客户端连接数据库
# 创建数据库
# 设置数据库名称为gmall，编码为utf8mb4，排序规则为utf8mb4_general_ci
# 导入数据库结构脚本（gmall.sql）
经过上述安装后，可以通过临时密码6个0进入mysql
mysql -uroot -p000000
修改root密码，本地访问
ALTER USER 'root'@'localhost' IDENTIFIED BY 'new_password';
其他主机也可访问，执行完后刷新，不刷新也能生效
ALTER USER 'root'@'%' IDENTIFIED BY 'new_password';
FLUSH PRIVILEGES;
查看都有哪些root用户，可能会存在localhost和%并存的情况，默认只有%
SELECT User, Host, authentication_string FROM mysql.user WHERE User = 'root';
修改为native连接方式
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'new_password';
退出
exit

hive安装

安装流程（内存占用400M，升至2.5G）

把hive-3.1.3.tar.gz上传到linux的/opt/software目录下
解压hive-3.1.3.tar.gz到/opt/module/目录下面
tar -zxvf /opt/software/hive-3.1.3.tar.gz -C /opt/module/
修改hive-3.1.3-bin.tar.gz的名称为hive
mv /opt/module/apache-hive-3.1.3-bin/ /opt/module/hive
修改/etc/profile.d/my_env.sh，添加环境变量
sudo vim /etc/profile.d/my_env.sh
添加内容
#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin
source一下 /etc/profile.d/my_env.sh文件，使环境变量生效
source /etc/profile.d/my_env.sh
解决日志Jar包冲突，进入/opt/module/hive/lib目录
mv log4j-slf4j-impl-2.17.1.jar log4j-slf4j-impl-2.17.1.jar.bak
Hive元数据配置到MySQL(下个代码块）

Hive元数据配置到MySQL

将MySQL的JDBC驱动拷贝到Hive的lib目录下
cp /opt/software/mysql/mysql-connector-j-8.0.31.jar /opt/module/hive/lib/
配置Metastore到MySQL
在$HIVE_HOME/conf目录下新建hive-site.xml文件
vim hive-site.xml
# 配置Hive保存元数据信息所需的 MySQL URL地址
# 配置Hive连接MySQL的驱动全类名
# 配置Hive连接MySQL的用户名
# 配置Hive连接MySQL的密码
启动Hive(下个代码块）

hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><!--配置Hive保存元数据信息所需的 MySQL URL地址--><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop1:3306/metastore?useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;allowPublicKeyRetrieval=true</value></property><!--配置Hive连接MySQL的驱动全类名--><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value></property><!--配置Hive连接MySQL的用户名 --><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><!--配置Hive连接MySQL的密码 --><property><name>javax.jdo.option.ConnectionPassword</name><value>password</value></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>hive.server2.thrift.port</name><value>10000</value></property><property><name>hive.server2.thrift.bind.host</name><value>hadoop1</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><property><name>hive.cli.print.header</name><value>true</value></property><property><name>hive.cli.print.current.db</name><value>true</value></property>
</configuration>

启动Hive

# 初始化元数据库
# 登陆MySQL
mysql -uroot -p<pwd>
# 新建Hive元数据库
create database metastore;
# 初始化Hive元数据库（mysql外）
schematool -initSchema -dbType mysql -verbose
# 修改元数据库字符集
# Hive元数据库的字符集默认为Latin1，由于其不支持中文字符，所以建表语句中如果包含中文注释，会出现乱码现象
# 修改Hive元数据库中存储注释的字段的字符集为utf-8
use metastore;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
# 表注释
alter table TABLE_PARAMS modify column PARAM_VALUE mediumtext character set utf8;
# 退出mysql
quit;
# 启动Hive客户端
hive
# 查看一下数据库
show databases;
# 退出或exit;
quit;

Hive环境的搭建（安装spark）

# 上传并解压解压spark-3.3.1-bin-without-hadoop.tgz
tar -zxvf spark-3.3.1-bin-without-hadoop.tgz -C /opt/module/
mv /opt/module/spark-3.3.1-bin-without-hadoop /opt/module/spark
# 修改spark-env.sh配置文件
# 修改文件名
mv /opt/module/spark/conf/spark-env.sh.template /opt/module/spark/conf/spark-env.sh
# 编辑文件
vim /opt/module/spark/conf/spark-env.sh
# 增加如下内容
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
# 配置SPARK_HOME环境变量
vim /etc/profile.d/my_env.sh
# 添加如下内容
# SPARK_HOME
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin
# source 使其生效
source /etc/profile.d/my_env.sh
# 在hive中创建spark配置文件
vim /opt/module/hive/conf/spark-defaults.conf
# 添加如下内容（在执行任务时，会根据如下参数执行），少于512会报错
spark.master                               yarn
spark.eventLog.enabled                   true
spark.eventLog.dir                        hdfs://hadoop1:8020/spark-history
spark.executor.memory                    512m
spark.driver.memory                      512m
# 在HDFS创建如下路径，用于存储历史日志
hadoop fs -mkdir /spark-history
# 向HDFS上传Spark纯净版jar包
hadoop fs -mkdir /spark-jars
hadoop fs -put /opt/module/spark/jars/* /spark-jars
# 修改hive-site.xml文件
vim /opt/module/hive/conf/hive-site.xml
# 添加如下内容
<!--Spark依赖位置（注意：端口号8020必须和namenode的端口号一致）-->
<property><name>spark.yarn.jars</name><value>hdfs://hadoop1:8020/spark-jars/*</value>
</property><!--Hive执行引擎-->
<property><name>hive.execution.engine</name><value>spark</value>
</property>

向HDFS上传Spark纯净版jar包说明

说明1：采用Spark纯净版jar包，不包含hadoop和hive相关依赖，能避免依赖冲突。

说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。所以需要将Spark的依赖上传到HDFS集群路径，这样集群中任何一个节点都能获取到。

运行

Hive on Spark测试
启动hive客户端
hive
创建一张测试表
create table student(id int, name string);
通过insert测试效果
insert into table student values(1,'abc');
insert into table student values(2,'efg');
insert into table student values(3,'hjk');
insert into table student values(4,'lmn');
insert into table student values(5,'opq');
若结果如下，则说明配置成功

测试成功结果

result

遇到的问题

spark执行器和驱动器内存最少默认要512M，少于这个值会报错，修改/opt/module/hive/conf/spark-defaults.conf

其他节点访问主节点的datanode时，用主节点的内网地址访问的，修改配置通过主机名访问datanode，hdfs-site.xml

三个节点不知道为什么都登不上了，修改密码后，改成只允许ip间通信

# 其他节点访问主节点的datanode时，用主节点的内网地址访问的，修改配置通过主机名访问datanode，hdfs-site.xml<!-- 客户端通过主机名连接 DataNode --><property><name>dfs.client.use.datanode.hostname</name><value>true</value></property>

参考资料

海波老师-电商数仓

基于云服务器的数仓搭建-hive/spark安装

mysql本地安装安装流程（内存占用200M，升至2.1G） # 将资料里mysql文件夹及里面所有内容上传到/opt/software/mysql目录下 mkdir /opt/software/mysql cd /opt/software/mysql/ # 待上传文件 install_mysql.sh mysql-community-client-8.0.3…...

编程日记 2025/7/19 22:58:28

YOLO历代发展图像增强方式架构

YOLO1 YOLOV5 数据增强 mosaic 仿射变换(Affine)、透视变换(Perspective) 网络搭建...

编程日记 2025/7/19 2:07:29

Spring AI Alibaba EmbeddingModel使用

一、嵌入模型 (Embedding Model)简介 1、核心概念嵌入模型（EmbeddingModel）是嵌入过程中采用的模型。当前 EmbeddingModel的接口主要用于将文本转换为数值向量，接口的设计主要围绕这两个目标展开： 可移植性： 该接口…...

编程日记 2025/7/19 22:56:07

C++入门五式——类和对象（下）

目录再探构造函数——初始化列表类型转换 static成员友元函数内部类匿名对象再探构造函数——初始化列表之前我们实现构造函数时，初始化成员变量主要使用函数体内赋值，构造函数初始化还有一种方式，就是初始化列表。 //初始化列…...

编程日记 2025/7/13 23:32:55

Spring的SPEL（Spring Expression Language）的使用说明，包含语法、示例和常见场景

以下是Spring的SPEL（Spring Expression Language）的使用说明，包含语法、示例和常见场景： 1. 基本语法变量引用表达式：#{变量名}（如#{systemProperties[os.name]}）作用域：在Sprin…...

编程日记 2025/7/16 9:01:31

Linux应用：线程进阶

线程同步之信号量信号量（Semaphore）是一个整型的计数器，用于控制对共享资源的访问。它通过 PV 操作来实现同步，P 操作将信号量的值减 1，如果值小于 0 则线程阻塞；V 操作将信号量的值加 1，如果…...

编程日记 2025/7/16 5:55:25

策略模式 (Strategy)

策略模式 (Strategy) 应用场景：用于处理不同的任务配置参数。在你的任务中，可能会有不同的任务类型，每个任务类型可能有不同的单位（比如米、毫米）或不同的处理方式。策略模式可以让你根据不同的任务类型选择不同的处理…...

编程日记 2025/7/19 15:58:00

【YOLOv8】YOLOv8改进系列（10）----替换主干网络之UniRepLKNet

主页：HABUO🍁主页：HABUO 🍁YOLOv8入门改进专栏🍁 🍁如果再也不能见到你，祝你早安，午安，晚安🍁 【YOLOv8改进系列】： YOLOv8改进系列&#xff0…...

编程日记 2025/6/28 4:24:32

mathtype一些用法总结

1.一个是公式旁边加入||，一般使用键盘直接打入的会比较小，mathtype中的会好看很多，打开这个栏目，会看到有很多。 2.另外是带^符号，在字符上面带没有办法直接带，所以可以在mathtype中先加帽子，然…...

编程日记 2025/7/19 16:13:29

1、SQL注入攻击的防范

原文地址: SQL注入攻击的防范更多内容请关注：代码安全 PHP安全编码——书写安全的代码 1、SQL注入攻击的防范提问问题1：什么是SQL注入攻击？ 问题2：有几种简单方法防范SQL注入攻击？ 问题3：mys…...

编程日记 2025/7/19 22:58:27

核心知识——论文总结

引入本文我们会针对论文中的核心内容进行总结，加深小伙伴对于Spark的理解。而通过Spark的论文，重点需要掌握理解如下内容： Spark 里核心的 RDD 是一个什么概念，它是通过什么方式来优化分布式数据处理的，它的设计思路…...

编程日记 2025/7/16 16:48:50

HTTP 核心知识点整理

1. HTTP 基础定义：HTTP（HyperText Transfer Protocol）是应用层协议，基于请求-响应模型，用于客户端（浏览器）与服务器之间的通信。特点： 无状态：每次请求独立&a…...

编程日记 2025/7/19 20:50:57

什么是矩阵账号

矩阵账号是指在同一平台或多个平台上，围绕同一品牌或个人，创建的多个相互关联、协同工作的账号组合。这些账号虽然独立，但在内容定位和运营策略上有所区分，同时又相互引流，共同形成一个网络结构，类似于矩阵…...

编程日记 2025/7/17 20:22:21

【6】VS Code 新建上位机项目---项目分层

【6】VS Code 新建上位机项目---项目分层 1 项目分层（layer）2 项目分层实现数据插入SQL3 项目分层实现（实体类封装参数）4 项目分层的实现SQL查询数据1 项目分层（layer）表示层(UI)：与用户交互使用。比如按钮，输入信息等；业务层(BLL)：传递数据，业务逻辑。根据用户需…...

编程日记 2025/7/13 8:38:14

EspressoSample深度解析：在CircleCI上高效运行Android UI测试

项目背景与简介 EspressoSample项目位于GitHub上的circleci/EspressoSample仓库，该项目旨在展示如何在CircleCI平台上配置和使用Espresso进行Android应用的UI测试。项目结构与环境准备项目结构 EspressoSample项目遵循典型的Android项目结构，包含a…...

编程日记 2025/7/15 16:41:35

【每日论文】MetaSpatial: Reinforcing 3D Spatial Reasoning in VLMs for the Metaverse

下载PDF或查看论文，请点击： LlamaFactory - huggingface daily paper - 每日论文解读 | LlamaFactory | LlamaFactory探索LlamaFactory，为你解读AI前沿技术文章，快速掌握最新技术动态https://www.llamafactory.cn/daily-paper/de…...

编程日记 2025/7/13 18:42:18

mac m4 Homebrew安装MySQL 8.0

1.使用Homebrew安装MySQL8 在终端中输入以下命令来安装MySQL8： brew install mysql8.0 安装完成后，您可以通过以下命令来验证MySQL是否已成功安装： 2.配置mysql环境变量 find / -name mysql 2>/dev/null #找到mysql的安装位置 cd /op…...

编程日记 2025/7/16 22:15:01

Java关于多态

多态字面意思：对象的多种形态。 Student(子类)<-Person(父类)->Teacher(子类) Student snew Student(); 学生形态对象代表用new创建一个学生对象赋值给Student 类型，代表Student类型(学生对象)现在是学生形态。有了多态之后&#xff…...

编程日记 2025/7/18 23:37:22

部署kibana组件上传kibina镜像到harbor 部署kibana组件，包括svc和deplomentvi kibana.yaml apiVersion: v1 kind: Service metadata:name: kibananamespace: kube-logginglabels:app: kibana spec:ports:- port: 5601selector:app: kibana --- apiVersion: apps/…...

编程日记 2025/7/16 21:49:49

如何快速对比两个不同的excel文件中的单元格的数据是否完全相同并把不同的单元格的背景颜色更改为红色？

要快速对比两个不同的Excel文件中的单元格数据是否完全相同，并将不同的单元格背景颜色更改为红色，可以使用Excel的以下几种方法： 方法一：使用条件格式打开两个Excel文件。将一个文件的内容复制到另一个文件的新工作表中&#x…...

编程日记 2025/7/17 12:17:48

基于Python+LanceDB实战向量搜索

本篇实战演示向量搜索的实现和示例。预期效果给出一个查询的字符串，通过向量搜索，在下面三个语句中搜索出关联性最大的那句。 "熊猫是中国的国宝，主要栖息在四川山区。","长城是古代中国建造的军事防御工事，全…...

编程日记 2025/7/17 14:56:29

多路转接epoll

目录一、为什么epoll最高效？ 二、epoll的三个系统调用三、理解epoll模型四、epoll的优点五、epoll的使用示例六、epoll的工作模式 ET模式和LT模式的对比七、epoll的使用场景总结一、为什么epoll最高效？ 按照 man 手册的…...

编程日记 2025/7/19 12:38:17

AI编程工具哪家强？对比Cusor、Copilot、Cline

前言 AI最先革谁的命？刚毕业参加工作的那个时候就在想是否可以开发一个程序让它自己写代码，在那个遥远的年代，这种想法仿佛就是天方夜谭。但是今天大模型的出现让理想成为了现实。回答前面的问题，AI最先革谁的命，最聪…...

编程日记 2025/7/15 22:29:10

[FPGA基础学习]实现流水灯与按键暂停

FPGA实现LED流水灯 1.vscode的安装和使用 vscode下载 Visual Studio Code - Code Editing. Redefined vscode插件（Verilog-HDL/SystemVerilog）下载 quartus绑定vscode 2.用6个LED完成周期为1秒的跑马灯效果流水灯模块设计时钟输入 DE2-115开发板…...

编程日记 2025/7/16 5:31:09

刷题记录（LeetCode 994.腐烂的橘子）

在给定的 m x n 网格 grid 中，每个单元格可以有以下三个值之一： 值 0 代表空单元格；值 1 代表新鲜橘子；值 2 代表腐烂的橘子。每分钟，腐烂的橘子周围 4 个方向上相邻的新鲜橘子都会腐烂。返回直到单元格中没有…...

编程日记 2025/7/16 21:42:38

ECharts折线图源码合集1(共18个自定义图表)，附视频讲解与代码下载

引言： 在数据可视化的世界里，ECharts凭借其丰富的图表类型和强大的配置能力，成为了众多开发者的首选。今天，我整理了18个自定义折线图图表，不仅对每个图表代码进行了精简优化，剥离冗余配置项，…...

编程日记 2025/7/16 11:20:47

SQL小菜之TOP N查找问题

前言 SQL的编写是后端面试中非常常见，其中TOP N查找问题也是高频出现的问题，今天我们来看两道SQL TOPN问题。问题我们有一张雇员表Employee： CREATE TABLE Employee (id int DEFAULT NULL,salary int DEFAULT NULL,department varchar(…...

编程日记 2025/7/16 15:27:32

蓝桥杯临时抱佛脚之二分答案法与相关题目

二分答案法（利用二分法查找区间的左右端点） （1）估计最终答案可能得范围是什么 （2）分析问题的答案和给定条件之间的单调性，大部分时候只需要用到自然智慧 （3）建…...

编程日记 2025/7/16 21:20:09

Css环形旋转立体感动画

Css环形旋转立体感动画 index.html <!DOCTYPE html> <html lang"en" > <head><meta charset"UTF-8"><title>Css环形旋转立体感动画</title><link rel"stylesheet" href"./style.css">&l…...

编程日记 2025/7/16 15:42:01

音乐极客指南：Melody高音质私有云音乐平台本地部署方案

文章目录前言1. 添加镜像源2. 本地部署Melody3. 本地访问与使用演示4. 安装内网穿透5. 配置Melody公网地址6. 配置固定公网地址前言嘿，各位音乐爱好者们！今天我要带大家玩个大招——在香橙派Zero3上搭建你的专属在线音乐平台，还能通过cpo…...

编程日记 2025/7/16 5:13:28

Microi吾码界面设计引擎之基础组件用法大全【内置组件篇·中】

🎀🎀🎀 microi-pageengine 界面引擎系列 🎀🎀🎀 一、Microi吾码：一款高效、灵活的低代码开发开源框架【低代码框架】二、Vue3项目快速集成界面引擎三、Vue3 界面设计插件 microi-pageengine …...

编程日记 2025/7/15 8:33:58

# WebSocket 与 Socket.IO 对比与优化

核心概念对比 WebSocket 协议性质：HTML5 提供的全双工通信协议 (RFC 6455)连接方式：基于 TCP 的低层协议通信模式：持久化连接，服务端可主动推送协议升级：通过 HTTP 101 状态码切换协议 Socket.IO 协议性质&#xf…...

编程日记 2025/7/14 5:48:01

vue3中，route4，获取当前页面路由的问题

首先应用场景如下： 在main.js里面，引入的是路由的配置文件，如下： import {router} from /router; app.use(router); 路由配置文件router.js如下： import { createRouter, createWebHistory } from vue-router; imp…...

编程日记 2025/7/16 18:35:08

python将整个txt文件写入excel的一个单元格？

要将整个txt文件写入Excel的一个单元格，可以使用Python的openpyxl库来实现。以下是一个简单的示例代码： from openpyxl import Workbook# 读取txt文件内容 with open(file.txt, r) as file:txt_content file.read()# 创建一个新的Excel工作簿 wb Work…...

编程日记 2025/7/16 11:13:09

日志2333

Pss-9 这一关考察的是时间盲注先练习几个常见命令语句： select sleep(5);--延迟5s输出结果 if （1>0,ture,false）;--输出‘ture’ /if （1<0,ture,false）;--输出‘false’ select ascii()/select ord()返回字…...

编程日记 2025/7/17 12:34:17

用Deepseek写扫雷uniapp小游戏

扫雷作为Windows系统自带的经典小游戏，承载了许多人的童年回忆。本文将详细介绍如何使用Uniapp框架从零开始实现一个完整的扫雷游戏，包含核心算法、交互设计和状态管理。无论你是Uniapp初学者还是有一定经验的开发者，都能从本文中获得启发。 …...

编程日记 2025/7/19 12:55:27

C++中的异常和智能指针

一、C中的异常 1.1C语言中关于错误的处理（回顾） 1.1.1处理一：文件中的错误码，错误信息 C语言中，文件打开成功则返回地址，不成功返回0 FILE* foutfopen("Test.txt","r"); cout<&…...

编程日记 2025/7/17 7:12:11

Selenium 简单入门操作示例

最简单的 Selenium 示例（Python版） 下面是一个完整的、最简单的 Selenium 操作示例，带你快速上手： from selenium import webdriver from selenium.webdriver.common.by import By import time# 1. 启动浏览器（这里使…...

编程日记 2025/7/13 8:38:21

6.1 模拟专题：LeetCode 1576. 替换所有的问号

1. 题目链接 LeetCode 1576. 替换所有的问号 2. 题目描述给定一个仅包含小写字母和问号 ? 的字符串 s，要求将所有 ? 替换为任意小写字母，使得替换后的字符串中没有相邻的两个字符相同。示例： 输入：s "?zs" →…...

编程日记 2025/7/16 11:11:11

前端知识点---用正则表达式判断邮箱(javascript)

// 全面的正则（兼容大多数情况） const emailRegex /^[a-zA-Z0-9._%-][a-zA-Z0-9.-]\.[a-zA-Z]{2,}$/;// 或直接使用浏览器内置验证 <input type"email" required>/：正则表达式的起始和结束标志。 ^：匹配字符串的…...

编程日记 2025/7/19 8:43:03

深度剖析 Spring 源码性能优化：核心原理与最佳实践

深度剖析 Spring 源码 & 性能优化：核心原理与最佳实践 🚀 Spring 框架作为 Java 生态的核心技术，广泛应用于企业级开发。但很多开发者只会“用”Spring，而不深入其内部原理，导致无法高效排查问题 & 进行性能优…...

编程日记 2025/7/17 8:46:04

Axure RP9教程：轮播图（动态面板） | 头部锁定

文章目录引言I 轮播图操作步骤在画布中添加一个动态面板设置面板状态II 头部锁定将头部区域选中，右键组合或用Ctrl+G快捷键；将组合的头部区域，右键创建动态面板;引言动态面板的功能十分强大，比如：拥有独立的内部坐标系，有多个状态； Banner的案例中会用到动态面板多个…...

编程日记 2025/7/14 10:07:46

rabbitmq承接MES客户端服务器

文章目录背景整体架构概述方案详细步骤1. 数据库选型与搭建2. 设备端数据上传至数据库3. 搭建 RabbitMQ 服务器4. 数据同步模块（数据库到 RabbitMQ）5. MES 服务器从 RabbitMQ 接收数据6. 指令接收模块（RabbitMQ 到设备端） 7. MES…...

编程日记 2025/7/18 1:10:39

重学vue3(三)：vue3基本语法及使用

组合式 API是vue3 的核心特性，替代 Vue2 的选项式 API，强调逻辑复用和代码组织。基本语法如下： <script setup> import { ref, reactive, computed, onMounted } from vue;// 1. 响应式数据 const count ref(0); // 基本类…...

编程日记 2025/7/18 1:31:06

算法｜麻雀搜索算法原理，公式，改进算法综述，应用场景及matlab完整代码

一、麻雀搜索算法（SSA）原理 1. 算法基础麻雀搜索算法（Sparrow Search Algorithm, SSA）是2020年提出的一种群体智能优化算法，灵感来源于麻雀群体的觅食与反捕食行为。算法将麻雀分为三类角色：发现者（Producer）：适应度最高，负责探索全局最优区域；加入者（Follower）…...

编程日记 2025/7/16 1:52:19

0322-数据库与前后端的连接、数据库表的增删改查

前端 <!DOCTYPE html> <html> <head> <meta charset"UTF-8"> <title>Insert title here</title> <script srcjs/jquery-3.7.1.min.js></script> <script> //jquaryajax发起请求 //传参形式不同 post用data{}…...

编程日记 2025/7/17 19:24:11

详细介绍Qt中用于断言的宏 Q_ASSERT

Q_ASSERT 是 Qt 框架中用于调试的核心宏之一，其作用类似于标准 C/C 的 assert，但针对 Qt 的特性进行了优化。它用于在开发阶段验证程序的逻辑正确性，帮助开发者快速定位潜在的错误。 1.基本用法 Q_ASSERT(condition);功能：在调试…...

编程日记 2025/7/15 5:14:48

基于Python的自然语言处理系列（60）：使用 LangChain 构建 Multi-Vector Retriever 进行文档检索

在 NLP 和 AI 领域，基于嵌入（Embeddings）进行文档检索已成为一种高效的解决方案。本文介绍如何使用 LangChain 构建 Multi-Vector Retriever，实现对长文档的分块索引和高效检索。 1. 环境准备首先，我们需要安装相关…...

编程日记 2025/7/19 5:18:55

Dify 部署指南-离线版

Docker 部署 1、访问 Docker 官网 (https://www.docker.com/) 获取安装包。 2、上传 Docker 安装包 3、进入解压目录，执行解压命令 tar xzvf docker-28、0.2、tgz4、将解压文件中的 Docker 相关文件移动到 /usr/bin/ 目录 sudo cp docker/* /usr/bin/5、创建…...

编程日记 2025/7/18 12:54:22

解决 Element UI 嵌套弹窗的状态管理问题！！！

解决 Element UI 嵌套弹窗的状态管理问题 🔧 问题描述 ❓ 在使用 Element UI 开发一个多层嵌套弹窗功能时，遇到了以下问题： 弹窗只能打开一次，第二次点击无法打开 🚫收到 Vue 警告：避免直接修改 prop 值…...

编程日记 2025/7/16 8:33:47

mysql本地安装

hive安装

Hive环境的搭建（安装spark）

相关文章：