当前位置：首页 > news >正文

搭建Hadoop分布式集群

news 来源：原创 2025/7/6 5:52:06

软件和操作系统版本

Hadoop框架是采用Java语言编写，需要java环境（jvm） JDK版本：JDK8版本，本次使用的是 Java: jdk-8u431-linux-x64.tar.gz

Hadoop: hadoop-3.3.6.tar.gz

三台Linux虚拟节点: CentOS-7-x86_64-DVD-2009.iso

通过虚拟机设置共享文件夹将需要的安装包复制到linux虚拟机中。（/opt/software/）

[root@localhost1 software]# ll
total 912972
-rwxrwxrwx. 1 root root 730107476 Dec 23 20:43 hadoop-3.3.6.tar.gz
-rwxrwxrwx. 1 root root 148362647 Dec 23 22:10 jdk-8u431-linux-x64.tar.gz
-rwxrwxrwx. 1 root root      1068 Dec 24 11:29 LICENSE
-rwxrwxrwx. 1 root root  56405224 Dec 24 11:29 VMwareTools-10.3.21-14772444.tar.gz

集群规划

Linux	Localhost1	Localhost2	Localhost3
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	NodeManager, ResourceManager	NodeManager

安装JDK

tar -zxvf jdk-8u431-linux-x64.tar.gz -C /usr/local/java/

配置环境变量：

vi /etc/profile# java environment
JAVA_HOME=/usr/local/java/jdk1.8.0_431
JRE_HOME=${JAVA_HOME}/jre
CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
PATH=$PATH:${JAVA_HOME}/bin:${JRE_HOME}/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

让环境变量生效：

source /etc/profile

安装Hadoop

tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/applications

添加Hadoop到环境变量

vi /etc/profile#HADOOP
HADOOP_HOME=/usr/local/applications/hadoop-3.3.6
PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
export HADOOP_HOME PATH

让环境变量生效：

source /etc/profile

验证hadoop

hadoop version

集群配置

cd  /usr/local/applications/hadoop-3.3.6/etc/hadoop/

HDFS集群配置

配置：hadoop-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_431

指定NameNode节点以及数据存储目录（修改core-site.xml）

<!-- 指定HDFS中NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://localhost1:9000</value></property><!-- 指定Hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/usr/local/applications/hadoop-3.3.6/data/tmp</value></property>

指定secondarynamenode节点(修改hdfs-site.xml)

    <!-- 指定Hadoop辅助名称节点主机配置 --><property><name>dfs.namenode.secondary.http-address</name><value>localhost3:50090</value></property><!--副本数量 --><property><name>dfs.replication</name><value>3</value></property>

指定datanode从节点(修改workers文件，每个节点配置信息占一行)

localhost1
localhost2
localhost3

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

MapReduce集群配置

指定MapReduce使用的jdk路径（修改mapred-env.sh）

export JAVA_HOME=/usr/local/java/jdk1.8.0_431

指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml)

    <!-- 指定MR运行在Yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>

Yarn集群配置

指定JDK路径

vi yarn-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_431

指定ResourceMnager的master节点信息(修改yarn-site.xml)

    <!-- 指定YARN的ResourceManager的地址 --><property><name>yarn.resourcemanager.hostname</name><value>localhost2</value></property><!-- Reducer获取数据的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

分发配置

远程复制文件夹：将localhost1 配置好的Hadoop 复制到localhost2 和localhost3

scp -r /usr/local/applications/hadoop-3.3.6 root@localhost2:/usr/local/applications/hadoop-3.3.6
scp -r /usr/local/applications/hadoop-3.3.6 root@localhost3:/usr/local/applications/hadoop-3.3.6

配置SSH 密钥登陆

生成Key Pairs

在三台节点分别生成 Key Pairs，默认名字 id_rsa，千万不要改。

ssh-keygen -t rsa -C "root@localhost1"
ssh-keygen -t rsa -C "root@localhost2"
ssh-keygen -t rsa -C "root@localhost3"

key pairs 默认生产到 ~/.ssh/

[root@localhost1 .ssh]# ll
total 16
-rw-------. 1 root root 1191 Jan  5 20:22 authorized_keys
-rw-------. 1 root root 1679 Jan  5 20:04 id_rsa
-rw-r--r--. 1 root root  397 Jan  5 20:04 id_rsa.pub
-rw-r--r--. 1 root root  564 Jan  5 10:40 known_hosts

把三个节点的公钥互相发送到每个节点

添加公钥到远程服务器

ssh-copy-id root@localhost2
ssh-copy-id root@localhost3

添加公钥到本地

cat localhost1.pub >> authorized_keys

添加完成以后三个节点都有了所有节点的公钥

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDTmy6v6Xsv4893ofLyMVyct439T4ePv/OfEtpMPtBqLsobyiDV1Ih0H17oxI8Mk4UvZIEgokyLDq8lz8n3v4Vr5RfaCLRvbFEmn7SEzV+tBeRd9tO9rccaSjBT5NfOlFpLecucbA1JP3sS1PgVmyGvD6xE490gD1EGKWDi04fxifwvrEJPxkIRS/FKKik1fB4IRtReKQlAkh/JwE3mvBdNbL0jeOKiB01ofQfV2xoOgooBJSkQNhRqxtPccWuH6GrKK3uTTpPZWZvCoW1vHKOaOH59AGFuRlrO6yobLdQueS/VE8jx7VdlZonICorgQuxUwQsCR9Ys+xKRwcpTtWin root@localhost1
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDdRLWUfYgCZ5KS2yC6BaOtCz/nsnb6EjO8jt6q8o9deen3+/jN/hnqhHFAEPRFGKq4WwPy4awYlo1sqDxgc8GrpzUUUnkIsnERhXp9L0df99X360t9QgNwNiz3ayTa40oAT0Zg1GbftjRH/foJIReEUA1IjGTAphTQYnKwWMsTOXeIqI7A2QeUUQvxVkNWJ/lTO59vCxIA0NJUkgdMgXImfGlb23gtX/RlJ0NCqdoOm83qrNLHcC+iIwOrKpFx9v88qdajiDi+pI1AqWz1fQD6LpIx9OojM9ZPb2VYvCSt4smvCECxH+r3/HOB68+bumynm2w26XQumZA/utpQgJaH root@localhost2
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDAZ36gymNo4jmEkeS9fuwSlZ5mceFPOQcmgKnfSEi4LWzRdg1hmHK3bOzFabnRLaKGZvtK1GBFtZFHF8LAmP4/BXyDAxpU2/kFkWjn+z/Cu4bfAUl98M1Gqj7L3iv360wpGLz/VB65YIBxn88sac4hEZZUSFNMZxbRm2MIdN05YVgN7z84nLph3VNLzfpdfqnn6fLP8Fu6qwd8NaE91M95Lf7xBIdO1k0+/4/RLjTWfnpo4pKw1YM1CgGQEuz0JW6+yNuDyDwtlgNXDZeOni9JBjda/UQckguQMDDFrRzgsFTK9j5tywJQSlE0TDXIqyIUSgiajO6V//XGFP1weVLP root@localhost3

关闭防火墙

三个linux节点都需要关闭防火墙，这个Hadoop集群才能互相访问。

临时关闭

systemctl stop firewalld

永久关闭

systemctl stop firewalldsystemctl disable firewalld

查看防火墙状态

systemctl status firewalld

启动集群

1，Namenode执行格式化

hadoop namenode -format

注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode，非第一次不用执行格式化Namenode操作！！

2，启动HDFS

在namenode 节点执行：

cd /usr/local/applications/hadoop-3.3.6/sbin/start-dfs.sh

3，启动YARN

在ResouceManager节点执行：

cd /usr/local/applications/hadoop-3.3.6/sbin/start-yarn.sh

4，启动完成后

查看三台节点进程

[root@localhost1 hadoop-3.3.6]# jps
5232 Jps
4775 DataNode
4623 NameNode
5119 NodeManager[root@localhost2 hadoop-3.3.6]# jps
3001 ResourceManager
3161 NodeManager
3514 Jps
2796 DataNode[root@localhost3 ~]# jps
2793 DataNode
2907 SecondaryNameNode
3115 Jps
2991 NodeManager

5， web端查看Hdfs界面

http://localhost1:9870/dfshealth.html#tab-overview

集群测试

1, HDFS 分布式存储

在locahost1创建并上传文件

#创建hdfs 文件夹
hdfs dfs -mkdir -p /test/input#本地hoome目录创建一个文件
cd /root/tmp
vi test.txt
hello world
#上传linxu文件到Hdfs
hdfs dfs -put /root/tmp/test.txt /test/input

在localhost2 尝试下载

#从Hdfs下载文件到linux本地
hdfs dfs -get /test/input/test.txt

去hdfs文件目录页面去查看

http://localhost1:9870/explorer.html#/

2， MapReduce 分布式计算

在HDFS文件系统根目录下面创建一个wcinput文件夹

hdfs dfs -mkdir /wcinput

在/root/tmp 目录下创建一个wc.txt文件(本地文件系统)

vi wc.txthadoop mapreduce yarn
hdfs hadoop mapreduce
mapreduce yarn jack
jack
jack neil neil neil

上传wc.txt到Hdfs目录/wcinput下

hdfs dfs -put wc.txt /wcinput

执行程序

执行程序之前，/wcinput必须存在， /wcoutput必须不存在。

cd $HADOOP_HOMEhadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /wcinput /wcoutput

执行程序的时候可能回报错，

需要修改 /usr/local/applications/hadoop-3.3.6/etc/hadoop/mapred-site.xml

加入以下配置。不需要重启服务。

<property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

然后再次执行程序

查看结果

[root@localhost1 hadoop-3.3.6]# hdfs dfs -cat /wcoutput/part-r-00000
hadoop	2
hdfs	1
jack	3
mapreduce	3
neil	3
yarn	2

也可以到页面上下载结果

YARN RESOURCE MANAGER 页面查看程序执行情况
http://localhost2:8088/cluster

搭建Hadoop分布式集群

软件和操作系统版本 Hadoop框架是采用Java语言编写，需要java环境（jvm） JDK版本：JDK8版本 ，本次使用的是 Java: jdk-8u431-linux-x64.tar.gz Hadoop: hadoop-3.3.6.tar.gz 三台Linux虚拟节点: CentOS-7-x86_64-DVD-2…...

编程日记 2025/7/6 5:52:06

网络安全应急响应技术原理与应用

网络安全应急响应概述 “居安思危，思则有备，有备无患。”网络安全应急响应是针对潜在发生的网络安全事件而采取的网络安全措施。本节主要阐述网络安全响应的概念、网络安全应急响应的发展、网络安全应急响应的相关要求。 17.1.1 网络安全应急响应概念网…...

编程日记 2025/7/5 16:37:27

01 Oracle自学环境搭建

1 Oracle12C安装 1.1 下载官网地址：https://www.oracle.com/ 解压安装包运行安装程序 1.2 安装配置安全更新软件更新安装选项系统类 Oracle主目录用户选择使用现有windows用户：如果选择该项，则需要指定没有管理权限的用户。创建新Wi…...

编程日记 2025/7/2 7:08:09

MYSQL----------MySQL权限管理

1 MySQL权限管理 .1.1 权限系统的工作原理查看用户权限 -- 查看用户的权限 SHOW GRANTS FOR usernamelocalhost;解释：这条SQL语句用于查看指定用户在本地主机上的权限。其中username是要查看权限的用户。 .1.2 权限表的存取查询权限表（以user表为例&a…...

编程日记 2025/7/3 5:13:52

学习HLS.js

前言 HTTP 实时流（也称为HLS（.m3u8））是一种基于HTTP的自适应比特率流通信协议。HLS.js依靠HTML5视频和MediaSource Extensions进行播放，其特点：视频点播和直播播放列表、碎片化的 MP4 容器、加密媒体扩展 …...

编程日记 2025/7/6 20:38:40

Zustand selector 发生 infinate loops的原因以及解决

Zustand selector 发生 infinate loops 做zustand tutorial project的时候，使用选择器方法引入store，出现Maximum update depth exceeded,也就是组件一直重新渲染，改成直接使用store就没有不会出现这个问题。如下： // const [xIs…...

编程日记 2025/7/2 21:33:47

1.参考链接 2.应用 target并设置多选编辑添加[CanEditMultipleObjects] using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEditor;[CustomEditor(typeof(LightsState))] [CanEditMultipleObjects] public class TestInspector :…...

编程日记 2025/7/7 3:41:46

donet （MVC）webAPI 的接受json 的操作

直接用对象来进行接收，这个方法还不错的。 public class BangdingWeiguiJiluController : ApiController{/// <summary>/// Json数据录入错误信息/// </summary>/// <param name"WeiguiInfos"></param>/// <returns></r…...

编程日记 2025/7/7 4:12:11

GitHub 新手入门指南

一、GitHub 简介 GitHub 是全球最大的代码托管平台，它基于 Git 版本控制系统，为开发者提供了一个集中存储、管理和协作开发代码的空间。在这里，你可以找到无数开源项目，也可以将自己的项目与全球开发者社区共享，促进知…...

编程日记 2025/7/7 4:13:53

Django后端相应类设计

通用的ApiResponse类：用于生成统一的 API 响应格式。每个响应都包含以下字段（每个接口最终的返回数据格式）： status_code：HTTP 状态码（如 200、400、500 等）message：响应的描述信息…...

编程日记 2025/6/28 13:45:32

完美解决VMware 17.0 Pro安装ubuntu、Deepin等虚拟机后卡顿、卡死问题

这两天在 VM 17 Pro 中安装了ubuntu 24.1 和Deepin 23.9 等Linux操作系统，在使用过程中出现过数次卡顿、卡死问题，现记录整理解决方法如下： 一、问题描述安装虚拟机时、以及安装完成后正常使用时出现鼠标点击卡顿、系统反应慢、卡死等问题…...

编程日记 2025/7/7 4:08:51

前端图片上鼠标画矩形框，标注文字，任意删除

效果： 页面描述： 对给定的几张图片，每张能用鼠标在图上画框，标注相关文字，框的颜色和文字内容能自定义改变，能删除任意画过的框。实现思路： 1、对给定的这几张图片，用分页器绑定…...

编程日记 2025/7/7 2:36:29

【Oracle篇】深入了解执行计划中的访问路径(含表级别、B树索引、位图索引、簇表四大类访问路径)

💫《博主介绍》：✨又是一天没白过，我是奈斯，从事IT领域✨ 💫《擅长领域》：✌️擅长阿里云AnalyticDB for MySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控；并对SQLserver、NoSQL(…...

编程日记 2025/7/5 6:40:47

ROS2+OpenCV综合应用--11. AprilTag标签码跟随

1. 简介 apriltag标签码追踪是在apriltag标签码识别的基础上，增加了小车车体运动的功能，控制车体从而使摄像头会保持标签码在视觉中间左右运动，在根据物体在摄像头成像近大远小的原理根据这一特性，从而实现标签码跟随功能。 2. 启…...

编程日记 2025/7/4 19:06:04

第四、五章图论和网络爬虫+网络搜索

第四章图论和网络爬虫 4.1 构建网络爬虫工程重点构建网络爬虫的重点用BFS还是DFS 在不考虑时间的情况下，这两种不同的搜索方法都可以在相同的时间下爬下整个静态的互联网内容，但是在现实中肯定是需要考虑时间以及互联网动态变化的。所以重点应该是如…...

编程日记 2025/7/6 22:23:25

PyMysql 01|（包含超详细项目实战）连接数据库、增删改查、异常捕获

目录一、数据库操作应用场景二、安装PyMysql 三、事务的概念四、数据库的准备五、PyMysql连接数据库 1、建立连接方法 2、入门案例六、PyMysql操作数据库 1、数据库查询 1️⃣查询操作流程 2️⃣cursor游标 3️⃣查询常用方法 4️⃣案例 5️⃣异常捕获 …...

编程日记 2025/7/6 16:29:05

(No space left on device )

错误日志： org.springframe tipart.MultipartException: Failed to parse multipart servlet request: nested excepti /ROOT/upload_e5046403_6cd4_4673_3313_479fb76773fe_00000004.tmp (No space left on device ) 分析： (No space left on devi…...

编程日记 2025/7/7 3:52:15

Conmi的正确答案——Cordova使用“src-cordova/config.xml”编辑“Android平台”的“uses-permission”

Cordova版本：12.0.0 (cordova-lib12.0.1) 1、配置例程： <platform name"android"><config-file target"AndroidManifest.xml" parent"/manifest"><uses-permission android:name"android.permission…...

编程日记 2025/7/6 18:32:44

LLaMA-Factory web微调大模型并导出大模型

LLaMA-Factory 开源大模型如LLaMA，Qwen，Baichuan等主要都是使用通用数据进行训练而来，其对于不同下游的使用场景和垂直领域的效果有待进一步提升，衍生出了微调训练相关的需求，包含预训练（pt）&am…...

编程日记 2025/7/5 8:52:19

针对数据库系统安全的漏洞扫描加固工具【WebSocket + MySQL】

一、系统背景随着信息技术的迅猛发展和互联网的普及，数据库作为存储、管理和检索大量数据的关键组件，其安全性对于企业和组织来说至关重要。然而，由于网络环境的复杂性和攻击手段的多样性，数据库面临着越来越多的安全威胁&#…...

编程日记 2025/7/3 1:18:20

汽车基础软件AutoSAR自学攻略(三)-AutoSAR CP分层架构(2)

汽车基础软件AutoSAR自学攻略(三)-AutoSAR CP分层架构(2) 下面我们继续来介绍AutoSAR CP分层架构，下面的文字和图来自AutoSAR官网目前最新的标准R24-11的分层架构手册。该手册详细讲解了AutoSAR分层架构的设计，下面让我们来一起学习一下。 Introductio…...

编程日记 2025/7/2 7:21:35

《PC 上的开源神经网络多模态模型：开启智能交互新时代》

《PC 上的开源神经网络多模态模型：开启智能交互新时代》一、引言二、多模态模型基础剖析（一）核心概念解读（二）技术架构探秘三、开源多模态模型的独特魅力（一）开源优势尽显（二&…...

编程日记 2025/7/4 8:48:23

Docker Desktop 构建java8基础镜像jdk安装配置失效解决

Docker Desktop 构建java8基础镜像jdk安装配置失效解决文章目录 1.问题2.解决方法3.总结 1.问题之前的好几篇文章中分享了在Linux(centOs上)和windows10上使用docker和docker Desktop环境构建java8的最小jre基础镜像，前几天我使用Docker Desktop环境重新构建了一个…...

编程日记 2025/7/1 17:11:47

【算法】八大排序算法

这篇文章是对数据结构中八大经典排序算法的详解，包括其原理、实现过程、时间复杂度、空间复杂度及其适用场景。最后两种排序不常见，但仍收录了进来保持文章结构的完整性。排序(Sort)是将无序的记录序列（或称文件）调整成有序的…...

编程日记 2025/7/6 21:28:52

pytest+allure 入门

使用allure如何生成自动化测试报告 ？一文详解allure的使用。_allure测试报告-CSDN博客例子： import allure import pytest import osallure.epic("闹钟") allure.feature("闹钟增删") class TestSchedule():def setu…...

编程日记 2025/7/4 18:42:30

算法--最大公约数，最小公倍数

1. 求两个数的最大公约数，最小公倍数解释：这里Mymin和Mymax函数是自定义用于获取两数最大值和最小值的求最大公约数的时候只需要得到两数之中最小的一项，向下逐个判断直到等于1 求最小公倍数的时候只需要得到两数之中最大的一项&#xf…...

编程日记 2025/7/6 19:55:46

【跨域问题】

跨域问题官方概念： 当一个请求url的协议、域名、端口三者之间任意一个与当前页面url不同即为跨域本质来说，是前端请求给到后端时候，请求头里面，有一个 Origin ，会带上协议域名端口号等；后端接受到请求&…...

编程日记 2025/7/4 20:48:42

为什么在二维卷积操作中，将宽度（W）维度放在高度（H）之前会破坏空间局部性原则，并影响缓存性能

空间局部性原则空间局部性指的是程序倾向于访问与最近访问过的内存位置接近的内存位置。对于深度学习模型中的张量数据，这意味着当处理图像或特征图时，如果能够连续地访问相邻像素的数据，那么可以最大化利用CPU/GPU缓存，因为缓存…...

编程日记 2025/7/6 8:17:01

【C语言】_函数指针数组/转移表与回调函数

目录 1. 示例1：函数指针数组的简单使用 2. 示例2：多同类型函数调用 2.1 switch-case实现 2.2 switch-case函数指针 2.3 函数指针数组实现 3. 回调函数关于函数指针，专栏文章链接如下：【C语言】_函数指针变量-CSDN博客https…...

编程日记 2025/7/1 20:20:08

《通过财报看企业》

“借贷关系”“净资产收益率”“财务报表”、净利润、盈利能力、现金流第1章净利润：决定一家公司的股价能涨多高企业经营：存货周转率企业市值：市值净利润市盈率龙头企业：行业内收入规模最大、盈利能力最强，…...

编程日记 2025/7/4 18:26:49

年度技术突破奖｜中兴微电子引领汽车芯片新变革

随着以中央计算区域控制为代表的新一代整车电子架构逐步成为行业主流，车企在电动化与智能化之后，正迎来以架构创新为核心的新一轮技术竞争。中央计算SoC，作为支撑智驾和智舱高算力需求的核心组件，已成为汽车电子市场的重要新增量。…...

编程日记 2025/7/6 21:36:40

力扣经典题目之912.排序数组（使用希尔排序解决）

今天继续给大家分享一道力扣的做题心得今天这道题目是 912.排序数组题目链接：912. 排序数组 - 力扣（LeetCode） 题目：给你一个整数数组 nums，请你将该数组升序排列。你必须在不使用任何内置函数的情况下解决问题…...

编程日记 2025/7/1 19:15:48

QT升级及下载缓慢的问题解决办法

QT升级及下载缓慢的问题解决办法 QT安装慢解决办法： 官方下载地址: https://www.qt.io/download-dev 点开后点击download 填写相关信息后即可下载完成线上安装工具。安装工具（qt-online-installer-windows-x64-4.8.1.exe） 如下图: 此时不…...

编程日记 2025/7/2 19:13:23

List详解 - 双向链表的操作

在C中，std::list是标准模板库（STL）中的一个容器，它实现了双向链表的数据结构。与数组或向量（std::vector）不同，std::list允许在常数时间内进行插入和删除操作，尤其是在链表的任意位置…...

编程日记 2025/7/1 4:48:45

公众号如何通过openid获取unionid

通过接口 https://api.weixin.qq.com/cgi-bin/user/info?access_tokenxxxxxxx&langzh_CN 返回的数据如下： 前提是必须绑定微信开放平台 token如何获取呢代码如下： String tokenUrl "https://api.weixin.qq.com/cgi-bin/token"; …...

编程日记 2025/7/3 18:28:21

AIP-1 AIP目的和指南

原文AIP-1: AIP Purpose and Guidelines 随着Google API数量不断增加，API治理团队不断扩张，以满足API维护工作需求。越来越有必要为API生产者、审查者和其他相关方提供一套参考文档。API风格指南和一站式介绍文档简洁扼要。AIP集合提供了一种产出一致性…...

编程日记 2025/7/1 23:52:20

【学习】CMMM智能制造能力成熟度评估的重要性

CMMM认证通过对企业当前生产状态的全面评估，能够精准地确定其智能化生产的程度，并将企业的智能化生产水平划分为五个等级，包括初始级、已定义级、以管理级、卓越级和顶级。这种等级划分使得不同类型的企业能够根据自身实际情况，选…...

编程日记 2025/7/2 6:37:16

WebGIS在应急灾害中对村庄、风景区、机场的影响范围应用-以日喀则市定日县地震为例

目录前言一、关于影响范围 1、震中距离5公里 2、震中20公里范围 3、20到80公里范围二、空间查询知识 1、相关数据介绍 2、空间数据查询三、前后端数据查询以及web可视化实现 1、后台API实现 2、WebGIS前端实现四、Web成果展示 1、空间位置分析 2、包含风景区…...

编程日记 2025/7/3 13:04:34

Flink系列知识讲解之：网络监控、指标与反压

Flink系列知识之：网络监控、指标与反压在上一篇博文中，我们介绍了 Flink 网络协议栈从高层抽象到底层细节的工作原理。本篇博文是网络协议栈系列博文中的第二篇，在此基础上，我们将讨论如何监控网络相关指标，以识别吞…...

编程日记 2025/7/4 5:05:51

Postman接口测试05|实战项目笔记

目录一、项目接口概况二、单接口测试-登录接口：POST 1、正例 2、反例 ①姓名未注册 ②密码错误 ③姓名为空 ④多参 ⑤少参 ⑥无参三、批量运行测试用例四、生成测试报告 1、Postman界面生成 2、Newman命令行生成五、token鉴权（“…...

编程日记 2025/7/2 16:12:05

人工智能学习路线全链路解析

一、基础准备阶段（预计 2-3 个月） （一）数学知识巩固与深化线性代数（约 1 个月）： 矩阵基础：回顾矩阵的定义、表示方法、矩阵的基本运算（加法、减法、乘法）&…...

编程日记 2025/7/1 1:17:11

图像处理 | 图像二值化

在图像处理领域，图像二值化是一个重要的操作，它将彩色或灰度图像转换为只有两种颜色（通常是黑白）的图像。二值化广泛应用于文字识别、图像分割、边缘检测等领域，尤其在处理简洁和高对比度的图像时非常有效。本文将深入…...

编程日记 2025/7/1 16:06:38

ASP.NET Core 中服务生命周期详解：Scoped、Transient 和 Singleton 的业务场景分析

前言在 ASP.NET Core 中，服务的生命周期直接影响应用的性能和行为。通过依赖注入容器 (Dependency Injection, DI)，我们可以为服务定义其生命周期：Scoped、Transient 和 Singleton。本文将详细阐述这些生命周期的区别及其在实际业务中的应用…...

编程日记 2025/7/6 19:03:48

鼠标自动移动防止锁屏的办公神器 —— 定时执行专家

目录 ◆ 如何设置 ◇ 方法1：使用【执行Nircmd命令】任务 ◇ 方法2：使用【模拟键盘输入】任务 ◆ 定时执行专家介绍 ◆ 定时执行专家最新版下载 ◆ 如何设置 ◇ 方法1：使用【执行Nircmd命令】任务 1、点击工具栏第一个图标【新建任务】&…...

编程日记 2025/7/6 12:20:02

开源库：jcon-cpp

说明 jcon-cpp 是一个用于 C 的 JSON-RPC 库，它允许开发者通过 JSON-RPC 协议进行进程间通信（IPC）。JSON-RPC 是一种轻量级的远程过程调用协议，基于 JSON 格式数据进行通信。基于MIT协议，最新代码基于Qt6实现。可通过…...

编程日记 2025/7/2 9:29:24

Docker入门之docker基本命令

Docker入门之docker基本命令官方网站：https://www.docker.com/ 1. 拉取官方镜像并创建容器（以redis为例） 拉取官方镜像 docker pull redis# 如果不需要添加到自定义网络使用这个命令，如需要，直接看第二步 docker r…...

编程日记 2025/7/6 6:19:36

C++ Qt练习项目 QChar功能测试

个人学习笔记代码仓库 GitCode - 全球开发者的开源社区,开源代码托管平台新建项目设计UI 1、拖入group box去掉名字 2、拖入2个LineEdit 3、拖入两个Label 4、拖入两个PushButton 5、点栅格布局 1、拖入GroupBox 2、拖入4个PushButton 3、点栅格布局 1、拖入GroupBo…...

编程日记 2025/7/4 22:22:41

Taro+react 开发第一节创建带有redux状态管理的项目

Taro 项目基于 node，请确保已具备较新的 node 环境（>16.20.0），推荐使用 node 版本管理工具 nvm 来管理 node，这样不仅可以很方便地切换 node 版本，而且全局安装时候也不用加 sudo 了。 1.安装 npm inf…...

编程日记 2025/7/2 4:33:09

【SOC 芯片设计 DFT 学习专栏 -- RTL 中的信号名和 Netlist 中的信号名差异】

Overview 本文将介绍 soc 设计中 RTL-to-Netlist 映射及 RTL 中的信号名和 Netlist 中的信号名差异， 在 SoC设计中，RTL-to-Netlist映射是从RTL（Register Transfer Level）代码转换为Netlist的过程。这通常涉及将用硬件描述语言&…...

编程日记 2025/7/5 11:41:50

551 灌溉

常规解法： #include<bits/stdc.h> using namespace std; int n,m,k,t; const int N105; bool a[N][N],b[N][N]; int cnt; //设置滚动数组来存贮当前和下一状态的条件 //处理传播扩散问题非常有效int main() {cin>>n>>m>>t;for(int i1;i&l…...

编程日记 2025/7/2 6:38:37