当前位置： 首页 > news >正文

cdh平台管理与运维最佳实践

news 来源：原创 2025/6/21 22:18:09

一、容量规划：构建可持续扩展的数据湖底座

1.1 资源评估三维模型
容量规划
计算资源
存储资源
网络资源
YARN vCore/MEM
Spark Executor配置
HDFS存储策略
冷热数据分层
机架感知策略
带宽预留

计算资源公式：

总vCore需求 = Σ（任务并行度 × 单任务vCore） × 冗余系数（1.2-1.5）
总内存需求 = Σ（Executor数量 × Executor内存） + 系统预留（20%）

1.2 CDH配置实践

# YARN资源配置示例（yarn-site.xml）
<property><name>yarn.nodemanager.resource.cpu-vcores</name><value>16</value> <!-- 物理核数 × 超线程系数 -->
</property>
<property><name>yarn.scheduler.maximum-allocation-mb</name><value>24576</value> <!-- 单节点最大内存 -->
</property># HDFS存储策略（Storage Policy）
hdfs storagepolicies -setStoragePolicy -path /data/hot -policy HOT
hdfs storagepolicies -setStoragePolicy -path /data/cold -policy COLD

二、权限管理体系：安全与效率的平衡术

2.1 认证与授权架构

              +---------------+|  Kerberos KDC |+-------↑-------+|
+------------------+  |  +------------------+
|  CDH Service     |←-+--|  User/Group      |
|  (HDFS/YARN/Hive)|     +------------------+
+------------------++---------------+|  Apache Sentry|+-------↑-------+|
+------------------+  |  +------------------+
|  SQL Engine      |←-+--|  Role Policy     |
|  (Hive/Impala)   |     +------------------+
+------------------+

2.2 细粒度权限控制示例

-- 创建Sentry角色
CREATE ROLE etl_developer;
GRANT ALL ON DATABASE ods TO ROLE etl_developer;
GRANT SELECT ON TABLE dws.user_analysis TO ROLE etl_developer;-- HDFS ACL设置
hdfs dfs -setfacl -m user:etl_user:rwx /user/hive/warehouse/ods
hdfs dfs -setfacl -m group:data_team:r-x /data/raw

三、任务调度：构建高效可靠的数据流水线

3.1 Oozie工作流设计规范

<workflow-app name="etl-pipeline" xmlns="uri:oozie:workflow:0.5"><start to="hive-etl"/><action name="hive-etl"><hive xmlns="uri:oozie:hive-action:0.2"><job-tracker>${jobTracker}</job-tracker><name-node>${nameNode}</name-node><configuration><property><name>mapreduce.job.queuename</name><value>etl</value></property></configuration><script>etl_script.hql</script></hive><ok to="spark-ml"/><error to="fail-email"/></action><action name="spark-ml"><spark xmlns="uri:oozie:spark-action:0.1"><job-tracker>${jobTracker}</job-tracker><name-node>${nameNode}</name-node><master>yarn-cluster</master><mode>cluster</mode><name>ML Processing</name><class>com.example.MLJob</class><jar>/jobs/ml-processing.jar</jar><spark-opts>--executor-memory 8G --num-executors 10</spark-opts></spark><ok to="end"/><error to="fail-email"/></action><kill name="fail-email"><message>ETL Job Failed</message></kill><end name="end"/>
</workflow-app>

调度策略优化：

  • 使用Fair Scheduler进行队列资源分配
  • 设置任务优先级（oozie.launcher.mapreduce.job.priority）
  • 实现任务依赖的动态调整

四、任务并行：最大化集群利用率的艺术

4.1 YARN资源调度策略

# capacity-scheduler.xml 关键配置
<property><name>yarn.scheduler.capacity.root.queues</name><value>etl,bi,default</value>
</property>
<property><name>yarn.scheduler.capacity.root.etl.capacity</name><value>40</value> <!-- 队列容量占比 -->
</property>
<property><name>yarn.scheduler.capacity.root.etl.maximum-capacity</name><value>60</value> <!-- 最大弹性容量 -->
</property>

4.2 Spark任务并行优化

from pyspark.sql import SparkSessionspark = SparkSession.builder \.appName("Parallel Processing") \.config("spark.executor.instances", "20") \.config("spark.executor.cores", "4") \.config("spark.sql.shuffle.partitions", "200") \.config("spark.default.parallelism", "200") \.getOrCreate()# 数据倾斜处理方案
df = spark.read.parquet("/data/raw")
df_repartition = df.repartition(100, "user_id") \.withColumn("salt", (rand() * 10).cast("int"))

并行度计算公式：

理想并行度 = min(总数据量/128MB, 集群总核心数 × 2)

五、监控与调优：数据平台的健康管理

5.1 Cloudera Manager监控指标

指标类别关键指标报警阈值
HDFS健康度Used Space%, Missing Blocks>85%, >0
YARN资源Pending Containers, AM Fail>100, >5次/小时
任务执行任务时长波动率, Fail Rate>30%, >5%

5.2 性能调优案例

场景：Hive查询速度下降50%
排查步骤：

  1. 检查执行计划：EXPLAIN FORMATTED query_sql
  2. 验证统计信息：ANALYZE TABLE tbl COMPUTE STATISTICS
  3. 优化存储格式：转换TextFile为ORC
  4. 调整并行度：set hive.exec.parallel=true;
  5. 检查数据倾斜：SELECT key, count(1) FROM tbl GROUP BY key

六、灾备与恢复：构建高可用架构

6.1 跨集群数据同步方案

# DistCp跨集群复制
hadoop distcp \-Ddfs.client.socket-timeout=240000000 \-Dipc.client.connect.timeout=40000000 \-update \hdfs://cdh-prod/data/warehouse \hdfs://cdh-dr/data/warehouse# HBase快照导出
hbase snapshot export \-snapshot daily_snapshot \-copy-to hdfs://cdh-dr/hbase-backups

6.2 组件高可用配置

组件高可用方案故障切换时间
HDFSNameNode HA + JournalNode<60秒
YARNResourceManager HA<30秒
HiveMetastore多实例 + Load Balancer即时切换
ImpalaCatalog Daemon HA<10秒

通过本文的实践指南，您将能够构建出高效稳定的大数据平台。建议定期执行以下维护操作：

  1. 每月进行容量预测与调整
  2. 每周审核权限变更记录
  3. 每日检查调度任务执行情况
  4. 实时监控集群健康指标

附：CDH平台常用管理命令速查

# 服务管理
sudo service cloudera-scm-server restart# 资源查看
yarn application -list
hdfs dfsadmin -report# 安全审计
klist -kte /etc/security/keytabs/hdfs.headless.keytab

相关文章：

cdh平台管理与运维最佳实践

一、容量规划&#xff1a;构建可持续扩展的数据湖底座 1.1 资源评估三维模型 #mermaid-svg-f455GhWoSD6qmLzX {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-f455GhWoSD6qmLzX .error-icon{fill:#552222;}#mermaid…...

编程日记 2025/6/21 22:18:09

未来乘用车电气/电子（E/E）架构与商用车电气/电子架构有何不同？

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 钝感力的“钝”，不是木讷、迟钝，而是直面困境的韧劲和耐力，是面对外界噪音的通透淡然。 生活中有两种人，一种人格外在意别人的眼光;另一种人无论…...

编程日记 2025/6/21 20:53:05

第25周：DenseNet+SE-Net实战

目录 前言 1.准备工作 2.查看数据 3.划分数据集 4.创建模型 5.编译及训练模型 6.结果可视化 7.总结 前言 &#x1f368; 本文为&#x1f517;365天深度学习训练营中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 1.准备工作 import torch import torch.nn as nn imp…...

编程日记 2025/6/21 6:00:21

【ESP32-IDF笔记】20-配置以太网网络(W5500)

环境配置 Visual Studio Code &#xff1a;版本1.98.2 ESP32&#xff1a;ESP32-S3 ESP-IDF&#xff1a;V5.4 模块&#xff1a;W5500&#xff0c;SPI通讯协议 组件支持&#xff1a;esp_eth 官方的ethernet 以太网组件 W5500介绍 介绍 W5500 是一款全硬件 TCP/IP 嵌入式以太网…...

编程日记 2025/5/31 4:14:42

python源码打包为可执行的exe文件

文章目录 简单的方式&#xff08;PyInstaller&#xff09;特点步骤安装 PyInstaller打包脚本得到.exe文件 简单的方式&#xff08;PyInstaller&#xff09; 特点 支持 Python 3.6打包为单文件&#xff08;–onefile&#xff09;或文件夹形式自动处理依赖项 步骤 安装 PyIns…...

编程日记 2025/6/21 1:34:45

在vscode终端中运行npm命令报错

解决方案 这个错误信息表明&#xff0c;你的系统&#xff08;可能是 Windows&#xff09;阻止了 PowerShell 执行脚本&#xff0c;这是由于 PowerShell 的执行策略导致的。PowerShell 的执行策略控制着在系统上运行哪些 PowerShell 脚本。默认情况下&#xff0c;Windows 可能…...

编程日记 2025/6/20 22:13:52

Canvas入门教程！！【Canvas篇二】

没有一朵花&#xff0c;从一开始就是花。 目录 translate() 方法&#xff1a;rotate() 方法&#xff1a;scale() 方法&#xff1a; translate() 方法&#xff1a; Canvas 2D API 的 CanvasRenderingContext2D.translate() 方法用于对当前网格添加平移变换。 translate() 方法通…...

编程日记 2025/5/30 14:14:23

windows服务器及网络：搭建FTP服务器

前言&#xff1a;&#xff08;各位大佬们&#xff0c;昨天太忙了&#xff0c;整得没有发布昨天那该写的那一篇&#xff0c;属实有点可惜的说QAQ&#xff0c;不过问题已经解决&#xff0c;我又回来啦&#xff09; 今天我要介绍的是在Windows中关于搭建FTP服务器的流程与方法 注…...

编程日记 2025/6/3 13:32:15

[4A/OP]

2.2 安装程序 2.2.1 解压缩.tar.gz文件 调用UNIX命令tar会在当前目录下创建4A/OP子例程主目录4AOP-1.5/&#xff0c;包括所有必要的子目录。只需键入以下命令即可解压缩和“untar”4AOP-1.5.tar.gz&#xff1a; tar -xzvf 4AOP-1.5.tar.gz4AOP-1.5/目录现在应该已经创建&…...

编程日记 2025/6/4 1:31:15

C++学习之网络攻防以及信息搜索

目录 1.课程安排 2.课程介绍 3.渗透测试 4.ptes渗透测试执行标准的介绍 5.网络攻防环境的介绍 6.kali系统的介绍和调整 7.搜索引擎踩点 8.dnsenum和nslookup 9.whois命令 10.traceroute命令 11.复习 12.traceroute原理 13.telnet命令 14.在线存货ping 15.nmap扫描…...

编程日记 2025/6/20 8:34:35

4.5/Q1，GBD数据库最新文章解读

文章题目&#xff1a;Cross-Country Inequalities in Disease Burden and Quality of Care of Stroke, 1990-2021: A Systematic Analysis of the Global Burden of Disease Study 2021 DOI&#xff1a;10.1111/ene.70050 中文标题&#xff1a;1990 年至 2021 年中风疾病负担和…...

编程日记 2025/6/21 13:18:03

py语法基础理解

条件判断 只有if-else等我语句，Python不支持switch语句 单if语句 if 条件语句: 条件为真时执行的内容 if-else语句 if 条件语句: 条件为真时执行的内容 else: 条件为假时执行的内容 if-elif语句 else if if 条件语句1: 条件语句1为真时执行的内容 elif 条件语句…...

编程日记 2025/6/20 2:04:19

python——异常

1、定义 异常是在代码执行过程中发生的&#xff0c;它会影响到程序的正常运行。python程序不会自动来进行异常处理。python中常见异常父类&#xff1a;Exception。 2、常见异常 TypeError&#xff1a;类型错误异常。ValueError&#xff1a;值的异常。KeyError&#xff1a;键…...

编程日记 2025/6/3 16:39:00

深入理解指针（4）

1.二级指针 如何理解呢&#xff1f; 1.pp的类型是int * * ——二级指针类型 2.p指向a&#xff0c;a的类型是int 3.int * * pp 其中 int * 在说明 pp 是指向 p 的类型 int * ,第二个 * 说明 pp 是指针变量 4.p 1 跳过 4 个字节 &#xff0c; pp 1 跳过 4 或者 8 个字节&am…...

编程日记 2025/5/30 8:36:00

Apipost免费版、企业版和私有化部署详解

Apipost是企业级的 API 研发协作一体化平台&#xff0c;为企业提供 API研发测试管理全链路解决方案&#xff0c;不止于API研发场景&#xff0c;增强企业API资产管理。 Apipost 基于同一份数据源&#xff0c;同时提供给后端开发、前端开发、测试人员使用的接口调试、Mock、自动化…...

编程日记 2025/5/31 8:25:23

小火电视桌面 TV版 老旧历史版本安装包 官方免费下载

如果你还在为小火桌面tv版无法使用而烦恼&#xff0c;四处寻找其他新老版本安装包&#xff0c;那么不妨试试乐看家桌面&#xff0c;它能为你带来全新的电视使用体验。 乐看家桌面的界面简洁纯净&#xff0c;没有繁琐的层级和恼人的广告&#xff0c;大字体、大图标设计&#xff…...

编程日记 2025/6/21 13:19:28

Java常用API详解

本文将系统讲解Java开发中高频使用的工具类API&#xff0c;涵盖数学计算、系统操作、对象处理和大数运算等场景。ps:本文是免费的,如果被csdn锁了,请联系我.如果需要查看更详细的说明,可以查阅javaAPI帮助文档.我本来想直接把API文档整合到文章中方便大家下载,结果csdn这货直接…...

编程日记 2025/6/1 10:51:24

jdk-8u202-linux-x64.tar.gz官方下载地址

https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html 点击下载&#xff0c;需要先注册oracle账号&#xff0c;很好注册随便写&#xff0c;注册完登录就可以下载了。目前就Oracle JDK 8u201/202 是最后两个可免费用于商业用途的公开版本...

编程日记 2025/5/14 8:48:35

内联函数（c++）

预处理&#xff1a;优点&#xff1a;内嵌到目标代码&#xff0c;减少函数的调用。 缺点&#xff1a;在预处理阶段完成替换&#xff0c;避免了语义上的差错。 egg&#xff1a; #define SQR(X) ((X)*(X)) 函数&#xff1a;优点&#xff1a;完成了某一类操作的抽象&#xff0c;…...

编程日记 2025/6/19 19:59:03

Python 基础语法与数据类型(四) - 布尔类型 (bool) 与逻辑运算符 (and, or, not) 和类型转换

文章目录 布尔类型 (bool)逻辑运算符 (and, or, not)布尔值的“真值”判断 (Truthiness / Falsiness)类型转换 (Type Casting)总结 在前面的文章中&#xff0c;我们学习了数字类型&#xff08;整型、浮点型&#xff09;和字符串。今天&#xff0c;我们要介绍另一种非常基础且极…...

编程日记 2025/6/2 14:54:15

WebUI可视化：第7章：系统优化与部署实战

第7章：系统优化与部署实战 学习目标 ✅ 掌握Web应用的性能优化技巧 ✅ 实现安全可靠的线上部署 ✅ 配置监控与日志系统 ✅ 了解云服务成本控制方法 7.1 性能优化策略 7.1.1 前端优化 python # 示例：Gradio异步处理 demo.queue(concurrency_count=5) # 控制并发数 de…...

编程日记 2025/6/20 13:11:11

79. 单词搜索

题目 给定一个 m x n 二维字符网格 board 和一个字符串单词 word 。如果 word 存在于网格中&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。 单词必须按照字母顺序&#xff0c;通过相邻的单元格内的字母构成&#xff0c;其中“相邻”单元格是那些水平相邻或…...

编程日记 2025/5/28 8:26:36

Spring @Transactional 自调用问题深度解析

Spring Transactional 自调用问题深度解析 问题本质&#xff1a;自调用事务失效 当类内部的方法A调用同一个类的另一个带有Transactional注解的方法B时&#xff0c;事务注解不会生效。这是因为Spring的事务管理是基于AOP代理实现的&#xff0c;而自调用会绕过代理机制。 原理…...

编程日记 2025/6/2 3:03:54

支付宝小程序组件与页面构造器使用指南：从页面到组件的正确迁移

引言 在支付宝小程序开发中&#xff0c;我们经常会遇到需要将页面组件化的情况。本文将通过一个实际案例&#xff08;将 /pages/plugin/device 从页面迁移到组件&#xff09;&#xff0c;深入分析支付宝小程序中页面和组件的区别&#xff0c;以及正确的迁移方式。我们将从问题…...

编程日记 2025/5/30 9:05:45

version `GLIBCXX_3.4.32‘ not found 解决方法

环境&#xff1a;Ubuntu 24.04 报错&#xff1a;ImportError: /home/ge/opt/anaconda3/envs/roboTwin/bin/../lib/libstdc.so.6: version GLIBCXX_3.4.32 not found (required by /home/ge/Desktop/RoboTwin/third_party/pytorch3d_simplified/pytorch3d/_C.cpython-310-x86_6…...

编程日记 2025/5/30 19:12:17

vue3中nextTick的作用及示例

在Vue 3中&#xff0c;nextTick是一个用于处理DOM异步更新的工具函数&#xff0c;确保在数据变化后操作最新的DOM。以下是其作用的详细解析&#xff1a; 核心作用 延迟回调到DOM更新后&#xff1a;Vue的响应式系统会将数据变更批量处理&#xff0c;异步更新DOM。nextTick允许你…...

编程日记 2025/6/1 9:50:35

WHAT - 《成为技术领导者》思考题（第一章）

文章目录 思考题思路与示例框架1. 观察一位你心目中的领导者2. 若要提升自己的领导技能&#xff0c;你期望哪些方面得到提高&#xff1f;3. 如果领导技能提高&#xff0c;哪些生活层面可能恶化&#xff1f;值得吗&#xff1f;如何缓解&#xff1f;4. 列“提升他人生产效率” vs…...

编程日记 2025/6/1 1:33:35

今日行情明日机会——20250425

指数依然在震荡&#xff0c;等待方向选择&#xff0c;整体量能不搞但个股红多绿少。 2025年4月25日涨停板行业方向分析如下&#xff1a; 一、核心行业方向及驱动逻辑 一季报增长&#xff08;17家涨停&#xff09; 核心个股&#xff1a;惠而浦、鸿博股份、卫星化学驱动逻辑&am…...

编程日记 2025/6/20 18:03:05

数据库-子查询、关联查询 和 TCL 语言

标题目录 子查询使用场景子查询分类在 DQL 中使用子查询单行单列子查询多行单列子查询 在 DML 中使用子查询在 DDL 中使用子查询视图 关联查询关联关系的分类连接条件主外键关联N 表关联查询关联查询中使用聚合函数 TCL 语言事务的特性&#xff08;ACID&#xff09;在事务中控制…...

编程日记 2025/5/30 16:39:10

精华贴分享｜【牛马课题】可转债多策略研究-1【基础篇】

本文来源于量化小论坛策略分享会板块精华帖&#xff0c;作者为Mc&#xff0c;发布于2025年3月19日。 以下为精华帖正文&#xff1a; 01 背景 本次牛马主题是可转债的多策略研究。在第一次牛马线上会议讨论时&#xff0c;我曾表达对今年转债市场的看好。 原因在于&#xff1a…...

编程日记 2025/6/20 7:48:13

精读27页健康医疗大数据安全管控分类分级实施指南

这篇文档是一份关于健康医疗大数据安全管控分类分级实施指南的文档。该指南的主要内容包括数据分类、数据分级、数据开放形式、数据对外开放分级管控、数据模糊化与标签化、数据对外开放典型场景、数据内部分级安全管控和IS&ITS管理手册等内容。 具体来说&#xff0c;该指南…...

编程日记 2025/6/3 22:12:27

Spring MVC 数据绑定利器：深入理解 @InitBinder

在使用 Spring MVC 开发 Web 应用时&#xff0c;我们经常需要处理从 HTTP 请求&#xff08;如 URL 参数、表单数据&#xff09;到 Controller 方法参数的自动转换。这就是 Spring 的数据绑定 (Data Binding) 机制。虽然 Spring 提供了很多默认的类型转换器&#xff08;比如字符…...

编程日记 2025/6/4 10:51:17

【HTTP/2：信息高速公路的革命】

HTTP/2&#xff1a;信息高速公路的革命 想象一下&#xff0c;如果说HTTP/1.1是一条繁忙的双向马路&#xff0c;那么HTTP/2就是一座现代化的高速公路网络系统&#xff0c;彻底改变了数据传输的方式。让我们通过生动的比喻和图表&#xff0c;深入了解这场网络通信的革命。 HTTP…...

编程日记 2025/5/29 16:55:39

PMIC PCA9450 硬件原理全解析：为 i.MX 8M 平台供电的“大脑”

在嵌入式 Linux 系统中&#xff0c;电源设计是构建稳定系统的基础。PCA9450 是 NXP 推出的一款高度集成的 电源管理芯片&#xff08;PMIC&#xff09;&#xff0c;专为 i.MX 8M 系列处理器设计。它不仅提供多路电压输出&#xff0c;还具备可编程启动顺序、动态电压调节、低功耗…...

编程日记 2025/6/2 10:41:19

【计算机视觉】CV实战项目 - 深入解析基于HOG+SVM的行人检测系统：Pedestrian Detection

深入解析基于HOGSVM的行人检测系统&#xff1a;从理论到实践 技术核心&#xff1a;HOGSVM检测框架HOG特征原理SVM分类器 项目架构与数据准备INRIA Person数据集目录结构 实战指南&#xff1a;从零构建检测系统环境配置完整训练流程检测应用 关键技术问题与解决方案1. 难例挖掘不…...

编程日记 2025/5/30 10:58:49

巴西kwai短视频推广旅游广告获客营销策略

巴西kwai短视频平台作为一种新兴的推广渠道&#xff0c;可以为旅游广告带来新的营销机遇。以下是一些针对利用kwai短视频平台推广旅游广告的获客营销策略&#xff1a; 制作吸引人的内容&#xff1a;在kwai平台上发布具有吸引力的短视频内容&#xff0c;包括美丽的风景、当地文化…...

编程日记 2025/6/4 5:24:43

智慧医疗领域TMI期刊2025年3月研究热点解析

本推文对2025年3月《IEEE Transactions on Medical Imaging》&#xff08;TMI&#xff09;期刊论文的研究热点进行了深入分析。本期TMI涵盖了多模态图像融合、深度学习在医学诊断中的应用、三维重建与分割、图像引导治疗等关键方向&#xff0c;呈现出智慧医疗与人工智能深度融合…...

编程日记 2025/5/27 21:15:30

系统思考：看清问题背后的结构

组织的挑战&#xff0c;往往不是因为不努力&#xff0c;而是“看不清” 结束了为期两天系统思考课程的第一天&#xff0c;被学员的全情投入深深打动。我们用系统结构图&#xff0c;一步步揭示那些表面看起来“习以为常”的问题&#xff1a; 什么原因跨部门协作总是磕磕绊绊&am…...

编程日记 2025/6/21 18:46:09

计算机组成原理实验（1） 算术逻辑运算单元实验

实验一 算术逻辑运算单元实验 一、实验目的 1、掌握简单运算器的数据传输方式 2、掌握74LS181的功能和应用 二、实验内容 1、不带进位位逻辑或运算实验 2、不带进位位加法运算实验 3、实验指导书2.15实验思考 三、实验步骤和结果 实验内容一&#xff1a;不带进位…...

编程日记 2025/5/31 15:39:06

网络安全概述：定义、重要性与发展历程

网络安全概述&#xff1a;定义、重要性与发展历程 在互联网深度融入生活与工作的今天&#xff0c;网络安全已成为不可忽视的关键领域。从个人隐私泄露到企业数据失窃&#xff0c;再到国家关键基础设施遭受攻击&#xff0c;网络安全事件频发&#xff0c;深刻影响着个人、组织乃…...

编程日记 2025/5/30 18:05:37

应力腐蚀环功能及指标

西安力创&#xff08;LETRY&#xff09;应力腐蚀环广泛应用于高品质材料的生产检测和研究中。在H2S 作用下准确运用应力环测试可获取石油勘探&#xff0c;航天航空&#xff0c;焊接密封&#xff0c;海运船舶&#xff0c;食品加工等各类材料在各种酸&#xff0c;碱腐蚀环境的腐蚀…...

编程日记 2025/5/30 22:32:26

【多目标进化算法】常见多目标进化算法一览

算法全称核心特点备注NSGA-IINon-dominated Sorting Genetic Algorithm II非支配排序 拥挤度最经典&#xff0c;应用最广NSGA-IIINon-dominated Sorting Genetic Algorithm III支撑向量引导&#xff0c;适合高维&#xff08;3目标以上&#xff09;NSGA-II 的高维扩展版MOEA/DM…...

编程日记 2025/5/30 0:05:35

【2025 最新前沿 MCP 教程 01】模型上下文协议：AI 领域的 USB-C

文章目录 1. MCP 来了2. 什么是 MCP&#xff1f;为何它是颠覆性创新&#xff1f;M N 问题&#xff1a;解开 AI 集成乱麻 3. 采用 MCP 的核心优势&#xff1a;普适性价值MCP 与传统 API 集成的对比概览 4. 未来的路 1. MCP 来了 没想到&#xff0c;2025 年的每一天都在上演 「…...

编程日记 2025/6/21 1:49:04

抖音集团电商流量实时数仓建设实践

摘要&#xff1a;本文整理自抖音集团电商数据工程师姚遥老师在 Flink Forward Asia 2024 分论坛中的分享。内容主要分为五个部分&#xff1a; 1、业务和挑战 2、电商流量建模架构 3、电商流量流批一体 4、大流量任务调优 5、总结和展望 01.业务和挑战 第一部分给大家介绍一下流…...

编程日记 2025/6/3 14:10:35

redis客户端库redis++在嵌入式Linux下的交叉编译及使用

在开发过程中&#xff0c;我们经常会遇到需要在嵌入式Linux系统上与Redis进行交互的需求。因此选择一个适合的Redis客户端库就显得尤为重要。下面介绍下c中有名的redis-plus-plus&#xff08;redis&#xff09;三方库在嵌入式linux下的交叉编译及使用。该库底层是基于hiredis的…...

编程日记 2025/6/2 0:36:33

5.3 Dify：低代码平台，适用于企业快速部署合规AI应用

Dify作为一款开源低代码平台&#xff0c;已成为企业快速构建和部署合规AI应用的首选工具。Dify通过整合后端即服务&#xff08;Backend-as-a-Service, BaaS&#xff09;、大型语言模型操作&#xff08;LLMOps&#xff09;以及直观的视觉化界面&#xff0c;显著降低了AI应用开发…...

编程日记 2025/6/21 1:42:18

什么是可重入锁ReentrantLock?

大家好&#xff0c;我是锋哥。今天分享关于【什么是可重入锁ReentrantLock?】面试题。希望对大家有帮助&#xff1b; 什么是可重入锁ReentrantLock? ReentrantLock 是 Java 中的一个锁实现&#xff0c;它是 java.util.concurrent.locks 包中的一部分&#xff0c;主要用于提供…...

编程日记 2025/6/21 9:57:02

【Java学习日记26】:方法的重载

一、方法重载核心概念 方法重载&#xff08;Overload&#xff09;&#xff1a;指在同一个类中定义多个同名方法&#xff0c;但这些方法的参数列表必须不同。重载的目的是让同一功能的方法能处理不同类型或数量的参数&#xff0c;提高代码复用性。 二、判断是否构成重载的规则 …...

编程日记 2025/6/20 15:46:53

分层设计数据仓库的架构和设计高效数据库系统的方法

结合你所有的知识和技术&#xff0c;设计一套高效的数据仓库的分层架构说明每一层分层的用途以及为什么要这么设计&#xff0c;有什么优势&#xff1f;再从数据建模和其它的角度详细论述如何设计出一个高性能的数据仓库系统&#xff1f; 高效数据仓库分层架构设计 分层架构及…...

编程日记 2025/6/20 5:31:31

铃木一郎女儿是奥运会选手吗·棒球1号位

铃木一朗&#xff08;Ichiro Suzuki&#xff09; 铃木一朗职业生涯时间线 1973年出生于日本爱知县名古屋市。1992年以选秀第四顺位加入日本职棒&#xff08;NPB&#xff09;欧力士蓝浪队&#xff0c;开启职业棒球生涯。 1994-2000年 连续7年获得NPB太平洋联盟打击王&#xff…...

编程日记 2025/5/30 10:34:49