当前位置： 首页 > news >正文

一、Hadoop概述

news 来源：原创 2025/7/19 13:03:45

文章目录

  • 一、Hadoop是什么
  • 二、Hadoop发展历史
  • 三、Hadoop三大发行版本
    • 1. Apache Hadoop
    • 2. Cloudera Hadoop
    • 3. Hortonworks Hadoop
  • 四、Hadoop优势
    • 1. 高可靠性
    • 2. 高扩展性
    • 3. 高效性
    • 4. 高容错性
  • 五、Hadoop 组成
    • 1. Hadoop1.x、2.x、3.x区别
    • 2. HDFS 架构概述
    • 3. YARN 架构概述
    • 4. MapReduce 架构概述
    • 5. HDFS、YARN、MapReduce 三者关系
  • 六、大数据技术生态体系
  • 七、推荐系统框架图

一、Hadoop是什么

  1. Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
  2. 主要解决，海量数据的存储和海量数据的分析计算问题。
  3. 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

image.png

二、Hadoop发展历史

  1. Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优化升级，查询引擎和索引引擎。
    image.png
  2. 2001年年底Lucene成为Apache基金会的一个子项目。
  3. 对于海量数据的场景，Lucene框架面对与Google同样的困难，存储海量数据困难，检索海量速度慢。
  4. 学习和模仿Google解决这些问题的办法︰微型版Nutclh。
  5. 可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)
    5.1. GFS —>HDFS
    5.2. Map-Reduce —>MR
    5.3. BigTable —>HBase
  6. 2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。
  7. 2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。
  8. 2006年3月份，Map-Reduce和Nutch Distributed File System (NDFS）分别被纳入到Hadoop项目中，Hadoop就此正式诞生，标志着大数据时代来临。
  9. 名字来源于Doug Cutting儿子的玩具大象
    image.png

三、Hadoop三大发行版本

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。

  1. Apache版本最原始（最基础）的版本，对于入门学习最好。2006
  2. Cloudera内部集成了很多大数据框架，对应产品CDH。2008
  3. Hortonworks文档较好，对应产品HDP。2011

Hortonworks现在已经被Cloudera公司收购，推出新的品牌CDP。

image.png
image.png

1. Apache Hadoop

官网地址：http://hadoop.apache.org
下载地址：https://hadoop.apache.org/releases.html

2. Cloudera Hadoop

官网地址：https://www.cloudera.com/downloads/cdh
下载地址：https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_6_download.html

  1. 2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。
  2. 2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support
  3. CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。
  4. Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。

3. Hortonworks Hadoop

官网地址：https://hortonworks.com/products/data-center/hdp/
下载地址：https://hortonworks.com/downloads/#data-platform

  1. 2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。
  2. 公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。
  3. Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。
  4. 2018年Hortonworks目前已经被Cloudera公司收购。

四、Hadoop优势

1. 高可靠性

Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
image.png

2. 高扩展性

在集群间分配任务数据，可方便的扩展数以千计的节点。
image.png

3. 高效性

在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
image.png

4. 高容错性

能够自动将失败的任务重新分配。
image.png

五、Hadoop 组成

1. Hadoop1.x、2.x、3.x区别

image.png

2. HDFS 架构概述

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。

  1. NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
    image.png

  2. DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
    image.png

  3. Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

3. YARN 架构概述

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是Hadoop 的资源管理器。
image.png

4. MapReduce 架构概述

MapReduce 将计算过程分为两个阶段：Map 和 Reduce

  1. Map 阶段并行处理输入数据
  2. Reduce 阶段对 Map 结果进行汇总
    image.png

5. HDFS、YARN、MapReduce 三者关系

image.png

六、大数据技术生态体系

image.png
图中涉及的技术名词解释如下：

  1. Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。
  2. Flume：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume 支持在日志系统中定制各类数据发送方，用于收集数据；
  3. Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统；
  4. Spark：Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数据进行计算。
  5. Flink：Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。
  6. Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。
  7. Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
  8. Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。
  9. ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。

七、推荐系统框架图

image.png

相关文章：

一、Hadoop概述

文章目录 一、Hadoop是什么二、Hadoop发展历史三、Hadoop三大发行版本1. Apache Hadoop2. Cloudera Hadoop3. Hortonworks Hadoop 四、Hadoop优势1. 高可靠性2. 高扩展性3. 高效性4. 高容错性 五、Hadoop 组成1. Hadoop1.x、2.x、3.x区别2. HDFS 架构概述3. YARN 架构概述4. Ma…...

编程日记 2025/7/19 13:03:45

Android 转场动画合集

项目背景：mvvm组件化，然后由于领导要求，使用MainActivity为主界面，各种业务使用Fragment处理。所以~ 由于单独ActivityN Fragment 的方式，经过十多天的试错，我确认一件事情。再确认过架构方式后一定要了解下…...

编程日记 2025/7/20 4:18:10

STM32 软件I2C读写

单片机学习！ 目录 前言 一、软件I2C读写代码框架 二、I2C初始化 三、六个时序基本单元 3.1 引脚操作的封装和改名 3.2 起始条件执行逻辑 3.3 终止条件执行逻辑 3.4 发送一个字节 3.5 接收一个字节 3.5 发送应答&接收应答 3.5.1 发送应答 3.5.2 接…...

编程日记 2025/7/19 2:26:40

MySQL数据导出导出的三种办法（1316）

数据导入导出 基本概述 目前常用的有3中数据导入与导出方法： 使用mysqldump工具： 优点： 简单易用，只需一条命令即可完成数据导出。可以导出表结构和数据，方便完整备份。支持过滤条件，可以选择导出部分数据…...

编程日记 2025/7/14 21:09:24

三层交换机配置

✍作者：柒烨带你飞 💪格言：生活的情况越艰难，我越感到自己更坚强；我这个人走得很慢，但我从不后退。 📜系列专栏：网路安全入门系列 目录 一，三层交换二，实验案…...

编程日记 2025/7/15 9:39:30

odoo中@api.model， @api.depends和@api.onchange 装饰器的区别

文章目录 1. api.model用途特点示例 2. api.depends用途特点示例 3. api.onchange用途特点示例 总结 在 Odoo 中，装饰器（decorators）用于修饰方法，以指定它们的行为和触发条件。api.model、api.depends 和 api.onchange 是三个常用…...

编程日记 2025/7/19 14:33:38

Mysql的事务隔离机制

文章目录 事务基础概念隔离性与隔离机制的重要性四种隔离级别读未提交读已提交可重复读串行化 隔离级别设置与查看 事务基础概念 事务是一组数据库操作，这些操作要么全部成功执行，要么全部不执行。在 MySQL 中，事务通常以START TRANSACTION开…...

编程日记 2025/7/15 4:01:19

鸿蒙项目云捐助第二十八讲云捐助项目首页组件云数据库加载轮播图

鸿蒙项目云捐助第二十八讲云捐助项目首页组件云数据库加载轮播图 在前面的章节中实现了云捐赠项目的底部导航和分类导航，本讲继续使用云技术丰富首页组件中的功能。这里使用云数据库进行首页组件轮播图的加载。 一、云数据库进行首页组件轮播图的加载 在云捐助项…...

编程日记 2025/7/18 15:54:36

vue项目搭建规范

项目搭建规范 一. 代码规范1.1. 集成editorconfig配置1.2. 使用prettier工具1.3. 使用ESLint检测1.4. git Husky和eslint1.5. git commit规范1.5.1. 代码提交风格1.5.2. 代码提交验证 二. 第三方库集成2.1. vue.config.js配置2.2. vue-router集成2.3. vuex集成2.4. element-plu…...

编程日记 2025/7/20 4:25:14

Spring Boot的开发工具（DevTools）模块中的热更新特性导致的问题

问题： java.lang.ClassCastException: class cn.best.scholarflow.framework.system.domain.entity.SysUser cannot be cast to class cn.best.scholarflow.framework.system.domain.entity.SysUser (cn.best.scholarflow.framework.system.domain.…...

编程日记 2025/7/20 4:17:01

Unity Shader TexelSize的意义

TexelSize在制作玻璃折射效果时会用到。 // Get the normal in tangent space fixed3 bump UnpackNormal(tex2D(_BumpMap, i.uv.zw)); // Compute the offset in tangent space float2 offset bump.xy * _Distortion * _RefractionTex_TexelSize.xy; i.scrPos.xy offset * i…...

编程日记 2025/7/19 23:13:21

一个C#开发的APP

开发方式 C#Web、AndroidWebView 系统设计 系统主要分两个部分。一个是内容（文章）发布系统，另一个是预约和支付系统。 内容发布系统 和普通的文章发布系统不一样的地方在于，我们把每篇文章和大师关联起来。在文章的下方会显示…...

编程日记 2025/7/19 14:00:05

C++ 设计模式：原型模式（Prototype Pattern）

链接：C 设计模式 链接：C 设计模式 - 工厂方法 链接：C 设计模式 - 抽象工厂 链接：C 设计模式 - 建造者模式 原型模式（Prototype Pattern）是一种创建型设计模式，它允许一个对象通过复制现有对象来…...

编程日记 2025/7/14 22:14:15

window如何将powershell以管理员身份添加到右键菜单？（按住Shift键显示）

window如何将powershell以管理员身份添加到右键菜单？ 在 Windows 中，将 PowerShell 以管理员身份添加到右键菜单，可以让你在需要提升权限的情况下快速打开 PowerShell 窗口。以下是详细的步骤，包括手动编辑注册表和使用注册表脚本…...

编程日记 2025/7/20 4:32:04

python爬虫——爬取全年天气数据并做可视化分析

一、主题页面的结构与特征分析 1．主题页面的结构与特征分析 目标内容界面： 2. Htmls 页面解析 3．节点查找方法与遍历方法 查找方法：find(): 查找第一个匹配到的节点。find_all(): 查找所有匹配到的节点，并返回一个…...

编程日记 2025/7/16 5:14:29

【Unity3D】ECS入门学习（十二）IJob、IJobFor、IJobParallelFor

IJob&#xff1a;开启单个线程进行计算&#xff0c;线程内不允许对同一个数据进行操作&#xff0c;也就是如果你想用多个IJob分别计算&#xff0c;将其结果存储到同一个NativeArray<int>数组是不允许的&#xff0c;所以不要这样做&#xff0c;如下例子就是反面教材&#…...

编程日记 2025/7/14 11:21:05

存储进阶笔记（二）：Linux 存储栈：从 Device Mapper、LVM 到文件系统（2024）

记录一些平时接触到的存储知识。由于是笔记而非教程&#xff0c;因此内容不求连贯&#xff0c;有基础的同学可作查漏补缺之用。 存储进阶笔记&#xff08;一&#xff09;&#xff1a;硬件基础&#xff1a;HDD/SDD、JBOD、RAID 等&#xff08;2024&#xff09; 存储进阶笔记&am…...

编程日记 2025/7/18 14:36:07

MySQL——操作

一.库的操作 1.基本操作 创建数据库 create database 数据库名称; 查看数据库 show databases; 删除数据库 drop database 数据库名称; 执行删除之后的结果: 数据库内部看不到对应的数据库对应的数据库文件夹被删除&#xff0c;级联删除&#xff0c;里面的数据表全部被删 所…...

编程日记 2025/7/20 4:26:27

c++表达范围勿用数学符号

目的 遇上了一个C基础问题&#xff0c;一下子陷到里面&#xff0c;不知怎么回事了&#xff0c;知道后&#xff0c;又感觉太可笑。 这也许就是成长的代价。 下面就是细说说所遇上的问题。 关于C逻辑的一些知识点&#xff1a; 定义: 用逻辑运算符将两个表达式链接起来的式子称为…...

编程日记 2025/7/19 5:06:45

SAP PP bom历史导出 ALV 及XLSX 带ECN号

bom总数 104W PS超过XLSX上限 &#xff0c;那就分文件 *&---------------------------------------------------------------------* *& Report ZRPT_PP_BOM_HIS_ECN *&---------------------------------------------------------------------* *& tcode:zpp0…...

编程日记 2025/7/19 7:31:29

【AIGC-ChatGPT职业提示词指令】智能职业规划助手：基于SVG可视化的职业发展指南系统

引言 在当今快速变化的职场环境中，职业发展规划变得越来越复杂和充满挑战。无论是想要转行的技术人员，还是希望突破瓶颈的职场人士，都需要一个清晰的指导方向和可执行的行动计划。基于这种需求，我们设计了一个智能职业规划助手系统，它能够通过数据可视化的方式，为用户提…...

编程日记 2025/7/19 15:22:52

node.js之---单线程异步非阻塞 I/O

单线程模型 1、Node.js 使用 单线程 来处理客户端请求和执行任务 2、如果遇到异步任务&#xff0c;node.js使用事件循环和异步 I/O 模型&#xff0c;使得它能够高效地处理大量并发请求 异步操作有哪些 1、读取文件 2、网络请求 3、数据库操作等等 异步非阻塞 I/O Node.…...

编程日记 2025/7/15 21:45:54

DotnetSpider实现网络爬虫

1. 使用DotnetSpider框架 DotnetSpider是一个开源的、轻量、灵活、高性能、跨平台的分布式网络爬虫框架，适用于.NET平台。它可以帮助开发者快速实现网页数据的抓取功能。 1.1 安装DotnetSpider NuGet包 首先，你需要在你的.NET项目中安装DotnetSpider NuGet包。你可以通过…...

编程日记 2025/7/15 22:52:31

01 Oracle 基本操作

Oracle 基本操作 初使用步骤 1.创建表空间 2.创建用户、设置密码、指定表空间 3.给用户授权 4.切换用户登录 5.创建表 注意点&#xff1a;oracle中管理表的基本单位是用户 文章目录 了解Oracle体系结构 1.创建表空间**2.删除表空间**3.创建用户4.给用户授权5.切换用户登录6.表操…...

编程日记 2025/7/15 1:05:57

纯血鸿蒙ArkUI线性布局详解

线性布局说明 线性布局&#xff08;LinearLayout&#xff09;是开发中最常用的布局&#xff0c;通过线性容器Row和Column构建。线性布局是其他布局的基础&#xff0c;其子元素在线性方向上&#xff08;水平方向和垂直方向&#xff09;依次排列。线性布局的排列方向由所选容器组…...

编程日记 2025/7/18 11:32:48

MySQL root用户密码忘记怎么办（Reset root account password）

在使用MySQL数据库的的过程中&#xff0c;不可避免的会出现忘记密码的现象。普通用户的密码如果忘记&#xff0c;可以用更高权限的用户&#xff08;例如root&#xff09;进行重置。但是如果root用户的密码忘记了&#xff0c;由于root用户本身就是最高权限&#xff0c;那这个方法…...

编程日记 2025/7/16 11:39:40

18.springcloud_openfeign之扩展组件二

文章目录 一、前言二、子容器默认组件FeignClientsConfigurationDecoder的注入Contract约定对注解的支持对类上注解的支持对方法上注解的支持对参数上注解的支持@MatrixVariable@PathVariable@RequestParam@RequestHeader@SpringQueryMap@RequestPart@CookieValueFormattingCon…...

编程日记 2025/7/18 20:33:53

18、【OS】【Nuttx】用gdb调试nuttx os

背景 接之前wiki 14、【OS】【Nuttx】Nsh中运行第一个程序 15、【OS】【Nuttx】OS裁剪&#xff0c;运行指定程序&#xff0c;周期打印当前任务 程序跑起来了&#xff0c;OS也裁剪了&#xff0c;下一步就是调试了 目标 用gdb把nuttx程序跑起来 准备环境 vscode商店里C和C相…...

编程日记 2025/7/14 23:59:38

网络爬虫科普：原理、类型、策略与常用工具

网络爬虫科普&#xff1a;原理、类型、策略与常用工具 网络爬虫在当今互联网时代扮演着极为重要的角色&#xff0c;它能帮助我们从海量的网络信息中提取出有价值的数据。以下将从网络爬虫的基本概念、工作流程、类型、搜索策略以及常用工具等方面进行详细科普介绍。 一、网络…...

编程日记 2025/7/14 10:38:51

SQL 实战：动态表创建与多表更新的高级 SQL

在实际的数据库管理和开发中&#xff0c;经常需要临时存储中间计算结果或对多表数据进行批量更新。SQL 提供了动态表创建和多表更新的能力&#xff0c;使复杂业务逻辑能够通过一条 SQL 语句高效完成。本文将介绍如何动态创建临时表和实现多表联动更新&#xff0c;并通过具体示例…...

编程日记 2025/7/17 12:35:08

RabbitMQ基础篇之快速入门

文章目录 一、目标需求二、RabbitMQ 控制台操作步骤1.创建队列2.交换机概述3.向交换机发送消息4.结果分析5.消息丢失原因 三、绑定交换机与队列四、测试消息发送五、消息查看六、结论 一、目标需求 新建队列&#xff1a;创建 hello.queue1 和 hello.queue2 两个队列。消息发送…...

编程日记 2025/7/10 20:02:57

NLP论文速读(NeurIPS 2024)|BERT作为生成式上下文学习者BERTs are Generative In-Context Learners

论文速读|BERTs are Generative In-Context Learners 论文信息&#xff1a; 简介&#xff1a; 本文探讨了在自然语言处理&#xff08;NLP&#xff09;领域中&#xff0c;上下文学习&#xff08;in-context learning&#xff09;的能力&#xff0c;这通常与因果语言模型&#x…...

编程日记 2025/7/19 18:18:12

LeetCode - Google 校招100题 第7天 序列(数据结构贪心) (15题)

欢迎关注我的CSDN&#xff1a;https://spike.blog.csdn.net/ 本文地址&#xff1a;https://spike.blog.csdn.net/article/details/144744418 相关文章&#xff1a; LeetCode 合计最常见的 112 题&#xff1a; 校招100题 第1天 链表(List) (19题)校招100题 第2天 树(Tree) (21…...

编程日记 2025/7/16 8:54:21

基于Docker基础与操作实战

6.1 Docker容器简介 Docker是一个开源的应用容器引擎&#xff0c;它基于Go语言并遵从Apache2.0 协议开源。 Docker是一个用于开发&#xff0c;交付和运行应用程序的开放平台。Docker能将应用程序与基础架构分开&#xff0c;从而可以快速交付软件。借助Docker&#xff0c;您可…...

编程日记 2025/7/15 5:43:51

高转化的Facebook广告文案的秘诀

Facebook 广告文案是制作有效 Facebook 广告的关键方面。它侧重于伴随广告视觉元素的文本内容。今天我们的博客将深入探讨成功的 Facebook 广告文案的秘密&#xff01; 一、广告文案怎么写&#xff1f; 正文&#xff1a;这是帖子的正文&#xff0c;出现在您姓名的正下方。它可…...

编程日记 2025/7/14 23:29:40

支持向量机入门指南：从原理到实践

目录 1 支持向量机的基本概念 1.2 数学表达 2 间隔与支持向量 2.1 几何间隔 2.2 支持向量的概念 2.3 规范化超平面 2.4 支持向量的深入分析 2.4.1 支持向量的特征 2.4.2 支持向量的作用 2.4.3 支持向量的代数表示 2.5 KKT条件 3 最优化问题 3.1 问题的形成 3.2 规…...

编程日记 2025/7/17 13:30:42

汽车打气泵方案|智能充气泵工作原理

汽车打气泵方案最开始是机械式的开发&#xff0c;后来慢慢地演变成由一个气缸、压力传感器和ADC芯片以及主控芯片&#xff0c;就能够使得打气筒具备智能充气功能&#xff0c;摇身一变变成汽车打气泵方案。它具备精准压力检测以及过充过放等功能&#xff0c;利用ADC芯片和压力传…...

编程日记 2025/7/11 23:45:50

Jenkins入门使用

Jenkins入门使用 1先安装jdk才能运行jenkins yum install -y java-1.8.0-openjdk.x86_64 2 安装jenkins&#xff0c;运行&#xff0c;进行端口绑定&#xff0c;启动jenkins docker search jenkins docker pull jenkins/jenkins docker run -d -u root -p 8080:8080 -p 50000:50…...

编程日记 2025/7/19 6:51:14

iOS Masonry对包体积的影响

01 Masonry介绍 Masonry是iOS在控件布局中经常使用的一个轻量级框架&#xff0c;Masonry让NSLayoutConstraint使用起来更为简洁。Masonry简化了NSLayoutConstraint的使用方式&#xff0c;让我们可以以链式的方式为我们的控件指定约束。 常用接口声明与实现&#xff1a; 使用方式…...

编程日记 2025/7/15 13:40:01

Hive分区再分桶表

在Hive中&#xff0c;数据通常是根据分区&#xff08;partition&#xff09;来组织的&#xff0c;但是对于大数据集&#xff0c;单层分区可能不够用&#xff0c;因此可以进一步细分为桶&#xff08;bucket&#xff09;。桶可以用于提供额外的并行处理和优化查询性能。在这种情况…...

编程日记 2025/7/18 4:18:47

三大行业案例：AI大模型+Agent实践全景

本文将从AI Agent和大模型的发展背景切入&#xff0c;结合51Talk、哈啰出行以及B站三个各具特色的行业案例&#xff0c;带你一窥事件驱动架构、RAG技术、人机协作流程&#xff0c;以及一整套行之有效的实操方法。具体包含内容有&#xff1a;51Talk如何让智能客服“主动进攻”&a…...

编程日记 2025/7/16 13:33:00

国产低代码框架zdppy开发笔记002 标准的接口响应

前言 通过前面的学习, 我们已经知道了zdppy_api和zdppy_req的基本用法, 接下来我们会在学习中多次用到这两个框架. 我们已经知道了该如何响应一个字符串,但是我们该如何响应json数据呢? 在zdppy_api中,我们定义了一组规范的API响应, 我们慢慢来看看. 规范的响应 首先来看…...

编程日记 2025/7/15 4:02:28

关于Nginx

1.Nginx的配置 proxy_pass http: 当你需要将请求分发到多个后端服务器时&#xff0c;需要实现负载均衡功能&#xff0c;可以使用upstream指令定义一组服务器&#xff0c;并在proxy_pass中引用这个服务组名称。。如果不需要负载均衡&#xff0c;只需要将请求转发到单一的后端…...

编程日记 2025/7/19 22:24:24

数据库实时会话管理，性能问题诊断后的临门一脚

目录 前言 实时会话管理 DBdoctor 实时会话功能 1.实时会话列表 2.结束会话 3.操作历史 4.SQL分析 结语 前言 在之前的文章中我们介绍了DBdoctor性能洞察功能&#xff0c;它能够快速量化数据库连接会话单条SQL的资源消耗&#xff0c;实现性能问题快速根因定位并给出优…...

编程日记 2025/7/19 13:58:21

以EM算法为例介绍坐标上升（Coordinate Ascent）算法：中英双语

中文版 什么是 Coordinate Ascent 算法&#xff1f; Coordinate Ascent&#xff08;坐标上升&#xff09;是一种优化算法&#xff0c;它通过在每次迭代时优化一个变量&#xff08;或一个坐标&#xff09;&#xff0c;并保持其他变量不变&#xff0c;逐步逼近最优解。与坐标下…...

编程日记 2025/7/20 1:21:04

visual studio连接sql server数据库

目录 1、为什么要建立连接2、在sql server中建立数据库3、visual studio连接sql server数据库4、学生信息管理系统页面布局5、添加事件逻辑 5.1 页面跳转5.2 读取学生信息5.3 查询学生信息5.4 修改学生信息5.5 删除学生信息5.6 添加学生信息 bilibili演示视频 github源码 1、…...

编程日记 2025/7/15 8:08:56

磁盘的相关操作

1.让U盘连接到虚拟机中 两种方法&#xff1a;1>在弹出的窗口中设置 2>通过选项设置 菜单栏---->虚拟机----->可移动设备---->找到U盘名---->连接到虚拟机中 2.查看U盘是否已被成功识别 方法&#xff1a;ls /dev/sd* 显示包含除了sda外的文件说明U盘连接成功…...

编程日记 2025/7/18 12:01:59

数据结构与算法Python版 图的应用与广度优先搜索

文章目录 一、图的应用-词梯问题二、图的广度优先搜索 一、图的应用-词梯问题 词梯问题 Word Ladder 从一个单词演变到另一个单词&#xff0c;其中的过程可以经过多个中间单词。要求是相邻两个单词之间差异只能是1个字母如FOOL变SAGE&#xff1a;FOOL >> POOL >>…...

编程日记 2025/7/19 20:20:30

Unity——InputField组件自动换行和enter键换行

文章目录 输入框实现换行功能 输入框实现换行功能 在Unity中&#xff0c;如果你想要在输入框&#xff08;如InputField&#xff09;中实现换行功能 &#xff0c;你需要确保以下几点&#xff1a; 1、文本组件支持多行&#xff1a; 确保你的InputField的文本组件&#xff08;Te…...

编程日记 2025/7/15 1:22:31

solr9.7 单机安装教程

1.环境要求:jdk11以上 2.下载wget https://dlcdn.apache.org/solr/solr/9.7.0/solr-9.7.0.tgz 3.解压 4.修改solr.in.sh配置 5.启动命令 bin/solr start 6.创建core bin/solr create -c <core名称> 注意:用solr ui界面创建&#xff0c;会提示找不到solrconfig.xml和m…...

编程日记 2025/7/14 21:55:35