当前位置： 首页 > news >正文

Kafka集群部署与安装

news 来源：原创 2025/7/4 18:42:29

一、什么是Kafka

Kafka是一个Pub-Sub的消息系统，无论是发布还是订阅，都须指定Topic。

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者大规模的网站中的所有动作流数据

二、JMS：Java Message Service Java消息服务

1、用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信

2、JMS提供者

消息中间件，如：Kafka，RabbitMQ，RoketMQ，ActiveMQ，HornetQ

3、JMS客户

JMS程序，负责发送消息和接收处理消息

4、JMS生产者

产生并发送消息的程序

5、JMS消费者

接收并处理消息的程序

6、JMS队列

存储消息，对应于点对点消息

7、JMS主题

存储消息，对应于发布订阅消息

8、JMS消息     两种JMS消息类型

（1）、点对点（Point to Point）：消息分发给一个单独的使用者，绑定一个队列javax.jms.Queue

（2）、发布/订阅（Publish/Subscribe）：消息发布到一个主题，多个使用者可以订阅该主题javax.jms.Topic

9、KAFKA消息中间件的特点

消息队列中间件保证消息不丢失，并且至少消费一次 

三、安装SCALA

1、将课程提供的scala-2.11.12.tgz使用WinSCP拷贝到node1的/usr/local目录下。

2、对scala-2.11.12.tgz进行解压缩：tar -zxvf scala-2.11.12.tgz。

3、对scala目录进行重命名：mv scala-2.11.12 scala

4、配置scala相关的环境变量

vi .bashrc

export SCALA_HOME=/usr/local/scala

export PATH=$PATH:$SCALA_HOME/bin

source .bashrc

5、查看scala是否安装成功：scala -version

6、按照上述步骤在node2和node3机器上都安装好scala。使用scp将scala和.bashrc拷贝到node2和node3上即可。

7、检测：scala -version

四、安装KAFKA

1、将课程提供的kafka_2.11-0.10.0.0.tgz使用WinSCP拷贝到node1的/usr/local目录下。

2、对kafka_2.11-0.10.0.0.tgz进行解压缩：tar -zxvf kafka_2.11-0.10.0.0.tgz。

3、对kafka目录进行改名：mv kafka_2.11-0.10.0.0 kafka

4、配置kafka

vi /usr/local/kafka/config/server.properties

# 依次增长的整数，0、1、2、3、4，集群中Broker的唯一id

broker.id=1

port=9092

zookeeper.connect=node1:2181,node2:2181,node3:2181

五、KAFKA集群配置

1、按照上述步骤在node2和node3分别安装kafka。用scp把kafka拷贝到node2和node3行即可。

2、唯一区别的，就是server.properties中的broker.id，要设置为1和2

六、启动KAFKA集群

1、在三台机器上分别执行以下命令：nohup bin/kafka-server-start.sh config/server.properties &

2、使用jps检查启动是否成功

七、测试

# 创建 topic

bin/kafka-topics.sh --zookeeper node10:2181,node11:2181,node12:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create

# 生产者

bin/kafka-console-producer.sh --broker-list node10:9092,node11:9092,node12:9092 --topic TestTopic

# 消费者

bin/kafka-console-consumer.sh --zookeeper node10:2181,node1a1:2181,node12:2181 --topic TestTopic --from-beginning

相关文章：

Kafka集群部署与安装

一、什么是Kafka Kafka是一个Pub-Sub的消息系统，无论是发布还是订阅，都须指定Topic。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者大规模的网站中的所有动作流数据 二、JMS：Java Message Service Java消息服…...

编程日记 2025/7/4 18:42:29

基于深度学习的视觉检测小项目（二） 环境和框架搭建

一、环境和框架要求 SAM的环境要求： Python>3.7 PyTorch>1.7 torchvision>0.8 YOLO V8的环境要求：YOLO集成在ultralytics库中，ultralytics库的环境要求： Python>3.7 PyTorch>1.10.0 1、确定pytorch版本…...

编程日记 2025/7/3 2:25:40

JS (node) 的 ACM 模式 + debug方法 (01背包为例)

文章目录 JS 的 ACM 模式输入处理 JS dubug (01背包为例)动态输入在本地通过 Node.js 运行和调试 硬编码 Hard CodingVS Code JS 的 ACM 模式 在 JavaScript 中，ACM 模式一般通过 Node.js 的 readline 模块实现。 输入处理 使用 readline 模块监听输入。 将每行输…...

编程日记 2025/7/2 4:32:44

USB射频微波功率计的功能与优势-盛铂科技

USB射频功率计是一种用于测量射频信号（RF）功率的仪器，它通过USB接口与计算机或其他设备连接，以便于进行数据采集、处理和显示。 主要功能 功率测量：能够测量射频信号的功率，通常以毫瓦（mW&…...

编程日记 2025/7/3 2:25:36

基于单片机的公交车报站系统设计

引言：单片机应用实践是电类相关专业一门必修的专业技术基础课，其教学目的就是为了使学生能深入了解模拟电路、数字电路、EDA 技术、传感器、单片机原理及其相关接口的综合应用技术，为此我们选了一个典型的实践题目- 公交车报站系统设计&#…...

编程日记 2025/7/3 2:25:32

软考教材重点内容 信息安全工程师 第 12 章网络安全审计技术原理与应用

12.1.1 网络安全审计概念 网络安全审计是指对网络信息系统的安全相关活动信息进行获取、记录、存储、分析和利用的工作。网络安全审计的作用在于建立“事后”安全保障措施，保存网络安全事件及行为信息，为网络安全事件分析提供线索及证据，以便…...

编程日记 2025/7/3 10:55:38

Spring IOC

什么是spring 以前没有spring的时候，我们需要得到一个对象，都是自己主动去new一个对象，然后通过set方法给对象注入属性，但是这种动作其实是一个重复的动作，所以spring提供ioc的容器解决方案，在容器启动的时…...

编程日记 2025/7/3 7:30:19

Jmeter进阶篇（31）解决java.net.BindException: Address already in use: connect报错

📚前言 近期雪雪妹妹在使用Jmeter执行压测的时候，发现了一个非常让她头疼的问题，她使用20并发跑，正确率可以达到100%，但是一旦使用200并发，就会出现大量的报错，报错内容如下： java.net.BindException: Address already in use: connectat java.net.DualStackPlainSo…...

编程日记 2025/7/3 9:31:58

组会 | DenseNet

目录 1 研究背景1.1 提出的动机1.2 同期的模型 2 网络模型2.1 模型架构2.2 模块与参数2.3 瓶颈层和压缩率2.4 小结 3 实验结果4 优点与缺点4.1 DenseNet 的优点4.2 DenseNet 的缺点 前言：本博客仅为组会总结，如有谬误，请不吝指出…...

编程日记 2025/7/3 9:31:56

深入解析-正则表达式

学习正则，我们到底要学什么？ 正则表达式（RegEx）是一种强大的文本匹配工具，广泛应用于数据验证、文本搜索、替换和解析等领域。学习正则表达式，我们不仅要掌握其语法规则，还需要学会如何高效地利…...

编程日记 2025/7/2 13:04:02

12306分流抢票软件 bypass v1.16.43 绿色版（春节自动抢票工具）

软件介绍 12306Bypass分流抢票软件，易操作强大的12306抢票软件，全程自动抢票，云识别验证码打码，多线程秒单、稳定捡漏，支持抢候补票、抢到票自动付款，支持多天、多车次、多席别、多乘客、短信提醒等功能。…...

编程日记 2025/7/3 9:31:53

Arduino UNO 驱动1.8 TFT屏幕显示中文

背景 最近入手了一块1.8寸的tft屏幕&#xff0c;通过学习文档&#xff0c;已经掌握了接线&#xff0c;显示英文、数字、矩形区域、划线、画点等操作&#xff0c; 但是想显示中文的时候操作比较复杂。 问题 1、arduino uno 驱动这款屏幕目前使的是自带的<TFT.h> 库操作…...

编程日记 2025/7/4 6:57:23

vue路由模式面试题

vue路由模式 1.路由的模式有哪些?有什么区别? history和hash模式 区别: 1.表现的形态不同: 在地址栏url中:hash模式中带有**#**号,history没有 2.请求错误时表现不同: 在hash模式中,对于404地址请求时,不会进行请求 但是在history模式中,对于404请求时,仍然会进行请求…...

编程日记 2025/7/4 6:57:19

计算机的错误计算（二百零一）

摘要 用两个大模型计算 &#xff0c;结果保留 10位有效数字。实验表明&#xff0c;两个大模型的输出均只有1位正确数字&#xff1b;并它们几乎相同&#xff1a;仅最后1位数字不同。 例1. 计算 , 结果保留 10位有效数字。 下面是与一个数学解题器的对话。 以上为与一个数学解…...

编程日记 2025/7/4 6:57:15

WandB使用笔记

最近看代码&#xff0c;发现代码中有wandb有关的内容&#xff0c;搜索了一下发现是一个模型训练工具&#xff0c;然后学习了一下&#xff0c;这里记录一下使用过程&#xff0c;方便以后查阅。 WandB使用笔记 登录WandB 并 创建团队安装 WandB 并 登录模型训练过程跟踪模型版本管…...

编程日记 2025/6/28 16:06:07

TTL 传输中过期问题定位

问题&#xff1a; 工作环境中有一个acap的环境&#xff0c;ac的wan口ip是192.168.186.195/24&#xff0c;ac上lan上有vlan205&#xff0c;其ip子接口地址192.168.205.1/24&#xff0c;ac采用非nat模式&#xff0c;而是路由模式&#xff0c;在上级路由器上有192.168.205.0/24指向…...

编程日记 2025/6/30 1:29:06

spring mvc源码学习笔记之五

pom.xml 内容如下 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/P…...

编程日记 2025/7/3 0:09:04

Java 数据库连接 - Sqlite

Java 数据库连接 - Sqlite PS: 1. 连接依赖库&#xff1a;[sqlite-jdbc-xxx.jar](https://mvnrepository.com/artifact/org.xerial/sqlite-jdbc)(根据连接的数据库版本选择) 2. 支持一次连接执行多次sql语句&#xff1b; 3. 仅本地连接&#xff1b;使用说明&#xff1a; publ…...

编程日记 2025/7/3 0:09:02

【Rust自学】10.2. 泛型

喜欢的话别忘了点赞、收藏加关注哦&#xff0c;对接下来的教程有兴趣的可以关注专栏。谢谢喵&#xff01;(&#xff65;ω&#xff65;) 题外话&#xff1a;泛型的概念非常非常非常重要&#xff01;&#xff01;&#xff01;整个第10章全都是Rust的重难点&#xff01;&#xf…...

编程日记 2025/7/1 16:31:31

鸿蒙MPChart图表自定义（六）在图表中绘制游标

在鸿蒙开发中&#xff0c;MPChart 是一个非常强大的图表库&#xff0c;它可以帮助我们创建各种精美的图表。今天&#xff0c;我们将继续探索鸿蒙MPChart的自定义功能&#xff0c;重点介绍如何在图表中绘制游标。 OpenHarmony三方库中心仓 一、效果演示 以下是效果演示图&…...

编程日记 2025/7/4 5:11:15

PHP在做api开发中，RSA加密签名算法如何使用 ？

RSA 加密是什么 RSA&#xff08;Rivest-Shamir-Adleman&#xff09;是最早的公钥密码系统之一&#xff0c;广泛用于安全数据传输。3 位数学家 Rivest、Shamir 和 Adleman 的名字来命名的。 是非对称加密的一种 这种算法非常可靠&#xff0c;密钥越长&#xff0c;它就越难破解。…...

编程日记 2025/6/28 16:06:33

PHP+Redis的基本操作方法

一、Redis连接与认证 二、String操作 三、Hash操作 四、List操作 五、Set操作 六、Zset操作 一、Redis连接与认证 $redis new Redis(); //连接参数&#xff1a;ip、端口、连接超时时间&#xff0c;连接成功返回true&#xff0c;否则返回false $ret $redis->connec…...

编程日记 2025/7/3 0:08:56

非docker方式部署openwebui过程记录

之前一直用docker方式部署openwebui&#xff0c;结果这东西三天两头升级&#xff0c;我这一升级拉取docker镜像硬盘空间嗖嗖的占用&#xff0c;受不了&#xff0c;今天改成了直接部署&#xff0c;以下是部署过程记录。 一、停止及删除没用的docker镜像占用的硬盘空间 docker s…...

编程日记 2025/7/2 4:02:18

豆包ai 生成动态tree 增、删、改以及上移下移 html+jquery

[豆包ai 生成动态tree 增、删、改以及上移下移 htmljquery) 人工Ai 编程 推荐一Kimi https://kimi.moonshot.cn/ 推荐二 豆包https://www.doubao.com/ 实现效果图 html 代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF…...

编程日记 2025/7/1 8:07:31

基于STM32环境温湿度监测系统设计（附项目代码zip）

一.介绍 本文详细介绍了一种基于STM32F103C8T6微控制器DS18B20温度传感器DHT11温湿度传感器的环境监测系统。该系统旨在实时监测周围环境的温度与湿度&#xff0c;通过OLED实时显示温湿度值&#xff0c;通过USART串口实时打印温湿度值&#xff0c;并在温湿度超过预设阈值时&am…...

编程日记 2025/6/29 13:46:10

Kafka配置公网或NLB访问(TCP代理)

这套配置适用于TCP代理和公网访问&#xff0c;kafka版本2.8&#xff0c;版本如果不同配置参数会有一些差异&#xff0c;原理一致 分几种场景&#xff0c;正常来说我们直接使用kafka IP地址访问就行&#xff0c;考虑到网络架构和环境安全&#xff0c;需要使用公网或代理访问kaf…...

编程日记 2025/6/28 15:36:51

30分钟学会css

CSS 基本语法 CSS&#xff08;Cascading Style Sheets&#xff09;是一种样式表语言&#xff0c;用于描述 HTML&#xff08;或 XML&#xff09;文档的呈现。它可以控制网页元素的颜色、字体、布局等外观样式&#xff0c;实现内容与表现的分离&#xff0c;让网页设计更加灵活和…...

编程日记 2025/7/2 5:05:10

若依修改超级管理员admin的密码

通过接口方式或者页面 /system/user/resetPwd 需改其他用户的密码 修改其他用户的加密的密码&#xff0c;然后通过数据库将admin更新为这个密码就修改好了...

编程日记 2025/7/1 21:11:14

《柴油遗产-无耻时代》V98375官方版

靠近你所在赛道上的另一名玩家进行攻击或防守&#xff0c;跳到另一条赛道上进行恢复&#xff0c;或闪到对手背后打他个措手不及。与队友合作&#xff0c;充分利用每个角色的独特玩法来控制战斗走向&#xff01; 《柴油遗产-无耻时代》官方版 https://pan.xunlei.com/s/VODW7xDX…...

编程日记 2025/7/1 23:52:02

加固服务器有什么用？

为什么越来越多的企业和个人都在加固他们的服务器&#xff1f;加固服务器不仅可以保护数据安全&#xff0c;还能提升整体系统的稳定性和可靠性。下面是聚名网的一些介绍。 加固服务器的首要目的就是提高安全性。随着网络攻击手段的不断演变&#xff0c;黑客和恶意软件的威胁也…...

编程日记 2025/7/3 11:32:31

Json字符串解析失败

通过第三方服务&#xff0c;拿到响应体的data对象&#xff08;拿到的时候对象是有值的&#xff09; 通过JSON.parseObject方法&#xff0c;拿到的对象&#xff0c;值为null 通过查看对应的json字符串&#xff0c;发现命名不一样... JSONField SeriealizedName注解是用来解析j…...

编程日记 2025/6/29 20:09:30

比较 FreeSWITCH 的 asr 事件和回调函数

用 lua 来描述&#xff0c;是这样的 第一种做法&#xff1a; session:setVariable("fire_asr_events", "true") session:execute("detect_speech", "start-input-timers") 识别到结果之后可以收到 DETECTED_SPEECH 事件 另外一个做法…...

编程日记 2025/7/3 0:08:54

Pytorch 三小时极限入门教程

一、引言 在当今的人工智能领域&#xff0c;深度学习占据了举足轻重的地位。而 Pytorch 作为一款广受欢迎的深度学习框架&#xff0c;以其简洁、灵活的特性&#xff0c;吸引了大量开发者投身其中。无论是科研人员探索前沿的神经网络架构&#xff0c;还是工程师将深度学习技术落…...

编程日记 2025/7/3 0:08:51

125个Docker的常用命令

基本命令命令描述示例docker run创建并启动一个容器docker run -it ubuntu bashdocker ps列出当前运行的容器docker psdocker ps -a列出所有容器&#xff0c;包括未运行的docker ps -adocker stop停止一个运行中的容器docker stop [CONTAINER_ID]docker start启动一个已停止的容…...

编程日记 2025/7/2 7:41:44

C# 设计模式（结构型模式）：组合模式

C# 设计模式&#xff08;结构型模式&#xff09;&#xff1a;组合模式 在软件设计中&#xff0c;有时我们需要处理的是一组对象&#xff0c;而这些对象既可以是单独的元素&#xff0c;也可以是由多个子元素组成的复合体。这时&#xff0c;组合模式&#xff08;Composite Patte…...

编程日记 2025/7/2 5:05:07

【HarmonyOS】：DevEco Studio安装与应用工程创建指南

前言 本文旨在为初涉 HarmonyOS 开发的开发者提供一份详尽的入门指南&#xff0c;涵盖从安装最新版 DevEco Studio 到使用该 IDE 创建首个应用工程的具体步骤。通过遵循本指南&#xff0c;您将能够顺利搭建起自己的开发环境&#xff0c;并迈出构建HarmonyOS应用的第一步。 一、…...

编程日记 2025/7/4 18:03:29

【C/C++】手搓项目中常用小工具：日志、sqlit数据库、Split切割、UUID唯一标识

每日激励&#xff1a;“不设限和自我肯定的心态&#xff1a;I can do all things。 — Stephen Curry” 绪论​&#xff1a; 本章将写到一些手搓常用工具&#xff0c;方便在项目中的使用&#xff0c;并且在手搓的过程中一些函数如&#xff1a;日志 宏中的__VA_ARGS__接收可变参…...

编程日记 2025/7/1 0:32:06

【论文阅读】Anchor-based fast spectral ensemble clustering

论文地址&#xff1a;Anchor-based fast spectral ensemble clustering - ScienceDirect 代码地址&#xff1a; 摘要 集成聚类通过融合多个基础聚类方法&#xff0c;可以获得更好且更稳健的结果&#xff0c;因此受到广泛关注。尽管近年来已经出现了许多代表性的算法&#xff…...

编程日记 2025/7/1 8:50:42

asp.net core 发布到iis后，一直500.19，IIS设置没问题，安装了sdk，文件夹权限都有，还是报错

原因就是没有安装ASP.NET Core 9.0 Runtime (v9.0.0) - Windows Hosting Bundle&#xff0c;我是只安装了.net core的sdk&#xff0c;下面介绍下sdk和hosting bundle的关系 在 .NET Core 和 ASP.NET Core 的开发中&#xff0c;SDK&#xff08;Software Development Kit&#x…...

编程日记 2025/6/29 21:26:46

牛客月赛108

目录 A. 小S按按钮 C. 小T数星星 E. 小M种树 A. 小S按按钮 &#xff08;1&#xff09; 二分答案的右边界一定要开大。若 x 等于 0&#xff0c;最多 2 * y 次 &#xff08;2&#xff09;根据是要最小还是最多&#xff0c;调整 if ( check ( mid ) ) 里的是 l 还是 r #include&l…...

编程日记 2025/7/1 22:08:22

QML自定义进度条和单选按钮的样式

1.自定义进度条的样式 1.1代码展示 import QtQuick 2.9 import QtQuick.Window 2.2 import QtQuick.Controls 2.1Window {visible: truewidth: 640height: 480title: qsTr("Hello World")ProgressBar {id: myProgressvalue: 0.5padding: 2anchors.centerIn: parent…...

编程日记 2025/7/3 5:07:53

jetbrain 安装 copilot

问题一&#xff1a;Sign in failed. Reason: Request signInInitiate failed with message: Request to /github.com/login/device/code> timed out after 30000ms, request id: 11, error code: -32603 解决方案&#xff1a; 参考资料&#xff1a;https://github.com/orgs/…...

编程日记 2025/7/3 18:03:20

FPGA 4x4矩阵键盘 实现

1原理 FPGA（现场可编程门阵列）4x4矩阵键盘的实现原理主要基于行列扫描法，通过FPGA对键盘的扫描和识别，实现对键盘输入信号的采集和处理。以下是对FPGA 4x4矩阵键盘实现原理的详细解释： 一、矩阵键盘的基本原理 结构：4x4矩阵键盘由4行和4列组成，共16个按键。每个按键位…...

编程日记 2025/7/2 23:48:05

探索 JMeter While Controller：循环测试的奇妙世界

嘿&#xff0c;宝子们&#xff01;今天咱们就来聊聊 JMeter 里超级厉害的 While 控制器&#xff0c;它就像是一把神奇的钥匙&#xff0c;能帮我们打开循环测试的大门&#xff0c;模拟出各种各样复杂又有趣的场景哦&#xff01; 一、While 控制器初印象 想象一下&#xff0c;你…...

编程日记 2025/7/3 0:08:47

Facebook元宇宙项目中的智能合约应用：提升虚拟空间的自治能力

近年来&#xff0c;Facebook在元宇宙领域的探索引起了广泛关注。元宇宙是一个融合虚拟现实&#xff08;VR&#xff09;、增强现实&#xff08;AR&#xff09;和互联网的沉浸式数字空间。在这个过程中&#xff0c;智能合约技术被认为是提升虚拟空间自治能力的关键工具。通过自动…...

编程日记 2025/7/3 0:08:45

前后端规约

文章目录 引言I 【强制】前后端交互的 API请求内容响应体响应码II 【推荐】MVC响应体III【参考】IV 其他引言 服务器内部重定向必须使用 forward；外部重定向地址必须使用 URL 统一代理模块生成，否则会因线上采用 HTTPS 协议而导致浏览器提示“不安全”，并且还会带来 URL 维护…...

编程日记 2025/7/4 0:47:38

获取 Astro Bot AI 语音来增强您的游戏体验！

有很多用户尝试过Astro Bot&#xff0c;却被Astro Bot可爱的声音所吸引。您是否想知道如何使用 Astro Bot 语音来拨打恶作剧电话或用他的声音说话&#xff1f;如果您有&#xff0c;那么这篇文章适合您。我们将向您展示如何为 Astro Bot 提供逼真的 AI 声音并在在线对话中使用它…...

编程日记 2025/7/3 0:08:40

javaEE-多线程进阶-JUC的常见类

juc:指的是java.util.concurrent包&#xff0c;该包中加载了一些有关的多线程有关的类。 目录 一、Callable接口 FutureTask类 参考代码&#xff1a; 二、ReentrantLock 可重入锁 ReentrantLock和synchronized的区别&#xff1a; 1.ReentantLock还有一个方法&#xff1a…...

编程日记 2025/7/3 0:08:37

nginx配置 - 资源参数配置（性能优化）

nginx - 资源参数配置 （性能优化） 一、worker_rilimit_nofile配置的含义使用场景如何调整参数系统级文件描述符限制(补充)二、worker_connections三、两者之间的数值关系四、sendfile五、keepalive_timeout本文重点讨论： 最大文件描述符数量 worker_rilimit_nofile和最大连…...

编程日记 2025/7/3 0:08:35

TiDB 升级至高版本提示'mysql.tidb_runaway_watch' doesn't exist 问题处理

作者&#xff1a; asd80703406 原文来源&#xff1a; https://tidb.net/blog/90394c97 背景 近期发现很多人从低版本升级至TiDB v7 或者v8版本&#xff0c;均遇到了tidb-server启动失败&#xff0c;提示报错如下&#xff1a; ["get runaway watch record failed"…...

编程日记 2025/7/3 0:08:33