kafka-部署安装
一. 简述：
Kafka 是一个分布式流处理平台，常用于构建实时数据管道和流应用。
二. 安装部署：
1. 依赖：
a). Java：Kafka 需要 Java 8 或更高版本。
b). zookeeper：
#tar fxvz zookeeper-3.7.0.tar.gz
#mv zookeeper-3.7.0 zookeeper && cd zookeeper
#mkdir data log编辑 conf/zoo.cfg 文件，设置 dataDir 和其他必要参数。对于多节点集群，还需要配置 myid 文件，并在每个节点上指定唯一的 ID。
#cd conf/ && cp zoo_sample.cfg zoo.cfg
#vim zoo.cfgtickTime=2000
initLimit=10
syncLimit=5
dataDir=/xiaoxiang/elk/zookeeper/data
dataLogDir=/xiaoxiang/elk/zookeeper/log
clientPort=12181
server.1=10.0.4.80:12888:13888
server.2=10.0.4.81:12888:13888
server.3=10.0.4.82:12888:13888#echo 1 > /xiaoxiang/elk/zookeeper/data/myid （不同的node,输入不同的id）#bin/zkServer.sh start （启动）#检测：
# netstart -nltp (leader会多一个12888 port)
#jps 会有QuorumPeerMain 进程连接测试：
# bin/zkCli.sh -server 10.0.4.80:12181,10.0.4.81:12181,10.0.4.82:12181
Connecting to 10.0.4.80:12181,10.0.4.81:12181,10.0.4.82:12181............
12181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@506c589e
Welcome to ZooKeeper!
2016-09-28 16:55:29,711 [myid:] - INFO [main-SendThread(10.0.4.81:12181):ClientCnxn$SendThread@1032] - Opening socket connection to server 10.0.4.81/10.0.4.81:12181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2016-09-28 16:55:29,906 [myid:] - INFO [main-SendThread(10.0.4.81:12181):ClientCnxn$SendThread@876] - Socket connection established to 10.0.4.81/10.0.4.81:12181, initiating session
[zk: 10.0.4.80:12181,10.0.4.81:12181,10.0.4.82:12181(CONNECTING) 0] 2016-09-28 16:55:30,093 [myid:] - INFO [main-SendThread(10.0.4.81:12181):ClientCnxn$SendThread@1299] - Session establishment complete on server 10.0.4.81/10.0.4.81:12181, sessionid = 0x2576ff98af20000, negotiated timeout = 30000WATCHER::WatchedEvent state:SyncConnected type:None path:null# 从log上看,client端连接的是10.0.4.81:12181（连接上哪台机器的zk进程是随机的）2. kafka安装：
#tar fxvz kafka_2.11-0.10.0.0.tgz
#mv kafka_2.11-0.10.0.0 kafka
#cd kafka/config
#vim server.propertiesbroker.id=1 #节点id,各broker会不同
port=19092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=24
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.0.4.80:12181,10.0.4.81:12181,10.0.4.82:12181
zookeeper.connection.timeout.ms=6000启动：
#nohup bin/kafka-server-start.sh config/server.properties &
#bin/kafka-server-stop.sh测试生产/消费：
# bin/kafka-topics.sh --create --zookeeper 10.0.4.80:12181 --replication-factor 1 --partitions 1 --topic test 创建topic
# bin/kafka-topics.sh --list --zookeeper 10.0.4.80:21181 查看topic列表
#bin/kafka-console-producer.sh --broker-list 10.0.4.80:19092 --topic test 生产
#bin/kafka-console-consumer.sh --zookeeper 10.0.4.80:12181 --topic test --from-beginning 消费相关文章：
kafka-部署安装
一. 简述： Kafka 是一个分布式流处理平台，常用于构建实时数据管道和流应用。 二. 安装部署： 1. 依赖： a). Java：Kafka 需要 Java 8 或更高版本。 b). zookeeper： #tar fxvz zookeeper-3.7.0.tar.gz #…...
深入探讨防抖函数中的 this 上下文
深入剖析防抖函数中的 this 上下文 最近我在研究防抖函数实现的时候，发现一个耗费脑子的问题，出现了令我困惑的问题。接下来，我将通过代码示例，深入探究这些现象背后的原理。 示例代码 function debounce(fn, delay) {let time…...
人工智能丨Midscene：让UI自动化测试变得更简单
在这个数字化时代，每一个细节的优化都可能成为产品脱颖而出的关键。而对于测试人员来说，确保产品界面的稳定性和用户体验的流畅性至关重要。今天，我要向大家介绍一款名为Midscene的工具，它利用自然语言处理（NLP&#x…...
【数据结构】_链表经典算法OJ（力扣版）
目录 1. 移除链表元素 1.1 题目描述及链接 1.2 解题思路 1.3 程序 2. 反转链表 2.1 题目描述及链接 2.2 解题思路 2.3 程序 3. 链表的中间结点 3.1 题目描述及链接 3.2 解题思路 3.3 程序 1. 移除链表元素 1.1 题目描述及链接 原题链接：203. 移除链表…...
DeepSeek-R1技术报告速读
春节将至，DeepSeek又出王炸！DeepSeek-R1系列重磅开源。本文对其技术报告做简单解读。 话不多说，show me the benchmark。从各个高难度benchmark结果来看，DeepSeek-R1已经比肩OpenAI-o1-1217，妥妥的第一梯队推理模型。…...
560. 和为 K 的子数组
【题目】：560. 和为 K 的子数组 方法1. 前缀和 class Solution { public:int subarraySum(vector<int>& nums, int k) {int res 0;int n nums.size();vector<int> preSum(n 1, 0); // 下标从1开始存储for(int i 0; i < n; i) {preSum[i 1]…...
鸿蒙仓颉环境配置（仓颉SDK下载,仓颉VsCode开发环境配置,仓颉DevEco开发环境配置）
目录 1）仓颉的SDK下载 1--进入仓颉的官网 2--点击图片中的下载按钮 3--在新跳转的页面点击即刻下载 4--下载 5--找到你们自己下载好的地方 6--解压软件 2）仓颉编程环境配置 1--找到自己的根目录 2--进入命令行窗口 3--输入 envsetup.bat 4--验证是否安…...
)
NodeJs / Bun 分析文件编码 并将 各种编码格式 转为 另一个编码格式 ( 比如: GB2312→UTF-8, UTF-8→GB2312)
版本号 "iconv-lite": "^0.6.3", "chardet": "^2.0.0",github.com/runk/node-chardet 可以识别文本是 哪种编码 ( 大文件截取一部分进行分析,速度比较快 ) let bun_file_obj Bun.file(full_file_path) let file_bytes await bun_f…...
Java学习笔记（二十五）
1 Kafka Raft 简单介绍 Kafka Raft (KRaft) 是 Kafka 引入的一种新的分布式共识协议，用于取代之前依赖的 Apache ZooKeeper 集群管理机制。从 Kafka 2.8 开始，Kafka 开始支持基于 KRaft 的独立模式，计划在未来完全移除 ZooKeeper 的依赖。 1…...
Baklib如何结合内容中台与人工智能技术实现数字化转型
内容概要 在当前快速发展的数字环境中，企业面临着转型的紧迫性与挑战，尤其是在内容管理和用户互动的领域。内容中台作为一种集成化的解决方案，不仅能够提高企业在资源管理方面的效率，还能够为企业提供一致性和灵活性的内容分发机…...
git困扰的问题
.gitignore中添加的某个忽略文件并不生效 把某些目录或文件加入忽略规则，按照上述方法定义后发现并未生效， gitignore只能忽略那些原来没有被追踪的文件，如果某些文件已经被纳入了版本管理中，则修改.gitignore是无效的。 解决方…...
第05章 12 可视化热量流线图一例
下面是一个使用VTK（Visualization Toolkit）和C编写的示例代码，展示如何在一个厨房模型中可视化热量流线图，并按照热量传递速度着色显示。这个示例假设你已经安装了VTK库，并且你的开发环境已经配置好来编译和运行VTK程序…...
Vue组件开发-使用 html2canvas 和 jspdf 库实现PDF文件导出 设置页面大小及方向
在 Vue 项目中实现导出 PDF 文件、调整文件页面大小和页面方向的功能，使用 html2canvas 将 HTML 内容转换为图片，再使用 jspdf 把图片添加到 PDF 文件中。以下是详细的实现步骤和代码示例： 步骤 1：安装依赖 首先，在项…...
LTV预估 | 深度学习PLTV之开山鼻祖ZILN
🤣 这一集让我们欢迎基于深度学习的pltv方法：ZILN，ZILN可以说是后面很多研究的参考方法，我看了好几篇最新的pltv论文，都是基于ZILN来做的。 文章目录 1 精简总结2 背景&挑战：3 方法：实验&am…...
MFC常用操作
1，获取STATIC控件的值 CString str; m_STATIC2.GetWindowText(str);//获取STATIC控件的值 MessageBox(str); 2.设置EDIT控件的值 m_EDIT2.SetWindowText(str);//设置EDIT控件的值 GetDlgItem(IDC_EDIT1)->SetWindowText("Leave");//设置EDIT控件的值…...
第24篇 基于ARM A9处理器用汇编语言实现中断＜六＞
Q：怎样设计ARM处理器汇编语言程序使用定时器中断实现实时时钟？ A：此前我们曾使用轮询定时器I/O的方式实现实时时钟，而在本实验中将采用定时器中断的方式。新增第三个中断源A9 Private Timer，对该定时器进行配置&#…...
【学习笔记】计算机网络（二）
第2章 物理层 文章目录 第2章 物理层2.1物理层的基本概念2.2 数据通信的基础知识2.2.1 数据通信系统的模型2.2.2 有关信道的几个基本概念2.2.3 信道的极限容量 2.3物理层下面的传输媒体2.3.1 导引型传输媒体2.3.2 非导引型传输媒体 2.4 信道复用技术2.4.1 频分复用、时分复用和…...
2025多目标优化创新路径汇总
多目标优化是当下非常热门且有前景的方向！作为AI领域的核心技术之一，其专注于解决多个相互冲突的目标的协同优化问题，核心理念是寻找一组“不完美但均衡”的“帕累托最优解”。在实际中，几乎处处都有它的身影。 但随着需求场景的…...
)
图漾相机-ROS2-SDK-Ubuntu版本编译(新版本)
官网编译文档链接： https://doc.percipio.xyz/cam/latest/getstarted/sdk-ros2-compile.html 国内gitee下载SDK链接： https://gitee.com/percipioxyz 国外github下载SDK链接： https://github.com/percipioxyz 1.Camport ROS2 SDK 介绍 1.1 …...
字符设备驱动模版-中断
字符设备驱动模版-中断 思维导图在线高清查看：https://www.helloimg.com/i/2025/01/27/679791b5257c0.png 修改设备树 1添加pinctrl节点 1创建对应的节点 在 iomuxc 节点的 imx6ul-evk 子节点下 2添加“fsl,pins”属性 3在“fsl,pins”属性中添加PIN配置信息 …...
STM32 旋转编码器
旋转编码器简介 旋转编码器：用来测量位置、速度或旋转方向的装置，当其旋转轴旋转时，其输出端可以输出与旋转速度和方向对应的方波信号，读取方波信号的频率和相位信息即可得知旋转轴的速度和方向 类型：机械触点式/霍尔传…...
java ，springboot 对接支付宝支付，实现生成付款二维码，退款，查询订单状态等接口
查看文档 支付宝文档地址： 小程序文档 - 支付宝文档中心 使用沙箱环境 沙箱登录地址 登录 - 支付宝 点击查看 才能看钥匙截图写错了。。 问号可以看默认加密方式 点击沙箱帐号 这里我们就具备所有条件了 实战开始 pom文件增加依赖 <dependency> <gro…...
OpenCV：形态学梯度
目录 简述 1. 用图像运算和腐蚀实现形态学梯度 1.1 代码示例 1.2 运行结果 2. 形态学梯度接口 2.1 参数解释 2.2 代码示例 2.3 运行结果 3. 形态学梯度与边缘检测 4. 形态学梯度的应用场景 5. 注意事项 相关阅读 OpenCV：图像的腐蚀与膨胀-CSDN博客 简述…...
图漾相机搭配VisionPro使用简易教程
1.下载并安装VisionPro软件 请自行下载VisonPro软件。 VisionPro 9.0/9.5/9.6版本经测试，可正常打开图漾相机，建议使用图漾测试过的版本。 2.下载PercipioCameraForVisionPro软件包 使用浏览器下载：https://gitee.com/percipioxyz/camport3…...
《数字图像处理（面向新工科的电工电子信息基础课程系列教材）》重印P126、P131勘误
勘误：打圈的地方有指数二字。 指数滤波器本身是错误的概念，我在书上打了一个叉，排版人员误删了。 滤波器部分从根本上有问题，本来要改，但是时间不够了。 和廖老师讨论多次后，决定大动。指数滤波器的概念…...
4、PyTorch 第一个神经网络，手写神经网络的基本部分组成
假设有一个二维数据集，目标是根据点的位置将它们分类到两个类别中（例如，红色和蓝色点）。 以下实例展示了如何使用神经网络完成简单的二分类任务，为更复杂的任务奠定了基础，通过 PyTorch 的模块化接口&#…...
Vue实现div滚动，并且支持top动态滚动
如果你知道距离目标 div 顶部的像素值，并希望通过传入 top 参数来实现滚动到对应区域，可以使用 window.scrollTo 方法。 编写滚动方法 const scrollToDiv (targetDiv, top) > {if (targetDiv) {top top * targetDiv.value.scrollHeight / data.he…...
【QT】- QUdpSocket
QUdpSocket 是 Qt 自带的一个类，属于 Qt 网络模块，用于进行 UDP（用户数据报协议） 通信。它提供了简便的接口来发送和接收 UDP 数据报（datagrams）。 UDP 是一种无连接的协议，适用于那些不需要确…...
WGCLOUD运维工具从入门到精通 - 如何设置主题背景
需要升级到WGCLOUD的v3.5.7或者以上版本，才会支持自定义设置主题背景色 WGCLOUD下载：www.wgstart.com 我们登录后，在右上角点击如下的小图标，就可以设置主题背景色了，包括：经典白（默认&#x…...
【Elasticsearch】中数据流需要配置索引模板吗？
是的，数据流需要配置索引模板。在Elasticsearch中，数据流（Data Streams）是一种用于处理时间序列数据的高级结构，它背后由多个隐藏的索引组成，这些索引被称为后备索引（Backing Indices࿰…...
Python 合并 Excel 单元格
合并 Excel 单元格是 Excel 数据处理和表格设计中的一项常用操作。例如，在制作表格标题时，经常会将多个单元格合并，使标题能够跨列显示，更加醒目和美观。此外，当对数据进行分类时，为了使同一类别的数据在视…...
C++中左值和右值的概念
文章目录 一、概要二、左值（Lvalue）二、右值（Rvalue）三、左值引用和右值引用四、左值和右值的使用场景五、总结 一、概要 在 C 中，左值（Lvalue）和右值（Rvalue）是两个非常…...
27.日常算法
1. 最后一个单词的长度 题目来源 给你一个字符串 s，由若干单词组成，单词前后用一些空格字符隔开。返回字符串中 最后一个 单词的长度。单词 是指仅由字母组成、不包含任何空格字符的最大子字符串。 示例 1： 输入：s “Hello Wor…...
动态规划DP 数字三角形模型 传纸条（题目分析+C++完整代码）
传纸条 原题链接 AcWing 275. 传纸条 题目描述 小渊和小轩是好朋友也是同班同学，他们在一起总有谈不完的话题。 一次素质拓展活动中，班上同学安排坐成一个 m行 n 列的矩阵，而小渊和小轩被安排在矩阵对角线的两端，因此&#x…...
Spark入门（Python）
目录 一、安装Spark 二、Spark基本操作 一、安装Spark pip3 install pyspark 二、Spark基本操作 # 导入spark的SparkContext,SparkConf模块 from pyspark import SparkContext, SparkConf # 导入os模块 import os # 设置PYSPARK的python环境 os.environ[PYSPARK_PYTHON] &…...
.NET Core缓存
目录 缓存的概念 客户端响应缓存 cache-control 服务器端响应缓存 内存缓存（In-memory cache） 用法 GetOrCreateAsync 缓存过期时间策略 缓存的过期时间 解决方法： 两种过期时间策略： 绝对过期时间 滑动过期时间 两…...
IoTDB 2025 春节值班与祝福
2025 春节快乐 瑞蛇迎吉庆，祥光映华年，2025 春节已近在眼前。社区祝福 IoTDB 的所有关注者、支持者、使用者 2025 新年快乐，“蛇”来运转！ IoTDB 团队的春节放假时间为 2025 年 1 月 27 日至 2 月 4 日，1 月 25 日、26…...
Qt Ribbon使用实例
采用SARibbon创建简单的ribbon界面 实例代码如下所示： 1、头文件： #pragma once #include <SARibbonBar.h> #include "SARibbonMainWindow.h" class QTextEdit; class SAProjectDemo1 : public SARibbonMainWindow { Q_OBJECT pub…...
maven的打包插件如何使用
默认的情况下，当直接执行maven项目的编译命令时，对于结果来说是不打第三方包的，只有一个单独的代码jar，想要打一个包含其他资源的完整包就需要用到maven编译插件，使用时分以下几种情况 第一种：当只是想单纯…...
Linux——rzsz工具
rzsz这个工具用于 windows 机器和远端的 Linux 机器通过 XShell 传输文件. 安装完毕之后可以通过拖拽的方式将文件上传过去. 安装rzsz工具 rz：从Windows机器上传到远程Linux机器（或者直接把文件托进Xshell中） sz：将文件从Linux远…...
航空客户价值的数据挖掘与分析（numpy+pandas+matplotlib+scikit-learn）
文章目录 航空客户价值的数据挖掘与分析（numpy+pandas+matplotlib+scikit-learn）写在前面背景与挖掘目标1.1 需求背景1.2 挖掘目标1.3 项目概述项目分析方法规划2.1 RFM模型2.2 LRFMC模型指标2.3 分析总体流程图数据抽取探索及预处理3.1 数据抽取3.2 数据探索分析3.3 数据预处…...
【文星索引】搜索引擎项目测试报告
目录 一、项目背景二、 项目功能2.1 数据收集与索引2.2 API搜索功能2.3 用户体验与界面设计2.4 性能优化与维护 三、测试报告3.1 功能测试3.2 界面测试3.3 性能测试3.4 兼容性测试3.5 自动化测试 四、测试总结4.1 功能测试方面4.2 性能测试方面4.3 用户界面测试方面 一、项目背…...
【C++】特殊类设计、单例模式与类型转换
目录 一、设计一个类不能被拷贝 （一）C98 （二）C11 二、设计一个类只能在堆上创建对象 （一）将构造函数私有化，对外提供接口 （二）将析构函数私有化 三、设计一个类只…...
Nxopen 直齿轮参数化设计
NXUG1953 Visualstudio 2019 参考论文： A Method for Determining the AGMA Tooth Form Factor from Equations for the Generated Tooth Root Fillet //FullGear// Mandatory UF Includes #include <uf.h> #include <uf_object_types.h>// Internal I…...
Vue.js组件开发-实现HTML内容打印
在Vue项目中实现打印功能，可以借助vue-html-to-paper插件来完成。 步骤 创建Vue项目：如果还没有Vue项目，可以使用Vue CLI来创建一个新的项目。 npm install -g vue/cli vue create vue-print-template cd vue-print-template安装vue-html-…...
大模型GUI系列论文阅读 DAY4续：《Large Language Model Agent for Fake News Detection》
摘要 在当前的数字时代，在线平台上虚假信息的迅速传播对社会福祉、公众信任和民主进程构成了重大挑战，并影响着关键决策和公众舆论。为应对这些挑战，自动化假新闻检测机制的需求日益增长。 预训练的大型语言模型（LLMs࿰…...
Day27-【13003】短文，线性表两种基本实现方式空间效率、时间效率比较？兼顾优点的静态链表是什么？如何融入空闲单元链表来解决问题？
文章目录 本次内容总览第四节，两种基本实现方式概览两种基本实现方式的比较元素个数n大于多少时，使用顺序表存储的空间效率才会更高？时间效率比较？*、访问操作，也就是读运算，读操作1、插入，2、删…...
Scrapy如何设置iP,并实现IP重用, IP代理池重用
前置知识 1/3乐观锁 2/3 Scrapy流程(非全部) 3/3 关于付费代理 我用的"快代理", 1000个ip, 每个ip1min的有效期, 你用的时候, 把你的链接, 用户名填上去就行 设置代理IP 🔒 & 帮助文档: ①meta ②meta#proxy$ 语法: ①proxy的设置: Request对象中…...
动手学图神经网络（4）：利用图神经网络进行图分类
利用图神经网络进行图分类：从理论到实践 引言 在之前的学习中，大家了解了如何使用图神经网络（GNNs）进行节点分类。本次教程将深入探讨如何运用 GNNs 解决图分类问题。图分类是指在给定一个图数据集的情况下，根据图的一些结构属性对整个图进行分类，而不是对图中的节点进…...
C++游戏开发深度解析
引言 在本篇文章中，我们将深入探讨C在游戏开发中的应用，包括内存管理、面向对象编程（OOP）、模板使用等，并通过实际代码示例来帮助理解。 内存管理与智能指针 cpp 深色版本 #include <iostream> #include <…...