当前位置：首页 > news >正文

Kafa分区策略实现

news 来源：原创 2025/5/15 15:37:02

引言

Kafka 的分区策略决定了生产者发送的消息会被分配到哪个分区中，合理的分区策略有助于实现负载均衡、提高消息处理效率以及满足特定的业务需求。

轮询策略（默认）

轮询策略是 Kafka 默认的分区策略（当消息没有指定键时）。生产者会按照顺序依次将消息发送到各个分区中，确保每个分区都能均匀地接收到消息，从而实现负载均衡。简单高效，能使各个分区的消息量相对均衡，充分利用每个分区的存储和处理能力。

import org.apache.kafka.clients.producer.*;
import java.util.Properties;public class RoundRobinProducer {public static void main(String[] args) {Properties props = new Properties();props.put("bootstrap.servers", "localhost:9092");props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");Producer<String, String> producer = new KafkaProducer<>(props);for (int i = 0; i < 10; i++) {ProducerRecord<String, String> record = new ProducerRecord<>("testTopic", "message-" + i);producer.send(record);}producer.close();}
}

随机策略

随机策略会随机地将消息分配到一个分区中。这种策略在某些情况下可以实现一定程度的负载均衡，但由于是随机分配，可能会导致分区之间的消息分布不够均匀。可以通过自定义分区器来实现随机策略。

import org.apache.kafka.clients.producer.*;
import java.util.List;
import java.util.Map;
import java.util.Random;public class RandomPartitioner implements Partitioner {private final Random random = new Random();@Overridepublic int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);return random.nextInt(partitions.size());}@Overridepublic void close() {}@Overridepublic void configure(Map<String, ?> configs) {}
}// 使用随机分区器的生产者示例
public class RandomProducer {public static void main(String[] args) {Properties props = new Properties();props.put("bootstrap.servers", "localhost:9092");props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");props.put("partitioner.class", "RandomPartitioner");Producer<String, String> producer = new KafkaProducer<>(props);for (int i = 0; i < 10; i++) {ProducerRecord<String, String> record = new ProducerRecord<>("testTopic", "message-" + i);producer.send(record);}producer.close();}
}

按键哈希策略

当消息指定了键时，Kafka 会根据键的哈希值将消息分配到特定的分区中。相同键的消息会被分配到同一个分区，这有助于保证具有相同业务逻辑的消息顺序性。可以保证消息的局部有序性，例如在处理用户相关的消息时，将同一个用户的消息发送到同一个分区，方便后续的处理和分析。

import org.apache.kafka.clients.producer.*;
import java.util.Properties;public class KeyBasedProducer {public static void main(String[] args) {Properties props = new Properties();props.put("bootstrap.servers", "localhost:9092");props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");Producer<String, String> producer = new KafkaProducer<>(props);for (int i = 0; i < 10; i++) {ProducerRecord<String, String> record = new ProducerRecord<>("testTopic", "user-" + (i % 2), "message-" + i);producer.send(record);}producer.close();}
}

自定义分区策略(实现接口)

当上述默认策略无法满足业务需求时，可以自定义分区策略。通过实现org.apache.kafka.clients.producer.Partitioner接口，重写partition方法来实现自定义的分区逻辑。例如，根据消息的某些特定字段（如时间、地理位置等）来进行分区，以满足特定的业务需求。

import org.apache.kafka.clients.producer.*;
import java.util.List;
import java.util.Map;public class CustomPartitioner implements Partitioner {@Overridepublic int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);// 自定义分区逻辑，这里简单示例根据消息值的长度分区String message = (String) value;return message.length() % partitions.size();}@Overridepublic void close() {}@Overridepublic void configure(Map<String, ?> configs) {}
}// 使用自定义分区器的生产者示例
public class CustomProducer {public static void main(String[] args) {Properties props = new Properties();props.put("bootstrap.servers", "localhost:9092");props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");props.put("partitioner.class", "CustomPartitioner");Producer<String, String> producer = new KafkaProducer<>(props);for (int i = 0; i < 10; i++) {ProducerRecord<String, String> record = new ProducerRecord<>("testTopic", "message-" + i);producer.send(record);}producer.close();}
}

Kafa分区策略实现

引言 Kafka 的分区策略决定了生产者发送的消息会被分配到哪个分区中，合理的分区策略有助于实现负载均衡、提高消息处理效率以及满足特定的业务需求。轮询策略（默认） 轮询策略是 Kafka 默认的分区策略（当消息没有指定键时&…...

编程日记 2025/5/15 15:37:02

元素的显示与隐藏

display显示隐藏visibility显示隐藏overflow溢出显示隐藏 display属性 visibility属性 overflow溢出...

编程日记 2025/5/15 14:13:11

“AI视频智能分析系统：让每一帧视频都充满智慧

嘿，大家好！今天咱们来聊聊一个特别厉害的东西——AI视频智能分析系统。想象一下，如果你有一个超级聪明的“视频助手”，它不仅能自动识别视频中的各种元素，还能根据内容生成详细的分析报告，是不是感觉特别酷…...

编程日记 2025/5/14 14:39:38

LeetCode：63. 不同路径 II

跟着carl学算法，本系列博客仅做个人记录，建议大家都去看carl本人的博客，写的真的很好的！ 代码随想录 LeetCode：63. 不同路径 II 给定一个 m x n 的整数数组 grid。一个机器人初始位于左上角（即 grid[0][0]…...

编程日记 2025/5/15 14:36:17

P4681 [THUSC 2015] 平方运算 Solution

Description 给定序列 a ( a 1 , a 2 , ⋯ , a n ) a(a_1,a_2,\cdots,a_n) a(a1,a2,⋯,an) 和常数 p p p ，有 m m m 个操作，分以下两种： modify ⁡ ( l , r ) \operatorname{modify}(l,r) modify(l,r)：对每个 i ∈ [ …...

编程日记 2025/5/14 19:43:03

机器人抓取与操作概述(深蓝)——1

工业机器人：① “臂”的形态 ② “手”的形态 ③ 视觉，力和触觉 1 机器人的不同形态 “臂”的形态 “手”的形态 2 常见的操作任务操作：插入、推和滑抓取：两指（平行夹爪）抓取、灵巧手抓取落地-产…...

编程日记 2025/5/15 15:11:42

算法基础学习——快排与归并（附带java模版）

快速排序和归并排序是两种速度较快的排序方式，是最应该掌握的两种排序算法， （一）快速排序（不稳定的） 基本思想：分治平均时间复杂度：O(nlogn) / 最慢O(n^2) / 最快O(n) 步骤&…...

编程日记 2025/5/14 11:21:38

JavaScript_02 表单

表单常用演示: 1.图片结果失真了... 2.切换图片切换结果 3.表单:...

编程日记 2025/5/15 14:32:41

接口 V2 完善：分布式环境下的 WebSocket 实现与 Token 校验

🎯 本文档详细介绍了如何使用WebSocket协议优化客户端与服务端之间的通信，特别是在处理异步订单创建通知的场景中。通过引入WebSocket代替传统的HTTP请求-响应模式，实现了服务器主动向客户端推送数据的功能，极大地提高了实时性和效…...

编程日记 2025/5/15 13:32:20

Android中Service在新进程中的启动流程2

目录 1、Service在客户端的启动入口 2、Service启动在AMS的处理 3、Service在新进程中的启动 4、Service与AMS的关系再续上一篇文章中我们了解了Service在新进程中启动的大致流程，同时认识了与客户端进程交互的接口IApplicationThread以及与AMS交互的接口IActi…...

编程日记 2025/5/15 15:26:08

C语言初阶力扣刷题——349. 两个数组的交集【难度：简单】

1. 题目描述力扣在线OJ题目给定两个数组，编写一个函数来计算它们的交集。示例： 输入：nums1 [1,2,2,1], nums2 [2,2] 输出：[2] 输入：nums1 [4,9,5], nums2 [9,4,9,8,4] 输出：[9,4] 2. 思路直接暴力…...

编程日记 2025/5/15 13:33:27

Java 大视界 -- Java 大数据在自动驾驶中的数据处理与决策支持（68）

💖亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也…...

编程日记 2025/5/10 7:04:59

DeepSeek学术写作测评第二弹：数据分析、图表解读，效果怎么样？

我是娜姐迪娜学姐 ，一个SCI医学期刊编辑，探索用AI工具提效论文写作和发表。针对最近全球热议的DeepSeek开源大模型，娜姐昨天分析了关于论文润色、中译英的详细效果测评： DeepSeek学术写作测评第一弹：论文润色&#…...

编程日记 2025/5/14 3:25:41

SpringBoot自动装配这里写目录标题 SpringBoot自动装配启动器主程序自定义扫描包SpringBootApplicationSpringBootConfigurationEnableAutoConfigurationAutoConfigurationPackageImport({AutoConfigurationImportSelector.class})选择器AutoConfigurationEntrygetCandidateCo…...

编程日记 2025/5/15 7:29:23

Rust：Rhai脚本编程示例

当然，以下是一个简单的Rhai脚本编程示例，展示了如何在Rust中使用Rhai执行脚本。首先，你需要确保你的Rust项目中包含了rhai库。你可以在你的Cargo.toml文件中添加以下依赖项： [dependencies] rhai "0.19" # 请检查最…...

编程日记 2025/5/12 14:53:21

深入理解文件描述符

问题文件描述符只是一个整数值，那么系统是如何利用这个整数值来完成文件读写的呢？ 什么是文件系统？ 计算机中用于组织、存储和管理文件的数据结构集合管理磁盘或其他存储介质上的空间 (将存储介质分块管理)保证文件数据不被破坏&#xf…...

编程日记 2025/5/15 4:11:18

使用CSS实现一个加载的进度条

文章目录使用CSS实现一个加载的进度条一、引言二、步骤一：HTML结构与CSS基础样式1、HTML结构2、CSS基础样式三、步骤二：添加动画效果1、使用CSS动画2、结合JavaScript控制动画四、使用示例五、总结使用CSS实现一个加载的进度条一、引言在现代网页…...

编程日记 2025/5/15 7:41:57

SQL 指南

SQL 指南引言 SQL（Structured Query Language，结构化查询语言）是一种用于管理关系数据库系统的标准计算机语言。自1970年代问世以来，SQL已经成为了数据库管理和数据操作的事实标准。本文旨在为初学者和有经验的数据库用户提供一个全面的SQL指南，涵盖SQL的基础知识、高级…...

编程日记 2025/5/15 13:44:24

sqlzoo答案4：SELECT within SELECT Tutorial

sql练习：SELECT within SELECT Tutorial - SQLZoo world表： namecontinentareapopulationgdpAfghanistanAsia6522302550010020343000000AlbaniaEurope28748283174112960000000AlgeriaAfrica238174137100000188681000000AndorraEurope46878115371200000…...

编程日记 2025/5/12 14:53:13

斐波那契数（信息学奥赛一本通-1071）

【题目描述】菲波那契数列是指这样的数列: 数列的第一个和第二个数都为1，接下来每个数都等于前面2个数之和。给出一个正整数k，要求菲波那契数列中第k个数是多少。【输入】输入一行，包含一个正整数k。（1 ≤ k ≤ 46）…...

编程日记 2025/5/14 21:47:47

数据结构与算法再探（六）动态规划

目录动态规划 (Dynamic Programming, DP) 动态规划的基本思想动态规划的核心概念动态规划的实现步骤动态规划实例 1、爬楼梯 c 递归（超时）需要使用记忆化递归循环 2、打家劫舍 3、最小路径和 4、完全平方数 5、最长公共子序列 6、0-1背…...

编程日记 2025/5/14 21:13:07

ECMAScript--promise的使用

一、Promise的简介 Promise是一个代理，它所代表的值在创建时并不一定是已知的。借助Promise，我们能够将处理程序与异步操作最终的成功值或者失败原因关联起来。这一特性使得异步方法可以像同步方法那样返回值，不同之处在于异步方法不会立…...

编程日记 2025/5/14 18:56:26

微服务入门（go）

微服务入门（go） 和单体服务对比：里面的服务仅仅用于某个特定的业务一、领域驱动设计（DDD） 基本概念领域和子域领域：有范围的界限（边界） 子域：划分的小范围核心域…...

编程日记 2025/5/14 22:08:26

【自学笔记】计算机网络的重点知识点-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录计算机网络重点知识点一、计算机网络概述二、网络分类三、网络性能指标四、网络协议与体系结构五、数据交换方式六、物理层与数据链路层七、网络层与运输层八、应用…...

编程日记 2025/5/15 15:33:20

leetcode——二叉树的中序遍历（java）

给定一个二叉树的根节点 root ，返回它的中序遍历。示例 1： 输入：root [1,null,2,3] 输出：[1,3,2] 示例 2： 输入：root [] 输出：[] 示例 3： 输入：root [1] 输出…...

编程日记 2025/5/14 22:10:31

neo4j-community-5.26.0 install in window10

在住处电脑重新配置一下neo4j, 1.先至官方下载 Neo4j Desktop Download | Free Graph Database Download Neo4j Deployment Center - Graph Database & Analytics 2.配置java jdk jdk 21 官网下载 Java Downloads | Oracle 中国 path: 4.查看java -version 版本 5.n…...

编程日记 2025/5/15 10:39:39

物联网智能项目之——智能家居项目的实现！

成长路上不孤单😊😊😊😊😊😊 【14后😊///计算机爱好者😊///持续分享所学😊///如有需要欢迎收藏转发///😊】今日分享关于物联网智能项目之——智能家居项目…...

编程日记 2025/5/15 14:45:24

基于SpringBoot的假期周边游平台的设计与实现(源码+SQL脚本+LW+部署讲解等)

专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎高校老师/同行前辈交流合作✌。技术范围：SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。主要内容：…...

编程日记 2025/5/15 14:31:35

JavaScript_03 超简计算器

版本一: <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>计算器</title><script type"text/javascript">function add(){let num1 document.getElementById("number1&qu…...

编程日记 2025/5/15 13:48:59

【重生之我在学习C语言指针详解】

目录编辑 --------------------------------------begin---------------------------------------- 引言一、指针基础 1.1 内存地址 1.2 指针变量 1.3 指针声明 1.4 取地址运算符 & 1.5 解引用运算符 *** 二、指针运算 2.1 指针加减运算 2.2 指针关系运算三…...

编程日记 2025/5/15 14:52:03

深度学习每周学习总结R5（LSTM-实现糖尿病探索与预测-模型优化）

🍨 本文为🔗365天深度学习训练营中的学习记录博客R7中的内容，为了便于自己整理总结起名为R5🍖 原作者：K同学啊 | 接辅导、项目定制目录 0. 总结优化细节（目前只采用了1、2两种方式）1. L2 正则…...

编程日记 2025/5/15 9:13:15

单元测试在复杂业务逻辑开发中的重要性与实践

背景以前编写程序时，我并没有养成大量撰写单元测试的习惯，尤其是在写偏向业务代码的情况下，写的单元测试很少，只有在封装一些公共方法的时候才会写一些测试用例。然而，最近我在开发的一个业务时，深刻地…...

编程日记 2025/5/14 21:16:44

Kubernetes 环境中的自动化运维实战指南

Kubernetes 作为容器编排领域的领导者，已经成为云原生应用的核心基础设施。然而，随着集群规模的扩大和应用的复杂化，手动运维 Kubernetes 集群变得愈发困难。自动化运维成为提升效率、保障系统稳定性的关键。本文将详细介绍如何在 Kubernetes 环境中实施自动化运维，涵盖工具…...

编程日记 2025/5/15 14:31:36

Linux 如何使用fdisk进行磁盘相关的操作

简介 fdisk 命令是 Linux 中用于管理磁盘分区的强大文本实用程序。它可以创建、删除、调整大小和修改硬盘上的分区。基本语法 fdisk [options] <device> <device>：要管理的磁盘，例如 /dev/sda、/dev/nvme0n1 或 /dev/vda 示例用法列…...

编程日记 2025/5/15 14:08:46

嵌入式Linux：如何监视子进程

目录 1、wait()函数 2、waitpid()函数 3、SIGCHLD信号在嵌入式Linux系统中，父进程通常需要创建子进程来执行特定任务，例如处理网络请求、执行计算任务等。监视子进程的状态不仅可以确保资源的合理利用，还能防止僵尸进程的产生&#xff0c…...

编程日记 2025/5/15 8:03:52

【信息系统项目管理师-选择真题】2010上半年综合知识答案和详解

更多内容请见：备考信息系统项目管理师-专栏介绍和目录文章目录【第1~2题】【第3题】【第4题】【第5题】【第6题】【第7题】【第8题】【第9题】【第10题】【第11题】【第12题】【第13题】【第14题】【第15题】【第16题】【第17题】【第18题】【第19题】【第20题】【第21题】…...

编程日记 2025/5/15 13:40:07

工作总结：压测篇

前言压测是测试需要会的一项技能，作为开发，有点时候也要会一点压测。也是被逼着现学现卖的。一、压测是什么，以及压测工具的选择压测，即压力测试，是一种性能测试手段，通过模拟大量用户同时访问系统&am…...

编程日记 2025/5/13 22:18:32

doris：STRUCT

STRUCT<field_name:field_type [COMMENT comment_string], ... > 表示由多个 Field 组成的结构体，也可被理解为多个列的集合。不能作为 Key 使用，目前 STRUCT 仅支持在 Duplicate 模型的表中使用。一个 Struct 中的 Field 的名字和数量固定&…...

编程日记 2025/5/12 11:51:36

二叉树介绍

一.树的概念树的图： 1.结点的度：一个结点含有子树的个数称为该结点的度； 如上图：A的度为6 2.树的度：一棵树中，所有结点度的最大值称为树的度； 如上图：树的度为6 3.叶子结点或终…...

编程日记 2025/5/15 15:32:13

通过Ngrok实现内网穿透助力远程开发

在现代软件开发和网络应用的环境下，开发人员常常需要在本地搭建服务器进行调试、测试或演示。然而，传统的端口映射（如使用 NAT 或 SSH 隧道）配置繁琐，且并非所有环境都允许直接暴露本地服务。ngrok 作为一款强大的隧道…...

编程日记 2025/5/15 14:03:19

DeepSeek-R1：通过强化学习激励大型语言模型（LLMs）的推理能力

摘要我们推出了第一代推理模型：DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero是一个未经监督微调（SFT）作为初步步骤，而是通过大规模强化学习（RL）训练的模型，展现出卓越的推理能力。通过强…...

编程日记 2025/5/14 2:29:57

Node.js基础

浏览器知识浏览器个浏览器都内置了DOM、BOM等API函数，供浏览器中的Javascript调用。每个浏览器都有对应的JavaScript解析引擎。浏览器中的JavaScript环境 V8引擎负责解析和执行JavaScript代码内置API是由运行环境提供的特殊接口，只能在所属的运…...

编程日记 2025/5/15 15:35:47

DeepSeek R1：中国AI黑马的崛起与挑战

在人工智能（AI）领域，大型语言模型（LLMs）正以迅猛之势重塑世界，其发展速度和影响力令人瞩目。近期，中国DeepSeek公司发布的DeepSeek R1模型，宛如一颗璀璨新星，凭借卓越的推…...

编程日记 2025/5/15 15:28:20

【JavaEE】_MVC架构与三层架构

目录 1. MVC架构 2. 三层架构 3. MVC架构与三层架构的对比 3.1 MVC与三层架构的对比 3.2 MVC与三层架构的共性 1. MVC架构在前文已介绍关于SpringMAC的设计模式，详见下文： 【JavaEE】_Spring Web MVC简介-CSDN博客文章浏览阅读967次，点…...

编程日记 2025/5/14 21:14:50

对比DeepSeek、ChatGPT和Kimi的学术写作摘要能力

摘要摘要是文章的精华，通常在200-250词左右。要包括研究的目的、方法、结果和结论。让AI工具作为某领域内资深的研究专家，编写摘要需要言简意赅，直接概括论文的核心，为读者提供快速了解的窗口。下面我们使用DeepSeek、ChatGPT…...

编程日记 2025/5/14 15:46:58

ts 进阶

吴悠讲编程 : 20分钟TypeScript进阶！无废话快速提升水平前端速看 https://www.bilibili.com/video/BV1q64y1j7aH...

编程日记 2025/5/11 12:48:10

Kubernetes（一）

Kubernetes（简称K8s）是一个开源的容器编排平台，已经成为现代云原生应用的核心技术，主要应用于对容器化应用程序的自动化部署、扩展以及管理。k8s配备了一组核心组件以及一系列功能，这些组件能够实现容器的调度、负载均…...

编程日记 2025/5/14 22:10:24

Python里的小整数问题挺有意思的

简单来说，Python为了优化性能，会把一些常用的整数（通常是-5到256）提前创建好，放到一个“缓存池”里。这样，当你用到这些小整数时，Python就不用每次都重新创建对象了，直接从缓存池里拿…...

编程日记 2025/5/14 15:56:20

基于 Jenkins 的测试报告获取与处理并写入 Jira Wiki 的技术总结

title: 基于 Jenkins 的测试报告获取与处理并写入 Jira Wiki 的技术总结 tags: - jenkins - python categories: - jenkins在软件开发的持续集成与持续交付（CI/CD）流程里，及时、准确地获取并分析测试报告对保障软件质量至关重要。本文将详细…...

编程日记 2025/5/14 11:56:24

java.util.Random类（详细案例拆解）（已完结）

前言： 小编打算近期更俩三期类的专栏，一些常用的专集类，给大家分好类别总结和详细的代码举例解释。今天是除夕，小编先祝贺大家除夕快乐啦！！ 今天是第六个 java.lang.Math 包中的 java.util.Random类我…...

编程日记 2025/5/14 10:27:55

引言

轮询策略（默认）

随机策略

按键哈希策略

自定义分区策略(实现接口)

相关文章：