kafka-clients之ConsumerConfig
Kafka ConsumerConfig 中的配置项用于定义消费者的行为，如消费方式、偏移管理、组协调等。以下是ConsumerConfig中的关键配置项及其详细说明：
1. bootstrap.servers
- 类型：
List<String> - 说明：Kafka集群的地址列表，消费者会从这些地址拉取数据，通常设置多个地址以防单个节点故障。
2. group.id
- 类型：
String - 说明：消费者组的ID。属于同一个组的消费者会协同消费一个或多个分区内的消息，每个消息只会被一个组内的消费者读取。
3. enable.auto.commit
- 类型：
Boolean - 默认值：
true - 说明：是否自动提交偏移量。如果为
true，则消费者会在每次轮询后自动提交当前的偏移量。
4. auto.commit.interval.ms
- 类型：
Integer - 默认值：5000
- 说明：自动提交偏移量的时间间隔，单位为毫秒。仅在
enable.auto.commit=true时生效。
5. auto.offset.reset
- 类型：
String - 默认值：
latest - 说明：消费者在无法找到其偏移量时的行为。可选值包括：
latest：从最新的数据开始消费（默认）。earliest：从最早的数据开始消费。none：如果没有偏移量，抛出异常。
6. fetch.min.bytes
- 类型：
Integer - 默认值：1
- 说明：消费者从服务器拉取数据时的最小字节数，只有达到这个值时，Kafka才会返回数据。提高此值可以减少请求频率，但会增加延迟。
7. fetch.max.wait.ms
- 类型：
Integer - 默认值：500
- 说明：消费者等待数据的最大时间。如果没有足够的数据满足
fetch.min.bytes，Kafka会等待这个时间后返回数据。
8. max.poll.records
- 类型：
Integer - 默认值：500
- 说明：单次轮询中可以拉取的最大消息数。调小此值可以减轻消费者的负担，但会增加拉取频率。
9. session.timeout.ms
- 类型：
Integer - 默认值：10000
- 说明：消费者与协调器保持连接的超时时间，如果消费者在该时间内未向协调器发送心跳，协调器会认为该消费者已离开并进行再平衡。
10. heartbeat.interval.ms
- 类型：
Integer - 默认值：3000
- 说明：消费者发送心跳的频率。应小于
session.timeout.ms，用于维持消费者的活跃状态。
11. max.poll.interval.ms
- 类型：
Integer - 默认值：300000（5分钟）
- 说明：消费者两次调用
poll方法之间的最大允许时间。如果超时，则消费者会被认为无响应并触发再平衡。
12. isolation.level
- 类型：
String - 默认值：
read_uncommitted - 说明：控制事务消费的隔离级别。可选值：
read_uncommitted：读取所有消息（包括未提交的事务消息）。read_committed：只读取已提交的消息。
13. client.id
- 类型：
String - 说明：客户端ID，用于在监控和日志中识别客户端。
14. receive.buffer.bytes / send.buffer.bytes
- 类型：
Integer - 默认值：65536（64KB） / 131072（128KB）
- 说明：TCP接收和发送缓冲区大小。适当调整这些值可以提高网络吞吐量。
15. max.partition.fetch.bytes
- 类型：
Integer - 默认值：1048576（1MB）
- 说明：消费者单次从每个分区拉取的最大数据量。这个值越大，单次拉取的数据就越多。
16. connections.max.idle.ms
- 类型：
Long - 默认值：540000
- 说明：客户端与服务器之间连接的最大空闲时间。超过该时间，Kafka会关闭空闲连接以释放资源。
17. request.timeout.ms
- 类型：
Integer - 默认值：30000（30秒）
- 说明：消费者请求的超时时间。在该时间内如果没有响应，则消费者会认为请求超时。
18. metrics.recording.level
- 类型：
String - 默认值：
INFO - 说明：控制消费者的度量记录级别。可选值为
INFO（记录核心指标）和DEBUG（记录更多指标）。
19. metric.reporters
- 类型：
List<String> - 说明：指定度量报告器类的列表，可以将消费者的度量数据导出到外部系统，例如Prometheus或自定义的监控系统。
20. check.crcs
- 类型：
Boolean - 默认值：
true - 说明：是否验证消息的CRC（校验和）。开启后可以确保消息完整性，但会稍微增加性能开销。
21. interceptor.classes
- 类型：
List<String> - 说明：拦截器类的列表，允许在消息被消费前或消费后进行拦截和处理，适合监控、改写消息等场景。
22. partition.assignment.strategy
- 类型：
List<String> - 默认值：
RangeAssignor - 说明：消费者组的分区分配策略。可选值包括：
RangeAssignor：按分区范围进行分配。RoundRobinAssignor：轮询分配。StickyAssignor：优先保持消费者分配的稳定性。CooperativeStickyAssignor：部分分配，再平衡时减少中断。适合大数据量的分区。
23. fetch.max.bytes
- 类型：
Integer - 默认值：52428800（50MB）
- 说明：消费者单次拉取的最大数据量，用于控制批量处理的数据量上限。
24. reconnect.backoff.ms / reconnect.backoff.max.ms
- 类型：
Long - 默认值：50 / 1000
- 说明：客户端连接失败后的重试时间间隔。backoff时间会随着重试次数指数增加，但不会超过
reconnect.backoff.max.ms。 - 规则：org.apache.kafka.common.utils.ExponentialBackoff
25. retry.backoff.ms
- 类型：
Long - 默认值：100
- 说明：请求失败后的重试间隔时间。客户端会在该时间后进行重试。
这些配置项可以帮助用户精细化控制Kafka消费者的行为，包括消费者组、消息拉取、分区分配、超时设置等。根据需求合理配置，可以优化消费者的性能和稳定性。
相关文章：
kafka-clients之ConsumerConfig
Kafka ConsumerConfig 中的配置项用于定义消费者的行为，如消费方式、偏移管理、组协调等。以下是ConsumerConfig中的关键配置项及其详细说明： 1. bootstrap.servers 类型：List<String>说明：Kafka集群的地址列表࿰…...
关于“浔川AI翻译”使用情况的调研报告
关于“浔川 AI 翻译”使用情况的调研报告 随着全球化进程加速及外语学习需求攀升，AI 翻译工具愈发普及。“浔川 AI 翻译”作为行业产品之一，为了解其市场表现与用户反馈，特开展本次问卷调查，现将关键结果汇报如下。 一、样本概…...
第一节、电路连接【51单片机-TB6600驱动器-步进电机教程】
摘要：本节介绍如何搭建一个51单片机TB6600驱动器步进电机控制电路，所用材料均为常见的模块，简单高效的方式搭建起硬件环境 一、硬件清单 ①51单片机最小控制系统 ②USB转TTL模块 ③开关电源 ④TB6600步进电机驱动器 ⑤二相四线步进电机 ⑥电…...
编程之路，从0开始：补充篇
Hello大家好！很高兴和大家又见面啦！给生活添点passion，开始今天的编程之路！ 我的博客：<但凡. 我的专栏：《编程之路》、《题海拾贝》、《数据结构与算法之美》 欢迎点赞，关注！ 这篇…...
＜script src = “https://cdn.jsdelivr.net/npm/vue/dist/vue.js“＞＜/script＞
这行代码是HTML中的一个<script>标签，用于在网页中嵌入Vue.js库。具体来说： <script>：是HTML中的一个标签，用于定义客户端的脚本，比如JavaScript。 src：是<script>标签的一个属性&#…...
RabbitMQ延时队列
RabbitMQ延时队列 什么是延时队列 延时队列顾名思义，即放置在该队列里面的消息是不需要立即消费的，而是等待一段时间之后取出消费。 应用场景 场景一：在订单系统中，一个用户下单之后通常有30分钟的时间进行支付，如…...
)
Java——异常机制(下)
1 异常处理之(捕获异常) (一般处理运行时异常) (try-catch-finally子句) (finally一般用于文件最后关闭) (catch捕获的子类在前父类在后——>不然父类在前面都让父类捕获掉了，会报错) (Exception是父类放在最后，如果前面没有捕获到，就…...
9. 一分钟读懂“策略模式”
9.1 模式介绍 策略模式是一种行为型设计模式，用于在运行时灵活切换对象的行为或算法，它将算法封装为独立的类，使得它们可以互相替换，而不会影响使用这些算法的客户端代码。 策略模式的核心思想是：定义一系列可互换的算…...
python调用GPT-4o实时音频 Azure OpenAI GPT-4o Audio and /realtime
发现这块网上信息很少，记录一下 微软azure入口 https://learn.microsoft.com/zh-cn/azure/ai-services/openai/realtime-audio-quickstart?pivotsprogramming-language-ai-studio sdk文档 https://github.com/azure-samples/aoai-realtime-audio-sdk?tabread…...
linux查看应用程序执行时间
命令 ps -eo pid,comm,lstart,etime,args | grep -i java ps：是查看进程状态的命令。-eo：是-e和-o参数的组合，-e表示显示所有进程，-o后面跟的是自定义输出格式。pid：表示进程ID。comm：表示命令名&#x…...
mybatis之数据统计与自定义异常处理
文章目录 需求描述定义实体方式一、mybatisPlus实现方式二、自定义SQL实现简单查询过滤查询 异常处理1、SQL拼写异常 在使用Mybatis或MybatisPlus进行数据统计，在【 SpringBoot的Mybatis-plus实战之基础知识】中对mybatisplus引入有介绍，本次要使用其进…...
Jenkins 中自定义Build History中显示构建信息
有时候会遇到一个代码仓库下面会有多个不同的分支，而这写分支表示着不同的开发者在开发新的需求，但是这样就会出现一个问题，在Jenkins上进行多分支构建的时候，很难找到哪一个是属于自己分支构建的，这样的问题大家应该都…...
安装certbot（ubuntu系统）
安装nginx 更新软件包列表 sudo apt update 更新软件包列表 sudo apt install nginx 更新软件包列表 sudo systemctl status nginx 注意：强烈推荐使用，系统直接安装nginx，（不推荐使用docker安装nginx）为后续更简单…...
QTextBrowser按照段落来显示html的文字
在 PyQt5 中，QTextBrowser 是一个用来显示富文本（如 HTML）内容的小部件。要让 QTextBrowser 按照段落来显示 HTML 内容，可以确保 HTML 中的每个段落被正确地封装在 <p> 标签中或其他合适的 HTML 标签中。 基本思路 HTML 格…...
如何让Google快速收录你的页面？
要让Google更快地收录你的网站内容，首先需要理解“爬虫”这个概念。Google的爬虫是帮助它发现和评估网站内容质量的工具，如果你的页面质量高且更新频率稳定，那么Google爬虫更可能频繁光顾。通常情况下，通过Google Search Console&…...
用Linux完成firewall-cmd配置防火墙
注意这里是openeuler的系统 假设在内网架设了一台Web服务器,IP地址是192.168.1.2,端口是80,设置内网网段192.168.1.0/24中的主机均可以访问此Web服务器,如图所示 步骤如下（包含结果） 这里再服务端（192.168.131.10）上配置&#x…...
关于光速的猜想
光速实际也可能是爱因斯坦制造出来的一个量，就像质量（重力mg，有这个关系在，m起的名字后来就演变成了质量）是牛顿造出的一个量，一个常量，刚开始都叫c，只是习以为常后起了个名字罢了&a…...
Mybatis-Flex的简单入门，Mybatis-Flex和其它框架对比
前言 最近做项目，项目组必须要用Mybatis-Flex，然后自己去学了一下，给大家进行分享。 MyBatis-Flex 是 MyBatis 的一个增强工具，旨在简化 MyBatis 的使用并提高开发效率。它通过提供一系列的便捷方法和特性来减少重复代码的编写&am…...
轻量化特征融合 | YOLOv11 引入一种基于增强层间特征相关性的轻量级特征融合网络 | 北理工新作
本改进已同步到Magic框架 摘要—无人机图像中的小目标检测由于分辨率低和背景融合等因素具有挑战性，导致特征信息有限。多尺度特征融合可以通过捕获不同尺度的信息来增强检测，但传统策略效果不佳。简单的连接或加法操作无法充分利用多尺度融合的优势，导致特征之间的相关性不…...
linux的磁盘管理
认识磁盘 从外到内，磁道从0~XXX。扇区默认512字节先读完一个柱面的0号磁道，接着读第二个柱面的0号磁道……直至所有柱面的0号磁道读写完毕，进入下一个磁道。 磁盘命名规则 物理磁盘:sd开头；虚拟磁盘vd开头 sdb1：第二…...
Alibaba EasyExcel 导入导出全家桶
一、阿里巴巴EasyExcel的优势 首先说下EasyExcel相对 Apache poi的优势： EasyExcel也是阿里研发在poi基础上做了封装，改进产物。它替开发者做了注解列表解析，表格填充等一系列代码编写工作，并将此抽象成通用和可扩展的框架。相对p…...
使用Scala编写一个简单的决策树分类测试demo
使用Scala编写一个简单的决策树分类测试demo，我们可以基于Apache Spark的MLlib库来实现。这里将展示如何创建一个简单的决策树分类器，并用它来进行预测。我们将遵循以下步骤： 设置环境和导入必要的包。加载并准备数据集。构建决策树模型。使…...
SQLServer中使用ISNULL替换为指定的替换值
ISNULL (Transact-SQL) 适用于： SQL ServerAzure SQL 数据库Azure SQL 托管实例Azure Synapse Analytics 分析平台系统 (PDW)Microsoft Fabric 中的 SQL 分析端点Microsoft Fabric 中的仓库 NULL替换为指定的替换值。 1、语法 ISNULL ( check_expression , rep…...
69 mysql 中 is null 的实现
前言 Mysql 中我们偶尔会用到 字段为 NULL 的情况 这时候 我们只能使用查询 “select * from tz_test_02 where field1 is null;” 来进行 field1 字段为 null 的行的查询 然后如果是使用 “select * from tz_test_02 where field1 null;” 你会发现查询 不出数据 但是如…...
【信息系统项目管理师】第9章：项目范围管理-基础和过程 考点梳理
文章目录 9.1 管理基础9.1.1 产品范围和项目范围9.1.2 管理新实践 9.2 项目范围管理过程9.2.1 过程概述9.2.2 裁剪考虑因素9.2.3 敏捷与适应方法 【学习建议】本章节内容属于10大管理知识领域，选择、案例、论文都会考，建议重点学习。项目范围管理包括确保…...
智能制造标准体系建设指南
一、智能制造系统架构总览 智能制造作为当今制造业转型升级的核心，深度整合了新一代信息技术与传统制造工艺，催生出一个横跨产品全生命周期、纵贯多层级组织架构，并彰显多元智能特性的复杂系统。这一架构从生命周期、系统层级、智能特征三个…...
怎么获取键值对的键的数值？
问： 通过paelData.cardMap.C0002112可以获取到Cooo2112里面的数据，但是有时候接口返回的不是C0002112而是C0002093或者其他值，请问我该怎么写？ 后端返回的数据是这样的： cardMap: { C0002112: { name: Item 1, va…...
反向代理后Request.Url.AbsoluteUri获取成了内网IP
出现的问题：用户请求的是域名，而后端通过Request.Url.AbsoluteUri获取用户请求的绝对路径时，变成了内网IP 解决方式： 反向代理配置中加上： proxy_set_header Host $host; # proxy_set_header Host h o s t : host: h…...
NLP论文速读（斯坦福大学）|使用Tree将语法隐藏到Transformer语言模型中正则化
论文速读|Sneaking Syntax into Transformer Language Models with Tree Regularization 论文信息： 简介： 本文的背景是基于人类语言理解的组合性特征，即语言处理本质上是层次化的：语法规则将词级别的意义组合成更大的成分的意义&…...
OpenCV-图像阈值
简单阈值法 此方法是直截了当的。如果像素值大于阈值，则会被赋为一个值（可能为白色），否则会赋为另一个值（可能为黑色）。使用的函数是 cv.threshold。第一个参数是源图像，它应该是灰度图像。第二…...
window系统，照片应用打开图片，但是提示操作系统找不到已输入的环境选项，请问怎么解决，以便能打开图片
文章目录 问题描述问题解决一、先用AI提问，看能否得到解答二、最终的解决方法-修改环境变量 至此问题解决。 问题描述 Windows中，使用默认的图片应用打开图片时，提示： 操作系统找不到已输入的环境选项如下图： 这个问…...
Excel之查找函数-XLOOKUP
背景： 某些数据处理，需要对比两个乱序或者数据不完全相同的数值，取到另外一个数据值，数据量大的情况下，人工对比太耗时，XLOOKUP函数是一个查找函数，可以通过遍历对比某一单元格的值，…...
深入理解 Java 内存管理：堆和栈
深入理解 Java 内存管理：堆和栈的全面解析 在 Java 编程语言中，内存管理是一个至关重要的概念，其中堆（Heap）和栈（Stack）是两个核心的内存区域。理解它们的工作原理、用途以及它们在程序执行过程…...
深度全解析开放开源大模型之BLOOM
BLOOM是 BigScience Large Open-science Open-access Mul-tilingual Language Model首字母的缩写。 BigScience 不是财团（consortium），也不是正式成立的实体。这是一个由HuggingFace、GENCI和IDRIS发起的开放式协作组织，以及一个…...
下载谷歌浏览器的官方离线安装包
网址：https://support.google.com/chrome/answer/95346?hlzh-Hans&coGENIE.Platform%3DDesktop#zippy%2Cwindows...
ORACLE创建用户报错ORA-65096: invalid common user or role name
在高版本的oracle中创建用户时提示错误ORA-65096: invalid common user or role name，官网说明用户名必须使用C##或c##开头。以下方法亲测有效。 通过设置"_ORACLE_SCRIPT"参数为true来临时绕过CDB中创建用户必须以"C##"开头的限制。请注意&…...
河工oj第七周补题题解2024
A.GO LecturesⅠ—— Victory GO LecturesⅠ—— Victory - 问题 - 软件学院OJ 代码 统计 #include<bits/stdc.h> using namespace std;double b, w;int main() {for(int i 1; i < 19; i ) {for(int j 1; j < 19; j ) {char ch; cin >> ch;if(ch B) b …...
运维大屏与设备仪表盘：打造高效运维管理的视觉中枢
在快速发展的信息化时代，运维行业面临着前所未有的挑战。随着业务规模的不断扩大和系统复杂度的日益增加，如何高效、准确地监控和管理设备运行状态，成为运维团队亟待解决的问题。运维大屏与设备仪表盘作为运维管理的重要工具，为运…...
计算机视觉与医学的结合：推动医学领域研究的新机遇
目录 引言医学领域面临的发文难题计算机视觉与医学的结合：发展趋势计算机视觉结合医学的研究方向高区位参考文章结语 引言 计算机视觉（Computer Vision, CV）技术作为人工智能的重要分支，已经在多个领域取得了显著的应用成果&…...
使用setsockopt函数SO_BINDTODEVICE异常，Protocol not available
前言 最近在使用OLT的DHCP Server的时候发现一些异常现象，就是ONU发的一个vlan的discover包其他不同vlan的DHCP地址池也会收到，导致其他服务器也发了offer包，ONU同时会有多个ip地址。一开始是没有使用SO_BINDTODEVICE，后面查到使…...
rpm包转deb包或deb包转rpm包
Debian系（Ubuntu、Deepin、麒麟Destop等）用的安装包是deb的，Red Hat系（CentOS、欧拉、麒麟Server等）用的安装包是rpm的。 如果需要在Ubuntu上安装rpm，或需要在CentOS上安装deb，需要安装alien s…...
ChatGPT 和文心一言哪个更好用？
ChatGPT vs 文心一言：哪个更好用？ 引言 在人工智能蓬勃发展的今天，聊天机器人已经成为我们生活和工作中不可或缺的一部分。你可能听说过ChatGPT和文心一言这两个热门的聊天机器人，它们分别来自OpenAI和百度。那么，究…...
T113-S3 Tina 存储类型修改
前面介绍了如何在 Tina 中添加新的板子，本节介绍如何修改板子存储类型。 1、确定存储类型 Tina 支持多种存储类型，包括 SD 卡、eMMC、SPI NAND、SPI NOR 等。在添加板子之前，需要确定板子使用的存储类型。 存储类型修改 在 device/config/…...
【css】基础（一）
本专栏内容为：前端专栏 记录学习前端，分为若干个子专栏，html js css vue等 💓博主csdn个人主页：小小unicorn ⏩专栏分类：css专栏 🚚代码仓库：小小unicorn的代码仓库🚚 &a…...
Linux中inode
磁盘的空间管理 如何对磁盘空间进行管理？ 假设在一块大小为500G的磁盘中，500*1024*1024524288000KB。在磁盘中，扇区是磁盘的基本单位（一般大小为512byte），而文件系统访问磁盘的基本单位是4KB，因…...
verilog fpga 如果if语句==号后面是个表达式 运行不稳定
来自 文心一言 在Verilog中编写FPGA代码时，使用if语句进行条件判断是常见的操作。然而，当if语句中的条件判断使用的是表达式（如后面是一个复杂的表达式），确实可能会遇到运行不稳定的问题。这通常是由于以下几个原因导…...
BFS广度优先搜索
广度优先搜索（Breadth-First Search, BFS）是一种用于遍历或搜索树或图的算法。 它从根节点开始，逐层访问每个节点，并在访问完一层后才访问下一层。BFS常用于寻找最短路径的问题。 下面将用实例一和实例二来实现BFS广度优先搜索 …...
uniapp 自定义导航栏增加首页按钮，仿微信小程序操作胶囊
实现效果如图 抽成组件navbar.vue，放入分包 <template><view class"header-nav-box":style"{height:Props.imgShow?:statusBarHeightpx,background:Props.imgShow?:Props.bgColor||#ffffff;}"><!-- 是否使用图片背景 false…...
小程序项目的基本组成结构
分类介绍 项目根目录下的文件及文件夹 pages文件夹 用来存放所有小程序的页面，其中每个页面都由4个基本文件组成，它们分别是： .js文件：页面的脚本文件，用于存放页面的数据、事件处理函数等 .json文件：…...
2020年国赛高教杯数学建模E题校园供水系统智能管理解题全过程文档及程序
2020年国赛高教杯数学建模 E题 校园供水系统智能管理 原题再现 校园供水系统是校园公用设施的重要组成部分，学校为了保障校园供水系统的正常运行需要投入大量的人力、物力和财力。随着科学技术的发展，校园内已经普遍使用了智能水表，从而可以…...