python---kafka常规使用
安装依赖
在开始之前，需要安装 kafka-python 库。可以通过以下命令安装：
pip install kafka-python
创建生产者
生产者负责将消息发送到 Kafka 主题。以下是一个简单的生产者示例：
from kafka import KafkaProducer
import json
import time# 配置 Kafka 服务器地址和序列化方式
producer = KafkaProducer(bootstrap_servers='****:9092', # Kafka Broker 地址value_serializer=lambda v: json.dumps(v).encode('utf-8'), # JSON 序列化acks='all', # 确保消息被所有副本确认retries=3 # 失败重试次数
)# 发送单条消息
producer.send('testTopic', # 目标主题value={'message': 'Hello Kafka', 'timestamp': int(time.time())}
)# 批量发送消息（示例发送10条）
messages = [{'id': i, 'data': f'Message {i}'} for i in range(10)]
for msg in messages:producer.send('testTopic', value=msg)time.sleep(0.1) # 控制发送频率防止阻塞# 确保所有消息发送完成并关闭连接
producer.flush(timeout=10)
producer.close()
创建消费者
消费者负责从 Kafka 主题中读取消息。以下是一个简单的消费者示例：
from kafka import KafkaConsumer
import json# 配置消费者组和反序列化方式
consumer = KafkaConsumer('testTopic', # 订阅主题bootstrap_servers='****:9092',group_id='my_consumer_group', # 消费者组（同一组共享消息）auto_offset_reset='earliest', # 从最早未消费的消息开始读取value_deserializer=lambda x: json.loads(x.decode('utf-8')) # JSON 反序列化
)# 持续消费消息
try:for message in consumer:print(f"""收到消息:主题: {message.topic}分区: {message.partition}偏移量: {message.offset}内容: {message.value}""")
except KeyboardInterrupt:print("用户中断操作")
finally:consumer.close() # 关闭消费者连接Kafka 服务器
运行 Kafka 服务器，快速启动 Kafka 和 Zookeeper：
bin/kafka-server-start.sh -daemon config/server.properties创建指定topic的kafka的分区
./kafka-topics.sh --alter --topic testTopic --partitions 2 --bootstrap-server localhost:9092
查询指定topic的kafka分区
./kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic testTopic通过以上步骤，可以快速构建一个基于 Kafka 的消息队列系统，并在 Python 中实现消息的生产和消费。
注意：
1、kafka广播模式：
不同的分组（group_id参数不同）收到的数据是一致的，类似于广播模式
2、kafka路由模式：
同一分组（group_id参数相同）对同一批数据进行处理，如果kafka服务器的分区数量大于该分组内的消费者数量，则每个消费者可以分到一些分区，每个消费者去处理自己对应分区里面的数据，类似于路由模式下的多消费者情形，如果消费者数量大于分区数，则多出来的消费者是被闲置的
相关文章：
python---kafka常规使用
安装依赖 在开始之前，需要安装 kafka-python 库。可以通过以下命令安装： pip install kafka-python创建生产者 生产者负责将消息发送到 Kafka 主题。以下是一个简单的生产者示例： from kafka import KafkaProducer import json import ti…...
)
图像泊松融合(convpyr_small版本)
一、背景介绍 前面已经讲过泊松融合算法和它的fft快速版本实现了，想看下还有没有更快的版本，继续翻了下论文，找到了更快速的版本：Convolution Pyramids 。 找到它的matlab代码跑了下，效果还不错。学习记录，…...
ABP vNext + EF Core 实战性能调优指南
ABP vNext EF Core 实战性能调优指南 🚀 目标 本文面向中大型 ABP vNext 项目，围绕查询性能、事务隔离、批量操作、缓存与诊断，系统性地给出优化策略和最佳实践，帮助读者快速定位性能瓶颈并落地改进。 📑 目录 ABP vN…...
Spark，在shell中运行RDD程序
在hdfs中/wcinput中创建一个文件：word2.txt在里面写几个单词 启动hdfs集群 [roothadoop100 ~]# myhadoop start [roothadoop100 ~]# cd /opt/module/spark-yarn/bin [roothadoop100 ~]# ./spark-shell 写个11测试一下 按住ctrlD退出 进入环境：spar…...
【Python 元组】
Python 中的元组（Tuple）是一种不可变的有序数据集合，用于存储多个元素的序列。与列表（List）类似，但元组一旦创建后无法修改，这种特性使其在特定场景下具有独特优势。 一、核心特性 不可变性&am…...
如何将邮件送达率从60%提升到95%
一、邮件送达率的重要性 邮件送达率是邮件营销效果的关键指标。高送达率能增加邮件被打开、阅读和互动的机会；低送达率则可能导致邮件被误判为垃圾邮件，浪费企业资源。 二、影响邮件送达率的因素及优化策略 1.发件人信誉 建立良好信誉：发…...
【Python】Python单元测试框架unittest总结
1. 本期主题：Python单元测试框架unittest详解 unittest是Python内置的单元测试框架，遵循Java JUnit的"测试驱动开发"（TDD）理念，通过继承TestCase类实现测试用例的模块化组织。本文聚焦于独立测试脚本的编写…...
机器人运动控制技术简介
机器人运动控制详解：从基础原理到技术方案 一、机器人运动控制本质 机器人运动控制是通过算法协调电机、传感器和机械结构，实现精确的位姿（位置姿态）控制。其核心要解决三个问题： 去哪里 - 路径规划&#x…...
在linux系统中，没有网络如何生成流量以使得wireshark能捕获到流量
在没有网络连接的情况下，仍然可以通过生成本地流量来测试Wireshark的捕获功能。以下是一些方法可以在Linux系统中生成本地流量，以便Wireshark可以捕获到这些流量： 1. 使用ping命令 ping命令可以生成ICMP（Internet Control Messa…...
)
常见图像融合算法(图像泊松融合)
一、背景介绍 上一篇已经讲过alpha和金字塔融合基本实现，这里主要是继续对图像常用的泊松融合算法和他的一些性能版本实现的基本讲解。 二、原始版本 1、基本原理 图像泊松融合也是普遍使用的常规算法，很多小伙伴已经分享过它的基本原理和实现了&#…...
大疆无人机搭载树莓派进行目标旋转检测
环境部署 首先是环境创建，创建虚拟环境，名字叫 pengxiang python -m venv pengxiang随后激活环境 source pengxiang/bin/activate接下来便是依赖包安装过程了: pip install onnxruntime #推理框架 pip install fastapi uvicorn[standard] #网络请求…...
tryhackme——Active Directory Basics
文章目录 一、Windows Domains二、活动目录AD2.1 Active Directory Users and Computers2.2 安全组和组织单位OU 三、管理AD中的用户3.1 删除额外的OUs和用户3.2 委托 四、管理AD中的计算机五、组策略5.1 查看GPO5.2 GPO分发5.3 新建GPO 六、认证方式6.1 Kerberos认证6.2 NetNT…...
)
Linux基础(关于进程相关命令)
1.查看系统进程 ps -aux 查看所有的系统进程 我们一般配合 | grep 使用，比如 ps -aux | grep bin 就是查看所有bin的进程信息 2.查看系统实时进程 top 和Windows的任务管理器的功能类似 3.结束进程 kill -9 PID 根据上面的进程信息可得，每个进程都有一个…...
切比雪夫不等式详解
切比雪夫不等式详解 一、引言 切比雪夫不等式（Chebyshev’s Inequality）是概率论和统计学中最重要的基本定理之一，由俄国数学家切比雪夫（P. L. Chebyshev，1821-1894）提出。它为我们提供了一个强大工具&am…...
 技术发展：从规则到大型语言模型的演进之路)
自然语言处理 (NLP) 技术发展：从规则到大型语言模型的演进之路
自然语言处理 (NLP) 技术发展：从规则到大型语言模型的演进之路 自然语言处理（NLP）是人工智能领域中一个极具挑战性和活力的分支，其目标是赋予计算机理解、解释和处理人类语言的能力。从早期的基于规则的系统到当前由大型语言模型（LLM）引领的时代，NLP 技术经历了深刻的演…...
介绍)
CurrentHashMap的整体系统介绍及Java内存模型(JVM)介绍
当我们提到ConurrentHashMap时，先想到的就是HashMap不是线程安全的： 在多个线程共同操作HashMap时，会出现一个数据不一致的问题。 ConcurrentHashMap是HashMap的线程安全版本。 它通过在相应的方法上加锁，来保证多线程情况下的…...
手撕红黑树的 左旋 与 右旋
一、为什么需要旋转？ 在红黑树中，插入或删除节点可能会破坏其五条性质，比如高度不平衡或连续红节点。 为了恢复红黑性质，我们采用局部旋转来“调整树形结构”，保持平衡。 二、旋转本质是“局部变形” 左旋和右旋不会…...
Java——反射
目录 5 反射 5 反射 类信息：方法、变量、构造器、继承和实现的类或接口。反射：反射是 Java 中一项强大的特性，它赋予了程序在运行时动态获取类的信息，并能够调用类的方法、访问类的字段以及操作构造函数等的能力。通过反射&#…...
一文了解Python中的requests库：网络交互的基础
目录 1. 前言 2. requests库的基本概念 3. requests库的适应场景 4. requests库的基本使用 4.1 安装requests 4.2 发送第一个请求 4.3 常见HTTP请求方法 4.4 响应对象的属性 4.5 发送带参数的请求 4.6 处理请求和响应 5. 高级功能 5.1 文件上传 5.2 会话对象 5.3…...
基于大模型预测的足月胎膜早破行阴道分娩全流程研究报告
目录 一、引言 1.1 研究背景与意义 1.2 研究目的与方法 1.3 研究创新点 二、胎膜早破（足月）行阴道分娩概述 2.1 胎膜早破定义与分类 2.2 足月胎膜早破行阴道分娩的现状与挑战 2.3 大模型预测引入的必要性 三、大模型预测原理与技术 3.1 大模型介绍 3.2 数据收集与…...
)
ISP流程介绍(Raw格式阶段)
一、ISP之DPC DPC(Defective Pixel Correction)也就是坏点矫正，在sensor接收光信号，并做光电转换之后。 这一步设计的意义在于：摄像头sensor的感光元件通常很多会存在一些工艺缺陷缺陷，让图像上某些像素无法正常收集到需要的光信号…...
)
Codeforces Round 1023 (Div. 2)
Dashboard - Codeforces Round 1023 (Div. 2) - Codeforces 一个构造问题，我把最大的数放在一个数组，其余数放在另一个数组，就能保证gcd不同 来看代码： #include <bits/stdc.h> using namespace std;int main() {int t;ci…...
按位宽提取十六进制值
需求：给出一个十六进制值，要求提取high和low位之间的值。比如16ha0f0，这是一个16bit宽的十六进制数0xa0f0，提取[15:12]范围内的值。 def extract_bits(value, high, low):"""从 value 中提取 [high:low] 位的值:p…...
Android设备序列号获取方式全解析
Android设备序列号获取方式全解析 前言 在Android开发中，获取设备序列号（SN）是设备管理类应用常见的需求。但不同厂商设备获取方式存在差异，且Android系统版本升级也带来了API变化。本文将系统梳理7种主流序列号获取方式&#x…...
Spring框架（1）
Spring框架是Java企业级开发中最受欢迎的框架之一，它通过简化开发流程、降低耦合度，让开发者能够更专注于业务逻辑的实现。本文将带你了解Spring框架的核心概念和基本用法。 一、Spring框架简介 Spring是一个轻量级的开源Java开发框架，由Ro…...
软件安全（二）优化shellcode
我们在上一节课中所写的shellcode，其中使用到的相关的API是通过写入其内存地址来实现调用。这种方法具有局限性，如切换其他的操作系统API的内存地址就会发生变化，从而无法正常调用。 所谓的shellcode不过是在目标程序中加一个区段使得程序可…...
前端使用腾讯地图api实现定位功能
1.配置key 申请地址： https://lbs.qq.com/dev/console/key/manage 2.在项目中引入jssdk <script type"text/javascript" src"https://apis.map.qq.com/tools/geolocation/min?keykey&referermyapp"></script>使用 const g…...
单片机-STM32部分：10、串口UART
飞书文档https://x509p6c8to.feishu.cn/wiki/W7ZGwKJCeiGjqmkvTpJcjT2HnNf 串口说明 电平标准是数据1和数据0的表达方式，是传输线缆中人为规定的电压与数据的对应关系，串口常用的电平标准有如下三种： TTL电平：3.3V或5V表示1&am…...
STM32外设-串口UART
STM32外设-串口UART 一，串口简介二，串口基础概念1，什么是同步和异步/UART与USART对比2，串行与并行3，波特率 (Baud Rate)4，数据帧 (Data Frame)5，TX 和 RX 三，硬件连接1，u…...
《工业计算机硬件技术支持手册》适用于哪些人群？
《工业计算机硬件技术支持手册》于2024年出版，主要讲当前正在应用的最新计算硬件技术。包括计算机各种功能接口、扩展总线、各种国际通行的板型规格等等。书中引用的数据，全部来自国际行业技术规范，书中还融入了作者几十年的工作经验和操作技…...
element-ui时间线样式修改
element-ui时间线样式修改 前两天公司给了一个需求 要求如下图所示 需求是时间在步骤条左边,看了element-ui的文档 发现并没有参数可以设置时间在步骤条的左边 那没办法 只能自己想一想办法了 首先想到的是用样式直接改变 活不多说 直接搞 第一步 选中时间这个元素 发现了这个类…...
动态规划之背包问题：组合优化中的经典NP挑战
背包问题概念： 背包问题是一种经典的组合优化的NP问题，在计算机科学、运筹学等领域有着广泛的应用。 问题可以简单的描述为： 假设有一个容量为C的背包和n个物品，每个物品i都有重量w[i]和价值v[i]。目标是选择一些物品放入背包&…...
JavaScript 基础
JS概念 JS基础概念 JS是一种运行在客户端(浏览器)的编程语言, 实现人机交换结果 作用: 网页特效表单验证数据交互服务端编程(node.js) JS的组成 ECMAScript—javaScript语言基础Web APIs—(DOM: 页面文档对象模型)(BOM: 浏览器对象模型) JS书写 位置 内部: 写到< /body…...
Vibe Coding: 优点与缺点
如果你最近在开发圈子里，你很可能听说过这个新趋势"vibe coding"（氛围编程）。 我只能说我对此感受复杂。以下是原因。 优势 在构建新项目时，靠着氛围编程达到成功感觉很自由！但对于遗留代码来说情况就不同了，尽管也不是不可能。 实时反馈和快速迭代 Cursor（…...
小动物听力评价系统基本原理简析
小动物听力评价系统是用于评估小动物听力功能的专业设备，以下从系统组成、工作原理、评价方法等方面为你介绍： 一 系统组成 声音刺激模块：能产生不同频率、强度和类型的声音信号，如纯音、啭音、短声等，以刺激小动物的听…...
spark缓存-persist
存储级别指定 persist：可以通过传入 StorageLevel 参数来指定不同的持久化级别。常见的持久化级别有： MEMORY_ONLY：将 RDD 以 Java 对象的形式存储在 JVM 的内存中。若内存不足，部分分区将不会被缓存，需要时会重新计算…...
树初步 #1（插排串联 - 辽宁省2024CCPC）
树初步 数的基础内容可以看看树基础 - OI Wiki里面的讲解，对一些操作的基础概念介绍的很清楚； 下面直接来看例题： 插排串联 - 辽宁省CCPC 题目大意 给定一个n1个节点的有根数； 根节点（0号）是插座&…...
CDGP重点知识梳理（82个）
目 录 考点分布 考试要求 第一章 数据管理-5%...
shell脚本基础详细学习（更新中）
shell简单介绍 Shell不仅仅是充当用户与UNIX或者localhost交互的角色，还可以作为一种程序设计 语言来使用。通过Shell编程，可以实现许多非常实用的功能，提高系统管理的自动化水平。 如果有一系列经常需要使用的命令，把它存储在一…...
记录一下学习kafka的使用以及思路
下面这是kafka的依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-stream-kafka</artifactId></dependency> 我在学习的时候直接导入是没有导入成功的，我猜测大概的原因是我本…...
AT9880B北斗单模卫星定位SOC芯片
AT9880B是一款高性能北斗单模卫星导航接收机SOC单芯片，芯片集成射频前端和数字基带、北斗多频卫星信号处理引擎、电源管理功能。芯片支持接收中国北斗二号和北斗三号，支持接收B1I、B1C、B2I、B3I、B2a和 B2b等频点信号。 主要特性： 支持北斗…...
李沐《动手学深度学习》 | 多层感知机
文章目录 感知机模型《深度学习入门》的解释训练感知机损失函数的选择感知机的收敛定理：什么时候能够停下来，是不是真的可以停下来感知机的不足 多层感知模型案例引入隐藏层从线性到非线性单隐藏层-单分类案例多隐藏层 激活函数softmax函数溢出的问题 多…...
vue数据可视化开发常用库
一、常用数据可视化库 1. ECharts 特点：功能强大，支持多种图表类型，社区活跃。适用场景：复杂图表、大数据量、3D 可视化。安装：npm install echarts示例：<template><div ref"chart" c…...
CAN转ModbusTCP网关：破解电池生产线设备协议壁垒，实现全链路智能互联
在电池生产的现代工艺中，自动化和信息化水平的提高是提升产能、保障品质与安全的关键。CAN 协议作为一种广泛应用于汽车、工业控制等领域的串行通信协议，它以其高可靠性和强实时性而受到企业的青睐。而在众多工业通讯协议中，ModbusTCP作为一种…...
更新 / 安装 Nvidia Driver 驱动 - Ubuntu - 2
如果按更新 / 安装 Nvidia Driver 驱动 - Ubuntu-CSDN博客中的步骤操作后问题依旧，则查看过程中的提示信息。 如果发现有“Use sudo apt autoremove to remove them.”，则执行： #sudo apt autoremove #nvidia-smi...
技术分享 | 如何在2k0300（LoongArch架构）处理器上跑通qt开发流程
近期迅为售后团队反馈，许多用户咨询：2K0300处理器采用了LA264处理器核，若要在该处理器上运行Qt程序，由于架构发生了变化，其使用方法是否仍与ARM平台保持一致？ 单纯回答‘一致’或‘不一致’缺乏说服力&…...
ubuntu 24.04 error: cannot uninstall blinker 1.7.0, record file not found. hint
最近在打python3.12的镜像，安装browser-gym的核心库，编译一个使用browswer agents的环境，然后出现了下面的问题： error: cannot uninstall blinker 1.7.0, record file not found. hint: the package was installed by debian.系…...
学习记录：DAY28
DispatcherController 功能完善与接口文档编写 前言 没什么动力说废话了。 今天来完善 DispatcherController 的功能，然后写写接口文档。 日程 早上：本来只有早八，但是早上摸鱼了，罪过罪过。下午：把 DispatcherContro…...
C# 的异步任务中, 如何暂停, 继续,停止任务
namespace taskTest {using System;using System.Threading;using System.Threading.Tasks;public class MyService{private Task? workTask;private readonly SemaphoreSlim semaphore new SemaphoreSlim(0, 1); // 初始为 0，Start() 启动时手动放行private read…...
html object标签介绍（用于嵌入外部资源通用标签）（已不推荐使用deprecated，建议使用img、video、audio标签）
文章目录 HTML <object> 标签详解基本语法与核心属性关键属性解析1. **data**2. **type**3. **width & height**4. **name** 嵌入不同类型的资源1. **嵌入图像**2. **嵌入音频**3. **嵌入视频**4. **嵌入 PDF** 参数传递与回退内容**参数（<param>&a…...