当前位置：首页 > news >正文

TDengine 订阅不到数据问题排查

news 来源：原创 2025/5/18 19:15:45

简介

TDengine 在实际生产应用中，经常会遇到订阅程序订阅不到数据的问题，总结大部分都为使用不当或状态不正确等问题，需手工解决。

查看服务端状态

通过 sql 命令查看有问题的 topic 和consumer_group 组订阅是否正常。

     select * from information_schema.ins_subscriptions where topic_name = 'db_32471_topic' and consumer_group='g122';

topic_name 和 consumer_group 换成对应的）

结果如下图：
在这里插入图片描述

如果offset 里分子在变大，或者 rows 列也在增大，证明服务端消费数据正常。consumer_id 为正在消费的消费者。根据 consumer_id 去客户端排查。
如果consumer_id 为 NULL，证明这个topic 里这个 consumer_group 组里没有消费者在消费。在服务端继续排查

找到consumer_id 为 NULL这个consumer 所在的 vnode，找到vnode 的主节点（show vnodes）
在主节点上执行如下命令（日志路径需替换）
打开日志：alter dnode x ‘tqdebugflag 135’
搜索日志：grep “tmq poll" /var/log/taos/taosdlog.0 | grep topic_name | grep consumer_group 查看是否有消费请求发送到服务端

如果某些行offset 在变，某些行 offset 没有变，但是consuemr_id 有值。offset 没有变的这个consumer 说明没有在消费数据。在服务端继续排查。

找到没有变的这个consumer 所在的 vnode，找到vnode 的主节点（show vnodes）
在主节点上执行如下命令（consumer_id 和日志路径需替换）
打开日志： alter dnode x ‘tqdebugflag 135’
搜索日志：grep 0xeca1f9b1d600001 /var/log/taos/taosdlog.0 | grep “tmq poll” | grep -E "set handle|block num"如果没有搜到日志，证明服务端没有收到消费数据的消费请求。继续客户端排查。
如果看到有 send rsp,block num 不为 0，说明有服务端有数据发送给客户端。为0，说明消费0条数据。

查看客户端状态

原生连接客户端是本地消费程序，日志为taos 的日志，目录为 taos.cfg 里配置的logDir，一般为 /var/log/taos/

WebSocket 连接方式客户端为 taosadapter 程序，如果有负载均衡的话，需要找对 taosadapter。日志同样为taos 的日志，目录为 taos.cfg 里配置的logDir，一般为 /var/log/taos/。

首先打开客户端日志，cDebugFlag 或者 tqClientDebugFlag。
改配置文件taos.cfg 重启消费程序。
不重启的话，如果为 taosadapter，可以执行如下命令
curl --location ‘http://127.0.0.1:6041/rest/sql’ --header ‘Content-Type: text/plain’ -u root:Tbase129! --data ‘alter local ‘\’‘cdebugflag’\’’ ‘\’‘129’\‘’’ （用户名密码需替换）

也可以通过在mnode 主节点机器上执行 alter dnode x ‘tqclientdebugflag 135’，把开关下推到客户端。（3.3.4.3以及以后得版本支持）。

找到对应的taoslog（可以通过查看客户端进程，然后 ll /proc/id/fd|grep taoslog，查看具体的日志文件，因为可能存在多个客户端日志）

然后根据 consumer_id 查找消费信息。没有consumer_id 的话，可以通过查找 start to poll at 来判断是否有 poll 调用过来。

下图第一行标识收到 poll 消息，第二行标识返回消费到多少数据
在这里插入图片描述出现如下日志说明消费者没有权限消费数据。

消费者不存在问题

通过show consumers; 或者 show subscriptions，找不到消费者时，就是消费者被删除了。下列几种情况会删除消费者：

消费者断线超时，超时时间通过消费者配置参数 session.timeout.ms 控制，默认 12s。
消费者超过固定时间不再poll 数据，通过消费者配置参数 max.poll.interval.ms 控制，默认为 300s。
消费者主动取消订阅。

访问官网

更多内容欢迎访问 TDengine 官网

TDengine 订阅不到数据问题排查

简介 TDengine 在实际生产应用中，经常会遇到订阅程序订阅不到数据的问题，总结大部分都为使用不当或状态不正确等问题，需手工解决。查看服务端状态通过 sql 命令查看有问题的 topic 和consumer_group 组订阅是否正常。 select * from inf…...

编程日记 2025/5/18 19:15:45

低版的spring boot 1.X接入knife4j

低版的spring boot 1.X接入knife4j 老的项目是用spring boot 1.5.10.RELEASE 不好升级 ，原来接口文档一直用的是老的swagger样式，不是很好看，网上查了下，发现有个knife4j挺好看的，用一下他们的样式，下面是…...

编程日记 2025/5/18 19:01:09

outlook for mac本地邮件存放在哪儿?

尽管 PST 格式通常与 Microsoft Outlook 联系在一起，但认为它也在 Mac OS 上存储邮箱数据是一种误解。实际上，Outlook for Mac 不会将邮件存储为 PST 文件。无法在 Outlook for Mac 中找到 PST 文件位置，因为它不使用 PST 文件来存储邮箱数据…...

编程日记 2025/4/30 12:55:08

javascript＜——＞进阶

一、作用域：变量可以被访问的范围 1.局部作用域 1.1函数作用域在函数内部声明的变量，在函数内部被访问的，外部无法直接访问。总结：1、函数内部声明的变量，在函数外部无法直接访问 2、函数的参数也是函数内部的局…...

编程日记 2025/4/30 12:54:04

一.题目二.源码 package TestRuMen;import java.util.Random; import java.util.Scanner;public class Test11 {public static void main(String[] args){// 调用 createNumber 方法生成一组随机的中奖号码int[] arrcreateNumber();// 调用 userInputNumber 方法获取用户输入…...

编程日记 2025/5/18 19:04:29

C语言按位操作符

在C语言中，按位操作符直接对整数的二进制位（bit）进行操作，常用于底层编程、硬件控制或性能优化场景。以下是按位操作符的详细说明和用法： 1. 按位操作符列表操作符名称功能描述示例&按位与对应位均为1时结果为1&…...

编程日记 2025/5/18 19:04:30

Linux（权限管理）

权限概述基本概念定义：Linux权限是操作系统对用户和进程访问资源进行精细化管控，通过读（r4）、写（w2）、执行（x1）三种基础权限组合实现。其中在运维的角度看它们所对应的操作权限…...

编程日记 2025/4/30 12:52:53

Redis入门到实战——基础篇

一、初识Redis 1. 认识NoSQL 2. 认识Redis Redis诞生于2009年，全称Remote Dictionary Server，远程词典服务器，是一个基于内存的键值型NoSQL数据库。特征： 键值型（key-value），value支持多种…...

编程日记 2025/5/18 19:10:33

ctf.show 卷王杯 pwn签到

pwn签到 64位 ret2libc pwn签到 (1) motalymotaly-VMware-Virtual-Platform:~/桌面$ file pwn pwn: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, for GNU/Linux 3.2.0, BuildID[sha1]0953abcf1dd6…...

编程日记 2025/4/30 12:50:45

Dali 1.1.4 | 使用尖端技术将描述转换成独特艺术品、照片和图像，发挥无限创意

Dali是一款先进的AI图像生成器应用程序，能够根据用户的描述生成不同风格的独特图像。无论是迷人的数字艺术、创新的纹身设计还是独一无二的标志，甚至是超写实的照片，Dali都能轻松应对。这款解锁版为用户提供了更多的创作自由度和无限可能&…...

编程日记 2025/4/30 12:50:40

LeetCode 2906 统计最大元素出现至少K次的子数组（滑动窗口）

给出一个示例： 输入：nums [1,3,2,3,3], k 2 输出：6 解释：包含元素 3 至少 2 次的子数组为：[1,3,2,3]、[1,3,2,3,3]、[3,2,3]、[3,2,3,3]、[2,3,3] 和 [3,3] 。该题也是一个比较简单的滑动窗口的题目，但是…...

编程日记 2025/5/18 11:33:07

文献阅读（三）基于干旱强度和恢复时间的生态系统恢复力评估|《Agricultural and Forest Meteorology》

傅伯杰院士团队发表在《Agricultural and Forest Meteorology》上的一篇文章，定义了一个新的恢复力指标，通过指数拟合曲线表征干旱强度和相应恢复时间的关系，用曲线面积量化恢复力；耦合干旱强度和恢复时间来评估生态系统对干旱的恢…...

编程日记 2025/5/7 11:22:24

32、Server.Transfer和Response.Redirect的区别是什么？

Server.Transfer 和 Response.Redirect 是 ASP.NET 中用于页面跳转的两种方法，但它们在实现机制、性能、URL 显示等方面存在显著区别。以下是两者的核心差异： 1. 实现机制 Server.Transfer 服务器端跳转：直接在服务器内部将请求从当前页面…...

编程日记 2025/4/30 12:48:19

iOS—仿tableView自定义闹钟列表

自定义View实现闹钟列表，左滑删除，滑动列表时收起删除按钮。用代理的方法实现ListView的创建，删除以及开关回调，并实现动画效果。 ClockViewCell使用block通知ListView，ListView通过代理通知上层ClockView 1、文件组…...

编程日记 2025/4/30 12:47:15

Spark，集群搭建-Standalone

集群搭建-Standalone 一、解压在之前的学习中我们有了一个软件包 spark.3.1.2-bin-hadoop3.2.tgz （eg我的在 /opt/software目录下）把这个软件包解压到 /opt/module 下（也可以自己决定解压到哪里）。对应的命令是： t…...

编程日记 2025/4/30 12:47:13

【C++11】新的类功能、lambda

📝前言： 这篇文章我们来讲讲C11——新的类功能、lambda、包装器 🎬个人简介：努力学习ing 📋个人专栏：C学习笔记 🎀CSDN主页愚润求学 🌄其他专栏：C语言入门基础&#xf…...

编程日记 2025/4/30 12:45:05

stm32 g031g8 flash擦除函数被坑

先记录一下在擦除的时候由于调用了这个FLASH_PageErase(FLASH_BANK_1, secpos); 导致擦除不成功，写入失败。下面的擦除有问题// 使用 FLASH_PageErase 擦除该页while ((FLASH->SR & FLASH_SR_BSY1) ! 0); // 等待空闲FLASH_PageErase(FLASH_BANK_1, secpo…...

编程日记 2025/4/30 12:45:04

SQL实战：04之SQL中的分组问题求解

文章目录概述题目：分组问题求解题解第一步：求解差值步骤二：窗口分组累加完整SQL 总结概述最近刷题时遇到一些比较有意思的题目，乍一遇上时还不知道怎么求解，在灵光一闪时找到了问题的求解答案，感觉还比…...

编程日记 2025/4/30 12:44:00

基于DrissionPage的实习信息爬虫改造与解析

目录编辑一、DrissionPage技术优势分析二、代码改造实现 2.1 环境配置 2.2 爬虫类定义 2.3 核心爬取逻辑一级页面解析优化二级页面解析优化 2.4 分页控制机制三、关键技术解析 3.1 智能元素定位 3.2 请求管理优化 3.3 反爬对抗策略四、改造前后对比测试…...

编程日记 2025/4/30 12:41:46

react-native打包报错：缺少build文件夹

在React Native项目中，如果你遇到了提示“没有build文件夹”的问题，这通常是因为项目的某些部分没有正确初始化或者配置。以下是一些解决步骤。如果缺少build文件，这会导致你使用gradlew assembleRealease失败，进而无法打包APK。下…...

编程日记 2025/4/30 12:40:44

【无需安装额外软件，JavaScript脚本】B站批量取消关注

步骤注意： 提前选好需要批量取消关注的分组！！！脚本过程中会提示要求输入B站账号的手机号码作为验证，不是封号，只是验证！！！ 打开B站关注页面进入个人关注网页&#xff0…...

编程日记 2025/4/30 12:39:36

【Linux】第十五章调度未来任务

1.如何调度延迟的用户任务？ at 软件包包含 atd守护进程，和一组命令（at、atq等）。在默认的 RHEL 安装过程中，将自动安装并启用 atd守护进程。root 及普通用户可以使用 at 命令创建计划任务，atd守护进程提供…...

编程日记 2025/5/16 10:02:18

JVM GC垃圾回收算法

垃圾回收算法（GC Algorithms） JVM 根据对象生命周期特性（分代假设）采用不同的回收算法，核心算法包括： 标记-清除（Mark-Sweep） 此算法执行分两阶段。第一阶段从引用根节点开始标记…...

编程日记 2025/4/30 12:39:34

计算机毕业设计--基于深度学习(U-Net与多尺度ViT)的车牌模糊图像修复算法设计与实现(含Github代码+Web端在线体验界面)

基于深度学习的U-Net架构下多尺度Transformer车牌图像去模糊算法设计与实现如果想对旧照片进行模糊去除，划痕修复、清晰化，请参考这篇CSDN作品👇 计算机毕业设计–基于深度学习的图像修复（清晰化划痕修复色彩增强）算…...

编程日记 2025/4/30 12:39:33

塑料材料工程师简历模板

模板信息简历范文名称：塑料材料工程师简历模板，所属行业：其他 | 职位，模板编号：DEEBPX 专业的个人简历模板，逻辑清晰，排版简洁美观，让你的个人简历显得更专业，找到好工…...

编程日记 2025/4/30 12:38:28

Nginx核心功能与LNMP部署

目录一、引言二、Nginx 简介 2.1 Nginx 的起源与发展 2.2 Nginx 的特点三、Nginx 核心功能详解 3.1 HTTP 服务器功能 3.1.1 静态资源处理 3.1.2 HTTP 协议支持 3.2 反向代理功能 3.2.1 反向代理的原理 3.2.2 Nginx 反向代理配置 3.3 负载均衡功能 3.3.1 负载均…...

编程日记 2025/5/2 5:09:20

爬虫学习笔记（五）---数据解析之re

数据提取前面的爬虫笔记学习的都是如何爬取整个页面的内容，服务器渲染中，数据是直接放在源代码html里面的，大多数情况下整个页面的内容真正需要的只是一小部分，那把这一小部分提取出来的过程就叫做数据提取数据解析方式 re解…...

编程日记 2025/4/30 12:35:15

ESP32- 开发笔记- 软件开发 4 - GPIO 口

1 背景介绍 GPIO（General Purpose Input/Output） ——通用输入输出口，就是能由软件自由控制输入（接收外界信号）或输出（发出电平信号）的引脚。 ESP32 最核心的功能之一，能被用来控制…...

编程日记 2025/5/17 4:08:01

大前端开发——前端知识渐变分层讲解利用金字塔原理简化前端知识体系

Web开发基础核心概念 HTML、CSS和JavaScript：Web开发的三大基石，分别负责结构、样式和行为。代码管理：随着项目规模扩大，需要将代码拆分成小块，便于维护。作用域污染：早期所有代码共享全局作用域&…...

编程日记 2025/4/30 12:32:04

面向网络安全的开源大模型-Foundation-Sec-8B

1. Foundation-Sec-8B 整体介绍 Foundation-Sec-8B 是一个专注于网络安全领域的大型语言模型 (LLM)，由思科的基础人工智能团队 (Foundation AI) 开发。它基于 Llama 3.1-8B 架构构建，并通过在一个精心策划和整理的网络安全专业语料库上进行持续预训练而得到增强。该模型旨在…...

编程日记 2025/4/30 12:32:03

长效住宅IP是什么？如何获取长效住宅IP？

在当今的互联网世界里，IP地址作为连接用户与网站之间的桥梁，其重要性不言而喻。对于跨境电商、社交媒体运营以及数据采集等领域的专业人士而言，普通的IP地址已无法满足日益复杂的需求。他们更需要一种稳定、安全且持久的长效住宅IP来完成各类…...

编程日记 2025/5/15 9:12:33

零基础实现把知识库接到聆思CSK6大模型开发板上

前言大模型作为一个语言模型，实际上没有真正的记忆功能。所谓的对话记忆只是开发者将对话历史向GPT发送消息时将最近的对话历史通过提示工程组发送给ChatGPT。换句话说，如果对话历史超过了大模型的最大上下文，GPT会忘记之前的部分&#xff0…...

编程日记 2025/4/30 12:30:56

docker 部署前、后端分离项目详细步骤(从打包到部署)

在平常的开发工作中，一个项目经历需求、开发、测试、上线等步骤。在开发测试完成后，我们需要部署测试环境、生产环境等，那么我们用 docker 方式应该怎么部署呢？前后端分离的项目又该如何部署呢？那么，今天我…...

编程日记 2025/4/30 12:30:55

【深度学习的灵魂】图片布局生成模型LayoutPrompt（1）

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀《深度学习理论直觉三十讲》_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目…...

编程日记 2025/4/30 12:30:55

BG开发者日志429：故事模式的思路

1、故事模式已有的一关试验关中，直接揭示了一些重要真相，白给了。 /原设计思路是玩家可以直接玩故事模式，很快就能通关本模式的所有关卡，知道所有真相。 /原表现方式是步行模拟，到地点看对话。 （现在看来…...

编程日记 2025/4/30 12:28:47

Linux批量管理：Ansible自动化运维指南

引言在服务器规模化的时代，Ansible就像一位"自动化指挥官"🎖️，让你轻松管理成百上千台Linux主机！本文将带你全面掌握Ansible的核心用法，从基础架构到高级Playbook，从主机管理到应用部署。无论…...

编程日记 2025/4/30 12:28:46

【AI提示词】第一性原理

提示说明擅长运用第一性原理思维进行深度问题分析与创新解决方案构建的专家。提示词 # Role: 第一性原理思考导师## Profile - language: 中文 - description: 擅长运用第一性原理思维进行深度问题分析与创新解决方案构建的专家 - background: 具备理论物理学与哲学复合背…...

编程日记 2025/5/17 4:58:32

【LeetCode】螺旋矩阵

题目题目链接请按照顺时针螺旋顺序 ，返回矩阵中的所有元素，示例如下： 思路整体思路为模拟。具体地，可以采用“减而治之”的思想，将整个遍历过程拆分为一次次对每一行和每一列的遍历，每次只考虑一行/…...

编程日记 2025/5/5 19:56:00

给 BBRv2/3 火上浇油的 drain-to-target

最近彻底跟 BBR 杠上了，再读一篇落实性论文 Promises and Potential of BBRv3，结论依然是 BBRv3 并未如声称的那般优化公平性，反而可能更糟糕，不得不说又是任重而道远。说一个我遇到的，讲理之外顺带吐槽。 BBRv1 在…...

编程日记 2025/5/18 1:17:45

后端id类型为long类型时，返回给前端浏览器四舍五入，导致id精度缺失问题

背景今天在代码里，掉了别人写的接口，有个id的字段是long类型的，我这边加点参数返回给前端，然后前端根据id修改，结果修改的数据记录有，但是没起作用，后来发现根据他传给我的id在后台数据库查不…...

编程日记 2025/4/30 12:23:23

《云原生》核心内容梳理和分阶段学习计划

🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息文章目录云原生核心内容梳理和分阶段学习计划一、云原生核心技术栈（2025年重点方向）二、分阶段学习计划（6-12个月系统性进阶）**阶段1：基础入…...

编程日记 2025/4/30 12:22:19

跟我学C++中级篇——控制死锁

一、同步和死锁在前面学习多线程和网络编程时，都对线程中数据的同步和数据结构多线程访问的安全问题进行了分析和说明。其实，多线程编程之所以难，难点之一就在这里，数据同步意味着效率和安全的平衡，而这里的安全有一…...

编程日记 2025/5/17 21:10:34

「Mac畅玩AIGC与多模态08」开发篇04 - 基于 OpenAPI Schema 开发专用 Agent 插件

一、概述本篇介绍如何在 macOS 环境下，通过编写 OpenAPI Schema，开发自定义的专用插件，让智能体可以调用外部 API，扩展功能至任意在线服务。实践内容基于 Dify 平台，适配 macOS 开发环境。二、环境准备 1. 确认本地开发环境 macOS 系统Dify 平台已完成部署并可访问本…...

编程日记 2025/5/2 15:25:14

“兴火·燎原”总冠军诞生，云宏信息《金融高算力轻量云平台》登顶

“兴火燎原”创新马拉松公开赛2024年度全国总决赛于4月18日在福州举办，云宏科技股份有限公司（以下简称：云宏）的《金融高算力轻量云平台》项目脱颖而出，夺得全国总冠军。作为数字中国创新大赛金融领域的核心赛事&…...

编程日记 2025/4/30 12:20:08

MySQL 索引与事务详解

MySQL 索引与事务详解一、索引（Index） 1. 索引的作用与原理索引是数据库的"目录"，能够大幅提高查询速度，但会增加写入开销。MySQL 使用 BTree 作为主要索引结构。 2. 索引类型 (1) 普通索引 CREATE INDEX idx_n…...

编程日记 2025/4/30 12:20:07

洛谷题解 | CF111C Petya and Spiders

目录题目描述输入格式输出格式输入输出样例 #1输入 #1输出 #1 输入输出样例 #2输入 #2输出 #2 说明/提示题目简化题目思路AC 代码题目描述 Little Petya loves training spiders. Petya has a board $ nm $ in size. Each cell of the board initially has a spider sitting…...

编程日记 2025/5/12 11:24:40