clickhouse ttl不生效
现象：
日志保留31天， 但是发现1年前的数据还有。
表结构：
CREATE TABLEads_xxxx_metrics_1m_local (`static_time` String COMMENT '统计时间',......) ENGINE = ReplacingMergeTree (process_time)
PARTITION BYtoYYYYMMDD (toDate (static_time))
ORDER BY(static_time,xxxreal_time_type) TTL parseDateTimeBestEffort (static_time) + toIntervalDay (31)
定位：
是因为删除数据速度 赶不上插入数据速度，造成历史数据无法被清理。
优化：
TTL 删除数据按照 分区时间删除。
`TTL parseDateTimeBestEffort (static_time) + toIntervalDay (31) 这个改成 toDate (static_time) + toIntervalDay (31)`
加速删除数据的速度。
历史使用通过删除分区的方式删除。
select
*
fromsystem.parts
where
table = 'xxxxx';
通过 partition 字段查找 需要删除的分区。
alter table table_namexxxx DROP PARTITION ‘20231125’;
注意：
为什么optimize后数据TTL仍未生效？
常见原因及解决方案如下。常见原因1：数据的TTL淘汰是在主键合并阶段执行的，如果data part迟迟没有进行主键合并，那过期的数据就无法淘汰。解决方案：您可以通过手动optimize final或者optimize 指定分区的方式触发合并任务。您可以在建表时设置merge_with_ttl_timeout、ttl_only_drop_parts等参数，提高含有过期数据data parts的合并频率。常见原因2：表的TTL经过修改或者添加，存量的data part里缺少TTL信息或者不正确，这样也可能导致过期数据淘汰不掉。解决方案：您可以通过alter table materialize ttl命令重新生成TTL信息。您可以通过optimize 分区更新TTL信息。
相关文章：
clickhouse ttl不生效
现象： 日志保留31天， 但是发现1年前的数据还有。 表结构： CREATE TABLEads_xxxx_metrics_1m_local (static_time String COMMENT 统计时间,......) ENGINE ReplacingMergeTree (process_time) PARTITION BYtoYYYYMMDD (toDate (static_tim…...
前端打包webpack vite
起步 | webpack 中文文档 | webpack中文文档 | webpack中文网 npm run build 1webpack: mkdir webpack-demo cd webpack-demo npm init -y npm install webpack webpack-cli --save-dev vite : 快速上手 | Vue.js...
Cesium之home键开关及相机位置设置
显隐控制 设置代码中的homeButton var TDT_IMG_C "https://{s}.tianditu.gov.cn/img_c/wmts?servicewmts&requestGetTile&version1.0.0" "&LAYERimg&tileMatrixSetc&TileMatrix{TileMatrix}&TileRow{TileRow}&TileCol{TileCol}…...
nginx根据二级目录转发服务以及带/和不带/的区别
在nginx中配置proxy_pass代理转发时，如果在proxy_pass后面的url加/，表示绝对根路径；如果没有/，表示相对路径，把匹配的路径部分也给代理走。具体实例如下 1.配置文件location带/且proxy_pass带/ server {listen 80;se…...
JVM 性能调优命令（jps,jinfo,jstat,jstack,jmap)
常用命令：jps、jinfo、jstat、jstack、jmap jps jps查看java进程及相关信息 jps -l 输出jar包路径，类全名 jps -m 输出main参数 jps -v 输出JVM参数jps命令示例 显示本机的Java虚拟机进程： # jps 15729 jar 92153 Jps 90267 Jstat显示主类…...
探索 IntelliJ IDEA 2024.1最新变化：全面升级助力编码效率
探索 IntelliJ IDEA 2024.1最新变化：全面升级助力编码效率 文章目录 探索 IntelliJ IDEA 2024.1最新变化：全面升级助力编码效率摘要引言 IntelliJ IDEA 2024.1 最新变化关键亮点全行代码补全 Ultimate对 Java 22 功能的支持新终端 Beta编辑器中的粘性行 …...
【Kafka】Zookeeper集群 + Kafka集群
Zookeeper 概述 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 Zookeeper 工作机制★★★ Zookeeper从设计模式角度来理解： 1）是一个基于观察者模式设计的分布式服务管理框架； 它负责存储和管理大家都关…...
递归 python
↵一、简单理解 解决问题的一种方法，它将问题不断的分成更小的子问题，直到子问题可以用普通的方法解决。通常情况下，递归会使用一个不停调用自己的函数。 【注】：每一次递归调用都是在解决一个更小的问题，如此进行下…...
解读科技智慧公厕改变生活的革命性创新之路
公共厕所，作为城市基础设施的一部分，一直以来都备受人们诟病。脏乱差、设施老旧、管理混乱，成为公共厕所长期存在的问题。然而，随着科技的不断进步，智慧公厕应运而生，为解决公厕难题，智慧公厕源…...
鸿蒙ArkTS小短剧开源项目进行中
鸿蒙小短剧开源项目进行中 短剧项目名称：CCShort-TV 短剧项目名称：CCShort-TV 使用ArtTS语言，API9以上，HarmonyOS系统的短剧开源代码，使用GSYVideoPlayer作为核心播放器的小短剧。主要以ArkTS，ArkUI编写为…...
基于STM32的RFID智能门锁系统
本文针对RFID技术，着重研究了基于单片机的智能门锁系统设计。首先，通过链接4*4按键模块与主控STM32，实现了多种模式，包括刷卡开锁、卡号权限管理、密码开锁、修改密码、显示实时时间等功能。其次，采用RC522模块与主控S…...
消息队列的简介
什么是消息队列? 消息队列就是用于不同系统 不同服务之间异步地传递信息,就是不用生产者和消费者同时在线或者直接连接,消息存储在队列中,直到消费者准备处理 消息队列的核心概念: 生产者:发送消息的一方 消费者:处理消息的一方 队列:存储队列的一方 优点: 1解耦: 生产者和消费…...
一个开箱即用的物联网项目，开源免费可商用
一、平台简介 今天给大家推荐一款开源的物联网项目，简单易用，非常适合中小团队和个人使用，项目代码和文档完全开源，个人和公司都可以应用于商业项目，只需要保留开源协议文件即可。 本项目可应用于智能家居、农业监测…...
成为程序员后你都明白了什么呢？
成为程序员后你都明白了什么？ 简介：探讨成为程序员后的收获和体会，以及对未来的展望。 方向一：技术成长 在技术成长方面，我认识到编程不仅仅是一种技能，更是一种思维方式。在不断地学习和实践中…...
Rust常见陷阱 | 算术溢出导致的 panic
Rust作为一种内存安全性语言，对于算术运算中的溢出处理特别严格。由于Rust默认会在debug模式下进行算术操作的溢出检查，任何溢出行为都会导致panic，这样能够帮助开发者在调试阶段发现潜在的溢出错误。尽管在release模式下，溢出会导致值的截断，并不会引起panic，但忽视这一…...
SRS服务接入华为云CDN
一、srs配置 正常的标准配置即可，需打开hls推流即可，一般配置中默认打开 二、华为云cdn配置 1.登录华为云，找内容分发网络cdn 2.点击域名管理，点击添加域名 3.配置加速域名 4.选择点播加速 5.添加源站 配置源站地址…...
微信小程序----微信小程序基础
能够知道如何创建小程序项目能够清楚小程序项目的基本组成结构能够知道小程序页面由几部分组成能够知道小程序中常见的组件如何使用能够知道小程序如何进行协同开发和发布 一.小程序简介 1. 小程序与普通网页开发的区别 1. 运行环境不同 网页运行在浏览器环境中小程序运行在…...
牛客周赛 Round 39（A,B,C,D,E,F,G）
比赛链接 官方题解（视频） B题是个贪心。CD用同余最短路，预处理的完全背包，多重背包都能做，比较典型。E是个诈骗，暴力就完事了。F是个线段树。G是个分类大讨论，出题人钦定的本年度最佳最粪 题目…...
性能优化工具
CPU 优化的各类工具 network netperf 服务端： $ netserver Starting netserver with host IN(6)ADDR_ANY port 12865 and family AF_UNSPEC$ cat netperf.sh #!/bin/bash count$1 for ((i1;i<count;i)) doecho "Instance:$i-------"# 下方命令可以…...
【简单介绍下R-Tree】
🌈个人主页: 程序员不想敲代码啊 🏆CSDN优质创作者，CSDN实力新星，CSDN博客专家 👍点赞⭐评论⭐收藏 🤝希望本文对您有所裨益，如有不足之处，欢迎在评论区提出指正，让我们共…...
比特币叙事大转向
作者：David Lawant 编译：秦晋 要理比特币解减半动态，最关键的图表是下面这张，而不是价格图表。它显示了自 2012 年以来，矿业总收入与比特币现货交易量的比例，并标注了三个减半日期。 虽然矿工仍然是比特币生…...
Spring的事务传播机制有哪些
Spring的事务传播机制有哪些？ Spring的事务传播机制用于控制在多个事务方法相互调用时事务的行为。 在复杂的业务场景中，多个事务方法之间的调用可能会导致事务的不一致，如出现数据丢失、重复提交等问题，使用事务传播机制可以避…...
【Linux系统】地址空间 Linux内核进程调度队列
1.进程的地址空间 1.1 直接写代码，看现象 1 #include<stdio.h>2 #include<unistd.h>3 4 int g_val 100;5 6 int main()7 {8 int cnt 0;9 pid_t id fork();10 if(id 0)11 {12 while(1)13 {14 printf(&…...
centos搭建yum源
目录 1.createrepo简介 2.repo搭建思路 3.安装 4.使用 1.createrepo简介 createrepo 是一个用于创建 RPM 包的工具，它可以帮助你创建一个本地的 YUM 仓库。createrepo 并不是用于运行 YUM 仓库服务的软件，而是用来生成仓库的元数据，使得 YUM 可以理解和使用这个仓库。 …...
使用Docker搭建一主二从的redis集群
文章目录 一、根据基础镜像构建三个docker容器二、构建master机三、配置slave机四、测试 本文使用 主机指代 物理机、 master机指代“一主二从”中的 一主， slave机指代“一主二从”中的 二从 一、根据基础镜像构建三个docker容器 根据本文第一章（…...
华为配置通过流策略实现流量统计
配置通过流策略实现流量统计示例 组网图形 图1 配置流策略实现流量统计组网图 设备 接口 接口所属VLAN 对应的三层接口 IP地址 SwitchA GigabitEthernet1/0/1 VLAN 10 - - GigabitEthernet1/0/2 VLAN 20 - - GigabitEthernet1/0/3 VLAN 10、VLAN 20 - - S…...
vue2和vue3的v-if与v-for优先级对比
Vue.js 中使用最多的两个指令就是 v-if 和 v-for，因此我们可能会想要同时使用它们。虽然官方不建议这样做，但有时确实是必须的，我们来了解下他们的工作方式： 在 vue 2.x 中，在一个元素上同时使用 v-if 和 v-for 时&am…...
ARM之栈与方法
ARM之栈与方法 计算机中的栈是一种线性表，它被限定只能在一端进行插入和删除操作（先进后出）。通常将可以插入和删除操作的一端称为栈顶，相对的一端为栈底。 通常栈有递增堆栈（向高地址方向生长）、递减堆栈…...
Winfrom —— GDI画板
定义绘制对象 Graphics g; 起始点坐标 Point start; 画笔颜色 Color c1 Color.Black; 是否开始绘制 当flagtrue开始绘制，结束绘 private void Form1_MouseDown(object sender, MouseEventArgs e) {if (e.Button MouseButtons.Left) //点击了鼠标左键{start …...
【Jenkins】Jenkins自动化工具介绍
目录 技术背景常规的手动打包步骤 Jenkins简介起源与发展Jenkins的核心价值1.自动化1.1代码构建1.2测试自动化1.3自动部署 2.持续集成与持续部署CI/CD的概念如何减少集成问题更快速地发布软件版本 Jenkins优势Jenkins的主要竞争对手Travis CI:CircleCI:GitLab CI: Jenkins与其他…...
鸢尾花数据集的KNN探索与乳腺癌决策树洞察
鸢尾花数据集的KNN探索与乳腺癌决策树洞察 今天博主做了这个KNN和决策树的实验。 一.数据集介绍 介绍一下数据集： 威斯康星州乳腺癌数据集： 威斯康星州乳腺癌数据集（Wisconsin Breast Cancer Dataset）是一个经典的机器学习数…...
【python】计算水仙花数
【python】计算水仙花数 "水仙花数"是指一个3位数，它的三个位上的数字的3次幂之和等于它本身。例如，"153"就是一个水仙花数，因为1^3 5^3 3^3 153。以下是一个Python代码示例，用于计算并打印出所有的三位数…...
二、Flask会话技术和模板语言
Cookie Session # views.py: 路由 视图函数 import datetimefrom flask import Blueprint, render_template, request, redirect, session from .models import *# 蓝图 blue Blueprint(user, __name__)# 首页 可以写两个路由，都是访问同一个函数 blue.route(/) b…...
qt-C++笔记之QProcess声明在堆上和声明在栈上对进程执行是否异步的影响
qt-C笔记之QProcess声明在堆上和声明在栈上对进程执行是否异步的影响 —— 2024-04-13 code review! 文章目录 qt-C笔记之QProcess声明在堆上和声明在栈上对进程执行是否异步的影响1.结论2.关于异步执行在堆上声明 QProcess在栈上声明 QProcess 3.waitForFinished详解函数原…...
使用go和消息队列优化投票功能
文章目录 1、优化方案与主要实现代码1.1、原系统的技术架构1.2、新系统的技术架构1.3、查看和投票接口实现1.4、数据入库MySQL协程实现1.5、路由配置1.6、启动程序入口实现 2、压测结果2.1、设置Jmeter线程组2.2、Jmeter聚合报告结果，支持11240/秒吞吐量2.3、Jmeter…...
文心一言VSchatGPT4
文心一言和GPT-4各有优势，具体表现在不同的测试场景下。 在某些测试场景中心一言的表现优于GPT-4，例如在故事的完整度和情节吸引力方面，文心一言表现得更加符合指令，情节更吸引人。这可能得益于其模型在训练时对中文语境的深入理…...
Ubuntu无网络标识的解决方法
1.出现的情况的特点 2.解决办法 2.1 进入root并输入密码 sudo su 2.2 更新NetworkManager的配置 得先有gedit或者vim，两个随意一个，这里用的gedit，没有就先弄gedit，有的话直接下一步 apt-get install gedit 或者vim apt-get ins…...
深入挖掘C语言 ---- 文件操作
目录 1. 文件的打开和关闭1.1 流和标准流1.1.1流1.1.2标准流 1.2 文件指针1.3 文件的打开和关闭 2. 顺序读写3. 随机读写3.1 fseek3.2 ftell3.3 rewind 4. 读取结束判定 正文开始 1. 文件的打开和关闭 1.1 流和标准流 1.1.1流 我们程序的数据需要输出到各种外部设备, 也需要…...
【C语言】【数据结构】项目实践——贪吃蛇游戏（超详细）
前言 本篇博客我们来实现一个小游戏项目——贪吃蛇，相信肯定很多人都玩过，那么整个贪吃蛇是怎么实现出来的那，这个项目用到了很多方面的知识：C语言函数、枚举、结构体、动态内存管理、预处理指令、链表、Win32 API等。我们就通过这…...
前端正则表达式js和测试工具
一、校验数字的表达式 1. 数字：^[0-9]*$2. n位的数字：^\d{n}$3. 至少n位的数字：^\d{n,}$4. m-n位的数字：^\d{m,n}$5. 零和非零开头的数字：^(0|[1-9][0-9]*)$6. 非零开头的最多带两位小数的数字：^([1-9][0-9…...
P8715 [蓝桥杯 2020 省 AB2] 子串分值 （双边检测）
# [蓝桥杯 2020 省 AB2] 子串分值 ## 题目描述 对于一个字符串 $S$, 我们定义 $S$ 的分值 $f(S)$ 为 $S$ 中恰好出现一次的字符个数。例如 $f\left({ }^{\prime \prime} \mathrm{aba}{ }^{\prime \prime}\right)1$，$f\left({ }^{\prime \prime} \mathrm{abc}{ }^{…...
Scala 03 —— Scala Puzzle 拓展
Scala 03 —— Scala Puzzle 拓展 文章目录 Scala 03 —— Scala Puzzle 拓展一、占位符二、模式匹配的变量和常量模式三、继承 成员声明的位置结果初始化顺序分析BMember 类BConstructor 类 四、缺省初始值与重载五、Scala的集合操作和集合类型保持一致性第一部分代码解释第二…...
springboot+vue全栈开发【3.前端篇之Vue基础语法1】
目录 前言Vue基础语法1.内容渲染指令2.属性绑定指令3.使用JavaScript表达式 前言 hi，这个系列是我自学开发的笔记，适合具有一定编程基础（html、css那些基础知识要会！）的同学，有问题及时指正！ …...
武汉星起航：上海股权中心成功挂牌，创始人张振邦领航跨境新纪元
在金秋十月的尾声，上海股权托管交易中心迎来了一场备受瞩目的盛事。2023年10月30日，武汉星起航电子商务有限公司成功挂牌展示，正式登录资本市场，开启了一段崭新的发展篇章。这一里程碑式的跨越，不仅标志着武汉星起航在…...
find和grep查找搜索命令常用的一些使用方式
目录 find和grep查找搜索命令常用的一些使用方式 一、find命令 二、grep命令 find和grep查找搜索命令常用的一些使用方式 一、find命令 我们知道在Windows系统中想要搜索查找文件，一般需要满足两个条件： 1、知道在哪些目录中查找 2、知道查找的内容&…...
Spring Cloud学习笔记：Eureka集群搭建样例
这是本人学习的总结，主要学习资料如下 - 马士兵教育 1、项目架构2、Dependency3、项目启动类4、application.yml5、启动项目 1、项目架构 因为这是单机模拟集群搭建，为了方便管理就都放在了一个项目中。这次准备搭建三个项目server1, server2, server3 …...
js实现抽奖效果
<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>随机抽奖</title> </head> <body>…...
现代化个人博客系统 ModStartBlog v9.3.0 支持Laravel 9
ModStart 是一个基于 Laravel 模块化极速开发框架。模块市场拥有丰富的功能应用，支持后台一键快速安装，让开发者能快的实现业务功能开发。 系统完全开源，基于 Apache 2.0 开源协议。 功能特性 丰富的模块市场，后台一键快速安装 …...
常用UI组件
一、文本组件 1.1 概述 Text为文本组件，用于显示文字内容 1.2 参数 Text组件的参数类型为string | Resource Entry Component struct Index {build() {Column({space : 50}) {Text(你好).fontSize(50)}.width(100%).height(100%).justifyContent(FlexAlign.Cent…...
【MySQL 数据宝典】【内存结构】- 004 自适应哈希索引
自适应哈希索引 https://developer.aliyun.com/article/1230086 什么是自适应哈希索引？ 自适应哈希索引是MySQL InnoDB存储引擎中的一种索引结构，用于加速查询。它根据查询模式和数据分布动态地调整自身的大小，以提高性能。 上图就是通过…...
Unity Render入门
概述 在unity中渲染相关的组件是和Render关联的，比如我们常见的3D模型中的MeshRender，UI中的RenderCanvas等都是和Render相关联的，相信在unity的学习过程中，一定看到过非常多和Render相关的内容，那让我们学习一下这部…...
Vue的学习 —— ＜网络请求库Axios＞
目录 前言 正文 一、Axios基本概念 二、安装Axios 三、Axios使用方法 四、向服务器发送请求 前言 在之前的开发案例中，我们通常直接在组件中定义数据。但在实际的项目开发中，我们需要从服务器获取数据。当其他用户希望访问我们自己编写的网页时&a…...
样式表单MIME 类型 “text/plain“ 不是 “text/css“问题处理
样式表单www.*.com/static/js/*.css未载入，因为它的 MIME 类型 "text/plain" 不是 "text/css"。 原因是服务器返回的MIME类型为 "text/plain"，而预期应该是 "text/css"。MIME类型是一种标准，用于定…...
汇编语言入门：探索 x86 架构
目录 前言 1. x86 语言 x86 架构简介 x86 架构的特点 x86 架构的演变 x86 架构的应用 2. 常用汇编指令集 3. 寻址方式 结语 前言 汇编语言是一种低级编程语言，直接面向计算机的硬件架构。在计算机科学中，了解汇编语言是非常重要的，因…...
立创EDA绘制PCB电路板
1、绘制好原理图后，点击设计---原理图转PCB，生成PCB文件 2、将元器件拖入电路板方框内，摆放布局并使用工具栏布线、放置过孔及丝印 3、然后顶层和底层铺铜 4、后面就可以生成制板文件发送嘉立创制板了。...
文科生在三本院校，读计算机专业
6岁，进入村小，一年级，老师问我的梦想是什么，我说我长大了我要成为科学家。 9岁，三年级，知道科学家不现实，开始学习英语。又因为科学家英语不好发音，于是我的梦想变了，长…...
OpenHarmony上移植memtester
1. 下载源码： wget https://pyropus.ca./software/memtester/old-versions/memtester-4.6.0.tar.gz 2. 解压并指定交叉编译方式 解压 tar -xvf memtester-4.6.0.tar.gz 修改conf-cc和conf-ld，指定交叉编译方式 conf-cc conf-ld 3. 编译 直接运行m…...
【前段】开发五子棋小游戏全流程
使用前端技术开发五子棋小游戏 在这篇博文中，我们将详细介绍如何使用HTML、CSS和JavaScript开发一个简单的五子棋小游戏。我们将展示如何初始化棋盘、处理用户交互以及实现胜负判定。特别是，我们将着重介绍胜负判定的逻辑实现。 完整代码我放在了这里&a…...
AI视频教程下载：用ChatGPT快速精通Python编程
这个课程是为想要通过ChatGPT提升Python编程技能的个人设计的。 **你将会学到的：** - Python编程语言的基础知识。 - ChatGPT的介绍和多种用例。 - 如何使用ChatGPT加快你的编码项目的开发。 - 了解新技术，如数据科学和机器学习，并进行实…...
自定义类加载器如何避免双亲委派模型
自定义类加载器要避免双亲委派模型，通常意味着你需要直接重写 loadClass 方法而不是仅重写 findClass 方法。loadClass 方法是 Java 类加载机制中实现双亲委派模型的关键部分。 要绕过双亲委派模型，你可以在自定义类加载器的 loadClass 方法中直接调用 …...
数字化智能：Web3时代的物联网创新之路
引言 随着科技的不断发展，物联网（IoT）技术正在迅速普及和应用。而随着Web3时代的到来，物联网将迎来新的发展机遇和挑战。本文将探讨Web3时代的物联网创新之路，深入分析其核心技术、应用场景以及未来发展趋势。 Web3时…...
基于振幅跟踪技术监测Inylchek冰川(吉尔吉斯斯坦)的冰流表面速度
冰川是重要的淡水资源，Inylchek冰川是世界上最长的冰川之一，60km长，有南北两个分支，海拔3000-4000米，最小坡度2。 2007年8月24日的Landsat5数据上的Inylchek冰川 为了监测冰川的运动，本研究获取了高重访周…...