当前位置：首页 > news >正文

mysql实时同步到es

news 来源：原创 2025/9/19 0:31:20

测试了多个方案同步，最终选择oceanu产品，底层基于Flink cdc
1、实时性能够保证，binlog量很大时也不产生延迟
2、配置SQL即可完成，操作上简单

下面示例mysql的100张分表实时同步到es，优化备注等文本字段的like查询

创建SQL作业

CREATE TABLE from_mysql (id int,cid int NOT NULL,gid bigint NOT NULL,content varchar,create_time TIMESTAMP(3)  ,PRIMARY KEY (id) NOT ENFORCED
) WITH ('connector' = 'mysql-cdc','hostname' = 'mysql-ip','port' = '3306','username' = 'mysqluser','password' = 'mysqlpwd','database-name' = 'mysqldb','debezium.snapshot.locking.mode' = 'none','table-name' = 'tb_test[0-9]?[0-9]','server-id' = '100-110','server-time-zone' = 'Asia/Shanghai','debezium.skipped.operations' = 'd','debezium.snapshot.mode' = 'schema_only','debezium.min.row.count.to.stream.results' = '50000'
);CREATE TABLE to_es (id string,tableid int,tablename string,cid int NOT NULL,gid string NOT NULL,content string,create_time string,PRIMARY KEY (id,companyId) NOT ENFORCED
) WITH ('connector.type' = 'elasticsearch', 'connector.version' = '7', 'connector.hosts' = 'http://ip:9200','connector.index' = 'myindex','connector.document-type' = '_doc','connector.username' = 'elastic','connector.password' = 'password123','update-mode' = 'upsert','connector.key-delimiter' = '$','connector.key-null-literal' = 'n/a','connector.failure-handler' = 'retry-rejected','connector.flush-on-checkpoint' = 'true','connector.bulk-flush.max-actions' = '10000','connector.bulk-flush.max-size' = '2 mb','connector.bulk-flush.interval' = '2000','connector.connection-max-retry-timeout' = '300','format.type' = 'json'
);INSERT INTO to_es
SELECT
concat(CAST(id as string),'-',CAST(mod(cid,100) AS VARCHAR)) as id, 
id tableid,
tablename,
cid,
gid,
content,
DATE_FORMAT(create_time, 'yyyy-MM-dd HH:mm:ss') as create_time
from from_mysql

这里主要注意字段类型
scan.startup.mode：“initial”（默认，同步历史数据），“latest-offset” 同步增量数据
最后insert可以加where，只同步需要的行数据

es配置

配置好mapping、setting和自己的分词器

使用自字义分词是因为字段中所有涉及的标点符号、空格等都可以来检索

PUT myindex-20230314/
{ "mappings": {"properties": {"id":{"type": "text"},"tableid":{"type": "long"},"cid":{"type": "long"},"gid":{"type": "text","analyzer": "my_analyzer"},"content":{"type": "text","analyzer": "my_analyzer"},"create_time" : {"type" : "keyword"}}},"settings": {"index":{"number_of_shards": "10","number_of_replicas": "1","refresh_interval" : "1s","translog": {"sync_interval": "30s","durability": "async"},"codec": "best_compression",   "analysis": {"analyzer": {"my_analyzer": {"tokenizer": "my_tokenizer","filter": ["lowercase"]}},"tokenizer": {"my_tokenizer": {"type": "ngram","min_gram": 1,"max_gram": 2,"token_chars": ["letter","digit","whitespace","punctuation","symbol"]}}}}}
}

使用别名，方便后续的维护

 POST /_aliases
{"actions": [{ "add":    { "index": "myindex-20230314", "alias": "myindex" }}]
}

之前测试的

canal单进程延迟越来越大，单独配置历史数据同步
go-mysql-elasticsearch经常报错重新同步
logstash同步100张分表不知道怎么配置

oceanus是收费的对于运维人员不足的情况，可以参考，有精力的可以考虑flink。

mysql实时同步到es

测试了多个方案同步，最终选择oceanu产品，底层基于Flink cdc 1、实时性能够保证，binlog量很大时也不产生延迟 2、配置SQL即可完成，操作上简单下面示例mysql的100张分表实时同步到es，优化备注等文本字段的like查询创…...

编程日记 2025/9/19 0:31:20

Linux-ubuntu系统移植之Uboot启动流程

Linux-ubuntu系统移植之Uboot启动流程一，Uboot启动流程1.Uboot的两阶段1.1.第一阶段1.11.硬件初始化1.12.复制 U-Boot 到 RAM1.13.跳转到第二阶段 1.2.第二阶段1.21.C 语言环境初始化1.22. 硬件设备初始化1.23. 加载环境变量1.24. 显示启动信息1.25. 等待用户输入&…...

编程日记 2025/9/16 12:00:49

《Operating System Concepts》阅读笔记：p62-p75

《Operating System Concepts》学习第 10 天，p62-p75 总结，总计 14 页。一、技术总结 1. system call (1) 定义 The primary interface between processes and the operating system, providing a means to invoke services made available by th…...

编程日记 2025/9/15 13:24:35

【Java场景题】MySQL死锁排查

大家好，今天XiXi给大家分享一个MySQL死锁排查的实验，文章主要有： 通过show engine innodb status，查看最近一次死锁信息开启innodb_print_all_deadlocks，在错误日志中能够记录所有死锁信息通过解析binlog日志定位死锁…...

编程日记 2025/9/15 13:24:33

JSON格式，C语言自己实现，以及直接调用库函数（一）

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。以下为你提供不同场景下常见的 JSON 格式示例。 1. 简单对象 JSON 对象是由键值对组成，用花括号 {} 包裹&…...

编程日记 2025/9/15 13:24:31

leetcode刷题第十三天——二叉树Ⅲ

本次刷题顺序是按照卡尔的代码随想录中给出的顺序翻转二叉树 226. 翻转二叉树 /*** Definition for a binary tree node.* struct TreeNode {* int val;* struct TreeNode *left;* struct TreeNode *right;* };*//*总体思路就是，对于每一个结点&…...

编程日记 2025/9/18 14:21:08

spring boot知识点5

1.如何你有俩套配置环境，运行时如何选择如果有俩套配置环境，则需要三个yml application.yml 用于配置你用那个配置环境 application-dev.yml 用于开发配置环境 application-prod.yml 用于发布配置环境 spring:profiles:active: prod # 指定当前激…...

编程日记 2025/9/15 13:24:27

bboss v7.3.5来袭！新增异地灾备机制和Kerberos认证机制，助力企业数据安全

ETL & 流批一体化框架 bboss v7.3.5 发布，多源输出插件增加为特定输出插件设置记录过滤功能；Elasticsearch 客户端新增异地双中心灾备机制，提升框架高可用性；Elasticsearch client 和 http 微服务框架增加对 Kerberos 认证支持…...

编程日记 2025/9/15 13:24:25

Android自带的省电模式主要做什么呢？

Android自带的省电模式主要做什么呢？ 省电模式支持的策略 LOCATION 灭屏后开启GPS待机省电模式 VIBRATION 关闭触摸震动和来电震动 ANIMATION 关闭动画 FULL_BACKUP 全备份 KEYVALUE_BACKUP 键值备份 NETWORK_FIREWALL 网络防火墙，限制 Doze …...

编程日记 2025/9/14 15:36:55

tp6上传文件大小超过了最大值+验证文件上传大小和格式函数

问题： 最近用tp6的文件上传方法上传文件时报文件过大错误。如下所示： $file $this->request->file(file);{"code": 1,"msg": "上传文件大小超过了最大值！","data": {"code": 1,&q…...

编程日记 2025/9/14 22:06:34

将RocketMQ集成到了Spring Boot项目中，实现站内信功能

1. 添加依赖首先，在pom.xml中添加RocketMQ的依赖： <dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifac…...

编程日记 2025/9/17 12:17:52

Spring Boot文件上传

5.3.1文件上传开发Web应用时，文件上传是很常见的一个需求浏览器通过表单形式将文件以流的形式传递给服务器，服务器再对上传的数据解析处理。下面我们通过一个案例讲解如何使用SpringBoot实现文件上传，具体步骤如下。 1.编写文件上传的表单…...

编程日记 2025/9/16 12:00:47

动态规划算法

动态规划算法模板 public class DynamicProgramming {public int solve(int n, int[] nums) {// Step 1: 初始化 dp 数组，dp[i] 表示从0到i的最优解int[] dp new int[n 1]; // Step 2: 设置初始条件，通常是dp数组的第一个元素dp[0] 0; // 假设从第0个…...

编程日记 2025/9/14 13:26:25

Python中常见库 PyTorch和Pydantic 讲解

PyTorch 简介 PyTorch 是一个开源的深度学习框架，由 Facebook 的 AI 研究团队开发。它提供了丰富的工具和库，用于构建和训练各种深度学习模型，如卷积神经网络（CNN）、循环神经网络（RNN）及其变体&…...

编程日记 2025/9/15 12:04:10

74. 搜索二维矩阵（LeetCode 热题 100）

题目来源; 74. 搜索二维矩阵 - 力扣（LeetCode） 题目内容： 给你一个满足下述两条属性的 m x n 整数矩阵： 每行中的整数从左到右按非严格递增顺序排列。每行的第一个整数大于前一行的最后一个整数。给你一个整数 target &am…...

编程日记 2025/9/15 12:04:08

高防服务器的适用场景有哪些？

高防服务器作为具有着较高防御能力的网络设备，可以抵御DDOS和CC等常见的网络攻击类型，保障企业服务的连续性和稳定性，那高防服务器的适用场景有哪些呢？ 对于大型的网站和电商平台来说，高流量的用户访问和数据信息让它们…...

编程日记 2025/9/15 12:04:07

HTTP与网络安全

一、HTTPS和HTTP有怎样的区别呢？HTTPS HTTP SSL/TLS（SSL或者TLS） HTTP：应用层 SSL/TLS：协议中间层 TCP：传输层 IP：网络层 HTTPS 是安全的HTTP，他的安全是由SSL或者TLS来决定的&a…...

编程日记 2025/9/18 22:13:20

UE地编材质世界对齐纹理旋转

帖子地址 https://forums.unrealengine.com/t/how-to-rotate-a-world-aligned-texture/32532/4世界对齐纹理本身不能改自己创建了个函数把世界对齐纹理的内容赋值粘贴在纹理偏移里给值不要局限0-1 给值给大一点...

编程日记 2025/9/15 12:04:03

SpringBoot使用Nacos进行application.yml配置管理

Nacos是阿里巴巴开源的一个微服务配置管理和服务发现的解决方案。它提供了动态服务发现、配置管理和服务管理平台。Nacos的核心功能包括服务发现、配置管理和动态服务管理，使得微服务架构下的服务治理变得简单高效。 Nacos的设计基于服务注册与发现、配置管理、动…...

编程日记 2025/9/15 12:04:01

JavaScript中的symbol类型的意义和使用

JavaScript 中的Symbol类型是 ES6（ECMAScript 2015）引入的一种原始数据类型，它表示独一无二的值。下面详细介绍 Symbol 的意义和使用方法。意义 1. 避免属性名冲突在 JavaScript 中，对象的属性名通常是字符串。当多个模块或者…...

编程日记 2025/9/15 12:03:59

C++ 设计模式-状态模式

火箭状态模式，涵盖发射、多级分离、入轨、返航、紧急状态等流程，以及状态间的转换逻辑：状态设计状态列表： IdleState（待机）PreparingState（准备）LaunchingState（发射中）FirstStageSeparatingState（一级分离）SecondStageSeparatingState（二级分离）ThirdStageSep…...

编程日记 2025/9/15 12:03:57

verilog基础知识

一，Verilog和VHDL区别全世界高层次数字系统设计领域中，应用Verilog和VHDL的比率是80％和20％；这两种语言都是用于数字电路系统设计的硬件描述语言，而且都已经是 IEEE 的标准。 VHDL 是美国军方组织开发的，VHDL1987年成为标准；Verilog 是由一个公司的私有财产转化而来，…...

编程日记 2025/9/15 12:03:55

14.8 Auto-GPT 自主智能体设计解密：构建具备长期记忆的智能决策系统

Auto-GPT 自主智能体设计解密：构建具备长期记忆的智能决策系统关键词：Auto-GPT 架构设计、自主智能体开发、LangChain Agents、长期记忆系统、工具链编排 1. 自主智能体的核心架构设计 Auto-GPT 系统架构图解： #mermaid-svg-NuDU1eo6sXqhA6Ve {font-family:"trebuch…...

编程日记 2025/9/15 12:03:54

ubuntu安装docker docker/DockerHub 国内镜像源/加速列表【持续更新】

ubuntu安装docker & docker镜像代理【持续更新】在Ubuntu上安装Docker，你可以选择两种主要方法：从Ubuntu的仓库安装，或者使用Docker的官方仓库安装。下面我会详细解释这两种方法。方法一：从Ubuntu的仓库安装Docker 这种方…...

编程日记 2025/9/15 4:17:50

模拟实现分布式文件存储

Q1:如何解决海量数据存的下的问题传统做法是在单机存储。但是随着数据变多，会遇到存储瓶颈。单机纵向扩展：内存不够加内存，磁盘不够加磁盘。有上限限制，不能无限制加下去。多机横向扩展：采用多台机器存储&#x…...

编程日记 2025/9/15 12:03:50

HW面试经验分享 | 北京蓝中研判岗

目录： 所面试的公司介绍面试官的问题： 1、面试官先就是很常态化的让我做了一个自我介绍 2、自我介绍不错，听你讲熟悉TOP10漏洞，可以讲下自己熟悉哪些方面吗？ 3、sql注入原理可以讲下吗？ 4、sql注入绕WAF有…...

编程日记 2025/9/15 21:07:25

HarmonyOS学习第3天: 环境搭建开启鸿蒙开发新世界

一、引言在数字化时代，操作系统作为连接用户与硬件设备的桥梁，其重要性不言而喻。HarmonyOS 作为华为公司推出的面向全场景的分布式操作系统，以其创新的理念和卓越的性能，正逐渐在全球范围内崭露头角。它打破了设备之间的界限&a…...

编程日记 2025/9/16 1:38:43

基于STM32与BD623x的电机控制实战——从零搭建无人机/机器人驱动系统

系列文章目录 1.元件基础 2.电路设计 3.PCB设计 4.元件焊接 5.板子调试 6.程序设计 7.算法学习 8.编写exe 9.检测标准 10.项目举例 11.职业规划文章目录一、为什么选择这两个芯片？1.1 STM32微控制器1.2 ROHM BD623x电机驱动二、核心控制原理详解2.1 H桥驱动奥…...

编程日记 2025/9/16 12:00:42

【react18】如何使用useReducer和useContext来实现一个todoList功能

重点知识点就是使用useReducer来攻坚小型的公共状态管理，useImmerReducer来实现数据的不可变实现效果实现代码项目工程结构 App.js文件 import logo from "./logo.svg"; import "./App.css"; import TodoLists from "./comps/TodoLi…...

编程日记 2025/9/16 12:00:40

Java多线程三：补充知识

精心整理了最新的面试资料，有需要的可以自行获取点击前往百度网盘获取点击前往夸克网盘获取 Lambda表达式简介： 希腊字母表中排序第十一位的字母，英语名称为Lambda避免匿名内部类定义过多其实质属于函数式编程的概念为什么要使用lam…...

编程日记 2025/9/18 16:08:16

go WEB框架

推荐选型 https://chat.deepseek.com/a/chat/s/e6061607-8f33-4768-a5f0-8970cb1ffefd echo github：https://github.com/labstack/echo wiki：https://echo.labstack.com/docs/quick-start block：https://blog.csdn.net/qq_38105536/artic…...

编程日记 2025/9/16 12:00:37

【Python爬虫(27)】探索数据可视化的魔法世界

【Python爬虫】专栏简介：本专栏是 Python 爬虫领域的集大成之作，共 100 章节。从 Python 基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取&#xff…...

编程日记 2025/9/16 12:00:35

渲染 101 支持 3ds Max 的渲染器及其优势

在 3ds Max 创作流程里，渲染环节对最终成果的呈现效果起着决定性作用，渲染 101 云渲染平台则为 3ds Max 用户提供了全面且高效的渲染解决方案。支持的渲染器 V-Ray 渲染器在 3ds Max 中应用广泛，具备全局光照、光线追踪技术，…...

编程日记 2025/9/16 4:00:57

在 Java 中使用 `if` 语句实现双重判定

关于在 Java 中使用 if 语句实现双重判定，并使用 Eclipse 和 JUnit4 进行单元测试的详细介绍： --- ### 一、双重判定的实现 **双重判定**指在 if 语句中通过逻辑运算符组合两个条件。常用方式： - **逻辑与 &&**：两个条件…...

编程日记 2025/9/16 9:16:10

Ollama 安装

Ollama 支持多种操作系统，包括 macOS、Windows、Linux 以及通过 Docker 容器运行。 Ollama 对硬件要求不高，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 CPU：多核处理器（推荐 4 核或以上）。GPU…...

编程日记 2025/9/16 12:00:29

Docker Swarm 内置的集群编排

在现代容器化应用中，容器编排（Container Orchestration）是至关重要的，它负责自动化容器的部署、扩展、负载均衡和管理。Docker Swarm 是 Docker 提供的原生集群管理和容器编排工具，允许用户通过 Docker CLI 在多个 Doc…...

编程日记 2025/9/16 12:00:27

AF3 _build_query_to_hit_index_mapping函数解读

AlphaFold3 中templates模块的_build_query_to_hit_index_mapping函数是将原始查询序列（original_query_sequence）中的索引与hit 序列（hit_sequence）中的索引进行映射。在蛋白质序列比对（如 HHsearch）中，hit 是与查询序列部分匹配的区域。由于存在缺口（-）和部分比对…...

编程日记 2025/9/16 12:00:25

Windows 中的启动项如何打开？管理电脑启动程序的三种方法

在日常使用电脑时，我们经常会发现一些应用程序在开机时自动启动，这不仅会拖慢系统的启动速度，还可能占用不必要的系统资源。幸运的是，通过几个简单的步骤，你可以轻松管理这些开机自启的应用程序。接下来，我…...

编程日记 2025/9/16 12:00:23

科普：“git“与“github“

Git与GitHub的关系可以理解为：Git是一种软件工具，而GitHub则是一个在线平台，它们是“一家子”。二者的关联最直接体现在你通过Git在GitHub仓库中clone软件包到你的机器中来。具体来说： 一、Git 定义：Git是一个开源的…...

编程日记 2025/9/16 12:00:21

module ‘cv2.dnn‘ has no attribute ‘DictValue‘解决办法

module ‘cv2.dnn‘ has no attribute ‘DictValue‘解决办法 pip install opencv-python4.7.0.72 -i https://pypi.tuna.tsinghua.edu.cn/simple 测试： python -c"import cv2"...

编程日记 2025/9/16 12:00:20

国产编辑器EverEdit - 语法着色及嵌入式多语言着色

1 文档-着色及语法相关 1.1 应用场景在编辑代码文件或脚本文件过程中，如果对语法着色、模式等文件进行了修改，需要立即生效时，可以通过文档-高级功能下的重新加载功能，立即生效相关配置。 1.2 使用方法 1.2.1 重新加载着色着…...

编程日记 2025/9/18 7:15:44

设计模式教程：解释器模式（Interpreter Pattern）

1. 什么是解释器模式？ 解释器模式（Interpreter Pattern）是一种行为型设计模式，通常用于处理语言（例如数学表达式、SQL查询等）中的语法和解释。该模式定义了一个文法，并通过解释器类来解释文法中…...

编程日记 2025/9/15 18:29:00

Three.js 快速入门教程【六】相机控件 OrbitControls

系列文章目录 Three.js 快速入门教程【一】开启你的 3D Web 开发之旅 Three.js 快速入门教程【二】透视投影相机 Three.js 快速入门教程【三】渲染器 Three.js 快速入门教程【四】三维坐标系 Three.js 快速入门教程【五】动画渲染循环 Three.js 快速入门教程【六】相机控件 Or…...

编程日记 2025/9/18 11:25:47

【git】合并多个提交记录

1.说明有时候因为某些小修改会导致代码多了很多不必要的提交，如果希望合并这些commit记录，我们可以使用rebase或者reset命令完成合并 2.rebase 这种方式是通过变基操作完成的，它适用于已经push到远程的情况，当我们变基好了之后…...

编程日记 2025/9/15 18:28:56

题海拾贝：【枚举】P2010 [NOIP 2016 普及组] 回文日期

Hello大家好！很高兴我们又见面啦！给生活添点passion，开始今天的编程之路！ 我的博客：<但凡. 我的专栏：《编程之路》、《数据结构与算法之美》、《题海拾贝》欢迎点赞，关注！ 1、题…...

编程日记 2025/9/15 18:28:54

SQL Server 链接服务器 MySQL 详细步骤

目录前言一、准备工作 1. 确认需求 2. 获取权限二、安装必要的驱动程序和工具 1.下载并安装MySQL ODBC驱动： 2.安装 SQL Server 和 MySQL 的管理工具： 三、配置 SQL Server 以连接到MySQL 1.执行创建链接服务器的T-SQL语句： 2.配…...

编程日记 2025/9/15 18:28:52

Java集合框架之List接口详解

目录一、List接口概述二、List接口常见实现类三、List接口特有方法： 1.元素操作 2. 查找元素位置 3. 子列表与不可变列表四、List特有迭代器：ListIterator 1.特有的迭代方式 2.ListIterator接口中的常用方法： ⑴.void add(E e)：在光标位置插入元素。（会移动…...

编程日记 2025/9/15 8:04:20

【大语言模型_4】源码编译vllm框架cpu版

背景： 通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因此需要本地编译。系统环境操作系统：欧拉2203 python版本：3.10 编译步骤一、安装gcc/g/cmake 1、下载源码：https://github.com/vllm-project/vllm 安…...

编程日记 2025/9/15 18:28:48

城市地质安全专题连载⑦ | 加强国土空间规划管控，规避城市地质安全风险

作者 | 徐海洋在国土空间规划中，地质调查扮演着先导性和基础性的角色。它如同一把无形的尺子，衡量着每一寸土地的开发潜力与安全边界，不仅为城市规划提供了科学依据，还在规避地质安全风险、优化资源配置方面发挥着关键作用。然而…...

编程日记 2025/9/15 18:28:47

Go入门之函数

func subn1(x, y int) int {sub : x - yreturn sub } 函数参数简写，可以省略前边的，和后边的类型一样 func addn1(x ...int) int {sum : 0for _, v : range x {sum v}return sum } 求可变参数的核，表示传参的个数不确定 func addn1(x int…...

编程日记 2025/9/15 1:57:30

创建SQL作业

es配置

配置好mapping、setting和自己的分词器

相关文章：