DataSophon集成CMAK KafkaManager
本次集成基于DDP1.2.1 集成CMAK-3.0.0.6
设计的json和tar包我放网盘了.
通过网盘分享的文件：DDP集成CMAK
链接: https://pan.baidu.com/s/1BR70Ajj9FxvjBlsOX4Ivhw?pwd=cpmc 提取码: cpmc
CMAK github上提供了zip压缩包.将压缩包解压之后
在根目录下加入启动脚本executor.sh和jdk11环境
#!bin/sh
service_name="ProdServerStart"
export JAVA_HOME=jdkget_pid() {# 查找正在运行的服务的进程IDpid=$(ps -ef | grep -v grep | grep $service_name | awk '{print $2}')echo "$pid"
}# 检查服务是否在运行
check_status() {pid=$(get_pid "$service_name")if [ -z "$pid" ]; thenecho "$service_name is NOT running."exit 1elseecho "$service_name is running with PID $pid."exit 0fi
}start() {nohup bin/cmak -Dconfig.file=conf/application.conf >/dev/null 2>&1 &sleep 5check_status
}stop() {pid=$(get_pid "$service_name")if [ -z "$pid" ]; thenecho "$service_name is already stoped."exit 0elseecho "$service_name PID $pid"kill -9 $pidecho "kill $service_name $pid done"rm -rf RUNNING_PIDexit 0fi
}status() {check_status
}restart() {stopstart
}case "$1" in(start)start;;(stop)stop;;(status)status;;(restart)restart;;(*)echo "Only Support start|stop|status|restart"exit 1
esac
tar -zcvf cmak-3.0.0.6.tar.gz cmak-3.0.0.6
mv cmak-3.0.0.6.tar.gz /opt/datasophon/DDP/packages
cd /opt/datasophon/DDP/packages
java -jar file-md5-1.0-SNAPSHOT-jar-with-dependencies.jar cmak-3.0.0.6.tar.gz
得到md5文件.
在/opt/datasophon/datasophon-worker/conf/templates新建模板文件
vi cmak-application.conf.ftl
http.port=${httpPort}
play.crypto.secret="^<csmm5Fx4d=r2HEX8pelM3iBkFVv?k[mc;IZE<_Qoq8EkX_/7@Zt6dP05Pzea3U"
play.http.session.maxAge="1h"
play.i18n.langs=["en"]play.http.requestHandler = "play.http.DefaultHttpRequestHandler"
play.http.context = "/"
play.application.loader=loader.KafkaManagerLoaderkafka-manager.zkhosts="${zkhosts}"
cmak.zkhosts="${zkhosts}"pinned-dispatcher.type="PinnedDispatcher"
pinned-dispatcher.executor="thread-pool-executor"
application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature", "KMScheduleLeaderElectionFeature"]akka {loggers = ["akka.event.slf4j.Slf4jLogger"]loglevel = "INFO"
}akka.logger-startup-timeout = 60sbasicAuthentication.ldap.enabled=false
basicAuthentication.ldap.server=""
basicAuthentication.ldap.port=389
basicAuthentication.ldap.username=""
basicAuthentication.ldap.password=""
basicAuthentication.ldap.search-base-dn=""
basicAuthentication.ldap.search-filter="(uid=$capturedLogin$)"
basicAuthentication.ldap.group-filter=""
basicAuthentication.ldap.connection-pool-size=10
basicAuthentication.ldap.ssl=false
basicAuthentication.ldap.ssl-trust-all=falsebasicAuthentication.enabled=${useLogin}
basicAuthentication.username="${username}"
basicAuthentication.password="${password}"basicAuthentication.realm="Kafka-Manager"
basicAuthentication.excluded=["/api/health"] # ping the health of your instance without authentification
在/opt/datasophon/datasophon-manager-1.2.1/conf/meta/DDP-1.2.1目录下新建文件夹
mkdir CMAK
vi CMAK/service_ddl.json
{"name": "CMAK","label": "KafkaManager","description": "KafkaManager","version": "3.0.0.6","sortNum": 22,"dependencies": [],"packageName": "cmak-3.0.0.6.tar.gz","decompressPackageName": "cmak-3.0.0.6","roles": [{"name": "KafkaManager","label": "KafkaManager","roleType": "master","runAs": {"user": "root","group": "root"},"cardinality": "1+","sortNum": 1,"logFile": "/opt/datasophon/cmak/logs/application.log","startRunner": {"timeout": "10","program": "executor.sh","args": ["start"]},"stopRunner": {"timeout": "10","program": "executor.sh","args": ["stop"]},"statusRunner": {"timeout": "10","program": "executor.sh","args": ["status"]},"restartRunner": {"timeout": "10","program": "executor.sh","args": ["restart"]},"externalLink": {"name": "KafkaManagerUi","label": "KafkaManagerUi","url": "http://${host}:8888"}}],"configWriter": {"generators": [{"filename": "application.conf","configFormat": "custom","outputDirectory": "conf","templateName": "cmak-application.conf.ftl","includeParams": ["httpPort", "zkhosts", "useLogin", "username", "password"]}]},"parameters": [{"name": "httpPort","label": "Web启动端口","description": "Web启动端口","configType": "map","required": true,"type": "input","value": "8888","configurableInWizard": true,"hidden": false,"defaultValue": "9000"}, {"name": "zkhosts","label": "zk服务地址","description": "zk服务地址","configType": "map","required": true,"type": "input","value": "node01:2181","configurableInWizard": true,"hidden": false,"defaultValue": "zkHost01:2181"}, {"name": "useLogin","label": "是否需要登录","description": "是否需要登录","configType": "map","required": true,"type": "switch","value": false,"configurableInWizard": true,"hidden": false,"defaultValue": false}, {"name": "username","label": "Web登录账号","description": "Web登录账号","configType": "map","required": true,"type": "input","value": "admin","configurableInWizard": true,"hidden": false,"defaultValue": "admin"}, {"name": "password","label": "Web登录密码","description": "Web登录密码","configType": "map","required": true,"type": "input","value": "123456","configurableInWizard": true,"hidden": false,"defaultValue": "123456"}]
}重启api manager
添加服务
相关文章：
DataSophon集成CMAK KafkaManager
本次集成基于DDP1.2.1 集成CMAK-3.0.0.6 设计的json和tar包我放网盘了. 通过网盘分享的文件：DDP集成CMAK 链接: https://pan.baidu.com/s/1BR70Ajj9FxvjBlsOX4Ivhw?pwdcpmc 提取码: cpmc CMAK github上提供了zip压缩包.将压缩包解压之后 在根目录下加入启动脚本…...
2024-2025关于华为ICT大赛考试平台常见问题
一、考生考试流程 第一步：收到正式考试链接后点击考试链接并登录； 第二步：请仔细阅读诚信考试公约，阅读完成后勾选“我已阅读”，并点击确定； 第三步：上传身份证人像面进行考前校验࿰…...
算子原理及应用详解)
Halcon中lines_gauss(Operator)算子原理及应用详解
在Halcon图像处理库中，lines_gauss算子是一个用于检测图像中线条的强大工具，它能够提供亚像素精度的线条轮廓。以下是对lines_gauss (ImageReducedTracks, Lines, 1.5, 1, 8, ‘light’, ‘true’, ‘bar-shaped’, ‘true’)算子的详细解释：…...
Flink集群搭建整合Yarn运行
Flink 集群 1. 服务器规划 服务器h1、h4、h5 2. StandAlone 模式（不推荐） 2.1 会话模式 在h1操作 #1、解压 tar -zxvf flink-1.19.1-bin-scala_2.12.tgz -C /app/#2、修改配置文件 cd /app/flink-1.19.1/conf vim conf.yaml ##内容：## j…...
FPGA工作原理、架构及底层资源
FPGA工作原理、架构及底层资源 文章目录 FPGA工作原理、架构及底层资源前言一、FPGA工作原理二、FPGA架构及底层资源 1.FPGA架构2.FPGA底层资源 2.1可编程输入/输出单元简称（IOB）2.2可配置逻辑块2.3丰富的布线资源2.4数字时钟管理模块(DCM)2.5嵌入式块 …...
Postman的使用
（一）创建Collections：Collections->New Collection->创建界面填入Collection名称，比如某个系统/模块名，描述里可以稍微更详细的介绍集合的信息 Collection创建时，还可以定义Authorization 如下&#…...
【报错】新建springboot项目时缺少resource
1.问题描述 在新建springboot项目时缺少resources,刚刚新建时的目录刚好就是去掉涂鸦的resources后的目录 2.解决方法 步骤如下：【文件】--【项目结构】--【模块】--【源】--在main文件夹右击选择新建文件夹并命名为resources--在test文件夹右击选择新建文件夹并命名…...
phpstudy访问本地localhost无目录解决办法
phpstudy访问本地localhost无目录解决办法 错误： 直接访问本地http://localhost/，出现hello word，或者直接报错，无法出现本地目录 解决办法： 对于Phpstudy-2018版本来说： 找到这里的Phpstudy设置 2. 打…...
架构16-向微服务迈进
零、文章目录 架构16-向微服务迈进 1、向微服务迈进 （1）软件开发中的“银弹”概念 **背景：**软件开发过程中常常出现工期延误、预算超支、产品质量低劣等问题，这使得管理者、程序员和用户都渴望找到一种能够显著降低成本的“银…...
基于Springboot汽车资讯网站【附源码】
基于Springboot汽车资讯网站 效果如下： 系统主页面 汽车信息页面 系统登陆页面 汽车信息推荐页面 经销商页面 留言反馈页面 用户管理页面 汽车信息页面 研究背景 随着信息技术的快速发展和互联网的普及，互联网已成为人们查找信息的重要场所。汽车资讯…...
Tomcat项目本地部署
今天分享一下如何在本地，不依赖于idea部署聚合项目，以我做过的哈米音乐项目为例，项目结构如下： ham-core模块为公共模块，我们只需将另外三个模块：前台、后台、文件服务器打包，将打好的jar、war包…...
【OpenCV】直方图
理论 可以将直方图视为图形或曲线图，从而使您对图像的强度分布有一个整体的了解。它是在X轴上具有像素值(不总是从0到255的范围)，在Y轴上具有图像中相应像素数的图。 这只是理解图像的另一种方式。通过查看图像的直方图，您可以直观地了解该…...
pika：适用于大数据量持久化的类redis组件｜jedis集成pika（二）
文章目录 0. 引言1. pika客户端支持2. jedis集成pika3. pika性能测试 0. 引言 上节我们讲解了pika的搭建，这节我们来看下如何在java项目中利用jedis集成pika 1. pika客户端支持 pika支持的客户端与redis完全一致，所以理论上redis支持的客户端pika也都…...
Linux 进程间通信
Linux进程间通信 进程间通信（IPC，Inter-Process Communication）在 Linux 下常用的方法包括： 1）管道（Pipe） 2）有名管道（FIFO） 3）消息队列&#x…...
【C++】快速排序详解与优化
博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C 文章目录 💯前言💯快速排序的核心思想1. 算法原理2. 算法复杂度分析时间复杂度空间复杂度 💯快速排序的代码实现与解析代码实现代码解析1. 递归终止条件2. 动态分配子数组3. 分区…...
【JAVA高级篇教学】第二篇：使用 Redisson 实现高效限流机制
在高并发系统中，限流是一项非常重要的技术手段，用于保护后端服务，防止因流量过大导致系统崩溃。本文将详细介绍如何使用 Redisson 提供的 RRateLimiter 实现分布式限流，以及其原理、使用场景和完整代码示例。 目录 一、什么是限流…...
NanoLog起步笔记-1
nonolog起步笔记-1 背景与上下文写在前面Nanolog与一般的实时log的异同现代log的一般特性Nanolog的选择 背景与上下文 因为工作中用到了NanoLog。有必要研究一下。 前段时间研究了许多内容，以为写了比较详实的笔记，今天找了找，不仅笔记没找到…...
vs打开unity项目 新建文件后无法自动补全
问题 第一次双击c#文件自动打开vs编辑器的时候能自动补全，再一次在unity中新建c#文件后双击打开发现vs不能自动补全了。每次都要重新打开vs编辑器才能自动补全，导致效率很低，后面发现是没有安装扩展，注意扩展和工具的区别。 解决…...
HDFS的Federation机制的实现原理和Erasure Coding节省存储空间的原理
目录 Federation机制的实现原理1.HDFS的分层图解（1）NameSpace（2）Block Storage1）Block Management2）Storage 2.Federation机制的优点3.Federation机制的缺点4.Federation机制的实现（1࿰…...
经验笔记：使用 PyTorch 计算多分类问题中Dice Loss 的正确方法
经验笔记：使用 PyTorch 计算多分类问题中Dice Loss 的正确方法 概述 Dice Loss 是一种广泛应用于图像分割任务中的损失函数，它基于 Dice 系数（也称为 F1-score），用于衡量预测结果与真实标签之间的相似度。在 PyTorch…...
如何在 Ubuntu 22.04 上安装 PostgreSQL
简介 PostgreSQL（或简称Postgres）是一个关系型数据库管理系统，它提供了SQL查询语言的实现。它符合标准，并且拥有许多高级特性，比如可靠的事务处理和无需读锁的并发控制。 本指南将展示如何在Ubuntu 22.04服务器上快速…...
正则表达式的高级方法
正则表达式的高级方法 正则表达式（regex）不仅仅是简单的模式匹配工具，它还提供了一系列高级功能，使得处理复杂文本任务变得更加灵活和强大。以下是一些Python中正则表达式的高级用法： 1. 命名捕获组 命名捕获组允许…...
axios的get和post请求，关于携带参数相关的讲解一下
在使用 Axios 发送 HTTP 请求时，GET 和 POST 请求携带参数的方式有所不同。以下是关于这两种请求方法携带参数的详细讲解： GET 请求携带参数 对于 GET 请求，参数通常附加在 URL 之后，以查询字符串的形式传递。 直接在 URL 中拼接…...
中间件--MongoDB部署及初始化js脚本（docker部署，docker-entrypoint-initdb.d，数据迁移，自动化部署）
一、概述 MongoDB是一种常见的Nosql数据库（非关系型数据库），以文档（Document）的形式存储数据。是非关系型数据库中最像关系型数据库的一种。本篇主要介绍下部署和数据迁移。 在 MongoDB 官方镜像部署介绍中ÿ…...
基于SpringBoot框架的民宿连锁店业务系统（计算机毕业设计）+万字说明文档
系统合集跳转 源码获取链接 一、系统环境 运行环境: 最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。 IDE环境： Eclipse,Myeclipse,IDEA或者Spring Tool Suite都可以 tomcat环境： Tomcat 7.x,8.x,9.x版本均可 操作系统…...
PHP8 动态属性被弃用兼容方案
PHP 类中可以动态设置和获取没有声明过的类属性。这些属性不遵循具体的规则，并且需要使用 __get() 和 __set() 魔术方法对动态属性如何读写进行有效控制。 class User {private int $uid; }$user new User(); $user->name Foo; 上述代码中，User 类…...
Spring Boot 3.0 + MySQL 8.0 + kkFileView 实现完整文件服务
Spring Boot 3.0 MySQL 8.0 kkFileView 实现完整文件服务 背景：比较常见的需求，做成公共的服务，后期维护比较简单，可扩展多个存储介质，上传逻辑简单，上传后提供一个文件id，后期可直接通过此i…...
【YashanDB知识库】php查询超过256长度字符串，数据被截断的问题
本文内容来自YashanDB官网，原文内容请见：https://www.yashandb.com/newsinfo/7488290.html?templateId1718516 问题现象 如下图，php使用odbc数据源，查询表数据，mysql可以显示出来，yashan显示数据被截断。…...
为什么ETH 3.0需要Lumoz的ZK算力网络？
1.Lumoz 模块化计算层 Lumoz 协议是一个全球分布式模块化计算协议，致力于提供先进的零知识证明（ZKP）服务，支持ZK技术的发展，为ZK、AI等前沿技术提供强大的算力支撑。面对当前零知识计算领域计算成本的挑战，…...
反向代理-缓存篇
文章目录 强缓存一、Expires（http1.0 规范）二、cache-control（http1.1 出现的 header 信息）Cache-Control 的常用选项Cache-Control 常用选项的选择三、弊端协商缓存一、ETag二、If-None-Match三、Last-modified四、If-Modified-Since浏览器的三种刷新方式静态资源部署策略…...
（重点来啦！）MySql基础增删查改操作（详细）
目录 一、客户端和数据库操作： 二、表操作 1.查看当前数据库中有哪些表 2.创建一张新表 3.查看表结构： 4.删除表 三、CRUD增删查改 1.新增——插入 2.查询操作 a.全列查询： b.指定列查询： c.列名为表达式的查询&#…...
WPF编写工业相机镜头选型程序
该程序满足面阵和线阵的要求。 前端代码 <Window x:Class"相机镜头选型.MainWindow" Loaded"Window_Loaded"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml…...
阿里云轻量应用服务器开放端口，图文教程分享
阿里云轻量应用服务器如何开放端口？在轻量服务器管理控制台的防火墙中添加规则即可开通端口，开通80端口就填80，开通443就填443端口，开通3306端口就填3306。阿里云百科网aliyunbaike.com整理阿里云轻量应用服务器端口号开通图文教程…...
分布式 CAP理论 总结
前言 相关系列 《分布式 & 目录》《分布式 & CAP理论 & 总结》《分布式 & CAP理论 & 问题》 分布式 分布式的核心是将大型业务拆解成多个子业务以使之在不同的机器上执行。分布式是用于解决单个物理机容量&性能瓶颈问题而采用的优化手段…...
【UNION 和 UNION ALL 】关键字在MySql中的用法，以及注意事项
在 MySQL 中，UNION 和 UNION ALL 都用于将多个 SELECT 语句的结果合并到一个结果集中。它们的主要区别在于 UNION 去除重复 的行UNION ALL 保留所有 的行 示例 …...
GauHuman阅读笔记【3D Human Modelling】
笔记目录 1. 基本信息2. 理解（个人初步理解，随时更改）3. 精读SummaryResearch Objective(s)Background / Problem StatementMethod(s)EvaluationConclusionReferences1. 基本信息 题目：GauHuman: Articulated Gaussian Splatting from Monocular Human Videos时间：2023.12…...
SkyWalking 和 ELK 链路追踪实战
一、背景 最近在给项目搭建日志平台的时候，采用的方案是 SkyWalking ELK 日志平台，但发现 ELK 日志平台中的日志没有 Trace ID，导致无法追踪代码报错的整体链路。 空哥提示：Trace ID 是分布式追踪中用来唯一标识一个服务请求或事…...
深度学习中的损失函数
损失函数是深度学习模型训练过程中不可或缺的一部分，是模型预测值与真实值之间差异的客观衡量标准。它们是模型训练的基础，指导算法调整模型参数，以最小化损失并提高预测准确性。它们衡量了模型预测值与真实值的吻合程度。通过最小化这种损失…...
android编译assets集成某文件太大更新导致git仓库变大
不知道大家有没有类似的困扰，你的工程assets文件过大，我曾经在某度车机地图团队工作过一段时间时候，每次发包会集成一个上百MB的文件。工作一段时间你的git仓库将会增加特别多。最后，你会发现你如果重新git clone这个仓库会非常大…...
技术支持人员发现跨域问题，该如何处理
跨域问题通常是由于浏览器的同源策略（Same-Origin Policy）引起的。简而言之，浏览器阻止了一个域上的网页访问另一个域的资源，目的是为了安全性。跨域问题通常发生在以下场景： 在一个网站的前端应用程序（如…...
有 SpringBoot 助力，广场舞团解锁花式舞步密码
3 系统分析 3.1 系统可行性分析 3.1.1 经济可行性 由于本系统是作为毕业设计系统，且系统本身存在一些技术层面的缺陷，并不能直接用于商业用途，只想要通过该系统的开发提高自身学术水平，不需要特定服务器等额外花费。所有创造及工作…...
【推荐算法】单目标精排模型——FiBiNET
key word: 学术论文 Motivation： 传统的Embedding&MLP算法是通过内积和Hadamard product实现特征交互的，这篇文章的作者提出了采用SENET实现动态学习特征的重要性；作者认为简单的内积和Hadamard product无法有效对稀疏特征进行特征交互&a…...
从零开始学TiDB（3）TiKV 持久化机制
如图，每个TiKV有两个rocksdb实例，rocksdbKV复制存储键值对，rocksdb raft负责存储复制的日志 。 每个region及其副本构成了raft group。这个OB的Zone其实有点类似，在OB中每个Unit及其副本构成了paxos组，在TiDB中叫raft…...
集合ArrayList
黑马程序员Java的个人笔记 BV17F411T7Ao p111~p115 目录 集合存储数据类型的特点 创建对象 ArrayList 成员方法 .add 增加元素 .remove 删除元素 .set 修改元素 .get 查询元素 .size 获取长度 基本数据类型对应的包装类 Character 练习 返回多个数据 集合存储…...
后端API接口设计标准（Java）
Controller 层（API接口） 无论是传统的三层架构还是现在的COLA架构，Controller 层依旧有一席之地，说明他的必要性；说它是配角是因为 Controller 层的代码一般是不负责具体的逻辑业务逻辑实现，但是它负责接收…...
Oracle Recovery Tools工具一键解决ORA-00376 ORA-01110故障（文件offline）---惜分飞
客户在win上面迁移数据文件,由于原库非归档,结果导致有两个文件scn不一致,无法打开库,结果他们选择offline文件,然后打开数据库 Wed Dec 04 14:06:04 2024 alter database open Errors in file d:\app\administrator\diag\rdbms\orcl\orcl\trace\orcl_ora_6056.trc: ORA-01113:…...
Python制做一个简易PDF编辑器——关于PDF文字编辑实现的思路
在Python零基础快速入门最后一篇，我们一起做了一个PDF编辑小工具，里面只实现的PDF翻页浏览等，并没有实现PDF的文字在线编辑，是因为在PDF编辑器中实现文字编辑功能是一个相对复杂的过程，因为PDF格式本质上是一个用于呈现…...
RabbitMQ如何保证消息不被重复消费
前言： 正常情况下，消费者在消费消息后，会给消息队列发送一个确认，消息队列接收后就知道消息已经被成功消费了，然后就从队列中删除该消息，也就不会将该消息再发送给其他消费者了。不同消息队列发出的确认消…...
Windows Terminal ssh到linux
1. windows store安装 Windows Terminal 2. 打开json文件配置 {"$help": "https://aka.ms/terminal-documentation","$schema": "https://aka.ms/terminal-profiles-schema","actions": [{"command": {"ac…...
vue实现页面自动滚动，鼠标悬浮暂停，移开继续
1、给div一个id <div class"kb_nei_new_left" id"chartsContainer">2、定义一个自动滚动的方法 autoSroll(Id) {// flag 为true时停止滚动var flag false;// 定时器var timer;function roll() {var h -1;timer setInterval(function () {flag …...