Flink 任务启动脚本-V2（包括ck启动）
#!/bin/bash#crontab时设置，如果依赖其他环境变量配置，可以在脚本执行一下环境变量脚本
source /etc/profile# 进入脚本目录
curdir=`dirname "$0"`
curdir=`cd "$curdir"; pwd`
echo "进入启动脚本目录 $curdir"# 定义应用程序名称
APP_NAME="orderTest"# 定义checkpoint路径
CHECKPOINT_BASE_PATH="hdfs:///jobs/flink/checkpoints/$APP_NAME/"MAIN_CLASS="com.test.mainTest"#绝对路径
JAR_PATH="/$curdir/flink-test-1.0.0.jar"# 默认从checkpoint启动
USE_CHECKPOINT=true# 显示使用说明
usage() {echo "用法: $0 [-n] [-h]"echo "选项："echo " -n 不从checkpoint启动任务（默认从最新的checkpoint启动）"echo " -h 显示此帮助信息"echoecho "示例："echo " $0 # 从最新的checkpoint启动任务"echo " $0 -n # 不使用checkpoint启动任务"exit 1
}# 解析命令行参数
while getopts ":nh" opt; docase $opt inn)USE_CHECKPOINT=falseecho "已设置：不从checkpoint启动任务";;h)usage;;\?)echo "错误：无效的选项 -$OPTARG"echo "使用 -h 查看帮助信息"exit 1;;esac
done# 如果设置了无效参数，显示使用说明
if [ $OPTIND -gt 1 ]; thenshift $((OPTIND-1))if [ "$#" -gt 0 ]; thenecho "错误：存在额外的参数 $@"echo "使用 -h 查看帮助信息"exit 1fi
fi# 检查是否存在指定应用程序在运行中
is_running=$(yarn application -list | grep -w "$APP_NAME" | grep -c "RUNNING")if [ $is_running -gt 0 ]; thenecho "应用程序 $APP_NAME 在运行中，退出脚本"exit 1
elseecho "应用程序 $APP_NAME 不在运行中，准备拉起任务"
fi# 函数：获取最新成功的checkpoint地址
get_latest_checkpoint() {latest_checkpoint=$(hdfs dfs -ls -t -R $CHECKPOINT_BASE_PATH | grep '_metadata' | sort -k6,7r | head -n 1 | awk '{print $8}' )if [ -z "$latest_checkpoint" ]; thenreturn 1fi# 去掉文件名，只保留目录路径checkpoint_dir=$(dirname "$latest_checkpoint")echo $checkpoint_dirreturn 0
}# 构建基础命令
CMD="flink run \-t yarn-per-job \-d \-p 1 \-Dyarn.application.queue=realtime \-Dyarn.application.name=$APP_NAME \-Dtaskmanager.memory.process.size=4096mb \-Dtaskmanager.memory.network.max=64mb \-Dtaskmanager.memory.managed.size=1024mb \-Dtaskmanager.numberOfTaskSlots=1 \-c $MAIN_CLASS"if [ "$USE_CHECKPOINT" = true ]; then# 获取最新的checkpoint地址LATEST_CHECKPOINT=$(get_latest_checkpoint)if [ $? -ne 0 ]; thenecho "没有找到适合的ck，退出执行"exit 1fiecho "'$APP_NAME' 任务将从 '$LATEST_CHECKPOINT' 启动"CMD="$CMD \-s $LATEST_CHECKPOINT"
elseecho "'$APP_NAME' 任务将不从checkpoint启动"
fi# 添加最终的jar包和配置文件参数
CMD="$CMD \$JAR_PATH "# 执行命令
echo " 任务启动命令: '$CMD' "eval $CMD
本次新增一个不从 ck 启动的选择，默认从 最新 ck 启动，用法 sh start.sh -n 。
备注：由于Flink checkpoint 个别情况下，不一定能保证落地的checkpoint文件一定有效，所以需要人工介入支持。
相关文章：
Flink 任务启动脚本-V2（包括ck启动）
#!/bin/bash#crontab时设置，如果依赖其他环境变量配置，可以在脚本执行一下环境变量脚本 source /etc/profile# 进入脚本目录 curdirdirname "$0" curdircd "$curdir"; pwd echo "进入启动脚本目录 $curdir"# 定义应用程序…...
16：00面试，16：08就出来了，问的问题有点变态。。。
从小厂出来，没想到在另一家公司又寄了。 到这家公司开始上班，加班是每天必不可少的，看在钱给的比较多的份上，就不太计较了。没想到8月一纸通知，所有人不准加班，加班费不仅没有了，薪资还要降40%…...
selinux和防火墙
SElinux 1、selinux简介 SELinux是Security-Enhanced Linux的缩写，意思是安全强化的linux。 SELinux 主要由美国国家安全局（NSA）开发，当初开发的目的是为了避免资源的误用。 SELinux是对程序、文件等权限设置依据的一个内核模块。…...
Android 13 Aosp Settings Android Studio版本
Android 13 Aosp Settings Android Studio版本 Settings相关源码 Settings https://android.googlesource.com/platform/packages/apps/Settings/+/refs/heads/android13-release SettingsIntelligence https://android.googlesource.com/platform/packages/apps/SettingsIn…...
[241127] Mistral AI 更新 Le Chat，免费提供前沿 AI 助手！| TrendForce 预测 2025 十大科技趋势
目录 Mistral AI 更新 Le Chat，免费提供前沿 AI 助手！TrendForce 预测 2025 十大科技趋势 Mistral AI 更新 Le Chat，免费提供前沿 AI 助手！ Mistral AI 宣布对其免费 AI 助手 Le Chat 进行重大更新，新增多项强大功能&…...
go-carbon v2.5.0 发布，轻量级、语义化、对开发者友好的 golang 时间处理库
carbon 是一个轻量级、语义化、对开发者友好的 Golang 时间处理库，提供了对时间穿越、时间差值、时间极值、时间判断、星座、星座、农历、儒略日 / 简化儒略日、波斯历 / 伊朗历的支持。 carbon 目前已捐赠给 dromara 开源组织，已被 awesome-go 收录&am…...
linux安全管理-账号口令
文章目录 1 设备密码复杂度策略2 设备密码生存周期、最小长度、更改最小间隔天数和过期前警告天数3 使用 PAM 认证禁止指定组之外的用户使用 su 切换到 root4 制作用户权限对照表 1 设备密码复杂度策略 1、配置内容 检查密码复杂度策略中设置的特殊字符、大写字母、小写字母和…...
uni-app自定义底部tab并且根据字段显示和隐藏
首先将所有tab使用到的页面创建好并且在pages里面配置好，要在pages.json中的"tabBar里面配置"custom": true将自带的tab底部导航关闭 "pages": [{"path": "pages/mine/mine","style": {"navigationBa…...
C#开发合集
用C#轻松搞定m3u8视频下载与合并 嘿，程序员们！今天咱们来聊聊如何用C#写个小程序，轻松下载和合并m3u8视频文件。没错，就是那种分段的流媒体视频。准备好了吗？让我们开始吧！ 准备工作 在动手之前…...
Chrome和edge浏览器如何为任何网站强制暗模式
前言 因为我的编辑器是黑色，可能是看的时间长了比较喜欢这种颜色了，感觉白色有些刺眼。尤其是看文章时，两边的空白纯白色，所以强迫症搜素设置了谷歌浏览器和edge如何设置成黑色。 Chrome和edge浏览器如何为任何网站强制暗模式 前…...
第二十章 Java多线程--JUC并发工具-CountDownLatch
目录 一、CountDownLatch基础概念 CountDownLatch 的核心概念 CountDownLatch 的常用方法 场景一：主线程等待多个子线程执行完毕 场景二：实现多个线程同时开始执行任务 场景三：统计报表优化 CountDownLatch 的局限性 结论 二、Count…...
限制对 etcd 的访问范围是确保 Kubernetes 集群安全的一个重要环节。
限制对 etcd 的访问范围是确保 Kubernetes 集群安全的一个重要环节。通常，etcd 只应当对 Kubernetes 控制平面的组件（如 API Server、Controller Manager、Scheduler 等）以及某些维护工具（如备份工具）开放访问权限&…...
shell脚本基础学习_总结篇（完结）
细致观看可以，访问shell脚本学习专栏，对应章节会有配图https://blog.csdn.net/2201_75446043/category_12833287.html?spm1001.2014.3001.5482 导语 一、shell脚本简介 1. 定义： 2. 主要特点： 3. shell脚本的基本结构 4. S…...
Linux之网络基础
网络发展 网络的发展可以从人与人之间的工作模式开始谈起, 人与人的工作模式反应了机器与机器的工作模式: 1. 独立模式: 在网络发展的早期计算机间处于独立模式, 计算机之间相互独立 最开始计算机之间是独立运行的, 数据之间的交互需要人用软盘等存储介质拷贝过去, 一般涉及…...
《Vue零基础入门教程》第十课：属性绑定指令
往期内容 《Vue零基础入门教程》第一课：Vue简介 《Vue零基础入门教程》第二课：搭建开发环境 《Vue零基础入门教程》第三课：起步案例 《Vue零基础入门教程》第四课：应用实例 《Vue零基础入门教程》第五课：挂载 《…...
RabbitMQ 安装延迟队列插件 rabbitmq_delayed_message_exchange
前言： RabbitMQ 延迟队列插件（rabbitmq_delayed_message_exchange）是一个社区开发的插件，它为 RabbitMQ 添加了支持延迟消息的功能。通过这个插件，用户可以创建一种特殊的交换机类型 x-delayed-message，该…...
MATLAB中Simulink的基础知识
Simulink是MATLAB中的一种可视化仿真工具， 是一种基于MATLAB的框图设计环境，是实现动态系统建模、仿真和分析的一个软件包，被广泛应用于线性系统、非线性系统、数字控制及数字信号处理的建模和仿真中。 Simulink提供一个动态系统建模、仿真和…...
Swift——单例模式
单例是软件设计常用的一种模式，它的核心结构中只有一个被称为单例的特殊类，通过单例模式可以保证应用该模式的类只有一个实例化对象，其作用就是能够使类中的一个对象成为系统中的唯一实例。 单例的特点： 某个类只有一个实例化对象…...
百度智能云千帆大模型平台引领企业创新增长
本文整理自百度世界大会 2024——「智能跃迁 产业加速」论坛的同名演讲。 更多大会演讲内容，请访问： https://baiduworld.baidu.com 首先，跟大家分享一张图，这个是我们目前大模型应用落地的场景分布。可以看到，大模型…...
scala统计词频
目标：统计词频 （1）从文件1.tst，读入内容，保存在一个字符串中。 （2）统计字符串中，每个单词出现的频率 （3）对结果进行排序 （4）把最后…...
CTF之密码学（费纳姆密码）
一、作为二进制替换密码的费纳姆密码 定义：费纳姆密码是一种由二进制产生的替换密码，也被称为弗纳姆密码（Vernam cipher）。它采用二进制表示法，将明文转化为二进制数字，并通过与密钥进行模2加法运算来产生密…...
postgresql按照年月日统计历史数据
1.按照日 SELECT a.time,COALESCE(b.counts,0) as counts from ( SELECT to_char ( b, YYYY-MM-DD ) AS time FROM generate_series ( to_timestamp ( 2024-06-01, YYYY-MM-DD hh24:mi:ss ), to_timestamp ( 2024-06-30, YYYY-MM-DD hh24:mi:ss ), 1 days ) AS b GROUP BY tim…...
Python 网络爬虫进阶：动态网页爬取与反爬机制应对
在上一篇文章中，我们学习了如何使用 Python 构建一个基本的网络爬虫。然而，在实际应用中，许多网站使用动态内容加载或实现反爬机制来阻止未经授权的抓取。因此，本篇文章将深入探讨以下进阶主题： 如何处理动态加载的网…...
YOLOv11融合PIDNet中的PagFM模块及相关改进思路
YOLOv11v10v8使用教程： YOLOv11入门到入土使用教程 YOLOv11改进汇总贴：YOLOv11及自研模型更新汇总 《PIDNet: A Real-time Semantic Segmentation Network Inspired by PID Controllers》 一、 模块介绍 论文链接：https://arxiv.org/pdf/2…...
使用Python实现自动化邮件通知：当长时程序运行结束时
使用Python实现自动化邮件通知：当长时程序运行结束时 前提声明 本代码仅供学习和研究使用，不得用于商业用途。请确保在合法合规的前提下使用本代码。 目录 引言项目背景项目设置代码分析 导入所需模块定义邮件发送函数发送邮件 实现步骤结语全部代码…...
smb cifs samba smbpasswd 笔记241127
smb cifs samba smbpasswd 笔记241127 SMB、CIFS和Samba都是与文件共享相关的技术，它们在不同的层面上发挥着作用。以下是关于SMB、CIFS和Samba的详细解释： SMB（Server Message Block） 定义：SMB（Server …...
)
Spring MVC练习(前后端分离开发实例)
White graces：个人主页 🙉专栏推荐:Java入门知识🙉 🐹今日诗词:二十五弦弹夜月，不胜清怨却飞来🐹 ⛳️点赞 ☀️收藏⭐️关注💬卑微小博主🙏 ⛳️点赞 ☀️收藏⭐️关注Ǵ…...
的工程)
使用 pycharm 新建不使用 python 虚拟环境( venv、conda )的工程
有时候我们发现一个好玩的 demo，想赶快在电脑上 pip install 一下跑起来，发现因为 python 的 venv、conda 环境还挺费劲的，因为随着时间的发展，之前记得很清楚的 venv、conda 的用法，不经常使用，半天跑不起…...
英语知识网站开发：Spring Boot框架应用
3系统分析 3.1可行性分析 通过对本英语知识应用网站实行的目的初步调查和分析，提出可行性方案并对其一一进行论证。我们在这里主要从技术可行性、经济可行性、操作可行性等方面进行分析。 3.1.1技术可行性 本英语知识应用网站采用SSM框架，JAVA作为开发语…...
Pandas 数据读取与导出
Pandas 是一个强大的 Python 库，用于数据处理和分析。它提供了许多函数来读取和导入数据，支持多种文件格式，如 CSV、Excel、SQL 数据库、JSON 等。以下是一些常用的数据读取和导出方法： 常用方法 格式文件格式读取函数写入&…...
Day49 | 动态规划 ：线性DP 判断子序列两个字符串的删除操作
Day49 | 动态规划 ：线性DP 判断子序列&&两个字符串的删除操作 动态规划应该如何学习？-CSDN博客 动态规划学习： 1.思考回溯法（深度优先遍历）怎么写 注意要画树形结构图 2.转成记忆化搜索 看哪些地方是重复…...
HDR视频技术之三：色度学与颜色空间
HDR 技术的第二个理论基础是色度学。从前面的内容中可以了解到，光学以及人类视觉感知模型为人类提供了解释与分析人类感知亮度的理论基础，但是 HDR 技术不仅仅关注于提升图像与视频的亮度范围，同时也关注于提供更加丰富的色彩。因此ÿ…...
nginx和netcore加载常见的3D模型
背景 数字孪生带火了3D版的Web世界，3D模型格式也是众多，常见的glb适合web传输，fbx，gltf，obj，unity等常用于模型编辑和处理。我们在用netcore或者wasm加载这些3D模型文件时，一般都需要手工增加M…...
ABAP开发学习——标准GUI状态模板的复制
补充一下创建了GUI状态后复制标准状态的方法 首先创建GUI状态 此时按钮全部都是空的 点击顶部的附加-调整模板 选择列表查看器 应用成功，下一步点击激活即可 另外需要注意，功能键中的三个图标的代码并不是习惯性写的”BACK、EXIT、CANCEL",在这个标…...
酷！用豆包MarsCode 写了一个五子棋小游戏
作者：一起重学前端 前言 2017 年，当时大学三本毕业前端工作一年，去深圳找工作面试，在拉勾上海投，接到某公司前端开发团队回复询问邮箱账号，喜滋滋的以为可以有面试了。一看邮箱，抛给我一道面试…...
IntelliJ IDEA 中，自动导包功能
在 IntelliJ IDEA 中，自动导包功能可以极大地提高开发效率，减少手动导入包所带来的繁琐和错误。以下是如何在 IntelliJ IDEA 中设置和使用自动导包功能的详细步骤： 一、设置自动导包 打开 IntelliJ IDEA： 启动 IntelliJ IDEA 并打…...
c#异步编程（async/await）
注：下文摘自ChatGPT，总结与案例都非常完善，可以快速理解并应用 0：使用场景 在winform界面程序中，在ui操作中涉及到一些耗时的等待操作，使用线程自己处理已经显得力不从心，如何能更好的实现&am…...
使用vcpkg自动链接tinyxml2时莫名链接其他库（例如boost）
使用vcpkg自动链接tinyxml2时莫名链接其他库（例如boost） vcpkg的自动链接功能非常方便，但在某些情况下会出现过度链接的问题。 链接错误症状 以tinyxml2为例，程序中调用tinyxml2的函数后，若vcpkg中同时存在opencv和…...
cocoscreater3.8.4生成图集并使用
1.安装texturepacker，去官网下载https://www.codeandweb.com/texturepacker 2.将图片拖动进来，即可自动生成精灵表，这里输出选用cocos2d-x，打包用免费版的“基本”就行，高级模式是收费的，然后点击“发布精…...
Ettercap工具使用说明
文章目录 Ettercap 简介Ettercap 的主要功能Ettercap 的安装在 Kali Linux（或基于 Debian 的系统）上安装：在其他操作系统上： Ettercap 的使用方式1. 基本模式2. MITM 攻击ARP 欺骗DNS 欺骗 3. 嗅探模式 常用插件防御建议 Ettercap…...
Linux 如何创建逻辑卷并使用
一、逻辑卷的介绍 生成环境中逻辑卷使用率很高 逻辑卷的诞生：如果对磁盘直接使用fdisk分区，那么这中分区，我们叫做Linux的标准分区，Linux的标准分区格式化成文件系统之后，挂载使用，那么一旦文件系统的空间…...
laravel-operate
php artisan cache:clear php artisan config:clear php artisan route:clear php artisan view:clear 1、查看artisan所有命令； php artisan list 2、查看命令描述及参数和选项； php artisan（n.工匠、技工） help migration&…...
探索Python WebSocket新境界：picows库揭秘
文章目录 探索Python WebSocket新境界：picows库揭秘第一部分：背景介绍第二部分：picows库概述第三部分：安装picows库第四部分：简单库函数使用方法第五部分：场景应用第六部分：常见Bug及解决方案第…...
海康VsionMaster学习笔记（学习工具+思路）
一、前言 VisionMaster算法平台集成机器视觉多种算法组件，适用多种应用场景，可快速组合算法，实现对工件或被测物的查找测量与缺陷检测等。VM算法平台依托海康威视在图像领域多年的技术积淀，自带强大的视觉分析工具库，可…...
Java面试题、八股文——JVM篇最终篇
1.如何选择垃圾收集器？ 选择合适的垃圾收集器（Garbage Collector, GC）对于优化Java应用程序的性能至关重要。不同的应用场景和系统需求可能需要不同类型的垃圾收集器来满足。以下是一些考虑因素以及常见的垃圾收集器选项，帮助您做…...
C++ 11重点总结2
1C11多线程 主要对少用的知识点进行详细描述，用的多的就给示例。照猫画虎 #include<thread> // 默认构造函数 thread() // 初始化构造函数 template<class Fn, class... Args> explicit thread(Fn&& fn, Args&&... args) // 移动构造…...
什么是 C++ 中的函数对象？它有什么特点？
在 C 中，函数对象（Function Object）是一种可调用对象，它允许像函数一样被调用，但实际上它可能并不是真正的函数。函数对象可以是以下几种类型之一： 普通函数： 一个普通的、定义在命名空间或类…...
Golang 反射
一、Go反射的应用场景 （一）对象序列化和反序列化 场景描述 在处理网络通信，数据存储等场景中，需要将对象转换为字节流（序列化）以便传输或存储，在接收端再将字节流转换回对象（反序列…...
)
hhdb数据库介绍(10-7)
OEM管理 为方便更换管理平台的产品Logo以及产品名称信息。引入“OEM管理功能”对外提供可视化更新Logo以及产品名称信息的入口。 功能入口： 具有管理权限的用户登录平台，通过 OEM管理的超链接进入功能页面，超链接路径需要在原访问页面url的…...
RabbitMQ的预取值详解
RabbitMQ的预取值（Prefetch Value）是一个关键概念，它决定了消费者在从队列中获取消息时，一次性可以获取的消息数量。这一机制对于优化消息分发和消费者的负载均衡至关重要。 什么是RabbitMQ的预取值？ 预取值是指消费者…...