Ftp目录整个下载
最近有个需求是要下载ftp接近十个T的数据，在调研过多个工具后发现还是lftp的mirror最省事
mirror参数
Mirror specified source directory to local target directory. If target directory ends with a slash, the source base name is appended to target directory name. Sourceand/or target can be URLs pointing to directories.-c, --continue continue a mirror job if possible-e, --delete delete files not present at remote site--delete-first delete old files before transferring new ones--depth-first descend into subdirectories before transferring files-s, --allow-suid set suid/sgid bits according to remote site--allow-chown try to set owner and group on files--ascii use ascii mode transfers (implies --ignore-size)--ignore-time ignore time when deciding whether to download--ignore-size ignore size when deciding whether to download--only-missing download only missing files--only-existing download only files already existing at target-n, --only-newer download only newer files (-c won't work)--no-empty-dirs don't create empty directories (implies --depth-first)-r, --no-recursion don't go to subdirectories--no-symlinks don't create symbolic links-p, --no-perms don't set file permissions--no-umask don't apply umask to file modes-R, --reverse reverse mirror (put files)-L, --dereference download symbolic links as files-N, --newer-than=SPEC download only files newer than specified time--on-change=CMD execute the command if anything has been changed--older-than=SPEC download only files older than specified time--size-range=RANGE download only files with size in specified range-P, --parallel[=N] download N files in parallel--use-pget[-n=N] use pget to transfer every single file--loop loop until no changes found-i RX, --include RX include matching files-x RX, --exclude RX exclude matching files-I GP, --include-glob GP include matching files-X GP, --exclude-glob GP exclude matching files-v, --verbose[=level] verbose operation--log=FILE write lftp commands being executed to FILE--script=FILE write lftp commands to FILE, but don't execute them--just-print, --dry-run same as --script=---use-cache use cached directory listings--Remove-source-files remove files after transfer (use with caution)-a same as --allow-chown --allow-suid --no-umask
问题记录
1.虽然mirror支持多线程，我们也是针对三个大目录(其中很多子目录)下载，但是整个过程中list列表比较费时间，建议是直接mirror子目录 这样线程会多一些。
2.注意使用--only-missing参数，其他的参数比如only-newer 不太清楚原因但是会先删掉本地再下载一遍
#!/bin/bash# FTP服务器信息
FTP_HOST="xxxxx"
FTP_USER="xxxx"
FTP_PASS="xxxxxxx"# 定义要同步的远程和本地目录对declare -A DIR_MAP=(
["/fumulu/zimulu1"]="/data/0/bendi/fumulu/"
["/fumulu/zimulu2"]="/data/0/bendi/fumulu/"
["/fumulu/zimulu3"]="/data/0/bendi/fumulu/"
["/fumulu/zimulu4"]="/data/0/bendi/fumulu/"
["/fumulu/zimulu5"]="/data/0/bendi/fumulu/"
["/fumulu/zimulu6"]="/data/0/bendi/fumulu/"
["/fumulu/zimulu7"]="/data/0/bendi/fumulu/"
)
# 创建日志目录
LOG_DIR="sync_logs"
mkdir -p "$LOG_DIR"sync_directory() {local remote_dir=$1local local_dir=$2# 生成日志文件名（将目录分隔符替换为下划线）local log_name=$(echo "${remote_dir}" | tr '/' '_')local log_file="$LOG_DIR/${log_name}sync.log"# 确保本地目录存在mkdir -p "$local_dir"echo "开始同步 $remote_dir 到 $local_dir..." | tee -a "$log_file"echo "同步开始时间: $(date)" >> "$log_file"# 使用lftp进行同步操作，添加 --size-only 参数temp_log=$(mktemp)lftp -c "open -u $FTP_USER,$FTP_PASS $FTP_HOST; \mirror --parallel=1000 --verbose --only-missing $remote_dir $local_dir" 2>&1 | tee -a "$temp_log" "$log_file"# 检查文件下载失败的情况if grep -i "File not available" "$temp_log" > /dev/null; thenecho "发现文件下载失败，记录到 shibai.txt..."# 提取并记录失败的文件信息grep -i "File not available" "$temp_log" | while read -r line; do# 提取完整的文件路径和文件名full_path=$(echo "$line" | grep -o "@.*" | cut -d' ' -f1)echo "$full_path" >> shibai.txtdonefiecho "同步结束时间: $(date)" >> "$log_file"echo "----------------------------------------" >> "$log_file"# 清理临时日志文件rm -f "$temp_log"
}# 同时启动所有同步任务
for remote_dir in "${!DIR_MAP[@]}"; dolocal_dir=${DIR_MAP[$remote_dir]}sync_directory "$remote_dir" "$local_dir" &
done# 等待所有后台任务完成
waitecho "所有同步任务已完成。"
相关文章：
Ftp目录整个下载
最近有个需求是要下载ftp接近十个T的数据，在调研过多个工具后发现还是lftp的mirror最省事 mirror参数 Mirror specified source directory to local target directory. If target directory ends with a slash, the source base name is appended to target direc…...
实践KDTS-WEB从mysql迁移到kingbasev9
数据库国产化替代数据迁移是一个复杂且关键的过程。这涉及到将原有数据库中的数据准确、完整地迁移到新的国产数据库中，同时确保数据的完整性和一致性。人大金仓提供了强大的数据库迁移工具（KDTS）对同构、异构数据库数据迁移； 数…...
【贪吃蛇小游戏 - JavaIDEA】基于Java实现的贪吃蛇小游戏导入IDEA教程
有问题请留言或私信 步骤 下载项目源码：项目源码 解压项目源码到本地 打开IDEA 左上角：文件 → 新建 → 来自现有源代码的项目 找到解压在本地的项目源代码文件，点击确定 选择“从现有项目创建项目”。点击“下一步” 点击下一步&a…...
STM32CUBEMX+STM32H743ZIT6+IAP+UART在线升级初始化和代码解析
1、STM32H7带的ITCM，DTCM，AXI SRAM，SRAM1，SRAM2，SRAM3，SRAM4和备份SRAM五块。 其中， ①TCM区包括ITCM和DTCM，这两个是直连CPU的。 速率与CPU一致，最高能到480MHz。 DTCM地…...
vue-axios+springboot实现文件流下载
前端vue代码： <template><div class"app-container documentation-container"><div><el-button type"primary" click"downloadFile(test.xlsx)">下载test.xlsx</el-button></div></div> …...
vue预览和下载 pdf、ppt、word、excel文档,文件类型为链接或者base64格式或者文件流,
** 方法1：word、xls、ppt、pdf 这些文件， 如果预览的文件是链接可以直接打开，可用微软官方的预览地址 ** <iframe width"100%" :src"textVisibleURl " id"myFramePPT" style"border: none;backgroun…...
GIS 文件格式 及 常规应用总结
文章目录 GIS 中常见的文件格式 以及 再次打开注意事项资源网站应用地图瓦片数据地形数据倾斜模型 QGS 应用矢量数据格式栅格数据格式数据库格式更改图层样式更改图层范围导出为不同分辨率图片导出矢量文件直接保存图层通过打印布局导出使用插件导出 tiff 图片前端处理方式 GIS…...
《Pytorch框架CV开发-从入门到实战》
目录 1.环境部署2.自动梯度计算张量 tensor3.线性回归4.逻辑回归6.人工神经网络的基本概念6.1 感知器6.2 激活函数6.3多层感知器6.4 反向传播算法——前向传播6.5 反向传播算法——反向传播6.6 反向传播算法——训练方法7.Pytorch基础数据集8.手写数字识别人工神经网络训练8.1 …...
element-ui的el-select多选同时获取label与value值
直接上代码： <!DOCTYPE html> <html><head><meta charset"utf-8"><!-- 引入 Element UI 的 CSS --><link rel"stylesheet" href"https://unpkg.com/element-ui/lib/theme-chalk/index.css"><…...
跨站请求伪造之基本介绍
一.基本概念 1.定义 跨站请求伪造（Cross - Site Request Forgery，缩写为 CSRF）漏洞是一种网络安全漏洞。它是指攻击者通过诱导用户访问一个恶意网站，利用用户在被信任网站（如银行网站、社交网站等）的登录状…...
干部大数据分析系统如何助力构建选人用人的逻辑框架
在当今信息化快速发展的时代，干部大数据分析系统作为一种创新的管理工具，正在逐步改变传统的选人用人方式。这一系统融合了大数据、人工智能等现代信息技术，为组织部门提供了一个强大的辅助决策工具，有助于构建更加科学、准确和公…...
今天最新早上好问候语精选大全，每天问候，相互牵挂，彼此祝福
1、朋友相伴，友谊真诚永不变！彼此扶持绿树荫，共度快乐雨后天！一同分享的表情，愿我们友情长存，一生相伴永相连！ 2、人生几十年，苦累伴酸甜，风华不再茂，雄心非当…...
Android开发环境搭建和编译系统
1 工具使用 1.1 将dos格式的文件转换为unix格式文件 直接执行 dos2unix file 例如： dos2unix InotifyMon/AndroidManifest.xml 1.2 Linux Shell FTP使用 ftp <IP addr> 输入ID和password prompt off // 下载文件到本地 mget * 1.3 Linux sed 1.3.1 Linux命令之…...
autMan奥特曼机器人-autMan的PHP环境
直装版请自行安装php环境。 docker版本预置了php环境，如下图： 如果使用插件"test php"测试环境时，实时日志有报错如下： 可进入终端，输入两条命令 apk add curl apk add php-curl...
路径规划之启发式算法之二十：麻雀搜索算法（Sparrow Search Algorithm，SSA）
麻雀搜索算法（Sparrow Search Algorithm，SSA）是一种受麻雀觅食和反捕食行为启发的新型的群智能优化算法，它模拟了麻雀种群的觅食行为和反捕食行为的生物学群体特征。该算法由薛建凯在2020年首次提出，旨在解决全局优化问题，具有求解精度高、效率高等特点。 一、算法原理 S…...
Vue+element 回车查询页面刷新
问题描述： form 表单出查询条件需要实现 input 输入完成后键盘回车查询：keyup.enter“handleQuery”，如果 form 里只有一个input，回车没有触发事件，而是刷新页面，放两个input就没问题 问题原因࿱…...
为何页面搜索应避免左模糊和全模糊查询？？？
前言 在构建高效且可扩展的Web应用程序时，数据库查询的性能是影响用户体验的关键因素之一。特别是对于涉及大量数据的页面搜索功能，选择正确的查询方式不仅可以提升应用的速度，还能显著改善用户交互体验。 B-Tree索引与最左前缀匹配特性 1…...
源码分析之Openlayers中ZoomSlider滑块缩放控件
概述 ZoomSlider滑块缩放控件就是Zoom缩放控件的异形体，通过滑块的拖动或者点击滑槽，实现地图的缩放；另外其他方式控制地图缩放时，也会引起滑块在滑槽中的位置改变；即ZoomSlider滑块缩放控件会监听地图的缩放级别&…...
Cherno C++学习笔记 P46 箭头运算符
这一篇文章我们讲一下箭头运算符的使用。在之前的一些场景下，我们已经使用到了箭头运算符，这次我们可以更深入的聊一下箭头运算符应该如何使用，以及我们如何实现自己的箭头指针。 我们还是以一个最简单的Entity类举例： class En…...
项目转换微服务架构
文章目录 1.sun-dependencies引入SpringCloud的版本2. 创建sun-cloud-home微服务1.创建maven项目2.目录概览3.pom.xml4.application.yml5.application-prod.yml6.HomeApplicaion.java7.HomeController.java8.测试访问9.打包测试 3.创建sun-cloud-sku微服务1.磁盘将这个sun-clou…...
-Coturn踩坑记)
WebRTC搭建与应用(五)-Coturn踩坑记
WebRTC搭建与应用(五)-Coturn踩坑记 近期由于项目需要在研究前端WebGL渲染转为云渲染，借此机会对WebRTC等有了初步了解，在此记录一下，以防遗忘。 第五章 WebRTC搭建与应用(五)-Coturn踩坑记 文章目录 WebRTC搭建与应用(五)-Coturn踩坑记前…...
Uniapp 手机基座调试App 打包成Apk文件，并上传到应用商店
1.Uniapp手机基座调试App。 1.1 以下是我另一篇文章 讲解 uniapp连接手机基座调试App、 Hbuildx使用SUB运行到手机基座测试_hbuilder基座-CSDN博客 2.打包本地的uniapp项目为apk文件。 打包的方式有很多种，我们可以选择本地打包和远程云端打包两种方式。 我们在打包…...
【AI日记】24.12.24 kaggle 比赛 2-12
【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】【AI日记】 工作 参加：kaggle 比赛 Regression with an Insurance Dataset时间：3 小时 读书 书名：我们能做什么 : 胡适与中国青年最真诚的分享时间：2 小时 律己 工作时…...
教师如何打造专属私密成绩查询系统？
期末的校园，被一种特殊的氛围所笼罩。老师们如同辛勤的工匠，精心打磨着每一个教学环节。复习阶段，他们在知识的宝库中精挑细选，把一学期的重点内容一一梳理，为学生们打造出系统的复习框架。课堂上，他们激情…...
【linux】NFS实验
NFS服务 NFS是Network File System（网络文件系统）的缩写。它是一种用于在计算机网络中共享文件和目录的协议。NFS允许计算机上的用户访问和操作远程计算机上的文件，就像访问本地文件一样。它使用客户端-服务端模型，其中客户端机器…...
ubuntu22.04安装PaddleX3
PaddleOCR 安装过程可以参考PaddleX本地安装教程 我的电脑环境配置： ubuntu22.04 cuda11.8（之前安装的是12.4没有匹配的paddle-gpu;这里改成11.8） 一、安装基础环境 1、 conda create -n ppx1 python3.10 2、 conda activate ppx1 3、…...
无标记动作捕捉系统如何赋能体育运动分析，推动体育科学发展？
随着技术的不断发展与社会的需要，健康、科学运动成为了大众关注的一个热词。在韩国首尔的中央大学，其生物运动临床康复实验室和运动训练中心就致力于通过生物力学分析来研究与运动相关的伤害，并通过定制科学的训练计划来帮助运动员改进他们的…...
JavaScript 标准内置对象——Array
1、构造函数 2、静态方法 // 从可迭代或类数组对象创建一个新的浅拷贝的数组实例 // arrayLike 想要转换成数组的类数组或可迭代对象 Array.from(arrayLike, mapFn, thisArg) Array.fromAsync(arrayLike, mapFn, thisArg) // 异步Array.isArray(value) // 判断传递的值是否是一…...
Python超能力：高级技巧让你的代码飞起来
文章一览 前言一、with1.1 基本用法1.2 示例自定义上下文管理器 二、条件表达式三、列表式推导式与 zip 结合 四、map() 函数（内置函数）map用于数据清洗1. 数据清洗：字母大小写规范2. filter() 函数 五、匿名函数 lambda5.1 lambda的参数&…...
move生态
move生态 Move 生态主要围绕着 Move 编程语言及其相关的区块链平台构建，这些平台旨在提供更高的安全性、可扩展性和开发者友好性。以下是关于 Move 生态的一些关键点： 1. 核心区块链平台 Aptos：Aptos 是一个 Layer 1 区块链，专注…...
使用插件时要注意
在使用插件时，需要注意一些关键事项，确保插件能够稳定、安全地工作，并且不会给系统带来风险或负担。以下是使用插件时需要注意的几个重要方面： 1. 插件来源与信任度 官方渠道与可靠来源：总是选择来自官方网站、知名平…...
JVM对象分配内存如何保证线程安全？
大家好，我是锋哥。今天分享关于【JVM对象分配内存如何保证线程安全？】面试题。希望对大家有帮助； JVM对象分配内存如何保证线程安全？ 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 在JVM中，对象的内存分配…...
ApacheStruts2 目录遍历与文件上传漏洞复现（CVE-2024-53677,S2-067）（附脚本）
0x01 产品描述： Apache Struts 2 是一个用于JAVA的MVC框架，它用于快速开发web应用。它的设计目标是使得开发者能够更容易的处理web应用的展现层，数据层，和业务层。0x02 漏洞描述： CVE-2024-53677 漏洞的根本原因是 Struts 框架中不安全的文件上传处理机制。攻击者利用 CVE…...
Scala字符串连接方法—mkString—用法详解
Scala字符串连接方法—mkString—用法详解 在 Scala 中，mkString 是集合（如数组、列表、字符串等）的一种方法，用于将集合中的元素连接成一个字符串。 def mkString(sep: String): Stringdef mkString(start: String, sep: String…...
[实战]Spring Boot启动卡在Root WebApplicationContext initialization completed in
Spring Boot启动 打印Root WebApplicationContext: initialization completed in…这行日志完成后需要等很长时间才能真正启动完成。 分析一下发现是连接某个机器的MySQL就会出现这种情况。使用客户端软件连接MySQL时也很慢，但连接完成后执行MySQL各种语句非常看。…...
什么样的LabVIEW控制算自动控制？
自动控制是指系统通过预先设计的算法和逻辑，在无人工干预的情况下对被控对象的状态进行实时监测、决策和调整，达到预期目标的过程。LabVIEW作为一种图形化编程工具，非常适合开发自动控制系统。那么，什么样的LabVIEW控制算作“自动…...
xshell下载和安装（超详细）
参考:https://blog.csdn.net/hffh123/article/details/135885175 一、xshell官网下载 下载官网：https://www.xshell.com/zh/free-for-home-school/ 二、安装步骤 （一）、直接打开.exe文件 （二）、点击下一步ÿ…...
NS3学习——tcpVegas算法代码详解（2）
NS3学习——tcpVegas算法代码详解（1）-CSDN博客 目录 4.TcpVegas类中成员函数 (5) CongestionStateSet函数 (6) IncreaseWindow函数 1.检查是否启用 Vgas 2.判断是否完成了一个“Vegas 周期” 2.1--if：判断RTT样本数量是否足够 2.2--e…...
PyTorch 神经网络回归（Regression）任务：关系拟合与优化过程
PyTorch 神经网络回归（Regression）任务：关系拟合与优化过程 本教程介绍了如何使用 PyTorch 构建一个简单的神经网络来实现关系拟合，具体演示了从数据准备到模型训练和可视化的完整过程。首先，利用一维线性空间生成带噪…...
链原生 Web3 AI 网络 Chainbase 推出 AVS 主网， 拓展 EigenLayer AVS 场景
在 12 月 4 日，链原生的 Web3 AI 数据网络 Chainbase 正式启动了 Chainbase AVS 主网，同时发布了首批 20 个 AVS 节点运营商名单。Chainbase AVS 是 EigenLayer AVS 中首个以数据智能为应用导向的主网 AVS，其采用四层网络架构，其中…...
es 3期 第18节-分页查询使用避坑的一些事
#### 1.Elasticsearch是数据库，不是普通的Java应用程序，传统数据库需要的硬件资源同样需要，提升性能最有效的就是升级硬件。 #### 2.Elasticsearch是文档型数据库，不是关系型数据库，不具备严格的ACID事务特性ÿ…...
linux检测硬盘
通过fdisk 查看显示所有磁盘或闪存的信息 fdisk -l /dev/sd*使用 badlocks检查 linux 硬盘上的坏道/坏块。也可以修复坏道，但仅限于逻辑坏道，物理坏道只能更换硬盘 badblocks -s -v /dev/vdb1 > /badblocks-vdb1.txt tail -f badblocks-vdb1.txt #检…...
)
Unity3d 基于UGUI和VideoPlayer 实现一个多功能视频播放器功能(含源码)
前言 随着Unity3d引擎在数字沙盘、智慧工厂、数字孪生等场景的广泛应用，视频已成为系统程序中展示时，不可或缺的一部分。在 Unity3d 中，我们可以通过强大的 VideoPlayer 组件和灵活的 UGUI 系统，将视频播放功能无缝集成到用户界面…...
Ubuntu22.04 LTS 安装nvidia显卡驱动
准备跑老师给定的Github上的多模态源码，但是用了这么久ubuntu还没有尝试过安装nvidia驱动，好在也是一次成功，于是记录下来。 借鉴的是Ubuntu22.04安装显卡驱动(高速、避错版)-CSDN博客这篇文章，按照流程来基本没有问题，不过个人觉得有些步骤比较冗余，所以记录下来 主要…...
第5章课后作业)
Linux编程(清华大学出版社2019年1月第1版)第5章课后作业
5.1 对于执行在时间上有重叠的逻辑流，称为并发流，并发流是并发的 并发不并发并发 5.2 几个箭头几个状态转换关系，箭头上写了可能原因。 在就绪状态不会执行指令，不会有IO请求或主动wait的情况，不会有从就绪状态到阻…...
相机雷达外参标定综述“Automatic targetless LiDAR–camera calibration: a survey“
相机雷达外参标定综述--Automatic targetless LiDAR–camera calibration: a survey 前言1 Introduction2 Background3 Automatic targetless LiDAR–camera calibration3.1 Information theory based method(信息论方法)3.1.1 Pairs of point cloud and image attributes(属性…...
JSON 系列之1：将 JSON 数据存储在 Oracle 数据库中
本文为Oracle数据库JSON学习系列的第一篇，讲述如何将JSON文档存储到数据库中，包括了版本为19c和23ai的情形。 19c中的JSON 先来看一下数据库版本为19c时的情形。 创建表colortab，其中color列的长度设为4000。若color的长度需要设为32767&a…...
之ShardingSphere分库分表实战指南)
分布式专题(10)之ShardingSphere分库分表实战指南
一、ShardingSphere产品介绍 Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。Apache ShardingSphere 设计哲学为 Database Plus，旨在…...
支付宝订单码支付
1.订单码支付，首先下载官方网站提供的sdk包到你的项目中。 2.选择控制器复制官方文档的获取二维码相关的代码示例。打开sdk包中v2的index.php文件，这个才是你选择语言的具体代码。 3.引用里面所需要的类文件，文件下载到你的项目中后…...
使用 Django 和 AWS ECR 实现容器化应用的管理
在现代云原生应用的开发和部署中,容器化技术已经成为主流。Amazon Elastic Container Registry (ECR) 是一种完全管理的 Docker 容器注册表服务,可以与 Amazon ECS、EKS 和其他容器服务无缝集成。在这篇文章中,我们将介绍如何使用 Django 和 AWS ECR 实现集成管理,包括创建、更…...