当前位置：首页 > news >正文

中间件--MongoDB部署及初始化js脚本（docker部署，docker-entrypoint-initdb.d，数据迁移，自动化部署）

news 来源：原创 2025/7/5 0:26:06

一、概述

MongoDB是一种常见的Nosql数据库（非关系型数据库），以文档（Document）的形式存储数据。是非关系型数据库中最像关系型数据库的一种。本篇主要介绍下部署和数据迁移。

在 MongoDB 官方镜像部署介绍中，MongoDB 的官方镜像会在容器首次启动时自动执行 docker-entrypoint-initdb.d/ 目录下的所有.js 文件（注意：只会在容器创建的第一次会执行，如果是运行之前已有的容器则不会执行），我们可以利用这一点来实现数据的迁移和自动化部署服务。

二、完整部署和迁移过程：

1、删除之前的容器

因为js脚本仅会在初次创建容器启动时才会被执行。如果是已存在的容器重新运行，js脚本是不会被执行的。所以如果之前有运行的容器，需要删除。
命令：

docker rm -f mongdb-with-js

删除示例：
在这里插入图片描述

2、编写Dockerfile脚本

因为我们要把我们指定的js文件压到官方的mongDB镜像中，所以这里需要编写Dockerfile文件，用来重新构建镜像。

Dockerfile示例：

# 使用自定义的 MongoDB 镜像
FROM mongo:7.0.4# 维护者信息
MAINTAINER weisian# 设置时区为上海
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime# 将 object-mongo.js 文件复制到容器的初始化脚本目录
COPY ./object-mongo.js /docker-entrypoint-initdb.d

3、编写用于初始化的js脚本

该js文件会被Dockerfile文件压入到镜像中。本例的js脚本就是需要初始化到库中的数据。

名称如：
object-mongo.js

代码示例：

console.log("start running js!!!");
const db = db.getSiblingDB("object_cloud");     // 指定库的名称try {console.log("Switching to database: object_cloud");console.log("Inserting data into object_sensor_category...");// 在object_cloud库的object_sensor_category表中插入数据（支持many和one两种方法）const result = db.object_sensor_category.insertMany([{"_id" : NumberLong("988405030841225243"),"sensorModel" : "DT-ZD-V1001","vibrateIndicators" : [ "rms", "peak"],"params" : {"frequencyResponse" : 22,"sensitivity" : 102},"deleteFlag" : false,"createTime" : ISODate("2024-06-20T03:28:43.030Z")},{"_id" : NumberLong("988405030841225244"),"sensorModel" : "DT-ZS-V1001","pointTypeList" : [ {"pointType" : 1020,"dataBizTypes" : [ 1020]}],"params" : {"workmanshipCollectInterval" : 60,"triggerCount" : 30},"createTime" : ISODate("2024-06-20T03:28:43.030Z"),"createUser" : "1543837863788879871"}]);const result2 = db.object_category.insertMany([{"_id" : NumberLong("988108368994373658"),"collectorChannelNum" : 18,"channelConfList" : [ {"channelType" : "1020","sensorTypeList" : [ NumberLong("988405030841225244")]}],"manufacturerId" : NumberLong("7382949823"),"workmanshipExist" : [ NumberLong(1060)],"sensorTypeList" : [ NumberLong("988404952147693592"), NumberLong("988405030841225242")],"updateTime" : ISODate("2024-06-19T07:49:53.351Z"),"updateUser" : "1543837863788879871"}]);} catch (e) {console.error("Error inserting data: " + e);
}

4、重新构建镜像

（1）、创建工作路径
随意创建一个目录即可。
上传前面编写的Dockerfile和object-mongo.js两个文件
在这里插入图片描述

（2）、重新构建镜像image-mongodb-js:1.0
命令：

docker build -t image-mongodb-js:1.0 .

在这里插入图片描述

（3）、查询镜像存在
在这里插入图片描述

5、启动mongodb服务

（1）、指定用户名（root），密码（123456），和镜像
命令：

docker run -d --name mongodb-with-js -p 27017:27017 -e MONGO_INITDB_ROOT_USERNAME=root -e MONGO_INITDB_ROOT_PASSWORD=123456 image-mongodb-js:1.0

在这里插入图片描述

（2）、查看启动日志
命令：

docker logs mongodb-with-js

可以看到object-mongo.js中打印的日志信息，方便查看是否初始化js等操作信息。
在这里插入图片描述

6、客户端连接验证

使用如下的IP、端口，用户名，密码连接mongDb服务。
ip:27017
root/123456
可以看到登录成功，且数据初始化完成。
在这里插入图片描述

7、过程中的几个命令记一下

进入容器
docker exec -it 415dc88956bd bash
停止并删除容器
docker rm -f mongodb-with-js
删除镜像
docker rmi image-mongodb-js:1.0
宿主机打开mongo shell窗口（可执行原始的mongo命令，在mongDB5.0及之后改为mongosh）（如果进入容器内直接*mongosh即可打开）
docker exec -it mongodb-with-js mongosh以下几个为mong shell的脚本：展示mongo服务中有哪些个数据库
show databases
切换数据库
use phm_local
展示当前数据库下的表
show collections
展示当前数据库下，指定表中的数据
db.object_sensor_category.find().pretty();
加载执行js脚本
load("/docker-entrypoint-initdb.d/phm-mongo.js")

三、js脚本需要注意的点

（1）、Long类型的精度问题

在处理long类型时，如果不用双引号框起来会造成精度丢失问题甚至报错。如下为正确和错误的示例。
正确示例：

"_id" : NumberLong("988404952147693592"),错误示例如：
"_id" : NumberLong(988404952147693592),

（2）、注意mongDb的版本

使用5.0之前和之后的mongDb版本，js语法可能会不相同。
目前使用7.0.4版本，可用语法如下：

const db = db.getSiblingDB("object_cloud");   // 切换到object_cloud库
const result = db.object_sensor_category.insertMany([])   // db库导入多条数据

（3）、时间对象

时间对象需要改成以下格式，注意后面也有双引号

"createTime" : ISODate("2024-06-20T03:28:24.269Z")

四、通过代码做数据迁移

通过如下的代码，也可以实现mongoDb数据的迁移工作。但这种方式要求必须同时连接到两个数据源，对于一些线上环境往往是平常无法访问的。如果网络环境不通的情况下，就只能先把数据导出后，在迁移到目标环境中进行导入的工作（上面的js初始化方式也是这种实现的逻辑，但是不同在于js的方式实现了自动化部署，即：不需要人为再去操作迁移了）

java代码示例如下：


import com.alibaba.fastjson2.JSON;
import com.mongodb.MongoClientSettings;
import com.mongodb.MongoCredential;
import com.mongodb.ServerAddress;
import com.mongodb.client.*;
import org.bson.Document;
import java.util.Collections;
import java.util.Iterator;public class MongoMigration {public static void main(String[] args) {String[] collections = new String[]{    // 指定需要迁移数据的表"object_category",
//                "object_running_conf","object_sensor_category"};for (String collection:collections){copyCollection(collection);       // 遍历上面的表进行数据迁移}}private static void copyCollection(String collection) {// 源MongoDB配置String sourceHost = "";int sourcePort = 27017;String sourceDatabase = "object-cloud";String sourceUsername = "root"; // 如果需要的话String sourcePassword = "123456"; // 如果需要的话// 目标MongoDB配置String targetHost = "";int targetPort = 38630; String targetDatabase = "object-cloud";String targetUsername = "root"; // 如果需要的话String targetPassword = "123456"; // 如果需要的话// 连接到源MongoDBMongoClient sourceClient = createMongoClient(sourceHost, sourcePort, sourceDatabase, sourceUsername, sourcePassword);MongoDatabase sourceDatabaseInstance = sourceClient.getDatabase(sourceDatabase);MongoCollection<Document> sourceCollectionInstance = sourceDatabaseInstance.getCollection(collection);// 连接到目标MongoDBMongoClient targetClient = createMongoClient(targetHost, targetPort,  targetDatabase ,targetUsername, targetPassword);MongoDatabase targetDatabaseInstance = targetClient.getDatabase(targetDatabase);MongoCollection<Document> targetCollectionInstance = targetDatabaseInstance.getCollection(collection);// 从源集合读取数据并写入目标集合FindIterable<Document> documents = sourceCollectionInstance.find();Iterator<Document> iterator = sourceCollectionInstance.find().iterator();int i=0;while (iterator.hasNext()) {Document doc = iterator.next();targetCollectionInstance.insertOne(doc);if (++i>100){                  // 仅迁移前100条数据，有些表数据量太大，不需要可以放弃。如果需要全量，这里要删除掉break;}}// 关闭连接sourceClient.close();targetClient.close();System.out.println("Data migration completed successfully!");}private static MongoClient createMongoClient(String host, int port, String  database, String username, String password) {MongoCredential credential = null;if (username != null && !username.isEmpty() && password != null && !password.isEmpty()) {credential = MongoCredential.createCredential(username, database, password.toCharArray()); }MongoClientSettings settings = MongoClientSettings.builder().applyToClusterSettings(builder ->builder.hosts(Collections.singletonList(new ServerAddress(host, port)))).credential(credential) // 如果需要认证.build();return MongoClients.create(settings);}
}

五、总结

通过MongDB官方镜像的特性，会在容器首次启动时自动执行 docker-entrypoint-initdb.d/ 目录下的所有.js 文件，可以利用这一点来实现mongDB的数据迁移或自动化部署服务。

学海无涯苦作舟！！！

中间件--MongoDB部署及初始化js脚本（docker部署，docker-entrypoint-initdb.d，数据迁移，自动化部署）

一、概述 MongoDB是一种常见的Nosql数据库（非关系型数据库），以文档（Document）的形式存储数据。是非关系型数据库中最像关系型数据库的一种。本篇主要介绍下部署和数据迁移。在 MongoDB 官方镜像部署介绍中&#xff…...

编程日记 2025/7/5 0:26:06

基于SpringBoot框架的民宿连锁店业务系统（计算机毕业设计）+万字说明文档

系统合集跳转源码获取链接一、系统环境运行环境: 最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。 IDE环境： Eclipse,Myeclipse,IDEA或者Spring Tool Suite都可以 tomcat环境： Tomcat 7.x,8.x,9.x版本均可操作系统…...

编程日记 2025/7/3 12:19:54

PHP8 动态属性被弃用兼容方案

PHP 类中可以动态设置和获取没有声明过的类属性。这些属性不遵循具体的规则，并且需要使用 __get() 和 __set() 魔术方法对动态属性如何读写进行有效控制。 class User {private int $uid; }$user new User(); $user->name Foo; 上述代码中，User 类…...

编程日记 2025/7/5 0:18:22

Spring Boot 3.0 + MySQL 8.0 + kkFileView 实现完整文件服务

Spring Boot 3.0 MySQL 8.0 kkFileView 实现完整文件服务背景：比较常见的需求，做成公共的服务，后期维护比较简单，可扩展多个存储介质，上传逻辑简单，上传后提供一个文件id，后期可直接通过此i…...

编程日记 2025/7/4 23:40:41

【YashanDB知识库】php查询超过256长度字符串，数据被截断的问题

本文内容来自YashanDB官网，原文内容请见：https://www.yashandb.com/newsinfo/7488290.html?templateId1718516 问题现象如下图，php使用odbc数据源，查询表数据，mysql可以显示出来，yashan显示数据被截断。…...

编程日记 2025/7/4 23:40:41

为什么ETH 3.0需要Lumoz的ZK算力网络？

1.Lumoz 模块化计算层 Lumoz 协议是一个全球分布式模块化计算协议，致力于提供先进的零知识证明（ZKP）服务，支持ZK技术的发展，为ZK、AI等前沿技术提供强大的算力支撑。面对当前零知识计算领域计算成本的挑战&#xff0c…...

编程日记 2025/7/2 19:44:14

反向代理-缓存篇

文章目录强缓存一、Expires（http1.0 规范）二、cache-control（http1.1 出现的 header 信息）Cache-Control 的常用选项Cache-Control 常用选项的选择三、弊端协商缓存一、ETag二、If-None-Match三、Last-modified四、If-Modified-Since浏览器的三种刷新方式静态资源部署策略…...

编程日记 2025/6/28 20:07:58

（重点来啦！）MySql基础增删查改操作（详细）

目录一、客户端和数据库操作： 二、表操作 1.查看当前数据库中有哪些表 2.创建一张新表 3.查看表结构： 4.删除表三、CRUD增删查改 1.新增——插入 2.查询操作 a.全列查询： b.指定列查询： c.列名为表达式的查询&#…...

编程日记 2025/7/5 0:07:42

WPF编写工业相机镜头选型程序

该程序满足面阵和线阵的要求。前端代码 <Window x:Class"相机镜头选型.MainWindow" Loaded"Window_Loaded"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml…...

编程日记 2025/7/4 12:52:45

阿里云轻量应用服务器开放端口，图文教程分享

阿里云轻量应用服务器如何开放端口？在轻量服务器管理控制台的防火墙中添加规则即可开通端口，开通80端口就填80，开通443就填443端口，开通3306端口就填3306。阿里云百科网aliyunbaike.com整理阿里云轻量应用服务器端口号开通图文教程…...

编程日记 2025/6/28 10:20:25

分布式 CAP理论总结

前言相关系列《分布式 & 目录》《分布式 & CAP理论 & 总结》《分布式 & CAP理论 & 问题》分布式分布式的核心是将大型业务拆解成多个子业务以使之在不同的机器上执行。分布式是用于解决单个物理机容量&性能瓶颈问题而采用的优化手段&#xf…...

编程日记 2025/7/5 0:02:49

【UNION 和 UNION ALL 】关键字在MySql中的用法，以及注意事项

在 MySQL 中，UNION 和 UNION ALL 都用于将多个 SELECT 语句的结果合并到一个结果集中。它们的主要区别在于 UNION 去除重复的行UNION ALL 保留所有的行示例 …...

编程日记 2025/7/1 14:57:17

GauHuman阅读笔记【3D Human Modelling】

笔记目录 1. 基本信息2. 理解（个人初步理解，随时更改）3. 精读SummaryResearch Objective(s)Background / Problem StatementMethod(s)EvaluationConclusionReferences1. 基本信息题目：GauHuman: Articulated Gaussian Splatting from Monocular Human Videos时间：2023.12…...

编程日记 2025/7/4 23:58:37

SkyWalking 和 ELK 链路追踪实战

一、背景最近在给项目搭建日志平台的时候，采用的方案是 SkyWalking ELK 日志平台，但发现 ELK 日志平台中的日志没有 Trace ID，导致无法追踪代码报错的整体链路。空哥提示：Trace ID 是分布式追踪中用来唯一标识一个服务请求或事…...

编程日记 2025/6/28 13:33:52

深度学习中的损失函数

损失函数是深度学习模型训练过程中不可或缺的一部分，是模型预测值与真实值之间差异的客观衡量标准。它们是模型训练的基础，指导算法调整模型参数，以最小化损失并提高预测准确性。它们衡量了模型预测值与真实值的吻合程度。通过最小化这种损失…...

编程日记 2025/7/5 0:10:04

android编译assets集成某文件太大更新导致git仓库变大

不知道大家有没有类似的困扰，你的工程assets文件过大，我曾经在某度车机地图团队工作过一段时间时候，每次发包会集成一个上百MB的文件。工作一段时间你的git仓库将会增加特别多。最后，你会发现你如果重新git clone这个仓库会非常大…...

编程日记 2025/7/2 13:45:18

技术支持人员发现跨域问题，该如何处理

跨域问题通常是由于浏览器的同源策略（Same-Origin Policy）引起的。简而言之，浏览器阻止了一个域上的网页访问另一个域的资源，目的是为了安全性。跨域问题通常发生在以下场景： 在一个网站的前端应用程序（如…...

编程日记 2025/7/4 23:57:14

有 SpringBoot 助力，广场舞团解锁花式舞步密码

3 系统分析 3.1 系统可行性分析 3.1.1 经济可行性由于本系统是作为毕业设计系统，且系统本身存在一些技术层面的缺陷，并不能直接用于商业用途，只想要通过该系统的开发提高自身学术水平，不需要特定服务器等额外花费。所有创造及工作…...

编程日记 2025/6/28 8:59:19

【推荐算法】单目标精排模型——FiBiNET

key word: 学术论文 Motivation： 传统的Embedding&MLP算法是通过内积和Hadamard product实现特征交互的，这篇文章的作者提出了采用SENET实现动态学习特征的重要性；作者认为简单的内积和Hadamard product无法有效对稀疏特征进行特征交互&a…...

编程日记 2025/6/28 19:56:54

从零开始学TiDB（3）TiKV 持久化机制

如图，每个TiKV有两个rocksdb实例，rocksdbKV复制存储键值对，rocksdb raft负责存储复制的日志。每个region及其副本构成了raft group。这个OB的Zone其实有点类似，在OB中每个Unit及其副本构成了paxos组，在TiDB中叫raft…...

编程日记 2025/7/3 13:49:15

集合ArrayList

黑马程序员Java的个人笔记 BV17F411T7Ao p111~p115 目录集合存储数据类型的特点创建对象 ArrayList 成员方法 .add 增加元素 .remove 删除元素 .set 修改元素 .get 查询元素 .size 获取长度基本数据类型对应的包装类 Character 练习返回多个数据集合存储…...

编程日记 2025/7/5 0:08:33

后端API接口设计标准（Java）

Controller 层（API接口） 无论是传统的三层架构还是现在的COLA架构，Controller 层依旧有一席之地，说明他的必要性；说它是配角是因为 Controller 层的代码一般是不负责具体的逻辑业务逻辑实现，但是它负责接收…...

编程日记 2025/6/28 19:32:40

Oracle Recovery Tools工具一键解决ORA-00376 ORA-01110故障（文件offline）---惜分飞

客户在win上面迁移数据文件,由于原库非归档,结果导致有两个文件scn不一致,无法打开库,结果他们选择offline文件,然后打开数据库 Wed Dec 04 14:06:04 2024 alter database open Errors in file d:\app\administrator\diag\rdbms\orcl\orcl\trace\orcl_ora_6056.trc: ORA-01113:…...

编程日记 2025/7/1 16:31:58

Python制做一个简易PDF编辑器——关于PDF文字编辑实现的思路

在Python零基础快速入门最后一篇，我们一起做了一个PDF编辑小工具，里面只实现的PDF翻页浏览等，并没有实现PDF的文字在线编辑，是因为在PDF编辑器中实现文字编辑功能是一个相对复杂的过程，因为PDF格式本质上是一个用于呈现…...

编程日记 2025/7/3 12:49:15

RabbitMQ如何保证消息不被重复消费

前言： 正常情况下，消费者在消费消息后，会给消息队列发送一个确认，消息队列接收后就知道消息已经被成功消费了，然后就从队列中删除该消息，也就不会将该消息再发送给其他消费者了。不同消息队列发出的确认消…...

编程日记 2025/7/1 15:15:43

Windows Terminal ssh到linux

1. windows store安装 Windows Terminal 2. 打开json文件配置 {"$help": "https://aka.ms/terminal-documentation","$schema": "https://aka.ms/terminal-profiles-schema","actions": [{"command": {"ac…...

编程日记 2025/7/1 20:34:06

vue实现页面自动滚动，鼠标悬浮暂停，移开继续

1、给div一个id <div class"kb_nei_new_left" id"chartsContainer">2、定义一个自动滚动的方法 autoSroll(Id) {// flag 为true时停止滚动var flag false;// 定时器var timer;function roll() {var h -1;timer setInterval(function () {flag …...

编程日记 2025/7/3 21:31:36

第3章：文本样式 --[CSS零基础入门]

CSS（层叠样式表）允许你以多种方式定制文本的外观。以下是一些常用的文本和字体相关的CSS属性： 1.字体字体系列当然，下面是两个使用不同字体系列的CSS示例。每个示例都展示了如何指定一个字体系列，并提供备用字体以确保在用户的系统中找不到首选字体时仍有合适的字体可…...

编程日记 2025/7/2 13:51:09

从视觉到雷达：多模态感知如何引领自动驾驶安全革命

文章目录摘要引言多模态感知融合的原理与架构感知技术的特点多模态感知融合的目标数据融合实现示例代码结构与主要组件模型定义 MultimodalFusionModel前向传播（forward 方法）模型细节剖析实践应用 QA环节总结参考资料摘要本文探讨了多模态感知技术…...

编程日记 2025/6/30 20:09:42

若依集成更好用的easyexcel

背景若依使用的是apach poi并在此基础上进行封装apach poi的原生的api是很复杂的，若依简化了了此操作apach poi的上传速率和下载速率都是没有优化的，依赖于文件大小的限制在此前提下，如果没法满足客户的需求（超大型文件的上传&am…...

编程日记 2025/7/2 1:23:48

大数据新视界 -- 大数据大厂之 Hive 数据导入：多源数据集成的策略与实战（上）（3/ 30）

💖💖💖亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的…...

编程日记 2025/7/3 1:26:46

线段树模板

单点修改 #include <bits/stdc.h> using namespace std; #define IOS ios::sync_with_stdio(false),cin.tie(nullptr); #define rep(i, x, y) for(int i(x), _(y);i<_;i) #define rrep(i, x, y) for(int i(x), _(y);i>_;i--) #define all(x) x.begin(),x.end() #d…...

编程日记 2025/7/2 0:48:10

算法刷题Day15: BM37 二叉搜索树的最近公共祖先

题目链接描述给定一个二叉搜索树, 找到该树中两个指定节点的最近公共祖先。 1.对于该题的最近的公共祖先定义:对于有根树T的两个节点p、q，最近公共祖先LCA(T,p,q)表示一个节点x，满足x是p和q的祖先且x的深度尽可能大。在这里，一个节点也可以…...

编程日记 2025/7/2 13:15:18

正则表达式去除文本中括号()＜＞[]里的内容

一行文本中包含有各种括号，如()、<>、[]，我们希望把括号及括号内的内容0去除，可以通过正则表达式来实现。匹配() pattern r$[^)]*$ # 匹配()匹配一个左括号(，然后匹配0个或多个不是右括号的任意字符[^)]*&#xff0c…...

编程日记 2025/7/4 11:46:03

Environment Modules安装配置

Environment Modules安装配置 Environment Modules是一款用来管理计算机软件环境的软件，通过简单的命令来控制计算机环境变量。本文接受该软件的安装和配置方法系统： Linux OpenSUSE 15.6 软件版本： modules 5.5 依赖： gcc 7.5…...

编程日记 2025/7/3 23:37:59

constexpr、const和 #define 的比较

constexpr、const 和 #define 的比较一、定义常量 constexpr 定义：constexpr用于定义在编译期可求值的常量表达式。示例：constexpr int x 5;这里，x的值在编译期就确定为5。 const 定义：const表示变量在运行期间不能被修改&…...

编程日记 2025/7/2 22:50:48

STM32串口接收与发送(关于为什么接收不需要中断而发生需要以及HAL_UART_Transmit和HAL_UART_Transmit_IT的区别)

一、HAL_UART_Transmit和HAL_UART_Transmit_IT的区别 1. HAL_UART_Transmit_IT（非阻塞模式）： HAL_UART_Transmit_IT 是非阻塞的传输函数，也就是说，当你调用 HAL_UART_Transmit_IT 时，它不会等到数据完全发…...

编程日记 2025/7/1 23:28:39

如何制作“优美”PPT

目录 1.免费PPT模板网站： 2.免费有较好质量的图片网站： 免费图片资源免费透明PNG图片资源： 免费icon图片资源： 3.选择好的图片： 图片底色 4.要与不要千万不要： 一定要： 6.一些建议…...

编程日记 2025/7/3 3:31:49

5G模组AT命令脚本-控制模组进入飞行模式

控制模组进入飞行模式控制模组进入飞行模式控制模组进入飞行模式控制模组进入飞行模式 #!/bin/bash ## 5G模组采用USB3.0与上位机连接，usb接口在上位机上虚拟出多个port,其中一个可用于发送AT命令，控制模组 ## 本脚本控制模组进入飞行模式## flyin …...

编程日记 2025/7/2 16:49:13

计算机网络-Wireshark探索ARP

使用工具 Wiresharkarp: To inspect and clear the cache used by the ARP protocol on your computer.curl(MacOS)ifconfig(MacOS or Linux): to inspect the state of your computer’s network interface.route/netstat: To inspect the routes used by your computer.Brows…...

编程日记 2025/7/1 1:07:45