当前位置：首页 > news >正文

如何用 esProc 实现 Oracle 和 MySQL 的混合运算

news 来源：原创 2025/9/17 5:43:12

逻辑数仓可以实现多源混算，但需要配置视图、预处理数据，结构太沉重。duckdb 是轻量级的方案，但没有内置 Oracle 的 connector，自己开发难度又太高。同为轻量级方案，esProc 支持 JDBC 公共接口，可以实现任何 RDB 之间的混算。

先下载并安装 esProc，推荐标准版：免费下载

把数据库的 JDBC 放到目录 "[安装目录]\common\jdbc"，这是 esProc 的类路径之一。下面是 mysql 和 Oracle 的 JDBC：

Picture1png

打开 esProc IDE，找到菜单 "Tool->Connect to Data Source"，新建 JDBC 数据源，填入 MySQL 和 Oracle 的连接信息。

Picture2png

Picture3png

返回到数据源界面，连接刚才配置的 2 个数据源，如果数据源名变成粉色，说明配置成功。

Picture4png

在 IDE 中新建脚本，写 SPL 语句，连接 oracle，通过简单 SQL 加载数据：

=connect("orcl_21c").query@x("select * from ALifeSurvey")

按 ctrl-F9 执行，可以在 IDE 右边看到执行结果，以数据表的形式呈现，这对调试 SPL 代码很方便。

Picture5png

如果数据可以正常加载，就可以写正式的跨库混算代码了：

	A	B
1	=connect("orcl_21c").query@x("select telNo,age,marital from ALifeSurvey")	=connect("mysql").query@x("select telNo,price from AVehicleSurvey where purchase_year>=? and purchase_year<=?",arg1,arg2)
2	=join(A1:L, long(TELNO); B1:V, telNo)
3	=A2.groups(L.AGE, L.MARITAL; avg(V.price):avgPrice)

用参数过滤 MySQL 的车险调查表，再通过电话号码与 Oracle 的寿险调查表进行内关联，按寿险调查表的年龄、婚姻状态分组，统计该组人群在车险调查表里的平均购车价格。

把上面脚本保存在某个目录中，比如 D:\data\SurveyCross.splx，运行后可以看到结果：

Picture6png

上面代码把数据取到内存后再关联，适合数据量较小的情况，如果数据量较大，应该在 SQL 里排序，再一边取数一边进行关联计算，也就是归并关联。代码这样写：

	A	B
1	=now()
2	=connect("orcl_21c").cursor@x("select telNo,age,marital from ALifeSurveyB order by telNo")	=connect("mysql").cursor@x("select telNo,price from AVehicleSurveyB order by telNo")
3	=joinx(A2:L, long(TELNO); B2:V, telNo)
4	=A3.groups(L.AGE, L.MARITAL; avg(V.price):avgPrice)
5	=output("time cost(seconds):",interval@s(A1,now()))

代码变化不大，取数时用游标函数 cursor，关联时用归并关联函数 joinx，A1 和 A5 加了时间统计。

Picture7png

右下角日志窗口打印了执行时间，可以看到，对于两个数据量一千万以上的表，跨库混合运算大约在 100 秒左右。

在 IDE 中调试通过后，下面配置 Java 应用环境。
从目录 "[安装目录]\esProc\lib" 下找到 esProc JDBC 相关的 jar 包：esproc-bin-xxxx.jar、icu4j_60.3.jar。

Picture8png

将这两个 jar 包和数据库的 JDBC 部署到 Java 开发环境的类路径下。
再从目录 "[安装目录]\esProc\config" 下找到 esProc 配置文件 raqsoftConfig.xml，同样部署到 Java 开发环境的类路径下。

Picture9png

配置文件中要改的配置项是 mainPath，这表示脚本等文件的默认路径。注意数据源的信息也在配置文件中。
接下来，就可以编写 Java 代码，通过 esProc JDBC 执行 SPL 脚本了：

Class.forName("com.esproc.jdbc.InternalDriver");
Connection con= DriverManager.getConnection("jdbc:esproc:local://");
PreparedStatement st = con.prepareCall("call SurveyCross(?,?)");
st.setInt(1,10);
st.setInt(2,20);
ResultSet rs = st.executeQuery();

运行后可以看到结果：

Picture10png

可以看到，esProc JDBC 调用 SPL 脚本过程和数据库 JDBC 调用存储过程一样。
SPL 脚本不是必须的，可以把 SPL 脚本转为 SPL 代码，像 SQL 那样嵌入 Java。先在 IDE 中打开脚本文件，选中有代码的单元格 A1-B3，再点击菜单 "Edit->Copy->Code copy"，这样就把多行多列的网格代码转成了单行的 SPL 代码，暂存在粘贴板里。

Picture11png

将转换后的 SPL 代码复制到 Java 代码中，将参数名替换成问号并执行，

PreparedStatement st = con.prepareStatement("==connect(\"orcl_21c\").query@x(\"select telNo,age,marital from ALifeSurvey\")\t=connect(\"mysql\").query@x(\"select telNo,price from AVehicleSurvey where purchase_year>=? and purchase_year<=?\",?,?)\n=join(A1:L, long(TELNO); B1:V, telNo)\t\n=A2.groups(L.AGE, L.MARITAL; avg(V.price):avgPrice)\t");
st.setInt(1,5);
st.setInt(2,10);
ResultSet rs = st.executeQuery();

可以看到，Java 调用 SPL 代码的过程和调用 SQL 代码一样。运行后可以看到结果：

Picture12png

esProc 支持的数据源非常丰富，除了 RDB，还有 NoSQL、BigData、云存储、消息队列、本地文件，都可以混合运算，感兴趣的可以去乾学院了解更多。

如何用 esProc 实现 Oracle 和 MySQL 的混合运算

逻辑数仓可以实现多源混算，但需要配置视图、预处理数据，结构太沉重。duckdb 是轻量级的方案，但没有内置 Oracle 的 connector，自己开发难度又太高。同为轻量级方案，esProc 支持 JDBC 公共接口，可以实现任何…...

编程日记 2025/9/17 5:43:12

zabbix和prometheus选择那个监控呢

文章目录 Zabbix 介绍概述架构组成特点适用场景 Prometheus 介绍概述架构组成特点适用场景 Zabbix vs Prometheus 对比架构与组件Zabbix 架构Prometheus 架构监控要点与最佳实践告警与可视化ZabbixPrometheus Alertmanager Grafana 伸缩与高可用ZabbixPrometheus 运维成本与…...

编程日记 2025/9/17 5:38:22

SQL 查询中使用 IN 导致性能问题的解决方法

当 SQL 查询中使用 IN 子句导致查询长时间运行或挂起时，通常是由于以下几个原因造成的： 常见原因 IN 列表中的值过多 - 当 IN 子句包含大量值时（如数千或更多），数据库需要处理大量比较操作缺乏合适的索引 - 被查询的…...

编程日记 2025/9/17 5:36:50

UML-饮料自助销售系统（无法找零）序列图

一、题目： 在饮料自动销售系统中，顾客选择想要的饮料。系统提示需要投入的金额，顾客从机器的前端钱币口投入钱币，钱币到达钱币记录仪，记录仪更新自己的选择。正常时记录仪通知分配器分发饮料到机器前端，但可…...

编程日记 2025/9/17 5:43:12

Go语言中的runtime包是用来做什么的？

在Go语言中，runtime包提供了与Go运行时系统的交互接口。以下是runtime包的主要功能和用途： 1. 运行时信息 runtime包可以获取关于Go程序运行时的信息，包括： 内存使用情况：可以查看内存分配和使用的统计信息&#xf…...

编程日记 2025/9/17 5:38:22

【Linux】用C++实现UDP通信：详解socket编程流程

文章目录协议（Protocol）协议的核心要素常见协议分类 UDP协议（用户数据报协议）1. 基本定义2. 核心特性 UDP协议实现通信服务器端Comm.hppInetAddr.hppUdpServer.hppUdpServer.cc 客户端总结协议（Protocol&#xff09…...

编程日记 2025/9/17 5:39:11

代码随想录-06-二叉树-02.二叉树的递归遍历

二叉树的递归遍历递归思路确定递归函数的参数parameter和返回值确定终止条件确定单层递归逻辑具体代码 CPP 前序遍历 vector<int> res; void traversal(TreeNode *root){if(!root)return;res.push_back(root->val);traversal(root->left);traversal(root-…...

编程日记 2025/9/17 5:39:10

一文详解ffmpeg环境搭建：Ubuntu系统ffmpeg配置nvidia硬件加速

在Ubuntu系统下安装FFmpeg有多种方式，其中最常用的是通过apt-get命令和源码编译安装。本文将分别介绍这两种方式，并提供安装过程。一、apt-get安装使用apt-get命令安装FFmpeg是最简单快捷的方式，只需要在终端中输入以下命令即可： # 更新软件包列表 sudo apt-get updat…...

编程日记 2025/9/17 5:36:49

（四）深入理解AVFoundation-播放：高度自定义视频播放器 UI

引言在之前的博客中，我们已经介绍了如何实现一个简单的播放器，并通过监听资源和播放器的属性来提升播放体验。因此本篇博客将带你进一步自定义播放器 UI。通过构建自己的播放控制界面（如播放/暂停按钮、进度条、全屏切换等）&…...

编程日记 2025/9/17 5:36:49

sqli-labs靶场 less6

文章目录 sqli-labs靶场less 6 报错注入 sqli-labs靶场每道题都从以下模板讲解，并且每个步骤都有图片，清晰明了，便于复盘。 sql注入的基本步骤注入点注入类型字符型：判断闭合方式 （‘、"、’、“”&#xf…...

编程日记 2025/9/17 5:36:50

数据库架构全解析：MyCat、MHA、ProxySQL 的原理、功能与实例

前言 ： 在分布式数据库架构中，分库分表、高可用性（HA）和查询优化是核心需求。本文将深入解析三款主流工具：MyCat（分布式数据库中间件）、MHA（MySQL高可用方案）、ProxySQL…...

编程日记 2025/9/12 7:08:10

【hadoop】Hive数据仓库安装部署

一、MySQL的安装与配置换源： 最下面附加部分 1、在master上直接使用yum命令在线安装MySQL数据库： sudo yum install mysql-server 途中会询问是否继续，输入Y并按回车。 2、启动MySQL服务： sudo service mysqld start 3、设…...

编程日记 2025/9/11 15:35:08

Unity Addressables资源生命周期自动化监控技术详解

一、Addressables资源生命周期管理痛点 1. 常见资源泄漏场景泄漏类型典型表现检测难度隐式引用泄漏脚本持有AssetReference未释放高异步操作未处理AsyncOperationHandle未释放中循环依赖泄漏资源相互引用无法释放极高事件订阅泄漏未取消事件监听导致对象保留高 2. 传统管理…...

编程日记 2025/9/15 4:46:26

Linux网络编程——深入理解TCP的可靠性、滑动窗口、流量控制、拥塞控制

目录一、前言二、流量控制三、TCP的滑动窗口 1、原理 2、机制 3、数据重发 Ⅰ、只是确认应答包(ACK)丢了 Ⅱ、发送数据包丢失 4、缓冲区结构四、TCP的拥塞控制 1、慢启动 2、拥塞避免 3、快速重传 4、快速恢复五、延迟应答六、捎带应答七、再谈TCP的面…...

编程日记 2025/9/10 22:26:15

Manifold-IJ 2022.1.21 版本解析：IntelliJ IDEA 的 Java 增强插件指南

Manifold-IJ-2022.1.21 可能是 IntelliJ IDEA 的一个插件或相关版本，特别是与 Manifold 这个增强 Java 开发体验的框架相关的组件。很多时候没有网络环境，而又需要这个插件。 Manifold-IJ 2022.1.21下载：https://pan.quark.cn/s/ad907344c…...

编程日记 2025/9/10 0:46:27

linux内核

一初识linux内核 1.1操作系统和内核简介操作系统的精确定义并没有一个统一的标准，这里我认为操作系统是指整个系统负责完成最基本功能和系统管理的那些部分这些部分包括内核，设备驱动程序，启动引导程序，基本的文件管理工具和…...

编程日记 2025/9/12 3:24:21

基于CNN-LSTM-GRU的深度Q网络（Deep Q-Network，DQN）求解移动机器人路径规划，MATLAB代码

一、深度Q网络（Deep Q-Network，DQN）介绍 1、背景与动机深度Q网络（DQN）是深度强化学习领域的里程碑算法，由DeepMind于2013年提出。它首次在 Atari 2600 游戏上实现了超越人类的表现，解决了传统…...

编程日记 2025/9/10 4:22:24

C++23新特性：显式对象形参与显式对象成员函数

文章目录一、背景与动机二、语法与基本使用三、优势与应用场景（一）简化代码（二）提升模板编程灵活性（三）与Lambda表达式结合四、限制与注意事项五、总结 C23标准引入了一项重要的语言特性——显式对象形参…...

编程日记 2025/9/10 18:00:05

leetcode_242. 有效的字母异位词_java

242. 有效的字母异位词https://leetcode.cn/problems/valid-anagram/ 1、题目给定两个字符串 s 和 t ，编写一个函数来判断 t 是否是 s 的字母异位词（字母异位词是通过重新排列不同单词或短语的字母而形成的单词或短语，并使用所有原字母一次…...

编程日记 2025/9/11 19:42:24

【Docker基础】容器技术详解：生命周期、命令与实战案例

文章目录一、什么是容器？二、为什么需要容器三、容器的生命周期容器状态容器OOM容器异常退出容器异常退出容器暂停四、容器命令命令清单详细介绍五、容器操作案例容器的状态迁移容器批量操作容器交互模式attached 模式detached 模式interactive 模式容器与宿主…...

编程日记 2025/9/10 6:35:40

电子电气架构 --- 为配备区域计算的下一代电子/电气（E/E）架构

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁，漫无目的走着，大概这就是成年人最深的孤独吧! 旧人不知我近况，新人不知我过…...

编程日记 2025/9/11 18:29:27

n int(input()) for _ in range(n):line input().strip()line list(line)for i in range(1,len(line)1):if i%2 0:line[i-2], line[i-1] line[i-1],line[i-2] print(.join(line))以下分不同数据类型说明 Python 实现奇偶互换的方法： 字符串的奇偶位互换若字…...

编程日记 2025/9/12 13:28:03

51单片机Day03---让一个LED灯闪烁

目录 1.研究原理图： 2.一些小知识（重定义的使用）： （1）在单片机中，unsigned int 常用于以下场景： （2）unsigned char： 3.思路构造：…...

编程日记 2025/9/10 12:52:32

城电科技 | 从概念到落地：如何打造真正的智慧零碳园区？

在科技飞速发展的当下，智慧零碳园区成为了引领未来发展的重要范式。那么，究竟什么是智慧零碳园区呢？ 智慧零碳园区，是借助前沿信息技术，把物联网、云计算、大数据等技术深度融入园区管理及产业运营，以此达…...

编程日记 2025/9/14 1:05:39

oracle常见问题处理集锦

oracle常见问题处理集锦 oracle常见问题处理集锦ORA:28000 the count is locked oracle常见问题处理集锦 ORA:28000 the count is locked ORA-28000: 账户已被锁定这个错误表示你尝试登录的 Oracle 数据库用户账户已被锁定，常见原因包括： 多次密码输错…...

编程日记 2025/9/11 10:26:51

Java-JDBC入门程序、预编译SQL

一. JDBC JDBC：Java DataBase Connectivity 就是使用Java语言操作关系型数据库的一套API 本质：sun公司官方定义一套操作所有关系型数据库的规范，即接口；各个数据库厂商去实现这套接口，提供数据库驱动jar包。我们可以使…...

编程日记 2025/9/11 6:41:47

【SQL】基于多源SQL 去重方法对比 -- 精华版

【SQL】基于SQL 去重方法对比 -- 精华版一、引言二、基于SQL去重方法完整对比1. MySQL去重方法及优劣势1.1 DISTINCT关键字1.2 GROUP BY子句1.3 UNION系列操作1.4 子查询自关联 2. Hive去重方法及优劣势2.1 DISTINCT关键字2.2 GROUP BY子句2.3 ROW_NUMBER窗口函数2.4 …...

编程日记 2025/9/15 16:35:50

list的使用以及模拟实现

本章目标 1.list的使用 2.list的模拟实现 1.list的使用在stl中list是一个链表,并且是一个双向带头循环链表,这种结构的链表是最优结构. 因为它的实现上也是一块线性空间,它的使用上是与string和vector类似的.但相对的因为底层物理结构上它并不像vector是线性连续的,它并没有…...

编程日记 2025/9/16 15:17:12

java继承练习

//创建父类public class Employee {private String id;private String name;private double salary;public Employee() {}public Employee(String id, String name, double salary) {this.id id;this.name name;this.salary salary;}public String getId() {return id;}pu…...

编程日记 2025/9/15 4:27:41

相关文章：