当前位置：首页 > news >正文

doris：阿里云 MaxCompute

news 来源：原创 2025/8/22 10:46:20

MaxCompute 是阿里云上的企业级 SaaS（Software as a Service）模式云数据仓库。

什么是 MaxCompute

连接 MaxCompute

示例

-- 1. 创建Catalog。
CREATE CATALOG mc PROPERTIES ("type" = "max_compute","mc.default.project" = "xxx","mc.access_key" = "xxxx","mc.secret_key" = "xxx","mc.endpoint" = "http://service.cn-beijing-vpc.MaxCompute.aliyun-inc.com/api"
);-- 2. 切换到新创建的Catalog下。
SWITCH mc;-- 下面的步骤就和使用Mysql一样了。-- 3. 查看该Catalog下所有的数据库。
SHOW DATABASES;-- 4. 使用数据库, 这里的xxx为第三步展示出来结果的任意一个数据库。
USE xxx;-- 5. 查看该数据库下所有的表。
SHOW TABLES;-- 6. 进行SQL查询。
select * from tb  limit 10;

创建 Catalog 的基本属性

参数	说明
type	固定为 `max_compute`.
mc.default.project	想要访问的 MaxCompute 项目名称。可以在 MaxCompute 项目列表中创建和管理。
mc.access_key	AccessKey。可以在阿里云控制台中创建和管理。
mc.secret_key	SecretKey。可以在阿里云控制台中创建和管理。
mc.endpoint	MaxCompute 开通的地域。请参照下文的`如何获取Endpoint 和 Quota`来配置。

创建 Catalog 的可选属性

参数	默认值	说明
mc.quota	pay-as-you-go	Quota 名称。请参照下文的 `如何获取Endpoint 和 Quota` 来配置。
mc.split_strategy	byte_size	设置 split 的划分方式，可设置为按照字节大小划分 `byte_size` 和按照数据行数划分 `row_count`
mc.split_byte_size	268435456	每个 split 读取的文件大小，单位为字节，默认为 256MB，当且仅当 `"mc.split_strategy" = "byte_size"` 时生效
mc.split_row_count	1048576	每个 split 读多少行，当且仅当 `"mc.split_strategy" = "row_count"` 时生效

列类型映射

MaxCompute	Doris	备注
TINYINT	TINYINT
TINYINT	TINYINT
SMALLINT	SMALLINT
INT	INT
BIGINT	BIGINT
BINARY	不支持
FLOAT	FLOAT
DOUBLE	DOUBLE
DECIMAL(precision,scale)	DECIMAL(precision,scale)
VARCHAR(n)	VARCHAR(n)
CHAR(n)	CHAR(n)
STRING	STRING
DATE	DATE
DATETIME	DATETIME(3)	可以通过`SET [global] time_zone = 'Asia/Shanghai'`来指定时区
TIMESTAMP	不支持
TIMESTAMP_NTZ	DATETIME(6)	MaxCompute 的 TIMESTAMP_NTZ 精度为 9, Doris 的 DATETIME 最大精度只有 6，故读取数据时会将多的部分直接截断。
BOOLEAN	BOOLEAN
ARRAY	ARRAY
MAP	MAP
STRUCT	STRUCT
JSON	不支持

使用须知

自 2.1.7 版本开始，MaxCompute Catalog 基于开放存储 SDK 开发。
开放存储 SDK 的使用有一定的限制，请参照该文档中 使用限制 的章节。
MaxCompute 中的 Project 相当于 Doris 中的 DataBase。

如何获取 Endpoint 和 Quota

如果您使用数据传输服务独享资源组，请参照该文档中 使用独享数据服务资源组 章节中的 2.授权 来开启相应的权限，并在 配额（Quota）管理 列表中，查看并复制对应的 QuotaName，指定 "mc.quota" = "QuotaName"。此时您可以选择 VPC / 公网来访问 MaxCompute，但是走 VPC 的带宽有保障，公网带宽资源小。
如果您使用按量付费，请参照该文档中 使用开放存储（按量付费） 的章节，来开启开放存储 (Storage API) 开关，并给 Ak,SK 对应的用户赋予权限。此时您的 mc.quota 为默认值 pay-as-you-go，不需要额外指定该值。此时您只能使用 VPC 来访问 MaxCompute。
通过第 1/2 步，您已经知道该如何访问 MaxCompute，下面需要根据阿里云 Endpoints 文档中的 地域Endpoint对照表 来配置 mc.endpoint 。使用 VPC 访问的用户，需要根据 各地域Endpoint对照表（阿里云VPC网络连接方式） 表中的 VPC网络Endpoint 列来配置 mc.endpoint 。使用公网访问的用户，可以选择 各地域Endpoint对照表（阿里云经典网络连接方式） 表中的 经典网络Endpoint 列、或者选择 各地域Endpoint对照表（外网连接方式) 表中的 外网Endpoint 列来配置 mc.endpoint。

doris：阿里云 MaxCompute

MaxCompute 是阿里云上的企业级 SaaS（Software as a Service）模式云数据仓库。什么是 MaxCompute 连接 MaxCompute 示例 -- 1. 创建Catalog。 CREATE CATALOG mc PROPERTIES ("type" "max_compute","mc.default.projec…...

编程日记 2025/8/22 10:46:20

MyBatis-Plus 分页查询接口返回值问题剖析

在使用 MyBatis-Plus 进行分页查询时，很多开发者会遇到一个常见的问题：当分页查询接口返回值定义为 Page<T> 时，执行查询会抛出异常；而将返回值修改为 IPage<T> 时，分页查询却能正常工作。本文将从 MyBatis-Plus 的分页机制入手，详细分析这一问题的根源，并提…...

编程日记 2025/8/16 12:20:17

【面试】框架

框架 1、介绍一下Spring 的 IOC2、将一个类声明为 Bean 的注解有哪些3、Bean 的作用域有哪些4、Spring 框架中的 Bean 是线程安全的吗5、Spring 容器对象的懒加载6、Spring 容器中的 bean 生命周期7、谈谈自己对于 Spring DI 的了解8、注入 Bean 的注解有哪些9、Spring Boot 如…...

编程日记 2025/8/22 12:49:24

MWC 2025 | 紫光展锐联合移远通信推出全面支持R16特性的5G模组RG620UA-EU

2025年世界移动通信大会（MWC 2025）期间，紫光展锐联合移远通信，正式发布了全面支持5G R16特性的模组RG620UA-EU，以强大的灵活性和便捷性赋能产业。展锐芯加持，关键性能优异 RG620UA-EU模组基于紫光展锐V62…...

编程日记 2025/8/22 12:44:52

《苍穹外卖》SpringBoot后端开发项目重点知识整理（DAY1 to DAY3）

目录一、在本地部署并启动Nginx服务1. 解压Nginx压缩包2. 启动Nginx服务3. 验证Nginx是否启动成功： 二、导入接口文档1. 黑马程序员提供的YApi平台2. YApi Pro平台3. 推荐工具：Apifox 三、Swagger1. 常用注解1.1 Api与ApiModel1.2 ApiModelProperty与Ap…...

编程日记 2025/8/22 12:49:23

Mysql内置函数

日期函数： 例如： select current_date();---打印日期 select current_time()----打印时间 select current_timestamp();打印时间戳 select now(); ----日期时间 select date(‘2020-10-01 00:00:00’); ----提取日期进行打印： 也可以配合…...

编程日记 2025/8/22 12:47:46

一文了解汽车图像传感器

2024年底，安森美做了题为"How Automotive Image Sensors Transform the Future of Autonomous Driving"的演讲，这里结合其内容对自动驾驶图像传感器做一个介绍。当前的自动驾驶感知技术主要有两大技术路线：一种是仅使用摄像头作为传感器进行信息采集的纯…...

编程日记 2025/8/22 12:44:50

cocos creator使用mesh修改图片为圆形，减少使用mask,j减少drawcall,优化性能

cocos creator版本2.4.11 一个mask占用drawcall 3个以上，针对游戏中技能图标，cd,以及多玩家头像，是有很大优化空间 1.上代码，只适合单独图片的，不适合在图集中的图片 const { ccclass, property } cc._decorator;c…...

编程日记 2025/8/20 14:49:21

面向高质量视频生成的扩散模型方法-算法、架构与实现【附核心代码】

目录算法原理架构代码示例算法原理正向扩散过程：从真实的视频数据开始，逐步向其中添加噪声，随着时间步 t 的增加，噪声添加得越来越多，最终将原始视频数据变成纯噪声。数学上，t 时刻的视频数据与 t…...

编程日记 2025/8/22 12:45:37

vue3框架的响应式依赖追踪机制

当存在一个响应式变量于视图中发生改变时会更新当前组件的所以视图显示，但是没有视图中不写这个响应式变量就就算修改该变量也不会修改视图，这是为什么？我们能否可以理解宽泛的理解为vue组件的更新就是视图的更新，单当视图中不存在…...

编程日记 2025/8/16 9:42:47

Ubuntu本地部署Open manus（完全免费可用）

目录 1.介绍 2.环境搭建 3.更改配置 4.运行 1.介绍关于由于邀请码的限制，导致很多用户无法顺利体验manus带来的ai agent体验，但是最近开源的open manus是另一个不错的选择。先来看看运行的结果： 我让open manus帮我打开小米的主页&am…...

编程日记 2025/8/17 15:24:21

MacOS Big Sur 11 新机安装brew wget python3.12 exo

MacOS Big Sur 11,算是很老的系统了，所以装起来brew有点费劲。首先安装brew 官网： /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 官网加速： 按照官网的方法&#xff0…...

编程日记 2025/8/20 15:52:10

基于USB Key的Web系统双因素认证解决方案：构建安全与便捷的登录体系

摘要在网络安全威胁日益严峻的背景下，传统的“用户名密码”认证方式已难以应对钓鱼攻击、密码窃取等风险。上海安当基于USB Key技术，推出了一套面向Web系统的双因素认证解决方案，通过硬件与密码学的深度融合，实现用户身份的高强度…...

编程日记 2025/8/21 8:47:32

项目工坊 | Python驱动淘宝信息爬虫

目录前言 1 完整代码 2 代码解读 2.1 导入模块 2.2 定义 TaoBao 类 2.3 search_infor_price_from_web 方法 2.3.1 获取下载路径 2.3.2 设置浏览器选项 2.3.3 反爬虫处理 2.3.4 启动浏览器 2.3.5 修改浏览器属性 2.3.6 设置下载行为 2.3.7 打开淘宝登录页面 2.3.…...

编程日记 2025/8/22 12:42:30

数据安全_笔记系列12：数据访问控制中的三个管理员权限划分

数据安全_笔记系列04：数据访问控制中的“三权分立”机制详解文章链接：https://blog.csdn.net/fen_fen/article/details/145852242 数据安全_笔记系列12：数据访问控制中的三个管理员权限划分这三个角色的职责和权限划分。系统应具有相互独…...

编程日记 2025/8/22 12:42:33

通义千问本地配置并实现微调最小Qwen模型大小942mb from modelscope import snapshot_download model_dir = snapshot_download(“qwen/Qwen2.5-0.5B”, cache_dir=“./models2.5”) Qwen2.5-0.5B：942MB from modelscope import snapshot_download model_dir = snapshot_d…...

编程日记 2025/8/22 9:50:12

文件上传漏洞（upload靶场）

目录 Pass-01：前端绕过方法一：浏览器禁用js 方法二:直接修改或删除js脚本方法三：修改后缀绕过 Pass-02:服务器检测 Pess-03:黑名单绕过 Pass-04:.htaccess文件 Pass-05:windows特性和user.ini 方法一：php.自动解析为ph…...

编程日记 2025/8/20 19:18:15

Leetcode 刷题记录 05 —— 普通数组

本系列为笔者的 Leetcode 刷题记录，顺序为 Hot 100 题官方顺序，根据标签命名，记录笔者总结的做题思路，附部分代码解释和疑问解答。目录 01 最大子数组和方法一：动态规划（卡达尼算法） 方法…...

编程日记 2025/8/19 17:54:34

随机过程的核心概念与Matlab实现

摘要本文系统讲解随机过程的核心理论与Matlab实现，涵盖随机变量分布、蒙特卡罗仿真、信息熵计算及平稳过程特性。通过高斯、瑞利分布的生成代码、蒙特卡罗积分估计、窄带信号仿真等案例，结合功率谱分析与自相关函数推导，演示随机过程建模与…...

编程日记 2025/8/18 10:23:15

git worktree的使用

git worktree 是 Git 提供的一个强大功能，允许你在同一个仓库中同时创建多个工作目录，每个目录对应一个分支，从而实现并行开发。以下是 git worktree 的常用命令和使用方法： 1. 创建新的工作目录（Worktree&#xff09…...

编程日记 2025/8/22 8:17:51

delphi 正则提取html中的内容

function ExtractTextFromHTML(const HTML: string): string; var RegEx: TRegEx; begin Result := HTML; // 移除<script>标签及其内容 Result := TRegEx.Replace(Result, <script.*?>.*?</script>, , [roIgnoreCase, roSingleLine]); // 移除<s…...

编程日记 2025/8/20 20:46:56

深度学习系列79：Text2sql调研

参考 https://github.com/topics/text-to-sql 这里是一些资源：https://github.com/eosphoros-ai/Awesome-Text2SQL/blob/main/README.zh.md 这里是综述文章：https://zhuanlan.zhihu.com/p/647249972 1. 数据集 Spider: 一个跨域的复杂text2sql数据集&a…...

编程日记 2025/8/22 4:46:57

分布式锁—5.Redisson的读写锁一

大纲 1.Redisson读写锁RedissonReadWriteLock概述 2.读锁RedissonReadLock的获取读锁逻辑 3.写锁RedissonWriteLock的获取写锁逻辑 4.读锁RedissonReadLock的读读不互斥逻辑 5.RedissonReadLock和RedissonWriteLock的读写互斥逻辑 6.写锁RedissonWriteLock的写写互斥逻辑…...

编程日记 2025/8/22 12:45:39

【AI热点】Manus技术细致洞察报告（篇2）

针对大家对Manus产品褒贬不一的现象，基于近期对Manus的多方实测、公开信息与开源竞品的比对分析而撰写，旨在为从业者、技术爱好者以及潜在用户提供一个较为系统、专业的视角。报告将围绕Manus的核心原理、功能特点、技术亮点、常见应用场景与不足&#x…...

编程日记 2025/8/22 12:48:33

虚幻基础：动画层接口

文章目录动画层：动画图表中的函数接口：名字，没有实现。动画层接口：由动画蓝图实现1.动画层可直接调用实现功能2.动画层接口必须安装3.动画层默认使用本身实现4.动画层也可使用其他动画蓝图实现，但必须在角色蓝图中关联…...

编程日记 2025/8/22 12:47:45

C#的简写技巧

在C#中，有许多简写技巧可以让你的代码更加简洁高效，以下是一些常见的： 1. 变量声明与初始化使用 var 关键字 ：当你能从初始化表达式中推断出变量类型时，可以使用 var 关键字代替显式的类型声明。例如： va…...

编程日记 2025/8/21 7:17:07

【js逆向】

地址：aHR0cHM6Ly93d3cud2VpYm90b3AuY24vMi4wLw f12进入 debugger，过debugger 查看预览数据全局搜索请求网址中的 api.weibotop.cn 在下方疑似找到了加密和解密的函数断点调试控制台输出那个n就是常见的 cryptoJs库 const cryptoJs require(cry…...

编程日记 2025/8/20 9:07:40

汽车一键启动按钮更换注意事项

汽车一键启动开关更换教程一键启动开关是现代汽车中常见的便捷配置，但随着时间的推移，这个部件可能会出现失灵的情况。当一键启动开关发生故障时，许多车主选择自行更换。以下是整理的一键启动开关更换教程： 更换前的准备选择匹…...

编程日记 2025/8/21 19:11:58

为wordpress自定义一个留言表单并可以在后台进行管理的实现方法

要为WordPress添加留言表单功能并实现后台管理，你可以按照以下步骤操作： 1. 创建留言表单首先，你需要创建一个留言表单。可以使用插件(如Contact Form 7)或手动编写代码。使用Contact Form 7插件安装并激活Contact Form 7插件。创建…...

编程日记 2025/8/22 7:18:43

Hive函数、外部表和分区表

目录 1. Hive自定义函数1.1 pom.xml中依赖配置1.2 Hive自定义函数示例代码1.3 打包并演示 2. 外部表3. 分区表参考 1. Hive自定义函数 Hive中简单的自定义函数需要继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF，并且实现其中的三个方法： 方法功…...

编程日记 2025/8/20 18:10:48

再聊 Flutter Riverpod ，注解模式下的 Riverpod 有什么特别之处，还有发展方向

三年前我们通过《Flutter Riverpod 全面深入解析》深入理解了 riverpod 的内部实现，而时隔三年之后，如今Riverpod 的主流模式已经是注解，那今天就让我们来聊聊 riverpod 的注解有什么特殊之处。前言在此之前，我们需要先回忆…...

编程日记 2025/8/19 11:53:50

每日一题----------String 和StringBuffer和StringBuiler重点

本质：是一个char字符数组存储字符串总结： 1.如果字符串存在大量的修改操作，一般使用StringBuffer或者StringBuilder。 2.如果字符串存在大量的修改操作，并且单线程的情况，使用StringBuilder。 3.如果字符串存在大…...

编程日记 2025/8/21 12:21:42

使用AI一步一步实现若依前端(5)

功能5：侧边栏菜单动态显示功能4：首页使用Layout布局功能3：点击登录按钮实现页面跳转功能2：静态登录界面功能1：创建前端项目前言在若依中，侧边栏显示的菜单项，是根据登录用户的角色动态显…...

编程日记 2025/8/21 11:43:58

如何在需求分析阶段考虑未来扩展性

在需求分析阶段考虑未来扩展性的关键在于前瞻规划、灵活架构、标准设计。其中，前瞻规划尤为重要，因为通过全面分析业务发展趋势与技术演进，能够在初期设计阶段预留足够扩展空间，降低后期改造成本，为企业长期发展奠定坚…...

编程日记 2025/8/21 7:47:05

平面机械臂运动学分析

平面机械臂运动学分析一整体概述1 研究步骤： 二正向1 几何分析2 matlab 仿真模拟（1）实现效果（2）matlab代码： 3 DH矩阵计算法（1）计算公式（2）计算结果验证&a…...

编程日记 2025/8/16 9:57:24

1688店铺所有商品数据接口详解

一、接口概述淘宝开放平台提供 1688.items.onsale.get/taobao.item_search_shop 接口，可批量获取店铺在售商品列表，包含商品 ID、标题、价格、销量、图片等核心信息。该接口适用于商品库管理、竞品监控、数据分析等场景二、接口调用流程前期准…...

编程日记 2025/8/16 12:23:56

华为hcia——Datacom实验指南——三层交换和ARP的工作原理

什么是三层交换三层交换是指连接在同一台三层交换机上，不同vlan用户，不同网段ip，通过vlanif接口进行数据交换。什么是ARP协议通过网络层的ip地址解析成数据链路层的mac地址。说白了就是通过目标ip地址去问他对应的mac地址是多少。 A…...

编程日记 2025/8/16 12:43:40

手脑革命：拆解Manus AI如何用“执行智能体”重构生产力——中国团队突破硅谷未竟的技术深水区

第一章：Manus AI 的技术演进与行业背景 1.1 从工具到智能体：AI 技术的范式跃迁人工智能的发展经历了从规则驱动（Rule-based）到统计学习（Statistical Learning），再到深度学习（Deep…...

编程日记 2025/8/21 15:01:46

【算法】二叉树的递归遍历

前序遍历 void preOrder(Node *node){if(node ! nullptr){cout << node->data_ << " ";preOrder(node->left_);preOrder(node->right_);}} 中序遍历 void inOrder(Node *node){if (node ! nullptr){inOrder(node->left_);cout << n…...

编程日记 2025/8/19 8:46:48

中级网络工程师面试题参考示例（1）

一、基础理论 1. OSI七层模型与TCP/IP四层模型的区别是什么？请举例说明第三层（网络层）和第四层（传输层）的核心协议。参考答案： OSI七层模型分为物理层、数据链路层、网络层、传输层、会话层、表示层、应用…...

编程日记 2025/8/21 16:40:19

Java并发 vs 并行：本质区别与应用场景全解析（易混概念）

并发 vs 并行：本质区别与应用场景全解析（易混概念） 一、核心区别：从定义出发在计算机科学中，并发（Concurrency） 和并行（Parallelism） 是两种完全不同的任务处理模型&a…...

编程日记 2025/8/21 4:48:19

深度评测DeepSeek、ChatGPT O1和谷歌Gemini AI应用开发场景 - DeepSeek性能完胜！

下面我会展示我为期一周的实验结果，创作不宜，希望大家关注我，以后多多互3！前一阵我在互联网上看到很多关于DeepSeek R1的讨论，这个开源模型据说可以媲美，甚至优于像OpenAI o1这样的付费模型。由于我在日常…...

编程日记 2025/8/21 15:47:10

【GoTeams】-5：引入Docker

本文目录 1. Dokcer-compose回顾下Docker知识编写docker-compose.yaml运行docker 2. 部署go服务编写dockerfile 1. Dokcer-compose 这里简单先用一下win版本的Docker，后期开发好了部署的时候再移植到服务器下进行docker部署。输入命令docker-compose version 就可…...

编程日记 2025/8/20 21:40:49

mysql的Innodb最大支持的索引长度是多少，以及索引长度怎么计算

今天正好有空，来讲个之前粉丝经常问的一个知识，就是mysql的Innodb最大支持的索引长度是多少？以及索引长度怎么计算？ 一、mysql的innodb引擎，创建索引最大支持的长度是多少字节？ 不墨迹，直接说…...

编程日记 2025/8/21 17:03:37

深入解析 configService.addListener 使用中的注意事项

在使用 Nacos 的 configService.addListener 方法进行配置监听时，为了确保程序的稳定性、可靠性以及高效性，有诸多注意事项需要我们关注。下面将对这些关键要点进行详细阐述。一、连接稳定性 1.1 网络连接问题 Nacos 客户端与服务端通过网络进行通信&…...

编程日记 2025/8/22 2:09:25

数据结构和算法--仅仅用于理解里面的术语，入门级别

数据结构和算法预先知识：java 黑马前29节 cmd命令： 文件夹路径不区分大小写 E: dir:查看所有文件 cd 目录 :进入 cd… 返回上一级 cd 目录1\目录2 cd\ 回到根目录 cls 清屏 exit 退出打开文件夹必须用cd 查找，但是文件不用&am…...

编程日记 2025/8/16 12:35:58

this.$nextTick() 作用及实现原理

1、原理和作用 2、更新任务推送到微任务队列后，vue是如何知道所有的更新任务执行完成了？ vue将更新任务推送给微任务队列；当更新任务执行的时候，将回调队列任务推给微任务队列；通过微任务队列的原子性和先进先出机制&…...

编程日记 2025/8/16 12:44:14

C#常用的循环语句

在C#中，循环是一种控制结构，用于重复执行一组语句直到满足特定条件。C#提供了几种循环结构，包括for循环、while循环、do-while循环和foreach循环。每种循环都有其特定的用途和场景。下面我将逐一介绍这些循环的用法。一、C#循环类型 1. fo…...

编程日记 2025/8/17 12:30:36

Android View 设置背景方式全解析

一、整体概述在 Android 开发中，视图（View）的背景设置是构建用户界面的重要组成部分。一个合适的背景可以提升界面的美观度，增强用户体验。从简单的纯色背景到复杂的动态效果，背景设置不仅影响界面美观，还…...

编程日记 2025/8/22 4:47:48

HTTP拾技杂谈

HTTP拾技杂谈简单聊聊HTTP中的那些东西文章目录 HTTP拾技杂谈前言HTTP协议1.请求从客户端到服务器端的4个步骤一般客户端请求如下：服务端响应如下 2.Keep-AliveHTTP方法Cookie 总结前言超文本传输协议（Hypertext Transfer Protocol ，HT…...

编程日记 2025/8/19 8:02:57

连接 MaxCompute​

示例​

创建 Catalog 的基本属性​

创建 Catalog 的可选属性​

列类型映射​

使用须知​

如何获取 Endpoint 和 Quota​

相关文章：