当前位置： 首页 > news >正文

【Azure 架构师学习笔记】- Azure Databricks (11) -- UC搭建

news 来源：原创 2025/5/10 6:56:56

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Databricks】系列。
接上文 【Azure 架构师学习笔记】- Azure Databricks (10) – UC 使用

前言

由于ADB 的更新速度很快，在几个月之后重新搭建ADB 时发现UC 已经更新了很多，为了后续做ADB 的功能测试时能有一个更准确的环境，这里从新搭建一次基于目前最新版本的UC。

启用UC

当有了一个ADB 之后，使用下面的步骤即可得到一个UC 环境。

在这里插入图片描述

Step 1：创建Storage Account(SA)

这里的SA是Databricks内部使用的，存储UC metadata和meanaged Tables。如果是Azure的storage account，注意一定要为ADLS Gen2，即启用了“Hierarchical namespace”。

下图是为了这次所创建的ADLS。

在这里插入图片描述

Step 2：创建Access Connector for Databricks

UC访问外部资源需要借助某些“工具”，访问ADLS 则需要Access Connector。在创建过程中需要保存资源ID，在后面需要使用。

在这里插入图片描述

在这里插入图片描述
可以选择system assigned MI 或者user assigned MI。如果所在企业没有明文规定，并且不考虑被多个ADB 共用，那么建议使用System MI， 比较省事。使用User MI 更多可以考虑多个ADB 共用权限。

在这里插入图片描述
记下这个ID：
在这里插入图片描述

Step 3：配置Connector在Storage Account和container上的权限

这里的权限主要是RBAC， 最少需要“Storage Blob Data Contributor” 角色。而授权的对象则是Step 2中的connector（Managed Identity）

Step 4：创建metastore

进去ADB 之后， 从下图中跳到管理界面，这个地方需要你有account admin 权限。

在这里插入图片描述
你也可以添加其他账号协助管理：
在这里插入图片描述
从catalog中进去管理UC， 如果首次创建则需要先创建MetaStore。
在这里插入图片描述
创建MetaStore
在这里插入图片描述
按照提示和前面创建的资源配置， 注意ADLS Gen2 path中的格式：

在这里插入图片描述
如果创建过程中报下面的错误，则意味着权限还不够：

Could not access location
This path doesn’t exist or we couldn’t access it with the credential provided. Metastores require a directory path.

在这里插入图片描述
这个时候到ADLS 的path中，添加如下的ACL。

在这里插入图片描述
再次回到MetaStore即可创建：

在这里插入图片描述

Step 5：把Workspace与MetaStore 关联

在创建好MetaStore之后，下一步就是assign catalog到workspace中。选中并点击assign即可。

在这里插入图片描述
配置完成：
在这里插入图片描述

检查UC

回到ADB workspace，然后点击catalog，可以从下图中看到这个workspace已经与MetaStore关联成功也就是由UC 控制。

在这里插入图片描述
检查集群状态，可以看到下面也有了UC 的标记。证明集群也已经收到了UC 的控制。

在这里插入图片描述
如果对比集群类型，可以看到已经启用了UC 和未启用UC的不同，下面这个图是启用了UC 之后可以选择的policy类型。

在这里插入图片描述

下面这个图是未启用UC的集群policy
在这里插入图片描述

小结

其实搭建UC 并不是主要目的， 最近因为需要使用“Medallion Architecture”， 所以搭建一个环境来做后续的尝试。

相关文章：

【Azure 架构师学习笔记】- Azure Databricks (11) -- UC搭建

本文属于【Azure 架构师学习笔记】系列。 本文属于【Azure Databricks】系列。 接上文 【Azure 架构师学习笔记】- Azure Databricks (10) – UC 使用 前言 由于ADB 的更新速度很快，在几个月之后重新搭建ADB 时发现UC 已经更新了很多，为了后续做ADB 的功…...

编程日记 2025/5/10 6:56:56

MYSQL批量UPDATE的两种方式

工作中遇到批量更新的场景其实是比较常见的。 但是该如何正确的进行批量UPDATE，很多时候往往有点头大。 这里列2种可用的方式，供选择(请选择方式一，手动狗头。)。 如果使用了MyBatis增强组件MyBatisPlus 如果使用了MyBatisPlus，…...

编程日记 2025/5/9 13:09:21

百度宣布：免费！

2月13日，百度大模型文心一言在官网宣布，随着文心大模型的迭代升级和成本不断下降，文心一言将于4月1日起全面免费，所有PC端和APP端用户均可体验文心系列最新模型。 同时，文心一言将上线深度搜索功能，具备更…...

编程日记 2025/5/8 2:55:25

计算机毕业设计SpringBoot+Vue.js医院住院管理系统(源码+lw文档+PPT+讲解视频)

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 作者简介：Java领…...

编程日记 2025/5/5 7:59:22

Anaconda +Jupyter Notebook安装（2025最新版）

Anaconda安装（2025最新版） Anaconda简介安装1：下载anaconda安装包2： 安装anaconda3：配置环境变量4：检查是否安装成功5：更改镜像源6：更新包7：检查 Jupyter Notebook一.Jup…...

编程日记 2025/5/9 22:13:53

人工智能任务21-飞蛾火焰优化算法(MFO)在深度学习中的应用

大家好，我是微学AI，今天给大家介绍一下人工智能任务21-飞蛾火焰优化算法(MFO)在深度学习中的应用。飞蛾火焰优化算法（Moth-Flame Optimization, MFO）是一种受自然界中飞蛾向光源趋近行为启发的新型群体智能优化算法。在自然界中&a…...

编程日记 2025/5/10 6:53:50

渗透测试工具：SQLmap安装教程及使用

在渗透测试的世界里，SQL注入攻击无疑是最常见且最具威胁的安全漏洞之一。幸运的是，SQLmap 这个强大的自动化工具，能够帮助我们快速识别和利用这些漏洞。如果你也想了解如何用 SQLmap 进行渗透测试，那么这篇文章就是为你准备的&…...

编程日记 2025/5/4 4:55:13

【ISO 14229-1:2023 UDS诊断全量测试用例清单系列：第十四节】

ISO 14229-1:2023 UDS诊断服务测试用例全解析（CommunicationControl_0x28服务） 作者：车端域控测试工程师 更新日期：2025年02月14日 关键词：UDS协议、0x28服务、通信控制、ISO 14229-1:2023、ECU测试 一、服务功能概述…...

编程日记 2025/5/10 6:27:36

WEB安全--SQL注入--INTO OUTFILE

一、INTO OUTFILE 函数语法： SELECT column1, column2, INTO OUTFILE file_path FROM your_table WHERE your_conditions; 使用此方式在SQL注入的过程中可以： 1、上传shell得到数据库的后端的操作权限 2、爆出数据库的信息 二、使用该函数的条件&#…...

编程日记 2025/5/10 5:49:24

【C语言 】C语言 桌游开发数字竞拍（源码）【独一无二】

👉博__主👈：米码收割机 👉技__能👈：C/Python语言 👉专__注👈：专注主流机器人、人工智能等相关领域的开发、测试技术。 【C语言 】C语言 桌游开发数字竞拍（源码…...

编程日记 2025/5/10 6:40:01

开源赋能，智造未来：Odoo+工业物联网，解锁智能工厂新范式——以真实案例解读制造业数字化转型的降本增效密码

工业物联网的机遇与挑战：为什么企业需要Odoo？ 《中国智能制造发展研究报告2023》指出，85%的制造企业已启动数字化转型，但超60%面临“数据孤岛、系统割裂、成本高企”的痛点[1]。传统ERP系统难以实时对接产线设备，而定…...

编程日记 2025/5/7 12:15:57

在分布式场景下可以使用synchronized加锁么？

首先说结论，在分布式系统中，单纯使用 Java 中的 synchronized 关键字是无法满足需求的，下面从 synchronized 的作用原理、在分布式场景下的局限性以及替代方案等方面详细分析。 一、synchronized 的作用原理 在 Java 中，synchron…...

编程日记 2025/5/10 3:08:07

DeepSeek从入门到精通：提示词设计的系统化指南

目录 引言：AIGC时代的核心竞争力 第一部分 基础篇：提示词的本质与核心结构 1.1 什么是提示词？ 1.2 提示词的黄金三角结构 第二部分 类型篇：提示词的六大范式 2.1 提示语的本质特征 2.2 提示语的类型 2.2.1 指令型提示词 …...

编程日记 2025/5/10 5:54:40

C# 运算符

总目录 前言 在C#中，运算符是用于执行特定操作的符号。它们可以用于处理变量、常量或其他表达式。C# 提供了丰富的运算符集合，用于执行各种操作，如算术运算、逻辑判断、位操作等。了解这些运算符及其使用方式对于编写高效且功能强大的C#程序…...

编程日记 2025/5/10 5:34:14

duckdb导出Excel和导出CSV速度测试

运行duckdb数据库 D:>duckdb v1.2.0 5f5512b827 Enter “.help” for usage hints. Connected to a transient in-memory database. Use “.open FILENAME” to reopen on a persistent database. 生成模拟数据，10个列，100万行数据； --…...

编程日记 2025/5/9 17:34:48

pt-＞onnx-＞rknn(量化) step by step FAQ

文档修订中... 1.pt->onnx 这个转换是在yolov11的docker环境做的转换。非常简单。 #!/usr/bin/env python3 # -*- coding: utf-8 -*- # 获取当前脚本文件所在目录的父目录，并构建相对路径 import os import sys current_dir os.path.dirname(os.path.abspath…...

编程日记 2025/5/10 6:09:06

Apollo 9.0 速度动态规划决策算法 – path time heuristic optimizer

文章目录 1. 动态规划2. 采样3. 代价函数3.1 障碍物代价3.2 距离终点代价3.3 速度代价3.4 加速度代价3.5 jerk代价 4. 回溯 这一章将来讲解速度决策算法，也就是SPEED_HEURISTIC_OPTIMIZER task里面的内容。Apollo 9.0使用动态规划算法进行速度决策，从类名…...

编程日记 2025/5/10 5:16:33

利用AI智能体创建云端文档知识库并集成第三方数据源（上）

许多开发者在管理和集成多种云端的数据源时经常面对各种各样的困难，所以希望能够构建一个聊天机器人来协调这些数据源，针对业务问题并提供全面的答案。本文介绍了一种解决方案，帮助大家开发一个能够从文档和数据库中回答查询的聊天机器人&…...

编程日记 2025/5/9 17:36:49

Cursor AI开发微信小程序教程

1. 准备工作 在开始开发之前，需要完成以下准备工作： 1.1 安装微信开发者工具 前往微信开发者工具官网下载并安装适合操作系统的开发者工具。注册微信小程序账号，登录微信公众平台（https://mp.weixin.qq.com）&#…...

编程日记 2025/5/10 5:59:48

2025常用的SEO工具有哪些？

在互联网时代，如何让自己的网站或内容脱颖而出，成为许多企业和个人站长们最关注的问题。而在这个过程中，SEO（搜索引擎优化）作为一种有效的提升网站曝光度和吸引流量的手段，已经成为了网站运营的核心之一。对…...

编程日记 2025/5/10 4:44:50

支持直接升级到21c的 Oracle 数据库版本

一、支持直接升级的版本 可以从以下版本直接升级到新版本： • 19c (所有版本) • 18c (所有版本) • 12c Release 2 (12.2) 升级到最新Oracle数据库版本必须采用的路径取决于当前数据库的版本号。 如果当前的Oracle数据库版本早于12.2 版，则无法直接将…...

编程日记 2025/5/10 6:47:40

线程池-抢票系统性能优化

文章目录 引言-购票系统线程池购票系统-线程池优化 池化 vs 未池化 引言-购票系统 public class App implements Runnable {private static int tickets 100;private static int users 10000;private final ReentrantLock lock new ReentrantLock(true);public void run() …...

编程日记 2025/5/10 5:09:20

回顾Golang的Channel与Select第一篇

深入解析Golang Channel与Select：并发编程的艺术与哲学 一、通信顺序进程（CSP）的Go实现 Go语言创始人Rob Pike将CSP理论具象化为channel原语，实现了"不要通过共享内存来通信，而要通过通信来共享内存"的哲学…...

编程日记 2025/5/8 22:11:00

乐理笔记（持续更新）

单音与音程 单音：由一个音组成。 音程：由两个音组成，表示两个音之间的音高距离。 如何数音程： 单音程：9 - X，性质相反。例如，9度音程减去某个数，性质会相反。 复音程&#xff1a…...

编程日记 2025/5/9 14:58:27

FastExcel + Java：打造高效灵活的Excel数据导入导出解决方案

作者：后端小肥肠 🍇 我写过的文章中的相关代码放到了gitee，地址：xfc-fdw-cloud: 公共解决方案 🍊 有疑问可私信或评论区联系我。 🥑 创作不易未经允许严禁转载。 姊妹篇： 基于AOP的数据字典实现…...

编程日记 2025/5/10 5:54:40

【数据结构入门】一、数组

一、数组的概念 数组：一种由相同类型的数据元素组成的基本数据类型，为引用类型 二、数据的顺序 这里很奇怪，讲了一个寻址函数，就是怎样用坐标求该元素的内存地址。说实话我不知道求这个能干什么，但是感觉还挺好玩的…...

编程日记 2025/5/10 6:28:40

编码格式大全解释以及相关编码特性

目录 说明: 1. Base64 Base64编码的字符集通常包括： Base64的工作原理： Base64编码在安全渗透中的应用场景 常见的Base64编码绕过场景 如何防范Base64绕过攻击 2. URL编码（Percent Encoding） URL编码与安全渗透的关系 示…...

编程日记 2025/5/9 14:25:59

正则表达式（Regular expresssion）

正则表达式 匹配单次 . ：匹配任意一个字符 [ ] ：匹配[ ]里举例的任意一个字符 /d ：匹配数字0-9 /D ：匹配非数字 /s ：匹配空白或tab建 /S ：匹配非空白 /w ：…...

编程日记 2025/5/10 4:39:47

JavaScript 发起网络请求 axios、fetch、async / await

目录 fetch 发送 GET 请求（fetch） 发送 POST 请求（fetch） 处理后台异常响应 async / await async await 发送 GET 请求（async / await fetch） 发送 POST 请求（async / await fetch&…...

编程日记 2025/5/10 5:23:28

安装OpenJDK21(linux、macos)

文章目录 安装OpenJDK21java21linux下安装配置mac下安装 安装OpenJDK21 java21 封神！Java 21正式发布了，迎来了史诗级新特性，堪称版本最强！！！ 视频链接：https://www.bilibili.com/video/BV1E8…...

编程日记 2025/5/7 20:54:17

Java面试宝典：说下Spring Bean的生命周期？

Java面试宝典专栏范围：JAVA基础，面向对象编程（OOP），异常处理，集合框架，Java I/O，多线程编程，设计模式，网络编程，框架和工具等全方位面试题详解 每…...

编程日记 2025/5/6 20:40:57

k8s向容器内传文件与下载文件

1、下载&#xff1a; kubectl cp <namespace>/<pod-name>:<container-path> <local-path>示例&#xff1a; kubectl cp mynamespace/mypod:/tmp/testfile.txt ./testfile.txt如果 Pod 中有多个容器&#xff0c;可以通过 -c 标志指定容器: kubectl c…...

编程日记 2025/5/6 17:48:04

A4988一款带转换器和过流保护的 DMOS 微步驱动器的使用方式

A4988是一款带转换器和过流保护的 DMOS 微步驱动器&#xff0c;用于驱动双极步进电动机。它支持全、半、1/4、1/8 及 1/16 步进模式&#xff0c;输出驱动性能可达 35 V 及 2 A。其特点包括简单的步进和方向控制接口、可调电位器调节最大电流输出、自动电流衰减模式检测/选择以及…...

编程日记 2025/5/7 9:46:59

Elasticsearch+Logstash+Kibana可视化集群部署

文章目录 1.组件介绍简述2.集群规划3.Es组件部署4.Logstash组件部署5.Kibana组件部署6.Kibana的基础使用 1.组件介绍简述 Elasticsearch&#xff1a;开源实时分布式搜索和分析引擎&#xff0c;支持大规模数据存储和高吞吐量&#xff0c;提供丰富的搜索功能和可扩展性。 Logsta…...

编程日记 2025/5/6 10:03:29

数据结构之二叉树

数据结构之二叉树 数据结构之二叉树1. 什么是二叉树&#xff1f;2. 基本概念3. 二叉树的基本形态4. 二叉树的性质5. 特殊二叉树6. 二叉树的存储7. 二叉树的遍历7.1 前序遍历7.2 中序遍历7.3 后序遍历7.4 层次遍历 8. 应用场景9. 实例代码9.1 示例树结构9.2 输出结果 数据结构之…...

编程日记 2025/5/4 7:05:36

华为云+硅基流动使用Chatbox接入DeepSeek-R1满血版671B

华为云硅基流动使用Chatbox接入DeepSeek-R1满血版671B 硅基流动 1.1 注册登录 1.2 实名认证 1.3 创建API密钥 1.4 客户端工具 OllamaChatboxCherry StudioAnythingLLM 资源包下载&#xff1a; AI聊天本地客户端 接入Chatbox客户端 点击设置 选择SiliconFloW API 粘贴1.3创…...

编程日记 2025/5/7 7:30:53

《图解设计模式》笔记（十）用类来表现

二十二、Command模式：命令也是类 一个类调用某方法，虽然调用结果会反映在对象的状态中，但不会留下工作的历史记录。 若有一个类表示“请进行这项工作”的“命令”，每一项想做的工作就不再是“方法的调用”这种动态处理了，而是一个表示命令的类的实例，即可以用“物”来表…...

编程日记 2025/5/7 9:07:10

Scrapy：任务队列底层设计详解

Scrapy 中队列设计详解 1. 概述 Scrapy 的队列系统是其调度器&#xff08;Scheduler&#xff09;的核心组件之一&#xff0c;负责存储和管理待抓取的请求。Scrapy 实现了两种类型的队列&#xff1a; 内存队列&#xff1a;请求存储在内存中&#xff0c;重启后数据丢失磁盘队列…...

编程日记 2025/5/9 6:28:42

zola + github page,用 workflows 部署

之前的Zola都是本地build之后&#xff0c;再push到github上&#xff0c;这种方式很明显的弊端就是只能在本地编辑&#xff0c;而不能通过github编辑&#xff0c;再pull到本地&#xff0c;缺乏了灵活性。因此将zola用workflows来部署。 repo地址&#xff1a;https://github.com/…...

编程日记 2025/5/6 5:25:07

pytest测试专题 - 1.2 如何获得美观的测试报告

<< 返回目录 1 pytest测试专题 - 1.2 如何获得美观的测试报告 1.1 背景 虽然pytest命令的报文很详细&#xff0c;用例在执行调试时还算比较方便阅读和提取失败信息&#xff0c; 但对于大量测试用例运行时&#xff0c;可能会存在以下不足 报文被冲掉测试日志没法归档 …...

编程日记 2025/5/6 22:45:12

关闭浏览器安全dns解决访问速度慢的问题

谷歌浏览器加载速度突然变慢了&#xff1f;检查安全DNS功能(DoH)是否被默认开启。 谷歌浏览器在去年已经推出安全DNS功能(即DoH) , 启用此功能后可以通过加密的DNS增强网络连接安全性。例如查询请求被加密后网络运营商将无法嗅探用户访问的地址&#xff0c;因此对于增强用户的…...

编程日记 2025/5/5 3:29:08

今日AI和商界事件(2025-02-14)

今日AI大事件主要包括以下几个方面&#xff1a; 一、苹果新品预告 事件概述&#xff1a;苹果CEO蒂姆库克在社交媒体发布7秒视频&#xff0c;配文“准备好迎接家庭的新成员”&#xff0c;并宣布2月19日将有新品发布。知名科技记者马克古尔曼称&#xff0c;新款低端iPhone SE将…...

编程日记 2025/5/6 14:11:08

【黑马点评优化】1-使用JWT登录认证+redis实现自动续期

1-使用JWT登录认证redis实现自动续期 0 前言1 原先的redis实现登录鉴权2 JWT登录认证Redis自动续期2.1 认证&#xff08;identification&#xff09;授权 &#xff08;authorization&#xff09;和鉴权&#xff08;Authorization&#xff09;2.1.1 认证&#xff08;identificat…...

编程日记 2025/5/3 20:29:38

一个让Stable Diffusion更稳定、更易用的Github开源项目

2023除了ChatGPT大火&#xff0c;Stable Diffusion同样也是非常火热&#xff0c;Stable Diffusion是一个Github开源项目&#xff0c;很多爱好者都会本地安装&#xff0c;但面对一些初学者来说&#xff0c;在安装、配置和使用过程中还是会经常出现很多问题&#xff0c;特别不了解…...

编程日记 2025/5/3 6:02:42

Mac之JDK安装

Mac之JDK安装 一.安装 jdk 打开终端输入命令:java -version 查看是否已安装 JDK Oracle 官方下载地址 根据自己Mac 系统安装 查看 Mac 系统&#xff0c;打开中断命令&#xff0c;输入: uname -a Compressed Archive 是压缩文档&#xff0c;下载的是一个 .tar.gz 压缩包 D…...

编程日记 2025/5/6 15:08:48

深入Flask：如何优雅地处理HTTP请求与响应

哈喽，大家好，我是木头左！ 本文将带你深入了解如何在Flask中优雅地处理HTTP请求和响应，让你的应用更加高效、安全和用户友好。 创建一个简单的Flask应用 让从创建一个最简单的Flask应用开始： from flask import Flaskapp = Flask(__name__)@app.route(/) def...

编程日记 2025/5/9 12:46:12

kron积计算mask类别矩阵

文章目录 1. 生成类别矩阵如下2. pytorch 代码3. 循环移动矩阵 1. 生成类别矩阵如下 2. pytorch 代码 import torch import torch.nn as nn import torch.nn.functional as Ftorch.set_printoptions(precision3, sci_modeFalse)if __name__ "__main__":run_code 0…...

编程日记 2025/5/4 4:25:12

Redis实现消息队列

什么是消息列队。 消息队列是一种应用间的异步协作机制&#xff0c;同时消息队列中间件是分布式系统中重要的组件&#xff0c;主要解决应用耦合&#xff0c;异步消息&#xff0c;流量削峰等问题。实现高性能&#xff0c;高可用&#xff0c;可伸缩和最终一致性架构。市面上的 M…...

编程日记 2025/5/6 10:04:05

vue+springboot+webtrc+websocket实现双人音视频通话会议

前言 最近一些时间我有研究&#xff0c;如何实现一个视频会议功能&#xff0c;但是找了好多资料都不太理想&#xff0c;最终参考了一个文章 WebRTC实现双端音视频聊天&#xff08;Vue3 SpringBoot&#xff09; 只不过&#xff0c;它的实现效果里面只会播放本地的mp4视频文件&…...

编程日记 2025/5/4 2:07:50

【免费送书活动】《MySQL 9从入门到性能优化（视频教学版）》

本博主免费赠送读者3本书&#xff0c;书名为《MySQL 9从入门到性能优化&#xff08;视频教学版&#xff09;》。 《MySQL 9从入门到性能优化&#xff08;视频教学版&#xff09;&#xff08;数据库技术丛书&#xff09;》(王英英)【摘要 书评 试读】- 京东图书 这本书已经公开…...

编程日记 2025/5/3 2:51:15