当前位置：首页 > news >正文

DuckDB：密钥管理器及其应用

news 来源：原创 2025/7/4 13:09:56

密钥管理器(Secrets Manager)为所有使用密钥的后端提供了统一的用户界面。密钥信息可以被限定范围，因此不同的存储前缀可以有不同的密钥信息，例如允许在单个查询中连接跨组织的数据。密钥也可以持久化，这样就不需要在每次启动DuckDB时都指定它们。

密钥类型

在DuckDB中是密钥分类管理的，它们的类型标识它们用于哪个服务。目前提供的云服务如下：

AWS S3 (S3), through the httpfs extension
Azure Blob Storage (AZURE), through the azure extension
Cloudflare R2 (R2), through the httpfs extension
Google Cloud Storage (GCS), through the httpfs extension
Hugging Face (HUGGINGFACE), through the httpfs extension
MySQL (MYSQL), through the mysql extension
PostgreSQL (POSTGRES), through the postgres extension

对于每种类型，都有一个或多个“密钥提供程序”来指定如何创建密钥。secret也可以有一个可选的作用域，它是secret应用的文件路径前缀。在为路径获取密钥时，将密钥范围与路径进行比较，并返回与路径匹配的密钥。在有多个匹配密钥的情况下，选择最长的前缀。

密钥管理

可以使用CREATE SECRET SQL语句创建密钥。密钥可以是暂时的，也可以是持久的。默认情况下使用临时密钥，并且在DuckDB实例的生命周期内存储在内存中，类似于以前的设置工作方式。持久密钥以未加密的二进制格式存储在~/.duckdb/stored_secrets目录中。在启动DuckDB时，将从该目录读取持久密钥并自动加载。

临时密钥

要创建一个临时的无作用域secret来访问S3，我们现在可以使用以下命令：

CREATE SECRET my_secret (TYPE S3,KEY_ID 'my_secret_key',SECRET 'my_secret_value',REGION 'my_region'
);

注意，我们在这里隐式地使用默认的CONFIG秘密提供程序。

持久密码

为了在DuckDB数据库实例之间持久化秘密，我们现在可以使用CREATE PERSISTENT SECRET命令，例如：

CREATE PERSISTENT SECRET my_persistent_secret (TYPE S3,KEY_ID 'my_secret_key',SECRET 'my_secret_value'
);

默认情况下，这将把秘密（未加密）写入~/.duckdb/stored_secrets目录中。修改secrets目录，命令如下：

SET secret_directory = 'path/to/my_secrets_dir';

注意，设置home_directory配置选项的值对密钥文件的位置没有影响。

创建同类型多个密钥

如果一个服务类型存在两个密钥，则可以使用作用域来决定应该使用哪一个。例如:

CREATE SECRET secret1 (TYPE S3,KEY_ID 'my_secret_key1',SECRET 'my_secret_value1',SCOPE 's3://my-bucket'
);CREATE SECRET secret2 (TYPE S3,KEY_ID 'my_secret_key2',SECRET 'my_secret_value2',SCOPE 's3://my-other-bucket'
);

现在，如果用户从s3://my-other-bucket/something查询某些内容，则会自动为该请求选择secret secret2。要查看正在使用的是哪个密钥，可以使用which_secret标量函数，它接受路径和密钥类型作为参数：

FROM which_secret('s3://my-other-bucket/file.parquet', 's3');

查询密钥

可以使用内置的表生成函数列出秘密，例如，通过使用duckdb_secrets（）表函数：

FROM duckdb_secrets();

删除密钥

可以使用DROP SECRET语句删除密钥，例如：

DROP PERSISTENT SECRET my_persistent_secret;

密钥应用示例

mysql扩展允许DuckDB直接从运行的mysql实例中读写数据。数据可以直接从底层MySQL数据库查询。数据可以从MySQL表加载到DuckDB表，反之亦然。下面通过mysql扩展介绍如何应用密钥。

安装加载扩展

通过下面命令安装并加载mysql扩展：

INSTALL mysql;
LOAD mysql;

直接附加mysql

为了让DuckDB访问mysql，可以通过attach命令附加mysql数据库：

ATTACH 'host=localhost user=root port=0 database=mysql' AS mysqldb (TYPE MYSQL);
USE mysqldb;

更多连接参数可以参考官网文档，这里直接硬代码编写连接信息。下面通过密钥管理器实现连接。

密钥管理器配置

首先创建MySQL密钥管理器：

CREATE SECRET (TYPE MYSQL,HOST '127.0.0.1',PORT 0,DATABASE mysql,USER 'mysql',PASSWORD ''
);

当调用ATTACH时，将使用来自密钥的信息。我们可以将连接字符串保留为空，以使用存储在密钥管理器中的所有信息。

ATTACH '' AS mysql_db (TYPE MYSQL);

我们可以使用连接字符串来覆盖单个选项。例如，要在仍然使用相同凭据的情况下连接到不同的数据库，我们可以按以下方式仅覆盖数据库名称。

ATTACH 'database=my_other_db' AS mysql_db (TYPE MYSQL);

缺省情况下，创建的密钥是临时的。可以使用CREATE PERSISTENT SECRET命令持久化秘密。持久秘密可以跨会话使用。

多个密钥

命名密钥可以用来管理到多个MySQL数据库实例的连接，可以在创造时给密钥赋予名称。

CREATE SECRET mysql_secret_one (TYPE MYSQL,HOST '127.0.0.1',PORT 0,DATABASE mysql,USER 'mysql',PASSWORD ''
);# 使用Attach命令时显示引用
ATTACH '' AS mysql_db_one (TYPE MYSQL, SECRET mysql_secret_one);

总结

DuckDB 的密码管理器（Secrets Manager）作用是管理诸如数据库连接密码、API 密钥、令牌等敏感信息。它提供了相对安全的方式来存储、访问这些信息，避免在代码或配置文件中以明文形式暴露敏感数据，从而增强了数据安全性。例如，在连接数据库或者调用外部服务时，可以通过这个管理器来安全地获取和使用所需的密钥或密码。