当前位置: 首页 > news >正文

如何将表中存储的 JSON 数据转换为新表

如何将表中存储的 JSON 数据转换为新表

引言

本文介绍如何使用 PostgreSQL 的 JSON 函数,将 log_table 表中的 param_json 字段(存储为 JSON 数组)转换为一张新的表,并提取出具体的字段值。

表结构说明

假设 log_table 表的结构如下:

  • record_id: 主键
  • param_json: 存储 JSON 数组的字段,类型为 character varying

param_json 字段中的 JSON 数据示例如下:

[{"item_id": 1001,"code": "ABC123","resource_id": "RES001","flag": "1","external_id": "EXT001","serial_number": "SN001","name": "Test Device 01","internal_id": "INT001","network_id": "NET001","location": "Location A","table_name": "TABLE_A"}
]

步骤

1. 确保 param_json 字段为 jsonb 类型

ALTER TABLE log_table
ALTER COLUMN param_json TYPE jsonb USING param_json::jsonb;

2. 使用 jsonb_array_elements 函数展开 JSON 数组

SELECT record_id AS original_id,param_json->>'item_id' AS item_id,param_json->>'code' AS code,param_json->>'resource_id' AS resource_id,param_json->>'flag' AS flag,param_json->>'external_id' AS external_id,param_json->>'serial_number' AS serial_number,param_json->>'name' AS name,param_json->>'internal_id' AS internal_id,param_json->>'network_id' AS network_id,param_json->>'location' AS location,param_json->>'table_name' AS table_name
FROM log_table,jsonb_array_elements(param_json) AS param_json;

3. 处理无效的 JSON 数据

SELECT record_id AS original_id,param_json->>'item_id' AS item_id,param_json->>'code' AS code,param_json->>'resource_id' AS resource_id,param_json->>'flag' AS flag,param_json->>'external_id' AS external_id,param_json->>'serial_number' AS serial_number,param_json->>'name' AS name,param_json->>'internal_id' AS internal_id,param_json->>'network_id' AS network_id,param_json->>'location' AS location,param_json->>'table_name' AS table_name
FROM log_table,jsonb_array_elements(CASE WHEN param_json::jsonb IS NOT NULL THEN param_json::jsonb ELSE '[]'::jsonb END) AS param_json;

实际应用案例

示例数据

INSERT INTO log_table (record_id, param_json) VALUES
(1, '[{"item_id": 1001, "code": "ABC123", "resource_id": "RES001", "flag": "1", "external_id": "EXT001", "serial_number": "SN001", "name": "Test Device 01", "internal_id": "INT001", "network_id": "NET001", "location": "Location A", "table_name": "TABLE_A"}]');

执行查询

SELECT record_id AS original_id,param_json->>'item_id' AS item_id,param_json->>'code' AS code,param_json->>'resource_id' AS resource_id,param_json->>'flag' AS flag,param_json->>'external_id' AS external_id,param_json->>'serial_number' AS serial_number,param_json->>'name' AS name,param_json->>'internal_id' AS internal_id,param_json->>'network_id' AS network_id,param_json->>'location' AS location,param_json->>'table_name' AS table_name
FROM log_table,jsonb_array_elements(CASE WHEN param_json::jsonb IS NOT NULL THEN param_json::jsonb ELSE '[]'::jsonb END) AS param_json;

查询结果

 original_id | item_id |  code  | resource_id | flag | external_id | serial_number |      name      | internal_id | network_id | location   | table_name
-------------+---------+--------+-------------+------+-------------+---------------+----------------+-------------+------------+------------+------------1 |    1001 | ABC123 | RES001      | 1    | EXT001      | SN001         | Test Device 01 | INT001      | NET001     | Location A | TABLE_A

创建新表并插入数据

创建新表

CREATE TABLE new_table (original_id INT,item_id INT,code VARCHAR(50),resource_id VARCHAR(50),flag VARCHAR(1),external_id VARCHAR(50),serial_number VARCHAR(50),name VARCHAR(100),internal_id VARCHAR(50),network_id VARCHAR(50),location VARCHAR(50),table_name VARCHAR(50)
);

插入数据

INSERT INTO new_table (original_id, item_id, code, resource_id, flag, external_id, serial_number, name, internal_id, network_id, location, table_name)
SELECT record_id AS original_id,param_json->>'item_id' AS item_id,param_json->>'code' AS code,param_json->>'resource_id' AS resource_id,param_json->>'flag' AS flag,param_json->>'external_id' AS external_id,param_json->>'serial_number' AS serial_number,param_json->>'name' AS name,param_json->>'internal_id' AS internal_id,param_json->>'network_id' AS network_id,param_json->>'location' AS location,param_json->>'table_name' AS table_name
FROM log_table,jsonb_array_elements(CASE WHEN param_json::jsonb IS NOT NULL THEN param_json::jsonb ELSE '[]'::jsonb END) AS param_json;

总结

通过上述步骤,我们可以将 log_table 表中的 param_json 字段中的 JSON 数组展开为多行,并提取出具体的字段值,然后将其插入到新表 new_table 中。这使得数据处理更加灵活和方便。

参考资料

  • PostgreSQL JSON Functions

希望这篇博客对你有所帮助!如果有任何问题或需要进一步的帮助,请随时联系。


相关文章:

如何将表中存储的 JSON 数据转换为新表

如何将表中存储的 JSON 数据转换为新表 引言 本文介绍如何使用 PostgreSQL 的 JSON 函数,将 log_table 表中的 param_json 字段(存储为 JSON 数组)转换为一张新的表,并提取出具体的字段值。 表结构说明 假设 log_table 表的结…...

鸿蒙开发——使用ArkTs处理XML文本

1、概 述 XML(可扩展标记语言)是一种用于描述数据的标记语言,旨在提供一种通用的方式来传输和存储数据,特别是Web应用程序中经常使用的数据。XML并不预定义标记。因此,XML更加灵活,并且可以适用于广泛的应…...

借助vector实现进制转换详解

进制转换,没什么可说的,大一级别的水平,不过在某些考研题目中可能会涉及到顺序栈的实现,本贴不使用顺序栈,用STL里面的vector模拟一下:关键在于想清楚【除留取余】的逻辑,至于用什么结构存放中间…...

混合云策略在安全领域受到青睐

Genetec 发布了《2025 年物理安全状况报告》,该报告根据超过 5,600 名该领域领导者(其中包括 100 多名来自澳大利亚和新西兰的领导者)的回应,揭示了物理安全运营的趋势。 报告发现,澳大利亚和新西兰的组织采用混合云策…...

Jackson - 序列化和反序列化Java集合对象

在本文中,我将向您展示如何使用Jackson API来序列化和反序列化Java集合对象,如List、Set和Map。 我们将通过具体的示例演示如何利用ObjectMapper类的方法进行这些操作。 主要内容 添加Maven依赖项使用Jackson API进行List序列化使用Jackson API进行Se…...

No.26 笔记 | 信息收集与工具实践指南

渗透测试的第一步:信息收集背后的“侦察艺术” 在网络安全的世界里,信息就是武器。 无论是追踪隐藏的漏洞,还是找到不被注意的入口,信息收集就像一场现代化的“谍战片”。而作为渗透测试的开场白,信息收集不仅考验技…...

使用倒排索引法解决分库分表后查询问题

数据进行了分库分表后,要查询某一条数据的信息,事先是不清楚该条数据在哪台服务器上的,这时候可以使用倒排索引法,将数据的关键信息存储到Redis中,然后从Redis中获取到数据所在的服务器信息和数据ID。 Redis倒排索引示…...

Linux操作系统--文件的重定向以及文件缓冲区

目录 前言 一、文件描述符的分配规则 二、重定向 三、系统中的重定向接口 1、dup2()介绍 2、dup2()使用 1)输出重定向和追加重定向 2)输入重定向 四、文件缓冲区 1、定义 2、缓冲区刷新的条件 1)文件缓冲区存在的意义 2&…...

Linux 远程连接服务

远程连接服务器简介 什么是远程连接服务器 远程连接服务器通过文字或图形接口方式来远程登录系统,让你在远程终端前登录linux主机以取得可操 作主机接口(shell),而登录后的操作感觉就像是坐在系统前面一样。 远程连接服务器的功…...

Chrome控制台 网站性能优化指标一览

打开chrome-》f12/右键查看元素-》NetWrok/网络 ctrlF5 刷新网页,可以看到从输入url到页面资源请求并加载网页,用于查看资源加载,接口请求,评估网页、网站性能等,如下图: request、stransferred、resour…...

【SpringBoot】使用IDEA创建SpringBoot项目

1、使用SpringBoot脚手架创建 我们使用SpringBoot的脚手架Spring Initializr创建,如图所示: 2、选择SpringBoot版本 最开始做项目时候,组长说创建一个 springboot 2.5.4 的项目,mysql使用 5.6.X ,maven使用是3.6.X…...

Mysql锁

锁的分类 基于锁的属性分类:共享锁、排它锁。基于锁的粒度分类:表锁、行锁、记录锁、间隙锁、临键锁。基于锁的状态分类:意向共享锁、意向排它锁。 排他锁与任何的锁都不兼容,共享锁仅和共享锁兼容。由于MVCC的存在,…...

深入浅出:PHP中的数据类型全解析

文章目录 引言理解数据类型标量类型整数 (integer)浮点数 (float)布尔值 (boolean)字符串 (string) 复合类型数组 (array)对象 (object)资源 (resource)NULL 特殊类型Callable强制类型转换 实战案例总结与展望参考资料 引言 在编程的世界里,数据类型是构建任何应用…...

030.随机指纹chromium编译-修改windows操作系统版本

一、目标: 1.了解js是如何获取windows版本的。2.如何从c层面修改chromium源码,修改win系统版本 二、js是如何获取windows系统版本: 将下面的js复制到F12控制台 async function detectWindowsVersion() {let userAgent navigator.userAge…...

IP 协议

IP协议 一、介绍1、IP协议2、IPv43、IPv6 二、主要功能三、协议格式1、示意图2、说明 四、网段划分1、介绍2、目的3、方法4、步骤 五、基于类别的IP地址分配方式1、示意图2、范围 六、CIDR1、介绍2、组成3、优点4、示意图 七、子网掩码1、介绍2、功能3、表示方法4、CIDR表示法5…...

【Docker】创建Docker并部署Web站点

要在服务器上创建Docker容器,并在其中部署站点,你可以按照以下步骤操作。我们将以Flask应用为例来说明如何完成这一过程。 1. 准备工作 确保你的服务器已经安装了Docker。如果没有,请根据官方文档安装: Docker 安装指南 2. 创…...

【C语言的奥秘9】数据类型总结

一、数据类型的介绍 数据类型是按被定义变量的性质,表示形式,占据存储空间的多少,构造特点来划分的。在C语言中,数据类型可分为:基本数据类型,构造数据类型,指针类型,空类型四大类。 基本数据类…...

EasyExcel注解使用

上接《Springboot下导入导出excel》,本篇详细介绍 EasyExcel 注解使用。 1. ExcelProperty value:指定写入的列头,如果不指定则使用成员变量的名字作为列头;如果要设置复杂的头,可以为value指定多个值order&#xff…...

什么是多模态和模态

文章目录 前言一、定义1. 模态 (Modal)2. 非模态 (Non-modal) 二、GUI中1. 模态(Modal)对话框2. 非模态(Modeless)对话框 三、模态 vs 非模态 的对比四、何时使用模态和非模态对话框?五、Qt 中 exec() 与 show() 的区别…...

【系统架构设计师】真题论文: 论NoSQL数据库技术及其应用(包括解题思路和素材)

更多内容请见: 备考系统架构设计师-专栏介绍和目录 文章目录 真题题目(2018年 试题4)解题思路论文素材参考真题题目(2018年 试题4) 随着互联网 web2.0 网站的兴起,传统关系数据库在应对 web2.0 网站,特别是超大规模和高并发的 web2.0 纯动态 SNS 网站上已经显得力不从心…...

TCP/IP 协议图--计算机网络体系结构分层

计算机网络体系结构分层 计算机网络体系结构分层 不难看出,TCP/IP 与 OSI 在分层模块上稍有区别。OSI 参考模型注重“通信协议必要的功能是什么”,而 TCP/IP 则更强调“在计算机上实现协议应该开发哪种程序”...

【Android】Intent类详解

目录 引言 一、Intent的定义 二、Intent的用途 三、Intent的七大属性 四、Intent的种类 4.1 显式Intent 4.2 隐式Intent 五、代码示例 5.1 activity_intent.xml 5.2 IntentActivity.java 5.3 AndroidManifest.xml 5.4 实现效果 结语 引言 Intent在Android开发…...

【LeetCode刷题之路】64.最小路径和 (动态规划入门)

LeetCode刷题记录 🌐 我的博客主页:iiiiiankor🎯 如果你觉得我的内容对你有帮助,不妨点个赞👍、留个评论✍,或者收藏⭐,让我们一起进步!📝 专栏系列:LeetCode…...

Facebook:筑牢隐私安全堡垒,守护社交净土

在全球社交媒体平台中,Facebook一直是风靡全球的佼佼者。然而,随着数字化信息的迅速膨胀,用户隐私保护的重要性日益凸显。面对用户对数据安全性的高度重视,Facebook致力于通过一系列措施来确保隐私保护,守护每位用户的…...

MongoDB 索引类型详解

MongoDB 索引类型详解 在 MongoDB 中,索引是提高查询效率、优化数据库性能的重要手段。MongoDB 支持多种类型的索引,每种索引类型适用于不同的查询需求和场景。本文将详细介绍 MongoDB 中几种常见的索引类型、示例及其限制。 1. 单字段索引&#xff08…...

国家信息中心单志广:智慧城市转型中的数据要素价值释放

今日,由中国电信集团主办的2024数字科技生态大会数据要素合作论坛在广州市举办。国家发改委国家信息中心信息化和产业发展部主任单志广在论坛发展主旨演讲:智慧城市转型中的数据要素价值释放,主要包括发展新形势、数据新要素、数据新产权、数…...

底层逻辑之:欧拉-拉格朗日方程(Euler-Lagrange equations)变分法(Calculus of Variations)的核心思想

0前言: 0.1 17世纪的泛函(Functional)分析与变分法(Calculus of Variations) 在17世纪,数学家们开始遇到一些需要处理函数集合的问题,这些问题涉及到函数的极值、曲线的长度、曲面的面积等。这…...

2024-12-03OpenCV图片处理基础

OpenCV图片处理基础 OpenCV的视频教学:https://www.bilibili.com/video/BV14P411D7MH 1-OpenCV摄像头读取 OpenCV使用摄像头读取图片帧,点击S保存当前帧到指定文件夹,点击Q关闭窗口,点击其他按钮打印按钮的值 要实现这个功能&…...

【汇编语言】标志寄存器(二) —— 标志位驱动的计算:ADC、SBB 和 CMP 的巧妙应用

前言 📌 汇编语言是很多相关课程(如数据结构、操作系统、微机原理)的重要基础。但仅仅从课程的角度出发就太片面了,其实学习汇编语言可以深入理解计算机底层工作原理,提升代码效率,尤其在嵌入式系统和性能优…...

Java刷题训练第一期

个人主页:手握风云 专栏:Java刷题训练营 1. 字符转ASCII码 问题描述:BoBo教KiKi字符常量或字符变量表示的字符在内存中以ASCII码形式存储。BoBo出了一个问题给KiKi,输入一个字符,输出该字符相应的ASCII码。 输入描述…...

【leetcode100】矩阵置零

1、题目描述 给定一个 m x n 的矩阵,如果一个元素为 0 ,则将其所在行和列的所有元素都设为 0 。请使用原地算法。 示例 1: 输入:matrix [[1,1,1],[1,0,1],[1,1,1]] 输出:[[1,0,1],[0,0,0],[1,0,1]] 2、初始思路 2…...

【MySQL 进阶之路】SQL 优化

6.SQL 性能分析笔记 在现代数据库的高并发环境下,SQL 查询优化成为提升系统性能和响应速度的关键。本文将总结常见的 SQL 优化策略,包括插入优化、主键设计、排序优化、GROUP BY 优化等,帮助你在面对大规模数据时,做到高效查询和…...

本地部署开源趣味艺术画板Paint Board结合内网穿透跨网络多设备在线绘画

文章目录 前言1.关于Paint Board2.本地部署paint-board3.使用Paint Board4.cpolar内网穿透工具安装5.创建远程连接公网地址6.固定Paint Board公网地址 前言 大家好,是不是每次想要在电脑上画画时,都被那些笨重的专业绘图软件搞得头大如斗呢?…...

位图(bitmap)和布隆过滤器(bloom_filter)

1.位图-Bitmap 1.1问题引入 :给40亿个不重复的无符号整数,没排过序。给一个无符号整数,如何快速判断一个数是否在这40亿个数中? 40亿个无符号整数大约16G的大小,用map或者set显然是无法支持海量数据的存储。那么我们能否不存储数…...

如何使用JDBC向数据库中插入日期数据???

在学习JDBC 的过程中很多小明有疑问在IDEA编辑器是如何插入一个日期类型的数据的,此篇一些方法希望可以帮助到你。 示例: import java.text.ParseException; import java.text.SimpleDateFormat; import java.sql.Date; import java.util.Scanner;publi…...

电子系统设计实验4 信号发生电路设计实验

一、实验目的 1. 掌握正弦信号发生器的设计方法。 2. 掌握方波发生器的设计方法。 二、实验内容及结果 1. 实验内容 设计一用于RFID读卡器测试的幅移键控发生器(ASK),其结构如图4-1所示。正弦振荡器输出频率为150kHz,幅度为3V…...

【Docker】Linux与Windows系统安装Docker+Docker上简单安装MySQL

一、Windows安装Docker 由于我在许多平台搜索Windows下安装Docker的方法,都提到了Win10家庭版无法直接安装Docker。个人电脑就是Win10家庭版,本着实践出真知的想法,个人在本机Win10家庭版实验结果为需要采用下述传统手动安装的办法&#xff…...

linux更新镜像源

镜像源地址 1 阿里云 http://mirrors.aliyun.com/ubuntu/ 2 网易源 http://mirrors.163.com/ubuntu/ 3 浙大源 http://mirrors.zju.edu.cn/ubuntu 4 中科大源 http://mirrors.ustc.edu.cn/ubuntu/ 5 清华源 http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ 更新镜像源 此处…...

HarmonyOS 5.0应用开发——UIAbility生命周期

【高心星出品】 文章目录 UIAbility组件创建AbilityUIAbility的生命周期Create状态WindowStageCreate状态Foreground和Background状态WindowStageWillDestroy状态Destroy状态 UIAbility组件 UIAbility组件是一种包含UI的应用组件,主要用于和用户交互。 UIAbility组…...

【Linux】C语言实现简易的Linux shell命令行解释器

我们要实现自己的简易的shel,先了解一下shell运行原理。 1. shell运行原理 shell从用户读入字符串"ls"。shell建立一个子进程,在子进程中运行ls程序并等待进程结束。 然后shell读取新的一行输入,建立一个新的子进程,在…...

构建个人大模型问答助手(基于Streamlit +gpt-4o/o1-mini):全面解析与实现

在当今人工智能迅猛发展的时代,构建一个个人化的大模型问答助手不仅能够提高工作效率,还能为日常生活带来便利。本篇博客将详细解析如何使用Python和Streamlit框架,结合OpenAI的API,搭建一个类似于ChatGPT的问答系统。我们将分步骤…...

10.请求拦截和响应拦截

文章目录 前言前景回顾拦截器应用请求拦截器响应拦截器测试响应拦截器原理 总结 前言 优秀的设计总是少不了丰富的扩展点, 比如spring可以自动装配, aop扩展, web模块也有拦截器, 甚至对servlet的过滤器都有封装; 再比如netty、doubbo等等都支持在数据流入流出都允许用户自定义…...

github使用SSH进行克隆仓库

SSH 密钥拉取git 查询密钥是否存在 s -al ~/.ssh这个文件夹下 known_hosts 就是存在的密钥文件 创建密钥文件 ssh-keygen -t rsa -b 4096 -C "testtt.com"-t rsa 是 rsa 算法加密 -b 是指定密钥的长度(以位为单位)。 -C 是用于给密钥添加注…...

如何成长为一名工程技术经理

https://medium.com/srivatsan-sridharan/how-to-grow-as-an-engineering-manager-687cad0bcac7 作为一名工程技术经理,你可能已经积累了丰富的团队管理经验,并展示了出色的项目管理、优先级管理和员工指导能力。然而,尽管如此,你…...

前端热门面试题目(四五六七)

1. 使用 import 时,Webpack 如何处理 node_modules 中的依赖? 依赖解析: Webpack 遇到 import 时,利用 resolve 配置查找依赖。如果是第三方依赖(node_modules),Webpack 会优先查找其主入口&…...

三、使用 Maven:命令行环境

文章目录 1. 第一节 实验一:根据坐标创建 Maven 工程1.1 Maven 核心概念:坐标1.2 实验操作1.3 Maven核心概念:POM1.4 Maven核心概念:约定的目录结构 2. 实验二:在 Maven 工程中编写代码2.1 主体程序2.2 测试程序 3. 执…...

深度学习在网络管理中的应用:智能化的新时代

网络管理在现代信息技术中占据着举足轻重的地位。随着网络规模的扩大和复杂性的增加,传统的网络管理手段已经无法满足日益增长的需求。深度学习作为人工智能的一个重要分支,通过其强大的数据处理和模式识别能力,为网络管理带来了新的契机。本…...

微信小程序日期格式化报错: iOS 下无法正常使用,iOS 只支持 “yyyy/MM/dd“、“yyyy/MM/dd HH:mm:ss“、“yyyy-

微信小程序日期格式化报错 报错内容解决办法 报错内容 at formatDate (http://127.0.0.1:10118/appservice-hotreload/pages/index/index.js?1;:103:18) new Date(“2024-11-27 15:05:23”) 在部分 iOS 下无法正常使用,iOS 只支持 “yyyy/MM/dd”、“yyyy/MM/dd H…...

第K大数求解方案

思想:利用快速排序的思想,从数组S中随机找出一个元素X,把数组分为两部分Sa和Sb。Sa中的元素大于等于X,Sb中元素小于X。这时有两种情况: 1. Sa中元素的个数小于k,则Sb中的第k-|Sa|个元素即为第k大数&#xf…...

【AI系统】MobileFormer

MobileFormer 在本文中,将介绍一种新的网络-MobileFormer,它实现了 Transformer 全局特征与 CNN 局部特征的融合,在较低的成本内,创造一个高效的网络。通过本节,让大家去了解如何将 CNN 与 Transformer 更好的结合起来…...