当前位置：首页 > news >正文

linux下 jq 截取json文件信息

news 来源：原创 2025/8/24 18:16:18

背景：通过‘登录名‘ 获取该对象的其他个人信息如名字。

环境准备：麒麟操作系统V10 + jq安装包

jq安装包获取方式：yum install jq 或使用附件中的rpm 或 git自行下载

https://github.com/stedolan/jq/releases/download/

实现过程介绍：

（1）姓名文件（a.txt）包含登录名，以逗号为分割。

（2）json文件（ryxx.json）包含登录名（即a文件的信息）、中文姓名、年龄等相关信息。

（3）将a文件中的人员信息获取其对应的真实姓名

完整脚本1：

#!/bin/bash
logins=$(tr ',' '\n' < /data/jqtest/a.txt | xargs -n1)

for dlm in $logins;do

name=$(jq -r --arg uid "$dlm" ' .[] | select ( .loginId == $uid ) | .name // "null" ' /data/jqtest/ryxx.json )

if [ -n "$name" ];then
echo "$dlm $name"
fi
done

完整脚本2【改进登录名存在空格和重复登录名问题】：

#!/bin/bash
file_a="/data/jqtest/a.txt"
file_json="/data/jqtest/ryxx.json"
mapfile -t logins < <(tr ',' '\n' < "$file_a")

for dlm in "${logins[@]}"; do
    dlm_display="${dlm:-null}" # 空值替换为 null
    name=$( jq -r --arg uid "$dlm" ' ([.[] | select(.loginId == $uid) | .name] | first) // "null" ' "$file_json" )
    echo "$dlm_display $name"
done

各代码解释：
logins=$(tr ',' '\n' < /data/jqtest/a.txt | xargs -n1)

#将a文件的，替换为换行 xargs将换行分隔的每一行内容作为单独的参数传递给后续命令

#for循环读取logins存储的每行数据

for dlm in $logins;do

#此处存在问题，a文件如存在空格会被错误分割，则可以以数组方式进行存储

【用法： mapfile -t 数组名 < <(输入命令) 】

mapfile -t logins < <(tr ',' '\n' < /data/jqtest/a.txt)
for dlm in "${logins[@]}"; do

# -z用于检查字符串是否为空，如果字符串长度为空，那么返回真。

# −n是检查字符串是否非空，如果字符串长度不为空，那么返回真。

jq -r --arg uid "$dlm" ' ([.[] | select(.loginId == $uid) | .name] | first) // "null" ' "$file_json"

#jq命令将文件中的参数传入jq命令脚本中，通过.[] 将数组展开，将对象传递给select进行判断，然后取其的name，如果name为空，通过//返回空

-r：输出原始字符串（去除 JSON 引号）

--arg：动态传参，用于将外部变量传递给 jq 脚本。

【用法：jq --arg <变量名> <值> '<jq脚本>' 】如将 dlm 传给uid变量，通过jq脚本判断json文件中.loginId 字段等于变量uid。

.[] 的作用：展开数组元素，将 JSON 数组中的每个元素逐个提取出来，形成数据流。执行 jq '.[]' 后如下：

| first：first 是一个过滤器，用于从输入流或数组中提取第一个元素。它的作用是提前终止处理，只保留第一个匹配的结果，常用于确保输出唯一性

// null：如果name字段为空或false，则替换为null 。

linux下 jq 截取json文件信息

背景：通过‘登录名‘ 获取该对象的其他个人信息如名字。环境准备：麒麟操作系统V10 jq安装包 jq安装包获取方式：yum install jq 或使用附件中的rpm 或 git自行下载 https://github.com/stedolan/jq/releases/download/ 实现过程介绍&am…...

编程日记 2025/8/24 18:16:18

测试大语言模型在嵌入式设备部署的可能性-ollama本地部署测试

前言当今各种大语言模型百花齐放，为了方便使用者更加自由的使用大模型，将大模型变成如同棒球棍一样每个人都能用，并且顺手方便的工具，本地私有化具有重要意义。本次测试使用ollama完成模型下载，过程简单快捷。 1、进…...

编程日记 2025/8/19 18:29:25

C语言基础系列【21】memcpy、memset

博主介绍：程序喵大人 35- 资深C/C/Rust/Android/iOS客户端开发10年大厂工作经验嵌入式/人工智能/自动驾驶/音视频/游戏开发入门级选手《C20高级编程》《C23高级编程》等多本书籍著译者更多原创精品文章，首发gzh，见文末👇&#x1f…...

编程日记 2025/8/23 15:08:49

云曦春季开学考复现（2025）

Crypto 划水的dp和dq 下载附件后是简单的RSA算法题，之所以说简单是因为给了公钥e 趁热打铁，昨天刚学的RSA，既然有p有q，也有e，而np*q，可以算出欧拉函数值phi（p-1）*（q-1&…...

编程日记 2025/8/22 7:04:52

探秘 Netty 通信中的 SslHandler 类：保障网络通信安全的基石

引言在当今数字化时代，网络安全是每一个应用程序都必须重视的关键因素。尤其是在数据传输过程中，防止数据被窃取、篡改至关重要。Netty 作为一个高性能的网络编程框架，为开发者提供了强大的功能来构建可靠的网络应用。其中，SslH…...

编程日记 2025/8/24 2:03:26

Llama factory微调后的模型怎么通过ollama发布

接上一篇博客：用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法_llama-factory cuda out of memory-CSDN博客把Lora模块和其基模型merge到一起之后，就可以通过ollama之类的框架提供服务了。不过还是有些格式转换的工作要做： …...

编程日记 2025/8/18 0:52:49

ubuntu 20.04下ZEDmini安装使用

提前安装好显卡驱动和cuda，如果没有安装可以参考我的这两篇文章进行安装： ubuntu20.04配置YOLOV5（非虚拟机）_ubuntu20.04安装yolov5-CSDN博客 ubuntu20.04安装显卡驱动及问题总结_乌班图里怎么备份显卡驱动-CSDN博客还需要提前…...

编程日记 2025/8/20 7:31:36

CmBacktrace的学习跟移植思路

学习移植CmBacktrace需要从理解其核心功能、适用场景及移植步骤入手，结合理论学习和实践操作。以下是具体的学习思路与移植思路： 一、学习思路理解CmBacktrace的核心功能 CmBacktrace是针对ARM Cortex-M系列MCU的错误追踪库，支持自动诊断Har…...

编程日记 2025/8/23 1:54:11

Android Glide 缓存模块源码深度解析

一、引言在 Android 开发领域，图片加载是一个极为常见且关键的功能。Glide 作为一款被广泛使用的图片加载库，其缓存模块是提升图片加载效率和性能的核心组件。合理的缓存机制能够显著减少网络请求，降低流量消耗，同时加快图片显示…...

编程日记 2025/8/24 4:31:24

蓝桥杯备赛：炮弹

题目解析这道题目是一道模拟加调和级数，难的就是调和级数，模拟过程比较简单。做法这道题目的难点在于我们在玩这个跳的过程，可能出现来回跳的情况，那么为了解决这种情况，我们采取的方法是设定其的上限步数。那么…...

编程日记 2025/8/20 13:22:20

死锁问题分析工具

使用 gdb 调试 gdb ./your_program (gdb) run (gdb) thread apply all bt还可以分析pthread_mutex内部，查看owen字段分析哪个线程占用的锁，一个可能的 pthread_mutex 内部结构可以大致表示为： typedef struct pthread_mutex_t {int state; …...

编程日记 2025/8/16 10:06:54

装饰器模式--RequestWrapper、请求流request无法被重复读取

目录前言一、场景二、原因分析三、解决四、更多前言曾经遇见这么一段代码，能看出来是把request又重新包装了一下，核心信息都不会改变后面了解到这叫装饰器模式（Decorator Pattern） ：也称为包装模式(Wrapper Pat…...

编程日记 2025/8/20 10:44:11

MTK Android12 桌面上显示文件管理器图标

文章目录需求解决需求在MTK平台上，Android12的文件管理器图标未显示在桌面，但在设置里面可以看到，文件管理器是安装的。根据客户要求，需要将文件管理器的图标显示在桌面上。解决路径：packages/apps/DocumentsUI/…...

编程日记 2025/8/18 22:58:52

1. 配置文件上传限制 application.yml spring:servlet:multipart:max-file-size: 10MBmax-request-size: 10MB2. 创建文件上传控制器 import org.springframework.web.bind.annotation.PostMapping; import org.springframework.web.bind.annotation.RestController; import…...

编程日记 2025/8/21 11:48:53

【开源免费】基于SpringBoot+Vue.JS青年公寓服务平台（JAVA毕业设计）

本文项目编号 T 233 ，文末自助获取源码 \color{red}{T233，文末自助获取源码} T233，文末自助获取源码目录一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程四、功能截图五、文案资料5.1 选题背景5.2 国内…...

编程日记 2025/8/24 1:36:12

django中视图作用和视图功能以及用法

在 Django REST Framework（DRF）中，视图（View）是处理 HTTP 请求并返回响应的核心组件。DRF 提供了多种视图类，适用于不同的场景和需求。以下是 DRF 中常见的视图类及其作用、使用方法的详细说明：一、DRF 视图的分类 DRF 的视图可以分为以下几类：基于函数的视图（Func…...

编程日记 2025/8/24 4:44:07

大语言模型在患者交互任务中的临床使用评估框架

An evaluation framework for clinical use of large language models in patient interaction tasks An evaluation framework for clinical use of large language models in patient interaction tasks | Nature Medicine 2025.1 收到时间：2023 年 8 月 8 日 …...

编程日记 2025/8/20 12:44:45

Python—类class复习

Python——类（class）复习根据类来创建对象的方法被称为实例化因此学会使用类（class）来进行编程就是初步进入面向对象编程的大门 1.1 创建和使用类首先编写一个小狗的简单类Dog，它表示的不是特定的小狗&#xff…...

编程日记 2025/8/19 5:23:07

QT | 信号与槽(超详解)

前言对qt信号和槽的详细解释 💓 个人主页：普通young man-CSDN博客 ⏩ 文章专栏：C_普通young man的博客-CSDN博客 ⏩ 本人giee: 普通小青年 (pu-tong-young-man) - Gitee.com 若有问题评论区见📝 🎉欢迎大家点赞&am…...

编程日记 2025/8/16 10:04:36

Codecraft-17 and Codeforces Round 391 E. Bash Plays with Functions 积性函数

题目链接题目大意定义函数 f r ( n ) f_r(n) fr(n) : 在 r 0 r0 r0时，为满足 p p p ⋅ \cdot ⋅ q n qn qn , 且 g c d ( p , q ) 1 gcd(p,q)1 gcd(p,q)1 的有序对 ( p , q ) (p,q) (p,q) 个数；在 r r r ≥ \geq ≥ 1 1 1时&#xff0…...

编程日记 2025/8/22 8:17:47

粉尘环境下的智能生产革命 ——助力矿山行业实现高效自动化作业

在矿山开采领域，运输系统是保障生产连续性的核心环节。然而，粉尘弥漫、环境恶劣、设备分散等问题，长期制约着矿山运输的效率与安全性。传统的集中式控制系统难以适应复杂工况，而远程分布式 IO 模块与 PLC 的深度融合，正…...

编程日记 2025/8/23 12:32:57

更新vscode ,将c++11更新到c++20

要在CentOS系统中安装最新版本的GCC，你可以使用SCL（Software Collections）仓库，它提供了开发工具的最新版本。以下是安装步骤： 1、添加SCL仓库： 首先，添加CentOS的SCL仓库，该仓库…...

编程日记 2025/8/16 10:08:01

Numpy实训：读取并分析iris数据集中鸢尾花的相关数据

实训中相关数据集，请联系博主邮箱"1438077481qq.com"，在邮箱内发送"iris.csv"即可快速获取，无任何套路，秉承开源精神！ 1、导入模块 #导入模块 import numpy as np import csv 2、获取数据 iri…...

编程日记 2025/8/22 13:12:51

nats jetstream server code 分析

对象和缩写 jetstream导入两个对象：stream and consumer，在stream 之上构造jetstreamapi。在nats代码中，以下是一些常见的缩写 1.mset is stream 2.jsX is something of jetstream 3.o is consumer 代码分析对于producer ，发送…...

编程日记 2025/8/23 13:36:37

德鲁伊连接池

德鲁伊连接池（Druid Connection Pool）是一个开源的Java数据库连接池项目，用于提高数据库连接的性能和可靠性。德鲁伊连接池通过复用数据库连接、定时验证连接的可用性、自动回收空闲连接等机制，有效减少了数据库连接的创建和销毁开…...

编程日记 2025/8/22 6:10:10

Python从入门到精通1：FastAPI

引言在现代 Web 开发中，API 是前后端分离架构的核心。FastAPI 凭借其高性能、简洁的语法和自动文档生成功能，成为 Python 开发者的首选框架。本文将从零开始，详细讲解 FastAPI 的核心概念、安装配置、路由设计、请求处理以及实际应用案例&a…...

编程日记 2025/8/22 20:39:20

C语言经典案例-菜鸟经典案例

1.输入某年某月某日，判断这一天是这一年的第几天？ //输入某年某月某日，判断这一天是这一年的第几天？ #include <stdio.h>int isLeapYear(int year) {// 闰年的判断规则：能被4整除且（不能被100整除或…...

编程日记 2025/8/20 12:36:11

SpringBoot过滤器（Filter）的使用：Filter接口、FilterRegistrationBean类配置、@WebFilter注释

1、过滤器（Filter）的介绍 Spring Boot 的过滤器用于对数据进行过滤处理。通过 Spring Boot 的过滤器，程序开发人员不仅可以对用户通过 URL 地址发送的请求进行过滤处理（例如：过滤一些错误的请求或者请求中的敏感词等），而且可以对服务器返回的数据进行过滤处理（例如：压…...

编程日记 2025/8/19 22:00:18

采用内存局部性分配有什么好处？

内存分配时的局部性分配（Locality of Allocation）是指将相关的内存对象分配在相邻或相近的内存区域中。这种分配策略在现代计算机系统中具有显著的好处，主要体现在以下几个方面： 1. 提高缓存命中率现代计算机系统依赖于多级缓存…...

编程日记 2025/8/18 17:04:23

一周热点-OpenAI 推出了 GPT-4.5，这可能是其最后一个非推理模型

在人工智能领域，大型语言模型一直是研究的热点。OpenAI 的 GPT 系列模型在自然语言处理方面取得了显著成就。GPT-4.5 是 OpenAI 在这一领域的又一力作，它在多个方面进行了升级和优化。 1 新模型的出现 GPT-4.5 目前作为研究预览版发布。与 OpenAI 最近的 o1 和 o3 模型不同，…...

编程日记 2025/8/24 5:28:46

分布式ETCD面试题及参考答案

目录 ETCD 适用的六大场景及其实现原理 ETCD 与 Redis 在分布式锁实现上的差异解释 ETCD 的 Watch 机制及其应用场景 ETCD 如何实现服务发现？与 ZooKeeper 有何不同？ ETCD 实现服务发现的方式与 ZooKeeper 的不同 ETCD 的键值存储模型支持哪些操作？为什么 ETCD 适…...

编程日记 2025/8/16 10:07:17

MySQL进阶-关联查询优化

采用左外连接下面开始 EXPLAIN 分析 EXPLAIN SELECT SQL_NO_CACHE * FROM type LEFT JOIN book ON type.card book.card; 结论：type 有All ,代表着全表扫描，效率较差添加索引优化 ALTER TABLE book ADD INDEX Y ( card); #【被驱动表】&#xff0…...

编程日记 2025/8/23 17:18:45

ESP32驱动OV3660摄像头实现EdgeImpulse图像识别（摄像头支持红外夜视、边缘AI计算）

目录 1、传感器特性 2、硬件原理图 3、驱动程序 ESP32-S3 AI智能摄像头模块是一款专为智能家居和物联网应用打造的高性能边缘AI开发模组。它集成了摄像头、麦克风、音频功放、环境光传感器和夜视补光灯，无需依赖云端即可实现本地化AI推理。凭借TensorFlow Lite、YOLO和O…...

编程日记 2025/8/19 19:05:47

SpringSecurity认证授权完整流程

SpringSecurity认证流程：loadUserByUsername（）方法内部实现。实现步骤： 构建一个自定义的service接口，实现SpringSecurity的UserDetailService接口。建一个service实现类，实现此loadUserByUsername方法。…...

编程日记 2025/8/23 14:47:42

java_了解反射机制

目录 1. 定义 2. 用途 3. 反射基本信息 4. 反射相关的类 4.1 class类（反射机制的起源） 4.1.1 Class类中的相关方法（方法的具体使用在后面的示例中） 4.2 反射的示例 4.2.1 获得Class对象的三种方式 4.2.2 反射的使用 Fiel…...

编程日记 2025/8/21 8:34:27

【赵渝强老师】管理MongoDB的运行

MongoDB提供了mongod命令用于启动MongoDB服务器端；而停止MongoDB服务器却可以通过几种不同的方式完成。下面分别进行介绍。一、【实战】启动MongoDB服务器通过执行下面的语句可以查看启动MongoDB服务器的帮助信息： mongod --help# 输出的信息如下&a…...

编程日记 2025/8/24 3:29:15

【学习思维模型】

学习思维模型一、理解类模型二、记忆类模型三、解决问题类模型四、结构化学习模型五、效率与习惯类模型六、高阶思维模型七、实践建议八、新增学习思维模型**1. 波利亚问题解决四步法****2. 主动回忆（Active Recall）****3. 鱼骨图（因果图/Ishikawa Diagram）****4. MECE原则…...

编程日记 2025/8/24 5:49:42

阿里发布新开源视频生成模型Wan-Video,支持文生图和图生图,最低6G就能跑,ComFyUI可用!

Wan-Video 模型介绍：包括 Wan-Video-1.3B-T2V 和 Wan-Video-14B-T2V 两个版本，分别支持文本到视频（T2V）和图像到视频（I2V）生成。14B 版本需要更高的 VRAM 配置。 Wan2.1 是一套全面开放的视频基础模型&…...

编程日记 2025/8/20 20:22:19

安孚科技携手政府产业基金、高能时代发力固态电池，开辟南孚电池发展新赛道

安孚科技出手，发力固态电池。 3月7日晚间，安孚科技（603031.SH）发布公告称，公司控股子公司南孚电池拟与南平市绿色产业投资基金有限公司（下称“南平绿色产业基金”）、高能时代（广东横…...

编程日记 2025/8/21 8:53:56

moodle 开源的在线学习管理系统（LMS）部署

一、Moodle 简介 Moodle（Modular Object-Oriented Dynamic Learning Environment）是一个开源的在线学习管理系统（LMS），广泛应用于教育机构和企业培训。其核心功能包括课程管理、作业提交、在线测试、论坛互动和成绩跟…...

编程日记 2025/8/21 14:02:45

设备树的概念

可以理解为设备树的树干是系统总线，树枝上面是其他的不同的通信协议线。对于不同通信协议的设备挂载在对应的节点即可在设备树出现以前，所有关于设备的具体信息都要写在驱动里，一旦外围设备变化，驱动代码就要重写。引入了设…...

编程日记 2025/8/23 8:12:26

【ArcGIS】地理坐标系

文章目录一、坐标系理论体系深度解析1.1 地球形态的数学表达演进史1.1.1 地球曲率的认知变化1.1.2 参考椭球体参数对比表 1.2 地理坐标系的三维密码1.2.1 经纬度的本质1.2.2 大地基准面（Datum）的奥秘 1.3 投影坐标系：平面世界的诞生1.3.1 投…...

编程日记 2025/8/23 7:49:28

MATLAB控制函数测试要点剖析

一、功能准确性检验基础功能核验针对常用控制函数，像用于传递函数建模的 tf 、构建状态空间模型的 ss ，以及开展阶跃响应分析的 step 等，必须确认其能精准执行基础操作。以 tf 函数为例，在输入分子与分母系数后，理…...

编程日记 2025/8/21 17:54:36

如何让一个类作为可调用对象被thread调用？

如何让一个类作为可调用对象，被 std::thread 调用在 C 中，可以让一个类对象作为可调用对象（Callable Object），然后用 std::thread 进行调用。要实现这一点，主要有三种方法： 重载 operator()&…...

编程日记 2025/8/22 18:34:05

OpenWrt 串口终端常用命令---拓展篇

以下进一步拓展 OpenWrt 串口终端常用命令，新增更多高级操作与场景化工具，助你深入掌握系统管理与调试技巧：一、系统信息与状态查询（扩展）硬件详细探测 cat /proc/mtd # 查看 Flash 分区表（MTD 设备） mtd info # 显示 MTD 分…...

编程日记 2025/8/16 10:11:23

线上接口tp99突然升高如何排查？

当线上接口的 TP99 突然升高时，意味着该接口在 99% 的情况下响应时间变长，这可能会严重影响系统的性能和用户体验。可以按照下面的步骤进行排查。这里我们先说明一下如何计算tp99：监控系统计算 TP99（第 99 百分位数的响应时间&…...

编程日记 2025/8/19 21:15:59

如何借助人工智能AI模型开发一个类似OpenAI Operator的智能体实现电脑自动化操作？

这几天关于Manus的新闻铺天盖地，于是研究了一下AI智能体的实现思路，发现Openai 的OpenAI Operator智能体已经实现了很强的功能，但是每月200美金的价格高不可攀，而Manus的邀请码据说炒到了几万块！就想能不能求助人工智能…...

编程日记 2025/8/20 8:02:34

langchain系列（终）- LangGraph 多智能体详解

目录一、导读二、概念原理 1、智能体 2、多智能体 3、智能体弊端 4、多智能体优点 5、多智能体架构 6、交接（Handoffs） 7、架构说明 （1）网络 （2）监督者 （3）监督者&…...

编程日记 2025/8/20 8:17:01

springboot旅游管理系统设计与实现(代码+数据库+LW)

摘要现代经济快节奏发展以及不断完善升级的信息化技术，让传统数据信息的管理升级为软件存储，归纳，集中处理数据信息的管理方式。本旅游管理系统就是在这样的大环境下诞生，其可以帮助使用者在短时间内处理完毕庞大的数据信息&a…...

编程日记 2025/8/23 16:45:08

【前端跨域】WebSocket如何实现跨域通信？原理、实践与安全指南

在实时通信场景（如在线聊天、实时数据推送）中，WebSocket因其高效的双向通信能力成为首选技术然而，当客户端与服务器部署在不同源时，跨域问题同样可能阻碍WebSocket的连接一、WebSocket与跨域的关系 WebSocket的跨…...

编程日记 2025/8/22 12:31:53

相关文章：