当前位置: 首页 > news >正文

Linux下AWK命令使用方法

文章目录

      • **一、AWK 基本语法**
      • **二、核心概念**
        • **1. 内置变量**
        • **2. 分隔符**
        • **3. BEGIN 和 END 块**
      • **三、常见用法示例**
        • **1. 基础打印**
        • **2. 条件过滤**
        • **3. 计算与统计**
        • **4. 字符串操作**
        • **5. 处理 CSV 文件**
      • **四、高级用法**
        • **1. 使用数组统计**
        • **2. 多条件分支(if-else)**
        • **3. 结合外部命令**
        • **4. 自定义函数**
      • **五、实战场景示例**
        • **1. 分析 Nginx 访问日志**
        • **2. 提取特定时间段日志**
        • **3. 生成格式化报告**
      • **六、常用技巧**
      • **七、性能优化**

AWK 是 Linux 下功能强大的文本处理工具,擅长按列处理结构化数据(如日志、CSV)。它以逐行方式处理文本,支持条件过滤、计算、格式化输出等。以下是 AWK 的核心用法和常见场景:


一、AWK 基本语法

awk '模式 {动作}' 文件名
  • 模式:过滤行的条件(如正则表达式、逻辑判断)。
  • 动作:对匹配的行执行的操作(如打印、计算)。
  • 未指定模式:默认处理所有行。
  • 未指定动作:默认打印整行。

二、核心概念

1. 内置变量
  • $0:当前行的全部内容。
  • $1, $2, ..., $n:第 1 到第 n 列的内容(默认以空格或制表符分隔)。
  • NF:当前行的列数(Number of Fields)。
  • NR:当前处理的行号(Number of Record)。
  • FS:输入字段分隔符(默认空格,可通过 -F 指定)。
  • OFS:输出字段分隔符(默认空格)。
2. 分隔符
  • 指定输入分隔符(如 :,):
    awk -F ':' '{print $1}' /etc/passwd   # 输出第一列(用户名)
    
3. BEGIN 和 END 块
  • BEGIN:在处理任何行前执行一次。
  • END:在处理所有行后执行一次。
    awk 'BEGIN {sum=0} {sum+=$1} END {print sum}' data.txt  # 计算第一列总和
    

三、常见用法示例

1. 基础打印
# 打印文件所有内容
awk '{print}' file.txt# 打印第一列和第三列
awk '{print $1, $3}' file.txt# 自定义输出格式(OFS 控制列分隔符)
awk -v OFS=" | " '{print $1, $3}' file.txt
2. 条件过滤
# 打印第二列大于 100 的行
awk '$2 > 100 {print $0}' data.txt# 匹配包含 "error" 的行(不区分大小写)
awk '/error/i {print}' log.txt# 逻辑组合(&& 和 ||)
awk '$1 == "admin" && $3 > 50 {print $2}' users.txt
3. 计算与统计
# 计算第一列的总和
awk '{sum += $1} END {print sum}' data.txt# 统计行数
awk 'END {print NR}' data.txt# 求某一列的平均值
awk '{sum += $2} END {print sum/NR}' data.txt
4. 字符串操作
# 拼接字符串
awk '{print "User: " $1 ", Age: " $2}' users.txt# 截取子字符串(substr)
awk '{print substr($1, 1, 3)}' data.txt  # 输出第一列的前3个字符# 替换文本(gsub)
awk '{gsub("old", "new"); print}' file.txt
5. 处理 CSV 文件
# 指定逗号为分隔符
awk -F ',' '{print $2}' data.csv# 过滤第三列为 "success" 的行
awk -F ',' '$3 == "success" {print $1, $4}' data.csv

四、高级用法

1. 使用数组统计
# 统计某列唯一值出现次数(如统计IP访问次数)
awk '{ip_count[$1]++} END {for (ip in ip_count) print ip, ip_count[ip]}' access.log
2. 多条件分支(if-else)
awk '{if ($2 >= 90) grade = "A";else if ($2 >= 80) grade = "B";else grade = "C";print $1, grade
}' scores.txt
3. 结合外部命令
# 结合 shell 变量
name="admin"
awk -v user="$name" '$1 == user {print $3}' users.txt# 调用系统命令(system)
awk '{if ($3 > 100) system("echo Alert: " $1)}' data.txt
4. 自定义函数
awk '
function add(a, b) {return a + b
}
{print add($1, $2)
}' numbers.txt

五、实战场景示例

1. 分析 Nginx 访问日志
# 统计访问量前10的IP
awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 10# 直接用 AWK 实现
awk '{ip_count[$1]++} END {for (ip in ip_count) print ip_count[ip], ip}' access.log | sort -nr | head -n 10
2. 提取特定时间段日志
# 提取 2023-10-01 10:00 到 11:00 的日志
awk '/\[01\/Oct\/2023:10:00:/, /\[01\/Oct\/2023:11:00:/' access.log
3. 生成格式化报告
awk -F ',' 'BEGIN {print "Name,Total"}
{total = $2 + $3 + $4print $1 "," total
}' students.csv

六、常用技巧

  1. 跳过标题行
    awk 'NR > 1 {print $1}' data.csv
    
  2. 修改输出分隔符
    awk -v OFS='\t' '{print $1, $3}' file.txt  # 输出制表符分隔
    
  3. 处理多文件
    awk '{print FILENAME, $0}' file1.txt file2.txt  # 输出时包含文件名
    

七、性能优化

  • 避免频繁打印:减少 print 次数,尽量在 END 块输出结果。
  • 预处理大文件:使用 grepsed 先过滤数据,再用 AWK 处理。
  • 简化正则表达式:复杂的正则表达式会显著降低处理速度。

AWK 是文本处理的瑞士军刀,掌握后可高效处理日志、报表等结构化数据。结合 man awkinfo awk 查阅完整文档,可进一步探索其高级功能(如多维数组、位操作等)。

相关文章:

Linux下AWK命令使用方法

文章目录 **一、AWK 基本语法****二、核心概念****1. 内置变量****2. 分隔符****3. BEGIN 和 END 块** **三、常见用法示例****1. 基础打印****2. 条件过滤****3. 计算与统计****4. 字符串操作****5. 处理 CSV 文件** **四、高级用法****1. 使用数组统计****2. 多条件分支&…...

【AI】如何理解与应对AI中的敏感话题:详细分析与实用指南

引言 随着人工智能(AI)技术的不断发展,我们在与AI交互时,可能会遇到敏感话题的讨论限制。在许多情况下,AI系统为了避免触及社会、政治或文化敏感点,会对用户输入进行一定的筛选和过滤。那么,这…...

基于开源库编写MQTT通讯

目录 1. MQTT是什么?2. 开发交互UI3. 服务器核心代码4. 客户端核心代码5. 消息订阅与发布6. 通讯测试7. MQTT与PLC通讯最后. 核心总结 1. MQTT是什么? MQTT(Message Queuing Terlemetry Transport)消息队列遥测协议;是…...

linux指令学习--sudo apt-get install vim

1. 命令分解 部分含义sudo以管理员权限运行命令(需要输入用户密码)。apt-getUbuntu 的包管理工具,用于安装、更新、卸载软件包。installapt-get 的子命令,表示安装软件包。vim要安装的软件包名称(Vim 文本编辑器&…...

PHP之变量

在你有别的编程语言的基础下,你想学习PHP,可能要了解的一些关于变量的信息。 PHP中的变量不用指定数据类型,同时必须用$开头。 全局变量 可以在除函数外任意地方访问,如果需要在函数中访问要先获取 $x 111; function tt() {gl…...

代码规范和简化标准

代码规范和简化标准是编写高质量、可维护、可扩展和可读代码的基本原则。遵循这些标准不仅能提高团队协作效率,还能减少出错的概率和后期维护的成本。以下是一些常见的代码规范和简化标准: 1. 命名规范 变量命名: 使用具有描述性的名称&…...

DeepSeek安全:AI网络安全评估与防护策略

🍅 点击文末小卡片 ,免费获取网络安全全套资料,资料在手,涨薪更快 本文基于现有的公开资料,从企业资深网络安全专家的视角,系统梳理DeepSeek技术在网络安全领域的潜在贡献与核心风险,并结合中国…...

开发环境搭建-05.后端环境搭建-前后端联调-通过断点调试熟悉项目代码特点

一.后端环境搭建-前后端联调 首先进行编译,编译通过才能够正常运行,我们可以看到已成功编译通过。 SkyApplication启动成功 登录成功 二.登录操作 1.controller层 package com.sky.controller.admin;import com.sky.constant.JwtClaimsConstant; impo…...

python py文件转为可执行文件(.exe)与 exe文件转py文件

一、py文件转为可执行文件(.exe) #安装 PyInstaller库 pip install pyinstaller #将 Python 脚本打包成一个单一的可执行文件。 pyinstaller --onefile .\123.py 文件或 pyinstaller -F .\123.py 文件 执行这个命令后,PyInstaller 会将123…...

【慕课网wiki项目学习笔记01】Spring Boot 项目搭建

2-2 新建SpringBoot项目 一、创建SpringBoot项目 (1)在SpringBoot官网创建 (2.1)在 IDEA 中创建 Group:公司名 Artifact:项目名 创建成功后开始下载Maven依赖(选择右下角的Import Changes&…...

解锁数据潜能,永洪科技以数据之力简化中粮可口可乐决策之路

企业数字化转型是指企业利用数字技术和信息通信技术来改变自身的商业模式、流程和增值服务,以提高企业的竞争力和创新能力。数字化转型已经成为企业发展的重要战略,尤其在当前信息技术高速发展的时代。数字化转型还涉及到企业与消费者之间的互动和沟通。…...

k-Shape:高效准确的聚类方法

引言 时间数据在许多学科中的扩散和无处不在,已经对时间序列的分析和挖掘产生了极大的兴趣。聚类是最流行的数据挖掘方法之一,不仅因为它的探索性,而且作为其他技术的预处理步骤或子程序。常用的有-means聚类算法。本文介绍了一种新的时间序…...

前端网络安全面试题及答案

前端计算机网络常见面试题目总结_笔描相思的博客_前端计算机网络面试 1.TCP、UDP的区别 ①TCP是有连接的,连接需要三次握手,断开连接需要四次挥手;UDP是无连接的 ②TCP是面向报文的,UDP是面向字节流的 ③TCP是可靠的&#xff…...

9. Flink的性能优化

1. Flink的资源和代码优化 1.1 slot资源配置 Flink中具体跑任务的进程叫TaskManager,TM进程又会根据配置划分出诺干个TaskSlot,它是具体运行SubTask的地方。slot是Flink用来隔离各个subtask的资源集合,这里的资源一把指内存,TCP…...

DeepSeek安装部署笔记(二)

Bat批处理文件的编写 第五步 启动openWebUI的批处理编写1、下面的代码,复制到文本文件,再改扩展名2、这样,在桌面直接双击此文件运行 第五步 启动openWebUI的批处理编写 1、下面的代码,复制到文本文件,再改扩展名 ec…...

【谷粒商城踩坑记】第二坑 renren-fast-vue的node-sass问题

第二坑 renren-fast-vue的node-sass问题 前端开始,第一关就是源码运行,直接报错以下内容: node-sass6.0.1 postinstall: node scripts/build.js 这个在老的前端项目中,特别是使用了sass的项目中经常会出现。 其实当时没有记录下具…...

【Linux-网络】HTTP的清风与HTTPS的密语

🎬 个人主页:谁在夜里看海. 📖 个人专栏:《C系列》《Linux系列》《算法系列》 ⛰️ 道阻且长,行则将至 目录 📚 引言 📚 一、HTTP 📖 1.概述 📖 2.URL &#x1f5…...

【SpringBoot】数据访问技术spring Data、 JDBC、MyBatis、JSR-303校验

Spring Boot 数据访问技术及特性 目录标题 Spring Boot 数据访问技术及特性摘要1. 引言2. Spring Data架构与原理2.1 Spring Data概述2.2 Spring Data核心组件2.3 Spring Boot与Spring Data的集成机制 3. Spring Boot与JDBC的整合3.1 JDBC整合流程3.2 数据源自动配置3.3 JdbcTe…...

直装永久授权,最新专业版集成VB7

无论是学生、教师还是职场工作人员,办公软件在日常工作和学习中都是不可或缺的重要工具。在众多办公软件中,微软的Microsoft Office和金山软件的WPS Office最常用的选择。对于许多使用要求不高的小伙伴而言,WPS Office因其易用性和免费版本的…...

Ollama 框架本地部署教程:开源定制,为AI 项目打造专属解决方案!

Ollama 是一款开源的本地大语言模型(LLM)运行框架,用于管理和运行语言模型。具有以下核心特点: 开源可定制:采用 MIT 开源协议,开发者能自由使用、阅读源码并定制,可根据自身需求进行功能扩展和…...

【单片机项目】电源如何扩展、电源模块、电池模块如何接线

一、前言 解决2个关键问题: 【1】如果项目编号小于172之前的项目。 可能会遇到电源模块不够接,需要扩展电源的问题。 【2】如果项目编号是大于 172之后项目,部分项目用到了稳压电源模块或者是电池模块。 这篇文章单独讲解一下如何接线。 …...

汽车智能钥匙中PKE低频天线的作用

PKE(Passive Keyless Entry)即被动式无钥匙进入系统,汽车智能钥匙中PKE低频天线在现代汽车的智能功能和安全保障方面发挥着关键作用,以下是其具体作用: 信号交互与身份认证 低频信号接收:当车主靠近车辆时…...

mongodb安装教程以及mongodb的使用

MongoDB是由C语言编写的一种面向文档的NoSQL数据库,旨在为WEB应用提供可扩展的高性能数据存储解决方案。与传统的关系型数据库(如 MySQL 或 PostgreSQL)不同,MongoDB 存储数据的方式是以 BSON(类似于 JSON 的二进制格式…...

SpringMVC学习(controller层加载控制与(业务、功能)bean加载控制、Web容器初始化配置类)(3)

目录 一、SpringMVC、Spring的bean加载控制。 &#xff08;1&#xff09;实际开发的包结构层次。 &#xff08;2&#xff09;如何"精准"控制两个容器分别加载各自bean。(分析) <1>SpringMVC相关bean加载控制。(方法) <2>Spring相关bean加载控制。(方法) …...

redis基础结构

title: redis基础结构 date: 2025-03-04 08:39:12 tags: redis categories: redis笔记 Redis入门 &#xff08;NoSQL, Not Only SQL&#xff09; 非关系型数据库 关系型数据库&#xff1a;以 表格 的形式存在&#xff0c;以 行和列 的形式存取数据&#xff0c;一系列的行和列被…...

树莓派学习(一)——3B+环境配置与多用户管理及编程实践

树莓派学习&#xff08;一&#xff09;——3B环境配置与多用户管理及编程实践 一、实验目的 掌握树莓派3B无显示器安装与配置方法。学习Linux系统下多用户账号的创建与管理。熟悉在树莓派上使用C语言和Python3编写简单程序的方法。 二、实验环境 硬件设备&#xff1a;树莓派…...

【音视频】ffplay播放控制

一、ffplay播放控制 1.1、ffplay打开视频 比如我当前目录下现在有一个1.mp4的视频&#xff0c;可以使用下面的命令用ffplay打开并播放它 ffplay 1.mp4输入后回车即可打开相应的视频 1.2 ffplay播放控制 使用q、ESC退出播放按f、双击切换全屏状态按m切换为静音按9减少音量&a…...

【智能体Agent】ReAct智能体的实现思路和关键技术

基于ReAct&#xff08;Reasoning Acting&#xff09;框架的自主智能体 import re from typing import List, Tuplefrom langchain_community.chat_message_histories.in_memory import ChatMessageHistory from langchain_core.language_models.chat_models import BaseChatM…...

Redis系列之慢查询分析与调优

Redis 慢查询分析与优化&#xff1a;提升性能的实战指南 Redis 作为一款高性能的内存数据库&#xff0c;因其快速的数据读写能力和灵活的数据结构&#xff0c;被广泛应用于缓存、消息队列、排行榜等多种业务场景。然而&#xff0c;随着业务规模的扩大和数据量的增加&#xff0…...

分布式锁—2.Redisson的可重入锁一

大纲 1.Redisson可重入锁RedissonLock概述 2.可重入锁源码之创建RedissonClient实例 3.可重入锁源码之lua脚本加锁逻辑 4.可重入锁源码之WatchDog维持加锁逻辑 5.可重入锁源码之可重入加锁逻辑 6.可重入锁源码之锁的互斥阻塞逻辑 7.可重入锁源码之释放锁逻辑 8.可重入锁…...

大模型巅峰对决:DeepSeek vs GPT-4/Claude/PaLM-2 全面对比与核心差异揭秘

文章目录 一、架构设计深度解剖1.1 核心架构对比图谱1.2 动态MoE架构实现架构差异分析表 二、训练策略全面对比2.1 训练数据工程对比2.2 分布式训练代码对比DeepSeek混合并行实现GPT-4 Megatron实现对比 2.3 关键训练参数对比 三、性能表现多维评测3.1 基准测试全景对比3.2 推理…...

解决各大浏览器中http地址无权限调用麦克风摄像头问题(包括谷歌,Edge,360,火狐)后续会陆续补充

项目场景&#xff1a; 在各大浏览器中http地址调用电脑麦克风摄像头会没有权限&#xff0c;http协议无法使用多媒体设备 原因分析&#xff1a; 为了用户的隐私安全&#xff0c;http协议无法使用多媒体设备。因为像摄像头和麦克风属于可能涉及重大隐私问题的API&#xff0c;ge…...

Linux - 网络套接字

一、网络编程 1&#xff09;地址结构 1. IP地址结构 struct in_addr&#xff1a;是用于表示 IPv4 地址 的结构体&#xff0c;定义在头文件 <netinet/in.h> 中。它的主要作用是存储一个 32 位的 IPv4 地址&#xff0c;通常与 struct sockaddr_in 一起使用。 struct in_a…...

Oracle数据库监听学习

官方文档&#xff1a; Net Services Administrators Guide Net Services Reference 一、动态注册 1.实例启动后&#xff0c;LREG 进程每分钟自动将服务名&#xff08;service_name&#xff09;注册到监听器中 也可以通过 alter system register 命令实现立刻注册。&#x…...

利率债、信用债、可转债区别与优势

利率债、信用债、城投债和可转债是债券市场的主要品种&#xff0c;它们在发行主体、风险收益特征和投资优势上各有不同。以下是它们的区别和优势&#xff1a; 1. 利率债 定义&#xff1a;利率债是由政府或政府支持的机构发行的债券&#xff0c;主要包括国债、政策性金融债&…...

C语言番外篇(4)------------------>VS环境下源码的隐藏

假设你是一个优秀的程序员&#xff0c;开发了一款功能十分强大的计算器。现在有一家做计算器的公司看上了你的功能&#xff0c;想通过每一年给你几万块钱使用这个功能。那我们是只提供一个头文件和静态库给他们使用这个功能就行呢&#xff1f;还是连同源代码一起给这家公司呢&a…...

Java集合

写在前面 本人在学习JUC过程中学习到集合和并发时有许多稀碎知识点 需要总结梳理思路与知识点 本文内容会涉及到ArrayList&#xff0c;HashMap以及扩容机制&#xff0c;ConcurrentHashMap&#xff0c;Synchronized&#xff0c;Volatile&#xff0c;ReentrantLock&#xff0c;…...

el-input 设置类型为number时,输入中文后光标会上移,并且会出现上下箭头

光标上移 设置 el-input 的 typenumber后&#xff0c;只能输入数字&#xff0c;输入中文后会自动清空&#xff0c;但是会出现一个问题&#xff1a;【光标会上移&#xff0c;如下图】 解决方法&#xff1a;修改样式 注意&#xff1a;需要使用样式穿透 :deep( ) /*解决el-in…...

迷你世界脚本自定义UI接口:Customui

自定义UI接口&#xff1a;Customui 彼得兔 更新时间: 2024-11-07 15:12:42 具体函数名及描述如下:&#xff08;除前两个&#xff0c;其余的目前只能在UI编辑器内部的脚本使用&#xff09; 序号 函数名 函数描述 1 openUIView(...) 打开一个UI界面&#xff08;注意…...

解决windows npm无法下载electron包的问题

1.将nsis.zip解压到C:\Users\XXX\AppData\Local\electron-builder\Cache 2.将winCodeSign.zip解压到C:\Users\XXX\AppData\Local\electron-builder\Cache 3.将electron-v20.3.8-win32-ia32.zip复制到C:\Users\XXX\AppData\Local\electron\Cache 4.将electron-v20.3.8-win32-…...

Notepad++ 8.6.7 安装与配置全攻略(Windows平台)

一、软件定位与核心优势 Notepad 是开源免费的代码/文本编辑器&#xff0c;支持超过80种编程语言的高亮显示&#xff0c;相比系统自带记事本具有以下优势&#xff1a; 轻量高效&#xff1a;启动速度比同类软件快30%插件扩展&#xff1a;支持NppExec、JSON Viewer等200插件跨文…...

Unity InputField + ScrollRect实现微信聊天输入框功能

1、实现动态高度尺寸的的InputField 通过这两个部件就可以实现inputField的动态改变尺寸。 将inputField放入到scrollview当中作为子类 将scrollview 链接到UIChatInputField脚本中。 2、实现UIChatInputField //聊天输入框&#xff08;类似wechat&#xff09; [RequireComp…...

Java-servlet(三)Java-servlet-Web环境搭建(下)详细讲解利用maven和tomcat搭建Java-servlet环境

Java-servlet&#xff08;三&#xff09;Java-servlet-Web环境搭建&#xff08;下&#xff09;利用maven和tomcat搭建Java-servlet环境 前言一、配置maven阿里镜像二、利用IDEA创建maven文件创建maven文件删除src文件创建新的src模版删除example以及org文件 三、在第二个xml文件…...

在 CLion 中使用 Boost.Test 进行 C++ 单元测试

1. 安装 Boost.Test Boost.Test 是 Boost C 库的一部分&#xff0c;因此需要安装完整的 Boost 库。 方法 1&#xff1a;使用包管理器安装&#xff08;推荐&#xff09; Windows&#xff08;vcpkg&#xff09; 直接使用 CLion 集成的 vcpkg安装 boost-test&#xff1a; 也可…...

极狐GitLab 17.9 正式发布,40+ DevSecOps 重点功能解读【二】

GitLab 是一个全球知名的一体化 DevOps 平台&#xff0c;很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab 是 GitLab 在中国的发行版&#xff0c;专门为中国程序员服务。可以一键式部署极狐GitLab。 学习极狐GitLab 的相关资料&#xff1a; 极狐GitLab 官网极狐…...

文本处理Bert面试内容整理-BERT的预训练任务是什么?

BERT的预训练任务主要有两个,分别是 Masked Language Model (MLM) 和 Next Sentence Prediction (NSP)。这两个任务帮助BERT学习从大规模未标注文本中提取深层次的语义和上下文信息。 1. Masked Language Model (MLM)(掩码语言模型)...

【蓝桥杯】每天一题,理解逻辑(3/90)【Leetcode 快乐数】

闲话系列&#xff1a;每日一题&#xff0c;秃头有我&#xff0c;Hello&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;,我是IF‘Maxue&#xff0c;欢迎大佬们来参观我写的蓝桥杯系列&#xff0c;我好久没有更新博客了&#xff0c;因为up猪我寒假用自己的劳动换了…...

“深入浅出”系列之Linux篇:(10)基于C++实现分布式网络通信RPC框架

分布式网络通信rpc框架 项目是分布式网络通信rpc框架&#xff0c; 文中提到单机服务器的缺点&#xff1a; 硬件资源的限制影响并发&#xff1a;受限于硬件资源&#xff0c;聊天服务器承受的用户的并发有限 模块的编译部署难&#xff1a;任何模块小的修改&#xff0c;都导致整…...

Python的那些事第四十一篇:简化数据库交互的利器Django ORM

Django ORM:简化数据库交互的利器 摘要 随着互联网技术的飞速发展,Web开发越来越受到重视。Django作为一款流行的Python Web框架,以其高效、安全、可扩展等特点受到了广大开发者的喜爱。其中,Django ORM(对象关系映射)是Django框架的核心组件之一,它为开发者提供了一种…...

[自动驾驶-传感器融合] 多激光雷达的外参标定

文章目录 引言外参标定原理ICP匹配示例参考文献 引言 多激光雷达系统通常用于自动驾驶或机器人&#xff0c;每个雷达的位置和姿态不同&#xff0c;需要将它们的数据统一到同一个坐标系下。多激光雷达外参标定的核心目标是通过计算不同雷达坐标系之间的刚性变换关系&#xff08…...