当前位置：首页 > news >正文

【网络安全】用 Linux 命令行 CLI 日志文件处理指南

news 来源：原创 2025/6/16 18:55:03

Linux 命令行 CLI 神技回忆录：日志文件处理指南（以 Zeek Logs 为例）

- 1. CLI简介
- 2. 基础操作
- 3. 文件读取
- 4. 查找与筛选
- 5. 进阶操作
- 6. Zeek 日志骚操作
- 7. 结语

1. CLI简介

在数据分析的世界里，图形界面（GUI）确实很方便，尤其是进行可视化处理时，优势明显。但当我们需要处理海量数据时，GUI 就显得力不从心了 —— 性能受限、稳定性不足，甚至没有对应的功能按钮。

那么，当你想查看/提取某些信息，但 GUI 没有对应功能时怎么办？

掌握命令行（CLI）处理数据的能力，就是你的超级武器！
无论是在安全分析、日志调查，还是数据包处理时，灵活运用命令行工具、BPF 过滤器和正则表达式，能让你迅速找到想要的结果。

今天就为大家整理一份CLI 快速秘籍，帮助你高效处理日志文件！

2. 基础操作

操作	CLI 命令
查看命令历史记录	`history`
执行历史中的第10条命令	`!10`
执行上一条命令	`!!`

3. 文件读取

操作	CLI 命令
查看文件内容	`cat sample.txt`
读取文件的前10行	`head sample.txt`
读取文件的后10行	`tail sample.txt`

4. 查找与筛选

操作	CLI 命令
提取第1个字段	`cat test.txt \| cut -f 1`
提取第一列	`cat test.txt \| cut -c1`
过滤特定关键词	`cat test.txt \| grep 'keywords'`
按字母顺序对输出进行排序	`cat test.txt \| sort`
按数字对输出进行排序	`cat test.txt \| sort -n`
消除重复的行	`cat test.txt \| uniq`
计算行数	`cat test.txt \| wc -l`
显示行号	`cat test.txt \| nl`

5. 进阶操作

操作	CLI 命令
打印第 11 行	`cat test.txt \| sed -n '11p'`
打印 10-15 行	`cat test.txt \| sed -n '10,15p'`
打印 11 以下的行	`cat test.txt \| awk 'NR < 11 {print $0}'`
打印第 11 行	`cat test.txt \| awk 'NR == 11 {print $0}'`

6. Zeek 日志骚操作

操作	CLI 命令
删除重复项并计算每个值的出现次数	`sort \| uniq -c`
按数字和递归方式对值进行排序	`sort -nr'`
反转字符串字符	`rev`
在每个点上拆分字符串并打印，保留前两个字段	`cut -d '.' -f 1-2`
显示与“test”字符串不匹配的行	`grep -v 'test'`
显示与“test1”和“test2”字符串中的一个或两个不匹配的行	`grep -v -e 'test1' -e 'test2'`
查看文件信息	`file`
在所有地方搜索“Testvalue1”字符串，组织列空间并用更少的资源查看输出	`grep -rin Testvalue1 * \| column -t \| less -S`

7. 结语

命令行处理日志文件，初看可能有点枯燥，但真正掌握之后，你会发现：CLI 是数据世界里的光剑。
一行命令，可能胜过无数次鼠标点击！

下次处理 Zeek 日志或其他大数据文件时，试试这些技巧吧。
越熟练，效率越高！

【网络安全】用 Linux 命令行 CLI 日志文件处理指南

Linux 命令行 CLI 神技回忆录：日志文件处理指南（以 Zeek Logs 为例） 1. CLI简介2. 基础操作3. 文件读取4. 查找与筛选5. 进阶操作6. Zeek 日志骚操作7. 结语 1. CLI简介在数据分析的世界里，图形界面（GUI）…...

编程日记 2025/5/29 6:06:09

[C++] 高精度乘法

目录引入: 大整数比较比较方法例题1-青蛙计数题目描述输入描述输出描述输入输出样例AC代码高精度乘法模版高精度运算小合集(这集乘法上集加法) 注意: 若还没有学过高精度运算的话先去看高精度加法引入: 大整数比较比较方法大整数比较可以使用此方法比较(注释有讲解): …...

编程日记 2025/5/25 2:19:48

反事实——AI与思维模型【82】

一、定义反事实思维模型是一种心理认知模型，它指的是人们在头脑中对已经发生的事件进行否定，然后构建出一种可能性假设的思维活动。简单来说，就是思考“如果当时……，那么就会……”的情景。这种思维方式让我们能够超越现实的限制，设想不同的可能性和结果，从而对过去的…...

编程日记 2025/5/28 1:46:12

Java学习手册：Java开发常用的内置工具类包

以下是常用 Java 内置工具包。 • 日期时间处理工具包 • java.time包（JSR 310）：这是 Java 8 引入的一套全新的日期时间 API，旨在替代陈旧的java.util.Date和java.util.Calendar类。其中的LocalDate用于表示不带时区的日期&…...

编程日记 2025/5/29 10:20:12

JAVA多线程（8.0）

目录线程池为什么使用线程池线程池的使用工厂类Executors（工厂模式） submit 实现一个线程池线程池为什么使用线程池在前面我们都是通过new Thread() 来创建线程的，虽然在java中对线程的创建、中断、销毁、等值等功能提供了支持…...

编程日记 2025/6/3 21:49:54

通过门店销售明细表用Python Pandas得到每月每个门店的销冠和按月的同比环比数据

假设我在本地有Excel销售表，包含ID主键、门店ID、日期、销售员姓名和销售额，需要用Pandas统计出每个月所有门店和各门店销售额最高的人，不一定是一个人，以及他所在的门店ID和月总销售额。步骤1：导入数据并处理日期 …...

编程日记 2025/5/31 21:17:48

详解最新链路追踪skywalking框架介绍、架构、环境本地部署配置、整合微服务springcloudalibaba 、日志收集、自定义链路追踪、告警等

1.skywalking介绍多种监控手段，可以通过语言探针和service mesh 获得监控数据支持多种语言自动探针，包含java/net/nodejs轻量高效，无需大数据平台和大量的服务器资源模块化，UI、存储、集群管理都有多种机制可选支持告警优秀的可…...

编程日记 2025/5/31 15:36:50

【OSG学习笔记】Day 11: 文件格式与数据交换

OSG 常用文件格式简介在开始转换前，先了解 OSG 生态中常见的文件格式： .osg：OSG 标准二进制格式，存储场景图数据，体积小、加载快，适合实时渲染。 .ive：OSG 标准文本格式，可读性强，便于手动编辑或调试场景图结构（本质是 XML 格式的文本描述）。 .osgb：OSG 二进制格…...

编程日记 2025/5/27 4:20:47

2025.04.26-美团春招笔试题-第二题

📌 点击直达笔试专栏 👉《大厂笔试突围》 💻 春秋招笔试突围在线OJ 👉 笔试突围OJ 02. 曼哈顿距离探测器问题描述 K小姐正在研发一种城市交通探测器，该探测器能够检测城市中任意两个位置之间的曼哈顿距离是否恰好为特定值。曼哈顿距离是在直角坐标系中，两点之间…...

编程日记 2025/6/2 20:48:22

搭建基于火灾风险预测与防范的消防安全科普小程序

基于微信小程序的消防安全科普互动平台的设计与实现，是关于微信小程序的，知识课程学习，包括学习后答题。技术栈主要采用微信小程序云开发，有下面的模块： 1.课程学习模块 2.资讯模块 3.答题模块 4.我的模块还需…...

编程日记 2025/6/3 13:14:54

05--Altium Designer（AD）的详细安装

一、软件的下载 Altium Designer官网下载 1、临近五一的假期，想着搞个项目，且这个项目与PCB有关系，所以就下这个软件来玩玩。下面保姆级教大家安装。 2、选择适合自己的版本下载（我安装的是24的） 3、软件安装 1.下…...

编程日记 2025/5/25 14:36:47

药监平台上传数据报资源码不存在

问题：电子监管码上传药监平台提示“导入的资源码不存在” 现象：从生产系统导出的关联关系数据包上传到药监平台时显示： 原因：上传数据包的通道的资源码与数据包的资源码不匹配。解决方法：检查药监平台和生产系统的药…...

编程日记 2025/5/27 8:34:04

DeepSeek预训练追求极致的训练效率的做法

DeepSeek在预训练阶段通过多种技术手段实现了极致的训练效率，其中包括采用FP8混合精度训练框架以降低计算和内存需求，创新性地引入Multi-head Latent Attention（MLA）压缩KV缓存以提升推理效率，以及基于Mixture-of-Experts（MoE）的稀疏计算架构以在保证性能的同时显著降低…...

编程日记 2025/6/2 14:37:37

Windows11系统中GIT下载

Windows11系统中GIT下载 0、GIT背景介绍0.0 GIT概述0.1 GIT诞生背景0.2 Linus Torvalds 的设计目标0.3 Git 的诞生（2005 年）0.4 Git 的后续发展0.5 为什么 Git 能成功？ 1、资源下载地址1.1 官网资源1.2 站内资源 2、安装指导3、验证是否下载完…...

编程日记 2025/6/1 13:25:09

Maven的概念与初识Maven

目录一、Maven的概念 1. 什么是Maven 2. 项目构建：从代码到部署的标准化流程 2.1 Maven构建生命周期 2.2 传统构建 vs Maven构建 3. 依赖管理：解决“JAR地狱”的利器 3.1 依赖声明 3.2 依赖传递与冲突解决 4. Maven仓库：依赖的存储…...

编程日记 2025/5/29 14:24:52

【Android】app调用wallpaperManager.setBitmap的隐藏权限

这是一个杞人忧天的问题，app中，可以通过wallpaperManager.setBitmap来设置壁纸， private void setWallpaper() {// 获取 WallpaperManager 实例WallpaperManager wallpaperManager WallpaperManager.getInstance(getApplicationContext());t…...

编程日记 2025/6/2 0:04:16

ORACLE数据库备份入门：第四部分：2-备份场景举例

下面以4个常见的场景为例，介绍如何规划备份方案。备份方案没有标准答案，需要根据实现情况来制定，也和管理员的个人使用习惯有很大相关性。 1 交易型数据库备份以银行的交易系统为例，除了前一章节提到的关于RPO和RTO的指标外&am…...

编程日记 2025/6/3 18:50:15

STL中emplace实现原理是什么？

template <class... Args>void emplace_back (Args&&... args);这个是vector的emplace_back方法，用到的c11的语法有三个，分别是万能引用、完美转发、参数包。参数包中的参数是用来构造vector<T>中的T对象。假如我直接传的就是一个…...

编程日记 2025/6/1 6:03:32

血泪之arduino库文件找不到ArduinoJSON.h: No such file or directory错误原因

#include <ArduinoJson.h> 始终报这个错误， C:\techxixi_project\Arduino\test\camer\camertoserver\camertoserver.ino:6:10: fatal error: ArduinoJSON.h: No such file or directory 6 | #include <ArduinoJSON.h> | ^~~~~~~~~…...

编程日记 2025/6/1 10:57:24

通过门店销售明细表用PySpark得到每月每个门店的销冠和按月的同比环比数据

假设我在Amazon S3上有销售表的Parquet数据文件的路径，包含ID主键、门店ID、日期、销售员姓名和销售额，需要分别用PySpark的SparkSQL和Dataframe API统计出每个月所有门店和各门店销售额最高的人，不一定是一个人，以及他所在的门店…...

编程日记 2025/5/30 1:41:55

【前后端分离项目】Vue+Springboot+MySQL

文章目录 1.安装 Node.js2.配置 Node.js 环境3.安装 Node.js 国内镜像4.创建 Vue 项目5.运行 Vue 项目6.访问 Vue 项目7.创建 Spring Boot 项目8.运行 Spring Boot 项目9.访问 Spring Boot 项目10.实现 Vue 与 Spring Boot 联动11.安装 axios12.编写请求13.调用函数请求接口14.…...

编程日记 2025/5/29 23:22:34

图解 Redis 事务 ACID特性｜源码解析｜EXEC、WATCH、QUEUE

写在前面 Redis 通过 MULTI、EXEC、WATCH 等命令来实现事务功能。Redis的事务是将多个命令请求打包，然后一次性、按照顺序的执行多个命令的机制，并且在事务执行期间，服务器不会中断事务而该去执行其他客户端的命令请求。就像下面这样&#…...

编程日记 2025/6/1 5:58:48

w~嵌入式C语言~合集3

我自己的原文哦~ https://blog.51cto.com/whaosoft/13870307 一、单片机多任务事件驱动单片机的ROM与RAM存贮空间有限，一般没有多线程可用，给复杂的单片机项目带来困扰。经过多年的单片机项目实践，借鉴windows消息机制的思想&#xff…...

编程日记 2025/5/30 10:18:05

CMCC RAX3000M CH EC 算力版刷机（中国移动 RAX3000M 算力版）刷机

刷机前面的工作参考： https://blog.csdn.net/asdcls/article/details/147434218 刷机 eMMC Flash instructions: 1. SSH to RAX3000M, and backup everything, especially factory part. (data partition can be ignored, its useless.) 2. Write new GPT tabl…...

编程日记 2025/6/3 8:16:52

cron定时任务

cron定时任务一、Cron表达式的定义基础结构 Cron表达式是由空格分隔的6或7个字段组成的字符串，格式为： 秒分时日月星期 [年]其中，年通常可以被省略字段说明： 秒（0-59） 秒字段表示每分钟的哪一…...

编程日记 2025/6/1 21:43:39

1.4 大模型应用产品与技术架构

目录一，产品架构 1.1 AI Embedded产品架构 1.2 AI Copilot产品架构 1.3 AI Agent产品架构二，技术架构 2.1 纯Prompt 2.2 Agent Function Calling 2.3 RAG （Retrieval-Augmented Generation 检索增强生成） 2.4 Fine-tu…...

编程日记 2025/6/3 7:10:44

Android HAL HIDL

1 Android HAL HIDL 1.1 Android中查看有哪些HIDL HAL HIDL是Treble Interface的一部分。 adb root adb shell # lshal 1.2 Android打印C调用栈 #include <utils/CallStack.h> 在需要打印的地方加如下的定义。 android::CallStack stack("oem"); logcat | g…...

编程日记 2025/5/30 14:29:38

std::mutex底层实现原理

std::mutex是一个用于实现互斥访问的类，其具备两个成员函数——lock和unlock 锁的底层实现原理锁的底层实现是基于原子操作的，这些原子操作是由指令支持的，因为单个指令是不能被中断的一些与锁的实现有关的原子指令为： 待补充…...

编程日记 2025/6/1 9:11:28

性能提升手段--池化技术

看到hadoop代码里有ByteBufferPool，使用池子来避免频繁创建、销毁ByteBuffer，减轻GC压力，提高性能。顺便总结一下池化技术一、什么是池化技术？池化（Pooling）是一种资源管理策略，通过预先创建并复用资源（如数据库连接、线程、内存对象等）来提…...

编程日记 2025/6/4 0:10:09

精益数据分析（28/126）：解读商业模式拼图与关键指标

精益数据分析（28/126）：解读商业模式拼图与关键指标在创业和数据分析的探索旅程中，每一次深入研究都可能带来新的启发和突破。今天，我们依旧带着共同进步的初心，深入解读《精益数据分析》中关于商业模式的…...

编程日记 2025/6/2 15:31:18

QT6 源（52）篇二：存储 c 语言字符串的类 QByteArray 的使用举例，

（3） （4） 谢谢...

编程日记 2025/6/1 16:36:17

工业摄像头通过USB接口实现图像

工业摄像头系列概览：类型与应用工业摄像头系列涵盖了多种类型，以满足不同行业和应用的需求。以下是对工业摄像头系列的一些介绍： 一、主要类型与特点 USB工业摄像头 ：这类摄像头通常通过USB接口与计算机连接，适用于…...

编程日记 2025/6/3 8:50:38

【BBDM】main.py -- notes

命令行接口 python main.py [OPTIONS]参数参数类型默认值说明-c, --configstr"BBDM_base.yml"配置文件路径-s, --seedint1234随机种子，用于结果复现-r, --result_pathstr"results"结果保存目录-t, --trainflagFalse训练模式开关：…...

编程日记 2025/6/1 1:04:26

X86物理机安装iStoreOS软路由

目录安装前准备制作启动盘安装系统到硬盘启动与初始配置常见问题与注意事项参考资料安装前准备硬件设备 X86物理机（如普通电脑、J4125/N5105等小主机） U盘（建议容量≥2GB） 显示器、键盘（用于初始配置…...

编程日记 2025/6/1 2:24:48

QML Date：日期处理示例

目录引言相关阅读QML Date对象知识概要格式化选项 DateExamples示例解析代码解析示例1：日期格式化示例2：不同地区的日期显示示例3：日期解析示例4：自定义格式示例5：日期与时间戳转换运行效果总结下载链接引言在Qt …...

编程日记 2025/6/3 10:24:36

python 与Redis操作整理

以下是使用 Python 操作 Redis 的完整整理，涵盖基础操作、高级功能及最佳实践： 1. 安装与连接 (1) 安装库 pip install redis(2) 基础连接 import redis# 创建连接池（推荐复用连接） pool redis.ConnectionPool(hostlocalhost, …...

编程日记 2025/6/1 23:16:50

【Linux】环境监控系统软件框架

目录 tasks.h type.h main.c tasks.c makefile 运行结果调用多线程框架，在主函数写好环境监控文件的函数，使用结构体封装环境指标的参数最后使用makefile管理工程文件 tasks.h #include<pthread.h>#ifndef __TASK_H__ #define __TASK_H_…...

编程日记 2025/6/3 13:31:27

WPF实现数字孪生示例

WPF 数字孪生系统实现示例数字孪生(Digital Twin)是通过数字化手段在虚拟空间中构建物理实体的精确数字模型，并实现虚实映射、实时交互和智能决策的技术。本文将展示如何使用WPF实现一个基础的数字孪生系统示例。一、系统架构设计 1. 整体架构 +-------------------+ | …...

编程日记 2025/5/30 0:40:43

对卡尔曼滤波的理解和简单示例实现

目录一、概述二、基本公式解释 1）状态转移方程 2）状态更新方程 3）卡尔曼系数更新方程 4）误差协方差估计方程三、一个简单示例一、概述经典卡尔曼滤波算法在线性系统中运用非常广泛，可以对数据实现很好的平…...

编程日记 2025/5/31 16:15:25

Linux基础命令总结

Linux系统命令 1. systemctl 1. 基本语法 systemctl start | stop | restart | status 服务名 2. 经验技巧查看服务的方法：/usr/lib/systemd/system 3. 案例实操（1）查看防火墙服务的状态 systemctl status firewalld （2）停止防火墙服务 systemctl stop firewalld （…...

编程日记 2025/5/30 20:45:43

视觉大模型专栏导航

关于视觉大模型专栏，暂时还没有比较明确的更新计划，最近会在本专栏上更新关于Sam模型的基本原理，包括Image Encoder、Prompt Encoder及Mask Decoder等模块的实现；还有记录下如何利用Sam代码跑通一个demo。后期接触了其他视觉大模…...

编程日记 2025/6/2 20:36:31

Eigen的主要类及其功能

Eigen 是一个高性能的 C 模板库，主要用于线性代数、矩阵和向量运算。它提供了许多类来支持各种数学运算，以下是 Eigen 的主要类及其功能分类。 1. 核心矩阵和向量类这些是 Eigen 中最常用的类，用于表示矩阵和向量： Matrix - 通用…...

编程日记 2025/6/4 3:40:09

深入理解TransmittableThreadLocal：原理、使用与避坑指南

一、ThreadLocal与InheritableThreadLocal回顾在介绍TransmittableThreadLocal之前，我们先回顾一下Java中的ThreadLocal和InheritableThreadLocal。 1. ThreadLocal ThreadLocal提供了线程局部变量，每个线程都可以通过get/set访问自己独立的变量副本…...

编程日记 2025/5/28 10:26:35

大模型奖励建模新突破！Inference-Time Scaling for Generalist Reward Modeling

传统的RM在通用领域面临准确性和灵活性挑战，而DeepSeek-GRM通过动态生成principle和critic，结合并行采样与meta RM引导的投票机制，实现了更高质量的奖励信号生成。论文通过Self-Principled Critique Tuning (SPCT)方法，显著提升了…...

编程日记 2025/5/31 6:50:49

C++：string 1

练习题： 这个题的思路是从前往后，从后往前同时找，不是字母的话就继续，是的话就交换。代码： #define _CRT_SECURE_NO_WARNINGS 1 #include <iostream> #include <string> using namespace std; //1、4个…...

编程日记 2025/5/24 5:16:12

C语言学习之调试

在C语言的编程学习中，我们能不可避免的要遇到bug。通常我们面对编译错误等问题是很容易发现的，但是当我们面对代码结果不满足预期等情况下是很难去改的，因此我们就要学习如何调试代码。 bug与调试什么是bug？ bug本意是“昆虫”和…...

编程日记 2025/5/29 10:16:21

【project】--模拟搭建一个中小型校园网的网络平台

文章目录项目介绍设备及IP地址分配node01配置网卡配置DHCP配置路由转发 node02配置网卡配置安装并配置授权 Unbound DNS node03配置网卡配置安装防火墙SNAT配置DNAT配置(端口转发)纯缓存 Unbound DNS 配置 node04配置node05配置node06配置项目介绍本项目通过1台物理机和VMw…...

编程日记 2025/6/2 1:23:24

DeepSeek 的长上下文扩展机制

DeepSeek 在基础预训练完成后，引入 YaRN（Yet another RoPE extensioN method）技术，通过额外的训练阶段将模型的上下文窗口从默认的 4K 逐步扩展至 128K。整个过程分为两个阶段：第一阶段将上下文窗口从 4K 扩展到 32K；第二阶段则进一步从 32K 扩展到 128K。每个阶段均采用…...

编程日记 2025/5/27 17:22:13

AQS条件队列源码详细剖析

AQS条件队列源码详细剖析 0.简介欢迎来到我的博客：TWind的博客最好先看过我博客中的 ReentrantLock的超详细源码解析 ，不然想要理解条件队列的源码会非常困难。 AQS中的条件队列相比同步队列略显简单，但依然优异且高效，复杂而…...

编程日记 2025/5/31 1:28:05

LeetCode --- 446 周赛

题目列表 3522. 执行指令后的得分 3523. 非递减数组的最大长度 3524. 求出数组的 X 值 I 3525. 求出数组的 X 值 II 一、执行指令后的得分照着题目要求进行模拟即可，代码如下 // C class Solution { public:long long calculateScore(vector<string>&…...

编程日记 2025/5/31 14:03:53