day007
文章目录
- 1. sort 排序
- 1.1 -r,-n
- 1.2 -k 按列比较
- 1.3 练习
- 1.3.1 找出/etc下占用空间最大的前5个内容
- 1.3.2 查看/*下所有目录的大小,并取出最大的5个
- 2. uniq 去重
- 2.1 uniq与sort统计次数
- 3. awk
- 4. 日志分析
- 4.1 分析access.log中ip出现的次数并取前5名
- 4.2 分析secure文件中用户登录失败的ip次数,取前五名
- 5. 踩坑记录
- 5.1 ls -l显示的目录数值为啥不准确?
- 6. 思维导图
1. sort 排序
对文件或管道内容按行进行排序。
默认是按照字典序列进行排序。
-n与-h选项不兼容。
[root@oldboy99-Kylin ~/oldboy]# cat sort.txt
0
001
24
222
3456
45
25
43
404
4
235
556
[root@oldboy99-Kylin ~/oldboy]# sort sort.txt
0
001
222
235
24
25
3456
4
404
43
45
556
1.1 -r,-n
- -r:revert,将结果逆序输出
- -n:按照数值比较
[root@oldboy99-Kylin ~/oldboy]# sort -n sort.txt
0
001
4
24
25
43
45
222
235
404
556
3456
[root@oldboy99-Kylin ~/oldboy]# sort -nr sort.txt
3456
556
404
235
222
45
43
25
24
4
001
0
# 和管道结合使用:输出最大的三个数
[root@oldboy99-Kylin ~/oldboy]# sort -nr sort.txt |head -n3
3456
556
404
1.2 -k 按列比较
sort默认按行的数值比较,如果有多列且按列进行比较,需要用-k。
- -k:按指定列排序
[root@oldboy99-Kylin ~/oldboy]# sort sort2.txt -k2n
skx 10
lidao 90
turing 92
malin 99
oldboy 100
1.3 练习
1.3.1 找出/etc下占用空间最大的前5个内容
[root@oldboy99-Kylin ~/oldboy]# ll -h /etc/ |sort -hrk5 |head -n5
-rw-r--r-- 1 root root 677K 6月 23 2020 services
-rw-r--r-- 1 root root 78K 4月 29 20:32 ld.so.cache
-rw-r--r-- 1 root root 66K 4月 22 2020 mime.types
-rw-r--r-- 1 root root 12K 8月 29 2024 nanorc
-rw-r--r-- 1 root root 11K 3月 6 2021 sensors3.conf
1.3.2 查看/*下所有目录的大小,并取出最大的5个
- du -sh:查看指定目录的大小
- -h:用人类可读的单位比较大小
[root@oldboy99-Kylin ~/oldboy]# du -sh /* |sort -hrk1 |head -n5
du: 无法访问 '/proc/1636/task/1636/fd/4': 没有那个文件或目录
du: 无法访问 '/proc/1636/task/1636/fdinfo/4': 没有那个文件或目录
du: 无法访问 '/proc/1636/fd/3': 没有那个文件或目录
du: 无法访问 '/proc/1636/fdinfo/3': 没有那个文件或目录
4.4G /root
3.4G /usr
354M /var
172M /boot
25M /etc
2. uniq 去重
- unique,独一无二的,唯一的
- uniq经常于sort一起使用
- uniq去重时仅是对附件的数据进行去重,所以一般先排序,再去重
- -c:count,计算内容重复出现的次数
[root@oldboy99-Kylin ~/oldboy]# cat uniq.txt
skx
skx
oldboy
skx
oldboy
oldboy
skxoy
oldboy
olboy
oldboy
oldboy
……
[root@oldboy99-Kylin ~/oldboy]# uniq uniq.txt
skx
oldboy
skx
oldboy
skx
oldboy
skx
oldboy
[root@oldboy99-Kylin ~/oldboy]# uniq uniq.txt -c2 skx1 oldboy1 skx2 oldboy8 skx5 oldboy8 skx11 oldboy
2.1 uniq与sort统计次数
[root@oldboy99-Kylin ~/oldboy]# sort uniq.txt |uniq -c19 oldboy19 skx
3. awk
- linux三剑客(awk、sed、grep)老大
- 功能:取列、计算统计
- $:字段引用符
- NF:number of field,字段总数,表示列数
- colume -t:用制表符将结果对其输出
[root@oldboy99-Kylin ~/oldboy]# cat awk.txt
oldboy 10.0.0.1 Lidao996 40
lidao 10.0.0.200 Lidao996 18
xiaozhang 8.8.8.8 Lidao996 16
oldduan 10.0.0.99 Lidao996 20
# 获取第2列数据
[root@oldboy99-Kylin ~/oldboy]# awk '{print $2}' awk.txt
10.0.0.1
10.0.0.200
8.8.8.8
10.0.0.99
# 获取最后一列数据
[root@oldboy99-Kylin ~/oldboy]# awk '{print $NF}' awk.txt
40
18
16
20
[root@oldboy99-Kylin ~/oldboy]# awk '{print $2,$3}' awk.txt |column -t
10.0.0.1 Lidao996
10.0.0.200 Lidao996
8.8.8.8 Lidao996
10.0.0.99 Lidao996
4. 日志分析
- 将压缩包上传至虚拟机并解压。
02-【awk练习文件】access-服务的访问日志-v3.zip等2个文件: https://pan.baidu.com/s/1fEwEsAjja8F9u4yBZPxIAw?pwd=57ec 提取码: 57ec
- unzip:解压以.zip结尾的压缩包
4.1 分析access.log中ip出现的次数并取前5名
- 判断ip的位置,并用awk取出
- 先对ip排序,ip不是数字,不用加选项-n
- 对排序好后的ip去重并统计各个ip出现的次数
- 按照ip出现的次数排序,取所需的数据
[root@oldboy99-Kylin ~/oldboy]# awk '{print $1}' access.log |sort |uniq -c |sort -rnk1 |head -n512049 58.220.223.6210856 112.64.171.981982 114.83.184.1391662 117.136.66.101318 115.29.245.13
4.2 分析secure文件中用户登录失败的ip次数,取前五名
- 用户登录失败的关键词是:Failed
- 按照用户登录失败的关键词查找所需的行
- 再查找ip的位置:ip的位置靠后,就从后计算
- 提取出IP后,就和上面一样,再排序去重-排序
[root@oldboy99-Kylin ~/oldboy]# grep -i 'failed' secure-20161219 |awk '{print $(NF-3)}' |sort |uniq -c|sort -k1nr |head -n568652 218.65.30.2534326 218.65.30.5321201 218.87.109.15418065 112.85.42.10317164 112.85.42.99
5. 踩坑记录
5.1 ls -l显示的目录数值为啥不准确?
ls -l
:显示文件的逻辑大小(实际数据量),但对目录仅显示其本身占用的空间,不包括目录下的文件大小du
:计算目录及其内容的物理磁盘占用空间(基于块分配),因此用du
计算目录大小结果更准确
6. 思维导图
【金山文档】 思维导图 https://www.kdocs.cn/l/co3I7PtpTYQX
相关文章:
day007
文章目录 1. sort 排序1.1 -r,-n1.2 -k 按列比较1.3 练习1.3.1 找出/etc下占用空间最大的前5个内容1.3.2 查看/*下所有目录的大小,并取出最大的5个 2. uniq 去重2.1 uniq与sort统计次数 3. awk4. 日志分析4.1 分析access.log中ip出现的次数并取前5名4.2 分析secure文…...
二进制如何与三生原理实现统一?
AI辅助创作: 一、符号系统的维度统一 二元符号的阴阳元重构 二进制符号0与1在三生原理中被抽象为阴元(2)与阳元(3),通过小衍数法实现自然数域与阴阳域的映射转换。例如旧奇数公式p 2n1 与…...
普通IT的股票交易成长史--20250430午
声明:本文章的内容只是自己学习的总结,不构成投资建议。文中观点基本来自yt站Andylee,美股Alpha姐,综合自己的观点得出。感谢他的无私分享。 仓位就是生命,绝对不能满仓!!!…...
【计算机视觉】目标检测:深度解析MMDetection:OpenMMLab开源目标检测框架实战指南
深度解析MMDetection:OpenMMLab开源目标检测框架实战指南 架构设计与技术亮点系统架构概览核心技术特性 环境配置与安装指南硬件配置建议详细安装步骤环境验证 实战全流程解析1. 数据集准备2. 配置文件定制3. 模型训练与调优4. 模型评估与推理 核心功能扩展1. 自定义…...
《冰雪传奇点卡版》:第二大陆介绍!
一、第二大陆:高阶资源与实力验证的核心战场 1. 准入条件与地图分布 进入门槛: 基础要求:角色需达到四转(需消耗50万元宝完成转生任务),部分地图需额外满足神魔点数(如黑暗之森需神魔全2&#…...
在线服务器都有哪些用途?
在线服务器是指一种能够能够随时进行连接、管理和操作的服务器,可以通过互联网或者是本地网络来为用户提供网络服务,在线服务器可以是物理服务器也可以是虚拟服务器,让用户可以通过远程访问工具来进行管理。 在线服务器在云计算和虚拟化技术中…...
(Go Gin)Gin学习笔记(二):路由配置、基本路由、表单参数、上传单个文件、上传多个文件、浅扒路由原理
1. 路由 gin 框架中采用的路优酷是基于httprouter做的 HttpRouter 是一个高性能的 HTTP 请求路由器,适用于 Go 语言。它的设计目标是提供高效的路由匹配和低内存占用,特别适合需要高性能和简单路由的应用场景。 主要特点 显式匹配:与其他路由…...
Java 中的 设计模式详解
一:设计模式概述 (1)概述 (2)分类 创建型 行为型 结构型 二:软件设计模式 2.1 开闭原则 (1)定义 在程序需要进行拓展的时候,不能修改原有代码 使用到接口和抽象类&#x…...
设计模式(构建者模式)
建造者设计模式详解 建造者模式(Builder Pattern)是一种创建型设计模式,它允许我们分步骤创建复杂对象。这种模式特别适合那些需要多个步骤才能构建出来的、有很多配置选项的对象。 为什么需要建造者模式? 想象一下,…...
python实战项目67:空气质量在线检测平台js逆向
python实战项目67:空气质量在线检测平台js逆向 一、需求介绍二、完整代码一、需求介绍 项目需求是获取某个城市(以北京市为例)历年(2013年12月至2025年4月)的空气质量数据,字段包括日期、AQI、质量等级、PM2.5、PM10、NO2、CO、SO2等。改网站的网址是“https://www.aqis…...
verilog_testbench技巧
forever语句 forever begin state; end 一直执行state repeat(n) begin state; end 执行state,n次 force语句对双向端口进行输入赋值。 与wait 是边沿触发,wait是电平触发 仿真控制语句与系统任务描述 $stop停止仿真…...
Hadoop 集群基础指令指南
目录 🧩 一、Hadoop 基础服务管理指令 ▶️ 启动 Hadoop ⏹️ 关闭 Hadoop 🧾 查看进程是否正常运行 📁 二、HDFS 常用文件系统指令 🛠️ 三、MapReduce 作业运行指令 📋 四、集群状态监控指令 💡 …...
k8s平台:手动部署Grafana
以下是一个可用于生产环境的 Kubernetes 部署 Grafana 的 YAML 文件。该配置包括 Deployment、Service、ConfigMap 和 PersistentVolumeClaim,确保 Grafana 的高可用性和数据持久化。 Grafana 生产部署 YAML 文件 ☆实操示例 cat grafana-deployment.yaml --- # …...
品牌网站建设与高端网站定制:塑造企业独特形象
在当今数字化时代,企业品牌网站建设、高端网站定制、多语言外贸网站开发以及网站安全运维已成为企业不可或缺的一部分。它们不仅是企业展示形象、推广产品的重要窗口,更是企业实现数字化转型、提升市场竞争力的关键环节。本文将围绕这些主题,…...
canvas动画:点随机运动 距离内自动连接成线 鼠标移动自动吸附附近的点
思路/实现步骤 创建canvas元素 获取canvas的上下文ctx 初始化点的信息(数量、初始坐标、移动方向、移动速度、大小、颜色) 绘制点 绘制点之间的连线 点有规律的动起来 动画循环 鼠标移动相关逻辑 点鼠标之间连线 鼠标吸附逻辑 添加配置项 重绘…...
算法竞赛进阶指南.沙漠之王
目录 题目算法标签: 01 01 01分数规划, 最小生成树思路代码 题目 348. 沙漠之王 算法标签: 01 01 01分数规划, 最小生成树 思路 看题目有要求是构建的渠道的总长度和总成本的比值最小, 形式化的表示 k ∑ L ∑ S k \frac {\sum L}{\sum S} k∑S∑L 可以转化为 k ⋅…...
第四章:走向共产主义社会
第四章:走向共产主义社会 1. 全球无阶级社会的形成 随着生产力的高度发展和社会资源的极大丰富,资本主义的最后残余彻底消失。全球范围内实现了按需分配的社会制度,所有国家都废除了货币体系和私有财产制度,进入了真正的共产主义…...
K8S - HPA + 探针实战 - 实现弹性扩缩与自愈
引言 在分布式系统中,弹性扩缩容与 服务自愈是保障业务高可用的核心能力。Kubernetes 通过自动化机制实现两大关键功能: • 动态扩缩容:基于 CPU/内存负载自动调整 Pod 副本数量,应对流量波动。 • 故障自愈:通过健…...
永磁同步电机控制算法--线性ADRC转速环控制器(一阶、二阶)
一、原理介绍 搭建一阶、二阶线性ADRC转速环控制器,通常一阶ADRC包括一阶LTD、二阶LESO、LSEF,二阶ADRC包括二阶LTD、三阶LESO、LSEF。 原理部分参考了这篇知乎自抗扰控制-ADRC - 知乎。 二、仿真验证 在MATLAB/simulink里面验证所提算法,…...
泰迪杯特等奖案例学习资料:基于多模态数据融合与边缘计算的工业设备健康监测与预测性维护系统
(第十三届泰迪杯数据挖掘挑战赛特等奖案例解析) 一、案例背景与核心挑战 1.1 应用场景与行业痛点 在智能制造领域,工业设备(如数控机床、风力发电机)的健康状态直接影响生产效率和运维成本。传统维护方式存在以下问题: 故障响应滞后:依赖定期检修,突发故障导致停机损…...
4.29[Q]NLP-Exp2
我正在完成自然语言处理作业,?阅读文档,详细解释,越细节越好 class TextCNN(object): def __init__(self, config): self.config config self.preprocessor Preprocessor(config) self.class_name {0: 负面, 1: 正面} def buil…...
前端开发 Markdown 编辑器与富文本编辑器详解
一、现有开源项目分析 1. Markdown 编辑器 项目名称 技术栈 核心特性 适用场景 Editor.md JavaScript/Node.js 支持 GFM、代码块、流程图、数学公式,兼容 IE8,提供主题切换功能 技术博客、网页站、在线文档 Bytemd Svelte/Vue/Re…...
GCC-C语言“自定义段”
一、起因 事情的起因是这样的,在看别人代码时,发现了一种很有意思的写法,因为本人主要是以应用层开发为主,所以对这种写法还是比较少见的,所以研究了一下,就牵扯出了一些知识点,这里先卖个关子,继续往下看。 二、经过 发现了一串这样的代码 static void do_mac(mcmd_…...
2025年4月个人工作生活总结
本文为 2025年4月工作生活总结。 研发编码 一个项目的临时记录 自2月份领导让我牵头负责一个项目起,在本月算是有较多时间投入——但也是与之前的相比。 月初,清明节前一晚上,因某事务被叫上参加临时紧急远程会议,几方领导都在…...
B/S架构:定义、原理及其在软件测试中的应用
引言 在当今互联网时代,B/S架构已成为软件开发的主流模式之一。作为软件测试工程师,深入理解B/S架构的定义和工作原理,对于设计有效的测试策略至关重要。本文将全面解析B/S架构,并探讨其在软件测试中的特殊考量。 一、B/S架构的…...
【Android】文件导出到本地或者U盘
项目需求 在使用Android 9平板开发的时候,项目更新了一个新的需求,现在需要检测设备是否插入U盘,如果没有U盘的话,就将文件导出到系统根目录,如果有U盘的话,就将文件导出到U盘里面。 项目实现 1.实现文件…...
在Electron中爬取CSDN首页的文章信息
背景 之前分享了Electron入门的相关文章:https://gitee.com/ruirui-study/electron-demo 后来,我就想在里面多做一些演示给大家看,集成了以下功能及演示: 窗口管理、各种方法封装托盘管理菜单管理获取屏幕演示多窗口及通信演示…...
论文阅读:2024 EMNLP User Inference Attacks on Large Language Models
总目录 大模型安全相关研究:https://blog.csdn.net/WhiffeYF/article/details/142132328 User Inference Attacks on Large Language Models https://arxiv.org/pdf/2310.09266 https://www.doubao.com/chat/4034601691207170 速览 这篇论文主要研究了大语言模…...
学习记录:DAY21
我的开发日志:类路径扫描、DI 容器与动态代理 前言 我失忆了,完全不记得自己早上干了什么。 日程 早上 10 点左右开始,学了一早上,主要是类路径扫描相关的调试。 晚上 8 点了,真不能再摸🐟了。 学习记录 计…...
服务器频繁重启日志分析与诊断
从你提供的日志来看,系统确实经历了多次重启。这个日志行显示的是: reboot system boot 6.8.0-58-generic Tue Apr 29 17:54 - 14:26 (20:31)这表示系统在4月29日17:54启动,运行了约20小时31分钟后,于次日14:26结束(可…...
阿里云服务迁移实战: 07-其他服务迁移
概述 当完成了服务器、数据库、IP、OSS等迁移后,剩下的就是其他服务了。 短信网关 短信模板只能一个个创建,不能批量操作。但是可以使用以下方式优化操作。 在原账号导出模板列表 概述 当完成了服务器、数据库、IP、OSS等迁移后,剩下的…...
第六章 QT基础:9、Qt中数据库的操作
Qt数据库模块概述与使用详解 软件安装教程:https://subingwen.cn/qt/sql-driver/ 1. 概述 Qt框架中对数据库操作提供了很好的支持,我们可以通过Qt提供的类非常方便地和本地或者远程数据库进行连接。 众所周知,数据库是 C-S(cl…...
DINOv2 - 无监督学习鲁棒视觉特征
本文翻译整理自:https://github.com/facebookresearch/dinov2 文章目录 一、关于 DINOv2相关链接资源关键功能特性 二、预训练模型预训练骨架网络通过 PyTorch Hub 加载预训练模型预训练分类头 - ImageNet预训练头 - 深度估计预训练头 - 语义分割 三、安装1、推荐安…...
AI与无人零售:如何通过智能化技术提升消费者体验和运营效率?
引言:无人零售不只是无人值守 你走进一家无人便利店,没有迎宾、没有收银员,甚至没有一个人在场,但你刚拿起商品,货架旁的摄像头就悄悄“看懂”了你的动作,系统已经在后台为你记账。你以为只是没人管&#x…...
STM32F10X OLED屏幕点亮
本节实现点亮OLED屏 首先去原理图中查找对应引脚 配置上述的IO口 查看对应的原理图 OLED_CS 和 OLED_RES(PB6,PB7)就是配置为推挽输出OLED_SCLK 和 OLED_SDIN (PB13 PB15)OLED_D/C (PE12) 推挽输出就…...
Nginx核心功能02
目录 一:正向代理 1.编译安装nginx 2.配置正向代理 二:反向代理 1.配置nginx七层代理 2.配置nginx四层代理(传输层,TCP/UDP) 三:nginx缓存 1.缓存功能的核心原理和缓存类型 2.代理缓存功能设置 四…...
微格式:为Web内容赋予语义的力量
一、什么是微格式? 微格式是一种建立在已有 Web 标准基础上的简单、开放的数据格式。它的核心思想是通过在 HTML 标签中添加特定的属性和类名,为网页内容添加语义注解,从而兼顾 HTML 文档的人机可读性。 简单来说,微格式就是一套约定俗成的 HTML 标记方式,让我们能够在不…...
Linux基础 -- Generic Netlink 框架详解与开发实践
Generic Netlink 框架详解与开发实践 本文旨在系统性介绍 Linux 内核中的 Generic Netlink 框架,包括其设计背景、结构设计、核心数据结构 genl_ops 的使用,以及完整的内核与用户态通信示例,适合用于驱动开发、用户空间控制接口构建及系统通信…...
CMake解析参数用法示例
cmake_parse_arguments 是 CMake 中用于解析函数或宏参数的工具,特别适合处理带有选项(OPTIONS)、单值参数(SINGLE_ARGS)和多值参数(MULTI_ARGS)的复杂参数列表。以下是用法说明和一个示例&…...
开源项目实战学习之YOLO11:ultralytics-cfg-models-fastsam(九)
👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 1. __init__.py2. model.py3. predict.py4. utils.py5. val.py FastSAM 是一种目标检测和图像分割模型,Ultralytics 是一个在计算机视觉领域广泛使用的库&#x…...
使用frpc链接内网的mysql
以下是配置 frpc 连接内网 MySQL 服务的详细步骤: 1. 准备工作 frps 服务器:已部署在公网 IP 11.117.11.245,假设 frps 的默认端口为 7000。 内网 MySQL 服务:运行在内网机器的 3306 端口。 目标:通过公网 IP 11.117…...
分享:VTK版本的选择 - WPF空域问题
在早期版本中,ActiViz 对 Windows Presentation Foundation (WPF) 框架的支持是通过 WindowsFormHost 组件实现的,这种方式依赖于 WindowsForm 和 WPF 的互操作性。然而,这种方法存在一个众所周知的“空域问题”(airspace issue&a…...
MIPS架构详解:定义、应用与其他架构对比
一、MIPS架构的定义 MIPS(Microprocessor without Interlocked Pipeline Stages) 是一种经典的精简指令集(RISC)处理器架构,由斯坦福大学John Hennessy团队于1981年提出,强调高效流水线设计和硬件简化。 核…...
项目剖析:基于Agent的个人知识管理系统如何设计
为什么写这篇文章?最近在思考如果想要构建一个个人知识管理的Agent应该怎样设计才好,然后最近看到这样一个项目,就想剖析一下它的架构,看一下它的设计思想。然后一些剖析得过程就沉淀到本文当中。本文档主要从整体架构、dataflow的视角剖析khoj项目,分析应该一个知识管理A…...
Python魔法函数深度解析
一、魔法函数是什么? 魔法函数(Magic Methods)是Python中以双下划线(__xx__)包裹的特殊方法,它们为类提供了一种与Python内置语法深度集成的能力。这些方法由解释器自动调用,无需显式调用&…...
PCB设计工艺规范(一)概述
PCB设计工艺规范(一) 1.概述2.关键词及引用标准3.PCB板材要求3.1 确定PCB使用板材以及TG值3.2 确定 PCB 的表面处理镀层 4.热设计要求5.器件库选项要求 资料来自网络,仅供学习使用。 1.概述 规范产品的 PCB 工艺设计,规定 PCB 工…...
Github开通第三方平台OAuth登录及Java对接步骤
调研起因: 准备搞AI Agent海外项目,有相当一部分用户群体是程序员,所以当然要接入Github这个全球最大的同性交友网站了,让用户使用Github账号一键完成注册或登录。 本教程基于Web H5界面进行对接,同时也提供了spring-…...
DeepSeek V1:初代模型的架构与性能
DeepSeek V1(又称DeepSeek-MoE)是DeepSeek系列的首代大规模语言模型,它采用Transformer结合稀疏混合专家(MoE)的创新架构,实现了在受控算力下的大容量模型。本文将深入解析DeepSeek V1的架构设计与技术细节,包括其关键机制、训练优化策略,以及在各类NLP任务上的表现。 …...
Java ResourceBundle 资源绑定详解
Java ResourceBundle 资源绑定详解 ResourceBundle 是 Java 提供的国际化(i18n)资源管理工具,位于 java.util 包。它专门用于加载本地化的 .properties 资源文件,支持多语言切换,是国际化和本地化开发的核心类。 1. 核心特性 (1)基本特点 基于 .properties 文件管理键…...
flutter 专题 六十一 支持上拉加载更多的自定义横向滑动表格
在股票软件中,经常会看到如下所示的效果(ps:由于公司数据敏感,所以使用另一个朋友的一个图)。 分析需要后,我先在网上找了下支持横向滑动的组件,最后找到了这个:flutter_horizontal…...