当前位置：首页 > news >正文

Linux重定向与缓冲区

news 来源：原创 2025/7/4 2:42:46

目录

文件描述符的分配规则

重定向

使用 dup2 系统调用

FILE

文件描述符的分配规则
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>int main()
{int fd = open("myfile", O_RDONLY);if(fd < 0){perror("open");return 1;}printf("fd: %d\n", fd);close(fd);return 0;
}
输出发现是 fd: 3

关闭0或者2，再看
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>int main()
{close(0);//close(2);int fd = open("myfile", O_RDONLY);if(fd < 0){perror("open");return 1;}printf("fd: %d\n", fd);close(fd);return 0;
}
发现是结果是： fd: 0 或者 fd 2 可见，文件描述符的分配规则：在ﬁles_struct数组当中，找到当前没有被使用的最小的一个下标，作为新的文件描述符。

重定向

那如果关闭1呢？看代码：
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdlib.h>int main()
{close(1);int fd = open("myfile", O_WRONLY|O_CREAT, 00644);if(fd < 0){perror("open");return 1;}printf("fd: %d\n", fd);fflush(stdout);close(fd);exit(0);
}
此时，我们发现，本来应该输出到显示器上的内容，输出到了文件 myfile 当中，其中，fd＝1。这种现象叫做输出重定向。常见的重定向有:>, >>,<。

那重定向的本质是什么呢？

实际上我们的上层是不会变的，也就是说操作系统还是只看fd，但是呢fd对应的文件结构体内容变了，指向了其它文件的地址就会发生这种效果。

使用 dup2 系统调用

函数原型如下:
#include <unistd.h>int dup2(int oldfd, int newfd);
//int fd = open(filename,O_CREAT | O_WRONLY | O_TRUNC,0666);int fd = open(filename,O_CREAT | O_WRONLY | O_APPEND,0666);dup2(fd,1);printf("hello world\n");fprintf(stdout, "hello world\n");
printf是C库函数当中的IO函数，一般往 stdout 中输出，但是stdout底层访问文件的时候，找的还是fd:1, 但此时，fd:1 下标所表示内容，已经变成了log.txt的地址，不再是显示器文件的地址，所以，输出的任何消息都会往文件中写入，进而完成输出重定向。

FILE

因为IO相关函数与系统调用接口对应，并且库函数封装系统调用，所以本质上，访问文件都是通过fd访问的。
所以C库当中的FILE结构体内部，必定封装了fd。

来段代码在研究一下：
#include <stdio.h>
#include <string.h>int main()
{const char *msg0="hello printf\n";const char *msg1="hello fwrite\n";const char *msg2="hello write\n";printf("%s", msg0);fwrite(msg1, strlen(msg0), 1, stdout);write(1, msg2, strlen(msg2));fork();return 0;
}
运行出结果：
hello printf
hello fwrite
hello write
但如果对进程实现输出重定向呢？ ./hello > file ，我们发现结果变成了：
hello write
hello printf
hello fwrite
hello printf
hello fwrite
我们发现 printf 和 fwrite （库函数）都输出了2次，而 write 只输出了一次（系统调用）。为什么呢？肯定和 fork有关！

一般C库函数写入文件时是全缓冲的，而写入显示器是行缓冲。
printf fwrite 库函数会自带缓冲区（进度条例子就可以说明），当发生重定向到普通文件时，数据的缓冲方式由行缓冲变成了全缓冲。
而我们放在缓冲区中的数据，就不会被立即刷新，甚至fork之后
但是进程退出之后，会统一刷新，写入文件当中。
但是fork的时候，父子数据会发生写时拷贝，所以当你父进程准备刷新的时候，子进程也就有了同样的一份数据，随即产生两份数据。
write 没有变化，说明没有所谓的缓冲。、

综上： printf fwrite 库函数会自带缓冲区，而 write 系统调用没有带缓冲区。另外，我们这里所说的缓冲区，都是用户级缓冲区。其实为了提升整机性能，OS也会提供相关内核级缓冲区，不过不在我们讨论范围之内。那这个缓冲区谁提供呢？ printf fwrite 是库函数， write 是系统调用，库函数在系统调用的“上层”，是对系统调用的“封装”，但是 write 没有缓冲区，而 printf fwrite 有，足以说明，该缓冲区是二次加上的，又因为是 C，所以由C标准库提供。

Linux重定向与缓冲区

目录文件描述符的分配规则重定向使用 dup2 系统调用 FILE 文件描述符的分配规则 #include <stdio.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h>int main() {int fd open("myfile", O_RDONLY);if(fd < 0){per…...

编程日记 2025/7/4 2:42:46

经典还原反应解析：Wolff-Kishner机制与黄鸣龙改进法

在有机化学发展史上记载的万余种经典反应中，当论及以科学家命名的标志性转化反应时，Wolff-Kishner-黄鸣龙还原反应必然占据重要地位。在大学《有机化学》课程中，学习还原反应时肯定会提到Wolff-Kishner-黄鸣龙还原反应，这是第一个…...

编程日记 2025/6/28 22:59:16

0、下载DataX并解压到对应目录 DataX安装包，开箱即用，无需配置。 https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz 相关参考文档 https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md 1、Hive分区…...

编程日记 2025/6/28 22:58:49

npm 报错 gyp verb `which` failed Error: not found: python2 解决方案

一、背景 npm 安装依赖报如下错： gyp verb check python checking for Python executable "python2" in the PATH gyp verb which failed Error: not found: python2 一眼看过去都觉得是Python环境问题，其实并不是你python环境问题&#xf…...

编程日记 2025/6/29 0:33:02

安装npm：npm未随Node.js一起安装

文章目录上传至linux服务器/usr/local/目录下如果npm没有随Node.js一起安装，你可以尝试单独下载并安装npm。但通常情况下，这是不必要的，因为npm是Node.js的一部分。如果确实需要单独安装npm，你可以参考npm的官方安装指南。 npm…...

编程日记 2025/7/4 2:41:08

C++23 ranges::to：范围转换函数 (P1206R7)

文章目录引言C23 Ranges 概述ranges::to 的定义与功能定义功能使用场景范围转换为容器简化字符串解析映射转换为向量 ranges::to 的优势代码简洁性提高开发效率与C23的stl容器的范围版本构造函数配合良好模板参数约束的思考总结引言在C的发展历程中，每一个新版…...

编程日记 2025/6/28 22:59:53

openfeign 拦截器实现微服务上下文打通

目录 openfeign 拦截器实现微服务上下文打通需求分析：代码实现：subject 服务：controllerFeign 拦截器：将 Feign 拦截器注册为一个Bean： auth 鉴权服务：全局配置类：登录拦截器：上下文…...

编程日记 2025/6/28 22:58:52

【MySQL】变更缓冲区：作用、主要配置以及如何查看

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/6/29 0:01:51

TCP/IP-——C++编程详解

1. TCP/IP 编程基本概念 TCP（传输控制协议）：面向连接、可靠的传输层协议，保证数据顺序和完整性。IP（网际协议）：负责将数据包路由到目标地址。Socket（套接字）&#xff1a…...

编程日记 2025/6/29 1:29:29

微服务如何实现服务的高可用

背景：微服务分层需要考虑高可用和高并发的问题微服务如何实现服务的高可用先说结论：微服务实现高可用主要通过集群冗余故障自动转移来实现的具体可以从底下几种方案来实现。 “端”到“反向代理”的高可用“反向代理”到“站点应用”的高可用“站点…...

编程日记 2025/6/28 22:59:05

微服务调试问题总结

本地环境调试。启动本地微服务，使用公共nacos配置。利用如apifox进行本地代码调试解决调试问题。除必要的业务微服务依赖包需要下载到本地。使用mvn clean install -DskipTests进行安装启动前选择好profile环境进行启动，启动前记得mvn clean清理项目。…...

编程日记 2025/6/28 23:09:07

egpo进行train_egpo训练时，keyvalueError:“replay_sequence_length“

def execution_plan(workers: WorkerSet, config: TrainerConfigDict) -> LocalIterator[dict]: if config.get(“prioritized_replay”): prio_args { “prioritized_replay_alpha”: config[“prioritized_replay_alpha”], “prioritized_replay_beta”: config[“prior…...

编程日记 2025/6/28 22:58:56

Hadoop的组成

（一）Hadoop的组成对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来保存文件，可以使用提供强大的计算能力。在Hadoop3.X中，hadoop一共有三个组成部分&#…...

编程日记 2025/6/28 23:26:18

Android锁

引言 🔒 在 Android 应用的开发过程中，随着业务需求的复杂度不断提升，多线程并发场景层出不穷。为了保证数据一致性与线程安全，锁（Lock）成为了不可或缺的工具。本篇博客将深入剖析 Android 中常用的锁机制…...

编程日记 2025/6/29 0:12:51

XD08M3232接近感应单片机的接近感应模块的工作原理

XD08M3232接近感应单片机的接近感应模块基于电容式感应原理，通过硬件电路与软件配置实现对物体接近的检测。以下是其工作原理的详细解析： 一、硬件架构与核心组件 1. 核心电路组成接近感应模块由三大关键部分构成： 两个轨到轨运算放大器&…...

编程日记 2025/6/29 1:33:50

编程日志5.6

串的习题 1.2236. 判断根结点是否等于子结点之和 - 力扣（LeetCode） /** * Definition for a binary tree node. * struct TreeNode { * int val; * TreeNode *left; * TreeNode *right; * TreeNode() : val(0), left(nullptr), right(nullptr) {} * Tr…...

编程日记 2025/6/29 0:37:00

量子计算实用化突破：从云端平台到国际竞合，开启算力革命新纪元

在硅谷某生物医药实验室，研究员艾米丽正盯着量子计算模拟界面露出微笑 —— 搭载中电信 "天衍" 量子计算云平台的 880 比特超导量子处理器，用 17 分钟完成了传统超算需 3 个月才能跑完的新型抗生素分子键合模拟。这个场景标志着量子计算正从 &…...

编程日记 2025/6/29 1:08:25

Made with Unity | 拓展“双点”宇宙版图

双点工作室（Two Point Studios）团队成立于2016年，其创立初衷是打造一个完美的游戏IP：构建一个既能持续吸引玩家，又具备足够扩展空间，同时经得起时间考验的虚拟世界。2018年，团队以《双点医院&am…...

编程日记 2025/6/29 1:28:59

3D 数据可视化系统是什么？具体应用在哪方面？

目录一、3D 数据可视化系统的定义与内涵 （一）基本概念 （二）核心要素二、3D 数据可视化系统的优势三、3D 数据可视化系统的应用领域 （一）城市规划与管理 （二）工业制造 &am…...

编程日记 2025/6/28 23:42:42

2025-5-14渗透测试：利用Printer Bug ，NTLMv2 Hash Relay（中继攻击），CVE-2019-1040漏洞复现

python3 printerbug.py test.com/test192.168.186.131 192.168.186.134 sudo python2 MultiRelay.py -t 192.168.186.132 -u ALLPrinter Bug 原理 PrinterBug（CVE-2018-0886）是Windows打印系统服务（Spooler）的一个设计缺陷&…...

编程日记 2025/7/4 2:36:24

OracleLinux7.9-ssh问题

有套rac环境，db1主机无法ssh db1和db1-priv，可以ssh登录 db2和db2-priv [rootdb1 ~]# ssh db1 ^C [rootdb1 ~]# ssh db2 Last login: Wed May 14 18:25:19 2025 from db2 [rootdb2 ~]# ssh db2 Last login: Wed May 14 18:25:35 2025 from db1 [rootdb2…...

编程日记 2025/6/29 1:31:47

《AI大模型应知应会100篇》第64篇：构建你的第一个大模型 Chatbot

第64篇：构建你的第一个大模型 Chatbot 手把手教你从零开始搭建一个基于大模型的聊天机器人摘要你是否想过，自己也能构建一个像 ChatGPT 一样能对话、能思考的聊天机器人（Chatbot）？别担心，这并不需要你是…...

编程日记 2025/7/3 8:39:50

鸿蒙OSUniApp 实现精美的用户登录和注册页面#三方框架 #Uniapp

UniApp 实现精美的用户登录和注册页面前言在开发鸿蒙APP时，登录注册页面作为用户与应用交互的第一道门槛，其体验与质量往往决定了用户的第一印象。去年我接手了一个电商小程序项目，产品经理特别强调要做一个既美观又实用的登录注册页面。…...

编程日记 2025/6/28 22:59:02

c#中equal方法与gethashcode方法之间有何关联？

文章目录前言一、对hash运算的深入思考二、equal与gethashcode的关联三、 equal与gethashcode不同步的后果四、规范的重写gethashcode 前言大家有没有遇到过，当你重写了c#对象的equal方法之后，编译器会提示你对相应的gethashcode进行重写&#xff0c…...

编程日记 2025/6/28 22:59:04

查询公网IP地址的方法：查看自己是不是公网ip，附内网穿透外网域名访问方案

本地搭建服务并提供互联网连接时，较为传统的方法是使用公网IP地址。因此，如何查询本地自己是不是公网IP，是必须要掌握的一种技巧。当面对确实无公网IP时，则可以通过内网穿透方案，如nat123网络映射工具，将本…...

编程日记 2025/6/28 23:17:37

【轻松学 C：编程小白的大冒险】— 16 函数的定义与调用

在编程的艺术世界里，代码和灵感需要寻找到最佳的交融点，才能打造出令人为之惊叹的作品。而在这座秋知叶i博客的殿堂里，我们将共同追寻这种完美结合，为未来的世界留下属于我们的独特印记。【轻松学 C：编程小白的大冒险…...

编程日记 2025/7/4 2:40:21

【Tools】CPU 分析

CPU 分析 Windows SDK 本指南提供了可用于调查影响评估指标的中央处理单元 (CPU) 相关问题的详细技术。特定于评估的分析指南中的各个指标或问题部分确定了需要调查的常见问题。本指南提供了可用于调查这些问题的技术和工具。本指南中的技术使用 Windows Performance Too…...

编程日记 2025/6/28 22:59:18

进阶2_1：QT5多线程与定时器共生死

1、在widget.ui中使用 LCD Number控件注意：若 LCD 控件不是多线程，LCD控件则会瞬间自增到最大的数值，如上图，说明两者都是多线程处理 2、实现方式 1、创建 LCD 控件并修改为 LCD1 2、创建任务类 mytask. h，对任务类…...

编程日记 2025/7/4 2:38:02

ECharts：数据可视化的强大引擎

在当今这个信息爆炸的时代，如何有效地展示和理解复杂的数据成为了每一个开发者和技术爱好者面临的挑战。Apache ECharts 作为一款基于 JavaScript 的开源可视化库，以其强大的功能、丰富的图表类型以及高度的可定制性，迅速成为了数据可视化领域…...

编程日记 2025/6/29 0:31:02

记录 QT 在liunx 下 QFileDialog 类调用问题（）Linux下QFileDialog没反应）

1. 2025.05.14 踩坑记录因为QT 在 liunx 文件系统不同导致的 Windows ： QString filePath QFileDialog::getOpenFileName(nullptr, "选择文件", ".", "文本文件 (*.txt);所有文件 (*.*)"); 没问题 liunx 下打不开&#xff…...

编程日记 2025/6/28 22:59:14

通用软件项目技术报告 - 导读III

现在，我们正式进入报告的第六个主要领域：6. 领域六：与第三方服务/API 集成 (含 LLM API)。连接: 在现代软件开发中，很少有应用程序是完全孤立的。我们经常需要与各种外部的第三方服务或 API 进行集成，以利用它们提供的特定功能（如支付处理、地图服务、社交媒体登录、云…...

编程日记 2025/6/28 23:31:55

Kali Linux 桌面环境安装与配置指南

一、为什么选择 Kali Linux？ Kali Linux 由 Offensive Security 维护，集成了数百种安全测试工具（如 Metasploit、Nmap 和 Burp Suite），非常适合安全研究。但需要注意的是，Kali 默认以 root 用户运行&#…...

编程日记 2025/7/3 19:56:06

FFmpeg视频编码的完整操作指南

步骤如下： 安装和准备FFmpeg：确保包含所需编码器（如libx264）。基本命令行编码：使用ffmpeg命令进行转码，设置视频编码器、CRF、预设等。API编码流程（针对开发者）： a. 注册…...

编程日记 2025/7/3 10:28:07

【网络协议】TCP、HTTP、MQTT 和 WebSocket 对比

从协议本质、工作原理、特点、应用场景等方面详细对比 TCP、HTTP、MQTT 和 WebSocket。 1. TCP（Transmission Control Protocol，传输控制协议） 本质协议类型：传输层协议（OSI模型第4层）。核心功能&#x…...

编程日记 2025/6/28 22:58:57

Leetcode数组day1

704 二分查找注意点，左闭右闭 class Solution { public:int search(vector<int>& nums, int target) {//整数类型的动态数组的引用。int left0;int right nums.size()-1;while (left < right){int middle (rightleft)/2;if (nums[middle]>targ…...

编程日记 2025/6/28 23:40:03

leetcode2934. 最大化数组末位元素的最少操作次数-medium

1 题目：最大化数组末位元素的最少操作次数官方标定难度：中给你两个下标从 0 开始的整数数组 nums1 和 nums2 ，这两个数组的长度都是 n 。你可以执行一系列操作（可能不执行）。在每次操作中，你可以选…...

编程日记 2025/6/28 22:59:01

常见相机焦段的分类及其应用

相机焦段是指镜头的焦距范围，决定了拍摄时的视角、画面范围和透视效果。不同焦段适合不同的拍摄场景和主题，以下是常见焦段的分类及其应用： 一、焦段的核心概念焦距：镜头光学中心到成像传感器的距离（单位&#xff1a…...

编程日记 2025/6/29 0:24:07

FPGA在光谱相机中的核心作用

FPGA（现场可编程门阵列）作为光谱相机的核心控制与加速单元，通过硬件级并行处理能力和动态可编程特性，实现高速、高精度的光谱数据采集与处理。以下是其具体作用分类： 一、高速光电信号处理 ‌实时光谱复原‌ 通过硬…...

编程日记 2025/6/29 0:01:00

【证书与信任机制】证书透明度（Certificate Transparency）：如何防止恶意证书颁发？

证书透明度（Certificate Transparency, CT）的核心原理证书透明度（CT）是一项由Google主导的开放标准，旨在通过公开记录所有SSL/TLS证书的颁发行为，防止恶意CA错误或故意颁发虚假证书。其核心机制如下&#…...

编程日记 2025/6/29 1:05:23

【RabbitMq C++】消息队列组件

RabbitMq 消息队列组件 1. RabbitMq介绍2. 安装RabbitMQ3. 安装 RabbitMQ 的 C客户端库4. AMQP-CPP 库的简单使用4.1 使用4.1.1 TCP 模式4.1.2 扩展模式 4.2 常用类与接口介绍4.2.1 Channel4.3.2 ev 5. RabbitMQ样例编写5.1 发布消息5.2 订阅消息 1. RabbitMq介绍 RabbitMq - …...

编程日记 2025/6/28 23:00:36

基于SpringBoot+Vue的房屋租赁管理系统源码包（完整版）开发实战

基于SpringBootVue的房屋租赁管理系统源码包（完整版）开发实战一、引言随着城市化进程加速，房屋租赁市场规模持续扩大，传统管理方式已无法满足高效、精准的业务需求。本文基于SpringBootVue框架，设计并实现了一套完…...

编程日记 2025/6/28 23:42:21

《AI大模型应知应会100篇》第61篇：FastAPI搭建大模型API服务

第61篇：FastAPI搭建大模型API服务摘要随着大语言模型（LLM）在各行各业的广泛应用，构建一个高性能、可扩展的大模型 API 服务变得尤为重要。FastAPI 以其异步支持、类型安全、自动生成文档等优势，成为当前最流行的选择…...

编程日记 2025/6/28 22:59:20

Java 源码 HashMap源码分析

Java 源码 HashMap源码分析 1 初始容量 /*** The default initial capacity - MUST be a power of two.* 默认的初始容量，必须为2的幂*/static final int DEFAULT_INITIAL_CAPACITY 1 << 4; // aka 16容量表示哈希表中槽的数量（即哈希数组的长度…...

编程日记 2025/6/28 23:14:15

requestAnimationFrame 与 requestIdleCallback 对比

提示：记录工作中遇到的需求及解决办法文章目录前言一、背景与问题场景二、核心API对比分析三、选择 requestIdleCallback 的核心原因四、特殊场景处理建议五、最佳实践总结六、结论前言看过埋点库 sunshine-track ，很多人疑惑为啥批量上报埋点信息的时候，用的是 request…...

编程日记 2025/6/28 23:35:25

【C/C++】自定义类型：结构体

文章目录前言自定义类型：结构体1.结构体类型的声明1.1 结构体回顾1.1.1 结构的声明 1.1.2 结构体变量的创建和初始化1.2 结构的特殊声明1.3 结构的自引用 2.结构体内存对齐2.1 对⻬规则2.2 为什么存在内存对齐？2.3 修改默认对⻬数 3. 结构体传参4.结构体…...

编程日记 2025/6/28 23:34:42

视频编解码学习十二之Android疑点

一、android.view.SurfaceControl.setDisplaySurface的作用 android.view.SurfaceControl.setDisplaySurface 是 Android 系统中一个 native 层级别的 API，主要用于设置某个物理显示屏（Display）的输出 Surface，属于 SurfaceFlin…...

编程日记 2025/6/28 23:40:19

web第三次课后作业--基于JDBC对mysql数据库的增删查改操作

一、工程搭建步骤 1.新建java项目，添加jdbc依赖 2.写java程序 3.添加mysql数据源，连接本地数据库 4.运行程序二、运行结果三、代码代码解析加载数据驱动 try {Class.forName("com.mysql.jdbc.Driver"); } catch (ClassNotFoundExceptio…...

编程日记 2025/6/28 23:02:37

fiftyone-数据库配置和config与app_config配置文件

一数据库配置：（以本地为例） fiftyone数据库信息存在配置文件中： 配置文件地址： ~/.fiftyone/config.json 这个配置文件的作用：存放数据库地址信息；（如果不配置，fiftyon…...

编程日记 2025/6/29 1:16:52

Nginx的核心功能--正向代理、反向代理、缓存和Rewrite

Nginx作为高性能的Web服务器，其核心功能主要体现在以下四大模块： 一、正向代理主要用于客户端访问外部网络的中转服务。典型配置示例： server {listen 8080;resolver 8.8.8.8;location / {proxy_pass http://$http_host$request_uri;prox…...

编程日记 2025/6/29 1:22:10

mac latex vscode 配置

mac latex vscode 配置安装mactex.pkg 这里有个快速下载的镜像 https://mirrors.aliyun.com/CTAN/systems/mac/mactex/ 可以检查是否将 PATH 写入 export PATH"/Library/TeX/texbin:$PATH"vscode 下载插件 Latex Workshop 在配置文件 settings.json 中输入如下的…...

编程日记 2025/6/29 0:25:25

文件描述符的分配规则

重定向

使用 dup2 系统调用

FILE

相关文章：