当前位置：首页 > news >正文

【C++高并发服务器WebServer】-14：Select详解及实现

news 来源：原创 2025/5/20 0:02:47

在这里插入图片描述

本文目录

一、BIO模型
二、非阻塞NIO+忙轮询
三、IO多路复用
四、Select()多路复用实现

明确一下IO多路复用的概念：IO多路复用能够使得程序同时监听多个文件描述符（文件描述符fd对应的是内核读写缓冲区），能够提升程序的性能。

Linux下实现的I/O多路复用的系统调用主要有select、poll、epoll。

一、BIO模型

多进程服务器的缺点就是，线程或者进程会消耗资源（创建一个子进程会复制虚拟地址空间，占用的资源也就多了。线程来说相对来说比较好，因为共享了虚拟地址空间），然后线程或者进程调度消耗CPU资源。

没有引入多线程/多进程的时候，多个客户端来了，会在accept或者read/recv部分阻塞，导致其他的客户端不能进来。所以通过多线程/进程进行改进，在accept地方加入while循环，然后创建对应的线程，这样可以在线程内部进行读写。不会造成阻塞。

究其根本就是因为accept、read/recv是阻塞的，所以导致了要引入多线程进程解决阻塞的问题。并且在线程或者进程当中，read和recv也会阻塞。
在这里插入图片描述

二、非阻塞NIO+忙轮询

非阻塞+忙轮询的这个模型就是设置accept/read不阻塞，但是需要一直轮询。缺点就是需要占用更多的CPU和系统资源。

非阻塞的模型如下图所示，所以需要某些数据结构来存储现有的client，那么每次进行read或者recv的时候就都得遍历，每次循环都得调用很多次的系统调用，那就是O（n）的复杂度。
在这里插入图片描述

为了解决这个问题，所以需要使用IO多路复用技术：select/poll/epoll.

三、IO多路复用

下图是select、poll的模式，就是设置一个代理来帮我们进行管理。委托内核来帮我们管理，检测对应的数据。就是假设有100个fd，那么需要内核需要帮我们管理这100个fd，内核其实检测fd中的读缓冲区是否有数据。有数据，就说明我们需要获取数据了。（底层是用二进制位的形式来检查，就是设置标志位是否为1）

缺点就是只会通知有多少个fd有动静，但是具体是哪个fd，需要我们挨个遍历一遍。
在这里插入图片描述
epoll相对于上面的优点就是能够通知有多少个fd有动静，然后还会说明具体是哪些fd。

在这里插入图片描述

四、Select()多路复用实现

select的主要思想就是：

首先需要构造一个包含文件描述符的列表，并将需要监听的文件描述符加入其中。

接着调用一个系统函数，该函数会阻塞地监听列表中的文件描述符。这个监听过程是由内核完成的，只有当列表中的一个或多个文件描述符准备好进行I操作/O时，函数才会返回。

当函数返回时，它会告知进程有多少个以及是哪些文件描述符已经准备好进行I/O操作。

相关的头文件如下。

#include <sys/time.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/select.h>

int select(int nfds, fd_set *readfds, fd_set *writefds,
fd_set *exceptfds, struct timeval *timeout);

参数说明如下：

nfds：委托内核检测的最大文件描述符的值+1。

readfds：要检测的文件描述符中的读的集合，委托内核检测哪些文件描述符的读属性（读缓冲区是否有数据）。一般只检测读操作，读是被动的接收数据，检测的就是读缓冲区。只有当对方发送来数据，才能检测到。fd_set数据类型是整数，如果对其进行sizeof，那么会获得一个整数。比如sizeof(fd_set)=128，也就是128个字节，对应1024位，可以保存1024的标志位，每个位对应一个文件描述符，这是一个传入传出参数。（就是我们先置为哪些为1，然后把这个作为参数传给内核，内核只会对这个1进行检测。）

writefds：是要检测的文件描述符的写的集合，委托内核检测哪些文件描述符有写的属性。委托内核检测缓冲区是不是还可以写数据（不满的就可以写）。

exceptfds：检测发生异常的文件描述符的集合。

timeout：设置的超时时间。timeval是一个结构体，有long tv_sec和long tv_usec两个属性，一个对应秒，一个对应微秒，设置超时时间。设置NULL，是永久阻塞，直到检测到了对应的文件描述符有变化。tv_sec = 0 ,tv_usec = 0表示不阻塞。tv_sec > 0 ,tv_usec > 0表示阻塞对应的时间。

select函数返回-1表示失败，返回n表示集合中检测到了有n个文件描述发生了变化。

// 将参数文件描述符fd对应的标志位设置为0
void FD_CLR(int fd, fd_set *set);// 判断fd对应的标志位是0还是1， 返回值 ： fd对应的标志位的值，0，返回0， 1，返回1
int FD_ISSET(int fd, fd_set *set);// 将参数文件描述符fd 对应的标志位，设置为1
void FD_SET(int fd, fd_set *set);// fd_set一共有1024 bit, 全部初始化为0
void FD_ZERO(fd_set *set);

通过下面的示意图我们能够很清晰的看到select的一个作用过程。
在这里插入图片描述

在这里插入图片描述
fd_set是一个结构体，用于 select 和 pselect 函数的数据结构，用于表示一组文件描述符（file descriptors）。它的实现基于位掩码（bitmask），通过将文件描述符的编号映射到位掩码中的特定位来管理文件描述符集合。
在这里插入图片描述

long int表示8个字节。typedef long int __fd_mask; 定义了 __fd_mask 为 long int 类型，用于表示位掩码。每个 __fd_mask 可以存储多个文件描述符的状态。

__FD_SETSIZE 和 __NFDBITS：__FD_SETSIZE 是 fd_set 能够管理的最大文件描述符数量，默认值通常是 1024。
__NFDBITS 是每个 __fd_mask 可以表示的文件描述符数量。由于 __fd_mask 是 long int 类型，通常为 64 位（在 64 位系统上），因此 __NFDBITS 通常是 64。

fds_bits 或 __fds_bits：fd_set 结构体中包含一个数组，数组的类型是 __fd_mask，数组的大小是 __FD_SETSIZE / __NFDBITS。这个数组用于存储文件描述符的状态。每个 __fd_mask 元素可以表示 __NFDBITS 个文件描述符。

这个数组的大小是 __FD_SETSIZE / __NFDBITS，例如：如果 __FD_SETSIZE = 1024，__NFDBITS = 64，则数组大小为 1024 / 64 = 16。每个 __fd_mask 元素可以表示 64 个文件描述符，因此整个数组可以表示 1024 个文件描述符。

在这里插入图片描述

我们来看一个简单的select的服务端代码。

#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <sys/select.h>int main() {// 创建socketint lfd = socket(PF_INET, SOCK_STREAM, 0);struct sockaddr_in saddr;saddr.sin_port = htons(9999);saddr.sin_family = AF_INET;saddr.sin_addr.s_addr = INADDR_ANY;// 绑定bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));// 监听listen(lfd, 8);// 创建一个fd_set的集合，存放的是需要检测的文件描述符fd_set rdset, tmp;FD_ZERO(&rdset);FD_SET(lfd, &rdset);int maxfd = lfd;while(1) {tmp = rdset;// 调用select系统函数，让内核帮检测哪些文件描述符有数据int ret = select(maxfd + 1, &tmp, NULL, NULL, NULL);if(ret == -1) {perror("select");exit(-1);} else if(ret == 0) {continue;} else if(ret > 0) {// 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变if(FD_ISSET(lfd, &tmp)) {// 表示有新的客户端连接进来了struct sockaddr_in cliaddr;int len = sizeof(cliaddr);int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);// 将新的文件描述符加入到集合中FD_SET(cfd, &rdset);// 更新最大的文件描述符maxfd = maxfd > cfd ? maxfd : cfd;}for(int i = lfd + 1; i <= maxfd; i++) {if(FD_ISSET(i, &tmp)) {// 说明这个文件描述符对应的客户端发来了数据char buf[1024] = {0};int len = read(i, buf, sizeof(buf));if(len == -1) {perror("read");exit(-1);} else if(len == 0) {printf("client closed...\n");close(i);FD_CLR(i, &rdset);} else if(len > 0) {printf("read buf = %s\n", buf);write(i, buf, strlen(buf) + 1);}}}}}close(lfd);return 0;
}

client端对应代码如下。

#include <stdio.h>
#include <arpa/inet.h>
#include <stdlib.h>
#include <unistd.h>
#include <string.h>int main() {// 创建socketint fd = socket(PF_INET, SOCK_STREAM, 0);if(fd == -1) {perror("socket");return -1;}struct sockaddr_in seraddr;inet_pton(AF_INET, "127.0.0.1", &seraddr.sin_addr.s_addr);seraddr.sin_family = AF_INET;seraddr.sin_port = htons(9999);// 连接服务器int ret = connect(fd, (struct sockaddr *)&seraddr, sizeof(seraddr));if(ret == -1){perror("connect");return -1;}int num = 0;while(1) {char sendBuf[1024] = {0};sprintf(sendBuf, "send data %d", num++);write(fd, sendBuf, strlen(sendBuf) + 1);// 接收int len = read(fd, sendBuf, sizeof(sendBuf));if(len == -1) {perror("read");return -1;}else if(len > 0) {printf("read buf = %s\n", sendBuf);} else {printf("服务器已经断开连接...\n");break;}// sleep(1);usleep(1000);}close(fd);return 0;
}

【C++高并发服务器WebServer】-14：Select详解及实现

本文目录一、BIO模型二、非阻塞NIO忙轮询三、IO多路复用四、Select()多路复用实现明确一下IO多路复用的概念：IO多路复用能够使得程序同时监听多个文件描述符（文件描述符fd对应的是内核读写缓冲区），能够提升程序的性能。 Linux下…...

编程日记 2025/5/20 0:02:47

apisix网关ip-restriction插件使用说明

ip-restriction插件可以在网关层进行客户端请求ip拦截。当然了，一般不推荐使用该方法，专业的事专业工具做。建议有条件，还是上防火墙或者waf来做。官方文档：ip-restriction | Apache APISIX -- Cloud-Native API Gateway whit…...

编程日记 2025/5/19 23:20:49

15vue3实战-----props和emit传值

15vue3实战-----props和emit传值 1.emit的使用2.配合props实现完整父子通信 vue3中props和emit的使用有点不一样,但万变不离其宗。 1.emit的使用子组件: <script setup lang"ts"> // 定义触发的事件及其数据类型 const emit defineEmits([update, delete]…...

编程日记 2025/5/18 10:35:32

第二节 docker基础之---镜像构建及挂载

查看当前镜像： [rootdocker ~]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE [rootdocker ~]#很明显docker是咱们新搭建的所以目前还没有镜像 1，搜索镜像： [rootdocker ~]# docker search centos 搜索镜像并过滤是官…...

编程日记 2025/5/18 12:57:07

Android性能优化

Android性能优化如何优化一个包含大量图片加载的Android应用，以提高性能和用户体验？ 优化一个包含大量图片加载的Android应用，可以从以下几个方面入手，以提高性能和用户体验： 选择合适的图片加载库使用成熟的图片…...

编程日记 2025/5/14 21:24:12

scikit-learn简介

scikit-learn 是一个广泛使用的 Python 库，主要用于机器学习（ML）。它提供了一些简单高效的工具，适用于数据挖掘和数据分析。scikit-learn 基于 NumPy、SciPy 和 matplotlib 等科学计算库，具有易于使用的接口和高…...

编程日记 2025/5/19 5:55:15

查询已经运行的 Docker 容器启动命令

一、导语使用 get_command_4_run_container 查询 docker 容器的启动命令获取镜像 docker pull cucker/get_command_4_run_container 查看容器命令 docker run --rm -v /var/run/docker.sock:/var/run/docker.sock cucker/get_command_4_run_container 容器id或容器名 …...

编程日记 2025/5/16 17:40:29

ssti学习笔记（服务器端模板注入）

目录一，ssti是什么二，原理所谓模板引擎（三列，可滑动查看） 三，漏洞复现 1，如何判断其所属的模板引擎？ 2，判断清楚后开始注入 （1）Jinja2&a…...

编程日记 2025/5/18 13:39:39

Docker 部署 RabbitMQ | 自带延时队列

一、获取镜像 docker pull farerboy/rabbitmq:3.9.9 二、运行镜像 docker run -d --name rabbitmq \n --hostname rabbitmq \n -p 15672:15672/tcp \n -p 5672:5672/tcp \n -v /wwwroot/opt/docker/rabbitmq:/var/lib/rabbitmq \n farerboy/rabbitmq:3.9.9 备注：…...

编程日记 2025/5/15 0:44:10

如何使用deepseek创建钉钉收费AI助理

1、打开deepseek，简单描述下自己的问题，勾选深度思考 2、deepseek给我生成了一大段提示词模板 3、打开钉钉-应用中心-找AI助理 4、点击立即创作 5、创作默认创建的是免费上网，需要创建收费的话需要先申请，填一个表单内容和价格&…...

编程日记 2025/5/19 9:58:08

【STM32系列】利用MATLAB配合ARM-DSP库设计FIR数字滤波器（保姆级教程）

ps.源码放在最后面设计IIR数字滤波器可以看这里：利用MATLAB配合ARM-DSP库设计IIR数字滤波器（保姆级教程） 前言本篇文章将介绍如何利用MATLAB与STM32的ARM-DSP库相结合，简明易懂地实现FIR低通滤波器的设计与应用。文章重点不在…...

编程日记 2025/5/19 0:24:39

2025年日祭

本文将同步发表于洛谷（暂无法访问）、CSDN 与 Github 个人博客（暂未发布） 本蒟自2025.2.8开始半停课。以下是题目格式： [题目OJ 题号] [来源（选填）] 名称 …… 题号 - 名称题目：……...

编程日记 2025/5/15 5:12:13

torch_bmm验算及代码测试

文章目录 1. torch_bmm2. pytorch源码 1. torch_bmm torch.bmm的作用是基于batch_size的矩阵乘法,torch.bmm的作用是对应batch位置的矩阵相乘，比如， mat1的第1个位置和mat2的第1个位置进行矩阵相乘得到mat3的第1个位置mat1的第2个位置和mat2的第2个位置…...

编程日记 2025/5/11 23:00:02

ChatGPT提问技巧：行业热门应用提示词案例-文案写作

ChatGPT 作为强大的 AI 语言模型，已经成为文案写作的得力助手。但要让它写出真正符合你需求的文案，关键在于如何与它“沟通”，也就是如何设计提示词（Prompt）。以下是一些实用的提示词案例，帮助你解锁 ChatG…...

编程日记 2025/5/19 18:07:18

k8s中,一.service发布服务,二.dashboard:基于网页的k8s管理插件,三.资源服务与帐号权限

一.service资源对内发布服务Cluster IP对外发布服务NodePortIngress 二.dashboard:基于网页的k8s管理插件三.资源服务与帐号权限一.service:用户无法预知pod的ip地址以及所在的节点,多个相同的pod如何访问他们上面的服务功能:1.服务自动感知:pod迁移后访问service的ip,不受影响…...

编程日记 2025/5/17 21:07:28

Python的那些事第十六篇：Python的网络爬虫技术

基于Python的网络爬虫技术研究与应用摘要随着互联网的飞速发展，网络爬虫技术在数据采集、信息挖掘等领域发挥着重要作用。本文详细介绍了Python环境下常用的网络爬虫技术，包括Requests库、BeautifulSoup库以及Scrapy框架。通过对这些工具的使用方法、…...

编程日记 2025/5/19 11:26:11

Linux第106步_Linux内核RTC驱动实验

1、了解rtc_device结构体 1)、打开“include/linux/rtc.h” rtc_class_ops是需要用户根据所使用的RTC设备编写的,其结构体如下: struct rtc_class_ops { int (*ioctl)(struct device *, unsigned int, unsigned long);/*函数指针ioctl*/ int (*read_time)(struct device *,…...

编程日记 2025/5/16 10:50:33

《XSS跨站脚本攻击》

一、XSS简介 XSS全称（Cross Site Scripting）跨站脚本攻击，为了避免和CSS层叠样式表名称冲突，所以改为了XSS，是最常见的Web应用程序安全漏洞之一，位于OWASP top 10 2013/2017年度分别为第三名和第七名&…...

编程日记 2025/5/19 7:29:12

康谋方案 | BEV感知技术：多相机数据采集与高精度时间同步方案

随着自动驾驶技术的快速发展，车辆准确感知周围环境的能力变得至关重要。BEV（Birds-Eye-View，鸟瞰图）感知技术，以其独特的视角和强大的数据处理能力，正成为自动驾驶领域的一大研究热点。一、BEV感知技术概…...

编程日记 2025/5/19 13:11:23

堆详解及C语言实现

堆结构与最大堆详解：从原理到C语言实现 1. 堆结构概述 1.1 定义与性质堆（Heap）是一种特殊的完全二叉树数据结构，满足以下性质： 结构性：完全二叉树结构有序性：每个结点的值都≥（…...

编程日记 2025/5/18 0:15:12

基于STM32的智能鱼缸水质净化系统设计

🤞🤞大家好，这里是5132单片机毕设设计项目分享，今天给大家分享的是智能鱼缸水质净化系统。目录 1、设计要求 2、系统功能 3、演示视频和实物 4、系统设计框图 5、软件设计流程图 6、原理图 7、主程序 8、总结 1、设计要求…...

编程日记 2025/5/19 14:55:44

python：csv文件批量导入mysql

1.导入sql文件到数据库中 mysql -u username -p要先创建一个空的数据库 CREATE DATABASE your_database_name;USE your_database_name;导入sql文件 source /path/to/your/file.sql;查看某个表格的结构，为后续数据插入做准备 DESCRIBE table_name;2.插入假数据到对应…...

编程日记 2025/5/18 6:55:48

第三十二周：Informer学习笔记

目录摘要Abstract1 Informer1.1 预备知识1.2 模型框架1.3 实验分析总结摘要本周学习的主要内容是Informer模型，Informer是一种专为长序列时间序列预测（LSTF） 设计的Transformer模型。相较于传统的Transformer，Informer采用Pr…...

编程日记 2025/5/19 10:49:59

计算机视觉核心任务

1. 计算机视频重要分类计算机视觉的重要任务可以大致分为以下几类： 1. 图像分类（Image Classification） 识别图像属于哪个类别，例如猫、狗、汽车等。应用场景：物品识别、人脸识别、医疗影像分类。代表模型&#…...

编程日记 2025/5/15 11:29:34

【python】matplotlib（animation）

文章目录 1、matplotlib.animation1.1、FuncAnimation1.2、修改 matplotlib 背景 2、matplotlib imageio2.1、折线图2.2、条形图2.3、散点图 3、参考 1、matplotlib.animation 1.1、FuncAnimation matplotlib.animation.FuncAnimation 是 Matplotlib 库中用于创建动画的一个…...

编程日记 2025/5/16 20:01:42

【Linux网络编程】之守护进程

【Linux网络编程】之守护进程进程组进程组的概念组长进程会话会话的概念会话ID 控制终端控制终端的概念控制终端的作用会话、终端、bash三者的关系前台进程与后台进程概念特点查看当前终端的后台进程前台进程与后台进程的切换作业控制相关概念作业状态（一般指后…...

编程日记 2025/5/17 8:44:49

Vue.js如何根据访问路径切换页面

Vue Router 在前端工程中，路由指的是，根据不同的访问路径，展示不同组件的内容。 Vue Router是Vue.js的官方路由。 Vue Router介绍。要使用vue Router，得先安装 npm install vue-router4这里的4，指的是第4个版本在s…...

编程日记 2025/5/16 7:16:36

Vue与Konva：解锁Canvas绘图的无限可能

前言在现代Web开发中，动态、交互式的图形界面已成为提升用户体验的关键要素。Vue.js，作为一款轻量级且高效的前端框架，凭借其响应式数据绑定和组件化开发模式，赢得了众多开发者的青睐。而当Vue.js邂逅Konva.js，两者结…...

编程日记 2025/5/12 10:24:45

collabora online+nextcloud+mariadb在线文档协助

1、环境龙蜥os 8.9 docker 2、安装docker dnf -y install dnf-plugins-core dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sed -i shttps://download.docker.comhttps://mirrors.tuna.tsinghua.edu.cn/docker-ce /etc/yum.repos.…...

编程日记 2025/5/18 11:09:45

linux基础命令1

1、linux目录结构——树型结构根目录：/ 用户主目录(家目录)：~或者 /home/edu 根目录下常见的文件夹: 2、常见的命令 1、pwd 查看当前目录 cd 切换目录 cd ~ 切换到家目录 2、ls 查看当前目录的文件信息语法:ls [选项] [参…...

编程日记 2025/5/18 7:36:49

[LVGL] 在VC_MFC中移植LVGL

前言： 0. 在MFC中开发LVGL的优点是可以用多个Window界面做辅助扩展【类似GUIguider】 1.本文基于VC2022-MFC单文档框架移植lvgl8 2. gitee上下载lvgl8.3 源码，并将其文件夹改名为lvgl lvgl: LVGL 是一个开源图形库，提供您创建具有易于使用…...

编程日记 2025/5/16 4:52:44

Spring Boot整合MQTT

MQTT是基于代理的轻量级的消息发布订阅传输协议。 1、下载安装代理进入mosquitto下载地址：Download | Eclipse Mosquitto，进行下载，以win版本为例下载完成后，在本地文件夹找到下载的代理安装文件使用管理员身份打开安装安装…...

编程日记 2025/5/18 1:13:14

elasticsearch实战三 elasticsearch与mysql数据实时同步

一介绍 elasticsearch数据不是一直不变的，需要与mysql、oracle等数据库的数据做同步。本博客里涉及到的项目地址：https://www.aliyundrive.com/s/7bRWpTYsxWV 方案一： 同步调用，即操作mysql数据后，接着操作elastic…...

编程日记 2025/5/18 9:38:36

netcore openTelemetry+prometheus+grafana

一、netcore项目二、openTelemetry 三、prometheus 四、grafana添加Dashborad aspire/src/Grafana/dashboards at main dotnet/aspire GitHub 导入：aspnetcore.json和aspnetcore-endpoint.json 效果：...

编程日记 2025/5/14 18:40:52

StochSync：可在任意空间中生成360°全景图和3D网格纹理

StochSync方法可以用于在任意空间中生成图像，尤其是360全景图和3D网格纹理。该方法利用了预训练的图像扩散模型，以实现零-shot生成，消除了对新数据收集和单独训练生成模型的需求。StochSync 结合了 Diffusion Synchronization（DS&…...

编程日记 2025/5/5 17:43:03

MybatisPlus较全常用复杂查询引例（limit、orderby、groupby、having、like...）

MyBatis-Plus 是一个 MyBatis 的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。以下是 MyBatis-Plus 中常用复杂查询（如 LIMIT、ORDER BY、GROUP BY、HAVING、LIKE 等）的引例： 1. 环境准备…...

编程日记 2025/5/19 13:12:02

大数据项目2：基于hadoop的电影推荐和分析系统设计和实现

前言大数据项目源码资料说明： 大数据项目资料来自我多年工作中的开发积累与沉淀。我分享的每个项目都有完整代码、数据、文档、效果图、部署文档及讲解视频。可用于毕设、课设、学习、工作或者二次开发等，极大提升效率！ 1、项目目标本…...

编程日记 2025/5/19 20:10:33

win10的Unet项目导入阿里云训练

win10配置文件 annotated-types0.7.0 certifi2024.12.14 charset-normalizer3.4.1 click8.1.8 colorama0.4.6 contourpy1.1.1 cycler0.12.1 docker-pycreds0.4.0 eval_type_backport0.2.2 filelock3.16.1 fonttools4.55.3 fsspec2024.12.0 gitdb4.0.12 GitPython3.1.44 idna3.…...

编程日记 2025/5/19 2:55:42

本文目录

一、BIO模型

二、非阻塞NIO+忙轮询

三、IO多路复用

四、Select()多路复用实现

相关文章：