当前位置: 首页 > news >正文

Linux RDMA网络配置手册

一、配置前准备工作

在进行 RDMA 网络配置之前,请确保以下准备工作已完成:

硬件环境

  • 确保服务器支持 RDMA 功能,例如支持 InfiniBand 或 RoCE(RDMA over Converged Ethernet)的网卡。
  • 确保网络交换设备支持 RDMA 协议。
  • 确保服务器之间通过支持 RDMA 的网络连接。

软件环境

  • 确保服务器操作系统已正确安装并运行。
  • 确保系统已安装 dnf 或 yum 包管理工具。

网络环境

  • 确保网络配置正确,服务器之间可以正常通信。
  • 确保防火墙或安全组规则允许 RDMA 相关端口的通信。

二、配置步骤

1. 安装 RDMA 相关软件包

1.1 安装 rdma-core 软件包

打开终端,运行以下命令安装 rdma-core 软件包:

dnf install rdma-core

或者

yum install rdma-core

1.2 安装其他工具包

为了更好地管理和测试 RDMA 网络,还需要安装一些额外的工具包。运行以下命令:

dnf install libibverbs-utils infiniband-diags

或者

yum install libibverbs-utils infiniband-diags

1.3 验证安装

安装完成后,运行以下命令验证是否安装成功:

ibstat

如果输出显示了 RDMA 设备信息,则表示安装成功。

2. 配置 RDMA 网络

2.1 配置 rdma 服务

编辑/etc/rdma/modules/rdma.conf文件,取消您要启用的模块的注释。例如,如果您需要支持 iSCSI over RDMA 客户端,则取消ib_iser模块的注释。

修改完成后,保存文件并重启rdma-load-modules@rdma.service服务以使更改生效:

systemctl restart rdma-load-modules@rdma.service

2.2 配置 IP over InfiniBand (IPoIB)

如果需要配置 IPoIB,可以通过创建 NetworkManager 连接配置文件来完成。例如,使用nmcli命令创建 IPoIB 连接:

nmcli con add type infiniband con-name ib0 ifname ib0 master eth0

替换ib0eth0为实际的设备名称。

2.3 配置 RoCE

如果使用 RoCE,需要确保网卡驱动已正确加载,并配置 RoCE 版本。例如,临时更改 RoCE 版本:

mkdir /sys/kernel/config/rdma_cm/mlx5_0/
echo "IB/RoCE v1" > /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode

2.4 验证配置

使用ibstat -v命令检查物理端口状态。确保端口状态为 Active,物理状态为 LinkUp。

如果需要测试网络性能,可以使用qperf工具。例如,在服务器端启动qperf,在客户端运行以下命令:

qperf -v -i mlx4_0:1 192.0.2.1 rc_bi_bw

三、配置示例

示例 1:配置 InfiniBand 网络

环境描述

  • 两台服务器,分别命名为 ServerA 和 ServerB。
  • 服务器之间通过 InfiniBand 网络连接。
  • ServerA 的 InfiniBand 设备名为 ib0,ServerB 的设备名为 ib1。

配置步骤

  1. 安装 RDMA 软件包
    在 ServerA 和 ServerB 上分别运行以下命令:

    dnf install rdma-core libibverbs-utils infiniband-diags
    
  2. 配置 IPoIB
    在 ServerA 上运行以下命令:

    nmcli con add type infiniband con-name ib0 ifname ib0 master eth0
    

    在 ServerB 上运行以下命令:

    nmcli con add type infiniband con-name ib1 ifname ib1 master eth1
    
  3. 验证配置
    在 ServerA 上运行以下命令:

    ibstat -v
    

    如果输出显示ib0设备状态为 Active,则表示配置成功。

    在 ServerA 和 ServerB 上分别运行以下命令测试网络性能:

    qperf -v -i ib0 192.0.2.2 rc_bi_bw
    

示例 2:配置 RoCE 网络

环境描述

  • 两台服务器,分别命名为 ServerA 和 ServerB。
  • 服务器之间通过以太网连接,支持 RoCE。
  • ServerA 和 ServerB 的网卡设备名为 enp0s1。

配置步骤

  1. 安装 RDMA 软件包
    在 ServerA 和 ServerB 上分别运行以下命令:

    dnf install rdma-core libibverbs-utils infiniband-diags
    
  2. 配置 RoCE
    在 ServerA 和 ServerB 上分别运行以下命令:

    mkdir /sys/kernel/config/rdma_cm/mlx5_0/
    echo "IB/RoCE v1" > /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode
    
  3. 验证配置
    在 ServerA 上运行以下命令:

    ibstat -v
    

    如果输出显示设备状态为 Active,则表示配置成功。

    在 ServerA 和 ServerB 上分别运行以下命令测试网络性能:

    qperf -v -i mlx4_0:1 192.0.2.2 rc_bi_bw
    

四、附录

如果 ibstat 命令未显示设备信息

可能是 RDMA 内核模块未正确加载。可以尝试手动加载模块:

modprobe ib_uverbs
modprobe ib_core

相关文章:

Linux RDMA网络配置手册

一、配置前准备工作 在进行 RDMA 网络配置之前,请确保以下准备工作已完成: 硬件环境 确保服务器支持 RDMA 功能,例如支持 InfiniBand 或 RoCE(RDMA over Converged Ethernet)的网卡。确保网络交换设备支持 RDMA 协议…...

sentinel与seata组件在微服务中的基本作用

微服务基础内容: 在微服务中,首先学习了微服务的横向拆分与纵向拆分,纵向拆分指按照功能拆分模块,横向拆分指将高复用的模块单独拆分,使纵向拆分的模块去调用这部分内容。 学习了基本拆分后,需要知道微服…...

Springboot 集成多数据源pgSql+mysql,启动报错

一.错误信息: 2025-06-25 20:25:50.870 ERROR [ai-manage-center,,] --- [ruid-ConnectionPool-Create-1057240219] DruidDataSource : create connection SQLException, url: jdbc:postgresql://10.10.60.227:5432/ai_dify1?sslmodedisable&currentSchemapub…...

南宫28NG相信品牌力量/Vue 3 中的组合式 API(Composition API)进阶实战

南宫28NG相信品牌力量【罔丨止:MGTY.PW】 点击此处复制到浏览器打开 随着 Vue 3 的普及,Composition API 已成为现代 Vue 开发的主流。本节我们将深入掌握组合式 API 的进阶用法,涵盖响应式工具、生命周期钩子封装、自定义逻辑抽离等关键技术…...

实战使用 Docker Compose 搭建 Redis Cluster 集群

文章目录 前言技术积累Docker Compose简介Redis Cluster简介Redis Cluster 解决的问题 实战演示部署环境创建目录编写Redis配置文件编写Docker-Compose.yml执行yml文件,启动容器查看容器状态创建集群验证集群集群数据验证 总结 前言 随着互联网技术的发展&#xff…...

Tauri(2.5.1)+Leptos(0.8.2)开发自用桌面小程序--DeepSeek辅助编程(俄罗斯方块)

在之前工作基础上(Tauri(2.5.1)Leptos(0.8.2)开发自用桌面小程序-CSDN博客),继续进行自用桌面小程序的开发,这次完全使用DeepSeek辅助编程做一个俄罗斯方块游戏,大部分代码由DeepSeek自主完成,Bug扔给DeepS…...

flex布局实例:把色子放进盒子里

目录 一、flex布局实例:把色子放进盒子里 1、基础样式 二、justify-content 属性 三、flex-direction 属性 四、align-items 属性 五、flex-wrap 属性 二、flex布局应用到常见场景 非常详细的讲解flex布局,看一看,练一练! …...

【启发式算法】RRT*算法详细介绍(Python)

📢本篇文章是博主人工智能(AI)领域学习时,用于个人学习、研究或者欣赏使用,并基于博主对相关等领域的一些理解而记录的学习摘录和笔记,若有不当和侵权之处,指出后将会立即改正,还望谅…...

基于R语言的亚组分析与森林图绘制1

亚组分析是临床研究中的重要分析方法,其核心是通过将研究对象按基线特征(如年龄、性别或吸烟状况等)划分为不同亚组,进而评估干预措施或暴露因素在各亚组中对结局影响的差异性。 在亚组分析中,交互作用(P for interaction)是关键指标,用于判断干预措施或暴露因素与亚组…...

idea, CreateProcess error=206, 文件名或扩展名太长

idea, CreateProcess error206, 文件名或扩展名太长 解决 “CreateProcess error206, 文件名或扩展名太长” 错误 CreateProcess error206 是 Windows 系统特有的错误,表示命令行参数超出了 Windows 的 32767 字符限制。这个问题在 Java 开发中尤其常见&#xff0c…...

aspose.word在IIS后端DLL中高并发运行,线程安全隔离

aspose.word在IIS后端DLL中运行,加载很慢,如何为全部用户加载,再每个用户访问时在各自线程中直接可以打开WORD文件处理 Aspose.Words 在 IIS 中优化加载性能方案 针对 Aspose.Words 在 IIS 后端 DLL 中加载缓慢的问题,我们可以通过单例模式预加载组件并结合线程安…...

day042-负载均衡与web集群搭建

文章目录 0. 老男孩思想-面试官问:你对加班的看法?1. 负载均衡2. 搭建负载均衡的WordPress集群2.1 负载均衡服务器2.2 配置web服务器2.3 测试 踩坑记录1. /var/cache/nginx权限问题 0. 老男孩思想-面试官问:你对加班的看法? 互联网公司没有不加班的&a…...

DuDuTalk | 武汉赛思云科技有限公司通过武汉市人工智能企业认定!

近日,2025年武汉市人工智能企业名单正式公布!武汉赛思云科技有限公司(以下简称赛思云科技)凭借卓越的技术实力与创新成果,成功入选武汉市人工智能企业。这是对公司长期深耕AI语音智能领域、推动数字化转型的高度认可&a…...

Tita CRM飞书协同版:解锁企业销售与交付管理新效能

数字化转型的破局之道 在数字经济加速发展的今天,传统管理模式正面临前所未有的挑战: • 销售过程缺乏可视化管控手段 • 项目执行存在严重的信息孤岛 • 跨部门协作效率持续低下 • 绩效考核缺乏客观数据支撑 Tita CRM作为专业的智能化管理平台&#x…...

web安全之h2注入系统学习

起初是在N1 Junior 2025 上面碰到一题,考点是h2的sql注入。由于之前没有见过,趁此机会系统学习一番 实验代码 public class H2Inject {public static void main(String[] args) throws Exception{JdbcDataSource dataSource new JdbcDataSource();dataS…...

LVS-DR负载均衡群集深度实践:高性能架构设计与排障指南

目录 一、核心原理与理论 二、背景与架构设计 三、全流程部署步骤 1. NFS共享存储配置(192.168.7.100) 2. Real Server节点配置(四台服务器) 3. Director服务器配置 四、常见问题解决方案 五、生产环境总结 拓扑示意图&am…...

Java如何导出word(根据模板生成),通过word转成pdf,放压缩包

<!-- 导出word文档所需依赖--><dependency><groupId>com.deepoove</groupId><artifactId>poi-tl</artifactId><version>1.10.0-beta</version></dependency><dependency><groupId>org.apache.poi</gr…...

.NET 7.0 EF Core:一、创建Web API 项目基础框架和用户表的增删改查

demo 地址: https://github.com/iotjin/Jh.Admin.NETCore 代码不定时更新&#xff0c;请前往github查看最新代码 .NET 7.0 EF Core&#xff1a;一、创建Web API项目 官方教程序一、项目目录结构各层职责说明1️⃣ Admin.NETCore.API&#xff08;接口层&#xff09;2️⃣ Admin.…...

一篇文章了解XML

一、什么是 XML&#xff1f; XML 是一种结构化数据的标记语言&#xff0c;用来存储、传输和描述数据。 它和 HTML 很像&#xff0c;但它的标签是自定义的&#xff0c;不限定格式和外观&#xff0c;而是强调数据的结构和含义。 XML不是用来展示数据的&#xff0c;HTML是用来展…...

Windows下安装zookeeper

有关Linux安装zk的文章可以参考下我之前写的&#xff1a; Zookeeper 3.8.4 安装和参数解析 Windows下的下载和Linux是一样的&#xff0c;都是同一个包&#xff0c;目前zk稳定版是 3.8.4 下载解压后 在根目录下创建 data 文件夹用来存放数据文件 在 conf 文件夹中&#xff0c;…...

计算机网络 网络层:控制平面

在本章中&#xff0c;包含网络层的控制平面组件。控制平面作为一种网络范围的逻辑&#xff0c;不仅控制沿着从源主机到目的主机的端到端路径间的路由器如何转发数据报&#xff0c;而且控制网络层组件和服务如何配置和管理。5.2节&#xff0c;传统的计算图中最低开销路径的路由选…...

探索阿里云智能媒体管理IMM:解锁媒体处理新境界

一、引言&#xff1a;开启智能媒体管理新时代 在数字化浪潮的席卷下&#xff0c;媒体行业正经历着前所未有的变革。从传统媒体到新媒体的转型&#xff0c;从内容生产到传播分发&#xff0c;每一个环节都在寻求更高效、更智能的解决方案。而云计算&#xff0c;作为推动这一变革…...

微信点餐小程序—美食物

本项目是基于WAMP Server 和PHP 动态网页技术构建的微信小程序点餐系统&#xff0c;该系统主要分为前端&#xff08;微信小程序&#xff09;和后端&#xff08;基于PHPMySQL服务器端&#xff09; 整体架构流程 1、前端部分 用户界面&#xff1a;展示菜品、处理用户点餐操作、…...

Python零基础入门到高手8.5节: 实现选择排序算法

目录 8.5.1 排序算法简介 8.5.2 选择排序算法 8.5.3 好好学习&#xff0c;天天向上 8.5.1 排序算法简介 所谓排序&#xff0c;是指将数据集合中的元素按从小到大的顺序进行排列&#xff0c;或按从大到小的顺序进行排列。前者称为升序排序&#xff0c;后者称为降序排序。在数…...

JavaEE初阶第四期:解锁多线程,从 “单车道” 到 “高速公路” 的编程升级(二)

专栏&#xff1a;JavaEE初阶起飞计划 个人主页&#xff1a;手握风云 目录 一、Thread类及常用方法 2.1. Thread的常见构造方法 2.2. Thread的常见属性 2.3. 启动一个线程 2.4. 中断一个线程 2.5. 等待一个线程 2.6. 休眠当前线程 一、Thread类及常用方法 2.1. Thread的…...

Metasploit常用命令详解

一、Metasploit 概述 Metasploit是一款开源的渗透测试框架&#xff0c;由 H.D. Moore 于 2003 年首次发布&#xff0c;目前由 rapid7 公司维护。它整合了大量漏洞利用模块、后渗透工具和漏洞扫描功能&#xff0c;已成为网络安全工程师、红队 / 蓝队成员及安全研究人员的核心工…...

2025.6.24总结

今天发生了两件事&#xff0c;这每件事情都足以影响我的工作状态。 1.团队中有人要转岗 这算是最让我有些小震惊的事件了。我不明白&#xff0c;那个同事干得好好的&#xff0c;为啥会转岗&#xff0c;为啥会被调到其他团队。虽然团队有正编&#xff0c;有od,但我自始自终觉得…...

2023年全国青少年信息素养大赛Python 复赛真题——玩石头游戏

今日python每日练习题为——玩石头游戏&#xff0c;大家记得坚持刷题哦&#xff0c;闯入国赛~ 每轮可拿 1-3 块石头&#xff0c;双方均采取最优策略。若石头数 n 为 4 的倍数&#xff0c;无论先手取 k 块&#xff08;1≤k≤3&#xff09;&#xff0c;后手总能取 4-k 块&#xf…...

MySQL之SQL性能优化策略

MySQL之SQL性能优化策略 一、主键优化策略1.1 主键的核心作用1.2 主键设计原则1.3 主键优化实践 二、ORDER BY优化策略2.1 ORDER BY执行原理2.2 ORDER BY优化技巧2.3 处理大结果集排序 三、GROUP BY优化策略3.1 GROUP BY执行原理3.2 GROUP BY优化方法 四、LIMIT优化策略4.1 LIM…...

AI时代工具:AIGC导航——AI工具集合

大家好!AIGC导航是一个汇集多种AIGC工具的平台&#xff0c;提供了丰富的工具和资源。 工具功能​: 该平台整合了多样的AIGC工具&#xff0c;涵盖了绘画创作、写作辅助以及视频制作等多个领域。绘画工具能够生成高质量的图像作品&#xff1b;写作工具支持从构思到润色的全流程写…...

性能测试-jmeter实战4

课程&#xff1a;B站大学 记录软件测试-性能测试学习历程、掌握前端性能测试、后端性能测试、服务端性能测试的你才是一个专业的软件测试工程师 性能测试-jmeter实战4 jmeter环境搭建1. 安装Java环境&#xff08;必需&#xff09; JMeter环境搭建完整指南1. 安装Java&#xff0…...

C++字符串的行输入

1、字符串的输入 下面用一个真实的示例来进行演示&#xff1a; #include<iostream> #include<string>int main() {using namespace std;const int ArSize 20;char name[ArSize];char dessert[ArSize];cout << "Enter your name:\n";cin >>…...

【Linux网络与网络编程】15.DNS与ICMP协议

1. DNS 1.1 DNS介绍 TCP/IP 中使用 IP 地址和端口号来确定网络上的一台主机的一个程序&#xff0c;但是 IP 地址不方便记忆&#xff0c;于是人们发明了一种叫主机名的字符串&#xff0c;并使用 hosts 文件来描述主机名和 IP 地址的关系。最初, 通过互连网信息中心(SRI-NIC)来…...

Python训练营-Day40-训练和测试的规范写法

1.单通道图片训练 # import torch # import torch.nn as nn # import torch.optim as optim # from torchvision import datasets, transforms # from torch.utils.data import DataLoader # import matplotlib.pyplot as plt # import numpy as np# # 设置中文字体支持 # plt…...

【Python-Day 29】万物皆对象:详解 Python 类的定义、实例化与 `__init__` 方法

Langchain系列文章目录 01-玩转LangChain&#xff1a;从模型调用到Prompt模板与输出解析的完整指南 02-玩转 LangChain Memory 模块&#xff1a;四种记忆类型详解及应用场景全覆盖 03-全面掌握 LangChain&#xff1a;从核心链条构建到动态任务分配的实战指南 04-玩转 LangChai…...

内存泄漏和内存溢出的区别

内存泄漏&#xff08;Memory Leak&#xff09;和内存溢出&#xff08;Memory Overflow / Out Of Memory, OOM&#xff09;是软件开发中两个密切相关但又本质不同的内存问题&#xff1a; 核心区别一句话概括&#xff1a; 内存泄漏&#xff1a; 有垃圾对象占用内存却无法被回收&…...

Linux系统---Nginx配置nginx状态统计

配置Nignx状态统计 1、下载vts模块 https://github.com/vozlt/nginx-module-vts [rootclient ~]# nginx -s stop [rootclient ~]# ls anaconda-ks.cfg nginx-1.27.3 ceph-release-1-1.el7.noarch.rpm nginx-1.27.3.tar.gz info.sh …...

linux操作系统的软件架构分析

一、linux操作系统的层次结构 1.内核的主要功能 1&#xff09;进程管理 2&#xff09;内存管理 3&#xff09;文件系统 4&#xff09;进程间通信、I/O系统、网络通信协议等 2.系统程序 1&#xff09;系统接口函数库&#xff0c;比如libc 2)shell程序 3&#xff09;编译器、编辑…...

快速手搓一个MCP服务指南(三):FastMCP的核心组件-构建MCP服务的关键技术实现

FastMCP 是一套面向 LLM 应用开发的工具框架&#xff0c;通过标准化协议衔接大语言模型与外部功能组件&#xff0c;构建「LLM工具」的闭环交互体系。其核心技术体系包含四大模块&#xff1a;工具系统将 Python 函数转化为 LLM 可调用的能力单元&#xff0c;通过类型注解实现参数…...

创建首个 Spring Boot 登录项目

&#x1f4cc; 摘要 在 Java Web 开发中&#xff0c;登录功能是最基础也是最重要的模块之一。本文将手把手带你使用 IntelliJ IDEA 和 Maven 构建一个基于 Spring Boot 的简单登录系统&#xff0c;涵盖&#xff1a; 使用 IDEA 创建 Spring Boot 项目配置 Maven 依赖&#xff…...

order、sort、distribute和cluster by(Spark/Hive)

1. abstract ORDER BY&#xff1a;完整查询结果的全局行排序。与SORT BY、CLUSTER BY、DISTRIBUTE BY互斥&#xff0c;不能同时使用。 示例SELECT * FROM table_name ORDER BY column_name;SORT BY&#xff1a;只在每个分区内排序&#xff0c;局部排序结果不是全局有序。与ORD…...

# Python中等于号的使用

# Python中等于号的使用 ## 1. 问题的分析与思考 在Python中&#xff0c;等于号&#xff08;&#xff09;是一个赋值运算符&#xff0c;用于将右侧的值或表达式的结果赋给左侧的变量。这是Python&#xff08;以及许多其他编程语言&#xff09;中非常基础且核心的一个概念。理…...

无人机神经网络模块运行与技术难点

一、神经网络模块的运行方式 1. 分层处理架构 感知层 多模态数据融合&#xff1a;通过八元数卷积网络&#xff08;OCNN&#xff09;统一处理LiDAR、摄像头、IMU等异构传感器数据&#xff0c;将点云坐标&#xff08;x/y/z&#xff09;、图像RGB与光流信息编码至8维虚部&#…...

宝塔服务器调优工具 1.1(Opcache优化)

第一步&#xff1a;宝塔服务器调优工具 1.1&#xff08;按照下面的参数填写&#xff09; 第二步&#xff1a;路径/www/server/php/80/etc/php.ini 搜索jit jit1235 其中1235根据服务器情况修改 第三步&#xff1a;路径/www/server/php/80/etc/php-cli.ini 搜索 jit1235 其中…...

day041-web集群架构搭建

文章目录 0. 老男孩思想-高薪四板斧1. web集群架构图2. 搭建异地备份服务2.1 服务端-阿里云服务器2.1.1 查看rsync软件包2.1.2 添加rsync配置文件2.1.3 添加虚拟用户2.1.4 创建校验用户密码文件2.1.5 创建备份目录2.1.6 启动服务2.1.7 开放安全组端口2.1.8 发送检查邮件 2.2 客…...

国产化条码类库Spire.Barcode教程:如何使用 C# 读取 PDF 中的条码(两种方法轻松实现)

在 PDF 文档的 .NET 平台处理流程中&#xff0c;使用 C# 读取 PDF 条码 是一项常见需求&#xff0c;特别适用于处理扫描件或电子表单。无论是物流、金融、医疗还是制造行业&#xff0c;PDF 文档中经常包含用于追踪或识别的条码。这些条码可能是嵌入图像&#xff0c;也可能是矢量…...

vue 3 计算器

效果&#xff1a; <template><div class"calculator-container"><div class"calculator"><!-- 显示区域 --><div class"display">{{ formattedDisplay }}</div><!-- 按钮区域 --><div class"…...

CRMEB PHP多门店版v3.2.1系统全开源+Uniapp前端+搭建教程

一.介绍 CRMEB多店版是一款为品牌连锁门店打造的私域电商解决方案&#xff0c;以三大运营模式为核心&#xff0c;助力品牌连锁门店轻松构建全渠道、一体化的私域电商生态&#xff0c;促进“线上电商”与“线下门店”销售运营融合&#xff0c;加速品牌数字化转型&#xff0c;为…...

主机复制文字和文件到 Ubuntu 虚拟机

在 VMware Workstation Pro 16 中复制文字和文件到 Ubuntu 虚拟机&#xff0c;方法如下&#xff1a; Open-VM-Tools 禁用 Wayland 解决 。 1.安装 VMware Tools&#xff08;推荐&#xff09;或 open-vm-tools&#xff1a; sudo apt update sudo apt install open-vm-tools…...

性能测试 —— 数据库的连接池和主从同步和分表分区

一、数据库的调优&#xff08;库层面&#xff09; 1、数据库连接池 1、介绍&#xff1a;数据库连接池(Database Connection Pool)是一种用于管理数据库连接的技术&#xff0c;它通过预先创建并维护一组数据库连接来提高应用程序的性能和可扩展性。 2、创建、管理、关闭 数据…...