当前位置：首页 > news >正文

【5/6 面向应用相关的优化网卡实现及评估】

news 来源：原创 2025/5/17 5:39:25

5 面向应用相关的优化

面对数据中心多样化的部署需求和应用场景，如分布式存储、多租户性能隔离等，构建高性能的RDMA系统需要仔细选择传输模式和通信原语以充分发挥其性能优势，并调整软硬件结构进行适配.整体手段：在软件层面结合RDMA硬件特性通过应用和扩展RDMA原语、添加软件中间层、虚拟化、加密验证等方式适配不同部署需求和场景特点，在硬件层面通过改进网卡架构、添加功能模块来增强网卡功能.

5.1 分布式存储系统

5.1.1 分布式存储类型

分布式存储系统将数据分散存储在多个设备上，并通过网络连接进行管理和访问；
分布式存储类型可分为块存储、对象存储和文件存储；块存储将数据拆分成块并单独存储各个块，对象存储将管理数据链接至关联的元数据，文件存储则采用文件和文件夹的层次结构存储数据；
存储类型优化：

对象存储：重建键值操作和扩展RDMA原语；
文件存储：重构文件系统和添加软件中间层；

5.1.2 分布式存储应用

基于分布式存储的应用，如数据库系统和云存储系统等使用分布式存储作为底层的存储支持，并向上层用户提供高效、可靠的数据管理或存储服务；

面向数据库系统，现有的研究工作通过应用和扩展RDMA原语、添加软件中间层、改进硬件网卡架构等方式保证数据库系统的高可用性、高性能和可维护性.
面向分布式存储的云存储系统；云存储通过互联网对存储资源进行抽象化、汇集和共享；
存储应用优化：
数据库系统：拓展RDMA原语、添加软件中间层和改进硬件网卡；
云存储系统：重构存储系统

5.2 性能隔离、安全性以及可编程性

性能隔离(多用户租用)：RDMA网卡实现性能隔离的研究工作主要方向在：虚拟化、添加软件中间层和改进硬件网卡架构；
安全性：.RDMA体系结构的设计主要关注性能而非安全性，其在旁路CPU的情况下直接将内存暴露给远端，并仅根据收到的数据包是否与其状态信息匹配(MPT,MR和R-key)来识别恶意内存访问；
可编程性：RDMA可以提供高带宽和低延迟，但其仅完成从内存中存取数据的搬移工作，不对数据有效载荷进行处理，也并不为数据中心应用程序提供自定义处理能力.

6 以太网RDMA网卡实现及评估

6.1 网卡实现

以太网RDMA网卡主要有基于ASIC，FPGA，SoC和软件实现4种方式；

基于ASIC实现的RDMA网卡可以最大程度发挥RDMA高带宽低延迟的性能优势；，如Mellanox最新的ConnectX-7产品速度高达400Gbps，可用于AI、科学计算及大规模云数据中心工作负载，在工业界批量生产最具性价比；
基于FPGA实现的RDMA网卡可以在兼容较好性能的同时保证一定的灵活性和可编程性，且处理资源丰富，开发周期较短，因此常用在学术界进行RDMA功能原型验证.但FPGA编程难度仍较高，且在大规模部署时成本昂贵；
基于SoC的网卡则往往集成包括ASIC、FPGA、软核等众多逻辑资源可用于集成RDMA功能；如使用NP（network processor）-SoC的华为Hi1822在其NP流处理核心上实现RDMA逻辑，相对FPGA在灵活度和编程复杂度上更具优势。相比基于ASIC和FPGA实现的RDMA网卡，基于SoC的网卡不仅仅实现RDMA，而往往集成硬件加速器以支持安全、存储等更丰富的功能.
软件形式的RDMA实现性能最差，但不需要网卡、交换机等硬件支持，从而可以最低成本部署并兼容互通其他形式实现的RDMA网卡；

6.2 网卡评估

基本上对RDMA网卡是黑盒的情况下，对网卡进行测试和评估十分必要；RDMA网卡评估指标主要包括带宽、延迟、每秒消息数（messages per second，MPS）、CPU利用率。

运行一组代表性应用程序工作负载；
使用性能评估工具. 例如NVIDIA Mellanox提供的perftest开源测试工具集广泛用于IB和RoCE的软硬件调优、性能和功能(建链等）测试评估。

在这里插入图片描述
【ref】
1.以太网网卡研究综述