当前位置：首页 > news >正文

RPC框架源码分析学习（二）

news 来源：原创 2025/6/25 22:21:11

RPC框架源码分析与原理解读

前言

在分布式系统开发中，远程过程调用(RPC)是一项基础且关键的技术。通过对KVstorageBaseRaft-cpp项目RPC模块的源码分析，我深入理解了RPC框架的工作原理和实现细节。本文将从程序员视角分享我的学习心得。

框架概述

本项目中的RPC框架是一个基于Google Protobuf和Muduo网络库实现的C++版RPC框架。它支持服务注册、服务发现和远程方法调用，提供了简洁的接口和高效的数据传输机制。

核心组件分析

1. RPC通信协议

首先，我分析了RPC通信协议的定义文件rpcheader.proto：

syntax = "proto3";
package RPC;// RPC请求和响应的消息格式
message RpcHeader {string service_name = 1;  // 服务名string method_name = 2;   // 方法名uint32 args_size = 3;     // 参数大小
}

这个定义非常精简，包含了服务名、方法名和参数大小三个关键信息，这些信息构成了RPC请求的头部。

2. RPC客户端实现

2.1 MprpcChannel类

MprpcChannel是客户端发起RPC调用的核心类，继承自google::protobuf::RpcChannel：

class MprpcChannel : public google::protobuf::RpcChannel {
public:// 构造函数，支持立即连接或延迟连接MprpcChannel(string ip, short port, bool connectNow);// 关键方法：负责序列化请求、发送请求并接收响应void CallMethod(const google::protobuf::MethodDescriptor* method,google::protobuf::RpcController* controller,const google::protobuf::Message* request,google::protobuf::Message* response,google::protobuf::Closure* done) override;// 其他辅助方法...
};

CallMethod的实现最为关键，它完成了：

获取服务名和方法名
序列化请求参数
构造RPC请求头
发送请求并等待响应
解析响应数据

我特别注意到请求消息格式的设计：

header_size(4字节变长编码) + header_str + args_str

这种设计保证了网络传输的高效性和兼容性。

3. RPC服务端实现

3.1 RpcProvider类

RpcProvider是服务端的核心类，负责服务注册和请求处理：

class RpcProvider {
public:// 注册服务void NotifyService(google::protobuf::Service *service);// 启动RPC服务void Run(int nodeIndex, short port);
private:// 连接回调void OnConnection(const muduo::net::TcpConnectionPtr &);// 消息回调，处理RPC请求void OnMessage(const muduo::net::TcpConnectionPtr &, muduo::net::Buffer *, muduo::Timestamp);// 发送RPC响应void SendRpcResponse(const muduo::net::TcpConnectionPtr &, google::protobuf::Message *);// 其他成员...
};

3.2 服务注册机制

服务注册利用了Protobuf的反射机制，通过NotifyService方法实现：

void RpcProvider::NotifyService(google::protobuf::Service *service) {ServiceInfo service_info;const google::protobuf::ServiceDescriptor *pserviceDesc = service->GetDescriptor();std::string service_name = pserviceDesc->name();int methodCnt = pserviceDesc->method_count();for (int i = 0; i < methodCnt; ++i) {const google::protobuf::MethodDescriptor *pmethodDesc = pserviceDesc->method(i);std::string method_name = pmethodDesc->name();     service_info.m_methodMap.insert({method_name, pmethodDesc});}service_info.m_service = service;m_serviceMap.insert({service_name, service_info});
}

这段代码通过Protobuf的反射机制获取服务描述符和方法描述符，并将它们存储在哈希表中，以便后续查找和调用。

3.3 请求处理流程

OnMessage方法处理接收到的RPC请求：

解析请求头，获取服务名、方法名和参数大小
查找对应的服务和方法
反序列化请求参数
创建响应对象和回调
调用目标方法

最关键的部分是动态调用目标方法：

service->CallMethod(method, nullptr, request, response, done);

这里用到了Protobuf的动态调用机制，method是之前通过反射获取的方法描述符，done是一个回调对象，用于处理方法执行完成后的操作。

3.4 回调机制实现

回调函数的创建使用了Protobuf提供的NewCallback模板函数：

google::protobuf::Closure *done =google::protobuf::NewCallback<RpcProvider, const muduo::net::TcpConnectionPtr &, google::protobuf::Message *>(this, &RpcProvider::SendRpcResponse, conn, response);

这段代码创建了一个绑定了当前对象、连接和响应对象的回调函数，在RPC方法执行完成后将被调用，用于发送响应数据。

实例分析：RPC示例代码

通过分析example/rpcExample目录下的示例，进一步理解了RPC框架的使用方法。

1. 服务定义

service FiendServiceRpc {rpc GetFriendsList(GetFriendsListRequest) returns (GetFriendsListResponse);
}

2. 服务实现

class FriendService : public fixbug::FiendServiceRpc {
public:void GetFriendsList(google::protobuf::RpcController* controller,const fixbug::GetFriendsListRequest* request,fixbug::GetFriendsListResponse* response,google::protobuf::Closure* done) override {// 业务逻辑实现response->mutable_result()->set_errcode(0);response->mutable_result()->set_errmsg("");done->Run();  // 调用完成，发送响应}
};

3. 服务注册与启动

int main(int argc, char** argv) {// 创建RPC服务提供者RpcProvider provider;// 创建服务对象FriendService friendService;// 注册服务provider.NotifyService(&friendService);// 启动RPC服务，指定节点ID和端口provider.Run(1, 8000);return 0;
}

技术难点解析

1. 模板与回调函数

RPC框架中大量使用了C++模板和回调函数，这是一个重要的技术点。特别是NewCallback函数的使用：

google::protobuf::NewCallback<Class, ArgType1, ArgType2>(this, &Class::Method, arg1, arg2);

这里模板参数<Class, ArgType1, ArgType2>指定了回调函数的类型和参数类型，而函数参数则提供了具体的对象、方法和参数值。

2. 序列化与网络传输

RPC框架的另一个关键点是如何高效地序列化和网络传输。我分析了其实现方式：

使用Protobuf进行序列化，保证了跨平台兼容性
采用"头部大小+头部内容+参数内容"的消息格式，解决了TCP流数据的边界问题
使用Muduo网络库处理TCP连接和事件回调，提供了高性能的网络IO

2025.5.15

RPC框架源码分析学习（二）

RPC框架源码分析与原理解读前言在分布式系统开发中，远程过程调用(RPC)是一项基础且关键的技术。通过对KVstorageBaseRaft-cpp项目RPC模块的源码分析，我深入理解了RPC框架的工作原理和实现细节。本文将从程序员视角分享我的学习心得。框架概述本项…...

编程日记 2025/6/25 22:21:11

算法分析：蛮力法

一、实验目的 1 掌握蛮力法的设计思想(利用计算机去穷举所有的可能解,再从中依次找出可行解) 2 掌握蛮力法的具体实现和时间复杂度分析 3 理解蛮力法的常见特性实验要求：先用伪代码描述利用蛮力法解决的算法解决方案，再用程序实现，计算时间…...

编程日记 2025/6/25 19:21:05

构建RAG混合开发---PythonAI+JavaEE+Vue.js前端的实践

写在前文：之所以设计这一套流程，是因为 Python在前沿的科技前沿的生态要比Java好，而Java在企业级应用层开发比较活跃； 毕竟许多企业的后端服务、应用程序均采用Java开发，涵盖权限管理、后台应用、缓存机制、中间件集成…...

编程日记 2025/6/24 1:37:09

游戏引擎学习第280天:精简化的流式实体sim

回顾并为今天的内容做铺垫今天的任务是让之前关于实体存储方式的改动真正运行起来。我们现在希望让实体系统变得更加真实和实用，能够支撑我们游戏实际所需的功能。这就要求我们对它进行更合理的实现和调试。昨天我们基本让代码编译通过了，但实际上还…...

编程日记 2025/6/24 18:52:40

onLoad: function (options) { // 如果直接从options获取数据 this.setData({ jielunpin:发羽音, birthStr: 1944-01-01 }); // 处理诊断结论 this.processJielunpin(); // 添加一个处理诊断结论的函数 processJielunpin: function() { // 获取jielunpin和birthSt…...

编程日记 2025/6/24 8:20:12

亚马逊，temu测评采购低成本养号策略：如何用一台设备安全批量管理买家账号

只要能够巧妙规避平台的检测和风控措施，测评便可安全进行。自养号测评，它更便于卖家掌控，且能降低风险。现在很多卖家都是自己养号，自己养号都是精养，不是自动的机刷，买家账号掌握在自己手里，更…...

编程日记 2025/6/20 6:14:54

TCP实现安全传输的核心机制 + TCP的报文讲解（全程图文讲解）

目录一、TCP的协议和数据报格式二、TCP常见的核心机制 1. 确认应答 2. 超时重传 3. 连接管理三次握手（建立连接） 四次挥手（断开连接） 常见的状态和整体的传输流程 4. 滑动窗口 5. 流量控制 6. 拥塞控制 7. 延迟应…...

编程日记 2025/6/25 22:09:09

【测试工具】selenium和playwright如何选择去构建自动化平台

构建UI自动化平台服务，在底层选择自动化框架，selenium和playwright这两个如何选择在构建UI自动化平台服务时，选择底层自动化框架（如 Selenium 和 Playwright）是一个非常关键的决策，直接影响平台的性能、可…...

编程日记 2025/6/25 22:13:24

ES常识8：ES8.X如何实现热词统计

文章目录一、数据采集与存储设计1. 确定需记录的字段2. 设计搜索日志索引二、数据写入与采集三、热门搜索词统计（核心逻辑）1. 基础版：近 7 天热门搜索词（按出现次数排序）2. 进阶版：加权热门词&#xff08…...

编程日记 2025/6/24 23:11:39

可解释性AI 综述《Explainable AI for Industrial Fault Diagnosis: A Systematic Review》

一、研究背景与动因（Background & Motivation） 随着工业4.0与工业5.0的发展，工业生产越来越依赖自动化与智能化手段，以实现高效、预测性维护与运行优化。在这一背景下，人工智能（AI）与机器学…...

编程日记 2025/6/25 13:38:56

数据可视化-----子图的绘制及坐标轴的共享

目录绘制固定区域的子图 （一）、绘制单子图 subplot()函数 Jupyter Notebook的绘图模式 （二）、多子图 subplots()--可以在规划好的所有区域中一次绘制多个子图 （三）、跨行跨列 subplot2grid()---将整…...

编程日记 2025/6/23 1:30:59

nginx 配置

proxy_pass 结尾斜杠规则不带斜杠‌：保留原始请求路径。 location /api {proxy_pass http://backend; # 转发到 http://backend/api }带斜杠‌：剥离 location 匹配的路径前缀。 location /api/ {proxy_pass http://backend/; # 转发到 http://back…...

编程日记 2025/6/24 22:41:04

《从零开始入门递归算法：搜索与回溯的核心思想 + 剑指Offer+leetcode高频面试题实战（含可视化图解）》

一.递归 1.汉诺塔题目链接：面试题 08.06. 汉诺塔问题 - 力扣（LeetCode） 题目解析：将A柱子上的盘子借助B柱子全部移动到C柱子上。算法原理：递归当A柱子上的盘子只有1个时，我们可以直接将A上的盘子直…...

编程日记 2025/6/25 22:19:38

船舶制造业数字化转型：驶向智能海洋新航道

在全球海洋经济蓬勃发展的当下，船舶制造业作为海洋产业的重要支柱，正面临着前所未有的机遇与挑战。船舶制造周期长、技术复杂，从设计图纸到最终交付，涉及成千上万的零部件和复杂的工艺流程，传统制造模式已难以满足市场…...

编程日记 2025/6/25 5:18:10

SpringBoot 自动装配流程

Spring Boot 的自动装配（Auto Configuration）是其最核心的特性之一，它让你能“开箱即用”，极大简化了配置。下面是 Spring Boot 自动装配的整体流程（从启动到生效） 的详细解析： ✅ 一、整体流程…...

编程日记 2025/6/23 0:12:57

Vue 3 实现后端 Excel 文件流导出功能（Blob 下载详解）

💡 本文以告警信息导出为例，介绍 Vue 3 中如何通过 Axios 调用后端接口并处理文件流，实现 Excel 自动下载功能。 📑 目录一、前言二、后端接口说明三、前端实现思路四、导出功能完整代码五、常见问题处理六、效果展示 …...

编程日记 2025/6/24 21:27:59

基于IBM BAW的Case Management进行项目管理示例

说明：使用IBM BAW的难点是如何充分利用其现有功能根据实际业务需要进行设计，本文是示例教程，因CASE Manager使用非常简单，这里重点是说明如何基于CASE Manager进行项目管理，重点在方案设计思路上，其中涉及的…...

编程日记 2025/6/25 22:06:11

《Python星球日记》第78天：CV 基础与图像处理

名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊）目录一、计算机视觉（CV）简介1. 什么是计算机视觉？2. 计算机视觉的应用场景3. 图像的基本属性a》像素（Pixel）b》通道（Channel）c》分辨率（Res…...

编程日记 2025/6/25 22:19:39

Google DeepMind 推出AlphaEvolve

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/6/23 23:43:22

Flink 1.13.2 日志配置优化：保留最近 7 天日志文件

Flink 1.13.2 日志配置优化：保留最近 7 天日志文件在使用 Apache Flink 1.13.2 进行流处理任务时，合理的日志配置对于作业的监控、调试和故障排查至关重要。本文将介绍如何通过修改log4j.properties文件，将 Flink 的默认日志配置升级为保留最近 7 天的日志文件配置，并解决…...

编程日记 2025/6/25 22:21:10

【优化算法】协方差矩阵自适应进化策略（Covariance Matrix Adaptation Evolution Strategy，CMA-ES）

CMA-ES（Covariance Matrix Adaptation Evolution Strategy）算法是一种无导数、基于多元正态分布的迭代优化方法，通过自适应地调整搜索分布的均值、协方差矩阵和步长，能够高效地解决非线性、非凸的连续优化问题。算法以最大似然和…...

编程日记 2025/6/20 15:46:07

基于Leaflet和天地图的免费运动场所WebGIS可视化-以长沙市为例

目录前言一、免费运动场所数据整理 1、本地宝数据简介 2、Java后台数据解析二、Leaflet前端地图展示 1、基础数据准备 2、具体位置及属性标记三、成果展示 1、空间位置分布 2、东风路立交桥运动公园 3、芙蓉区花侯路浏阳河大桥下方 4、梅岭国际小区 5、湖南大学…...

编程日记 2025/6/22 18:03:50

399. 除法求值

https://leetcode.cn/problems/evaluate-division/description/?envTypestudy-plan-v2&envIdtop-interview-150思路：读完题后我们可以发现这题的考察已经很明确了就是考我们矩阵，我们将矩阵构建出来后，这题就变成可达性分析题了。所以解…...

编程日记 2025/6/23 22:38:21

QMK固件OLED显示屏配置教程：从零开始实现个性化键盘显示（实操部分）

QMK固件OLED显示屏配置教程：从零开始实现个性化键盘显示 📢 前言：作为一名键盘爱好者，近期研究了QMK固件的OLED显示屏配置，发现网上的教程要么太过复杂，要么过于简单无法实际操作。因此决定写下这篇教程，从零基础出发，带大家一步步实现键盘OLED屏幕的配置与个性化显示…...

编程日记 2025/6/20 21:43:11

深度解析 Meta 开源 MR 项目《North Star》：从交互到渲染的沉浸式体验设计

🌌 一、项目概览：什么是 North Star？ North Star 是由 Meta 官方推出并开源的一款面向 Meta Quest 平台的混合现实（MR）视觉演示项目。它不仅上线了 Horizon Store，更以完整的技术栈与高质量内容向开发者展示了如何在 VR/MR 设备上实现“视觉上限”和“交互潜力”的结…...

编程日记 2025/6/25 16:16:25

使用VS Code通过SSH编译Linux上的C++程序

引言在软件开发领域，跨平台开发是一项常见需求。特别是对于C开发者来说，有时需要在Windows环境下编写代码，但却需要在Linux环境中编译和运行。这种情况在系统编程、嵌入式开发或高性能计算领域尤为常见。 Visual Studio Code (VS Code) 提…...

编程日记 2025/6/23 7:04:44

Datawhale 5月llm-universe 第2次笔记

第二章使用 LLM API 开发应用名词解释 Temperature 参数/场景低 Temperature（0 ~ 0.3）高 Temperature（0.7 ~ 1.0）输出特点保守、稳定、可预测创造性强、多样化、不可预测语言模型行为更少的随机性，倾向于选择高概…...

编程日记 2025/6/19 19:52:48

【Vue】CSS3实现关键帧动画

关键帧动画两个重点keyframesanimation子属性实现案例效果展示： 两个重点 keyframes 和 animation 作用：通过定义关键帧（keyframes）和动画(animation)规则，实现复杂的关键帧动画。 keyframes 定义动画的关键帧序列…...

编程日记 2025/6/24 17:36:38

Spring 模拟转账开发实战

一、转账业务场景分析转账是金融类应用的核心场景之一，涉及付款方扣减金额和收款方增加金额两个关键操作。在开发中需解决以下问题： 业务层与数据层解耦：通过分层架构（Service 层调用 Dao 层）实现逻辑分离。数据库事…...

编程日记 2025/6/20 21:00:58

Baklib内容中台赋能资源管理升级

内容中台驱动管理升级在数字化转型进程中，企业级内容管理工具的效能直接影响资源协同效率。以全渠道资源整合为核心的内容中台，通过集中化处理文档、FAQ及社区论坛等非结构化数据，有效解决信息孤岛问题。例如，某金融集团通过部署…...

编程日记 2025/6/22 17:48:28

数据结构（九）——排序

一、排序的基本概念 1.排序：重新排列表中的元素，使表中的元素满足按关键字有序 2.稳定性：Ri和Rj相对位置保持不变 3.内部排序：指在排序期间元素全部存在内存中的排序（比较和移动），如插入排序…...

编程日记 2025/6/25 5:49:10

MinerU安装(pdf转markdown、json)

在Windows上安装MinerU，参考以下几个文章，可以成功安装，并使用GPU解析。整体安装教程： MinerU本地化部署教程——一款AI知识库建站的必备工具其中安装conda的教程： 一步步教你在 Windows 上轻松安装 Anaconda以及使…...

编程日记 2025/6/22 17:00:23

Spring框架核心技术深度解析：JDBC模板、模拟转账与事务管理

一、JDBC模板技术：简化数据库操作在传统JDBC开发中，繁琐的资源管理和重复代码一直是开发者的痛点。Spring框架提供的 JDBC模板（JdbcTemplate) 彻底改变了这一现状，它通过封装底层JDBC操作，让开发者仅需关注SQL逻辑&a…...

编程日记 2025/6/20 5:28:48

LCD电视LED背光全解析：直下式 vs 侧光式、全局调光 vs 局部调光与HDR体验

Abstract: This article explores the various types of LED backlighting used in televisions and monitors. It categorizes backlight systems based on structural design—direct-lit and edge-lit—as well as by dimming technology—global dimming and local dimmin…...

编程日记 2025/6/20 15:46:40