当前位置：首页 > news >正文

Protobuf3协议关键字详解与应用实例

news 来源：原创 2025/6/27 8:57:47

一、核心语法与基础关键字

syntax
声明协议版本，必须为文件的第一行非空、非注释内容。

syntax = "proto3";  // 显式指定proto3语法，否则编译器默认使用proto2

message
定义消息类型，包含一组结构化字段。支持嵌套消息定义，用于复杂数据结构。
```
message User {string name = 1;int32 age = 2;
}
```
字段标识号（Tag）
每个字段的唯一编号（1~536,870,911），用于二进制编码标识。
- 优化建议：高频字段使用1~15以节省编码空间；
- 保留范围：19000~19999为协议保留，禁止使用。

二、字段规则与类型关键字

字段规则
- singular（默认）：单值字段，可缺省（默认值生效）；
- repeated：数组类型，支持动态长度（如repeated int32 scores = 3;）；
- optional（proto2特有）：proto3中已弃用，默认支持缺省。
数据类型
- 标量类型：int32、string、bool等，支持跨语言映射（如Java的int对应int32）；
- 复合类型：
  - enum：枚举类型，需定义零值（如enum Gender { UNKNOWN = 0; MALE = 1; }）；
  - map：键值对（如map<string, int32> attributes = 4;）。

reserved
保留字段标识号或名称，防止旧版本字段被误用：

message Foo {reserved 2, 15 to 20;  // 保留标识号reserved "old_field";   // 保留字段名
}

三、高级特性与扩展关键字

service与rpc
定义gRPC服务接口，需配合message类型声明请求/响应体：
```
service UserService {rpc GetUser (UserRequest) returns (UserResponse);
}
```
oneof
实现多态字段，同一时间仅允许设置一个字段值：
```
message Account {oneof auth {string password = 1;bytes token = 2;}
}
```

import
导入其他proto文件，支持模块化设计：

import "google/protobuf/empty.proto";  // 引入空对象定义

默认值规则
未赋值字段自动赋予默认值（如string默认为空串，int32默认为0），需注意与业务逻辑的兼容性。

四、应用实例

场景：用户管理系统（Java实现）

定义Proto文件

syntax = "proto3";
option java_package = "com.example.model";
message User {int32 id = 1;string name = 2;repeated string roles = 3;  // 用户角色列表
}

生成Java代码
使用protoc编译器生成POJO类：
```
protoc --java_out=./src/main/java user.proto
```

序列化与反序列化

// 序列化
User user = User.newBuilder().setId(1001).setName("Alice").build();
byte[] data = user.toByteArray();// 反序列化
User parsedUser = User.parseFrom(data);
System.out.println(parsedUser.getName());  // 输出："Alice"

gRPC服务端实现

public class UserServiceImpl extends UserServiceGrpc.UserServiceImplBase {@Overridepublic void getUser(UserRequest request, StreamObserver<UserResponse> responseObserver) {UserResponse response = UserResponse.newBuilder().setUser(User.newBuilder().setId(request.getId()).build()).build();responseObserver.onNext(response);responseObserver.onCompleted();}
}

五、Protobuf3与Protobuf2协议关键字对比

Protobuf3与Protobuf2协议关键字对比

1、核心语法差异

语法声明
- Proto3：文件首行必须显式声明 syntax = "proto3";，否则编译器会报错。
- Proto2：无需显式声明语法版本，默认支持proto2。
字段规则调整
- Proto3：移除了 required 关键字，optional 更名为 singular（默认规则）。所有字段默认允许为空（相当于proto2的optional）。
- Proto2：支持 required（不推荐）、optional 和 repeated，其中 required 要求字段必须赋值。
默认值约定
- Proto3：不允许显式指定默认值，系统自动根据类型分配默认值（如 string 默认为空串，int32 为0，bool 为false）。
- Proto2：可通过 default 关键字自定义默认值（如 optional int32 id = 1 [default = 100];）。

2、数据类型与编码优化

枚举类型约束
- Proto3：枚举的第一个值必须为0，且默认值强制为0，无法修改。
- Proto2：枚举首个值可为任意数值，默认值为第一个定义的值。
重复字段编码
- Proto3：repeated 标量数值类型（如 int32、float）默认启用 packed 编码，减少序列化体积。
- Proto2：需显式声明 [packed=true] 才能启用紧凑编码。
新增与移除类型
- Proto3：
  - 原生支持 map 类型（如 map<string, int32>）；
  - 移除 groups 语法，改用嵌套 message 实现类似功能；
  - 引入 Any 类型替代 extensions，提供更灵活的泛型支持。
- Proto2：支持 extensions 扩展字段，groups 语法已弃用。

3、兼容性与扩展性

未知字段处理
- Proto3（v3.5前）：丢弃未知字段，可能导致数据丢失。
- Proto3（v3.5+）：保留未知字段，行为与Proto2一致。
- Proto2：始终保留未知字段。
JSON序列化支持
- Proto3：内置JSON映射功能，支持与JSON双向转换。
- Proto2：无原生JSON支持，需第三方库实现。

4、最佳实践与注意事项

版本升级建议
- 新项目优先Proto3：简化语法、增强兼容性，适合现代分布式系统。
- 旧项目谨慎升级：Proto2代码若依赖 required 或自定义默认值，需重构逻辑。
性能优化技巧
- Proto3：高频字段使用1-15的Tag编号以减少编码体积；
- 避免在循环中频繁创建临时消息对象，复用缓冲区降低GC压力。

总结对比表

特性	Proto3	Proto2
语法声明	必须显式声明 `syntax="proto3"`	无需声明
字段规则	仅支持 `singular`（默认）和 `repeated`	支持 `required`、`optional`、`repeated`
默认值	系统自动分配，不可自定义	支持 `default` 关键字指定
枚举默认值	强制首项为0	首项可任意定义
重复字段编码	默认启用 `packed`	需显式启用 `packed=true`
扩展机制	使用 `Any` 类型	使用 `extensions`
JSON支持	原生支持	需第三方库

通过上述对比可见，Proto3通过弱化语法约束、强化约定提升了开发效率，同时通过编码优化（如默认packed）提升了性能。建议新项目直接采用Proto3，充分利用其现代化特性。

六、注意事项与最佳实践

版本兼容性
- 新增字段时避免修改已有标识号；
- 使用reserved标记废弃字段，防止数据冲突。
性能优化
- 高频字段优先使用1~15标识号；
- 对repeated数值类型启用packed编码（proto3默认支持）。
工具链配合
- 通过option optimize_for = SPEED;优化生成代码性能；
- 结合protobuf-maven-plugin自动化编译流程。

Protobuf3协议关键字详解与应用实例

一、核心语法与基础关键字 syntax 声明协议版本，必须为文件的第一行非空、非注释内容。 syntax "proto3"; // 显式指定proto3语法，否则编译器默认使用proto2message 定义消息类型，包含一组结构化字段。支持嵌套消息定义&#xff…...

编程日记 2025/6/27 8:57:47

阿克曼-幻宇机器人系列教程3- 机器人交互实践（Message）

上一篇文章介绍了如何通过topic操作命令实现与机器人的交互，本篇我们介绍如何通过Message（即topic的下一级）实现与机器人的交互。和topic一样，首先在一个终端通过ssh命令登录机器人、启动机器人，然后打开另外一个终端…...

编程日记 2025/6/26 20:26:26

Leetcode刷题 | Day63_图论08_拓扑排序

一、学习任务拓扑排序代码随想录二、具体题目 1.拓扑排序117. 软件构建【题目描述】某个大型软件项目的构建系统拥有 N 个文件，文件编号从 0 到 N - 1，在这些文件中，某些文件依赖于其他文件的内容，这意味着如果文件 A 依…...

编程日记 2025/6/27 8:51:50

[Harmony]获取资源文件中.txt文件中的字符串

txt文件 src/main/resources/rawfile/userInfo.txt {"Code": 200,"Msg": "登录成功","RetData": {"Name": "shq","Phone": "18511111111","PostName": "按摩技师",&qu…...

编程日记 2025/6/26 19:48:03

matlab多项式

1. 多项式表示多项式用行向量表示，按降幂排列系数。例如，多项式 3x22x1 表示为 [3 2 1]。 2. 创建多项式直接输入系数：如 p [1 -3 3 -1] 表示 x3−3x23x−1。由根创建：使用 poly 函数。例如，根为 [1, 1, 1]&…...

编程日记 2025/6/25 15:15:39

手搓传染病模型（SEI - SEIAR ）

在传染病防控的前沿研究中，构建精准的数学模型对于理解疾病传播机制、预测疫情走势以及制定有效干预策略至关重要。SEI - SEIAR 模型（易感媒介 $S_m$ - 潜伏媒介 $E_m$ - 感染媒介 $I_m$ - 易感人群 S - 潜伏人群 E - 有症状感染者 I - 无症状感染…...

编程日记 2025/6/24 9:53:52

Ubuntu 安装 Redis

1. 下载 redis 下载地址：https://github.com/redis/redis 2. 解压 redis 把下载的软件包，上传到服务器的 /usr/local 目录中，执行解压命令 tar -zxvf redis-8.0.1.tar.gz 3. 安装 redis 安装依赖 sudo apt-get updatesudo apt-get ins…...

编程日记 2025/6/24 9:25:42

【QGIS二次开发】地图显示与交互-03

系列目录： 【QGIS二次开发】地图显示与交互-01_qgis二次开发加载地图案例-CSDN博客【QGIS二次开发】地图显示与交互-02_setlayerlabeling-CSDN博客 3. 地图符号与色表 3.1 矢量图层符号设置任务要求：双击图层树节点，实现图层中图元的符…...

编程日记 2025/6/25 16:17:30

28、动画魔法圣典：Framer Motion 时空奥义全解——React 19 交互动效

"在数字世界的夹缝中，存在着连接现实与虚拟的魔法纽带——这便是 Framer Motion 的时空秘术。" ——《前端魔法师手札卷七》一、时空裂隙动画 - FLIP量子跃迁术 1. FLIP时空扭曲原理 <motion.divlayout // 开启时空裂隙transition{{type: "spr…...

编程日记 2025/6/26 1:06:49

Ken Thompson 和 Dennis Ritchie

Ken Thompson（肯汤普逊）和Dennis Ritchie（丹尼斯里奇）是计算机科学领域的两位传奇人物，他们对现代计算机技术的发展产生了深远影响。以下是关于他们的详细介绍： 1. Ken Thompson 出生&am…...

编程日记 2025/6/23 6:02:38

SQL：MySQL函数：条件函数（Conditional Functions）

目录什么是条件函数？ 常用 MySQL 条件函数总览表 1️⃣ IF() – 条件判断函数（If Statement） 2️⃣ IFNULL() – 空值判断与替代函数（If Null） 3️⃣ NULLIF() – 相等返回 NULL（Null If Equal&#…...

编程日记 2025/6/25 1:51:08

初识Linux · IP分片

目录前言： IP分片分片vs不分片如何分片分片举例三个字段前言： 前文IP协议上和IP协议下我们已经把IP协议的报头的大多数字段介绍了，唯独有三个字段现在还有介绍，即16位标识，8位协议，13位片偏移…...

编程日记 2025/6/24 23:26:28

TCP 粘包

一、粘包问题详解 1. 粘包的概念定义： 指在 TCP 通信中，由于发送方和接收方的读写速度、数据量不一致，导致多个数据包被错误地合并成一个数据包处理的现象。产生原因： TCP 是流式协议（无边界）&#xff0…...

编程日记 2025/6/25 13:07:10

第一个优化

agent项目 tool 调用外部服务时选择了指数回避的重试机制优化点：延迟时间那加了一个随机的时间抖动指数回避我第一眼看到这不就是 tcp重连机制吗其实就是如果当时网络波动网况不好 || 服务正忙 ，可以不急着在这个时候选择多次重试&#xff0c…...

编程日记 2025/6/27 8:49:55

LabVIEW的CAN通讯测试程序

该程序是基于 NI LabVIEW 平台开发的 CAN（Controller Area Network，控制器局域网）通讯测试程序。主要功能是对 CAN 通讯过程进行模拟、数据传输与验证，确保 CAN 通讯的正常运行和数据的准确传输。程序详细说明接口选择&#xff…...

编程日记 2025/6/24 16:04:45

视频质量分析时，遇到不同分辨率的对照视频和源视频，分辨率对齐的正确顺序。

背景我们平时在做视频转码后，会用VMAF/PSNR得评分工具进行视频对比的评分，但是这几种客观评分方式都有一个要求就是分辨率要一模一样，因为这样才对像素点做数学运算。但是分辨率对齐其实有两种选择，例如源视频是1080P&#xf…...

编程日记 2025/6/25 22:56:54

private suspend fun fetchDataConcurrently(list: MutableList<MyType>,onRequestResult: (Int, List<MyType>?) -> Unit //高阶函数回调) {val deferredList mutableListOf<Deferred<MyType?>>()// 设定任务超时时间为12秒，并使用 …...

编程日记 2025/6/23 16:43:16

Ubuntu 编译SRS和ZLMediaKit用于视频推拉流

SRS实现视频的rtmp webrtc推流 ZLMediaKit编译生成MediaServer实现rtsp推流 SRS指定某个固定网卡，修改程序后重新编译打开SRS-4.0.0/trunk/src/app/srs_app_rtc_server.cpp，在 232 行后面添加： ZLMediaKit编译后文件存放在ZLMediakit/rele…...

编程日记 2025/6/25 23:28:29

typora免费获取序列号

这个方法不是唯一，但是所需要的时长很短。废话不多说 1.下载网盘文件通过网盘分享的文件：typora破解链接: https://pan.baidu.com/s/1KQnSUV3V0uBGpLc_iz2UFQ?pwdetc4 提取码: etc4 2.把解压下来的文件放到装软件的文件夹 3. 打开cmd，…...

编程日记 2025/6/21 12:08:15

C++23 新增的查找算法详解：ranges::find_last 系列函数

文章目录引言C Ranges 库简介ranges::find_last、ranges::find_last_if 和 ranges::find_last_if_not 概述ranges::find_last示例代码代码解释 ranges::find_last_if函数签名参数解释示例代码代码解释 ranges::find_last_if_not示例代码代码解释使用场景总结引言在 C 的发…...

编程日记 2025/6/26 18:00:31

11.基础IO（上）

一、文件概念对文件归类认知： 对于 0KB 的空文件是占用磁盘空间的文件是文件属性（元数据）和文件内容的集合（文件属性（元数据） 内容） 所有的文件操作本质是文件内容操作和文件属性操作。 …...

编程日记 2025/6/23 16:17:22

本地部署Firecrawl+Dify调用踩坑记录

最近自己研究Dify，使用到Firecrawl这个比较好用的工具。用Firecrawl官网的不知道为什么总是卡住得不到结果，于是我打算自己去本地部署一个。好家伙真给我人搞麻了，太多问题了。我是在京东云上面租的一台服务器。首先就是docker的安装&…...

编程日记 2025/6/26 22:07:30

硬盘坏了电脑会出现哪些明显现象？机械和固态可不一样

机械硬盘（HDD）损坏的常见表现 >启动异常：如果是启动盘，可能会遭遇系统无法启动，提示“No Bootable Device”“Operating System not found”或“Sector not found”等错误；以及BIOS无法识别硬盘&#x…...

编程日记 2025/6/27 7:11:44

数据驱动下的具身智能进化范式

数据驱动技术与挑战...

编程日记 2025/6/24 9:07:10

使用Python与正则表达式高效提取Excel中的票号数据

使用Python与正则表达式高效提取Excel中的票号数据一、需求本文将介绍如何利用Python的Pandas库和正则表达式，快速实现票号这一数据清洗任务，并将结果整理为规范的表格结构。在数据处理场景中，从非结构化文本里提取特定格式的信息是常见…...

编程日记 2025/6/22 14:58:02

MySQL 迁移至 Doris 最佳实践方案

在数据架构不断演进的背景下，从 MySQL 迁移至 Doris 成为许多企业提升数据处理效率的关键选择。本文将深入剖析三种经过实践验证的 MySQL 迁移至 Doris 的最佳方案，涵盖全量迁移、增量同步、混合迁移以及基于 CDC（Change Data Capture&#x…...

编程日记 2025/6/20 14:31:21

2025长三角杯数学建模A题思路模型代码：智能手机产品设计优化与定价问题

2025长三角杯数学建模A题思路模型代码，详细内容见文末名片一、问题背景在 2025 年第五届长三角高校数学建模竞赛中，赛题 A 聚焦于智能手机产品设计优化与定价这一极具现实意义的问题。如今的智能手机市场，可谓是一片硝烟弥漫的“战场”&a…...

编程日记 2025/6/25 20:08:26

【hadoop】Kafka 安装部署

一、Kafka安装与配置步骤： 1、使用XFTP将Kafka安装包kafka_2.12-2.8.1.tgz发送到master机器的主目录。 2、解压安装包： tar -zxvf ~/kafka_2.12-2.8.1.tgz 3、修改文件夹的名字，将其改为kafka，或者创建软连接也可&#xff1…...

编程日记 2025/6/24 8:19:45

网络安全EN18031-1,EN18031-2,EN18031-3三个标准对应的测试项目

EN18031-1,EN18031-2,EN18031-3三个标准有什么区别 ‌EN18031-1、EN18031-2和EN18031-3三个标准分别针对不同的安全要求和应用场景，具体区别如下‌： ‌EN18031-1‌：主要关注网络安全防护，特别是防止DDoS攻击和确保安全通信协议的…...

编程日记 2025/6/26 1:14:17

React与Docker中的MySQL进行交互

完整结构 1. 项目结构设置首先创建项目： npm create vitelatest . --template react cd . npm install2. 设置Docker中的MySQL 创建docker-compose.yml文件（与之前相同）： version: 3.8 services:mysql:image: mysql:8.0conta…...

编程日记 2025/6/25 21:39:34

量子隧穿：PROFINET到Ethernet ip的无损耗协议转换方案转

在本季度的生产工作中，我们成功实现了仓储物流自动化分拣系统中的关键技术突破。我们面临的主要挑战是将采用EtherNet/IP协议的输送带控制器与PROFINET协议的上位系统进行有效通信。通过引入ethernet IP转PROFINET网关倍讯科技BX-606-EIP，我们实现了输送…...

编程日记 2025/6/22 19:53:06

W1R3S: 1.0.1靶场

W1R3S: 1.0.1 来自 <W1R3S: 1.0.1 ~ VulnHub> 1，将两台虚拟机网络连接都改为NAT模式 2，攻击机上做namp局域网扫描发现靶机 nmap -sn 192.168.23.0/24 那么攻击机IP为192.168.23.182，靶场IP192.168.23.249 3，对靶机进行端口…...

编程日记 2025/6/21 18:31:25

pycharm中qthread中的run函数debug不上的问题

先说结论在风和日丽的一天，我尝试把我mac上的代码拿到windows修改。突然遇到了个bug，然后想着对几个线程内部的run函数逐一debug。结果一开线程，整个线程仍然继续报错，run函数的第一行都不停断点。甚至，我加了个pr…...

编程日记 2025/6/26 10:41:23

深度解析IP静态的工作原理，IP静态的应用场景又哪些？

一、什么是IP静态？ 当我们谈到“IP静态”时，大家可能首先想到的是与“动态IP”相对的概念。确实如此，静态IP是一种固定分配的IP地址，也就是说，在特定时间内，分配给你的IP地址不会有所更改——无论你完成多…...

编程日记 2025/6/23 6:33:22

Electron 应用的升级机制详解

在产品分发给用户之后，进入迭代周期是不可避免的过程。开发者需要为产品增加新功能、修复Bug，并推出新版本。如何将这些更新有效地分发给用户，是产品经理和开发人员共同关注的问题。本节将从开发者的角度出发，详细介绍Electron应用的两种常见升级方式：全量升级与增量升级。…...

编程日记 2025/6/24 18:21:30

Java 开源报表系统全解析：免费工具、企业案例与集成实践

在企业级数据可视化与报表开发中，选择一款功能强大且完全免费的开源报表系统至关重要。本文深度剖析 5 款经过权威验证的免费开源 Java 报表工具，涵盖图表展示、定制化及第三方集成能力，附企业级案例与技术实践，助您高效选型。一…...

编程日记 2025/6/21 15:37:59

[原创](现代Delphi 12指南):[macOS 64bit App开发]: 注意“回车换行“的跨平台使用.

[作者] 常用网名: 猪头三出生日期: 1981.XX.XX 企鹅交流: 643439947 个人网站: 80x86汇编小站编程生涯: 2001年~至今[共24年] 职业生涯: 22年开发语言: C/C++、80x86ASM、Object Pascal、Objective-C、C#、R、Python、PHP、Perl、开发工具: Visual Studio、Delphi、XCode、…...

编程日记 2025/6/25 4:00:35

分类预测 | Matlab实现ABC-Transformer人工蜂群算法优化编码器多特征分类预测/故障诊断Matlab实现

分类预测 | Matlab实现ABC-Transformer人工蜂群算法优化编码器多特征分类预测/故障诊断Matlab实现目录分类预测 | Matlab实现ABC-Transformer人工蜂群算法优化编码器多特征分类预测/故障诊断Matlab实现分类效果基本描述程序设计参考资料分类效果基本描述 1.Matlab实现ABC-…...

编程日记 2025/6/26 4:24:50

Java中的设计模式

一、工厂方法模式 1.1 简单工厂模式 1.1.1 案例引入比方说我们要设计一个披萨店的点单程序，披萨店有水果披萨，有芝士披萨，两种类型，选择哪个披萨，只需要创建那个类型的披萨对象即可。 package org.example;import…...

编程日记 2025/6/23 21:41:20

NSSCTF [GFCTF 2021]where_is_shell

889.[GFCTF 2021]where_is_shell(system($0)64位) [GFCTF 2021]where_is_shell (1) 1.准备 motalymotaly-VMware-Virtual-Platform:~$ file shell shell: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.s…...

编程日记 2025/6/22 16:14:24