当前位置：首页 > news >正文

算法仿真平台搭建1-FFMPEG+RtspSever快速搭建一个RTSP服务器

news 来源：原创 2025/9/12 16:48:02

一、前言

本文相关的全部源码和RtspSever库，我已打包上传，欢迎大家免费下载，testRTSPSever。
每一个嵌入式视觉算法工程师，都应该有一套属于自己的算法仿真和测试环境。可以方便地进行视频、图像等素材进行在线导入，可以方便地展示算法结果，可以快速地模拟应用场景，进行算法开发。在视频、图像文件等素材的在线导入模块，搭建一个属于自己的RTSP服务器，是一个理想的选择。
作为实时流媒体传输协议，RTSP服务器可无缝对接各类视觉采集设备，支持H.264/H.265编码格式的实时视频流传输，为算法验证提供稳定可靠的输入，降低算法开发过程中由于输入原因带来的困扰。

二、如何选择开源库

经过调研，使用C++搭建RTSP服务器，在安防领域使用频率最高的是Live555开源库。

2.1 Live555

Live555是一个为实时流媒体传输提供完整解决方案的跨平台C++开源框架，其特点可概括如下：

完整实现RTSP(实时流控制协议)、RTP/RTCP(实时传输与控制协议)标准协议栈，支持HTTP、SIP等辅助协议扩展。
原生支持H.264/H.265、MPEG、JPEG等20+种音视频格式，可通过派生类扩展新型编码。
基于RTP协议实现<200ms级低延迟传输，支持自适应码率调节与网络抖动。
支持搭建支持100+并发连接的RTSP服务器，应用于网络摄像头推流、视频会议系统。
凭借<500KB的轻量化内存占用，适配智能家居、车载终端等资源受限场景。

功能越强大，其框架的开放程度也越高，但是，随之而来的学习成本也变高了。因此，在这里我没有选择Live555，而是选择了一个开放程度较低的RtspSever的开源项目。

2.2 RtspSever

在这里插入图片描述

RtspSever是C++11实现的RTSP服务器和推流器，源代码完全开放，可用于嵌入式的交叉编译，也可以在Windows下进编译开发。
在这里插入图片描述
RtspSever提供了一个例子，可以截取屏幕进行推流，这正好符合我的需求。因为，截取屏幕就肯定涉及到从内存中获取视频和图像，进行推流。

2.3 FFMPEG

对于视频的编码部分，我选择的是FFMPEG。FFMPEG是一个跨平台开源多媒体处理框架，由多个核心库组成，主要用于音视频编解码、封装转换、流媒体传输等场景。其核心功能与模块包括：

libavcode：
提供音视频编解码功能，支持H.264、AAC等主流格式，支持GPU加速。
libavformat:
处理音视频封装格式（如MP4、FLV），实现解封装（Demuxing）与封装（Muxing）。
libavfilter:
支持音视频滤镜处理，例如添加水印、调整分辨率或音频变声。
其他核心模块：
libswscale：图像格式转换（如YUV与RGB互转）；
libavdevice：硬件设备采集与渲染（如摄像头、屏幕录制）
libswresample：音频重采样与格式处理。

FFMPEG广泛应用于视频转码、直播推流、音视频编辑等领域，支持Windows、Linux、macOS等系统，并可通过命令行工具（ffmpeg、ffplay等）快速实现多媒体处理。
FFMPEG的安装和配置，在我的文章VS2022配置FFMPEG有详细介绍，这里不再重复说明。

三、代码详解

在确定好开源库后，接下来的事情就是开工撸代码了。超出了我的预期，我仅仅使用了不到200行的代码就完成了RTSP的服务器。

3.1 代码设计

初始化阶段：
- 创建RTSP服务器并绑定端口。
- 定义媒体会话，配置H264视频源。
- 初始化FFmpeg图像转换和H264编码器。
主循环阶段：
- 生成测试图像（绿色圆圈动画）。
- 将BGR图像转换为NV12格式。
- 使用H264编码器压缩视频帧。
- 将编码后的数据通过RTSP协议推送。
- 本地窗口显示实时画面。
资源释放：
- 退出循环后释放编码器、帧内存等资源。

代码逻辑流程如下图所示：

3.2 代码详解

/* 头文件引入 */
#include <fstream>
#include <iostream>
#include <queue>
#include <mutex>
#include <atomic>
#include <thread>
#include <winsock2.h>          // Windows网络库
#include <iphlpapi.h>          // IP辅助库
#pragma comment(lib, "ws2_32.lib")   // 链接Winsock库
#pragma comment(lib, "iphlpapi.lib") // 链接IP辅助库extern "C" { // FFmpeg库使用C语言接口
#include <libavcodec/avcodec.h>   // 音视频编解码
#include <libavformat/avformat.h> // 媒体格式处理
#include <libswscale/swscale.h>   // 图像缩放与格式转换
}#include "xop/RtspServer.h"   // RTSP服务器库
#include "net/Timer.h"        // 定时器
#include "opencv2/opencv.hpp" // OpenCV图像处理库
int main() {/* RTSP服务配置 */std::string suffix = "live"; // 流后缀std::string ip = "192.168.1.14"; // 服务器IPstd::string port = "554";        // RTSP默认端口std::string rtsp_url = "rtsp://" + ip + ":" + port + "/" + suffix; // 完整URL/* 初始化事件循环和RTSP服务器 */std::shared_ptr<xop::EventLoop> event_loop(new xop::EventLoop()); // 创建事件循环std::shared_ptr<xop::RtspServer> server = xop::RtspServer::Create(event_loop.get()); // 创建RTSP服务器实例if (!server->Start("0.0.0.0", atoi(port.c_str()))) { // 启动服务器（监听所有网卡）printf("RTSP Server启动失败，端口：%s\n", port.c_str());return 0;}/* 创建媒体会话 */xop::MediaSession* session = xop::MediaSession::CreateNew("live"); // 创建会话session->AddSource(xop::channel_0, xop::H264Source::CreateNew()); // 添加H264源// 客户端连接/断开回调session->AddNotifyConnectedCallback([](xop::MediaSessionId sessionId, std::string peer_ip, uint16_t peer_port) {printf("客户端连接: IP=%s 端口=%hu\n", peer_ip.c_str(), peer_port);});session->AddNotifyDisconnectedCallback([](...) { /* 类似处理断开事件 */ });xop::MediaSessionId session_id = server->AddSession(session); // 注册会话std::cout << "播放地址: " << rtsp_url << std::endl;/* 视频参数配置 */const int frame_width = 512, frame_height = 512;/* FFmpeg图像转换配置 */SwsContext* sws_ctx = sws_getContext( // 创建颜色空间转换上下文frame_width, frame_height, AV_PIX_FMT_BGR24,  // 输入参数（BGR格式）frame_width, frame_height, AV_PIX_FMT_NV12,   // 输出参数（NV12格式）SWS_BILINEAR, nullptr, nullptr, nullptr);     // 转换算法AVFrame* sws_frame = av_frame_alloc(); // 分配转换后的帧内存// ...（设置sws_frame参数并分配缓冲区）/* H264编码器初始化 */const AVCodec* encoder = avcodec_find_encoder(AV_CODEC_ID_H264); // 查找编码器AVCodecContext* enc_ctx = avcodec_alloc_context3(encoder); // 创建编码器上下文enc_ctx->width = frame_width;  // 分辨率enc_ctx->height = frame_height;enc_ctx->time_base = {1, 25};  // 时间基（25FPS）// ...（其他编码参数设置）avcodec_open2(enc_ctx, encoder, nullptr); // 打开编码器/* 主循环 */while (true) {// 生成测试图像（绿色圆圈）cv::Mat frame = cv::Mat::zeros(frame_height, frame_width, CV_8UC3);// ...（绘制动态圆圈）/* BGR转NV12 */sws_scale(sws_ctx, bgr_frame->data, ..., sws_frame->data, ...); /* H264编码 */avcodec_send_frame(enc_ctx, sws_frame); // 发送帧到编码器while (avcodec_receive_packet(enc_ctx, enc_pkt) == 0) { // 接收编码后的包// 封装视频帧并推送到RTSP服务器xop::AVFrame videoFrame = {0};// ...（填充数据并调用PushFrame）}cv::imshow("server", frame); // 显示本地预览cv::waitKey(3); // 等待3ms}/* 资源释放 */av_packet_free(&enc_pkt);av_frame_free(&sws_frame);// ...（其他资源清理）
}

3.3、关键API说明表格

3.3.1. `sws_getContext()`

参数	类型	说明
srcW	int	源图像宽度
srcH	int	源图像高度
srcFormat	AVPixelFormat	源像素格式（如AV_PIX_FMT_BGR24）
dstW	int	目标图像宽度
dstH	int	目标图像高度
dstFormat	AVPixelFormat	目标像素格式（如AV_PIX_FMT_NV12）
flags	int	缩放算法（如SWS_BILINEAR）
srcFilter	SwsFilter*	源滤波器（通常为nullptr）
dstFilter	SwsFilter*	目标滤波器（通常为nullptr）
param	const double*	算法参数（通常为nullptr）
功能	创建图像缩放/格式转换上下文
返回值	SwsContext*	转换上下文句柄

3.3. 2. `avcodec_find_encoder()`

参数	类型	说明
id	enum AVCodecID	编码器ID（如AV_CODEC_ID_H264）
功能	根据ID查找已注册的编码器
返回值	const AVCodec*	编码器指针（失败返回NULL）

3.3.3. `avcodec_open2()`

参数	类型	说明
avctx	AVCodecContext*	编码器上下文
codec	const AVCodec*	目标编码器
options	AVDictionary**	附加选项（通常为nullptr）
功能	使用指定编码器初始化上下文
返回值	int	0成功，负数错误码

四、测试

运行程序，使用VLC进行拉流测试：
在这里插入图片描述
延时有点大，但是，视频流还是很稳定的。有懂的小伙伴，可以在评论区留言，怎么解决这个延时的问题。

五、小结

对小白来说，开源库，选择好入门的，封装程度高的。
可以做下一步了，在开发板完成RTSP流的接收和解码。