1. 项目概述
在当今视频流媒体服务需求激增的背景下，构建一个稳定、低延迟且能承载高并发的视频流平台成为许多企业的刚需。作为一名长期从事流媒体架构设计的工程师，我将分享一套在CentOS 7.9系统上，基于Nginx和RTMP模块搭建高性能视频流平台的完整方案。
这个方案特别适合需要处理大量实时视频流的场景，比如：
- 大型电竞直播平台
- 在线教育课堂
- 企业视频会议系统
- 多频道电视台直播
整套方案从硬件选型开始，涵盖系统配置、软件编译安装、内核调优到最后的压力测试，确保每个环节都经过实战验证。我们将重点解决三个核心问题：如何保证稳定性、如何降低延迟、如何提升并发能力。
2. 硬件与网络环境选型
2.1 服务器硬件配置建议
搭建高并发视频流平台，硬件选型是基础。根据实际项目经验，推荐以下配置：
CPU：至少16核的Intel Xeon或AMD EPYC处理器。视频转码和流处理是CPU密集型任务，多核心能显著提升并行处理能力。建议选择支持AVX-512指令集的型号，这对视频编码加速很有帮助。
内存：32-64GB ECC DDR4内存。ECC内存能防止数据损坏，对于7x24运行的流媒体服务器至关重要。大内存可以设置更大的缓冲区，减少因网络波动造成的卡顿。
存储：NVMe SSD，容量建议500GB以上。HLS分片会产生大量小文件，NVMe SSD的高IOPS特性非常适合这种场景。避免使用机械硬盘，其随机读写性能会成为瓶颈。
网络：10Gbps网卡是必须的。Intel X710或X520是不错的选择，它们有良好的驱动支持和稳定的性能表现。对于网络带宽，建议至少1Gbps起步，实际需求要根据预期并发数计算。
计算带宽需求的简单公式：
所需带宽(Mbps) = 平均码率(Mbps) × 最大并发用户数 × 1.2(冗余系数)
例如：2Mbps码率，5000并发用户，需要约12Gbps带宽
2.2 软件环境准备
操作系统选择CentOS 7.9是因为它在企业环境中广泛使用，稳定性经过验证。以下是主要软件版本：
- Nginx 1.24.x：选择最新稳定版以获得更好的性能和安全性
- nginx-rtmp-module：从GitHub获取最新代码，确保包含所有修复
- FFmpeg 5.x：新版有更多编码优化和硬件加速支持
- GCC 9.x：通过Devtoolset安装，提供更好的编译优化
3. 系统初始化与依赖安装
3.1 基础系统配置
首先更新系统并安装必要工具：
bash复制yum update -y
yum groupinstall "Development Tools" -y
yum install -y epel-release
yum install -y git ffmpeg wget unzip
关闭不必要的服务以释放资源：
bash复制systemctl stop postfix
systemctl disable postfix
3.2 开发环境准备
CentOS 7默认的GCC版本较旧，我们需要安装Devtoolset来获取GCC 9：
bash复制yum install -y centos-release-scl
yum install -y devtoolset-9
scl enable devtoolset-9 bash
验证GCC版本：
bash复制gcc --version
4. Nginx与RTMP模块编译安装
4.1 源码获取与准备
bash复制cd /usr/local/src
wget https://nginx.org/download/nginx-1.24.0.tar.gz
tar zxvf nginx-1.24.0.tar.gz
git clone https://github.com/arut/nginx-rtmp-module.git
4.2 编译配置选项详解
Nginx的编译选项直接影响性能和功能，以下是经过优化的配置：
bash复制cd nginx-1.24.0
./configure \
--prefix=/usr/local/nginx \
--with-threads \ # 启用线程池，提高并发
--with-file-aio \ # 异步IO，提升文件操作性能
--with-http_ssl_module \ # HTTPS支持
--with-http_v2_module \ # HTTP/2支持
--with-http_stub_status_module \# 状态监控
--add-module=../nginx-rtmp-module
make -j$(nproc) && make install
关键参数说明：
--with-threads：启用线程池，可以更好地利用多核CPU--with-file-aio：异步IO对于处理大量小文件(HLS分片)很有帮助-j$(nproc)：使用所有CPU核心并行编译，加快速度
4.3 服务管理配置
创建systemd服务文件：
bash复制cat << 'EOF' > /usr/lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/local/nginx/sbin/nginx -s reload
ExecStop=/usr/local/nginx/sbin/nginx -s quit
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl enable nginx
5. Nginx RTMP详细配置
5.1 主配置文件优化
以下是经过优化的nginx.conf核心部分：
nginx复制worker_processes auto;
worker_rlimit_nofile 200000;
events {
use epoll;
worker_connections 16384;
multi_accept on;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
server {
listen 8080;
server_name localhost;
location / {
root html;
}
location /stat {
stub_status;
allow 127.0.0.1;
deny all;
}
location /hls {
types {
application/vnd.apple.mpegurl m3u8;
video/mp2t ts;
}
root /var/media;
add_header Cache-Control no-cache;
add_header Access-Control-Allow-Origin *;
}
}
}
rtmp {
server {
listen 1935;
chunk_size 4096;
buflen 300ms;
application live {
live on;
meta copy;
max_connections 10000;
# 推流鉴权
allow publish 192.168.1.0/24;
allow publish 10.0.0.0/8;
deny publish all;
allow play all;
# HLS配置
hls on;
hls_path /var/media/hls;
hls_fragment 2s;
hls_playlist_length 6s;
hls_continuous on;
hls_cleanup on;
# 低延迟优化
hls_variant _low BANDWIDTH=500000;
hls_variant _mid BANDWIDTH=1500000;
hls_variant _high BANDWIDTH=3000000;
}
}
}
5.2 关键参数解析
worker配置：
worker_rlimit_nofile 200000：提高单个worker能打开的文件描述符上限use epoll：Linux下高性能的事件通知机制multi_accept on：worker进程一次性接受所有新连接
RTMP优化：
chunk_size 4096：平衡网络效率和延迟buflen 300ms：设置缓冲区大小，减少网络抖动影响hls_fragment 2s：短片段降低延迟，但会增加服务器负载
安全设置：
- 通过IP限制推流权限，防止未经授权的推流
- 添加CORS头，方便网页播放器跨域访问HLS流
6. 系统级调优
6.1 内核参数优化
创建/etc/sysctl.d/99-stream.conf：
bash复制net.core.somaxconn = 65535
net.core.netdev_max_backlog = 16384
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
fs.file-max = 500000
应用配置：
bash复制sysctl --system
6.2 文件描述符限制
编辑/etc/security/limits.conf：
bash复制* soft nofile 500000
* hard nofile 500000
6.3 磁盘IO优化
对于HLS分片存储，建议单独挂载一个XFS文件系统的分区：
bash复制mkfs.xfs /dev/nvme0n1p1
mount -o noatime,nodiratime /dev/nvme0n1p1 /var/media
在/etc/fstab中添加：
bash复制/dev/nvme0n1p1 /var/media xfs noatime,nodiratime 0 0
7. 推流与播放测试
7.1 使用FFmpeg推流
bash复制ffmpeg -re -i input.mp4 -c:v libx264 -preset veryfast -tune zerolatency \
-x264-params keyint=60:min-keyint=50 -b:v 3000k -maxrate 3000k \
-bufsize 6000k -g 60 -c:a aac -ar 44100 -b:a 128k \
-f flv rtmp://server_ip/live/stream_key
参数说明：
-preset veryfast：平衡编码速度和压缩率-tune zerolatency：最小化编码延迟keyint=60：每60帧一个关键帧，适合直播-g 60：GOP大小，与keyint保持一致
7.2 播放测试方法
HLS播放测试：
bash复制ffplay http://server_ip:8080/hls/stream_key.m3u8
RTMP播放测试：
bash复制ffplay rtmp://server_ip/live/stream_key
8. 性能监控与压力测试
8.1 监控Nginx状态
通过stub_status模块获取基础指标：
bash复制curl http://localhost:8080/stat
输出示例：
code复制Active connections: 1234
server accepts handled requests
123456 123456 234567
Reading: 5 Writing: 10 Waiting: 1219
8.2 压力测试工具
使用wrk模拟高并发HLS请求：
bash复制wrk -t12 -c5000 -d300s http://server_ip:8080/hls/stream.m3u8
RTMP推流压力测试脚本：
bash复制for i in {1..100}; do
ffmpeg -re -i test.mp4 -c copy -f flv "rtmp://server_ip/live/stream_$i" &
done
8.3 性能指标监控
关键监控项：
- CPU使用率：确保没有单核瓶颈
- 内存使用：监控缓冲区使用情况
- 网络吞吐：确认没有达到带宽上限
- 磁盘IO：HLS写入不应成为瓶颈
使用以下命令实时监控：
bash复制top -H -p $(pgrep nginx)
iftop -n -i eth0
iostat -x 1
9. 高级优化技巧
9.1 延迟优化进阶
要进一步降低延迟，可以尝试：
- 使用LL-HLS（低延迟HLS）：
nginx复制hls_type event;
hls_fragment 1s;
hls_playlist_length 3s;
- 启用HTTP/2推送：
nginx复制http2_push_preload on;
- 调整播放器缓冲：
html复制<video preload="auto" muted playsinline>
9.2 安全加固
- 启用RTMP鉴权：
nginx复制application live {
live on;
on_publish http://auth_server/auth;
on_play http://auth_server/auth;
}
- HTTPS配置：
nginx复制ssl_certificate /path/to/cert.pem;
ssl_certificate_key /path/to/key.pem;
ssl_session_cache shared:SSL:50m;
ssl_session_timeout 1d;
ssl_buffer_size 4k;
9.3 故障排查指南
常见问题及解决方法：
- 推流失败：
- 检查防火墙：
iptables -L -n - 验证端口监听：
ss -tulnp | grep 1935 - 查看Nginx错误日志：
tail -f /usr/local/nginx/logs/error.log
- 高延迟：
- 检查FFmpeg编码参数，确保使用
-tune zerolatency - 减少HLS分片大小
- 检查网络中间节点是否有缓冲
- 高并发下不稳定：
- 检查文件描述符限制：
cat /proc/$(pgrep nginx)/limits - 监控内存使用，可能需要增加
worker_connections - 考虑分布式部署，使用边缘节点分担负载
10. 生产环境部署建议
对于大规模生产环境，建议采用以下架构：
- 分层架构：
- 边缘节点：处理播放请求，缓存内容
- 源站服务器：处理推流和转码
- 存储集群：集中存储录像和资源
- 负载均衡：
- 使用Nginx或LVS分发RTMP推流
- DNS轮询或Anycast分发播放请求
- 监控系统：
- Prometheus + Grafana监控服务器指标
- ELK收集和分析访问日志
- 自定义脚本监控流健康状态
- 自动化运维：
- Ansible或Terraform管理服务器配置
- CI/CD管道管理配置变更
- 自动伸缩应对流量高峰
这套基于CentOS 7.9和Nginx RTMP的方案已经在多个大型直播平台得到验证，能够稳定支持数千并发推流和数万并发播放。根据实际需求调整参数，可以进一步优化性能或降低成本。