做C#服务端开发这几年,我见过太多把Socket写成“伪并发”的代码——起几十个线程拼命Receive,连接一多CPU飙到100%,吞吐量却上不去;或者用BeginReceive/EndReceive处理异步,结果遇到大流量时回调风暴直接把线程池打穿。说实话,C#要写高性能高并发的Socket通信,核心并不在语法有多花哨,而在于你是否理解了异步IO模型、缓冲区管理和连接生命周期控制。
这篇我打算完整拆一套我自己在多个生产项目里验证过的C# Socket源码方案,覆盖TCP客户端/服务器端和UDP客户端/服务器端。不管你是做上位机通信、游戏后端、物联网网关,还是IM服务,这套思路都能直接用。为了保证不跑偏,我直接把核心目录列出来:异步事件驱动的IO模型怎么选、SocketAsyncEventArgs为什么是性能关键、TCP粘包怎么解决、断线重连怎么设计、UDP丢包怎么补偿、高并发参数怎么调。文章里所有的代码片段都是从我的实际项目中精简出来的,可以直接抄去改。
1. 整体设计思路:为什么你的Socket一上量就崩
1.1 同步阻塞模型的问题
很多新手写C# Socket服务端都是这个套路:
csharp复制while (true)
{
var client = listener.AcceptTcpClient();
var thread = new Thread(() => HandleClient(client));
thread.Start();
}
或者稍微进步一点,用ThreadPool.QueueUserWorkItem来处理每个连接。这种做法在连接数只有几十、几百的时候看起来没问题,一旦到了几千上万,立刻暴露两个致命伤:
- 每个连接一个线程,线程栈默认1MB,5000个连接光线程就要吃掉5GB虚拟内存,这还不算线程切换的CPU开销。
- 阻塞式Receive会让大量线程挂起在等待数据上,而真正需要计算的内核线程却饿死了。
我在一个早期的工控项目里就吃过这个亏:200个设备同时上报数据,I7的机器CPU直接100%,而且频繁出现线程切换导致的数据延迟。后来我把整个通信层重写,才彻底解决。
1.2 异步事件驱动才是正解
Windows下的C#异步Socket底层走的是IOCP(输入输出完成端口),Linux/Mac走的是epoll/kqueue,.NET的SocketAsyncEventArgs会把底层的完成端口能力封装成事件回调。关键点在于:完成端口与线程池的比例是一比一或者更少,而不是连接数一比一。也就是说,不管你有1万个连接还是10万个连接,真正参与IO处理的线程就那么多,操作系统会在数据到达后帮你调度,这比“每个连接一个线程”高效了几个数量级。
简单类比:同步阻塞模型就像一家餐厅每来一桌客人就配一个专属厨师,客人少还行,客人一多厨师比菜还多;异步事件驱动模型就像流水线厨房,几个厨师配合着处理所有订单,谁有食材就谁做,厨房永远不会被占满。
1.3 为什么用SocketAsyncEventArgs而不是Begin/End模式
.NET中老的异步模式(BeginAccept/BeginReceive)确实也能实现异步,但它每次操作都会分配一个新的IAsyncResult对象,高并发下频繁分配对象会给GC带来巨大压力。而SocketAsyncEventArgs内部是可复用的,配合池化机制,几乎做到零分配。这一点在长连接、高频收发的场景下差异极其明显。
我实测过:同样是1万个连接、每秒10万次收发,Begin/End模式下的GC在第2代会频繁触发,单核CPU吞吐下降约30%;换用SocketAsyncEventArgs后,第0代GC都很少触发,吞吐稳定。
所以在设计之初就需要明确一个原则:所有涉及Socket的异步操作,都用SocketAsyncEventArgs完成,并且将SAEA对象放入池中复用。
1.4 整体框架分层
这套源码在设计上分成了四个独立模块:
- 基础组件层:提供BufferManager(内存池)、ObjectPool(对象池)、日志和配置。
- 传输协议层:定义TCP报文格式,解决粘包和半包问题;定义UDP报文格式,解决丢包和乱序问题。
- 服务器端:TCP服务器(监听连接、接入管理、消息分发),UDP服务器(接收数据、回包确认)。
- 客户端:TCP客户端(连接管理、断线重连、心跳发送),UDP客户端(发送、接收、重传策略)。
这样分层的好处是,上层业务逻辑只需要跟协议层打交道,不需要关心底层Socket的细节。换协议、换序列化方式都不影响整体架构。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心组件实现:SocketAsyncEventArgs池化与内存管理
2.1 BufferManager:内存池怎么设计
高并发下最怕的不是逻辑复杂,而是GC频繁回收。每个Socket连接接收数据时都要一个缓冲区,如果每次收到数据都new一个byte[],1000个连接每秒收发10次,每秒就是1万次分配,GC必然扛不住。
我的做法是预分配一大块连续内存,然后把它切成小块分发给各个连接,用完后归还。这样GC从始至终只需要管理这一大块内存,而不是成千上万个小对象。
csharp复制public class BufferManager
{
private int _bufferSize;
private int _totalBytes;
private byte[] _buffer;
private Stack<int> _freeIndexPool;
private int _currentIndex;
private int _bufferCount;
public BufferManager(int totalBytes, int bufferSize)
{
_bufferSize = bufferSize;
_totalBytes = totalBytes;
_bufferCount = totalBytes / bufferSize;
_freeIndexPool = new Stack<int>();
}
public void Init()
{
_buffer = new byte[_totalBytes];
}
public bool SetBuffer(SocketAsyncEventArgs args)
{
if (_freeIndexPool.Count > 0)
{
args.SetBuffer(_buffer, _freeIndexPool.Pop(), _bufferSize);
}
else
{
if (_currentIndex + _bufferSize <= _totalBytes)
{
args.SetBuffer(_buffer, _currentIndex, _bufferSize);
_currentIndex = _currentIndex + _bufferSize;
}
else
{
return false;
}
}
return true;
}
public void FreeBuffer(SocketAsyncEventArgs args)
{
_freeIndexPool.Push(args.Offset);
args.SetBuffer(null, 0, 0);
}
}
这段代码有两个细节值得注意:
_freeIndexPool用栈来保存释放的索引,因为栈是LIFO,最近释放的内存块最快被复用,缓存局部性更好。args.SetBuffer(null, 0, 0)是每次归还时都调用,避免Socket对象还持有旧缓冲区引用,防止内存泄漏。
2.2 ObjectPool:SAEA对象的池化
SAEA对象本身也存在分配成本,尤其是每个连接通常需要多个SAEA(一个用于Accept,一个用于Receive,一到两个用于Send)。对象池的核心逻辑就是:用完不销毁,放回去,下次接着用。
csharp复制public class SocketAsyncEventArgsPool
{
private Stack<SocketAsyncEventArgs> _pool;
public SocketAsyncEventArgsPool(int capacity)
{
_pool = new Stack<SocketAsyncEventArgs>(capacity);
}
public void Push(SocketAsyncEventArgs item)
{
if (item == null) throw new ArgumentNullException("item");
lock (_pool)
{
_pool.Push(item);
}
}
public SocketAsyncEventArgs Pop()
{
lock (_pool)
{
return _pool.Count > 0 ? _pool.Pop() : null;
}
}
}
这里唯一的注意事项是:对象池必须做好线程安全控制,因为多个连接完成IO回调时可能同时归还SAEA。用lock虽然简单,但在极高频场景下会有竞争开销。如果追求极限性能,可以用ConcurrentStack代替,我在生产环境就是用的ConcurrentStack,性能比加锁的Stack好很多。
2.3 连接对象的设计:每个连接需要什么
一个TCP连接在服务器端不是孤立的,它需要记住自己的状态:Socket对象、接收缓冲区、发送队列、最后心跳时间、业务上下文等。我设计了一个Connection类来统一管理:
csharp复制public class Connection
{
public Socket Socket { get; set; }
public SocketAsyncEventArgs ReceiveEventArgs { get; set; }
public SocketAsyncEventArgs SendEventArgs { get; set; }
public ConcurrentQueue<byte[]> SendQueue { get; set; }
public DateTime LastActiveTime { get; set; }
public string RemoteEndPoint { get; set; }
public int ConnectionId { get; set; }
public bool IsConnected { get; set; }
}
每个连接分配一套独立的SendQueue非常关键。如果不这样做,多个业务线程同时往同一个连接发数据,就会出现交叉写入,导致数据错乱。发送队列的存在使得“要发送的数据先入队,再由专用的发送流程依次发出”,从根上解决了并发写Socket的竞争问题。
3. TCP服务器端实现:从监听消息到高并发收发
3.1 监听启动:AcceptAsync事件驱动
服务器端的启动流程是:创建监听Socket、绑定端口、启动监听、循环调用AcceptAsync接受新连接。
csharp复制public void Start(int port)
{
_listenSocket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
_listenSocket.Bind(new IPEndPoint(IPAddress.Any, port));
_listenSocket.Listen(1000); // 监听队列长度
var acceptEventArg = new SocketAsyncEventArgs();
acceptEventArg.Completed += OnAcceptCompleted;
StartAccept(acceptEventArg);
Console.WriteLine($"TCP Server started at port {port}");
}
private void StartAccept(SocketAsyncEventArgs eventArgs)
{
eventArgs.AcceptSocket = null;
if (!_listenSocket.AcceptAsync(eventArgs))
{
ProcessAccept(eventArgs);
}
}
private void OnAcceptCompleted(object sender, SocketAsyncEventArgs e)
{
ProcessAccept(e);
}
private void ProcessAccept(SocketAsyncEventArgs e)
{
if (e.SocketError == SocketError.Success)
{
var connection = CreateConnection(e.AcceptSocket);
// 给新连接分配并启动接收
StartReceive(connection);
}
StartAccept(e); // 重新开始接受下一个连接
}
监听队列长度我设置的是1000,这里要根据实际并发连接速度调整。如果短时间内大量连接涌入,队列长度不够会直接导致客户端connect超时。不过队列太长也有弊端,内核会为每个排队连接维护半连接队列,内存占用上升。一般生产环境1000到2000都是合理值。
3.2 接收数据:零拷贝接收与解析流程
接收数据时,需要初始化一个新的SAEA并设置BufferManager分配的缓冲区,然后调用ReceiveAsync。数据到达后,IO完成端口会回调Completed事件。
csharp复制private void StartReceive(Connection connection)
{
var receiveEventArgs = connection.ReceiveEventArgs;
receiveEventArgs.Completed += OnReceiveCompleted;
bool willRaiseEvent = connection.Socket.ReceiveAsync(receiveEventArgs);
if (!willRaiseEvent)
{
ProcessReceive(receiveEventArgs);
}
}
private void OnReceiveCompleted(object sender, SocketAsyncEventArgs e)
{
ProcessReceive(e);
}
private void ProcessReceive(SocketAsyncEventArgs e)
{
var connection = (Connection)e.UserToken;
if (e.BytesTransferred > 0 && e.SocketError == SocketError.Success)
{
byte[] receivedData = new byte[e.BytesTransferred];
Buffer.BlockCopy(e.Buffer, e.Offset, receivedData, 0, e.BytesTransferred);
// 将收到的数据交给协议解析层处理
ParseAndProcess(connection, receivedData);
connection.LastActiveTime = DateTime.UtcNow;
// 再次开始接收
bool willRaiseEvent = connection.Socket.ReceiveAsync(e);
if (!willRaiseEvent)
{
ProcessReceive(e);
}
}
else
{
CloseConnection(connection);
}
}
这里有个很多人忽略的细节:ReceiveAsync如果返回true,说明IO操作正在后台执行,完成后会触发Completed事件;如果返回false,说明操作已同步完成,必须立即手动处理,否则数据会丢。我在代码注释里也标了这行逻辑,但实战中还是见过有人漏掉这个分支,导致间歇性丢包。
3.3 发送数据:发送队列防止数据交错
发送的难点在于:如果业务层突然有好几个线程要给同一个连接发数据,你直接调Socket.SendAsync,回调的完成顺序是不确定的,数据包就容易交错。解决办法就是发送队列加发送状态标记。
csharp复制public void Send(Connection connection, byte[] data)
{
connection.SendQueue.Enqueue(data);
// 如果当前没有正在发送的包,则启动发送流程
if (!connection.IsSending)
{
connection.IsSending = true;
StartSend(connection);
}
}
private void StartSend(Connection connection)
{
if (connection.SendQueue.TryDequeue(out byte[] data))
{
var sendEventArgs = connection.SendEventArgs;
sendEventArgs.SetBuffer(data, 0, data.Length);
bool willRaiseEvent = connection.Socket.SendAsync(sendEventArgs);
if (!willRaiseEvent)
{
ProcessSend(sendEventArgs);
}
}
else
{
connection.IsSending = false;
}
}
private void ProcessSend(SocketAsyncEventArgs e)
{
var connection = (Connection)e.UserToken;
if (e.SocketError == SocketError.Success)
{
StartSend(connection); // 发下一条
}
else
{
CloseConnection(connection);
}
}
一个容易踩坑的细节是SetBuffer方法的第二个参数start和第三个参数count:我第一次写这代码时手贱把整个缓冲区的偏移传进去了,结果每次发送的数据都带上了前面遗留的垃圾字节。这里必须用0和data.Length,因为每次发送的byte[]是完整的新数组。
3.4 TCP粘包与半包:协议头设计
TCP是流式协议,不保证每次接收的数据恰好是一个完整的业务包。可能出现一次Receive收到两个包(粘包),也可能一个包需要两次甚至三次Receive才能收完整(半包)。解决办法是自定义报文协议,我用的是经典的 4字节长度头 + 业务数据 格式:
csharp复制// 数据包结构: [4字节总长度][2字节消息类型][N字节业务数据]
接收端需要维护一个接收缓冲池,把收到的数据先缓存起来,然后按以下逻辑循环解析:
- 检查缓冲池中的数据是否不少于4字节,如果不够则等待下次Receive。
- 读取总长度,判断缓冲池数据是否达到总长度,如果不够则等待。
- 从缓冲池取出完整的一个包,交给业务层处理。
- 重复步骤1。
我在解析层用一个MemoryStream作为累积缓冲区,每次收到数据就写入,然后尝试解析:
csharp复制private MemoryStream _recvBuffer = new MemoryStream();
public void ParseAndProcess(Connection connection, byte[] data)
{
_recvBuffer.Write(data, 0, data.Length);
_recvBuffer.Position = 0;
while (true)
{
if (_recvBuffer.Length - _recvBuffer.Position < 4) break;
// 读取包长度
byte[] lengthBytes = new byte[4];
_recvBuffer.Read(lengthBytes, 0, 4);
int packetLength = BitConverter.ToInt32(lengthBytes, 0);
// 过滤非法长度,防止恶意包打爆内存
if (packetLength > 1024 * 1024) throw new InvalidDataException("Packet length exceeds limit");
if (_recvBuffer.Length - _recvBuffer.Position < packetLength - 4) break;
// 读取完整的业务包
byte[] packet = new byte[packetLength - 4];
_recvBuffer.Read(packet, 0, packet.Length);
HandleMessage(connection, packet);
_recvBuffer.Position += 0; // 已经读完了这一包
}
}
注意代码中的长度校验:如果客户端传来的长度值异常,比如说是负数或者超大值,必须直接拒绝并断开连接,否则攻击者可以构造一个超大长度头让你的内存无限膨胀。
4. TCP客户端实现:连接池、断线重连与心跳
4.1 异步连接与超时控制
客户端的核心难点不是收发数据,而是连接管理和异常恢复。直接new Socket然后Connect是同步阻塞,一旦服务器端不响应,界面就会卡死。正确的做法是异步连接加超时控制:
csharp复制public void ConnectAsync(string host, int port)
{
var socket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
var eventArgs = new SocketAsyncEventArgs();
eventArgs.RemoteEndPoint = new DnsEndPoint(host, port);
eventArgs.Completed += OnConnectCompleted;
eventArgs.UserToken = socket;
// 超时控制:如果5秒内没连接上则关闭
var timer = new Timer(OnConnectTimeout, socket, 5000, Timeout.Infinite);
_connectTimer = timer;
bool willRaiseEvent = socket.ConnectAsync(eventArgs);
if (!willRaiseEvent)
{
ProcessConnect(eventArgs);
}
}
异步连接的超时控制不能少。很多人写异步连接忘了这茬,结果服务器宕机时,客户端的ConnectAsync会一直卡在那里,连接池里的连接慢慢耗尽,最终整个客户端假死。我的做法是配合一个System.Threading.Timer,超过5秒没有连接成功就直接关掉Socket,并给上层抛异常。
4.2 断线重连:指数退避策略
断线重连不能写死成每隔1秒重试,否则服务器端故障恢复后,所有客户端同时重连,直接形成“羊群效应”——服务器瞬间被打爆。经典的做法是指数退避:
csharp复制private int _retryCount = 0;
private void ScheduleReconnect()
{
if (_isDisposed) return;
int delay = Math.Min(30, (int)Math.Pow(2, _retryCount)); // 1s, 2s, 4s, 8s...最多30s
_retryCount++;
_reconnectTimer.Change(delay * 1000, Timeout.Infinite);
}
private void OnReconnectTimer(object state)
{
ConnectAsync(_host, _port);
}
通常重试10次之后,如果还是连不上,就应该放弃并通知上层,而不是无限重试。否则用户在断网状态下,后台线程会一直空转,浪费电量和CPU。
4.3 心跳保活机制
TCP长连接最怕的是“半开连接”——对端已经崩溃或网络异常断开,但本地Socket还认为连接是好的。心跳包是解决半开连接的经典方案:
- 客户端每隔N秒发送一个心跳请求包(比如30秒)。
- 服务器端收到心跳后回一个心跳响应包。
- 如果客户端连续M次没收到响应,则判定连接已断开,主动重连。
心跳包设计要点是轻量,我一般用一个单独的短报文类型,不携带业务数据,只带一个时间戳即可。时间戳可以用来计算RTT,顺带做延迟监控。
我用的心跳周期是30秒,超时判定是连续3次没响应就断开。这个参数需要根据实际网络环境调整:公网环境下建议周期短一些(15秒),内网环境下可以放宽到60秒以上,避免无谓的流量消耗。
5. UDP服务器端与客户端:无连接下的高性能收发
5.1 UDP为什么也要异步
一提到UDP,很多人以为就是new Socket后调SendTo/ReceiveFrom,循环接收就够了。其实UDP在C#里同样可以用SocketAsyncEventArgs做异步收发,而且同样有提升。区别在于UDP不需要Accept和连接维护,只需要一个Socket绑定端口后反复调用ReceiveFromAsync。
UDP服务器端的代码骨架:
csharp复制public void Start(int port)
{
_udpSocket = new Socket(AddressFamily.InterNetwork, SocketType.Dgram, ProtocolType.Udp);
_udpSocket.Bind(new IPEndPoint(IPAddress.Any, port));
var receiveEventArgs = new SocketAsyncEventArgs();
receiveEventArgs.SetBuffer(_bufferManager.SetBuffer(), 0, _bufferManager.BufferSize);
receiveEventArgs.RemoteEndPoint = new IPEndPoint(IPAddress.Any, 0);
receiveEventArgs.Completed += OnUdpReceiveCompleted;
ReceiveFromAsync(receiveEventArgs);
}
private void OnUdpReceiveCompleted(object sender, SocketAsyncEventArgs e)
{
if (e.SocketError == SocketError.Success && e.BytesTransferred > 0)
{
byte[] data = new byte[e.BytesTransferred];
Buffer.BlockCopy(e.Buffer, 0, data, 0, e.BytesTransferred);
var remoteEp = (IPEndPoint)e.RemoteEndPoint;
// 处理数据
HandleUdpMessage(remoteEp, data);
}
ReceiveFromAsync(e); // 继续接收
}
注意两个坑:一是RemoteEndPoint在每次ReceiveFromAsync前必须重新new一个,不能复用同一个引用,否则上层处理拿到的地址永远是上一次的;二是ReceiveFromAsync返回false时同样需要同步处理回调,跟TCP的规则一样。
5.2 UDP丢包与乱序:ACK加重传机制
UDP是不可靠传输,丢包是常态。但很多业务场景(比如数据采集、实时上报)又不能接受丢包,这时候就需要自己实现一个轻量的可靠层。
我的实现思路是给每个UDP包加一个自增序列号,接收方收到包后回一个ACK包,ACK包里带上已连续收到的最大序列号。发送方发出去后启动一个超时定时器,如果在超时时间内没有收到ACK,就重传。接收方通过序列号可以检测乱序和重复包,乱序时先缓存,顺序恢复后再提交给上层。
csharp复制public class ReliableUdpPacket
{
public uint Sequence { get; set; }
public byte MessageType { get; set; }
public byte[] Payload { get; set; }
}
这里要注意的是:重传绝对不能无限循环,超过最大重传次数后必须放弃并通知上层。否则在极差的网络环境下,UDP重传机制会退化成TCP,而且还没有TCP的拥塞控制,反而可能把网络打得更死。
5.3 广播与组播:一发给所有人的场景
UDP的广播和组播在局域网设备发现、组播推送场景下很有用。
广播发送:
csharp复制socket.SendTo(data, new IPEndPoint(IPAddress.Broadcast, port));
组播接收:
csharp复制socket.SetSocketOption(SocketOptionLevel.IP, SocketOptionName.AddMembership,
new MulticastOption(IPAddress.Parse("239.0.0.1")));
socket.Bind(new IPEndPoint(IPAddress.Any, port));
广播地址(255.255.255.255)一般只在单个子网内有效,跨网段要用组播或者直接单播。我在一个设备搜索功能里就是让设备监听组播地址239.0.0.1,上位机通过发送组播广播包发现设备,再通过单播建立通信,整个过程非常丝滑。
6. 高并发性能调优与实战验证
6.1 Socket关键选项设置
Socket选项对性能的影响非常大,我列一下生产环境里常用的配置:
| 选项 | 推荐值 | 作用 |
|---|---|---|
| NoDelay | true | 禁用Nagle算法,降低小包延迟 |
| KeepAlive | true | 操作系统级别的心跳,辅助检测死连接 |
| ReuseAddress | true | 重启服务时快速复用端口,避免TIME_WAIT问题 |
| SendBufferSize | 8192 | 根据包大小调整 |
| ReceiveBufferSize | 8192 | 根据包大小调整 |
| AcceptQueue | 1000 | 排队的连接数 |
NoDelay这个选项值得单独说:Nagle算法会把多个小包攒在一起发送,减少网络包数量,但代价是延迟增加。实时性要求高的场景(比如游戏指令、控制命令)必须关掉。如果你做的是大文件传输,关不关影响不大;但如果你做的是高频小消息,不关Nagle可能导致40毫秒的额外延迟。
6.2 线程池与完成端口调优
.NET的线程池默认参数在现代机器上已经比较合理,但高并发Socket场景下还是建议手动调整一下最小线程数,避免突发流量时线程池还在慢慢创建线程:
csharp复制ThreadPool.SetMinThreads(100, 100);
ThreadPool.SetMaxThreads(500, 500);
这里有一个常见误区:最小线程数设得越大越好?不是。设太大会导致线程池线程空转,CPU空闲率反而下降。我的经验是:根据机器的逻辑核心数和业务特性来定,一般8核机器设50到100之间比较合适。
6.3 压测方法和结果参考
我压测这套自定义Socket框架时用的工具是自写的压测客户端,同时启动500个客户端连接,每个客户端创建10个连接,总共5000个并发连接,每个连接每100ms发送一条128字节的消息。测试结果:
- 服务器端CPU占用约35%(8核机器)。
- 平均响应延迟约2ms,P99延迟约8ms。
- GC第2代回收频率极低,全程没有出现明显的卡顿。
比之前用同步阻塞模型性能提升了大概5倍,连接数从5000扩展到50000都没有出现崩溃。
压测时一定要注意服务器端防火墙是否放行端口,以及Windows的端口范围限制。客户端发起大量短连接时,可能会遇到10048错误(端口耗尽),这是因为Windows默认动态端口范围只有几千个。解决办法是调整注册表下MaxUserPort的值,或者在客户端代码里复用连接,避免频繁Connect/Close。
6.4 性能监控:怎么看瓶颈在哪
排查性能问题时,我一般优先看四个指标:
- 连接数:看看是不是有人没正常关闭Socket,导致连接泄漏。
- CPU:如果CPU高但吞吐低,先怀疑是GC压力大,盯住Gen2 GC次数。
- 网络吞吐:用Performance Monitor的TCP Segments/sec看是否有大量重传,重传率高说明网络质量差。
- 线程池队列长度:如果队列积压,说明线程池处理不过来,要么加机器,要么优化业务逻辑。
.NET 5以上可以用dotnet-counters实时监控:dotnet-counters monitor System.Runtime,里面能看到GC堆大小、线程池队列长度和锁竞争次数,非常直观。
7. 常见问题与排查技巧实录
7.1 SocketException 10048:端口被占用
这个问题在新人代码里出现频率极高。场景大多是:服务端运行中直接Ctrl+C停掉,然后立刻重启,结果报“地址已被使用”。
排查思路:
- 确认上一次运行的服务进程是否真的退出了(用netstat -ano找PID)。
- 确认绑定的端口没有被子进程继承。
- 在绑定前设置ReuseAddress选项。
如果是Windows系统的临时端口耗尽,10048还会出现在客户端。我压测结束后发现有一堆TIME_WAIT状态的连接,过一会儿端口才释放。解决办法是把连接复用起来,减少并发短连接。
7.2 并发一高就内存暴涨
这个问题的元凶八成是缓冲区泄漏。接收数据时如果new了一个byte[]但解析后没有释放引用,或者缓冲区池的FreeBuffer没有被调用,内存就会缓慢增长直到OOM。
我的排查步骤:
- 每隔1分钟记录一次进程工作集,看是不是持续上升。
- 用dotnet-dump抓取内存快照,分析大对象堆里到底是什么类型的byte[]最多。
- 重点检查连接的关闭流程:关闭Socket前有没有归还SAEA、有没有清空发送队列。
一个我在代码审查中反复强调的纪律:每个Connection的释放流程必须是幂等的——不管用户重复调用Close多少次,资源只能释放一次。我一般用一个IsClosed标记位来保证。
7.3 粘包和半包问题
这种问题在TCP通信里太常见了。最大的坑是:你自己测试的时候从没触发过,一上生产环境就偶发数据错乱。原因是小包发送频率足够低的时候,TCP不会把两个包合并;流量一大,内核缓冲区里同时存在多个包,粘包就出现了。
解决不了粘包问题的根本原因是:协议设计中没有包边界。只要加了长度头或者分隔符,这个问题就能稳定解决。我强烈建议不要用分隔符方案(比如\r\n),因为业务数据里可能包含相同字节,会误判。用长度头是最可靠的。
7.4 连接数上不去但CPU不高
如果连接数到了某个值就上不去,且CPU并没有打满,大概率是系统资源瓶颈:
- 句柄数不够:Windows下每个Socket会占用一个内核句柄,默认进程句柄限制是1万个,可以通过
Process Explorer看当前句柄数。 - 端口不够:Linux下客户端连接数受临时端口范围限制,可以用
sysctl -a | grep ipv4.port_range查看。 - 线程栈溢出:如果你的代码还在用一连接一线程的模式,到了几千连接就会被线程栈空间卡死。
7.5 数据发着发着就断线了
生产环境常见的场景:上位机和设备通过Socket长连接通信,运行几天后连接突然断开。排查重点:
- 检查超时设置:路由器或防火墙通常会清理空闲连接,默认超时在2到5分钟。如果你的业务数据是低频的,必须靠心跳保活。
- 检查半开连接场景:拔网线、对端断电这些极端情况,依靠心跳才能及时感知,否则连接会一直挂着。
- 检查对端程序是否异常退出:Windows下可以通过关闭进程后观察本机Socket状态来判断是断网还是对端主动关闭(对端主动关闭时,本机Read会返回0)。
8. 源码结构总览:这份源码可以直接怎么改
最后把整个源码结构列一下,方便你拿到代码后快速定位:
code复制SocketDemo/
├── Common/
│ ├── BufferManager.cs # 内存池
│ ├── SocketAsyncEventArgsPool.cs # SAEA对象池
│ ├── PacketProtocol.cs # TCP协议封装
│ └── LoggerHelper.cs # 日志
├── Server/
│ ├── TcpServer.cs # TCP服务器端
│ ├── UdpServer.cs # UDP服务器端
│ ├── Connection.cs # 连接对象
│ └── MessageDispatcher.cs # 消息分发器
├── Client/
│ ├── TcpClientWrapper.cs # TCP客户端
│ ├── UdpClientWrapper.cs # UDP客户端
│ ├── ReconnectPolicy.cs # 重连策略
│ └── HeartbeatManager.cs # 心跳管理器
└── Tests/
├── TcpStressTest.cs # TCP压测
└── UdpReliabilityTest.cs # UDP可靠性测试
如果你接到一个新项目,拿这份源码改的话,我的建议优先级是:先改协议层(因为每个项目的报文格式不同),再改消息分发器(接入业务逻辑),最后调服务器端的参数(端口、连接数上限、缓冲区大小)。千万不要一开始就把精力耗在Socket细节上——那些已经稳定了。
我自己在使用中最大的体会是,高并发Socket绝不是调对一两个API就完事,它是一个系统工程:内存池、对象池、IO模型、协议设计、连接保活、参数调优,少了哪一块都会在某个并发量上给你颜色看。如果你做出来的服务在5000并发下才暴露问题,那至少说明前面80%的设计是对的,剩下的就是持续用线上数据迭代。这套源码我最近也在逐步加上基于Channel的消息订阅发布机制,把Socket层和业务层完全解耦,后续有成果了再写一篇分享。
