每年到了农历腊月二十几,我手机里挂着生产环境和告警的群就开始热闹起来。今年比往年更忙,因为团队手里多了一个AI应用——在大模型上做的春节互动功能,类似AI拜年文案生成、生肖运势解读这种。做过普通Web服务的人第一次把模型推理服务扛到春节流量面前,会踩到很多意料之外的坑。这篇文章就聊聊春节流量洪峰下,AI应用稳定性这件事。如果你是AI应用开发工程师、独立创业者,或者公司里负责AI应用上线的技术负责人,下面这些思路和踩坑记录,应该能帮你少走不少弯路。
先说个很多人容易忽略的事实:AI应用的流量洪峰,跟传统Web应用的压力完全不是一回事。普通接口被压垮,往往是CPU和数据库连接先撑不住;AI应用真正吃紧的是GPU显存、推理并发控制、Token吞吐,还有那笔按小时计费的算力账单。你不可能像堆普通服务那样无脑加服务器,因为贵,更因为单纯加机器可能解决不了推理框架层面的瓶颈。所以这篇文章我打算从流量预估、压测、推理优化、监控预案、成本控制、事故复盘六个维度,把春节前需要做的事完整过一遍。
1. 先给AI应用算一笔“春节流量账”
1.1 春节流量跟平时到底差在哪
很多团队做容量规划的时候,习惯拿平时的QPS乘个系数,然后照着扩机器。这一套在普通Web服务上能凑合,放到AI应用上会出问题,因为春节流量有几个非常特殊的形态。
第一是用户活跃时间彻底变了。平时是早晚高峰,除夕到初三基本是全天在线,凌晨两三点还有人在生成祝福语、玩AI合影。这意味着你没有低谷期可以喘口气,也不能指望凌晨悄悄缩容省成本。
第二是瞬时流量特别陡。活动一上线,短视频平台一个爆款视频带进来几万用户,他们几乎同时点进来。这种流量不像平稳爬坡,而是断崖式涌进来,如果扩容跟不上,第一波用户就全跑了。
第三是单请求的消耗在变大。春节场景里用户不会只发一句话就结束,很多人会连着追问、反复生成,对话轮次比平时长很多。文字生成接口的单请求耗时本来就比普通API高好几倍,再加上用户交互变深,系统承受的压力不是QPS涨了,而是“QPS涨 + 单请求成本涨”的双重放大。
第四是业务类型变得很杂。同一个AI应用里可能同时有文本对话、图像生成、语音交互,它们的资源消耗模型完全不同。文生图单请求可能要几十秒,GPU利用率极高;语音唤醒类功能对延迟极其敏感,连排队都接受不了。规划容量的时候如果只按总QPS一刀切,很容易把资源配置错。
1.2 从DAU倒推QPS,再算算要多少GPU
估算容量最靠谱的方式是压测,但在压测之前,至少得有个粗略的目标量级。我习惯用下面这个公式:
code复制峰值QPS = 日请求总次数 × 高峰时段集中系数 / 高峰窗口秒数
举个例子。假设平时DAU是20万,人均每天调用AI接口5次,日请求量就是100万。春节DAU涨到150万,人均调用次数因为活动交互变深涨到15次,日请求量就是2250万。再假设高峰集中在晚上8点到12点这4个小时,集中系数取0.7,那么高峰窗口秒数是4×3600=14400秒,算下来:
code复制峰值QPS = 2250万 × 0.7 / 14400 ≈ 1094 QPS
这个数字只是平均峰值,真正瞬间的流量尖刺可能再冲高2到3倍。所以目标容量至少要按2000到3000 QPS去准备。
拿着目标QPS倒推GPU实例数,需要知道单实例能扛多少。这里没有统一答案,取决于模型大小、输入输出长度、推理框架和显卡型号。我一般先做理论估算,再用压测修正:
code复制单实例QPS ≈ 单实例并发处理数 / 单请求平均耗时
假设一个7B参数模型,用vLLM部署在单张24GB显卡上,同时处理64路请求,单请求平均耗时1秒,那单实例大约能扛64 QPS。要撑3000 QPS的冗余目标,大概需要47个实例。如果把并发数优化到128路,实例数就能降到24个左右。这中间的差距就是优化空间,后面会细说。
1.3 不同类型AI应用的资源差异
上面是按文本生成模型算的,但AI应用远不止这一种。
纯文本对话和文本生成类,瓶颈通常在线程并发和KV Cache显存占用。用户输入的prompt越长、生成的output越长,显存消耗越大。这类服务适合用支持连续批处理的推理框架,尽量把GPU的每一份算力榨干。
文生图、图生图这类多模态任务,单请求耗时可能高达几十秒,而且请求期间GPU几乎全程满载。它的问题不是并发高,而是并发稍微一起来,显存就爆了。这种反而更适合走异步队列,请求先进来排队,后台慢慢出图,用户端用轮询或者WebSocket拿结果。
语音唤醒、实时对话这类交互,对时延的敏感度极高。用户说一句话,一两秒内必须响应,否则体验归零。它们不能排队,也不适合塞进共享的推理集群里跟其他任务抢资源,需要独立的低延迟部署。
做容量规划的时候,先搞清楚你的应用属于哪一类,再决定用同步还是异步、用共享集群还是独立资源,这一步能省下大量冤枉钱。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 性能压测:别等年三十才第一次看监控
2.1 压测工具选型
容量规划做完,下一步就是上压测。我见过很多团队图省事,直接拿curl脚本或者Postman点几下就当压测了,结果一到大促就现原形。正经做AI应用压测,工具选择也有一些讲究。
wrk是个轻量级工具,适合快速打一下入口HTTP层的极限,但它构造复杂JSON body的能力弱,模拟真实业务场景比较费劲。
k6是目前我用的最多的。它用JavaScript写脚本,能模拟用户行为、构造复杂请求体、设置阶梯式加压,还能跟Prometheus、Grafana对接,压测数据直接进监控体系。下面这个脚本就是典型的AI接口压测场景,模拟从200并发逐步爬到1500并发:
javascript复制import http from 'k6/http';
import { check, sleep } from 'k6';
export const options = {
scenarios: {
ramping_load: {
executor: 'ramping-vus',
stages: [
{ duration: '5m', target: 200 },
{ duration: '10m', target: 800 },
{ duration: '5m', target: 1500 },
],
},
},
};
export default function () {
const payload = JSON.stringify({
prompt: '帮我写一句适合春节发给长辈的祝福语',
max_tokens: 256,
});
const res = http.post('https://api.example.com/v1/chat/completions', payload, {
headers: { 'Content-Type': 'application/json' },
});
check(res, { 'status is 200': (r) => r.status === 200 });
sleep(1);
}
Locust也是不错的选择,尤其是后端团队本身就是Python技术栈的时候,写压测脚本零成本。商业压测平台的好处是压测机分布广,能模拟来自不同地域用户的真实流量,对国内多地域部署的应用更有参考价值。
2.2 AI应用压测要重点盯哪些指标
普通Web压测大家习惯盯QPS、错误率、P99延迟,AI应用光看这些远远不够。我自己的压测面板上会额外放四个指标。
首Token延迟(TTFT),也就是用户发出请求到模型吐出第一个字的时间。这个指标直接决定用户的第一印象,如果TTFT超过3秒,用户大概率直接关页面了。它跟网络链路、排队长度、模型prefill阶段的耗时都有关系。
Token生成吞吐(TPS),模型每秒能生成多少个Token。这个决定整段回复要等多久,吞吐太低的话,就算首Token很快,用户还是觉得卡。
GPU利用率和显存水位,这是判断推理服务是否逼近真实容量的关键指标。很多AI服务看起来QPS没打满,其实显存已经快爆了,这时候任何一个长请求进来都可能触发OOM。
还要记录一个容易被忽略的指标——队列深度。大部分AI推理服务内部都有请求排队机制,当并发数超过max_num_seqs上限,请求就开始排队。队列深度的增长往往是雪崩的前兆。
压测不能只拉一条曲线就完事,至少要跑三档:日常流量的2倍、预估峰值的1倍、预估峰值的1.5倍。每档跑10到15分钟,观察各项指标是否出现拐点。所有服务都找到自己的“拐点水位”,容量规划才能真正落地。
2.3 压测时间不短,这些坑一定要避开
压测AI应用比压普通服务更容易翻车,踩过几次之后我总结出几个高频坑。
第一个坑,压测客户端自己先挂了。单台压测机频繁建连、发送大JSON包,并发一高,压测机本身的CPU先被打满,测出来的数据完全失真。解决办法是分布式压测,多台压测机同时加压,或者每台压测机只压一个固定分片。
第二个坑,只压了入口网关,没压到模型层。很多AI应用的网关层做了缓存和限流,压力根本传不到后端,压测结果显示网关延时正常,但实际上模型服务早就被击穿了。正确做法是从入口到模型到数据库做全链路压测,每一层都要有监控数据。
第三个坑,压测数据太干净。真实用户不会只发“你好”,他们会发几百字的描述、会粘贴长文本、会连续追问好多轮。压测时必须在流量里混入一定比例的超长输入和长输出请求,否则测出来的容量基线是虚高的。
压测期间别忘了观察云厂商的资源配额和账单。我现在每次压测前都会看一眼GPU资源配额够不够,避免压测把配额耗光,真到上线时反而扩不了容。压测产生的费用也要提前上报,别等活动结束月账单出来再傻眼。
3. 推理服务端到端优化:从模型到在线集群
3.1 模型部署层:换掉裸推理,用对框架和参数
压测结果出来之后,如果你的容量离目标还差一截,先别急着买卡,优化推理服务本身往往能挤出一倍以上的余量。
最基础的一步是部署框架选型。直接用transformers库怼到生产环境是撑不住流的,它每次只处理一个或少数几个请求,GPU利用率惨不忍睹。生产级推理一定要用支持连续批处理(continuous batching)的框架,比如vLLM、TensorRT-LLM、SGLang。这些框架能在同一个GPU上动态调度多个请求的token级计算,GPU利用率能从百分之十几拉到百分之八十以上。
以vLLM部署一个7B模型为例:
bash复制python -m vllm.entrypoints.openai.api_server \
--model /data/models/qwen2.5-7b-instruct \
--served-model-name qwen2.5-7b \
--tensor-parallel-size 1 \
--gpu-memory-utilization 0.92 \
--max-num-seqs 256 \
--max-model-len 8192 \
--enable-prefix-caching
这几个参数每一个都有讲究。gpu-memory-utilization控制预留给模型权重和KV Cache的显存比例,调太高容易OOM,调太低浪费显存,我一般控制在0.85到0.92之间,然后靠压测微调。max-num-seqs限制同一时刻最多处理多少个请求序列,这是防OOM的关键闸门,也是排队策略的重要参数,需要根据显存大小和平均请求长度反复调。max-model-len限制最大上下文长度,如果你知道业务里最长也就两三千Token,没必要给8192,设小一点能省下大量KV Cache显存给并发用。enable-prefix-caching能缓存公共前缀的KV状态,春节这种场景下很多用户会问相似的问题,命中率不低。
还有一个有效的优化手段是模型量化。7B模型FP16权重大概14GB,量化成INT8能降到7GB左右,INT4能降到4GB以下。显存省下来之后,KV Cache能放更多并发请求,单卡吞吐直接翻倍。代价是精度轻微下降,但对于拜年文案生成、生肖解读这类对精度不敏感的业务,影响几乎感知不到。
3.2 多级缓存:用便宜的存储挡住贵的算力
大模型推理的成本比普通接口高好几个数量级,能不进模型就尽量不要进。春节场景下有很多请求是高度重复的,这给缓存策略留了巨大的空间。
第一层是结果缓存。同一个春节祝福prompt,可能成千上万用户提交了几乎一样的内容。在Redis里以prompt哈希加关键参数(角色、长度、温度)为key,把完整的生成结果缓存起来,命中就直接返回,完全不消耗GPU。这个方案成本最低、收益最大。唯一要注意的是过高的命中率会导致所有用户拿到一模一样的文案,产品上需要做一些随机化处理。
第二层是语义缓存。用户的表述不完全相同但语义接近,比如“帮我写个新年祝福”和“给朋友写一句过年吉祥话”,简单的key缓存就失效了。这时候需要引入embedding模型,把用户请求转成向量存到向量库里,请求进来时先算余弦相似度,超过阈值就直接用历史答案返回。这个方案适合FAQ场景和模板化业务,它节省的成本非常可观,但需要额外维护一套向量检索链路,响应时间也会增加几毫秒。
缓存设计里最容易翻车的是穿透和击穿。春节活动一上线,一个热点key瞬间涌入大量请求,缓存没有命中,全部打到模型上,服务直接被打挂。应对方法也不复杂:热点key在缓存未命中时要加锁,只放一个请求去模型层回源,其他请求等待结果;空结果也要缓存,避免恶意请求反复穿透。另外,给所有缓存key设置合理的TTL,活动结束后自动过期,避免脏数据留到年后。
3.3 队列削峰与异步化:让压力从“尖峰”变“平坡”
不是所有AI请求都需要同步返回结果。春节场景里至少有一半业务可以改成异步处理。
以“生成AI新春海报”为例,用户上传照片、选择模板、点击生成,这个过程本质上不需要用户在结果出来之前干等。完全可以把请求先扔进消息队列,后台Worker再慢慢调图像生成模型。用户端显示“生成中”,完成后通过轮询或者HTTP WebSocket通知用户查看。
用Celery写的异步任务大概是这种感觉:
python复制from celery import Celery
app = Celery("ai_async_tasks", broker="redis://10.0.0.5:6379/0")
@app.task(max_retries=3, default_retry_delay=5)
def generate_new_year_poster(user_id, template_id, text):
# 调用文生图模型,这个过程可能耗时20-50秒
result = diffusion_model(template_id, text)
upload_result(user_id, result)
return result
消息队列的本质是把瞬时流量平摊到一个更长的时间窗口里。原来2000 QPS的峰值压力,削峰之后就变成每秒500个任务的平稳负载。用户等10秒和等30秒的体感差距,远没有服务挂掉来得明显。
但有一点必须说清楚:异步化并不适合所有场景。实时对话、语音交互这类业务,用户就是等着回复再说话的,你让他轮询等结果,产品就没法用了。这类请求一定要走同步通道,用弹性伸缩保证实时能力,而不是靠队列缓冲。
3.4 弹性伸缩:让资源跟着流量走,而不是追着流量跑
AI应用的Pod扩容是个老大难问题,核心原因是启动太慢。普通Web服务的Docker镜像几百MB,拉起一个Pod十几秒;AI应用的镜像动辄几个GB,模型权重还要单独加载,从扩容指令下发到真正能接流量,可能要几分钟。春节流量可不会等你慢慢启动。
针对这个问题,我有几个实操经验。
第一,minReplicas不要从0开始。平时流量低的时候至少保留1到2个推理实例,避免流量突增时从零冷启动。春节这半个月,建议直接把最小副本数调到预估峰值容量的50%左右,宁可多烧一点钱,也要保证第一波流量进来时有实例能接住。
第二,模型文件要放在可靠的共享存储或者本地SSD上,不要每次Pod启动时去公网拉取。镜像里的模型层要单独分层构建,这样在节点上缓存命中率更高。有条件的话,提前把目标节点池的镜像预热一遍。
第三,HPA的扩容策略要做专门调优。默认的HPA在指标连续超过阈值一段时间后才会扩容,扩的幅度也比较保守,应对普通波动可以,应对流量洪峰太慢了。我一般会配一个激进的扩容策略:
yaml复制apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: llm-inference-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: llm-inference
minReplicas: 4
maxReplicas: 40
behavior:
scaleUp:
stabilizationWindowSeconds: 0
policies:
- type: Pods
value: 8
periodSeconds: 30
metrics:
- type: Pods
pods:
metric:
name: gpu_utilization_percent
target:
type: AverageValue
averageValue: "70"
stabilizationWindowSeconds设成0,意思是指标一超过阈值立即扩容,不做等待。一次最多允许在30秒内增加8个Pod,保证扩容速度。缩容侧反而要加长稳定窗口,防止流量小波动就把副本缩没了,过几分钟又得重新扩容。
这里有个容易被忽视的细节:HPA扩出来的新Pod,加载完模型才能真正接流量,所以ReadinessProbe的initialDelaySeconds不能太短,否则探针还没执行完就把Pod标记为就绪,流量进去全是超时。我通常把initialDelaySeconds设置为模型加载时间的1.2倍左右,精确值需要用启动日志测一下。
4. 监控告警与故障预案:流量洪峰里不出大事的底线
4.1 必须盯住的几个核心指标
春节之前,我强烈建议把监控面板清理一遍,去掉那些意义不大的指标,只保留真正能反映AI应用健康度的数据。我自己用的监控看板分成四层,每层指标都有明确的告警阈值。
| 监控层次 | 核心指标 | 合理水位 | 告警阈值建议 |
|---|---|---|---|
| 业务层 | QPS | 接近容量基线的80%以内 | 连续5分钟超过容量基线的85% |
| 业务层 | 接口成功率 | 99.9%以上 | 连续1分钟低于99.5% |
| 业务层 | P99响应时间 | 低于业务容忍线 | 连续3个采集点超阈值 |
| 推理层 | GPU利用率 | 60%到85%之间 | 超过95%持续5分钟 |
| 推理层 | 显存使用率 | 低于85% | 连续3分钟超过90% |
| 推理层 | 首Token延迟TTFT | 低于500ms | 超过1秒持续1分钟 |
| 推理层 | 队列深度 | 接近0 | 持续超过最大并发的50% |
| 系统层 | 数据库连接池使用率 | 低于60% | 超过80%持续5分钟 |
| 基础设施 | GPU实例配额余量 | 有至少30%的冗余配额 | 配额余量不足20% |
这里要特别说一下显存使用率。普通服务的资源监控看CPU和内存就够了,AI服务最大的隐患在显存。OOM的表现往往不是进程报错,而是推理服务卡死、请求无限超时,排查起来极其困难。显存告警一定要提前配,阈值设在85%左右就要通知值班人,别等到90%以上才开始处理,长请求随时会让显存瞬间飙升。
还有个容易被忽略的指标是Token令牌桶余量。很多团队依赖第三方大模型API,供应商平台会限制每分钟或每小时的Token消耗量。春节流量下这个配额消耗极快,一旦触顶,所有请求都会报429错误,但这种错误在服务端看起来可能只是成功率微微下降,比较隐蔽。
4.2 限流、降级、熔断:AI应用怎么用
节前的应急预案,说起来就四个字:限流、降级、熔断。但放到AI应用上,这几个词的具体玩法不太一样。
限流不是只拦用户请求。AI服务尤其要在网关层做并发信号量控制,单个实例的并发数超过max_num_seqs之后,请求就会在推理框架内部排队。队列太长会拖垮所有请求的延迟,所以网关层要在并发超过安全水位的时候直接拒绝新请求,返回快速失败的提示,而不是让用户无限等待。
降级是最需要提前准备的。AI应用最常见的降级路径是模型降级:把大模型降级成小模型,再把小模型降级成规则模板。比如AI拜年文案功能,当大模型集群负载过高时,先切到7B小模型;小模型也扛不住的时候,就直接从预置文案库里随机取一条模板返回。用户感知到的只是生成结果从“很惊艳”变成“能用”,但不会看到请求失败。
熔断主要针对外部依赖。如果你的AI应用调用了第三方的大模型API,一定要设置超时和熔断。我习惯把第三方调用的超时时间控制在3到5秒,重试次数不超过2次,并且加上随机抖动,防止重试风暴。错误率连续超过阈值就触发熔断,直接走本地缓存或降级方案,宁可给用户一个普通结果,也不能让第三方故障拖垮自己的服务。
数据库连接池也要做保护。AI应用的接口往往在同一个请求里要查好几次数据库,流量一高,数据库连接池被占满,然后所有接口一起超时。连接池设置最大连接数和等待超时时间,超时就快速失败,优先级低的非核心功能可以直接降级关闭。
5. 成本博弈:流量高峰期的钱怎么花在刀刃上
5.1 资源采购:保底实例加弹性扩容
春节期间的AI算力账单,比平时贵好几倍,这很正常,但完全可以避免无意义的浪费。
我的策略是“保底加弹性”:包年包月购买平时业务需要的60%到70%算力,这部分是刚性需求,买包年包月折扣力度大。剩下30%到40%的峰值容量,用按量付费弹性实例来扛,用多少付多少。这样平时不浪费,峰值时又能快速补充。
弹性池要提前在云厂商控制台申请好配额。很多团队到年关发现GPU资源紧张,申请新实例要等审批,就是因为配额没有提前准备。春节前两周,把目标区域的弹性实例配额申请到预估峰值的1.5倍,宁可申请了不用,也不能要用了却没有。
5.2 容易被忽略的成本坑
第一个坑是压测费用。压测期间GPU实例是满负荷运行的,一台高配GPU实例一小时就是几十上百块。压测三档跑下来,花掉几千块很正常。这笔钱要提前算进项目预算里,别等活动结束财务来问“这几千块GPU费用是什么情况”。
第二个坑是量化带来的省钱效果。同样一批GPU实例,不做量化时只能扛1000 QPS,做了INT8量化可能扛到1800 QPS,单位请求成本直接降一半。量化是一次性投入,收益是持续性的,春节这种高负载场景特别划算。
第三个坑是忘记缩容。活动结束后的第二天,弹性实例还在按量计费,很多人根本想不起来去关。一定要设置定时缩容任务,大年初五或者初六自动把弹性实例缩到日常水位,同时设置预算告警,账单超过预估的80%就立刻通知技术负责人。
还有个细节,离线任务可以跟在线任务错峰调度。模型微调、批量数据清洗、离线评测这些任务,不要在白天高峰期跑,统一放到凌晨2点到6点,利用在线服务的低谷期填空,把GPU资源用到极致。
6. 真实事故复盘:三个让人过不好年的经典案例
6.1 案例一:显存OOM引发的连锁雪崩
去年除夕晚上,我们一个文本生成服务的实例开始反复重启。现象是服务每隔十几分钟就掉一次,掉的时候一堆请求超时,K8s自动拉起新Pod,然后又过十几分钟再OOM一次。排查了很久才定位到根因:max_num_seqs调得过高,平时够用,但除夕当晚用户对话轮次比平时长得多,平均每个请求占用的KV Cache显存暴增,GPU显存被瞬间打满,触发OOM。
这个事故的教训有两点。一是不要只看单请求平均长度来配置并发上限,要给长尾请求留足余量。二是显存告警必须配到值班群里,OOM发生前通常有几分钟的显存爬坡期,抓住这个窗口就能提前介入。
解决方案后来也简单:把max_num_seqs下调,开启更激进的空闲释放策略,长对话超出一定轮次后自动截断。改动不大,但服务立刻稳定了。
6.2 案例二:模型冷启动把第一波流量全丢了
另一个项目在活动正式上线时出了问题。运营在短视频平台卡点发布活动预告,流量比预期早了10分钟冲进来。HPA检测到QPS飙升后开始扩容,但新Pod要下载镜像、加载模型权重,整个过程要三四分钟。等新实例就绪,第一波用户早就带着错误页面离开了,活动口碑直接受到影响。
这件事之后我们立了一条规矩:大流量活动上线前,提前15到30分钟把弹性集群扩容到预估峰值的60%以上,等流量真正来了再靠HPA补齐剩下的部分。同时还加了两个优化,一是模型文件单独放共享盘,Pod启动时直接从本地挂载,磁盘读取比从镜像里解压快得多;二是节点池提前预热镜像,保证新节点调度过来时镜像已经在本地了。
6.3 案例三:上游模型API被限流,用户端直接“卡死”
团队里有段时间接了一个第三方大模型API做兜底。春节期间供应商自己也扛不住,限流阈值一下子收紧,我们的请求开始大量报429错误。而我们的代码里超时时间设的10秒,重试次数设的3次,结果就是用户请求在网关层被拖住十几秒,网关的并发连接被打满,数据库连接池也跟着耗尽了。
这是一个典型的“上游故障放大”事故。后来我们把第三方调用改成了熔断保护,超过5秒直接失败,错误率连续超过10%就断开,不再重试,直接降级到本地小模型。调用链路缩短之后,用户最多只是觉得回复质量差一点,但不会再出现“转圈圈转半天”的体验。
6.4 复盘总结与故障自检清单
把这三个事故放一起看,其实背后是同一个问题:上线前只准备了“正常场景”的方案,却没有演练“故障场景”的流程。
我现在养成了一个习惯,春节前两周做一次全链路演练,并且专门挑最恶劣的情况去模拟:流量突增到预估的1.5倍、某个可用区断网、上游供应商突然限流、数据库连接池被打满、一台GPU实例永久宕机。每次演练都会发现新问题,这些问题清单比任何文档都值钱。
如果你时间紧张,可以准备一份故障自检清单:
- 显存告警是否配置?阈值是否合理?值班群是否能收到通知?
- GPU实例配额是否充足?弹性扩容是否需要审批?
- 模型文件是否做了镜像缓存和本地预热?
- 第三方API的超时和熔断参数是否已经调好?
- 降级路径是否验证过?切到小模型、切到模板是否真的能工作?
- 数据库连接池是否设置了上限和等待超时?
- 所有通道的日志和链路追踪是否能支撑快速排障?
- 预算告警是否配置?活动结束后自动缩容任务是否设置?
这八条全都过一遍,春节这波流量就算心里有底了。
我个人的最终体会是,春节运维就跟年夜饭备菜一样,真正让一桌菜顺利端上桌的,不是当天临场发挥的厨艺,而是前一天把菜洗好切好、把该腌的腌上、把火候摸清楚。AI应用扛流量洪峰,功夫全在节前这几周的准备和演练里。希望这些经验能帮你的AI应用平安扛过这一波流量洪峰,也祝你别在年三十晚上被告警电话吵醒。
