鄂奎阿最近帮一个做AIGC应用的朋友把推理服务从常驻GPU实例迁到了无服务器推理，用的就是DigitalOcean Gradient。折腾了差不多一个周末，跑了几个模型，把该踩的坑基本踩了一遍。今天这篇就把整个流程复盘一下，从环境准备到真实请求，再到参数调优和问题排查，尽量一次说透。
先说无服务器推理这个概念。它和你自己租一台GPU机器常驻服务的区别，在于你不需要预留一个永远在跑的实例。没有请求进来的时候，机器自动缩到零，不产生GPU费用；有请求进来时，平台在秒级时间内把对应规格的GPU实例拉起来，跑你的推理服务，返回结果，然后根据空闲时间再缩回去。计价按实际推理时长和所选实例规格来算，对波动明显、又不想花精力维护底层的团队来说，这个模式比常驻K8s集群或者裸金属GPU省心得多。
我这次用的是DigitalOcean的Gradient平台，它本质上是Paperspace被DigitalOcean收购之后整合出来的产品线。支持按需启动GPU实例、跑训练任务，也支持无服务器推理（Serverless Inference）。下面进入正题。
1. 先把无服务器推理这件事想明白
1.1 从一次痛苦的自建经历说起
以前我在另一家云厂商上自己搭过推理服务：先开一台带GPU的云主机，装驱动、装CUDA、配Python环境，然后把模型文件推上去，再用FastAPI包一层HTTP接口，最后用systemd保活。听起来不复杂，实际操作一个月之后各种问题就出来了。
最明显的是成本。为了应对突发流量，实例规格不能太低，我常年留着一张A10G空闲待命，一个月GPU账单固定几千块，但真实业务只有每天两个高峰时段有流量，大量算力是闲置的。其次是运维，镜像更新要停机，CUDA版本升级要重新部署，跑着跑着显存泄漏还得半夜起来重启容器。
同样的业务如果跑在无服务器推理上，思路会完全不同：GPU实例不是你的资产，而是按请求拉起的一个“计算胶囊”。请求结束，整个环境销毁，下次再来一个请求，又从镜像重新创建。既然实例是临时的，你的推理服务就必须做到两件事——启动要快、状态要无感。
1.2 无服务器推理与传统常驻服务的对比
我把两种模式的关键差异放在一起做了个对比：
| 维度 | 常驻GPU服务 | 无服务器推理 |
|---|---|---|
| 成本结构 | 按实例时长付费，闲置也扣钱 | 按推理执行时长付费，缩到零不扣钱 |
| 冷启动 | 无，服务常驻 | 有，首次请求可能等待数秒 |
| 弹性扩展 | 需手动或自建扩缩容 | 平台自动并行拉起多个实例 |
| 运维负担 | 需自己处理驱动、依赖、保活 | 只需维护镜像，运行时由平台托管 |
| 适用场景 | 高并发、低延迟、常驻业务 | 波动流量、批量任务、开发联调 |
| 状态管理 | 可依赖本地缓存、共享卷 | 实例会被销毁，必须用外部存储 |
无服务器推理不是万金油。如果你的业务要求P99延迟在100毫秒以内，而且流量平稳得像心电图，那常驻实例仍然是对的。但如果你的流量是“平时很闲、偶尔被推荐系统带飞”，或者你要频繁跑一批离线推理任务，无服务器模式能把成本打下来一个量级。
1.3 Gradient平台到底适合谁
Gradient的定位是给AI团队提供一个更偏“应用层”的部署平台。你不用管Kubernetes，不用管Ingress，也不用管GPU驱动，只管两件事：把一个能提供HTTP服务的镜像推到仓库里，然后在网页控制台上点几下配置，一个带公网地址的推理API就有了。
它适合几类人：一是想快速把Hugging Face模型做成API给前端联调的产品原型；二是需要跑定时批量推理但不想养GPU实例的团队；三是刚起步的独立开发者，希望按量付费而不是一次性掏大几千开卡。
当然，它也有自己的边界。如果你的模型要挂载庞大的向量数据库或者对象存储，需要对底层网络做精细控制，这类需求更适合用传统的云主机加自建K8s来解决。Gradient的输出是“开箱即用的推理API”，不是“高度可定制的GPU集群”。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 在Gradient上跑通无服务器推理全过程
2.1 准备阶段：注册账号与访问令牌
去DigitalOcean的官网找到Gradient入口，注册账号。注册之后，先别急着在网页上点来点去，建议直接打开Gradient的开发者文档，找到“API Keys / Tokens”页面，生成一个Personal Access Token。
这个Token非常关键。Gradient平台的很多操作都支持通过CLI或HTTP API完成，包括创建项目、部署Worker、创建Endpoint，脚本化的方式比网页点按更容易复现，也方便后续做自动化发布。生成Token后，在本地终端里设置环境变量：
bash复制export GRADIENT_API_TOKEN="your_token_here"
如果你打算直接用命令行工具，可以顺手安装Gradient CLI，官方文档里推荐的方式是下载二进制包或者用pip安装Python SDK。我个人习惯用SDK，后面无论是写脚本批量创建Endpoint还是集成到CI流水线，都比较顺手。
2.2 核心概念：先分清Project、Worker和Endpoint
第一次用Gradient的时候，我一度被几个名词搞混了。这里先做一个名词解释，后面所有操作都围绕这三个对象展开：
- Project：一个项目空间，用来组织机器学习资源。账号下可以建多个Project，