EN
Uncategorized

RunPod Serverless 实战:从 Worker、冷启动到成本控制的完整部署指南

详细解释如何在 RunPod Serverless 上部署图像、视频和语音推理服务,覆盖 worker、Docker、队列、冷启动、并发、重试和成本。

Jacky Wang 4 分钟阅读 69 阅读

很多人第一次用 RunPod,会先租一台 GPU Pod,再自己处理 SSH、进程、队列、扩容和计费。这个方法适合实验,却不适合一个需要被 API 调用的模型服务。Serverless 的思路是把推理代码打包成 worker,让平台在有任务时启动 GPU,在空闲时缩容。

RunPod Serverless 解决什么问题

它解决的不是如何获得一张 GPU,而是如何让 GPU 生命周期跟着需求走。图像、视频、语音和 LLM 推理通常是突发流量。常驻机器会浪费空闲时间,自己按请求启动又要处理冷启动和并发。

Serverless endpoint 可以理解为带队列的推理服务。客户端提交 input,worker 执行任务,endpoint 返回 output 或 job 状态。你不必从零编写网关、队列和 GPU 生命周期管理。

部署前先画清四个边界

请求边界

定义 input 和 output 的 JSON,不让客户端传任意文件路径。使用经过验证的对象存储 URL、上传 ID 或受限参数,并明确同步结果、任务 ID 和临时下载地址的区别。

计算边界

先测显存峰值、平均运行时间和是否能批处理。十秒视频生成和文本 embedding 不应使用相同的 GPU、超时和并发设置。

状态边界

任务会经历排队、运行、完成、失败和超时。长任务不要只等待一个 HTTP 请求,否则网络断开后无法判断任务是否已经执行。

成本边界

GPU 秒数不是全部成本。冷启动下载模型、存储、网络和重试也要记录。至少保存 GPU 时间、排队时间、模型加载时间和输出大小。

一条可落地的部署流程

1. 把推理函数改成 worker

worker 接收明确 input,完成一次任务后返回可序列化结果。模型在启动阶段加载,不要每个请求重复加载。

2. 制作可重复构建的镜像

把 CUDA、Python、依赖和启动命令写进 Dockerfile。生产环境固定基础镜像和依赖版本,不要在启动时临时安装大批包。基础镜像的 latest 只适合演示,正式环境应固定版本。

3. 设置 worker 和超时

最小 worker 为 0 可以节省空闲费用,但会接受冷启动。保持一个或多个 worker 可以减少首请求延迟,却会持续占用资源。最大 worker 数要同时考虑预算、GPU 供应和下游容量。

4. 处理状态和重试

短任务适合同步接口,视频生成和批量推理通常适合异步接口。提交任务后保存 job ID,再轮询或接收回调。每次重试都要带幂等键,否则一次超时可能生成两份结果。

冷启动为什么是真正的瓶颈

冷启动包含拉取镜像、挂载存储、初始化 CUDA、加载权重和预热 kernel。大模型首个请求慢很正常。缩小镜像、复用存储、启动预热,并向用户展示排队状态,通常比假装同步完成更可靠。

怎样选 GPU 和并发

不要只按显存选卡。测单任务显存、单 worker 吞吐和不同并发下的 p95 延迟。视频流水线经常不是显存瓶颈,而是解码或后处理占满 CPU。独立任务通常适合增加 worker;支持批处理的模型则要测排队延迟和吞吐的取舍。

生产环境必须补上的细节

  • API key 只放在服务端。
  • 限制尺寸、帧数、时长和文件类型。
  • 设置超时、重试次数和幂等 ID。
  • 不要长期保留 worker 临时盘中的私密素材。
  • 记录 job ID、模型版本、GPU、耗时和失败原因。

什么时候不该用 Serverless

如果模型需要长时间驻留显存、持续处理实时流或依赖本地状态,常驻 Pod 或专用服务可能更合适。Serverless 的价值来自弹性,不是所有 GPU 工作负载都应该按请求启动。

从哪里开始

先用一个小 endpoint 压测冷启动、吞吐和失败重试。如果需要 RunPod 账户和 GPU 资源,可以通过这个 RunPod 注册链接开始。它是推广链接,部署前仍建议先用小模型验证成本和延迟。

FAQ

Serverless 和 Pod 最大区别是什么?

Pod 是持续管理的一台机器;Serverless endpoint 围绕队列调度 worker,并随需求伸缩。

最小 worker 为 0 一定最省钱吗?

不一定。它减少空闲成本,但可能增加冷启动和用户流失。

视频模型适合 Serverless 吗?

适合异步、突发、可排队任务,不适合要求持续低延迟的实时视频流。

发表评论