把一个模型接入生产系统,工作量往往不在推理接口本身,而在输入规范、资源、失败处理、评估和上线协作。
需求阶段
明确业务目标、输入输出、时延预算、允许失败率和降级结果。没有验收指标,就无法判断模型是否值得上线。
准备阶段
冻结模型与依赖版本,确认硬件、镜像、样本和数据权限,建立离线基线。
开发阶段
实现结构化协议、超时、重试、资源上限和可观测字段。模型异常与系统异常使用不同错误类型。
测试阶段
覆盖正确性、性能、压力、异常输入和降级;使用真实分布的脱敏样本验证,而不只跑精选案例。
上线阶段
先旁路运行,再小流量生效;观察业务指标、资源和质量分布,准备一键关闭策略。
每个阶段都应有清晰产物与负责人。流程不是为了增加审批,而是让不确定的模型能力进入可控的工程边界。