算法实验不仅是选择 A 或 B。策略要穿过任务创建、媒体处理和结果发布,效果数据再沿另一条链路返回。任何一个环节丢失实验身份,最终指标都会失真。
实验上下文不可变
任务创建时冻结实验标识、策略版本和关键参数摘要,并随任务状态持久化。下游只读取,不根据当前配置重新计算归组。
执行日志结构化
需要回收的是可聚合字段:输入版本、实际执行策略、输出状态、耗时和质量指标。自由文本日志适合排障,不适合作为实验数据源。
区分投放与生效
命中策略不代表执行成功。应分别统计入组、任务创建、策略实际执行、结果可用和用户侧生效,才能看出漏斗在哪一层损失。
数据校验
回收链路需要去重、迟到容忍和总量对账。仪表盘显示数字之前,先验证各阶段数量关系是否合理。
实验平台的可信度来自端到端身份一致,而不是配置页面上的一次命中。