340 字
1 分钟
“模型降智”先做回归测试：固定题目、版本和路由再比较
“模型降智”先做回归测试：固定题目、版本和路由再比较
我不会把一次“手感变差”直接归因于模型本身。套餐、路由、缓存、提示词和负载都会影响结果，只有固定条件做回归测试，才能逐步排除变量。
可以维护一份小型回归集：
- 选 20 到 50 个真实任务，覆盖代码、中文理解、数学和长上下文；
- 固定系统提示、参数、输入文件和工具权限；
- 记录模型标识、客户端版本、API 路由、时间和首 token / 总耗时；
- 多次运行并保留原始输出，避免只挑符合预期的样例；
- 由人工按事实正确性、遵循要求和回归缺陷打分。
服务商没有公开模型路由时，就把“具体底模已更换”标为未知，不用论坛猜测替代证据。出现明显差异后先查是否改了默认模型、代理、上下文长度或工具配置，再决定要不要换服务。
资料来源：降智检测讨论（原帖中的模型来源和账号池猜测未得到独立验证）
分享
如果这篇文章对你有帮助，欢迎分享给更多人！
“模型降智”先做回归测试：固定题目、版本和路由再比较
https://blog.zpooi.com/posts/model-quality-regression-testing/ 部分信息可能已经过时
相关文章 智能推荐
1
一个提示词能识别模型吗？从 Gemini 4 传闻讨论看验证边界
随笔 用重复测试、已知模型对照和可复现评分区分型号传闻与实证结果。
2
模型会受苦吗？把 AI 福利争论拆成两个问题
随笔 我把模型主观体验与实验内容对人类受众的影响分开讨论，避免把不同问题混为一谈。
3
翻译模型不能只看排行榜：用自己的文本做小型评测
学习记录 用自己的文本样本评估机器翻译的增译、漏译、术语一致性和语气保留。
4
单卡跑 27B 模型，权重能装下只是第一步
技术观察 单卡运行 27B 模型时，量化、KV Cache、上下文和推理框架都会影响速度与质量。
5
12GB 显卡跑大参数模型：Strata 测试里值得看的指标
技术观察 在 RTX 5070 上运行量化 MoE 模型时，分别衡量 decode、prefill、内存和输出质量。