切换测试 · 实验材料

冻结任务与测试设计

以下材料在正式模型运行前冻结；答案键单独保存，从未发送给模型。

封闭规则边界、判断问题与九行输出契约。

模型唯一可以使用的规则来源。

三个普通、两个诚实拒答、一个安全例外困难案例。

每个案例的正确结论与完整行动要求。

九个维度、原始通过门槛和致命错误。

精确模型 ID、开放/闭源属性与带日期价格。

Promptfoo 负责组织“冻结提示词 × 六个案例 × 三个模型提供方”的测试矩阵；随后再对保存的模型输出进行评分与成本复核。

课堂介绍时可用来说明模型提供方、测试案例、矩阵比较与评分工作流。

实际使用的模型、提示词、六个案例、输出限制与执行参数。

这些 CSV 是演示中得分矩阵和成本表背后的机器可读证据。

逐案例维度得分、通过标记、说明和人工时间假设。

总分、平均分、通过数、致命错误与无依据推断。

每个回答的输入/输出 token 和计算费用。

六案例 API 成本与单独披露的人工成本情景。

18 个回答的九行格式与 token 上限检查。

独立重算、Case 02 修正和证据边界。

每个 Markdown 文件都保存完整输入、九行原始回答、模型 ID、日期、设置和 token 用量。

最终比较是每个模型一次正式运行、每次六个自编案例。得分、token 与 API 成本可以复算；审核秒数和 90 秒修正时间是估算。本实验支持案例集内比较，但不能证明模型在新政策或重复运行中的统计可靠性。