# 训练算法与读出方式对比

访问日期：2026-10-30。机制差异，不是口号列表。

## 1. Pointer head / option-scoring head

### Kev（pointer head）

- 底座 **prefill-only**；共享 `state` KV，每题单独续一行。
- Head：两路投影，用**每个选项闭包 token** 的表示对**问题末 token** 打分 → softmax。
- 选项数可达 **255**（卡）；不依赖字母表。
- 校准：单温度 **T=2.35**（拟合于 decision-v7 development）。
- 损失：选项上交叉熵；训练时 shuffle 选项、插入 none-of-the-above 配对等。
- 代价：换底座要重训 head；实现绑定 kev 栈。

### RSI-Jev（`option_xattn`）

- Query = 决策 cue 隐状态；Key/Value = **选项 span 均值池化**；交叉注意 → 每选项 logit。
- Soft CE 对教师**完整分布**；每例 shuffle。
- 塔学习率 ~5e-6 cosine，头 1e-4 constant；**scorer 必须在 autocast 外 fp32**（bf16 下 logit 爆炸到数千，卡 §10）。
- Frozen tower + 训头 **低于 majority baseline**；必须微调塔。

### Intern-Decision（掩码符号）

- 渲染完整 assistant JSON skeleton，字段处放占位符；在占位符**前一位置**读 logits。
- Softmax 仅在该字段允许的符号集合（A–Z,a–z,0–9 → 最多约 62 选项）。
- 一次前向多字段；支持图像。
- 校准：温度约 **2.75**（NLL 拟合，非采样温度）。

## 2. Prefill + option logprob / letter softmax

### QJev（字母）

```
system: You are a judgment engine. … Answer with EXACTLY ONE letter …
user: [QUESTION] … [OPTIONS] A. … B. … [STATE] …
```

- 下一 token = 选项字母；对声明字母的 logprob 重归一化。
- **两遍顺序交换平均**（作者称 +2–4 Acc @0.8B）。
- 新渲染顺序 `[STATE][QUESTION][OPTIONS]` 以提升 KV 前缀命中（sysone2）。
- 上限 **26**；Banking77 全标签空间实测近随机（卡：25-way 3.9% ≈ chance 4%）。

### LLM-as-Jev 文本 / 打分模式（编号）

```
State: …
Options:
[1] …
Select one option. Answer only with its bracketed numeric identifier.
```

- Prefill `Best answer: [`；后缀 `k]` logprob 求和再 softmax（式 1）。
- **Prefix-free** → K 任意大；推理不做 temperature / permutation averaging（论文）。
- 文本模式：greedy 解析开头 `[k]`；4B 与打分模式 Acc 同为 81.4%（公开 231），但无概率 → 无 ECE/Brier。

### SemIf / 朴素字母 logits

- 冻模型读字母 logits；工程最轻；K≤26；联合上下文弱于编号 trie。

## 3. Tree-factorized listwise loss + KL anchor（LLM-as-Jev）

- \(q_\theta(k|x)=\prod_t p(c_{k,t}|…)/m_\theta(\text{legal})\) → \(\mathcal{L}_{tree}=-\log q(y)\)
- 只需金标准路径 → K=151 也可算。
- KL 锚：\(\mathcal{L}_{mass}+\mathcal{L}_{out}+\mathcal{L}_{pos}\)，默认 \(\lambda=1\)
- 无锚：文本模式跑飞（4B 69/231 续写；0.6B 176 顶满 32 token）。
- 强底座：**LoRA + λ=1** 优于全参（4B JevBench 84.0 vs 80.1）。
- 健康检查：根节点合法 log-mass 掉 >0.5 nats 停训。

## 4. 朴素 SFT 到单字母（Tev1 / GhostScientist / easy-jev 风格）

- Chat：system 固定 + user JSON(state,question,options) → assistant `"C"`。
- TRL train-on-completion-only；temperature 0，max_tokens 8。
- **优点**：任意 chat 服务可部署；**缺点**：默认不输出校准分布（除非另读 logprobs）；thinking 模板必须关（GhostScientist：未关 thinking 时 Acc 可到 0）。
- 与「真正 System One」差在：通常一次一题、依赖生成而非专用打分头。

## 5. 校准一览

| 系统 | 校准方式 |
|------|----------|
| Kev | 头内温度 T（0.8B=2.35） |
| Intern-Decision | softmax(log p / T)，T≈2.75 |
| QJev | 主要靠微调改善 ECE；产品集 ECE ~0.03–0.05（卡）；公式 \(c=(p_{max}-1/K)/(1-1/K)\) |
| RSI-Jev | soft label + 报告 Brier；API confidence 曾修成 peak 统计量 |
| LLM-as-Jev | 论文主结果**不做**后处理温度；看原始 ECE |
| 字母 SFT | 通常无专门校准；需自测 ECE |

## 6. 机制选择矩阵

| 需求 | 更合适 |
|------|--------|
| K>26 / Banking77 全类 | LLM-as-Jev 编号 或 pointer/xattn 头 |
| 中英产品路由、llama.cpp | QJev 字母 + 对调平均 |
| typesafe-sdk 直连本地 | Kev / 兼容 systemone 的 serve |
| 最小代码验证数据 | 字母 SFT |
| 保留聊天能力、防格式崩 | LLM-as-Jev KL 锚 或 极短 epoch + 行为检查 |