开源小 Jev 调研手册

一句话推荐路径

若只跑一个 0.8B 中英 GPU 实验：以 Qwen/Qwen3.5-0.8B + LoRA 起步，数据优先用 ZY-Lee4/QJev3.5-mix（已滤 ANLI），读出用字母 logprob + 选项顺序对调平均；同时保留 LLM-as-Jev 编号 prefill 免训练对照；不要把公开 JevBench 231 当训练/选 checkpoint 信号。

模型选择

以 Qwen3.5-0.8B + LoRA 作为中英实验起点，结合模型卡比较小模型与免训练对照的机制和证据。阅读模型对照。

训练与评测数据

优先使用已滤 ANLI 的 QJev3.5-mix；公开 JevBench 仅用于诊断，域外泛化另用 held-out 源。阅读数据对照，并查看样本结构与样例。

读出与校准

字母 logprob 配合选项顺序对调平均，并保留 LLM-as-Jev 编号 prefill 免训练对照，明确区分读出方式与训练目标。阅读算法说明。

GPU 实验清单

按清单准备数据、LoRA 训练、对照与评测，记录实验配置和数据边界，供后续实际 GPU 实验执行。阅读 GPU playbook。

诚实边界

• 本轮仅为调研手册，未进行现场训练。
• 本手册不是 TypeSafe 官方资料。
• 数字仅来自公开模型卡与论文。
• 跨 benchmark 分数不可直接比较。

产物文件

• README.md 手册说明
• report.md 主报告
• models.md 模型对照
• datasets.md 训练与评测数据
• algorithms.md 读出、损失与校准
• sample-schema.md 样本结构与样例
• gpu-playbook.md GPU 实验清单
• sources.json 引用来源
• provenance.md 来源与边界
• run.json run 记录