SSD 最优解陷阱
SSD(Simple Self-Distillation)是 Apple 提出的一种自蒸馏方法——从 frozen 模型里多 sample,在自己的原始输出上做 SFT,让模型自我改进。本文讨论的是 SSD 的一个变种场景:inference-time 的 multi-sample selection——多 sample 之后怎么选那个“最优”。
SSD(Simple Self-Distillation)是 Apple 提出的一种自蒸馏方法——从 frozen 模型里多 sample,在自己的原始输出上做 SFT,让模型自我改进。本文讨论的是 SSD 的一个变种场景:inference-time 的 multi-sample selection——多 sample 之后怎么选那个“最优”。
SSD (Simple Self-Distillation) is Apple’s self-distillation method—sample from a frozen model, fine-tune on the raw outputs via standard SFT, and let the model improve itself. This post discusses a variant: inference-time multi-sample selection—how to pick the “best” one after sampling many.
上一篇提出了维度黑客——用合法但非常规的输入,激活 LLM 参数空间中沉默的维度。但那些例子都是人在操作:人构造中英混杂的 prompt,人设计跨域类比,人施加反直觉约束。
如果硅基要自主进化,这个动作必须由 LLM 自己完成。问题来了——
怎么让一个有认知的系统,对自己做认知之外的事?