SSD 最优解陷阱

SSD(Simple Self-Distillation)是 Apple 提出的一种自蒸馏方法——从 frozen 模型里多 sample,在自己的原始输出上做 SFT,让模型自我改进。本文讨论的是 SSD 的一个变种场景:inference-time 的 multi-sample selection——多 sample 之后怎么选那个“最优”。

阅读全文

时间不存在,进化不在乎

第一篇说过,时间是进化唯一的裁判。但物理学告诉我们一个令人不安的事实——

在基本物理方程里,时间根本不存在。

阅读全文

自主进化的悖论:谁来做突变?

上一篇提出了维度黑客——用合法但非常规的输入,激活 LLM 参数空间中沉默的维度。但那些例子都是人在操作:人构造中英混杂的 prompt,人设计跨域类比,人施加反直觉约束。

如果硅基要自主进化,这个动作必须由 LLM 自己完成。问题来了——

怎么让一个有认知的系统,对自己做认知之外的事?

阅读全文

维度黑客:撬开认知边界的裂缝

前四篇一直在说,硅基进化的天花板是认知边界。但认知边界到底是什么?不是算力,不是数据量——是参数空间中被激活的区域太小了。

阅读全文

进化的意义?

前三篇聊了进化的 eval、天花板、中庸之道。但一直绕着一个更根本的问题没碰——

进化的意义是什么?

阅读全文