三种“特征”与致命的非唯一性

Yao和Hagar提出了对“ANN发现特征”叙事的可能是最清晰和最有破坏力的哲学批评。

三种意义的区分：
1. 参数特征（parametric features）——网络内部的数学结构（权重、激活、交互项）。这些是纯形式对象，没有任何语义承诺。
2. 诊断特征（diagnostic features）——网络用于执行特定分类的模式。这是SAE实践的层面——识别网络“使用”的激活模式。
3. 真实世界特征（real-world features）——目标域在自然界中的真实属性。这是科学家真正想要的——不是模型内部的模式，而是外部世界的真实结构。

非唯一性论证：对于任何给定的网络行为，存在大量不兼容的参数和诊断特征（以及解释它们的方式）。当科学家旨在发现新异的真实世界特征时，他们必须在这些选项之间做出选择——但他们通常缺乏做出这一选择所需的背景知识。如果你不知道关于目标域的真实世界特征，你无法仅从网络内部确定哪些参数特征对应哪些真实世界特征。

结论的强力性：“由此识别出的特征不被承诺为真实的。它们不应被用作证据，只能工具性地使用。”这不是一个温和的警告——是一个认识论上的禁令。特征作为证据在科学上的使用是非法的。

对SAE阵营的根本挑战：
1. 当SAE研究者声称“发现了一个特征”（如Anthropic的生物学SAE应用）时，他们通常在诊断特征层面上运作，但语言上滑向真实世界特征的实在论承诺。
2. Yao & Hagar论证这种语义滑动在认识论上是不合理的——从诊断特征到真实世界特征的跃迁需要独立证据和背景理论，而这些往往缺失。
3. 这意味着即使SAE发现了“与人类概念对齐”的特征，这种对齐本身就需要独立验证——不能从特征本身推出。

alignment的含义：如果特征只能工具性地使用而非作为真实结构，那么alignment的整个框架需要重新概念化——从“使模型内部表征与价值一致”变为“使模型行为与价值一致，使用特征作为辅助工具”。