91黑料网

Attention虽强，但不是万能。Transformer≠最终解法，而是阶段性最优。“让每个FLOPs都有意义”才是架构设计的最终目标。将SSM层与注意力层按一定比例混合能带来更强大的模型。 这一工作方式有点像人类的大脑——不断接收新信息（输入），并将其压缩、总结成一个固定大小的“隐藏状态”（即模型的内部记忆），一旦模型需要处理新信息时，它只与这个总结过的“记忆”互动，而不是回顾所有旧细节。 第二，处理长序列信息时，其计算成本与序列长度呈线性关系（不会突然急剧上升），且无论输入序列有多长，模型在推理过程中所需的内存量都是固定的（适合资源有限的环境）。 早期SSMs以固定不变的方式更新状态，适合处理音频（信息变化规律）但不适合处理语言（信息速率变化快、需要选择性记忆）数据。 而Mamba通过引入“选择性SSMs”解决了这个问题，与经典RNN“门控机制”相似，它可以根据当前输入数据来决定哪些信息该记住，哪些该遗忘。 会把收到的每一个信息（通常是经过Tokenization处理的“token”）都完整记录下来，并储存在一个叫做“KV缓存”的临时记忆区中。当模型需要处理新信息时，它会回顾并比较所有以前储存过的“token”。 这使得它在处理已经过预处理、每个“token”都具有明确含义的数据时表现出色。如经过分词（Tokenization）处理的文本，每个词都带有语义，Transformer就能很好地利用它们。 而且已有实验证据表明，在未经Tokenization处理的数据上，SSMs的表现显著优于Transformer，即使Transformer被允许使用更多的计算资源。这进一步强调了Transformer在处理非语义化“token”数据时的弱点。 作者明确表示，他的主张不仅仅关乎计算效率（尽管简化数据可以减少注意力机制的二次复杂度开销），而是一个更强烈的声明，即Transformer在建模能力上存在固有的局限性。 在他看来，虽然Transformer目前很流行，但它们远非计算资源转化的最优选择，而要设计新的架构，一个重要衡量标准是每个FLOPs（算力）能否物尽其用，快速转化为模型能力。