Transformer挑战者出现！斯坦福CMU牵头团队，模型代码都开源

英伟达科学家Jim Fan也对Transformer的挑战者再次单单现感到兴奋。

研究工作出果两位译者Albert Gu和Tri Dao，哈佛大学都肄业于麻省理工学院，导师为Christopher Ré。

Albert Gu今日是CMU顾问大学教授，多年来一直推动SSM核心的发展。

他曾在DeepMind 工作，目前是Cartesia AI的共同创办人及首席科学家。

Tri Dao，以FlashAttention、FlashDecoding两部工作闻名，今日是普林斯顿顾问大学教授，和Together AI首席科学家，也在Cartesia AI担任顾问。

Cartesia AI公司介绍里面写道致力于基于新近核心构建下一代基石静态，今日看来主要就是指创意近的SSM核心。

联创及CEO Karan Goel同为斯坦福哈佛大学肄业，也是Mamba的创立S4研究工作出果译者之一。

对于Mamba的下一步，在研究工作出果里面有写道“探讨新近核心确实能原则上于Transformer已建立起的丰沛大静态多样性”。

其里面都有见下文、自适应、提示努力学习、自然口语努力学习、指令见下文、RLHF、量转化……也就是要把基石静态的发展出GPT-3.5、Llama独有的助手静态了。

但译者也写道，目前的实验规模较小，要进一步风险评估SSM确实能与Transformer和其他核心如RWKV、微软RetNet竞争，最少还需要验证7B规模。

在扩展SSM的步骤里面，还会遇到新近的工程挑战和对静态的优化，研究工作出果里面从未关乎。

再次，Albert Gu还分享了为什么把新近核心起名为一种毒蛇的名字元：

速度更快、对序列利用量度机疑虑很致命、创立S4是SSSS（嘶嘶嘶嘶）。

研究工作出果：

参考链接：[1]_albertgu/status/1731727672286294400[2]_albertgu/status/1731727672286294400

— 完 —

量子位 QbitAI · 号外号签约