初创公司寻求大语言模型的Transformer替代方案

作为现代大语言模型（LLM）核心的Transformer架构已无法满足行业日益增长的需求。其关键机制——密集注意力（dense attention）——虽保证高精度，却需耗费海量计算资源。例如，处理包含1万字的文档可能需执行高达5000万次乘法运算，这使模型能耗高昂且成本巨大。

据OpenAI总裁格雷格·布罗克曼透露，该公司今年计划投入500亿美元用于计算资源。国际能源署预测，到2030年数据中心用电量将翻倍。这些数据凸显寻找替代方案的迫切性。

Transformer架构的上下文窗口限制进一步加剧了问题。模型难以同时处理大量数据，这对需分析整个文档库或代码库的任务构成严重阻碍。Subquadratic等初创公司看到了这一机遇，正积极研发新架构，以突破现有瓶颈。

LLM市场正酝酿变革，不受现有技术束缚的公司有望成为新一代模型的领导者。成功的关键在于提供比当前Transformer更高效且经济的解决方案。