Mamba架构第一次做大!混合Transformer,打败Transformer
- 丰色 发自 凹非寺
量子位 | 公众号 QbitAI
精彩精彩,第一个把爆火Mamba架构真正扩展到足够大的工作来了。
520亿参数,还是Mamba+Transformer混合架构。
它的名字叫Jamba。
取两种架构之长,模型质量和效率兼得,要吞吐量有吞吐量,要低内存有低内存。
初步跑分显示:
- Jamba性能总体接近Mixtral 8x-7B,处理128k长上下文时吞吐量却是其3倍
- 一共支持256k上下文,而单张A100 GPU即可处理140k,直接拿下同等规模模型之最,高效又经济。
这项成果,来自以色列AI公司AI21labs。
Mamba原作者看了之后都激动转发:
绝对的“大新闻”。
Mamba、Transformer,合体
由CMU和普林斯顿大学提出的Mamba,解决了Transformer的局限性(随着推理上下文越长,模型内存占用量越大,同时推理速度变慢,由此导致算力消耗巨大)。
但它也有自己的缺点——
在不关注整个上下文的情况下,Mamba的输出质量很差,尤其是在召回相关的任务上。
本着“既要也要”的原则,Jamba站出来提供两全其美之作。
Jamba由Transformer、Mamba和MoE层组成,可同时优化内存、吞吐量和性能。
如下图所示,为了集成两种架构,Jamba采用块层(blocks-and-layers)组合的创新方法。
简单来说,就是每个Jamba块包含一个注意力层或一个Mamba层,再跟一个多层感知器MLP,总体比例保证为每八层一个Transformer层。
其次,Jamba利用MoE来增加模型参数的总量,同时简化推理中使用的活动参数量。
最终模型容量高了,计算需求也没有相应的增加。
而为了在单张GPU(80GB)上最大限度地提高模型吞吐量,Jamba还优化了所用MoE层和专家数量,最终为日常推理工作负载留出足够内存。
值得一提的是,在推理时,Jamba的MoE层仅需520亿可用参数中的120亿,就能同时保证比同等大小的仅Transformer模型更高效。
要知道,此前有人光是尝试过扩展Mamba,就没能做到30亿参数之上。
因此,除了成功合体Mamba和Transformer,Jamba也达成了第二大成就:
同类中第一个达到生产级规模和质量的混合架构(SSM混Transformer)(ps. Mamba就是一种状态空间模型SSM)。
吞吐量和效率up
初步评估显示,Jamba在吞吐量和效率等关键指标上表现出色。
首先,Jamba可以在长上下文中提供3倍吞吐量,比Mixtral 8x7B等大小相当的Transformer模型都要高效。
如下图所示,当上下文窗口达到128k时,Jamba的每秒token数近乎1500,而此时表现最好的Mixtral 8x7B应该才在500往上的样子。
其次,在单张GPU上,Jamba最多可以容纳140k上下文,经济又高效。
相比之下,Mixtral 8x7B为64k,Llama2 70B则仅为16k。
第三,Jamba的输出质量也得到了保证。
在如下一系列推理基准上,4项中有3项它都拿下了SOTA。同时,在GSM8K等基准上,Jamba即使没有夺魁,也和SOTA模型打了个不相上下。
总体来说,Jamba的性能接近Mixtral 8x7B。
最后,作者提示,别忘了,这些都还只是初步改造后的结果,后续还有很多优化空间(比如MoE并行、更快的Mamba实现)。所以到时性能会更强。
好消息:Jamba现在已经上线Hugging Face,并且划重点:采用apache-2.0许可。
(Jamba的指令版本则将很快通过AI21labs平台上线。)
网友看完都感动哭了。
传送门:
https://huggingface.co/ai21labs/Jamba-v0.1
参考链接:
[1]https://www.ai21.com/blog/announcing-jamba
[2]https://www.ai21.com/jamba
[3]https://twitter.com/AI21Labs/status/1773350888427438424?s=20
[4]https://twitter.com/tri_dao/status/1773418926518734957?s=20
热搜
热门跟贴
相关推荐
CVPR‘24:与任务无关的多模态数据也能提升Transformer性能
量子位震惊,你们城里人现在都买这些东西了?
京东LLM最全「怪癖」首曝光!马里兰OpenAI等30+学者祭出75页提示报告
新智元基于Transformer的通用世界模型成功挑战视频生成
量子位think step by step还不够,让模型think more steps更有用
机器之心Pro让卖茶女破防的超级算法
虎嗅APPAgent云服务,不止做平台|量子位·视点 x 汇智智能
量子位1跟贴大疆前高管带6人创业,做出了类目Top1的割草机器人
钛媒体APP94跟贴全世界机器人共用一个大脑,谷歌DeepMind已经完成了第一步
机器之心Pro「还是谷歌好」,离职创业一年,我才发现训练大模型有这么多坑
机器之心ProDeepfake假CFO骗走公司1.8个亿,员工:视频会议每个人都很真实啊
量子位代码都让AI写,CS还有前途吗?加州大学伯克利分校:CDSS申请人数飙升48%!
新智元14跟贴论文 Figure 不堪入目,句子啰嗦读不通……这几个在线科研工具可以免费用了
生物学霸日本推理巨匠,新本格派导师岛田庄司原作,设计巧妙反转不断!
噔噔悬疑社11跟贴算力卡太贵,个人玩家用游戏卡跑AI可行否?
壹零社不同数据集有不同的Scaling law?而你可用一个压缩算法来预测它
机器之心Pro这个女生写的软件,解决了无数程序员最头疼的问题!
码农翻身高段位的狠人,都是如何抓本质的?
互联网思维《魔方新世界》:一档不顾普通观众死活的综艺
冷眼看电视32跟贴结论和推理的过程哪个更重要?
教书匠小夏