据豆包大模型团队消息，在 Transformer 架构下，模型的性能与其参数数量和计算复杂度呈对数关系。随着 LLM 规模不断增大，推理成本会急剧增加，速度变慢。
section style="line-height: 1.75em; text-align: justify; margin: 0px 8px 24px; text-indent: 0em;">尽管 MoE 架构已经成功将计算和参数解耦，但在推理时，较小的 batch size 就会激活全部专家，导致访存急剧上升，进而使推理延迟大幅增加。
为此，字节跳动豆包大模型 Foundation 团队提出 UltraMem，一种同样将计算和参数解耦的稀疏模型架构，在保证模型效果的前提下解决了推理的访存问题。
实验结果表明，在参数和激活条件相同的情况下，UltraMem 在模型效果上超越了 MoE，并将推理速度提升了2-6 倍。此外，在常见 batch size 规模下，UltraMem 的访存成本几乎与同计算量的 Dense 模型相当。