美团开源 LongCat-2.0：全国产算力训出的 1.6 万亿参数 MoE 模型
美团开源 LongCat-2.0：全国产算力训出的 1.6 万亿参数 MoE 模型
发布时间： 2026年6月30日
来源： GitHub: LongCat-2.0 · 官方博客
配图： 无
概述
2026年6月30日，美团正式发布并开源 LongCat-2.0 ——一个总参数量达 1.6 万亿（1.6T）、每个 token 激活约 480 亿参数的 MoE 语言模型。这是业界首个在五万卡国产 AI ASIC 芯片集群上完成全流程训练与推理的万亿参数模型，全程无回滚、无不可恢复的 loss 突刺。
在 SWE-bench Pro 等 Agent 评测中，LongCat-2.0 超越了 GPT-5.5 和 Gemini 3.1 Pro。发布后已通过 OpenRouter 平台跻身全球大模型调用量前三。
一、核心参数
| 项目 | 数值 |
|---|---|
| 总参数量 | 1.6T（1.6万亿） |
| 每 Token 激活参数 | ~48B（动态范围 33B~56B） |
| 架构 | MoE + N-gram Embedding |
| 训练数据 | 35 万亿 tokens |
| 训练硬件 | 5 万张国产 AI ASIC 芯片 |
| 上下文长度 | 1M（100 万 tokens） |
| 开源协议 | MIT |
| 代码仓库 | github.com/meituan-longcat/LongCat-2.0 |
| 模型权重 | HuggingFace + ModelScope |
二、核心技术创新
2.1 LongCat Sparse Attention (LSA)
为突破长上下文场景计算瓶颈而设计的稀疏注意力机制，将计算量从 平方级降至线性级：
| 组件 | 说明 |
|---|---|
| Streaming-aware Indexing | 合并 HBM 访问，将碎片化内存转为可预测的顺序读取 |
| Cross-Layer Indexing | 相邻层共享索引，每 2 层共享一个索引器 |
| Hierarchical Indexing | 两级粗到细评分，先块级近似再精细化 Token 选择 |
2.2 N-gram Embedding
包含 135B 额外参数，在 MoE 稀疏维度正交方向上扩展参数空间，提升参数利用效率。遵循"MoE 稀疏性已越过甜点区，N-gram Embedding 比例控制在最优范围内"的设计原则。
2.3 零计算专家 + ScMoE
实现 Token 级动态激活（33B~56B 范围）：
- 简单 Token（如变量定义）不消耗算力
- 复杂 Token（如推导递归算法）自动获得更多计算资源
2.4 MOPD 多专家融合架构
门控网络根据任务类型动态调度最擅长的专家：
| 专家组 | 专长 |
|---|---|
| Agent Experts | 工具调用与自主纠错 |
| Reasoning Experts | 数学与 STEM 推理 |
| Interaction Experts | 指令遵循与交互体验 |
三、国产芯片训练能力
训练规模
- 5 万张国产 AI ASIC 芯片组成超级计算集群
- 预训练超过 35 万亿 tokens，数百万加速器天
- 月均日故障率降低 70% 以上，无回滚或 loss spike
三大优化层面
| 层面 | 措施 |
|---|---|
| 基建层 | 卡间通信异常处理、弹性扩缩卡、自动故障恢复 |
| 算法层 | 确定性算子、Bitwise 一致性验证、参数检测 |
| 工程层 | 流水线调度、显存优化，训练 MFU 提升 1.5 倍 |
稳态性能：日吞吐超过 1T tokens/day。
四、评测成绩
Agent / 代码能力
| 基准测试 | LongCat-2.0 | Gemini 3.1 Pro | GPT-5.5 |
|---|---|---|---|
| Terminal-Bench 2.1 | 70.8 | 70.7 | 73.8 |
| SWE-bench Pro | 59.5 🏆 | 54.2 | 58.6 |
| SWE-bench Multilingual | 77.3 | 76.9 | - |
工具链集成
LongCat-2.0 深度适配 Hermes Agent、Claude Code、OpenClaw 等主流 Agent 框架。在 Hermes 框架中月调用量全球第一。
五、对比：LongCat-2.0 vs DeepSeek V3
| 维度 | LongCat-2.0 | DeepSeek V3 |
|---|---|---|
| 总参数 | 1.6T 🏆 | 671B |
| 激活参数 | ~48B (33B~56B) | 37B |
| 训练数据 | 35T tokens 🏆 | 14.8T |
| 上下文 | 1M tokens 🏆 | 128K |
| 训练芯片 | 国产 AI ASIC（5万卡） 🏆 | NVIDIA H800 |
| 注意力 | LongCat Sparse Attention | Multi-head Latent Attention |
| Agent 优化 | 极致优化（MOPD） 🏆 | 通用 |
| 开源协议 | MIT | MIT |
六、战略意义
- 全国产算力里程碑：证明了国产 AI ASIC 芯片可以支撑万亿参数模型的稳定训练和推理，摆脱对 NVIDIA GPU 的依赖
- Agent 时代的基础设施：Agent/代码能力领先闭源模型，且已与 Hermes 等主流框架深度集成
- MIT 开源：完全开源，无使用限制，企业可自由商用
- 美团的技术转型：从"外卖公司"到"AI 基础设施公司"的跨越
本文基于 GitHub 仓库、美团技术博客、OpenRouter 等公开资料整理。