面壁智能 ForgeTrain：全球首个 AI 自写的大模型预训练框架
面壁智能 ForgeTrain：全球首个 AI 自写的大模型预训练框架
发布时间： 2026年5月27日发布，6月27日深度分享
来源： GitHub: ForgeTrain · 面壁智能
配图： 无
概述
2026年5月27日，面壁智能（ModelBest）联合清华大学、OpenBMB 开源社区发布了 ForgeTrain——全球首个完全由 AI 自主编写、零人类代码介入的生产级大模型预训练框架。面对 NVIDIA 的 Megatron-LM，ForgeTrain 实现了"8 小时追平、2 天反超"的成绩，在 H100 上 MFU（模型算力利用率）达 44.13%，比 Megatron 高约 10 个百分点。
这并不是一个 Demo——ForgeTrain 已在华为昇腾芯片上成功预训练出 MiniCPM5-1B 模型，实现了 "AI 写的框架 → 国产芯片 → 训出领先 AI 模型" 的完整闭环。
一、面壁智能与 OpenBMB
| 组织 | 角色 |
|---|---|
| 面壁智能（ModelBest） | 清华大学 NLP 实验室孵化的大模型 AI 公司，产品线：MiniCPM 系列、MiniCPM-o 全模态模型、BitCPM 超低比特模型、AgentCPM 端侧智能体 |
| OpenBMB | 清华+面壁共推的开源社区，宗旨"让大模型飞入千家万户"，提供 BMTrain/BMCook/BMInf 全流程工具链 |
| 清华大学 THUNLP | 学术研究机构，三者的底层学术支撑 |
二、Forge Engineering（锻造工程）：AI 自写框架的方法论
ForgeTrain 的技术核心是 Forge Engineering 三阶段方法论：
阶段一：立标准（Harnessing）
AI 从参考实现（Megatron-LM）中采集关键运行数据，构建自动化评测 Harness——包含评测标准、测试规约、智能体编排方案。将"跑对了"和"跑快了"转化为机器可自动判断的标准。
阶段二：逐比特对齐（Bit-for-Bit Replication）
AI 在 Harness 约束下构建与 Megatron 逐比特一致的版本。验证 AI 能否精确复现复杂系统的能力——相同输入产生完全一致的数值输出。
阶段三：解约束反超（Surpassing）
解除二进制一致限制，切换到性能导向 Harness。AI 在更大搜索空间中自主迭代优化。8 小时追平 Megatron，2 天全面反超。
核心哲学
- 代码即深度定制品：代码被解绑为按需锻造的专用制品，而非长期维护的"资产"
- 零抽象损耗：通用性保留在 Harness 规约中，高性能留在每次锻造里
- Human on the loop：人类从"在循环中执行代码"变为"在循环外监督和设计"
三、ForgeTrain vs NVIDIA Megatron-LM
| 对比维度 | ForgeTrain | Megatron-LM |
|---|---|---|
| 编写方式 | 100% AI 自主编写 | 人类专家编写 |
| H100 训练速度 | 比 Megatron 快约 10% | 基准 |
| MFU（算力利用率） | 44.13% | ~34% |
| 多硬件适配 | H100 + 华为昇腾 | 仅英伟达 |
| 实际验证 | MiniCPM5-1B（AA 榜单 2B 以下 Top 1） | 大量生产验证 |
| 方法论 | Forge Engineering | 人类专家手工优化 |
四、AI4AI：AI 制造 AI 的五级框架
面壁智能同时提出了 AI 自主进化的 L1-L5 能力阶梯：
| 级别 | 名称 | 描述 |
|---|---|---|
| L1 | AI 辅助编码 | AI 作为代码补全工具（如 Copilot），人类主导开发 |
| L2 | AI 独立生成代码片段 | AI 生成完整函数/模块（如 Codex/Claude Code） |
| L3 | AI 构建子系统 | AI 独立构建完整软件子系统 |
| L4 | AI 改造 AI 基础设施 | AI 自主编写大模型训练框架 —— ForgeTrain 达成 ✅ |
| L5 | AI 完全自主设计 AI | AI 自主发现新架构、新算法，完全脱离人类设计 |
ForgeTrain 是 L4 级别的首个单点实证——AI 第一次改造了 AI 自身的基础设施（大模型训练框架）。
五、战略意义
- 打破 CUDA 生态壁垒：ForgeTrain 同时支持 H100 和华为昇腾，为国产芯片训练大模型提供了经过验证的框架
- 训练效率质变：MFU 44.13% 意味着同样的硬件投入可以获得更高的产出
- AI 自我迭代的拐点：当 AI 能够自主优化 AI 基础设施时，Scaling Law 的天花板被大幅抬升
- 成本重构：从"人类专家团队数月的优化工作"变为"AI 数天的自主锻造"
本文基于面壁智能公开演讲、OpenBMB 社区信息、IT之家等公开资料整理。