英伟达开源统一音频智能模型 Nemotron-Labs-Audex-30B-A3B
英伟达开源统一音频智能模型 Nemotron-Labs-Audex-30B-A3B
发布时间： 2026年7月
来源： OSCHINA
配图： 无
概述
NVIDIA 研究团队开源了一款名为 Nemotron-Labs-Audex-30B-A3B（简称 Audex）的统一音频-文本大语言模型。Audex 基于 MoE（混合专家模型）架构构建，在单一 Transformer 解码器中实现了文本与量化音频 token 的统一处理，同时具备音频理解和生成能力。
它是一个 "3B 激活参数" 规模的模型（总参数 30B，每 token 激活 3B），通过多阶段训练在音频理解、语音识别、翻译、音频生成等任务上达到领先水平，同时几乎完整保留了原版 LLM 的推理、对齐和知识储备能力。
一、模型架构
核心设计
Audex 的设计理念简洁高效：基于纯文本 MoE 架构构建，采用单一的 Transformer 解码器实现文本与量化音频 token 的统一处理。
- 音频输入：平滑投影到文本嵌入空间
- 多模态统一：与现有 LLM 基础设施无缝兼容
- MoE 架构：30B 总参数，每 token 激活 3B（30B-A3B）
训练数据
| 数据类型 | 规模 |
|---|---|
| 音频 token | 1574 亿 |
| 文本 token | 3205 亿 |
训练流程
多阶段训练策略：
1. 监督训练：多任务监督学习
2. Cascade RL：纯文本级联强化学习
3. 多域在策略知识蒸馏：在策略的知识蒸馏
二、能力覆盖
音频理解
- 语音内容识别
- 语种识别
- 说话人特征分析
语音识别（ASR）
- 多语种语音转文字
- 高噪声环境下的鲁棒识别
语音翻译
- 多语种语音到语音翻译
- 语音到文本翻译
音频生成
- 语音合成
- 音频内容生成
LLM 核心能力保留
Audex 几乎完整保留了原版 LLM 在以下方面的能力，性能衰退微乎其微：
- 推理能力
- 对齐能力
- 知识储备
- 长文本处理
三、定位与同类对比
| 维度 | Audex-30B-A3B (NVIDIA) | Whisper (OpenAI) | Qwen-Audio (阿里) | AudioLDM |
|---|---|---|---|---|
| 架构 | MoE 统一音频-文本 LLM | Encoder-Decoder | Qwen+音频编码器 | 潜在扩散 |
| 统一理解+生成 | ✅ 是全模型 | ❌ 仅识别 | ⚠️ 部分 | ❌ 仅生成 |
| 模型规模 | 30B (激活 3B) | 1.5B | 7B+ | ~1B |
| 语言支持 | 多语言 | 57 语言 | 中英文为主 | 有限 |
| LLM 推理保留 | ✅ 完整保留 | ❌ 无 | ✅ | ❌ 无 |
| 开源 | ✅ 开源 | ✅ MIT | ✅ | ✅ |
四、核心意义
- 统一音频智能的范式：Audex 代表了将语音识别、翻译、音频生成统一到单一 LLM 架构中的趋势，告别"专用模型拼装"方案
- MoE 效率优势：3B 激活参数即可实现领先性能，推理成本可控
- LLM 能力的无损保留：这是最难的技术挑战——引入音频模态后不损失文本推理能力
- NVIDIA 的开源策略：从专用 AI 芯片公司向 AI 基础模型+平台双轮驱动的战略延伸
本文基于 NVIDIA 研究团队公开的技术资料整理。