Dia

🕵️‍推荐一款令人惊叹的文本转语音模型——Dia by Nari Labs。这不只是一个TTS工具，而是一款为“对话生成”量身打造的强大模型，它正在重新定义语音合成的真实感与可控性。

🎙️ Dia 是什么？

Dia 是由 Nari Labs 开发的1.6B 参数级别的开源文本转语音模型（TTS），它能直接从文本生成高度真实的对话语音，并支持多种非语言表达（如笑声、咳嗽、叹气等）。其最大亮点是支持语音条件控制，允许用户通过上传音频来指定情绪、语气和声音风格。

Dia 目前仅支持英文输出，模型权重托管在 Hugging Face，并提供了完整的推理代码和演示页面。

🔧 Dia 的主要功能

• 对话生成优化：使用 [S1] 和 [S2] 标签生成角色分明的对话语音。
• 情绪/语气控制：通过音频提示调节输出语音的情感和语调。
• 非语言表达合成：支持如 (laughs)、(coughs) 等标签的非语言声音。
• 语音克隆：通过上传音频+转录文本，实现语音风格迁移。
• CLI工具和Gradio UI：本地运行UI或命令行调用。
• 可本地部署：完全开源、支持自托管和代码定制。
• 推理代码友好：适配GPU，支持PyTorch 2.0+ 与 CUDA 12.6。

🧠 技术原理 & 使用指南

• 安装方式（快速启动）：

  pip install git+https://github.com/nari-labs/dia.git

  或本地运行：

  git clone https://github.com/nari-labs/dia.git
  cd dia
  uv run app.py

• 示例代码：

  from dia.model import Dia
  import soundfile as sf
  model = Dia.from_pretrained("nari-labs/Dia-1.6B")
  text = "[S1] Dia is amazing. [S2] Yes, it is. (laughs)"
  output = model.generate(text)
  sf.write("simple.mp3", output, 44100)

• 推理要求：

  • 显存需求约10GB
  • 推荐使用企业级GPU（如A4000）
  • 不支持CPU（未来将支持）

🎧 演示功能亮点

您可在 Hugging Face ZeroGPU 空间中体验 Dia 并与 ElevenLabs Studio、Sesame CSM-1B 做对比。此外，还可：

• 上传一段声音
• 添加相应文字转录
• Dia 将以该声音风格生成全新语音内容

💬 Dia 的应用场景

• 🎮 游戏与交互对话生成：用于NPC台词语音生成，支持情绪表达。
• 📚 教育与有声内容制作：将文字教材转为富情感朗读。
• 🧪 研究实验：探索情绪合成、音频合成的语义关联。
• 🎙️ 播客与故事创作：剧本语音化、多角色对话合成。
• 🧠 无障碍技术：为视觉障碍者提供真实语音内容。

💰 Dia 的使用成本

目前Dia是完全开源免费的。您可访问其 GitHub 仓库自行部署：
🔗 GitHub 仓库

📜 使用许可与免责声明

• 许可协议：Apache 2.0
• 禁止用途：
  • 身份冒用（不可模仿真实人物）
  • 制造误导内容（如伪造新闻）
  • 非法或恶意用途（如诈骗）

🔭 开发路线图（TODO）

• ✅ Hugging Face 推理空间支持
• ⏳ CPU 支持开发中
• 🔜 Docker 部署支持
• 🧠 模型量化优化（适配低资源设备）

📢 社区与参与方式

• 加入 Dia Discord 社区
• 欢迎贡献代码和测试反馈

🧭 AI工具网点评

Dia 是目前为止最接近“语音角色扮演”体验的开源TTS模型之一。它不止在技术维度上表现优异，更在交互性和创意空间上打开了无限可能。尤其适合内容创作者、游戏开发者、播客制作人和AI语音研究者等群体使用。