MOSS-TTSD— 清华实验室开源的口语对话语音生成模型

moss-ttsd（text to spoken dialogue）是一款开源的对话语音生成模型，由清华大学语音与语言实验室（tencent ai lab）研发。该模型能够将文本对话脚本转化为自然、富有表现力的口语化语音，并支持中英文双语输出。其基于先进的语义-音学神经网络音频编解码器以及大规模预训练语言模型，利用超过100万小时的单人语音和40万小时的对话语音数据进行训练。具备零样本语音克隆能力，可自动识别并切换对话者角色，适用于ai播客、访谈、新闻播报等多种应用场合。

知我AI

一款多端AI知识助理，通过一键生成播客/视频/文档/网页文章摘要、思维导图，提高个人知识获取效率；自动存储知识，通过与知识库聊天，提高知识利用效率。

101

查看详情

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

MOSS-TTSD的主要功能

• 高表现力对话语音生成：将对话文本转换为自然流畅、富有情感的语音，准确还原对话中的语气、节奏等细节。
• 零样本多说话人音色克隆：可根据对话内容自动生成不同说话人的语音，无需额外提供声音样本即可实现两位说话者的音色模拟。
• 中英双语支持：能够在中文和英文之间自由切换，生成高质量的双语对话语音。
• 长篇语音生成：借助低比特率编解码器及优化后的训练架构，可一次性生成超长语音内容，避免传统拼接方式带来的不连贯问题。
• 完全开源且适合商业应用：模型参数、推理代码及API均已公开，允许免费用于商业用途。

MOSS-TTSD的技术原理

• 基础模型架构：MOSS-TTSD 在 Qwen3-1.7B-base 模型基础上进行持续训练，采用离散语音序列建模方法。通过八层 RVQ（Residual Vector Quantization）码本对语音信号进行离散化处理，将其转化为一系列 token。这些 token 通过自回归结合 Delay Pattern 的方式生成，最终由 Tokenizer 解码器还原为语音波形。
• 语音离散化与编码器创新：核心组件 XY-Tokenizer 是专为语音设计的离散编码器，采用两阶段多任务学习策略：
  • 第一阶段：通过 ASR 和重建任务联合训练，使编码器在提取语义信息的同时保留粗略的声学特征。
  • 第二阶段：固定编码器和量化层，仅训练解码器部分，通过重建损失与 GAN 损失补充更精细的声学信息。XY-Tokenizer 在 1kbps 比特率和 12.5Hz 帧率下表现出优于其他 Codec 的综合性能。
• 数据处理与预训练：训练数据包括约100万小时的单人语音和40万小时的对话语音。团队构建了高效的数据流水线，从海量原始音频中筛选出高质量样本并进行标注。此外，还使用110万小时的中英文 TTS 数据对模型进行预训练，显著提升语音的表现力和韵律。
• 长语音生成能力：得益于超低比特率的 Codec 架构，MOSS-TTSD 可以生成最长960秒的连续语音，实现无缝输出，避免语音片段拼接带来的断续感。

MOSS-TTSD的项目地址

• 项目官网：https://www.php.cn/link/ebd83293e15f358a34de4f3e805d8469
• Github仓库：https://www.php.cn/link/f51cf26546d2015352cabae5d9b01b81
• HuggingFace模型库：https://www.php.cn/link/647eb61673d5e4df8a069bde0d77fff5
• 在线体验Demo：https://www.php.cn/link/197728ce327b582d7ccd6adb5f2d4f7a

MOSS-TTSD的应用场景

• AI 播客制作：可生成逼真的对话式语音，广泛应用于AI播客内容创作，模拟真实访谈氛围。
• 影视配音：支持中英文双语语音生成，具备零样本音色克隆能力，可用于电影、电视剧等作品的对白配音。
• 长篇访谈语音合成：支持最长960秒的语音连续生成，避免拼接导致的不自然过渡，非常适合用于访谈类节目。
• 新闻报道：可生成自然流畅的对话式语音，用于新闻播报，增强听众的沉浸感和吸引力。
• 电商直播：适用于数字人对话带货等电商直播场景，通过生成自然的对话语音吸引用户关注与互动。

以上就是MOSS-TTSD— 清华实验室开源的口语对话语音生成模型的详细内容，更多请关注php中文网其它相关文章！