阿里通义实验室开源多模态说话人项目3D-Speaker

生活网 2月27日 消息:3D-Speaker 是通义实验室语音团队贡献的一个开源项目，结合了声学、语义、视觉三维模态信息来解决说话人任务。

项目涵盖了说话人日志、说话人识别和语种识别任务，提供了工业级模型、训练代码和推理代码。同时还开源了研究数据集3D-Speaker dataset，包含了多设备、多距离和多方言的音频数据和文本，适用于高挑战性的语音研究。

1. 结合视觉信息的说话人日志技术:

- 在复杂声学环境中，引入视觉信息可以提升说话人识别能力。

- 系统包括声学和视觉模态识别路线，通过联合多模态聚类得到最终识别结果。

2. 结合语义信息的说话人日志技术:

- 将说话人日志任务从传统的音频切割转为对文本内容进行说话人区分。

- 提出了对话预测和说话人转换预测模块，基于 Bert 模型，用于提取语义中说话人信息。

3. 基于经典声学信息的说话人和语种识别:

- 包含全监督和自监督说话人识别模型，支持多种数据增强、多模型训练和多损失函数。

- 提供一键式训练推理，支持多种经典模型，并提供有效的学习率调节方案和 margin 变换值。

3D-Speaker 项目在说话人任务中探索了多模态信息的结合应用，提供了一系列有效的技术解决方案和开源资源，为语音研究领域的发展做出了贡献。

开源代码链接:

https://github.com/alibaba-damo-academy/3D-Speaker/blob/main/egs/3dspeaker/speaker-diarization/run_video.sh