基于联合对比学习策略的单样本语音转换模型OACHSSCD

针对单样本(one-shot)语音转换任务中目标说话人内容保持与说话人特征迁移难以兼顾的问题,本文在变分推理语音合成(Variational Inference Text-to-Speech,VITS)框架的基础上,提出了基于联合对比学习策略的单样本语音转换模型。该模型在内容与说话人两个特征空间同时引入对比约束。针对内容特征提取,将WavLM(Waveform Language Model)第23层的输出经K最近邻(K-Nearest Neighbors,KNN)匹配后,与WavLM第24层的输出结合,构成样本对,以实现音素级对齐和语义一致性。针对说话人特征提取,通过时序扰动生成对比样本,并采用监督对比损失,提取稳定且与内容无关的说话人嵌入。生成器部分通过结合条件变分自编码器(Conditional Variational Auto Encoder,CVAE)与对抗损失进行优化训练。实验结果表明,该模型在VCTK(Voice Cloning Tool Kit)语料库上获得的客观与主观评价指标均优于最新基线模型,验证了所提模型在语音自然度、内容保持以及说话人相似性方面的有效提升。