CN109377978B - 非平行文本条件下基于i向量的多对多说话人转换方法 - Google Patents
非平行文本条件下基于i向量的多对多说话人转换方法 Download PDFInfo
- Publication number
- CN109377978B CN109377978B CN201811337338.0A CN201811337338A CN109377978B CN 109377978 B CN109377978 B CN 109377978B CN 201811337338 A CN201811337338 A CN 201811337338A CN 109377978 B CN109377978 B CN 109377978B
- Authority
- CN
- China
- Prior art keywords
- speaker
- many
- fundamental frequency
- training
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000001228 spectrum Methods 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims 1
- 238000013519 translation Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 21
- 238000011160 research Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 241000976924 Inca Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种非平行文本条件下基于i向量的多对多说话人转换方法,包括训练阶段和转换阶段,使用了VAWGAN与i向量相结合来实现语音转换***,能够较好地提升转换后语音的个性相似度和语音质量,实现了一种高质量的语音转换方法。此外,本方法解除对平行文本的依赖,实现了非平行文本条件下的语音转换,而且训练过程不需要任何对齐过程,本方法还可以将多个源‑目标说话人对的转换***整合在一个转换模型中,即实现多说话人对多说话人转换。本方法在跨语种语音转换、电影配音、语音翻译等领域有较好的应用前景。
Description
技术领域
本发明涉及一种多对多说话人转换方法,特别是涉及一种非平行文本条件下基于i向量的多对多说话人转换方法。
背景技术
语音转换是语音信号处理领域的研究分支,是在语音分析、识别和合成的研究基础上进行的,同时在此基础上发展起来的。语音转换的目标是改变源说话人的语音个性特征,使之具有目标说话人的语音个性特征,也就是使一个人说的语音经过转换后听起来像是另一个人说的语音,同时保留语义。
语音转换技术经过多年的研究,已经涌现了很多的经典转换方法。其中包括高斯混合模型(Gaussian Mixed Model,GMM)、频率弯折、深度神经网络(DNN)等大多数的语音转换方法。但是这些语音转换方法大多要求用于训练的语料库是平行文本的,即源说话人和目标说话人需要发出语音内容、语音时长相同的句子,并且发音节奏和情绪等尽量一致。然而在语音转换的实际应用中,获取大量的平行语料殊为不易,甚至无法满足,此外训练时语音特征参数对齐的准确性也成为语音转换***性能的一种制约。无论从语音转换***的通用性还是实用性来考虑,非平行文本条件下语音转换方法的研究都具有极大的实际意义和应用价值。
现有的非平行语音转换方法有基于最近邻搜索和转换函数的迭代训练的方法(INCA)、基于条件变分自编码器(C-VAE)的方法等。基于条件变分自编码器(C-VAE)模型的语音转换方法,直接利用说话人的身份标签建立语音转换***,这种语音转换***在模型训练时不需要对源说话人和目标说话人的语音帧进行对齐,可以解除对平行文本的依赖。但是由于C-VAE基于理想的假设,认为观察到的数据通常是遵循高斯分布的,并且在各个维度上是不相关的,因此C-VAE在转换效果上并不尽如人意。基于条件变分自编码器和生成对抗网络(VAWGAN)的方法将Wasserstein生成对抗网络(W-GAN)合并到解码器中来改进C-VAE,其在语音质量上有所提升。但是由于VAWGAN仍然仅使用了说话人的身份标签去建立语音转换***,而说话人的身份标签并不能充分表达说话人的个性化特征,因此转换后的语音在语音相似度上仍未得到改善。
发明内容
发明目的:本发明要解决的技术问题是提供一种非平行文本条件下基于i向量的多对多说话人转换方法,在既可以转换平行文本也可以转换非平行文本的同时,有效地提高了转换后语音的个性相似度。
技术方案:本发明所述的非平行文本条件下基于i向量的多对多说话人转换方法,包括训练阶段和转换阶段,其中所述训练阶段包括以下步骤:
(1.1)获取训练语料,训练语料由多名说话人的语料组成,包含源说话人和目标说话人;
(1.2)将所述的训练语料通过WORLD语音分析/合成模型,提取出各说话人语句的频谱包络特征x、对数基频log f0和代表各说话人个性化特征的i向量i;
(1.3)将频谱包络特征x、说话人标签y和说话人i向量i输入VAWGAN网络模型进行训练,VAWGAN网络模型由编码器、生成器和鉴别器组成;
(1.4)训练过程使生成器的损失函数尽量小,使鉴别器的损失函数尽量大,直至设置的迭代次数,得到训练好的VAWGAN网络;
(1.5)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数;
所述转换阶段包括以下步骤:
(2.1)将待转换语料中源说话人的语音通过WORLD语音分析/合成模型提取出不同语句的频谱包络特征x、非周期性特征和对数基频log f0;
(2.2)将上述频谱包络特征x、目标说话人标签y、目标说话人i向量i输入(1.4)中训练好的VAWGAN网络,从而重构出目标说话人频谱包络特征x′;
(2.3)通过(1.5)得到的基频转换函数,将(2.1)中提取出的源说话人对数基频logf0转换为目标说话人的对数基频log f0′;
(2.4)将(2.2)中得到的目标说话人频谱包络特征x′、(2.3)中得到的目标说话人的对数基频log f0′和(2.1)中提取的非周期性特征通过WORLD语音分析/合成模型,合成得到转换后的说话人语音。
进一步的,步骤(1.3)和(1.4)中的训练过程包括以下步骤:
(1)将训练语料的频谱包络特征x,作为所述编码器的输入数据,经过网络训练后得到说话人无关的语义特征z;
(2)将上述语义特征z与说话人标签y、说话人i向量i输入生成器进行训练,使生成器的损失函数尽量小,得到生成的说话人频谱包络特征x′;
(3)将上述说话人频谱包络特征x′和训练语料的频谱包络特征x输入所述鉴别器进行训练,使鉴别器的损失函数尽量大。
(4)重复步骤(1)、(2)和(3),直至达到迭代次数,从而得到训练好的VAWGAN网络。
进一步的,步骤(2.2)中的输入过程包括以下步骤:
(1)将频谱包络特征x输入编码器,得到说话人无关的语义特征z;
(2)将得到的语义特征z与目标说话人标签y、目标说话人i向量i输入到所述的生成器中,重构出目标说话人频谱包络特征x′。
进一步的,所述的编码器采用二维卷积神经网络,包括5个卷积层和1个全连接层。5个卷积层的过滤器大小均为7*1,步长均为3,过滤器深度分别为16、32、64、128、256。
进一步的,所述的生成器采用二维卷积神经网络G,损失函数为:
所述的鉴别器采用二维卷积神经网络D,损失函数为:
进一步的,所述的生成器的二维卷积神经网络G包括4个卷积层,4个卷积层的过滤器大小分别为9*1、7*1、7*1、1025*1,步长分别为3、3、3、1,过滤器深度分别为32、16、8、1。所述的鉴别器的二维卷积神经网络D,包括3个卷积层和1个全连接层,3个卷积层的过滤器大小分别为7*1、7*1、115*1,步长均为3,过滤器深度分别为16、32、64。
进一步的,所述的基频转换函数为:
其中,μσ和σσ分别为源说话人的基频在对数域的均值和方差,μt和σt分别为目标说话人的基频在对数域的均值和方差,log f0σ为源说话人的对数基频,log f0c为转换后对数基频。
有益效果:本方法使用VAWGAN与i向量相结合来实现语音转换***,由于i向量可以充分表达各说话人个性化特征,因此本方法与现有方法比,能够较好地提升转换后语音的个性相似度和语音质量,实现了一种高质量的语音转换方法。此外,本方法解除对平行文本的依赖,实现了非平行文本条件下的语音转换,而且训练过程不需要任何对齐过程,提高了语音转换***的通用性和实用性,本方法还可以将多个源-目标说话人对的转换***整合在一个转换模型中,即实现多说话人对多说话人转换。本方法在跨语种语音转换、电影配音、语音翻译等领域有较好的应用前景。
附图说明
图1是本方法的整体流程图。
具体实施方式
如图1所示,本发明所述高质量语音转换方法分为两个部分:训练部分用于得到语音转换所需的参数和转换函数,而转换部分用于实现源说话人语音转换为目标说话人语音。
训练阶段实施步骤为:
1.1)获取非平行文本的训练语料,训练语料是多名说话人的语料,包含源说话人和目标说话人。训练语料取自VCC2018语音语料库。该语料库的训练集中有4个男性和4个女性说话人,每个说话人有80句语料。本方法既可以在平行文本下实现转换,也可以在非平行文本下实现转换,所以这些训练语料也可以是非平行文本的。
1.2)训练语料通过WORLD语音分析/合成模型提取出各说话人语句的频谱包络特征x、非周期性特征、对数基频log f0。同时提取出代表各说话人个性化特征的i向量i。其中由于快速傅氏变换(FFT)长度设置为1024,因此得到的频谱包络特征x和非周期性特征均为1024/2-1=513维。
i向量是在高斯混合模型-通用背景模型(GMM-UBM)超向量和信道分析的基础上提出的一种新型的低维定长特征向量,i向量可以通过Kaldi框架提取得到。
1.3)将1.2)提取的训练语料的频谱包络特征x,作为VAWGAN编码器的输入数据,经过网络训练后得到说话人无关的语义特征z。其中编码器采用二维卷积神经网络,包括5个卷积层和1个全连接层。5个卷积层的过滤器大小均为7*1,步长均为3,过滤器深度分别为16、32、64、128、256。
本实施例中的VAWGAN网络以C-VAE模型为基础,将W-GAN合并到解码器中来提升C-VAE效果。W-GAN由两个部分组成:一个产生真实的频谱的生成器G,一个判断输入是真实的频谱还是生成的频谱的鉴别器D。
VAWGAN网络的目标函数为:
Jvawgan=L(x;φ,θ)+αJwgan,
其中,L(x;φ,θ)为C-VAE部分的目标函数:
其中,DKL(qφ(z|x)||pθ(z))表示判别模型qφ(z|x)和真实的后验概率p(z|x)的KL散度,用来衡量两个分布的相似程度。先验概率pθ(z)为标准多维高斯分布,qφ(z|x)和pθ(x|z)也为多维高斯分布,其均值向量和协方差矩阵分别为(μφ(z),σφ(z))和(μθ(x),σθ(x)),由多层神经网络确定。其中qφ(z|x)为编码器,pθ(x|z)为解码器。因此,右边两项可以分别简化为:
K为隐藏变量z的维数,L为对qφ(z|x)取样的次数。由于取样过程是一个非连续的操作,无法求导,因此无法通过反向传播来更新网络参数。于是引入另一个随机变量ε对隐藏变量z进行再参数化,令z(l)=μθ(x)+ε(l)*σθ(x),ε(l)~N(0,I),则:
D为x的样本数。
至此,最大化C-VAE部分的目标函数已经转换为求解凸优化的问题,利用随机梯度下降法(SGD)来更新参数训练网络模型。α是W-GAN的损失系数。Jwgan表示W-GAN部分的目标函数:
其中it为说话人的i向量。
生成器二维卷积神经网络的损失函数为:
优化目标为:
鉴别器二维卷积神经网络的损失函数为:
优化目标为:
1.4)将1.3)得到的训练语料的语义特征z与说话人标签y、说话人i向量i作为联合特征(z,y,i)输入解码器进行训练。其中y为每一个说话人的标签,在本方法中,采用8个说话人进行训练,对每一个说话人进行标号,8个参与训练的说话人分别标为0、1、2、3、4、5、6、7。解码器由生成器和鉴别器组成。训练生成器,使生成器的损失函数LG尽量小,得到生成的说话人频谱包络特征x′。说话人i向量是利用说话人的训练语料进行提取得到,每个说话人得到一个表示说话人特征的i向量。生成器采用二维卷积神经网络,包括4个卷积层。4个卷积层的过滤器大小分别为9*1、7*1、7*1、1025*1,步长分别为3、3、3、1,过滤器深度分别为32、16、8、1。鉴别器采用二维卷积神经网络,包括3个卷积层和1个全连接层。3个卷积层的过滤器大小分别为7*1、7*1、115*1,步长均为3,过滤器深度分别为16、32、64。
1.5)将1.4)得到的生成的说话人频谱包络特征x′和1.2)得到的训练语料的频谱包络特征x作为鉴别器的输入,训练鉴别器。使鉴别器的损失函数LD尽量大。
1.6)重复1.3)、1.4)和1.5),直至达到迭代次数,从而得到训练好的VAWGAN网络,其中编码器参数φ、生成器参数θ、鉴别器参数ψ为训练好的参数。由于神经网络具体设置不同以及实验设备性能不同,选择的迭代次数也各不相同。本实验中选择迭代次数为100000次。
1.7)使用对数基频log f0的均值和方差建立基音频率转换关系,统计出每个说话人的对数基频的均值和方差,利用对数域线性变换将源说话人对数基频log f0转换得到目标说话人语音基频log f0′。
基频转换函数为:
其中,μσ和σσ分别为源说话人的基频在对数域的均值和方差,μt和σt分别为目标说话人的基频在对数域的均值和方差。
转换阶段实施步骤为:
2.1)将源说话人语音通过WORLD语音分析/合成模型提取出源说话人的不同语句的频谱包络特征x、非周期性特征、对数基频log f0。其中由于快速傅氏变换(FFT)长度设置为1024,因此得到的频谱包络特征x和非周期性特征均为1024/2-1=513维。
2.2)将2.1)提取的源说话人语音的频谱包络特征x,作为VAWGAN中编码器的输入数据,经过训练后得到说话人无关的语义特征z。
2.3)将2.2)得到的语义特征z与目标说话人标签y、目标说话人i向量i作为联合特征(z,y,i)输入1.6)训练的VAWGAN网络,从而重构出目标说话人频谱包络特征x′。
2.4)通过1.6)得到的基音频率转换函数,将2.1)中提取出的源说话人对数基频log f0转换为目标说话人的对数基频log f0′。
2.5)将2.3)中得到的目标说话人频谱包络特征x′、2.4)中得到的目标说话人的对数基频log f0′和2.1)提取的非周期性特征通过WORLD语音分析/合成模型合成转换后的说话人语音。
Claims (8)
1.一种非平行文本条件下基于i向量的多对多说话人转换方法,其特征在于包括训练阶段和转换阶段,其中所述训练阶段包括以下步骤:
(1.1)获取训练语料,训练语料由多名说话人的语料组成,包含源说话人和目标说话人;
(1.2)将所述的训练语料通过WORLD语音分析/合成模型,提取出各说话人语句的频谱包络特征x、对数基频log f0和代表各说话人个性化特征的i向量i;
(1.3)将频谱包络特征x、说话人标签y和说话人i向量i输入VAWGAN网络模型进行训练,VAWGAN网络模型由编码器、生成器和鉴别器组成;
(1.4)训练过程使生成器的损失函数尽量小,使鉴别器的损失函数尽量大,直至设置的迭代次数,得到训练好的VAWGAN网络;
(1.5)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数;
所述转换阶段包括以下步骤:
(2.1)将待转换语料中源说话人的语音通过WORLD语音分析/合成模型提取出不同语句的频谱包络特征x、非周期性特征和对数基频log f0;
(2.2)将上述频谱包络特征x、目标说话人标签y、目标说话人i向量i输入(1.4)中训练好的VAWGAN网络,从而重构出目标说话人频谱包络特征x′;
(2.3)通过(1.5)得到的基频转换函数,将(2.1)中提取出的源说话人对数基频log f0转换为目标说话人的对数基频log f0′;
(2.4)将(2.2)中得到的目标说话人频谱包络特征x′、(2.3)中得到的目标说话人的对数基频log f0′和(2.1)中提取的非周期性特征通过WORLD语音分析/合成模型,合成得到转换后的说话人语音。
2.根据权利要求1所述的非平行文本条件下基于i向量的多对多说话人转换方法,其特征在于:步骤(1.3)和(1.4)中的训练过程包括以下步骤:
(1)将训练语料的频谱包络特征x,作为所述编码器的输入数据,经过网络训练后得到说话人无关的语义特征z;
(2)将上述语义特征z与说话人标签y、说话人i向量i输入生成器进行训练,使生成器的损失函数尽量小,得到生成的说话人频谱包络特征x′;
(3)将上述说话人频谱包络特征x′和训练语料的频谱包络特征x输入所述鉴别器进行训练,使鉴别器的损失函数尽量大;
(4)重复步骤(1)、(2)和(3),直至达到迭代次数,从而得到训练好的VAWGAN网络。
3.根据权利要求1所述的非平行文本条件下基于i向量的多对多说话人转换方法,其特征在于步骤(2.2)中的输入过程包括以下步骤:
(1)将频谱包络特征x输入编码器,得到说话人无关的语义特征z;
(2)将得到的语义特征z与目标说话人标签y、目标说话人i向量i输入到所述的生成器中,重构出目标说话人频谱包络特征x′。
4.根据权利要求1所述的非平行文本条件下基于i向量的多对多说话人转换方法,其特征在于:所述的编码器采用二维卷积神经网络,包括5个卷积层和1个全连接层,5个卷积层的过滤器大小均为7*1,步长均为3,过滤器深度分别为16、32、64、128、256。
6.根据权利要求5所述的非平行文本条件下基于i向量的多对多说话人转换方法,其特征在于:所述的生成器的二维卷积神经网络G包括4个卷积层,4个卷积层的过滤器大小分别为9*1、7*1、7*1、1025*1,步长分别为3、3、3、1,过滤器深度分别为32、16、8、1。
7.根据权利要求5所述的非平行文本条件下基于i向量的多对多说话人转换方法,其特征在于:所述的鉴别器的二维卷积神经网络D,包括3个卷积层和1个全连接层,3个卷积层的过滤器大小分别为7*1、7*1、115*1,步长均为3,过滤器深度分别为16、32、64。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811337338.0A CN109377978B (zh) | 2018-11-12 | 2018-11-12 | 非平行文本条件下基于i向量的多对多说话人转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811337338.0A CN109377978B (zh) | 2018-11-12 | 2018-11-12 | 非平行文本条件下基于i向量的多对多说话人转换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109377978A CN109377978A (zh) | 2019-02-22 |
CN109377978B true CN109377978B (zh) | 2021-01-26 |
Family
ID=65383982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811337338.0A Active CN109377978B (zh) | 2018-11-12 | 2018-11-12 | 非平行文本条件下基于i向量的多对多说话人转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109377978B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110060701B (zh) * | 2019-04-04 | 2023-01-31 | 南京邮电大学 | 基于vawgan-ac的多对多语音转换方法 |
CN110047501B (zh) * | 2019-04-04 | 2021-09-07 | 南京邮电大学 | 基于beta-VAE的多对多语音转换方法 |
CN110060657B (zh) * | 2019-04-04 | 2023-01-31 | 南京邮电大学 | 基于sn的多对多说话人转换方法 |
CN110060690B (zh) * | 2019-04-04 | 2023-03-24 | 南京邮电大学 | 基于STARGAN和ResNet的多对多说话人转换方法 |
CN110060691B (zh) * | 2019-04-16 | 2023-02-28 | 南京邮电大学 | 基于i向量和VARSGAN的多对多语音转换方法 |
CN110085254A (zh) * | 2019-04-22 | 2019-08-02 | 南京邮电大学 | 基于beta-VAE和i-vector的多对多语音转换方法 |
CN110136686A (zh) * | 2019-05-14 | 2019-08-16 | 南京邮电大学 | 基于STARGAN与i向量的多对多说话人转换方法 |
CN110288975B (zh) * | 2019-05-17 | 2022-04-22 | 北京达佳互联信息技术有限公司 | 语音风格迁移方法、装置、电子设备及存储介质 |
CN110211575B (zh) * | 2019-06-13 | 2021-06-04 | 思必驰科技股份有限公司 | 用于数据增强的语音加噪方法及*** |
CN110364186B (zh) * | 2019-08-08 | 2021-06-25 | 清华大学深圳研究生院 | 一种基于对抗学习的端到端的跨语言语音情感识别方法 |
KR102680097B1 (ko) | 2019-11-01 | 2024-07-02 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
WO2021127985A1 (zh) * | 2019-12-24 | 2021-07-01 | 深圳市优必选科技股份有限公司 | 语音转换方法、***、装置及存储介质 |
CN111554275B (zh) * | 2020-05-15 | 2023-11-03 | 深圳前海微众银行股份有限公司 | 语音识别方法、装置、设备及计算机可读存储介质 |
CN111785261B (zh) * | 2020-05-18 | 2023-07-21 | 南京邮电大学 | 基于解纠缠和解释性表征的跨语种语音转换方法及*** |
CN111696520A (zh) * | 2020-05-26 | 2020-09-22 | 深圳壹账通智能科技有限公司 | 智能配音方法、装置、介质及电子设备 |
CN111724809A (zh) * | 2020-06-15 | 2020-09-29 | 苏州意能通信息技术有限公司 | 一种基于变分自编码器的声码器实现方法及装置 |
CN112071325B (zh) * | 2020-09-04 | 2023-09-05 | 中山大学 | 一种基于双声纹特征向量和序列到序列建模的多对多语音转换方法 |
CN112382271B (zh) * | 2020-11-30 | 2024-03-26 | 北京百度网讯科技有限公司 | 语音处理方法、装置、电子设备和存储介质 |
CN113808570B (zh) * | 2021-09-09 | 2023-07-14 | 南京邮电大学 | 基于激活指导和内卷积的跨语种语音转换方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982809A (zh) * | 2012-12-11 | 2013-03-20 | 中国科学技术大学 | 一种说话人声音转换方法 |
CN105390141A (zh) * | 2015-10-14 | 2016-03-09 | 科大讯飞股份有限公司 | 声音转换方法和装置 |
CN107301859A (zh) * | 2017-06-21 | 2017-10-27 | 南京邮电大学 | 基于自适应高斯聚类的非平行文本条件下的语音转换方法 |
CN108777140A (zh) * | 2018-04-27 | 2018-11-09 | 南京邮电大学 | 一种非平行语料训练下基于vae的语音转换方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016137042A1 (ko) * | 2015-02-27 | 2016-09-01 | 삼성전자 주식회사 | 사용자 인식을 위한 특징 벡터를 변환하는 방법 및 디바이스 |
-
2018
- 2018-11-12 CN CN201811337338.0A patent/CN109377978B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982809A (zh) * | 2012-12-11 | 2013-03-20 | 中国科学技术大学 | 一种说话人声音转换方法 |
CN105390141A (zh) * | 2015-10-14 | 2016-03-09 | 科大讯飞股份有限公司 | 声音转换方法和装置 |
CN107301859A (zh) * | 2017-06-21 | 2017-10-27 | 南京邮电大学 | 基于自适应高斯聚类的非平行文本条件下的语音转换方法 |
CN108777140A (zh) * | 2018-04-27 | 2018-11-09 | 南京邮电大学 | 一种非平行语料训练下基于vae的语音转换方法 |
Non-Patent Citations (2)
Title |
---|
基于AutoEncoder DBN-VQ的说话人识别***;刘俊坤,李燕萍,凌云志;《计算机技术与发展》;20180228;第28卷(第2期);第45-49页 * |
语谱特征的身份认证向量识别方法;冯辉宗,王芸芳;《重庆大学学报》;20170531(第05期);第88-94页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109377978A (zh) | 2019-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109377978B (zh) | 非平行文本条件下基于i向量的多对多说话人转换方法 | |
CN109326283B (zh) | 非平行文本条件下基于文本编码器的多对多语音转换方法 | |
CN110060701B (zh) | 基于vawgan-ac的多对多语音转换方法 | |
CN109671442B (zh) | 基于STARGAN和x向量的多对多说话人转换方法 | |
CN110060691B (zh) | 基于i向量和VARSGAN的多对多语音转换方法 | |
CN110060690B (zh) | 基于STARGAN和ResNet的多对多说话人转换方法 | |
Wu et al. | One-shot voice conversion by vector quantization | |
CN111785261B (zh) | 基于解纠缠和解释性表征的跨语种语音转换方法及*** | |
CN109599091B (zh) | 基于STARWGAN-GP和x向量的多对多说话人转换方法 | |
CN110600047B (zh) | 基于Perceptual STARGAN的多对多说话人转换方法 | |
CN109584893B (zh) | 非平行文本条件下基于VAE与i-vector的多对多语音转换*** | |
CN104217721B (zh) | 基于说话人模型对齐的非对称语音库条件下的语音转换方法 | |
CN110060657B (zh) | 基于sn的多对多说话人转换方法 | |
CN110047501B (zh) | 基于beta-VAE的多对多语音转换方法 | |
CN110136686A (zh) | 基于STARGAN与i向量的多对多说话人转换方法 | |
CN111429893A (zh) | 基于Transitive STARGAN的多对多说话人转换方法 | |
CN111696522A (zh) | 基于hmm和dnn的藏语语音识别方法 | |
CN110600046A (zh) | 基于改进的STARGAN和x向量的多对多说话人转换方法 | |
Patel et al. | Novel adaptive generative adversarial network for voice conversion | |
Deshpande et al. | Speaker identification using admissible wavelet packet based decomposition | |
Aura et al. | Analysis of the Error Pattern of HMM based Bangla ASR | |
Bakır | Automatic speaker gender identification for the German language | |
CN108510995B (zh) | 面向语音通信的身份信息隐藏方法 | |
Naing et al. | Using double-density dual tree wavelet transform into MFCC for noisy speech recognition | |
CN113808570B (zh) | 基于激活指导和内卷积的跨语种语音转换方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |