JP4246792B2 - 声質変換装置および声質変換方法 - Google Patents
声質変換装置および声質変換方法 Download PDFInfo
- Publication number
- JP4246792B2 JP4246792B2 JP2008542127A JP2008542127A JP4246792B2 JP 4246792 B2 JP4246792 B2 JP 4246792B2 JP 2008542127 A JP2008542127 A JP 2008542127A JP 2008542127 A JP2008542127 A JP 2008542127A JP 4246792 B2 JP4246792 B2 JP 4246792B2
- Authority
- JP
- Japan
- Prior art keywords
- vowel
- vocal tract
- information
- tract information
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 327
- 238000000034 method Methods 0.000 title claims description 70
- 230000001755 vocal effect Effects 0.000 claims description 501
- 230000006870 function Effects 0.000 claims description 96
- 230000015572 biosynthetic process Effects 0.000 claims description 38
- 238000003786 synthesis reaction Methods 0.000 claims description 38
- 238000004458 analytical method Methods 0.000 claims description 33
- 230000005540 biological transmission Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 49
- 238000012545 processing Methods 0.000 description 39
- 238000001228 spectrum Methods 0.000 description 22
- 230000009466 transformation Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 230000002996 emotional effect Effects 0.000 description 10
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008602 contraction Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 5
- 238000001308 synthesis method Methods 0.000 description 5
- 230000001131 transforming effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002715 modification method Methods 0.000 description 3
- 239000011295 pitch Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
- G10L2021/0135—Voice conversion or morphing
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephone Function (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
図3は、本発明の実施の形態1に係る声質変換装置の構成図である。
目標母音声道情報保持部101は、日本語の場合、目標話者の少なくとも5母音(/aiueo/)における、目標話者の声道形状に由来する声道情報を保持する。英語等の他言語の場合には、日本語の場合と同様に各母音について声道情報を保持すればよい。声道情報の表現方法としては、例えば声道断面積関数がある。声道断面積関数は、図4(a)に示すような可変円形断面積の音響管で声道を模擬した音響管モデルにおける各音響管の断面積を表すものである。この断面積は、LPC(Linear Predictive Coding)分析に基づくPARCOR(Partial Auto Correlation)係数と一意に対応することが知られており、式1により変換可能である。本実施の形態では、PARCOR係数kiにより声道情報を表現するものとする。以降、声道情報はPARCOR係数を用いて説明するが、声道情報はPARCOR係数に限定されるものではなく、PARCOR係数に等価なLSP(Line Spectrum Pairs)やLPCなどを用いてもよい。また、前記音響管モデルにおける音響管の間の反射係数とPARCOR係数との関係は、符号が反転していることのみである。このため、反射係数そのものを用いてももちろん構わない。
・線形予測係数は分析次数pに依存するが、PARCOR係数は分析の次数に依存しない。
・低次の係数ほど変動によるスペクトルへの影響が大きく、高次になるにつれて変動の影響が小さくなる。
・高次の係数の変動の影響は平坦に全周波数帯域にわたる。
変換比率入力部102は、目標とする話者の音声にどの程度近づけるかを指定する変換比率の入力を受け付ける。変換比率は通常0以上1以下の数値で指定される。変換比率が1に近いほど、変換後の音声の声質が目標話者に近く、変換比率が0に近いほど変換元音声の声質に近い。
母音変換部103は、入力された音素境界情報付声道情報に含まれる母音区間の声道情報を、目標母音声道情報保持部101に保持されている目標母音声道情報へ、変換比率入力部102で指定された変換比率で変換する。詳細な変換方法を以下に説明する。
声質を目標話者に変換するために、母音変換部103で入力された音素境界情報付声道情報に含まれる母音を目標話者の母音声道情報に変換したが、母音を変換することにより、子音と母音の接続境界において、声道情報の不連続が生じる。
子音選択部105は、母音変換部103により変換された母音声道情報に適合する子音声道情報を子音声道情報保持部104から選択する。どの子音声道情報を選択するかは、子音の種類(音素)と、子音の始端および終端の接続点における声道情報の連続性とにより判断できる。つまり、PARCOR係数の接続点における連続性に基づいて、選択するか否かを判断することができる。具体的には、子音選択部105は、式6を満たす子音声道情報Ciを探索する。
子音選択部105により、母音変換部103により変換された後の母音声道情報に適合する子音声道情報を取得することが可能であるが、必ずしも接続点の連続性が十分でない場合がある。そこで、子音変形部106は、子音選択部105により選択した子音の声道情報を後続母音の接続点と連続的に接続できるように変形を行う。
合成部107は、声質変換後の声道情報と別途入力される音源情報とを用いて音声を合成する。合成の方法は特に限定されるものではないが、声道情報としてPARCOR係数を用いている場合には、PARCOR合成を用いればよい。あるいは、PARCOR係数からLPC係数に変換した後に音声を合成してもよいし、PARCOR係数からフォルマントを抽出し、フォルマント合成により音声を合成してもよい。さらにはPARCOR係数からLSP係数を算出し、LSP合成により音声を合成するようにしてもよい。
以下、本発明の実施の形態2について説明する。
実施の形態2では、被変換音声と目標母音声道情報とをサーバで管理し、端末がそれぞれをダウンロードして声質が変換された音声を生成する利用方法について示した。これに対し、本実施の形態では、ユーザが自分の声の声質を端末を用いて登録し、例えば、着呼をユーザに知らせるための着信歌声などを自分の声質に変換して楽しむサービスに本発明を適用した場合について説明する。
102 変換比率入力部
103 母音変換部
104 子音声道情報保持部
105 子音選択部
106 子音変形部
107 合成部
111 被変換音声保持部
112 被変換音声情報送信部
113 目標母音声道情報送信部
114 被変換音声情報受信部
115 目標母音声道情報受信部
121 被変換音声サーバ
122 目標音声サーバ
201 目標話者音声
202 音素認識部
203 母音安定区間抽出部
204 目標声道情報作成部
301 LPC分析部
302 PARCOR算出部
303 ARX分析部
401 テキスト合成装置
Claims (19)
- 入力音声に対応する情報を用いて入力音声の声質を変換する声質変換装置であって、
目標となる声質を表す母音の声道情報である目標母音声道情報を母音毎に保持する目標母音声道情報保持部と、
入力音声に対応する音素および音素の時間長情報が付与された声道情報である音素境界情報付声道情報を受け、前記音素境界情報付声道情報に含まれる母音の声道情報の時間変化を第1の関数で近似し、当該母音と同じ母音の前記目標母音声道情報保持部に保持されている声道情報の時間変化を第2の関数で近似し、前記第1の関数と前記第2の関数を結合することにより第3の関数を求め、前記第3の関数により変換後の母音の声道情報を生成する母音変換部と、
前記母音変換部による変換後の母音の声道情報を用いて、音声を合成する合成部と
を備える声質変換装置。 - さらに、前記音素境界情報付声道情報を受け、当該音素境界情報付声道情報に含まれる子音の声道情報毎に、前記目標となる声質以外の声質を含む子音の声道情報の中から、前記音素境界情報付声道情報に含まれる子音と同じ音素の子音の声道情報を導出する子音声道情報導出部を備え、
前記合成部は、前記母音変換部による変換後の母音の声道情報と、前記子音声道情報導出部において導出された子音の声道情報とを用いて、音声を合成する
請求項1に記載の声質変換装置。 - 前記子音声道情報導出部は、
子音毎に、複数の話者の音声から抽出された声道情報を保持する子音声道情報保持部と、
前記音素境界情報付声道情報を受け、当該音素境界情報付声道情報に含まれる子音の声道情報毎に、当該子音の前または後の母音区間に位置する前記母音変換部による変換後の母音の声道情報に適合する当該子音と同じ音素の子音を有する声道情報を、前記子音声道情報保持部に保持されている子音の声道情報から選択する子音選択部とを有する
請求項2に記載の声質変換装置。 - 前記子音選択部は、前記音素境界情報付声道情報を受け、当該音素境界情報付声道情報に含まれる子音の声道情報毎に、当該子音の前または後の母音区間に位置する前記母音変換部による変換後の母音の声道情報との値の連続性に基づいて、当該子音と同じ音素の子音を有する声道情報を前記子音声道情報保持部に保持されている子音の声道情報から選択する
請求項3に記載の声質変換装置。 - さらに、前記子音選択部において選択された子音の声道情報を、当該子音の後の母音区間に位置する前記母音変換部による変換後の母音の声道情報との値の連続性が良くなるように変形する子音変形部を備える
請求項3に記載の声質変換装置。 - さらに、目標となる声質への変換の度合いを示す変換比率を入力する変換比率入力部を備え、
前記母音変換部は、入力音声に対応する音素および音素の時間長情報が付与された声道情報である音素境界情報付声道情報と、前記変換比率入力部で入力された前記変換比率とを受け、前記音素境界情報付声道情報に含まれる母音の声道情報の時間変化を第1の関数で近似し、当該母音と同じ母音の前記目標母音声道情報保持部に保持されている声道情報の時間変化を第2の関数で近似し、前記第1の関数と前記第2の関数とを前記変換比率で結合することにより前記第3の関数を求め、前記第3の関数により変換後の母音の声道情報を生成する
請求項1に記載の声質変換装置。 - 前記母音変換部は、前記音素境界情報付声道情報に含まれる母音の声道情報を次数毎に第1の多項式で近似し、当該母音と同じ母音の前記目標母音声道情報保持部に保持されている前記目標母音声道情報を次数毎に第2の多項式で近似し、次数毎に、前記第1の多項式の係数と前記第2多項式の係数とを前記変換比率で混合することにより第3の多項式の各次数の係数を求め、変換後の母音の声道情報を前記第3の多項式で近似する
請求項6に記載の声質変換装置。 - 前記母音変換部は、さらに、第1の母音の声道情報と第2の母音の声道情報との時間的な境界である母音境界を含む所定の時間を渡り区間とし、前記母音境界において前記第1の母音の声道情報と前記第2の母音の声道情報とが連続に接続されるように、当該渡り区間に含まれる前記第1の母音の声道情報と前記第2の母音の声道情報とを補間する
請求項1に記載の声質変換装置。 - 前記所定の時間は、前記母音境界の前後に位置する前記第1の母音と前記第2の母音との継続時間長が長いほど、長く設定される
請求項8に記載の声質変換装置。 - 前記声道情報は、PARCOR(Partial Auto Correlation)係数または声道音響管モデルの反射係数である
請求項1に記載の声質変換装置。 - 前記PARCOR係数または声道音響管モデルの反射係数は、入力音声をLPC(Linear Predictive Coding)分析し、分析された全極モデルの多項式に基づいて算出される
請求項10に記載の声質変換装置。 - 前記PARCOR係数または声道音響管モデルの反射係数は、入力音声をARX(Autoregressive Exogenous)分析し、分析された全極モデルの多項式に基づいて算出される
請求項10に記載の声質変換装置。 - 前記音素境界情報付声道情報は、テキストから生成された合成音声に基づいて定められる
請求項1に記載の声質変換装置。 - 前記目標母音声道情報保持部は、
目標となる声質の音声から安定した母音区間を検出する安定母音区間抽出部と、
安定した母音区間から目標となる声道情報を抽出する目標声道情報作成部と、
により作成された目標母音声道情報を保持する
請求項1に記載の声質変換装置。 - 前記安定母音区間抽出部は、
前記目標となる声質の音声に含まれる音素を認識する音素認識部と、
前記音素認識部が認識した母音区間において、前記音素認識部における認識結果の尤度が所定の閾値より高い区間を安定母音区間として抽出する安定区間抽出部とを有する
請求項14に記載の声質変換装置。 - 入力音声に対応する情報を用いて入力音声の声質を変換する声質変換方法であって、
入力音声に対応する音素および音素の時間長情報が付与された声道情報である音素境界情報付声道情報を受け、前記音素境界情報付声道情報に含まれる母音の声道情報の時間変化を第1の関数で近似し、当該母音と同じ母音の前記目標母音声道情報保持部に保持されている声道情報の時間変化を第2の関数で近似し、前記第1の関数と前記第2の関数を結合することにより第3の関数を求め、前記第3の関数により変換後の母音の声道情報を生成する母音変換ステップと、
前記母音変換ステップによる変換後の母音の声道情報を用いて、音声を合成する合成ステップと
を含む声質変換方法。 - 入力音声に対応する情報を用いて入力音声の声質を変換するプログラムであって、
入力音声に対応する音素および音素の時間長情報が付与された声道情報である音素境界情報付声道情報を受け、前記音素境界情報付声道情報に含まれる母音の声道情報の時間変化を第1の関数で近似し、当該母音と同じ母音の前記目標母音声道情報保持部に保持されている声道情報の時間変化を第2の関数で近似し、前記第1の関数と前記第2の関数を結合することにより第3の関数を求め、前記第3の関数により変換後の母音の声道情報を生成する母音変換ステップと、
前記母音変換ステップによる変換後の母音の声道情報を用いて、音声を合成する合成ステップと
をコンピュータに実行させるためのプログラム。 - 被変換音声に対応する情報を用いて被変換音声の声質を変換する声質変換システムであって、
サーバと、
前記サーバとネットワークを介して接続される端末とを備え、
前記サーバは、
目標となる声質を表す母音の声道情報である目標母音声道情報を母音毎に保持する目標母音声道情報保持部と、
前記目標母音声道情報保持部に保持された目標母音声道情報を、ネットワークを介して前記端末に送信する目標母音声道情報送信部と、
被変換音声に対応する情報である被変換音声情報を保持する被変換音声保持部と、
前記被変換音声保持部に保持された被変換音声情報をネットワークを介して前記端末に送信する被変換音声情報送信部とを備え、
前記端末は、
前記目標母音声道情報送信部より送信された前記目標母音声道情報を受信する目標母音声道情報受信部と、
前記被変換音声情報送信部より送信された前記被変換音声情報を受信する被変換音声情報受信部と、
前記被変換音声情報受信部により受信された被変換音声情報に含まれる母音の声道情報の時間変化を第1の関数で近似し、当該母音と同じ母音の前記目標母音声道情報受信部により受信された前記目標母音声道情報の時間変化を第2の関数で近似し、前記第1の関数と前記第2の関数を結合することにより第3の関数を求め、前記第3の関数により変換後の母音の声道情報を生成する母音変換部と、
前記母音変換部による変換後の母音の声道情報を用いて、音声を合成する合成部と
を備える声質変換システム。 - 被変換音声に対応する情報を用いて被変換音声の声質を変換する声質変換システムであって、
端末と、
前記端末とネットワークを介して接続されるサーバとを備え、
前記端末は、
目標となる声質を表す母音の声道情報である目標母音声道情報を母音毎に保持する目標母音声道情報を作成する目標母音声道情報作成部と、
前記目標母音声道情報作成部で作成された前記目標母音声道情報をネットワークを介して前記端末に送信する目標母音声道情報送信部と、
前記サーバから、声質変換後の音声を受信する声質変換音声受信部と、
前記声質変換音声受信部が受信した前記声質変換後の音声を再生する再生部とを備え、
前記サーバは、
被変換音声に対応する情報である被変換音声情報を保持する被変換音声保持部と、
前記目標母音声道情報送信部より送信された前記目標母音声道情報を受信する目標母音声道情報受信部と、
前記被変換音声情報保持部に保持されている被変換音声情報に含まれる母音の声道情報の時間変化を第1の関数で近似し、当該母音と同じ母音の前記目標母音声道情報受信部により受信された前記目標母音声道情報の時間変化を第2の関数で近似し、前記第1の関数と前記第2の関数を結合することにより第3の関数を求め、前記第3の関数により変換後の母音の声道情報を生成する母音変換部と、
前記母音変換部による変換後の母音の声道情報を用いて、音声を合成する合成部と、
合成部において合成された後の音声を、声質変換後の音声として、ネットワークを介して前記声質変換音声受信部に送信する合成音声送信部と
を備える声質変換システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007128555 | 2007-05-14 | ||
JP2007128555 | 2007-05-14 | ||
PCT/JP2008/001160 WO2008142836A1 (ja) | 2007-05-14 | 2008-05-08 | 声質変換装置および声質変換方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4246792B2 true JP4246792B2 (ja) | 2009-04-02 |
JPWO2008142836A1 JPWO2008142836A1 (ja) | 2010-08-05 |
Family
ID=40031555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008542127A Expired - Fee Related JP4246792B2 (ja) | 2007-05-14 | 2008-05-08 | 声質変換装置および声質変換方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8898055B2 (ja) |
JP (1) | JP4246792B2 (ja) |
CN (1) | CN101578659B (ja) |
WO (1) | WO2008142836A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8280738B2 (en) | 2009-07-06 | 2012-10-02 | Panasonic Corporation | Voice quality conversion apparatus, pitch conversion apparatus, and voice quality conversion method |
KR101665882B1 (ko) | 2015-08-20 | 2016-10-13 | 한국과학기술원 | 음색변환과 음성dna를 이용한 음성합성 기술 및 장치 |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008142836A1 (ja) * | 2007-05-14 | 2008-11-27 | Panasonic Corporation | 声質変換装置および声質変換方法 |
JP2009020291A (ja) * | 2007-07-11 | 2009-01-29 | Yamaha Corp | 音声処理装置および通信端末装置 |
CN101359473A (zh) * | 2007-07-30 | 2009-02-04 | 国际商业机器公司 | 自动进行语音转换的方法和装置 |
US8140326B2 (en) * | 2008-06-06 | 2012-03-20 | Fuji Xerox Co., Ltd. | Systems and methods for reducing speech intelligibility while preserving environmental sounds |
JP4490507B2 (ja) * | 2008-09-26 | 2010-06-30 | パナソニック株式会社 | 音声分析装置および音声分析方法 |
JP5253518B2 (ja) * | 2008-12-22 | 2013-07-31 | 日本電信電話株式会社 | 符号化方法、復号方法、それらの装置、プログラム及び記録媒体 |
US8626508B2 (en) * | 2009-02-26 | 2014-01-07 | National University Corporation Toyohashi University Of Technology | Speech search device and speech search method |
JP5331901B2 (ja) * | 2009-12-21 | 2013-10-30 | 富士通株式会社 | 音声制御装置 |
US9564120B2 (en) * | 2010-05-14 | 2017-02-07 | General Motors Llc | Speech adaptation in speech synthesis |
JP5039865B2 (ja) * | 2010-06-04 | 2012-10-03 | パナソニック株式会社 | 声質変換装置及びその方法 |
US20140207456A1 (en) * | 2010-09-23 | 2014-07-24 | Waveform Communications, Llc | Waveform analysis of speech |
JP5194197B2 (ja) | 2011-07-14 | 2013-05-08 | パナソニック株式会社 | 声質変換システム、声質変換装置及びその方法、声道情報生成装置及びその方法 |
JP5148026B1 (ja) * | 2011-08-01 | 2013-02-20 | パナソニック株式会社 | 音声合成装置および音声合成方法 |
CN102592590B (zh) * | 2012-02-21 | 2014-07-02 | 华南理工大学 | 一种可任意调节的语音自然变声方法及装置 |
CN102682766A (zh) * | 2012-05-12 | 2012-09-19 | 黄莹 | 可自学习的情侣声音对换机 |
US20140236602A1 (en) * | 2013-02-21 | 2014-08-21 | Utah State University | Synthesizing Vowels and Consonants of Speech |
US9472182B2 (en) * | 2014-02-26 | 2016-10-18 | Microsoft Technology Licensing, Llc | Voice font speaker and prosody interpolation |
JP2016080827A (ja) * | 2014-10-15 | 2016-05-16 | ヤマハ株式会社 | 音韻情報合成装置および音声合成装置 |
CN105654941A (zh) * | 2016-01-20 | 2016-06-08 | 华南理工大学 | 一种基于指向目标人变声比例参数的语音变声方法及装置 |
US20190362703A1 (en) * | 2017-02-15 | 2019-11-28 | Nippon Telegraph And Telephone Corporation | Word vectorization model learning device, word vectorization device, speech synthesis device, method thereof, and program |
US11024302B2 (en) * | 2017-03-14 | 2021-06-01 | Texas Instruments Incorporated | Quality feedback on user-recorded keywords for automatic speech recognition systems |
CN107240401B (zh) * | 2017-06-13 | 2020-05-15 | 厦门美图之家科技有限公司 | 一种音色转换方法及计算设备 |
CN108133713B (zh) * | 2017-11-27 | 2020-10-02 | 苏州大学 | 一种在声门闭相下估计声道面积的方法 |
WO2019116889A1 (ja) * | 2017-12-12 | 2019-06-20 | ソニー株式会社 | 信号処理装置および方法、学習装置および方法、並びにプログラム |
JP7106897B2 (ja) * | 2018-03-09 | 2022-07-27 | ヤマハ株式会社 | 音声処理方法、音声処理装置およびプログラム |
JP7200483B2 (ja) * | 2018-03-09 | 2023-01-10 | ヤマハ株式会社 | 音声処理方法、音声処理装置およびプログラム |
US11605371B2 (en) * | 2018-06-19 | 2023-03-14 | Georgetown University | Method and system for parametric speech synthesis |
CN110138654B (zh) * | 2019-06-06 | 2022-02-11 | 北京百度网讯科技有限公司 | 用于处理语音的方法和装置 |
US11341986B2 (en) * | 2019-12-20 | 2022-05-24 | Genesys Telecommunications Laboratories, Inc. | Emotion detection in audio interactions |
US11600284B2 (en) * | 2020-01-11 | 2023-03-07 | Soundhound, Inc. | Voice morphing apparatus having adjustable parameters |
CN111260761B (zh) * | 2020-01-15 | 2023-05-09 | 北京猿力未来科技有限公司 | 一种生成动画人物口型的方法及装置 |
US11430431B2 (en) * | 2020-02-06 | 2022-08-30 | Tencent America LLC | Learning singing from speech |
US11183168B2 (en) | 2020-02-13 | 2021-11-23 | Tencent America LLC | Singing voice conversion |
US11783804B2 (en) | 2020-10-26 | 2023-10-10 | T-Mobile Usa, Inc. | Voice communicator with voice changer |
CN113314101B (zh) * | 2021-04-30 | 2024-05-14 | 北京达佳互联信息技术有限公司 | 一种语音处理方法、装置、电子设备及存储介质 |
WO2023114064A1 (en) * | 2021-12-13 | 2023-06-22 | Cerence Operating Company | Adaptation and training of neural speech synthesis |
Family Cites Families (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3786188A (en) * | 1972-12-07 | 1974-01-15 | Bell Telephone Labor Inc | Synthesis of pure speech from a reverberant signal |
US4058676A (en) * | 1975-07-07 | 1977-11-15 | International Communication Sciences | Speech analysis and synthesis system |
US4264783A (en) * | 1978-10-19 | 1981-04-28 | Federal Screw Works | Digital speech synthesizer having an analog delay line vocal tract |
JPS5650398A (en) * | 1979-10-01 | 1981-05-07 | Hitachi Ltd | Sound synthesizer |
US4707858A (en) * | 1983-05-02 | 1987-11-17 | Motorola, Inc. | Utilizing word-to-digital conversion |
US4703505A (en) * | 1983-08-24 | 1987-10-27 | Harris Corporation | Speech data encoding scheme |
US4827516A (en) * | 1985-10-16 | 1989-05-02 | Toppan Printing Co., Ltd. | Method of analyzing input speech and speech analysis apparatus therefor |
JPS63501603A (ja) * | 1985-10-30 | 1988-06-16 | セントラル インステイチユ−ト フオ ザ デフ | スピ−チ処理装置および方法 |
US4720861A (en) * | 1985-12-24 | 1988-01-19 | Itt Defense Communications A Division Of Itt Corporation | Digital speech coding circuit |
JPS6363100A (ja) | 1986-09-04 | 1988-03-19 | 日本放送協会 | 声質変換方法 |
JP2595235B2 (ja) * | 1987-03-18 | 1997-04-02 | 富士通株式会社 | 音声合成装置 |
US4979216A (en) * | 1989-02-17 | 1990-12-18 | Malsheen Bathsheba J | Text to speech synthesis system and method using context dependent vowel allophones |
US5522013A (en) * | 1991-04-30 | 1996-05-28 | Nokia Telecommunications Oy | Method for speaker recognition using a lossless tube model of the speaker's |
US5327518A (en) * | 1991-08-22 | 1994-07-05 | Georgia Tech Research Corporation | Audio analysis/synthesis system |
JP3396480B2 (ja) * | 1991-09-05 | 2003-04-14 | モトローラ・インコーポレイテッド | 多重モード音声コーダのためのエラー保護 |
KR940002854B1 (ko) * | 1991-11-06 | 1994-04-04 | 한국전기통신공사 | 음성 합성시스팀의 음성단편 코딩 및 그의 피치조절 방법과 그의 유성음 합성장치 |
WO1993018505A1 (en) * | 1992-03-02 | 1993-09-16 | The Walt Disney Company | Voice transformation system |
JP3083624B2 (ja) | 1992-03-13 | 2000-09-04 | 株式会社東芝 | 音声規則合成装置 |
US5463715A (en) * | 1992-12-30 | 1995-10-31 | Innovation Technologies | Method and apparatus for speech generation from phonetic codes |
AU682380B2 (en) * | 1993-07-13 | 1997-10-02 | Theodore Austin Bordeaux | Multi-language speech recognition system |
JPH0772900A (ja) | 1993-09-02 | 1995-03-17 | Nippon Hoso Kyokai <Nhk> | 音声合成の感情付与方法 |
US5633983A (en) * | 1994-09-13 | 1997-05-27 | Lucent Technologies Inc. | Systems and methods for performing phonemic synthesis |
US5717819A (en) * | 1995-04-28 | 1998-02-10 | Motorola, Inc. | Methods and apparatus for encoding/decoding speech signals at low bit rates |
US6240384B1 (en) * | 1995-12-04 | 2001-05-29 | Kabushiki Kaisha Toshiba | Speech synthesis method |
DE19610019C2 (de) * | 1996-03-14 | 1999-10-28 | Data Software Gmbh G | Digitales Sprachsyntheseverfahren |
JPH1097267A (ja) | 1996-09-24 | 1998-04-14 | Hitachi Ltd | 声質変換方法および装置 |
KR100269255B1 (ko) * | 1997-11-28 | 2000-10-16 | 정선종 | 유성음 신호에서 성문 닫힘 구간 신호의 가변에의한 피치 수정방법 |
US6490562B1 (en) * | 1997-04-09 | 2002-12-03 | Matsushita Electric Industrial Co., Ltd. | Method and system for analyzing voices |
US6064960A (en) * | 1997-12-18 | 2000-05-16 | Apple Computer, Inc. | Method and apparatus for improved duration modeling of phonemes |
US7272556B1 (en) * | 1998-09-23 | 2007-09-18 | Lucent Technologies Inc. | Scalable and embedded codec for speech and audio signals |
US6400310B1 (en) * | 1998-10-22 | 2002-06-04 | Washington University | Method and apparatus for a tunable high-resolution spectral estimator |
JP2000305582A (ja) * | 1999-04-23 | 2000-11-02 | Oki Electric Ind Co Ltd | 音声合成装置 |
DE19935808A1 (de) * | 1999-07-29 | 2001-02-08 | Ericsson Telefon Ab L M | Echounterdrückungseinrichtung zum Unterdrücken von Echos in einer Sender/Empfänger-Einheit |
US6795807B1 (en) * | 1999-08-17 | 2004-09-21 | David R. Baraff | Method and means for creating prosody in speech regeneration for laryngectomees |
JP2001100776A (ja) * | 1999-09-30 | 2001-04-13 | Arcadia:Kk | 音声合成装置 |
US6766299B1 (en) * | 1999-12-20 | 2004-07-20 | Thrillionaire Productions, Inc. | Speech-controlled animation system |
JP3631657B2 (ja) | 2000-04-03 | 2005-03-23 | シャープ株式会社 | 声質変換装置および声質変換方法、並びに、プログラム記録媒体 |
US7016833B2 (en) * | 2000-11-21 | 2006-03-21 | The Regents Of The University Of California | Speaker verification system using acoustic data and non-acoustic data |
US20020128839A1 (en) * | 2001-01-12 | 2002-09-12 | Ulf Lindgren | Speech bandwidth extension |
JP3711880B2 (ja) * | 2001-03-09 | 2005-11-02 | ヤマハ株式会社 | 音声分析及び合成装置、方法、プログラム |
US20030088417A1 (en) * | 2001-09-19 | 2003-05-08 | Takahiro Kamai | Speech analysis method and speech synthesis system |
US20040199383A1 (en) * | 2001-11-16 | 2004-10-07 | Yumiko Kato | Speech encoder, speech decoder, speech endoding method, and speech decoding method |
US7065485B1 (en) * | 2002-01-09 | 2006-06-20 | At&T Corp | Enhancing speech intelligibility using variable-rate time-scale modification |
US7275030B2 (en) * | 2003-06-23 | 2007-09-25 | International Business Machines Corporation | Method and apparatus to compensate for fundamental frequency changes and artifacts and reduce sensitivity to pitch information in a frame-based speech processing system |
US7328154B2 (en) * | 2003-08-13 | 2008-02-05 | Matsushita Electrical Industrial Co., Ltd. | Bubble splitting for compact acoustic modeling |
JP2005134685A (ja) | 2003-10-31 | 2005-05-26 | Advanced Telecommunication Research Institute International | 声道形状パラメータの推定装置、音声合成装置、及びコンピュータプログラム |
US20050119890A1 (en) * | 2003-11-28 | 2005-06-02 | Yoshifumi Hirose | Speech synthesis apparatus and speech synthesis method |
JP4177751B2 (ja) | 2003-12-25 | 2008-11-05 | 株式会社国際電気通信基礎技術研究所 | 声質モデル生成方法、声質変換方法、並びにそれらのためのコンピュータプログラム、当該プログラムを記録した記録媒体、及び当該プログラムによりプログラムされたコンピュータ |
US20050171774A1 (en) * | 2004-01-30 | 2005-08-04 | Applebaum Ted H. | Features and techniques for speaker authentication |
JP2005242231A (ja) * | 2004-02-27 | 2005-09-08 | Yamaha Corp | 音声合成装置、音声合成方法、及び音声合成プログラム |
JP4829477B2 (ja) | 2004-03-18 | 2011-12-07 | 日本電気株式会社 | 声質変換装置および声質変換方法ならびに声質変換プログラム |
WO2005109399A1 (ja) * | 2004-05-11 | 2005-11-17 | Matsushita Electric Industrial Co., Ltd. | 音声合成装置および方法 |
WO2006134736A1 (ja) * | 2005-06-16 | 2006-12-21 | Matsushita Electric Industrial Co., Ltd. | 音声合成装置、音声合成方法およびプログラム |
JP4586675B2 (ja) | 2005-08-19 | 2010-11-24 | 株式会社国際電気通信基礎技術研究所 | 声道断面積関数の推定装置及びコンピュータプログラム |
JP4736632B2 (ja) * | 2005-08-31 | 2011-07-27 | 株式会社国際電気通信基礎技術研究所 | ボーカル・フライ検出装置及びコンピュータプログラム |
US8595007B2 (en) * | 2006-06-15 | 2013-11-26 | NITV Federal Services, LLC | Voice print recognition software system for voice identification and matching |
FR2911426A1 (fr) * | 2007-01-15 | 2008-07-18 | France Telecom | Modification d'un signal de parole |
WO2008102594A1 (ja) * | 2007-02-19 | 2008-08-28 | Panasonic Corporation | 力み変換装置、音声変換装置、音声合成装置、音声変換方法、音声合成方法およびプログラム |
CN101281744B (zh) * | 2007-04-04 | 2011-07-06 | 纽昂斯通讯公司 | 语音分析方法和装置以及语音合成方法和装置 |
WO2008142836A1 (ja) * | 2007-05-14 | 2008-11-27 | Panasonic Corporation | 声質変換装置および声質変換方法 |
CN101589430B (zh) * | 2007-08-10 | 2012-07-18 | 松下电器产业株式会社 | 声音分离装置、声音合成装置及音质变换装置 |
WO2010032405A1 (ja) * | 2008-09-16 | 2010-03-25 | パナソニック株式会社 | 音声分析装置、音声分析合成装置、補正規則情報生成装置、音声分析システム、音声分析方法、補正規則情報生成方法、およびプログラム |
JP4490507B2 (ja) * | 2008-09-26 | 2010-06-30 | パナソニック株式会社 | 音声分析装置および音声分析方法 |
-
2008
- 2008-05-08 WO PCT/JP2008/001160 patent/WO2008142836A1/ja active Application Filing
- 2008-05-08 JP JP2008542127A patent/JP4246792B2/ja not_active Expired - Fee Related
- 2008-05-08 US US12/307,021 patent/US8898055B2/en not_active Expired - Fee Related
- 2008-05-08 CN CN2008800016727A patent/CN101578659B/zh not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8280738B2 (en) | 2009-07-06 | 2012-10-02 | Panasonic Corporation | Voice quality conversion apparatus, pitch conversion apparatus, and voice quality conversion method |
KR101665882B1 (ko) | 2015-08-20 | 2016-10-13 | 한국과학기술원 | 음색변환과 음성dna를 이용한 음성합성 기술 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2008142836A1 (ja) | 2010-08-05 |
CN101578659B (zh) | 2012-01-18 |
WO2008142836A1 (ja) | 2008-11-27 |
US20090281807A1 (en) | 2009-11-12 |
CN101578659A (zh) | 2009-11-11 |
US8898055B2 (en) | 2014-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4246792B2 (ja) | 声質変換装置および声質変換方法 | |
US7979274B2 (en) | Method and system for preventing speech comprehension by interactive voice response systems | |
JP4294724B2 (ja) | 音声分離装置、音声合成装置および声質変換装置 | |
US7739113B2 (en) | Voice synthesizer, voice synthesizing method, and computer program | |
US20200410981A1 (en) | Text-to-speech (tts) processing | |
US8447592B2 (en) | Methods and apparatus for formant-based voice systems | |
US20070213987A1 (en) | Codebook-less speech conversion method and system | |
JP5039865B2 (ja) | 声質変換装置及びその方法 | |
JP6561499B2 (ja) | 音声合成装置および音声合成方法 | |
CN114203147A (zh) | 用于文本到语音的跨说话者样式传递以及用于训练数据生成的***和方法 | |
JPWO2008102594A1 (ja) | 力み変換装置、音声変換装置、音声合成装置、音声変換方法、音声合成方法およびプログラム | |
JPWO2005109399A1 (ja) | 音声合成装置および方法 | |
JP4829477B2 (ja) | 声質変換装置および声質変換方法ならびに声質変換プログラム | |
JPH031200A (ja) | 規則型音声合成装置 | |
Aryal et al. | Foreign accent conversion through voice morphing. | |
JP2010014913A (ja) | 声質変換音声生成装置および声質変換音声生成システム | |
JP6013104B2 (ja) | 音声合成方法、装置、及びプログラム | |
JP6330069B2 (ja) | 統計的パラメトリック音声合成のためのマルチストリームスペクトル表現 | |
JP2009157220A (ja) | 音声編集合成システム、音声編集合成プログラム及び音声編集合成方法 | |
JP2013033103A (ja) | 声質変換装置および声質変換方法 | |
JP2018004997A (ja) | 音声合成装置及びプログラム | |
Espic Calderón | In search of the optimal acoustic features for statistical parametric speech synthesis | |
JP2001312300A (ja) | 音声合成装置 | |
Lavner et al. | Voice morphing using 3D waveform interpolation surfaces and lossless tube area functions | |
JPH03189697A (ja) | 規則音声合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4246792 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |