JP7124373B2 - 学習装置、音響生成装置、方法及びプログラム - Google Patents
学習装置、音響生成装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7124373B2 JP7124373B2 JP2018056905A JP2018056905A JP7124373B2 JP 7124373 B2 JP7124373 B2 JP 7124373B2 JP 2018056905 A JP2018056905 A JP 2018056905A JP 2018056905 A JP2018056905 A JP 2018056905A JP 7124373 B2 JP7124373 B2 JP 7124373B2
- Authority
- JP
- Japan
- Prior art keywords
- waveform data
- group
- neural network
- generator
- frequency information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
具体的には、学習部140は、後述される学習処理を制御する。また、学習用の波形データを示すスペクトログラムをxrealとし、生成器110によって生成された波形データを示すスペクトログラムをxfakeとし、Dを判別器130の出力値とした場合、学習部140は、
logD(xreal)+log(1-D(xfake))
を最大化するよう判別器130のニューラルネットワークのパラメータを更新すると共に、
log(1-D(xfake))
を最小化するよう生成器110のニューラルネットワークのパラメータを更新してもよい。
logD(xreal)+log(1-D(xfake))
を誤差として算出してもよい。
入力されるソース情報から第1の記憶情報に従って波形データを生成する生成部と、
入力される周波数情報が第1のグループに属する波形データから抽出される周波数情報であるか否かを第2の記憶情報に従って判別する判別部と、
前記生成部で生成された波形データから抽出される周波数情報を前記判別部で判別した判別結果に基づいて、前記生成部が前記第1のグループに属する波形データを生成するように前記第1の記憶情報を変化させる制御部と、
を有する波形生成装置が提供される。
学習対象のモデルを格納するメモリと、
前記メモリに接続されるプロセッサと、
を有する学習装置であって、
前記学習対象のモデルは、ソース情報から波形データを生成する生成器と、スペクトログラムから出力値を生成する判別器とを含み、
前記プロセッサは、
前記ソース情報を前記生成器に入力し、前記生成器から第1の波形データを取得し、
音響画像変換方式に従って前記第1の波形データと学習用の第2の波形データとをそれぞれ第1のスペクトログラムと第2のスペクトログラムとに変換し、
前記第1のスペクトログラムと前記第2のスペクトログラムとを前記判別器に入力し、前記第1のスペクトログラムと前記第2のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習する学習装置が提供される。
学習済みモデルを格納するメモリと、
前記メモリに接続されるプロセッサと、
を有する音響生成装置であって、
前記プロセッサは、
ソース情報を取得し、
前記ソース情報を前記学習済みモデルに入力し、前記学習済みモデルから波形データを取得し、
前記学習済みモデルは、
前記ソース情報を生成器に入力し、前記生成器から第1の波形データを取得し、
音響画像変換方式に従って前記第1の波形データと学習用の第2の波形データとをそれぞれ第1のスペクトログラムと第2のスペクトログラムとに変換し、
前記第1のスペクトログラムと前記第2のスペクトログラムとを判別器に入力し、前記第1のスペクトログラムと前記第2のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習することによって取得される生成器である音響生成装置が提供される。
ソース情報から波形データを生成する生成器と、スペクトログラムから出力値を生成する判別器とを含む学習対象のモデルを学習する方法であって、
プロセッサが、前記ソース情報を前記生成器に入力し、前記生成器から第1の波形データを取得し、
前記プロセッサが、音響画像変換方式に従って前記第1の波形データと学習用の第2の波形データとをそれぞれ第1のスペクトログラムと第2のスペクトログラムとに変換し、
前記プロセッサが、前記第1のスペクトログラムと前記第2のスペクトログラムとを前記判別器に入力し、前記第1のスペクトログラムと前記第2のスペクトログラムとの各出力値を取得し、
前記プロセッサが、前記出力値の誤差に基づき前記生成器と前記判別器とを学習する方法が提供される。
プロセッサが、ソース情報を取得し、
前記プロセッサが、前記ソース情報を学習済みモデルに入力し、前記学習済みモデルから波形データを取得する方法であって、
前記学習済みモデルは、
前記ソース情報を生成器に入力し、前記生成器から第1の波形データを取得し、
音響画像変換方式に従って前記第1の波形データと学習用の第2の波形データとをそれぞれ第1のスペクトログラムと第2のスペクトログラムとに変換し、
前記第1のスペクトログラムと前記第2のスペクトログラムとを判別器に入力し、前記第1のスペクトログラムと前記第2のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習することによって取得される生成器である方法が提供される。
上述した方法をプロセッサに実現させるプログラム又はコンピュータ可読記憶媒体が提供される。
100 学習装置
110,220 生成器
120 変換部
130 判別器
140 学習部
200 音響生成装置
210 取得部
Claims (15)
- ソース情報を第1のニューラルネットワークに入力し、前記第1のニューラルネットワークからの出力として、前記第1のニューラルネットワークに入力したソース情報に対応する 波形データを生成する生成器と、
前記生成器の前記第1のニューラルネットワークから出力された波形データから、微分可能な数値情報としての第1の周波数情報を抽出する抽出部と、
前記第1の周波数情報を第2のニューラルネットワークに入力し、前記第2のニューラルネットワークからの出力として、前記第1の周波数情報 が第1のグループに属する波形データから抽出される周波数情報である確からしさの程度を示す微分可能な数値情報としての第1の判別値を出力する判別器と、
前記判別器が出力する前記第1の判別値を入力とする損失関数に基づいて、前記判別器が出力する前記第1の判別値がより高い確からしさを示すように前記第1のニューラルネットワークを学習 させる制御部と、
を有する音響生成装置。 - 前記第1のグループに属する波形データを取得する取得部を更に有し、
前記抽出部は、前記取得部で取得した波形データから、微分可能な数値情報としての第2の周波数情報を抽出し、
前記判別器は、前記第2の周波数情報を前記第2のニューラルネットワークに入力し、前記第2のニューラルネットワークからの出力として、前記第2の周波数情報が前記第1のグループに属する波形データから抽出される周波数情報である確からしさの程度を示す微分可能な数値情報としての第2の判別値を出力し、
前記制御部は、前記判別器が出力する前記第1の判別値および前記第2の判別値を入力とする損失関数に基づいて、前記判別器が出力する前記第1の判別値がより高い確からしさを示すように前記第1のニューラルネットワークを学習させるとともに、前記判別器が出力する前記第1の判別値がより低い確からしさを示し、かつ、前記判別器が出力する前記第2の判別値がより高い確からしさを示すように前記第2のニューラルネットワークを学習させる、
請求項1記載の音響生成装置。 - 波形データを、複数の軸のうちの1つの軸を対数の周波数軸とした画像データに変換する変換部を有し、
前記抽出部は、 波形データを前記変換部で変換して得られた画像データを、微分可能な数値情報である前記周波数情報として抽出する、
請求項1または2に記載の音響生成装置。 - 前記ソース情報は、言葉を表すテキスト情報であ り、
前記第1のグループに属する波形データは、前記言葉を発声した音声データに対応する波形データである、
請求項1から3のいずれか一項 に記載の音響生成装置。 - 前記第1のグループに属する波形データは、特定の人の声に対応する波形データであり、
前記ソース情報は、 前記特定の人とは異なる人の声に対応する波形データである、請求項1から4のいずれか一項に記載の音響生成装置。 - 第2 のグループに属する波形データから第1のグループに属する波形データを生成する第1生成器と、
前記第1のグループに属する 波形データから前記第2のグループに属する波形データを生成する第2生成器 と、
入力 される周波数情報が前記第1のグループに属する波形データから抽出される周波数情報であるか否かを判別する第1判別器 と、
前記 第1生成器に前記第2のグループに属する第1の元波形データから前記第1のグループに属する第1の変換波形データを生成させた後、前記第2生成器に前記第1の変換波形データから前記第2のグループに属する第1の再構成波形データを生成させるとともに、前記第1の元波形データから抽出される周波数情報を前記第1判別器で判別した判別結果と、前記第1の再構成波形データから抽出される周波数情報を前記第1判別器で判別した判別結果との誤差を少なくするように前記第1生成器および前記第2生成器を学習させる 制御部と、
を有する 音響生成装置。 - 入力 される周波数情報が前記第2のグループに属する波形データから抽出される周波数情報であるか否かを判別する第2判別器を更に有し、
前記制御部は、前記第2生成器に前記第1のグループに属する第2の元波形データから前記第2のグループに属する第2の変換波形データを生成させた後、前記第1生成器に前記第2の変換波形データから前記第1のグループに属する第2の再構成波形データを生成させるとともに、前記第2の元波形データから抽出される周波数情報を前記第2判別器で判別した判別結果と、前記第2の再構成波形データから抽出される周波数情報を前記第2判別器で判別した判別結果との誤差を少なくするように前記第1生成器および前記第2生成器を学習させる、請求項6に記載の音響生成装置。 - 前記第1のグループに属する波形データは、特定の人の声に対応する波形データであり、
前記第2のグループに属する波形データは、前記特定の人とは異なる人の声に対応する波形データである、請求項6または7に記載の音響生成装置。 - 前記第1のグループに属する波形データは、男性の声に対応する波形データであり、
前記第2のグループに属する波形データは、女性の声に対応する波形データである、請求項6または8に記載の音響生成装置。 - プロセッサが、
ソース情報を第1のニューラルネットワークに入力し、前記第1のニューラルネットワークからの出力として、前記第1のニューラルネットワークに入力したソース情報に対応する波形データを生成する生成処理と、
前記生成処理により前記第1のニューラルネットワークから出力された波形データから、微分可能な数値情報としての第1の周波数情報を抽出する抽出処理と、
前記第1の周波数情報を第2のニューラルネットワークに入力し、前記第2のニューラルネットワークからの出力として、前記第1の周波数情報が第1のグループに属する波形データから抽出される周波数情報である確からしさの程度を示す微分可能な数値情報としての第1の判別値を出力する判別処理と、
前記判別処理により出力された前記第1の判別値を入力とする損失関数に基づいて、前記判別処理により出力される前記第1の判別値がより高い確からしさを示すように前記第1のニューラルネットワークを学習させる制御処理と、
を実行する方法。 - プロセッサが、ソース情報を取得し、
前記プロセッサが、前記ソース情報を学習済みモデルに入力し、前記学習済みモデルから波形データを取得する方法であって、
前記学習済みモデルは、
ソース情報を第1のニューラルネットワークに入力し、前記第1のニューラルネットワークからの出力として、前記第1のニューラルネットワークに入力したソース情報に対応する波形データを生成する生成処理と、
前記生成処理により前記第1のニューラルネットワークから出力された波形データから、微分可能な数値情報としての第1の周波数情報を抽出する抽出処理と、
前記第1の周波数情報を第2のニューラルネットワークに入力し、前記第2のニューラルネットワークからの出力として、前記第1の周波数情報が第1のグループに属する波形データから抽出される周波数情報である確からしさの程度を示す微分可能な数値情報としての第1の判別値を出力する判別処理と、
前記判別処理により出力された前記第1の判別値を入力とする損失関数に基づいて、前記判別処理により出力される前記第1の判別値がより高い確からしさを示すように前記第1のニューラルネットワークを学習させる制御処理と、
を実行することによって取得される前記第1のニューラルネットワークを含む、 方法。 - プロセッサが、
第2のグループに属する波形データから、第1の記憶情報に従って、第1のグループに属する波形データを生成する第1生成処理と、
前記第1のグループに属する波形データから、第2の記憶情報に従って、前記第2のグループに属する波形データを生成する第2生成処理と、
入力される周波数情報が前記第1のグループに属する波形データから抽出される周波数情報であるか否かを判別する第1判別処理と、
前記第1生成処理により前記第2のグループに属する第1の元波形データから前記第1のグループに属する第1の変換波形データを生成させた後、前記第2生成処理により前記第1の変換波形データから前記第2のグループに属する第1の再構成波形データを生成させるとともに、前記第1の元波形データから抽出される周波数情報を前記第1判別処理で判別した判別結果と、前記第1の再構成波形データから抽出される周波数情報を前記第1判別処理で判別した判別結果との誤差を少なくするように前記第1の記憶情報および前記第2の記憶情報を変化させる制御処理と、
を実行する方法。 - 請求項10から12のいずれか一項に記載の方法をプロセッサに実現させるプログラム。
- 請求項10または12記載の方法を実行する学習装置。
- 請求項11記載の方法を実行する音響生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018056905A JP7124373B2 (ja) | 2018-03-23 | 2018-03-23 | 学習装置、音響生成装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018056905A JP7124373B2 (ja) | 2018-03-23 | 2018-03-23 | 学習装置、音響生成装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019168608A JP2019168608A (ja) | 2019-10-03 |
JP7124373B2 true JP7124373B2 (ja) | 2022-08-24 |
Family
ID=68107350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018056905A Active JP7124373B2 (ja) | 2018-03-23 | 2018-03-23 | 学習装置、音響生成装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7124373B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111261177A (zh) * | 2020-01-19 | 2020-06-09 | 平安科技(深圳)有限公司 | 语音转换方法、电子装置及计算机可读存储介质 |
JP7277668B2 (ja) * | 2020-03-19 | 2023-05-19 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法およびプログラム |
CN111986648A (zh) * | 2020-06-29 | 2020-11-24 | 联想(北京)有限公司 | 一种信息处理方法、装置及设备 |
WO2023209762A1 (ja) * | 2022-04-25 | 2023-11-02 | 日本電信電話株式会社 | 学習装置、変換装置、方法及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018036413A (ja) | 2016-08-30 | 2018-03-08 | 日本電信電話株式会社 | 音声合成学習装置、方法、及びプログラム |
-
2018
- 2018-03-23 JP JP2018056905A patent/JP7124373B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018036413A (ja) | 2016-08-30 | 2018-03-08 | 日本電信電話株式会社 | 音声合成学習装置、方法、及びプログラム |
Non-Patent Citations (3)
Title |
---|
"Generative Adversarial Network-based Postfilter for STFT Spectrograms",Proceedings of INTERSPEECH 2017,2017年08月24日,p.3389-3393 |
"PARALLEL-DATA-FREE VOICE CONVERSION USING CYCLE-CONSISTENT ADVERSARIAL NETWORKS",[online],2017年12月20日,p.1-5,[令和3年12月15日検索],インターネット<URL:https://arxiv.org/pdf/1711.11293.pdf> |
房 福明、山岸 順一、越前 功,CycleGANを用いた高品質なノンパラレル声質変換,電子情報通信学会技術研究報告 Vol.117 No.368,一般社団法人電子情報通信学会,2017年12月14日,pp.37-42 |
Also Published As
Publication number | Publication date |
---|---|
JP2019168608A (ja) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110600047B (zh) | 基于Perceptual STARGAN的多对多说话人转换方法 | |
JP7124373B2 (ja) | 学習装置、音響生成装置、方法及びプログラム | |
CN109767778B (zh) | 一种融合Bi-LSTM和WaveNet的语音转换方法 | |
CN108231062B (zh) | 一种语音翻译方法及装置 | |
WO2020248393A1 (zh) | 语音合成方法、***、终端设备和可读存储介质 | |
Ai et al. | A neural vocoder with hierarchical generation of amplitude and phase spectra for statistical parametric speech synthesis | |
CN110047501B (zh) | 基于beta-VAE的多对多语音转换方法 | |
Choi et al. | Sequence-to-sequence emotional voice conversion with strength control | |
WO2023245389A1 (zh) | 歌曲生成方法、装置、电子设备和存储介质 | |
JP2013037174A (ja) | 雑音/残響除去装置とその方法とプログラム | |
CN112735454A (zh) | 音频处理方法、装置、电子设备和可读存储介质 | |
CN111326170B (zh) | 联合时频域扩张卷积的耳语音向正常音转换方法及其装置 | |
GB2603776A (en) | Methods and systems for modifying speech generated by a text-to-speech synthesiser | |
JP2019139102A (ja) | 音響信号生成モデル学習装置、音響信号生成装置、方法、及びプログラム | |
JP5807921B2 (ja) | 定量的f0パターン生成装置及び方法、f0パターン生成のためのモデル学習装置、並びにコンピュータプログラム | |
CN116229932A (zh) | 一种基于跨域一致性损失的语音克隆方法及*** | |
WO2019218773A1 (zh) | 语音的合成方法及装置、存储介质、电子装置 | |
CN112837670A (zh) | 语音合成方法、装置及电子设备 | |
Deng et al. | One-shot voice conversion algorithm based on representations separation | |
CN116959464A (zh) | 音频生成网络的训练方法、音频生成方法以及装置 | |
CN113241054B (zh) | 语音平滑处理模型生成方法、语音平滑处理方法及装置 | |
Ai et al. | Denoising-and-dereverberation hierarchical neural vocoder for statistical parametric speech synthesis | |
CN113066472B (zh) | 合成语音处理方法及相关装置 | |
CN116994553A (zh) | 语音合成模型的训练方法、语音合成方法、装置及设备 | |
JP2022133447A (ja) | 音声処理方法、装置、電子機器及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7124373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |