JP7412483B2 - 音声処理方法、装置、電子機器及び記憶媒体 - Google Patents
音声処理方法、装置、電子機器及び記憶媒体 Download PDFInfo
- Publication number
- JP7412483B2 JP7412483B2 JP2022110128A JP2022110128A JP7412483B2 JP 7412483 B2 JP7412483 B2 JP 7412483B2 JP 2022110128 A JP2022110128 A JP 2022110128A JP 2022110128 A JP2022110128 A JP 2022110128A JP 7412483 B2 JP7412483 B2 JP 7412483B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- generate
- submodel
- spectrogram
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 35
- 238000000034 method Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 33
- 230000015572 biosynthetic process Effects 0.000 claims description 32
- 238000003786 synthesis reaction Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000003595 spectral effect Effects 0.000 description 74
- 238000005516 engineering process Methods 0.000 description 28
- 238000004422 calculation algorithm Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 230000000737 periodic effect Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Data Mining & Analysis (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
- Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
- Telephone Function (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
本開示の実施例によれば、本開示は、コンピュータプログラムをさらに提供し、前記コンピュータプログラムがプロセッサによって実行される場合、本開示によって提供される音声処理方法が実現される。
Claims (9)
- オリジナル音声を取得するステップと、
前記オリジナル音声からスペクトログラムを抽出するステップと、
第1の生成サブモデル及び第2の生成サブモデルを含む音声合成モデルを取得するステップと、
前記第1の生成サブモデルを呼び出して前記スペクトログラムを処理して、前記スペクトログラムの高調波構造を生成するステップと、
前記第2の生成サブモデルを呼び出して前記高調波構造及び前記スペクトログラムを処理して、ターゲット音声を生成するステップと、
を含み、
サンプル音声を取得し、前記サンプル音声からサンプルスペクトログラムを抽出することと、
トレーニング対象の第1の生成サブモデルによって前記サンプルスペクトログラムを処理して、フィルタバンク及び複数組のサンプル正弦波パラメータを生成することと、
前記トレーニング対象の第1の生成サブモデルによって前記フィルタバンクによってホワイトノイズをフィルタリングして、前記サンプルスペクトログラムの非周期信号を生成することと、
前記トレーニング対象の第1の生成サブモデルによって前記複数組のサンプル正弦波パラメータの正弦波をそれぞれ生成することと、
前記トレーニング対象の第1の生成サブモデルによって前記複数組のサンプル正弦波パラメータの正弦波を重ね合わせて、前記サンプルスペクトログラムのサンプル高調波構造を生成することと、
前記トレーニング対象の第1の生成サブモデルによって前記サンプル高調波構造と前記非周期信号を重ね合わせて、予測された第1の合成音声を取得することと、
前記トレーニング対象の第1の生成サブモデルによって前記第1の合成音声及び前記サンプル音声に基づいて、第1の損失値を生成し、前記第1の損失値に基づいて、前記トレーニング対象の第1の生成サブモデルをトレーニングすることと、
によって、前記第1の生成サブモデルが生成され、
前記サンプルスペクトログラムと前記サンプル高調波構造とを前記第2の生成サブモデルに入力して、予測された第2の合成音声を生成することと、
判別器によって前記サンプル音声と前記第2の合成音声とを判別して、第2の損失値を生成することと、
前記第2の損失値に基づいて、前記第2の生成サブモデルをトレーニングすることと、
によって、前記第2の生成サブモデルが生成される音声処理方法。 - 前記第1の生成サブモデルを呼び出して前記スペクトログラムを処理して、前記スペクトログラムの高調波構造を生成するステップが、
前記スペクトログラムを処理して、複数組の正弦波パラメータを生成するステップであって、前記各組の正弦波が振幅及び周波数を含むステップと、
前記複数組の正弦波パラメータの正弦波をそれぞれ生成するステップと、
前記複数組の正弦波パラメータの正弦波を重ね合わせて、前記高調波構造を生成するステップと、
を含む請求項1に記載の方法。 - 前記第2の生成サブモデルを呼び出して前記高調波構造及び前記スペクトログラムを処理して、ターゲット音声を生成するステップが、
前記高調波構造及び前記スペクトログラムに基づいて、複数のサブバンド音声を生成するステップと、
前記複数のサブバンド音声を合成して、ターゲット音声を生成するステップと、
を含む請求項1に記載の方法。 - オリジナル音声を取得するように構成される第1の取得モジュールと、
前記オリジナル音声からスペクトログラムを抽出するように構成される抽出モジュールと、
第1の生成サブモデル及び第2の生成サブモデルを含む音声合成モデルを取得するように構成される第2の取得モジュールと、
前記第1の生成サブモデルを呼び出して前記スペクトログラムを処理して、前記スペクトログラムの高調波構造を生成するように構成される第1の生成モジュールと、
前記第2の生成サブモデルを呼び出して前記高調波構造及び前記スペクトログラムを処理して、ターゲット音声を生成するように構成される第2の生成モジュールと、
第1のトレーニングモジュールと、
第2のトレーニングモジュールと、
を備え、
前記第1のトレーニングモジュールが、
サンプル音声を取得し、前記サンプル音声からサンプルスペクトログラムを抽出することと、
トレーニング対象の第1の生成サブモデルによって前記サンプルスペクトログラムを処理して、フィルタバンク及び複数組のサンプル正弦波パラメータを生成することと、
前記トレーニング対象の第1の生成サブモデルによって前記フィルタバンクによってホワイトノイズをフィルタリングして、前記サンプルスペクトログラムの非周期信号を生成することと、
前記トレーニング対象の第1の生成サブモデルによって前記複数組のサンプル正弦波パラメータの正弦波をそれぞれ生成することと、
前記トレーニング対象の第1の生成サブモデルによって前記複数組のサンプル正弦波パラメータの正弦波を重ね合わせて、前記サンプルスペクトログラムのサンプル高調波構造を生成することと、
前記トレーニング対象の第1の生成サブモデルによって前記サンプル高調波構造と前記非周期信号を重ね合わせて、予測された第1の合成音声を取得することと、
前記トレーニング対象の第1の生成サブモデルによって前記第1の合成音声及び前記サンプル音声に基づいて、第1の損失値を生成し、前記第1の損失値に基づいて、前記トレーニング対象の第1の生成サブモデルをトレーニングすることと、
によって、前記第1の生成サブモデルを生成するように構成され、
前記第2のトレーニングモジュールが、
前記サンプルスペクトログラムと前記サンプル高調波構造とを前記第2の生成サブモデルに入力して、予測された第2の合成音声を生成することと、
判別器によって前記サンプル音声と前記第2の合成音声とを判別して、第2の損失値を生成することと、
前記第2の損失値に基づいて、前記第2の生成サブモデルをトレーニングすることと、
によって、前記第2の生成サブモデルを生成するように構成される音声処理装置。 - 前記第1の生成モジュールが、
前記スペクトログラムを処理して、複数組の正弦波パラメータを生成し、前記各組の正弦波パラメータが振幅及び周波数を含み、
前記複数組の正弦波パラメータの正弦波をそれぞれ生成し、
前記複数組の正弦波パラメータの正弦波を重ね合わせて、前記高調波構造を生成するように構成される請求項4に記載の装置。 - 前記第2の生成モジュールが、
前記高調波構造及び前記スペクトログラムに基づいて、複数のサブバンド音声を生成し、
前記複数のサブバンド音声を合成して、ターゲット音声を生成するように構成される請求項4に記載の装置。 - 少なくとも1つのプロセッサと、
該少なくとも1つのプロセッサに通信可能に接続されるメモリと、
を備え、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶されており、前記命令が、前記少なくとも1つのプロセッサが請求項1から3のいずれか一項に記載の音声処理方法を実行できるように、前記少なくとも1つのプロセッサによって実行される電子機器。 - コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令が、コンピュータに請求項1から3のいずれか一項に記載の音声処理方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。 - プロセッサによって実行される場合、請求項1から3のいずれか一項に記載の音声処理方法の各ステップが実現されるコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111138464.5 | 2021-09-27 | ||
CN202111138464.5A CN113889073B (zh) | 2021-09-27 | 2021-09-27 | 语音处理方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022133447A JP2022133447A (ja) | 2022-09-13 |
JP7412483B2 true JP7412483B2 (ja) | 2024-01-12 |
Family
ID=79007116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022110128A Active JP7412483B2 (ja) | 2021-09-27 | 2022-07-08 | 音声処理方法、装置、電子機器及び記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230015112A1 (ja) |
JP (1) | JP7412483B2 (ja) |
KR (1) | KR20220127190A (ja) |
CN (1) | CN113889073B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115686195A (zh) * | 2022-09-13 | 2023-02-03 | 瑞声开泰声学科技(上海)有限公司 | 一种触觉反馈信号的生成方法、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182099A (ja) | 2017-07-04 | 2017-10-05 | Kddi株式会社 | 音声合成装置、音声合成方法および音声合成プログラム |
WO2021006117A1 (ja) | 2019-07-05 | 2021-01-14 | 国立研究開発法人情報通信研究機構 | 音声合成処理装置、音声合成処理方法、および、プログラム |
CN113066472A (zh) | 2019-12-13 | 2021-07-02 | 科大讯飞股份有限公司 | 合成语音处理方法及相关装置 |
US20210366461A1 (en) | 2020-05-20 | 2021-11-25 | Resemble.ai | Generating speech signals using both neural network-based vocoding and generative adversarial training |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1505570B1 (en) * | 2003-08-06 | 2017-10-11 | Yamaha Corporation | Singing voice synthesizing method |
JP2007114355A (ja) * | 2005-10-19 | 2007-05-10 | Univ Of Tokyo | 音声合成方法及び装置 |
JP6733644B2 (ja) * | 2017-11-29 | 2020-08-05 | ヤマハ株式会社 | 音声合成方法、音声合成システムおよびプログラム |
JP6724932B2 (ja) * | 2018-01-11 | 2020-07-15 | ヤマハ株式会社 | 音声合成方法、音声合成システムおよびプログラム |
CN109147758B (zh) * | 2018-09-12 | 2020-02-14 | 科大讯飞股份有限公司 | 一种说话人声音转换方法及装置 |
CN111833843B (zh) * | 2020-07-21 | 2022-05-10 | 思必驰科技股份有限公司 | 语音合成方法及*** |
-
2021
- 2021-09-27 CN CN202111138464.5A patent/CN113889073B/zh active Active
-
2022
- 2022-07-08 JP JP2022110128A patent/JP7412483B2/ja active Active
- 2022-08-31 KR KR1020220109743A patent/KR20220127190A/ko not_active Application Discontinuation
- 2022-09-19 US US17/933,152 patent/US20230015112A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182099A (ja) | 2017-07-04 | 2017-10-05 | Kddi株式会社 | 音声合成装置、音声合成方法および音声合成プログラム |
WO2021006117A1 (ja) | 2019-07-05 | 2021-01-14 | 国立研究開発法人情報通信研究機構 | 音声合成処理装置、音声合成処理方法、および、プログラム |
CN113066472A (zh) | 2019-12-13 | 2021-07-02 | 科大讯飞股份有限公司 | 合成语音处理方法及相关装置 |
US20210366461A1 (en) | 2020-05-20 | 2021-11-25 | Resemble.ai | Generating speech signals using both neural network-based vocoding and generative adversarial training |
Also Published As
Publication number | Publication date |
---|---|
KR20220127190A (ko) | 2022-09-19 |
JP2022133447A (ja) | 2022-09-13 |
US20230015112A1 (en) | 2023-01-19 |
CN113889073A (zh) | 2022-01-04 |
CN113889073B (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11361751B2 (en) | Speech synthesis method and device | |
CN111754976B (zh) | 一种韵律控制语音合成方法、***及电子装置 | |
CN111369971A (zh) | 语音合成方法、装置、存储介质和电子设备 | |
JP2022133408A (ja) | 音声変換方法、システム、電子機器、読取可能な記憶媒体及びコンピュータプログラム | |
CN114663556A (zh) | 数据交互方法、装置、设备、存储介质以及程序产品 | |
US20230178067A1 (en) | Method of training speech synthesis model and method of synthesizing speech | |
US11996084B2 (en) | Speech synthesis method and apparatus, device and computer storage medium | |
JP7412483B2 (ja) | 音声処理方法、装置、電子機器及び記憶媒体 | |
JP2023162265A (ja) | テキストエコー消去 | |
CN111739509A (zh) | 电子书音频生成方法、电子设备及存储介质 | |
WO2015025788A1 (ja) | 定量的f0パターン生成装置及び方法、並びにf0パターン生成のためのモデル学習装置及び方法 | |
CN113327576B (zh) | 语音合成方法、装置、设备及存储介质 | |
CN114495977A (zh) | 语音翻译和模型训练方法、装置、电子设备以及存储介质 | |
WO2024055752A1 (zh) | 语音合成模型的训练方法、语音合成方法和相关装置 | |
CN113744715A (zh) | 声码器语音合成方法、装置、计算机设备及存储介质 | |
JP7372402B2 (ja) | 音声合成方法、装置、電子機器及び記憶媒体 | |
CN113948062A (zh) | 数据转换方法及计算机存储介质 | |
CN111862931A (zh) | 一种语音生成方法及装置 | |
US20230081543A1 (en) | Method for synthetizing speech and electronic device | |
CN115132168A (zh) | 音频合成方法、装置、设备、计算机可读存储介质及产品 | |
CN114999440B (zh) | 虚拟形象生成方法、装置、设备、存储介质以及程序产品 | |
CN113160849B (zh) | 歌声合成方法、装置及电子设备和计算机可读存储介质 | |
de Abreu Pinna et al. | A brazilian portuguese real-time voice recognition to deal with sensitive data | |
McHargue | Efficient Multispeaker Speech Synthesis and Voice Cloning | |
Gupta | Voice Assisted Smart Notes Application using Deep learning synthesizers along with “Deep Neural Networks (DNNs) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7412483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |