JP6747489B2 - 情報処理方法、情報処理システムおよびプログラム - Google Patents
情報処理方法、情報処理システムおよびプログラム Download PDFInfo
- Publication number
- JP6747489B2 JP6747489B2 JP2018209288A JP2018209288A JP6747489B2 JP 6747489 B2 JP6747489 B2 JP 6747489B2 JP 2018209288 A JP2018209288 A JP 2018209288A JP 2018209288 A JP2018209288 A JP 2018209288A JP 6747489 B2 JP6747489 B2 JP 6747489B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- pronunciation
- synthetic
- style
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 33
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000012545 processing Methods 0.000 claims description 76
- 238000000034 method Methods 0.000 claims description 42
- 230000015572 biosynthetic process Effects 0.000 claims description 32
- 238000003786 synthesis reaction Methods 0.000 claims description 32
- 238000001228 spectrum Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 26
- 238000011156 evaluation Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 9
- 230000002194 synthesizing effect Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 239000011295 pitch Substances 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
- G10L13/0335—Pitch control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
- G10H1/14—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour during execution
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/081—Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
- G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
- G10H2250/621—Waveform interpolation
- G10H2250/625—Interwave interpolation, i.e. interpolating between two different waveforms, e.g. timbre or pitch or giving one waveform the shape of another while preserving its frequency or vice versa
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Machine Translation (AREA)
Description
図1は、本発明の第1実施形態に係る情報処理装置100の構成を例示するブロック図である。情報処理装置100は、特定の歌唱者が特定の歌唱スタイルで楽曲を仮想的に歌唱した音声(以下「合成音」という)を生成する音声合成装置である。歌唱スタイル(発音スタイルの例示)は、例えば歌唱の仕方に関する特徴を意味する。例えばラップ,R&B(rhythm and blues)またはパンク等の各種の音楽ジャンルの楽曲に好適な歌い廻しが歌唱スタイルの好適例である。
合成処理部21は、合成音の音響的な特徴を表す特徴データQの時系列を生成する。第1実施形態の特徴データQは、例えば合成音の基本周波数(ピッチ)Qaとスペクトル包絡Qbとを含む。スペクトル包絡Qbは、合成音の周波数スペクトルの概形である。特徴データQは、所定長(例えば5ミリ秒)の単位期間毎に順次に生成される。すなわち、第1実施形態の合成処理部21は、基本周波数Qaの時系列とスペクトル包絡Qbの時系列とを生成する。
図2の学習処理部23は、機械学習により合成モデルMを生成する。学習処理部23による機械学習後の合成モデルMが、図3における特徴データQの生成(以下「推定処理」という)Sa2に利用される。図4は、学習処理部23による機械学習を説明するためのブロック図である。図4に例示される通り、合成モデルMの機械学習には複数の学習データLが利用される。複数の学習データLは記憶装置12に記憶される。また、機械学習の終了判定に利用される評価用の学習データ(以下「評価用データ」という)Lも記憶装置12に記憶される。
学習済の符号化モデルEaを利用してNa個の歌唱者データXaが生成されると、当該符号化モデルEaは不要である。したがって、符号化モデルEaはNa個の歌唱者データXaの生成後に破棄される。しかし、歌唱者データXaが生成されていない新規な歌唱者(以下「新規歌唱者」という)について歌唱者データXaを生成する必要が事後的に発生し得る。第1実施形態の学習処理部23は、新規歌唱者に対応する複数の学習データLnewと学習済の合成モデルMとを利用して、新規歌唱者の歌唱者データXaを生成する。
本発明の第2実施形態を説明する。なお、以下の各例示において機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
図9は、第3実施形態における合成モデルMの構成を例示するブロック図である。
図9に例示される通り、第3実施形態における合成モデルMの構成は第2実施形態と同様である。すなわち、第3実施形態の合成モデルMは、基本周波数Qaの時系列を生成する第4生成モデルG4と、スペクトル包絡Qbの時系列を生成する第5生成モデルG5とを含む。
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
(2)前述の各形態では、特徴データQが基本周波数Qaとスペクトル包絡Qbとを含む構成を例示したが、特徴データQの内容は以上の例示に限定されない。周波数スペクトルの特徴(以下「スペクトル特徴」という)を表す各種のデータが特徴データQとして好適である。特徴データQとして利用可能なスペクトル特徴としては、前述のスペクトル包絡Qbのほか、例えばメルスペクトル、メルケプストラム、メルスペクトログラムまたはスペクトログラムが例示される。なお、基本周波数Qaを特定可能なスペクトル特徴を特徴データQとして利用する構成では、特徴データQから基本周波数Qaを省略してもよい。
以上に例示した形態から、例えば以下の構成が把握される。
Claims (11)
- 発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき合成音の音響的な特徴を表す特徴データを生成する、
コンピュータにより実現される情報処理方法。 - 前記発音条件は、音符毎の音高を含む
請求項1の情報処理方法。 - 前記発音条件は、前記合成音の音韻を含む
請求項1または請求項2の情報処理方法。 - 前記合成モデルに入力される前記発音源データは、相異なる発音源に対応する複数の発音源データのうち利用者が選択した発音源データである
請求項1から請求項3の何れかの情報処理方法。 - 前記合成モデルに入力されるスタイルデータは、相異なる発音スタイルに対応する複数のスタイルデータのうち利用者が選択したスタイルデータである
請求項1から請求項4の何れかの情報処理方法。 - 前記情報処理方法は、さらに、
新規発音源を表す新規発音源データと前記新規発音源に対応する発音スタイルを表すスタイルデータと前記新規発音源による発音の発音条件を表す新規合成データと、を前記合成モデルに入力することで、前記新規発音源の発音スタイルおよび前記新規発音源による発音の発音条件のもとで前記新規発音源が発音する音響の音響的な特徴を表す新規特徴データを生成し、
前記新規合成データが表す発音条件のもとで前記新規発音源が発音した音響に関する既知特徴データと、前記新規特徴データとの差異が減少するように、前記新規発音源データおよび前記合成モデルを更新する
請求項1から請求項5の何れかの情報処理方法。 - 前記発音源データは、相異なる複数の発音源により発音される音響の特徴に関する前記複数の発音源の間の関係を表す第1空間におけるベクトルを表し、
前記スタイルデータは、相異なる複数の発音スタイルにより発音される音響の特徴に関する前記複数の発音スタイルの間の関係を表す第2空間におけるベクトルを表す
請求項1から請求項6の何れかの情報処理方法。 - 前記合成モデルは、
前記合成音の基本周波数の時系列を生成する第1生成モデルと、
前記第1生成モデルが生成した基本周波数の時系列に応じて前記合成音のスペクトル包絡の時系列を生成する第2生成モデルとを含む
請求項1から請求項7の何れかの情報処理方法。 - 前記情報処理方法は、さらに、
前記第1生成モデルが生成した基本周波数の時系列を利用者からの指示に応じて編集し、
前記第2生成モデルは、前記編集後の基本周波数の時系列に応じて前記合成音のスペクトル包絡の時系列を生成する
請求項8の情報処理方法。 - 発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき合成音の音響的な特徴を表す特徴データを生成する合成処理部
を具備する情報処理システム。 - 発音源を表す発音源データと発音スタイルを表すスタイルデータと発音条件を表す合成データと、を機械学習により生成された合成モデルに入力することで、前記発音スタイルおよび前記発音条件のもとで前記発音源が発音すべき合成音の音響的な特徴を表す特徴データを生成する合成処理部
としてコンピュータを機能させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209288A JP6747489B2 (ja) | 2018-11-06 | 2018-11-06 | 情報処理方法、情報処理システムおよびプログラム |
CN201980072848.6A CN112970058A (zh) | 2018-11-06 | 2019-11-06 | 信息处理方法及信息处理*** |
PCT/JP2019/043510 WO2020095950A1 (ja) | 2018-11-06 | 2019-11-06 | 情報処理方法および情報処理システム |
EP19882179.5A EP3879524A4 (en) | 2018-11-06 | 2019-11-06 | INFORMATION PROCESSING METHOD AND SYSTEM |
US17/307,322 US11942071B2 (en) | 2018-11-06 | 2021-05-04 | Information processing method and information processing system for sound synthesis utilizing identification data associated with sound source and performance styles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209288A JP6747489B2 (ja) | 2018-11-06 | 2018-11-06 | 情報処理方法、情報処理システムおよびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020133036A Division JP7192834B2 (ja) | 2020-08-05 | 2020-08-05 | 情報処理方法、情報処理システムおよびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020076843A JP2020076843A (ja) | 2020-05-21 |
JP2020076843A5 JP2020076843A5 (ja) | 2020-07-02 |
JP6747489B2 true JP6747489B2 (ja) | 2020-08-26 |
Family
ID=70611512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018209288A Active JP6747489B2 (ja) | 2018-11-06 | 2018-11-06 | 情報処理方法、情報処理システムおよびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11942071B2 (ja) |
EP (1) | EP3879524A4 (ja) |
JP (1) | JP6747489B2 (ja) |
CN (1) | CN112970058A (ja) |
WO (1) | WO2020095950A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6737320B2 (ja) | 2018-11-06 | 2020-08-05 | ヤマハ株式会社 | 音響処理方法、音響処理システムおよびプログラム |
CN112365874B (zh) * | 2020-11-17 | 2021-10-26 | 北京百度网讯科技有限公司 | 语音合成模型的属性注册、装置、电子设备与介质 |
WO2022145145A1 (ja) * | 2020-12-28 | 2022-07-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7468495B2 (ja) * | 2021-03-18 | 2024-04-16 | カシオ計算機株式会社 | 情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム |
WO2022244818A1 (ja) * | 2021-05-18 | 2022-11-24 | ヤマハ株式会社 | 機械学習モデルを用いた音生成方法および音生成装置 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6304846B1 (en) * | 1997-10-22 | 2001-10-16 | Texas Instruments Incorporated | Singing voice synthesis |
JP4025355B2 (ja) * | 2004-10-13 | 2007-12-19 | 松下電器産業株式会社 | 音声合成装置及び音声合成方法 |
JP4839891B2 (ja) | 2006-03-04 | 2011-12-21 | ヤマハ株式会社 | 歌唱合成装置および歌唱合成プログラム |
JP5471858B2 (ja) * | 2009-07-02 | 2014-04-16 | ヤマハ株式会社 | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
JP5293460B2 (ja) * | 2009-07-02 | 2013-09-18 | ヤマハ株式会社 | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
GB2500471B (en) * | 2010-07-20 | 2018-06-13 | Aist | System and method for singing synthesis capable of reflecting voice timbre changes |
US20150025892A1 (en) * | 2012-03-06 | 2015-01-22 | Agency For Science, Technology And Research | Method and system for template-based personalized singing synthesis |
GB2501067B (en) | 2012-03-30 | 2014-12-03 | Toshiba Kk | A text to speech system |
JP5949607B2 (ja) * | 2013-03-15 | 2016-07-13 | ヤマハ株式会社 | 音声合成装置 |
JP6261924B2 (ja) | 2013-09-17 | 2018-01-17 | 株式会社東芝 | 韻律編集装置、方法およびプログラム |
US8751236B1 (en) * | 2013-10-23 | 2014-06-10 | Google Inc. | Devices and methods for speech unit reduction in text-to-speech synthesis systems |
CN104766603B (zh) * | 2014-01-06 | 2019-03-19 | 科大讯飞股份有限公司 | 构建个性化歌唱风格频谱合成模型的方法及装置 |
JP6392012B2 (ja) | 2014-07-14 | 2018-09-19 | 株式会社東芝 | 音声合成辞書作成装置、音声合成装置、音声合成辞書作成方法及び音声合成辞書作成プログラム |
US9542927B2 (en) * | 2014-11-13 | 2017-01-10 | Google Inc. | Method and system for building text-to-speech voice from diverse recordings |
JP6000326B2 (ja) | 2014-12-15 | 2016-09-28 | 日本電信電話株式会社 | 音声合成モデル学習装置、音声合成装置、音声合成モデル学習方法、音声合成方法、およびプログラム |
JP6622505B2 (ja) | 2015-08-04 | 2019-12-18 | 日本電信電話株式会社 | 音響モデル学習装置、音声合成装置、音響モデル学習方法、音声合成方法、プログラム |
JP6390690B2 (ja) * | 2016-12-05 | 2018-09-19 | ヤマハ株式会社 | 音声合成方法および音声合成装置 |
JP2017107228A (ja) * | 2017-02-20 | 2017-06-15 | 株式会社テクノスピーチ | 歌声合成装置および歌声合成方法 |
JP6846237B2 (ja) | 2017-03-06 | 2021-03-24 | 日本放送協会 | 音声合成装置及びプログラム |
EP3739477A4 (en) | 2018-01-11 | 2021-10-27 | Neosapience, Inc. | PROCESS AND SYSTEM FOR SPEECH TRANSLATION USING A MULTILINGUAL TEXT-SPEECH SYNTHESIS MODEL |
WO2019139431A1 (ko) | 2018-01-11 | 2019-07-18 | 네오사피엔스 주식회사 | 다중 언어 텍스트-음성 합성 모델을 이용한 음성 번역 방법 및 시스템 |
JP6737320B2 (ja) | 2018-11-06 | 2020-08-05 | ヤマハ株式会社 | 音響処理方法、音響処理システムおよびプログラム |
US11302329B1 (en) | 2020-06-29 | 2022-04-12 | Amazon Technologies, Inc. | Acoustic event detection |
US11551663B1 (en) | 2020-12-10 | 2023-01-10 | Amazon Technologies, Inc. | Dynamic system response configuration |
-
2018
- 2018-11-06 JP JP2018209288A patent/JP6747489B2/ja active Active
-
2019
- 2019-11-06 CN CN201980072848.6A patent/CN112970058A/zh active Pending
- 2019-11-06 WO PCT/JP2019/043510 patent/WO2020095950A1/ja unknown
- 2019-11-06 EP EP19882179.5A patent/EP3879524A4/en not_active Withdrawn
-
2021
- 2021-05-04 US US17/307,322 patent/US11942071B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11942071B2 (en) | 2024-03-26 |
EP3879524A4 (en) | 2022-09-28 |
CN112970058A (zh) | 2021-06-15 |
EP3879524A1 (en) | 2021-09-15 |
US20210256960A1 (en) | 2021-08-19 |
WO2020095950A1 (ja) | 2020-05-14 |
JP2020076843A (ja) | 2020-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110634460B (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
JP6747489B2 (ja) | 情報処理方法、情報処理システムおよびプログラム | |
CN110634461B (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
CN110634464B (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
US5890115A (en) | Speech synthesizer utilizing wavetable synthesis | |
CN109559718B (zh) | 电子乐器、电子乐器的乐音产生方法以及存储介质 | |
CN111418005B (zh) | 声音合成方法、声音合成装置及存储介质 | |
JP7059972B2 (ja) | 電子楽器、鍵盤楽器、方法、プログラム | |
CN111418006B (zh) | 声音合成方法、声音合成装置及记录介质 | |
CN111542875A (zh) | 声音合成方法、声音合成装置及程序 | |
JP6821970B2 (ja) | 音声合成装置および音声合成方法 | |
JP6737320B2 (ja) | 音響処理方法、音響処理システムおよびプログラム | |
JP7147211B2 (ja) | 情報処理方法および情報処理装置 | |
JP3966074B2 (ja) | ピッチ変換装置、ピッチ変換方法及びプログラム | |
JP7192834B2 (ja) | 情報処理方法、情報処理システムおよびプログラム | |
WO2020158891A1 (ja) | 音信号合成方法およびニューラルネットワークの訓練方法 | |
WO2020241641A1 (ja) | 生成モデル確立方法、生成モデル確立システム、プログラムおよび訓練データ準備方法 | |
JP6819732B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP2022065554A (ja) | 音声合成方法およびプログラム | |
JP2022065566A (ja) | 音声合成方法およびプログラム | |
WO2023171522A1 (ja) | 音響生成方法、音響生成システムおよびプログラム | |
WO2022080395A1 (ja) | 音声合成方法およびプログラム | |
JP7107427B2 (ja) | 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム | |
JP2022145465A (ja) | 情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム | |
JP5659501B2 (ja) | 電子音楽装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200325 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200325 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200325 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200702 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200720 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6747489 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R157 | Certificate of patent or utility model (correction) |
Free format text: JAPANESE INTERMEDIATE CODE: R157 |