JP6507579B2 - 音声合成方法 - Google Patents
音声合成方法 Download PDFInfo
- Publication number
- JP6507579B2 JP6507579B2 JP2014227773A JP2014227773A JP6507579B2 JP 6507579 B2 JP6507579 B2 JP 6507579B2 JP 2014227773 A JP2014227773 A JP 2014227773A JP 2014227773 A JP2014227773 A JP 2014227773A JP 6507579 B2 JP6507579 B2 JP 6507579B2
- Authority
- JP
- Japan
- Prior art keywords
- operation mode
- character
- voice
- phonetic
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001308 synthesis method Methods 0.000 title claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 133
- 238000003786 synthesis reaction Methods 0.000 claims description 133
- 238000000034 method Methods 0.000 claims description 64
- 230000005236 sound signal Effects 0.000 claims description 21
- 230000001755 vocal effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 59
- 239000011295 pitch Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- MQJKPEGWNLWLTK-UHFFFAOYSA-N Dapsone Chemical compound C1=CC(N)=CC=C1S(=O)(=O)C1=CC=C(N)C=C1 MQJKPEGWNLWLTK-UHFFFAOYSA-N 0.000 description 1
- 101100146536 Picea mariana RPS15 gene Proteins 0.000 description 1
- 235000019606 astringent taste Nutrition 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H5/00—Instruments in which the tones are generated by means of electronic generators
- G10H5/02—Instruments in which the tones are generated by means of electronic generators using generation of basic tones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
- G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
- G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Electrophonic Musical Instruments (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
Description
図1は、本発明の第1実施形態に係る音声合成装置100の構成図である。第1実施形態の音声合成装置100は、合成音声の音声信号Vを生成する信号処理装置(歌唱合成装置)であり、演算処理装置10と記憶装置12と表示装置14と入力装置16と放音装置18とを具備するコンピュータシステム(例えば携帯電話機やパーソナルコンピュータ等の情報処理装置)で実現される。第1実施形態では、歌唱曲の歌唱音声の音声信号Vを生成する場合を想定する。
本発明の第2実施形態を以下に例示する。以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
本発明の第3実施形態では、例えばMIDI楽器等の電子楽器が入力装置16として利用される。第2動作モードにおいて、利用者は、入力装置16を適宜に操作することで所望の音高Pと発音期間Tとを音符毎に順次に指示することが可能である。例えば鍵盤楽器型の入力装置16を利用した場合には利用者による押鍵毎に音高Pと発音期間Tとが順次に指定される。情報編集部24は、利用者による音符の指示毎に単位情報Uを生成して記憶装置12の音声合成情報Sに追加する。各音符の単位情報Uは、利用者が指示した音高Pおよび発音期間Tを指定するとともに、「あ」等の初期的な発音文字(以下「初期発音文字」という)を発音文字Xとして指定する。利用者による指示毎に生成される単位情報Uの時系列が音声合成情報Sとして記憶装置12に記憶される。
図9は、第4実施形態における音声合成情報Sの模式図である。図9に例示される通り、第4実施形態の音声合成情報Sの各単位情報Uは、第1実施形態と同様の情報(発音文字X,音高P,発音期間T)に加えて制御変数C1と制御変数C2とを包含する。制御変数C1および制御変数C2は、歌唱音声の音楽的な表情(音声信号Vの音響特性)を音符毎に制御するためのパラメータである。具体的には、図9に例示される通り、制御変数C1(第1制御変数)は例えばMIDI規格におけるベロシティであり、制御変数C2(第2制御変数)はダイナミクス(音量)である。
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
Claims (4)
- 音声合成情報で指定される発音文字が、子音の発音から直後の母音の発音までの遅延量が大きい第1種別であるか、または、前記第1種別よりも前記遅延量が小さい第2種別であるかを判定し、
前記発音文字が前記第1種別であると判定された場合、当該発音文字とは相違する代替発音文字に当該発音文字を置換した発声音の音声信号を生成し、前記発音文字が前記第2種別であると判定された場合、当該発音文字を前記代替発音文字に置換せずに発声音の音声信号を生成する
コンピュータにより実現される音声合成方法。 - 前記発音文字の種別に関わらず、当該発音文字を前記代替発音文字に置換しない第1動作モードと、
前記発音文字が前記第1種別であると判定された場合、前記代替発音文字に当該発音文字を置換した発声音の音声信号を生成し、前記発音文字が前記第2種別であると判定された場合、当該発音文字を前記代替発音文字に置換せずに発声音の音声信号を生成する第2動作モードと、の何れかで動作する
請求項1の音声合成方法。 - 利用者からの指示に応じて、前記第1動作モードと前記第2動作モードとの何れかで動作し、
前記音声合成情報は、発音文字と音高と発音期間とを音符毎に指定し、
前記音声合成情報が指定する各音符を表象する音符図像を時間軸と音高軸とが設定された楽譜領域内に配置した編集画像を表示装置に表示させ、前記第1動作モードと前記第2動作モードとで前記音符図像の表示態様を相違させる
請求項2の音声合成方法。 - 前記第2動作モードでは、鍵盤楽器型の入力装置に対する利用者からの押鍵毎に、音高と発音期間とが順次に指定される
請求項2または請求項3の音声合成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014227773A JP6507579B2 (ja) | 2014-11-10 | 2014-11-10 | 音声合成方法 |
US14/934,627 US9711123B2 (en) | 2014-11-10 | 2015-11-06 | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program recorded thereon |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014227773A JP6507579B2 (ja) | 2014-11-10 | 2014-11-10 | 音声合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016090916A JP2016090916A (ja) | 2016-05-23 |
JP6507579B2 true JP6507579B2 (ja) | 2019-05-08 |
Family
ID=55912713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014227773A Expired - Fee Related JP6507579B2 (ja) | 2014-11-10 | 2014-11-10 | 音声合成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9711123B2 (ja) |
JP (1) | JP6507579B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6834370B2 (ja) * | 2016-11-07 | 2021-02-24 | ヤマハ株式会社 | 音声合成方法 |
US20190019497A1 (en) * | 2017-07-12 | 2019-01-17 | I AM PLUS Electronics Inc. | Expressive control of text-to-speech content |
JP2019066649A (ja) * | 2017-09-29 | 2019-04-25 | ヤマハ株式会社 | 歌唱音声の編集支援方法、および歌唱音声の編集支援装置 |
JP6988343B2 (ja) * | 2017-09-29 | 2022-01-05 | ヤマハ株式会社 | 歌唱音声の編集支援方法、および歌唱音声の編集支援装置 |
JP6729539B2 (ja) * | 2017-11-29 | 2020-07-22 | ヤマハ株式会社 | 音声合成方法、音声合成システムおよびプログラム |
JP7335794B2 (ja) * | 2019-11-20 | 2023-08-30 | シュナイダーエレクトリックホールディングス株式会社 | 情報処理装置及び設定装置 |
CN114550690A (zh) * | 2020-11-11 | 2022-05-27 | 上海哔哩哔哩科技有限公司 | 歌曲合成方法及装置 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS55111995A (en) * | 1979-02-20 | 1980-08-29 | Sharp Kk | Method and device for voice synthesis |
US5796916A (en) * | 1993-01-21 | 1998-08-18 | Apple Computer, Inc. | Method and apparatus for prosody for synthetic speech prosody determination |
US6029131A (en) * | 1996-06-28 | 2000-02-22 | Digital Equipment Corporation | Post processing timing of rhythm in synthetic speech |
US6006187A (en) * | 1996-10-01 | 1999-12-21 | Lucent Technologies Inc. | Computer prosody user interface |
US5915237A (en) * | 1996-12-13 | 1999-06-22 | Intel Corporation | Representing speech using MIDI |
US6363342B2 (en) * | 1998-12-18 | 2002-03-26 | Matsushita Electric Industrial Co., Ltd. | System for developing word-pronunciation pairs |
US6462264B1 (en) * | 1999-07-26 | 2002-10-08 | Carl Elam | Method and apparatus for audio broadcast of enhanced musical instrument digital interface (MIDI) data formats for control of a sound generator to create music, lyrics, and speech |
KR100318762B1 (ko) * | 1999-10-01 | 2002-01-04 | 윤덕용 | 외래어 음차표기의 음성적 거리 계산방법 |
JP2001265375A (ja) * | 2000-03-17 | 2001-09-28 | Oki Electric Ind Co Ltd | 規則音声合成装置 |
US6865533B2 (en) * | 2000-04-21 | 2005-03-08 | Lessac Technology Inc. | Text to speech |
JP3879402B2 (ja) * | 2000-12-28 | 2007-02-14 | ヤマハ株式会社 | 歌唱合成方法と装置及び記録媒体 |
US7069207B2 (en) * | 2001-01-26 | 2006-06-27 | Microsoft Corporation | Linguistically intelligent text compression |
JP2002221978A (ja) | 2001-01-26 | 2002-08-09 | Yamaha Corp | ボーカルデータ生成装置、ボーカルデータ生成方法および歌唱音合成装置 |
JP3823928B2 (ja) * | 2003-02-27 | 2006-09-20 | ヤマハ株式会社 | スコアデータ表示装置およびプログラム |
CN1938756A (zh) * | 2004-03-05 | 2007-03-28 | 莱塞克技术公司 | 韵律语音文本代码以及它们在计算机化语音***中的使用 |
JP4265501B2 (ja) * | 2004-07-15 | 2009-05-20 | ヤマハ株式会社 | 音声合成装置およびプログラム |
US8438032B2 (en) * | 2007-01-09 | 2013-05-07 | Nuance Communications, Inc. | System for tuning synthesized speech |
JP4735544B2 (ja) * | 2007-01-10 | 2011-07-27 | ヤマハ株式会社 | 歌唱合成のための装置およびプログラム |
US8898062B2 (en) * | 2007-02-19 | 2014-11-25 | Panasonic Intellectual Property Corporation Of America | Strained-rough-voice conversion device, voice conversion device, voice synthesis device, voice conversion method, voice synthesis method, and program |
JP5159279B2 (ja) * | 2007-12-03 | 2013-03-06 | 株式会社東芝 | 音声処理装置及びそれを用いた音声合成装置。 |
US8352270B2 (en) * | 2009-06-09 | 2013-01-08 | Microsoft Corporation | Interactive TTS optimization tool |
JP5648347B2 (ja) * | 2010-07-14 | 2015-01-07 | ヤマハ株式会社 | 音声合成装置 |
US20120112879A1 (en) * | 2010-11-09 | 2012-05-10 | Ekchian Caroline M | Apparatus and method for improved vehicle safety |
JP5728913B2 (ja) * | 2010-12-02 | 2015-06-03 | ヤマハ株式会社 | 音声合成情報編集装置およびプログラム |
CN104081453A (zh) * | 2011-07-25 | 2014-10-01 | 索拉公司 | 用于声学变换的***和方法 |
JP6003115B2 (ja) * | 2012-03-14 | 2016-10-05 | ヤマハ株式会社 | 歌唱合成用シーケンスデータ編集装置および歌唱合成用シーケンスデータ編集方法 |
JP5821824B2 (ja) * | 2012-11-14 | 2015-11-24 | ヤマハ株式会社 | 音声合成装置 |
JP6167503B2 (ja) * | 2012-11-14 | 2017-07-26 | ヤマハ株式会社 | 音声合成装置 |
-
2014
- 2014-11-10 JP JP2014227773A patent/JP6507579B2/ja not_active Expired - Fee Related
-
2015
- 2015-11-06 US US14/934,627 patent/US9711123B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20160133246A1 (en) | 2016-05-12 |
US9711123B2 (en) | 2017-07-18 |
JP2016090916A (ja) | 2016-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6507579B2 (ja) | 音声合成方法 | |
EP2983168B1 (en) | Voice analysis method and device, voice synthesis method and device and medium storing voice analysis program | |
JP6070010B2 (ja) | 音楽データ表示装置および音楽データ表示方法 | |
JP6236765B2 (ja) | 音楽データ編集装置および音楽データ編集方法 | |
JP6127371B2 (ja) | 音声合成装置および音声合成方法 | |
JP2008170592A (ja) | 歌唱合成のための装置およびプログラム | |
JP6784022B2 (ja) | 音声合成方法、音声合成制御方法、音声合成装置、音声合成制御装置およびプログラム | |
JP6728754B2 (ja) | 発音装置、発音方法および発音プログラム | |
JP5423375B2 (ja) | 音声合成装置 | |
JP6255744B2 (ja) | 楽曲表示装置および楽曲表示方法 | |
JP5157922B2 (ja) | 音声合成装置、およびプログラム | |
JP6179221B2 (ja) | 音響処理装置および音響処理方法 | |
JP6044284B2 (ja) | 音声合成装置 | |
JP5176981B2 (ja) | 音声合成装置、およびプログラム | |
JP7124870B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
JP2014098802A (ja) | 音声合成装置 | |
JP5552797B2 (ja) | 音声合成装置および音声合成方法 | |
JP5106437B2 (ja) | カラオケ装置及びその制御方法並びにその制御プログラム | |
JP5935831B2 (ja) | 音声合成装置、音声合成方法およびプログラム | |
JP7127682B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
JP6149373B2 (ja) | 音声合成データ編集装置および音声合成データ編集方法 | |
JP5982942B2 (ja) | 音声合成装置 | |
JP5641266B2 (ja) | 音声合成装置、音声合成方法およびプログラム | |
JP2015079065A (ja) | 合成情報管理装置および音声合成装置 | |
JP2013238664A (ja) | 音声素片切出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190318 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6507579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |