JP5949607B2 - 音声合成装置 - Google Patents
音声合成装置 Download PDFInfo
- Publication number
- JP5949607B2 JP5949607B2 JP2013052758A JP2013052758A JP5949607B2 JP 5949607 B2 JP5949607 B2 JP 5949607B2 JP 2013052758 A JP2013052758 A JP 2013052758A JP 2013052758 A JP2013052758 A JP 2013052758A JP 5949607 B2 JP5949607 B2 JP 5949607B2
- Authority
- JP
- Japan
- Prior art keywords
- retake
- singing
- editing
- user
- sequence data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 claims description 103
- 238000000034 method Methods 0.000 claims description 100
- 238000012545 processing Methods 0.000 claims description 80
- 238000003786 synthesis reaction Methods 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 61
- 238000011156 evaluation Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 description 31
- 238000003860 storage Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012854 evaluation process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241001342895 Chorus Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
- G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
Description
(A:第1実施形態)
図1は、本発明の第1実施形態の歌唱合成装置10Aの構成例を示す図である。歌唱合成装置10Aは、従来の歌唱合成装置と同様に、歌唱音声の合成対象の曲のメロディを構成する音符列を表す楽曲情報と、各音符に合わせて歌唱する歌詞を表す歌詞情報とから、歌唱音声の波形データを電気的に生成する装置である。図1に示すように歌唱合成装置10Aは、制御部110、ユーザI/F部120、外部機器I/F部130、記憶部140、およびこれら構成要素間のデータ授受を仲介するバス150を含んでいる。
図4に示すように、リテイク支援テーブル144cには、リテイク支援画面(図3参照)にて指定可能な歌唱態様を示す歌唱態様識別子(各歌唱態様を表す文字列情報)に対応付けてその歌唱態様を実現し得る複数種類の編集処理を表す処理内容データが格納されている。図4に示す例では、「子音はっきり」という歌唱態様識別子に対応付けて、「(手法A):ベロシティを下げる(換言すれば、子音の継続長を長くする)」、「(手法B):子音の音量を上げる」および「(手法C):子音のピッチを下げる」の3種類の編集処理の処理内容を表す処理内容データが格納されている。
以上が歌唱合成処理である。
ユーザは、サウンドシステムから出力される合成歌唱音を聴き、意図した通りの歌唱音声が合成されているか否かを確かめることができる。そして、ユーザは、ユーザI/F部120の操作部を操作し、合成完了、またはリテイクの指示(具体的には、リテイクする時間区間を示す情報)を与えることができる。意図した通りの歌唱音声が合成されていれば、合成完了を指示し、意図した通りに歌唱音声が合成されていない場合にはリテイクを指示するといった具合である。制御部110は、ユーザI/F部120を介して与えられた指示が、合成完了であるのかそれともリテイクであるのかを判定する(ステップSA130)。与えられた指示が合成完了である場合には、制御部110は、ステップSA110にて生成した歌唱合成用シーケンスデータ(或いはステップSA120にて生成した波形データ)を不揮発性記憶部144の所定の記憶領域に書き込んで歌唱合成プログラム144aの実行を終了する。これに対して、リテイクを指示された場合には、ステップSA140以降の処理を実行する。
図9は、本発明の第2実施形態の歌唱合成装置10Bの構成例を示す図である。
図9では図1と同一の構成要素には同一の符号が付与されている。図9と図1とを対比すれば明らかなように、歌唱合成装置10Bの構成は、歌唱合成プログラム144aに換えて歌唱合成プログラム144dが不揮発性記憶部144に格納されている点が歌唱合成装置10Aの構成と異なる。以下、第1実施形態との相違点である歌唱合成プログラム144dを中心に説明する。
以上本発明の第1および第2実施形態について説明したが、これら実施形態に以下の変形を加えても勿論良い。
(1)上記各実施形態では、楽曲情報および歌詞情報に基づいて歌唱音声を電気的に合成する歌唱合成装置への適用例を説明した。しかし、本発明の適用対象は歌唱合成装置に限定されるものではなく、文芸作品の朗読音声やガイダンス音声を、合成対象の音声における韻律変化を示す情報(歌唱合成における楽曲情報に対応する情報)とその音声の音素列を表す情報(歌唱合成における歌詞情報に対応する情報)とに基づいて電気的に合成する音声合成装置に適用しても勿論良い。また、専ら音声合成を行う装置ではなく、例えば、キャラクタのセリフを音声出力するロールプレイングゲーム等を実行するゲーム機や音声再生機能を備えた玩具など、他の処理と並列に(或いは他の処理の一部として)音声合成処理を実行する装置に本発明を適用しても勿論良い。
Claims (3)
- 音声の発声態様を表す複数種のパラメータを含むシーケンスデータに従って音声を合成する音声合成装置において、
音声を合成し直すリテイク区間をユーザに指定させ、前記シーケンスデータに含まれるパラメータのうち当該リテイク区間におけるパラメータを予め定められた複数種の編集処理の各々によって編集し、リテイク結果を表すシーケンスデータを生成するリテイク手段と、
前記リテイク手段により生成されたシーケンスデータの表す音を提示してリテイク再実行またはリテイク完了をユーザに選択させる選択支援手段と、
前記複数種の編集処理の各々による編集を経たシーケンスデータにしたがって合成される音声のうち編集前のシーケンスデータにしたがって合成される音声との差が少ないものを前記選択支援手段による提示対象から除外する事前評価手段と、
を有することを特徴とする音声合成装置。 - 前記複数種の編集処理の各々は、編集処理を施すことで実現される音声の発声態様毎にグループ分けされており、
前記リテイク手段は、リテイク区間とともに当該リテイク区間における音声の発声態様をユーザに指定させ、ユーザにより指定された音声の発声態様に対応する編集処理によってリテイク結果を表すシーケンスデータを生成する
ことを特徴とする請求項1に記載の音声合成装置。 - 前記複数種の編集処理の各々の処理内容を表す処理内容データと当該複数種の編集処理の各々を用いる優先度を表す優先度データとを対応付けて格納したテーブルと、
前記リテイク手段により生成されたシーケンスデータの表す音に対するユーザの評価値を入力させ、そのシーケンスデータの生成に用いた編集処理の処理内容を表す処理内容データに対応付けられた優先度データを当該評価値に応じて更新する評価手段と、を有し、
前記選択支援手段は、前記優先度の高い順に前記リテイク手段により生成されたシーケンスデータの表す音を提示する
ことを特徴とする請求項1または2に記載の音声合成装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013052758A JP5949607B2 (ja) | 2013-03-15 | 2013-03-15 | 音声合成装置 |
EP14157748.6A EP2779159A1 (en) | 2013-03-15 | 2014-03-05 | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon |
US14/198,464 US9355634B2 (en) | 2013-03-15 | 2014-03-05 | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon |
CN201410098488.6A CN104050961A (zh) | 2013-03-15 | 2014-03-17 | 语音合成装置和方法以及存储有语音合成程序的记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013052758A JP5949607B2 (ja) | 2013-03-15 | 2013-03-15 | 音声合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014178512A JP2014178512A (ja) | 2014-09-25 |
JP5949607B2 true JP5949607B2 (ja) | 2016-07-13 |
Family
ID=50190344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013052758A Active JP5949607B2 (ja) | 2013-03-15 | 2013-03-15 | 音声合成装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9355634B2 (ja) |
EP (1) | EP2779159A1 (ja) |
JP (1) | JP5949607B2 (ja) |
CN (1) | CN104050961A (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9159310B2 (en) | 2012-10-19 | 2015-10-13 | The Tc Group A/S | Musical modification effects |
WO2014088036A1 (ja) * | 2012-12-04 | 2014-06-12 | 独立行政法人産業技術総合研究所 | 歌声合成システム及び歌声合成方法 |
US9123315B1 (en) * | 2014-06-30 | 2015-09-01 | William R Bachand | Systems and methods for transcoding music notation |
US9384728B2 (en) * | 2014-09-30 | 2016-07-05 | International Business Machines Corporation | Synthesizing an aggregate voice |
JP6728754B2 (ja) * | 2015-03-20 | 2020-07-22 | ヤマハ株式会社 | 発音装置、発音方法および発音プログラム |
JP6004358B1 (ja) * | 2015-11-25 | 2016-10-05 | 株式会社テクノスピーチ | 音声合成装置および音声合成方法 |
JP2019066649A (ja) * | 2017-09-29 | 2019-04-25 | ヤマハ株式会社 | 歌唱音声の編集支援方法、および歌唱音声の編集支援装置 |
JP7000782B2 (ja) * | 2017-09-29 | 2022-01-19 | ヤマハ株式会社 | 歌唱音声の編集支援方法、および歌唱音声の編集支援装置 |
JP6988343B2 (ja) | 2017-09-29 | 2022-01-05 | ヤマハ株式会社 | 歌唱音声の編集支援方法、および歌唱音声の編集支援装置 |
JP6729539B2 (ja) * | 2017-11-29 | 2020-07-22 | ヤマハ株式会社 | 音声合成方法、音声合成システムおよびプログラム |
JP6737320B2 (ja) | 2018-11-06 | 2020-08-05 | ヤマハ株式会社 | 音響処理方法、音響処理システムおよびプログラム |
JP6747489B2 (ja) * | 2018-11-06 | 2020-08-26 | ヤマハ株式会社 | 情報処理方法、情報処理システムおよびプログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4731847A (en) * | 1982-04-26 | 1988-03-15 | Texas Instruments Incorporated | Electronic apparatus for simulating singing of song |
JP3333022B2 (ja) * | 1993-11-26 | 2002-10-07 | 富士通株式会社 | 歌声合成装置 |
US5703311A (en) * | 1995-08-03 | 1997-12-30 | Yamaha Corporation | Electronic musical apparatus for synthesizing vocal sounds using format sound synthesis techniques |
US5895449A (en) * | 1996-07-24 | 1999-04-20 | Yamaha Corporation | Singing sound-synthesizing apparatus and method |
JPH117296A (ja) * | 1997-06-18 | 1999-01-12 | Oputoromu:Kk | 電子回路を有する記憶媒体と該記憶媒体を有する音声合成装置 |
JP2000105595A (ja) * | 1998-09-30 | 2000-04-11 | Victor Co Of Japan Ltd | 歌唱装置及び記録媒体 |
JP2002268664A (ja) | 2001-03-09 | 2002-09-20 | Ricoh Co Ltd | 音声変換装置及びプログラム |
JP3815347B2 (ja) * | 2002-02-27 | 2006-08-30 | ヤマハ株式会社 | 歌唱合成方法と装置及び記録媒体 |
JP3823930B2 (ja) * | 2003-03-03 | 2006-09-20 | ヤマハ株式会社 | 歌唱合成装置、歌唱合成プログラム |
US20040193429A1 (en) * | 2003-03-24 | 2004-09-30 | Suns-K Co., Ltd. | Music file generating apparatus, music file generating method, and recorded medium |
JP4409279B2 (ja) | 2003-12-22 | 2010-02-03 | 株式会社日立製作所 | 音声合成装置及び音声合成プログラム |
JP4114888B2 (ja) | 2005-07-20 | 2008-07-09 | 松下電器産業株式会社 | 声質変化箇所特定装置 |
US8244546B2 (en) * | 2008-05-28 | 2012-08-14 | National Institute Of Advanced Industrial Science And Technology | Singing synthesis parameter data estimation system |
JP5269668B2 (ja) * | 2009-03-25 | 2013-08-21 | 株式会社東芝 | 音声合成装置、プログラム、及び方法 |
JP5510852B2 (ja) * | 2010-07-20 | 2014-06-04 | 独立行政法人産業技術総合研究所 | 声色変化反映歌声合成システム及び声色変化反映歌声合成方法 |
JP5743625B2 (ja) * | 2011-03-17 | 2015-07-01 | 株式会社東芝 | 音声合成編集装置および音声合成編集方法 |
KR101274961B1 (ko) * | 2011-04-28 | 2013-06-13 | (주)티젠스 | 클라이언트단말기를 이용한 음악 컨텐츠 제작시스템 |
US9236045B2 (en) * | 2011-05-23 | 2016-01-12 | Nuance Communications, Inc. | Methods and apparatus for proofing of a text input |
JP5712818B2 (ja) * | 2011-06-30 | 2015-05-07 | 富士通株式会社 | 音声合成装置、音質修正方法およびプログラム |
US8729374B2 (en) * | 2011-07-22 | 2014-05-20 | Howling Technology | Method and apparatus for converting a spoken voice to a singing voice sung in the manner of a target singer |
-
2013
- 2013-03-15 JP JP2013052758A patent/JP5949607B2/ja active Active
-
2014
- 2014-03-05 EP EP14157748.6A patent/EP2779159A1/en not_active Withdrawn
- 2014-03-05 US US14/198,464 patent/US9355634B2/en active Active
- 2014-03-17 CN CN201410098488.6A patent/CN104050961A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20140278433A1 (en) | 2014-09-18 |
EP2779159A1 (en) | 2014-09-17 |
JP2014178512A (ja) | 2014-09-25 |
CN104050961A (zh) | 2014-09-17 |
US9355634B2 (en) | 2016-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5949607B2 (ja) | 音声合成装置 | |
US10354627B2 (en) | Singing voice edit assistant method and singing voice edit assistant device | |
US9489938B2 (en) | Sound synthesis method and sound synthesis apparatus | |
JP3823930B2 (ja) | 歌唱合成装置、歌唱合成プログラム | |
JP5293460B2 (ja) | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 | |
JP6236765B2 (ja) | 音楽データ編集装置および音楽データ編集方法 | |
TWI394142B (zh) | 歌聲合成系統、方法、以及裝置 | |
KR20090041392A (ko) | 악곡 연습 지원 장치, 악곡 연습 지원 장치의 제어 방법, 악곡 연습 지원 장치를 제어하는 제어 방법을 컴퓨터로 실행시키는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
JP6728754B2 (ja) | 発音装置、発音方法および発音プログラム | |
JP2008026622A (ja) | 評価装置 | |
CN111418006B (zh) | 声音合成方法、声音合成装置及记录介质 | |
JP2019066649A (ja) | 歌唱音声の編集支援方法、および歌唱音声の編集支援装置 | |
JP4929604B2 (ja) | 歌データ入力プログラム | |
JP2013164609A (ja) | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 | |
JP6179221B2 (ja) | 音響処理装置および音響処理方法 | |
JP6255744B2 (ja) | 楽曲表示装置および楽曲表示方法 | |
JP6044284B2 (ja) | 音声合成装置 | |
JP3807380B2 (ja) | スコアデータ編集装置、スコアデータ表示装置およびプログラム | |
WO2019239971A1 (ja) | 情報処理方法、情報処理装置およびプログラム | |
JP5953743B2 (ja) | 音声合成装置及びプログラム | |
JP6144593B2 (ja) | 歌唱採点システム | |
WO2023153033A1 (ja) | 情報処理方法、プログラム、および情報処理装置 | |
JP7158331B2 (ja) | カラオケ装置 | |
JP2018151548A (ja) | 発音装置及びループ区間設定方法 | |
JP5439994B2 (ja) | データ集配システム,通信カラオケシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141023 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150324 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151110 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160523 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5949607 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |