JP5282469B2 - 音声処理装置およびプログラム - Google Patents
音声処理装置およびプログラム Download PDFInfo
- Publication number
- JP5282469B2 JP5282469B2 JP2008191973A JP2008191973A JP5282469B2 JP 5282469 B2 JP5282469 B2 JP 5282469B2 JP 2008191973 A JP2008191973 A JP 2008191973A JP 2008191973 A JP2008191973 A JP 2008191973A JP 5282469 B2 JP5282469 B2 JP 5282469B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- prosody
- difference
- feature
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000005236 sound signal Effects 0.000 claims description 74
- 238000003754 machining Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract description 6
- 230000008859 change Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 230000001629 suppression Effects 0.000 description 12
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 239000013256 coordination polymer Substances 0.000 description 8
- 230000007423 decrease Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Navigation (AREA)
- Toys (AREA)
- Exchange Systems With Centralized Control (AREA)
Description
本発明の第1態様に係る音声処理装置は、計時部が計測する現在時刻に応じて制御値を可変に制御する制御手段を具備し、変数特定手段は、差分値と加工値との関係を制御値に応じて可変に制御する。本発明の第2態様に係る音声処理装置は、特徴抽出手段が抽出した複数の特徴量に応じて基準値を設定する基準設定手段を具備し、基準設定手段は、音声信号を音声区間と非音声区間とに区分し、音声区間内の複数の単位区間の各々の特徴量に応じた基準値を音声区間毎に個別に設定する。また、本発明の第3態様の音声処理装置において、特徴抽出手段は、音声信号のスペクトルのうち最大強度のピークの頂点からみて高域側の部分を近似する直線の傾きを特徴量として抽出する。
本発明の好適な態様において、変数特定手段は、差分値の絶対値が増加するほど差分値に対する加工値の変化率が増加するように加工値を算定する(例えば図6の関数F2Aや関数F2B)。以上の態様においては、差分値の絶対値が増加するほど加工値の変化率が増加するから、差分値に対して加工値が固定の変化率で変化する(すなわち直線的に変化する)場合と比較して、韻律を充分に変化(強調または抑制)させることが可能である。
また、本発明の他の態様において、変数特定手段は、差分値の絶対値が増加するほど差分値に対する加工値の変化率が減少するように加工値を算定する(例えば図7の関数F3Aや関数F3B)。以上の態様においては、差分値の絶対値が増加するほど加工値の変化率が減少するから、差分値に対して加工値が固定の変化率で変化する(すなわち直線的に変化する)場合と比較して、韻律の変化(強調または抑制)の度合を低減できるという利点がある。
図1は、本発明の第1実施形態に係る音声処理装置のブロック図である。図1に示すように、音声処理装置100は、演算処理装置10と記憶装置12とを含むコンピュータシステムで構成される。記憶装置12は、演算処理装置10が実行するプログラムや演算処理装置10が使用するデータを記憶する。例えば音声信号S0が記憶装置12に格納される。音声信号S0は、音声の時間軸上の波形を表すサンプル系列である。半導体記録媒体や磁気記録媒体などの公知の記録媒体が記憶装置12として任意に採用される。
F+C=(R+D)+(f(D)−D)
=R+f(D) ……(1)
次に、本発明の第2実施形態について説明する。なお、以下の各形態において作用や機能が第1実施形態と同様である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
図8は、本発明の第3実施形態に係る電気機器(例えば冷蔵庫や炊飯器などの家電機器)のブロック図である。図8に示すように、電気機器は、音声処理装置101を具備する。音声処理装置101は、制御値Uを生成して韻律制御部20に指示する制御部40を第1実施形態と同様の音声処理装置100に追加した構成である。図8に示すように、制御部40は、現在の時刻tを計測する計時部42を含む。
以上に例示した各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から2以上の態様を任意に選択して組合せてもよい。
以上の形態においては、変数特定部28が関数F(F1〜F3)の演算を実行することで加工値C(CV,CP)を算定したが、差分値Dから加工値Cを特定する方法は任意である。例えば、差分値Dの各数値と加工値Cの各数値とを対応させたデータテーブルを事前に作成および保持し、差分算定部26が算定した差分値Dに対応する加工値Cを変数特定部28がデータテーブルから取得して音声加工部30に指示するという構成も採用される。
以上の各形態においては複数の特徴量Fの平均値を基準値Rとして利用したが、基準値Rの算定の方法は任意である。例えば、特徴抽出部22が抽出した複数の特徴量Fの一部から基準値Rを算定する構成や、特徴抽出部22が抽出した複数の特徴量Fの最大値や最小値を基準値Rとして使用した構成が採用される。さらに、音声信号S0とは無関係に基準値Rを設定した構成も好適である。
第3実施形態においては現在の時刻tに応じた制御値Uを制御部40が生成したが、制御部40による制御値Uの生成の基準は時刻tに限定されない。例えば、複数の利用者の各々について個別に制御値Uを登録しておき、複数の制御値Uのうち実際の利用者に対応する制御値Uを制御部40が選択して韻律制御部20に指示する構成も好適である。
韻律の制御に使用される特徴量Fは音量FVや音高FPに限定されない。例えば、音声信号S0の周波数スペクトル(パワースペクトル)のうち強度が最大となるピークの頂点からみて高域側の部分を近似する直線の傾きを、特徴抽出部22が特徴量Fとして抽出するとともに音声加工部30が変化させる構成においても、音声信号S0の韻律を変化させた出力信号SOUTが生成される。また、音量FVおよび音高FPの一方のみが特徴量Fとして抽出される構成も好適である。以上の説明から理解されるように、音声の韻律に関連する(韻律を特徴づける)数値が特徴量Fとして好適である。
以上の各形態においては音声信号S0の韻律を強調または抑制する場合を例示したが、韻律の強調および抑制の一方のみを実行する場合にも以上の各形態は同様に適用される。例えば音声処理装置100が韻律の強調に専用される場合、変数特定部28は、関数値fの絶対値が差分値Dの絶対値を上回るように差分値Dと関数値fとの関係を定義する関数F(F1A,F2A,F3A)を加工値Cの算定に使用する。
音声信号S0の供給元は記憶装置12に限定されない。例えば、周囲の音響を収音して音声信号S0を生成する収音装置(マイクロホン)や、可搬型の記録媒体に格納された音声信号S0を再生する再生装置も、音声信号S0の供給元として好適である。また、公知の音声合成技術で合成した音声信号S0から出力信号SOUTを生成する構成も採用される。
音声加工部30が生成した出力信号SOUTの出力先は放音装置16に限定されない。例えば、出力信号SOUTが記憶装置12に保持される構成や、出力信号SOUTが通信網を介して他の装置に送信される構成も採用される。
Claims (6)
- 音声の韻律に関連する特徴量を音声信号から順次に抽出する特徴抽出手段と、
基準値と前記各特徴量との差分値を算定する差分算定手段と、
前記各差分値に応じた加工値を特定する変数特定手段と、
前記音声信号の各特徴量を前記各加工値に応じて制御することで、前記音声信号の韻律を変化させた出力信号を生成する音声加工手段と、
計時部が計測する現在時刻に応じて制御値を可変に制御する制御手段とを具備し、
前記変数特定手段は、前記差分値と前記加工値との関係を前記制御値に応じて可変に制御する
音声処理装置。 - 音声の韻律に関連する特徴量を音声信号から順次に抽出する特徴抽出手段と、
基準値と前記各特徴量との差分値を算定する差分算定手段と、
前記各差分値に応じた加工値を特定する変数特定手段と、
前記音声信号の各特徴量を前記各加工値に応じて制御することで、前記音声信号の韻律を変化させた出力信号を生成する音声加工手段と、
前記特徴抽出手段が抽出した前記複数の特徴量に応じて前記基準値を設定する基準設定手段とを具備し、
前記基準設定手段は、前記音声信号を音声区間と非音声区間とに区分し、前記音声区間内の複数の単位区間の各々の特徴量に応じた基準値を音声区間毎に個別に設定する
音声処理装置。 - 音声信号のスペクトルのうち最大強度のピークの頂点からみて高域側の部分を近似する直線の傾きを、音声の韻律に関連する特徴量として前記音声信号から順次に抽出する特徴抽出手段と、
基準値と前記各特徴量との差分値を算定する差分算定手段と、
前記各差分値に応じた加工値を特定する変数特定手段と、
前記音声信号の各特徴量を前記各加工値に応じて制御することで、前記音声信号の韻律を変化させた出力信号を生成する音声加工手段と
を具備する音声処理装置。 - 音声の韻律に関連する特徴量を音声信号から順次に抽出する特徴抽出処理と、
基準値と前記各特徴量との差分値を算定する差分算定処理と、
前記各差分値に応じた加工値を特定する変数特定処理と、
前記音声信号の各特徴量を前記各加工値に応じて制御することで、前記音声信号の韻律を変化させた出力信号を生成する音声加工処理と、
計時部が計測する現在時刻に応じて制御値を可変に制御する制御処理と
をコンピュータに実行させるプログラムであって、
前記変数特定処理では、前記差分値と前記加工値との関係を前記制御値に応じて可変に制御する
プログラム。 - 音声の韻律に関連する特徴量を音声信号から順次に抽出する特徴抽出処理と、
基準値と前記各特徴量との差分値を算定する差分算定処理と、
前記各差分値に応じた加工値を特定する変数特定処理と、
前記音声信号の各特徴量を前記各加工値に応じて制御することで、前記音声信号の韻律を変化させた出力信号を生成する音声加工処理と、
前記特徴抽出処理で抽出した前記複数の特徴量に応じて前記基準値を設定する基準設定処理と
をコンピュータに実行させるプログラムであって、
前記基準設定処理では、前記音声信号を音声区間と非音声区間とに区分し、前記音声区間内の複数の単位区間の各々の特徴量に応じた基準値を音声区間毎に個別に設定する
プログラム。 - 音声信号のスペクトルのうち最大強度のピークの頂点からみて高域側の部分を近似する直線の傾きを、音声の韻律に関連する特徴量として前記音声信号から順次に抽出する特徴抽出処理と、
基準値と前記各特徴量との差分値を算定する差分算定処理と、
前記各差分値に応じた加工値を特定する変数特定処理と、
前記音声信号の各特徴量を前記各加工値に応じて制御することで、前記音声信号の韻律を変化させた出力信号を生成する音声加工処理と
をコンピュータに実行させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008191973A JP5282469B2 (ja) | 2008-07-25 | 2008-07-25 | 音声処理装置およびプログラム |
AT09165378T ATE503242T1 (de) | 2008-07-25 | 2009-07-14 | Vorrichtung und verfahren zur sprachverarbeitung |
DE602009000948T DE602009000948D1 (de) | 2008-07-25 | 2009-07-14 | Vorrichtung und Verfahren zur Sprachverarbeitung |
EP09165378A EP2148324B1 (en) | 2008-07-25 | 2009-07-14 | Voice processing apparatus and method |
US12/460,650 US8315855B2 (en) | 2008-07-25 | 2009-07-22 | Voice processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008191973A JP5282469B2 (ja) | 2008-07-25 | 2008-07-25 | 音声処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010032599A JP2010032599A (ja) | 2010-02-12 |
JP5282469B2 true JP5282469B2 (ja) | 2013-09-04 |
Family
ID=41203631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008191973A Expired - Fee Related JP5282469B2 (ja) | 2008-07-25 | 2008-07-25 | 音声処理装置およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8315855B2 (ja) |
EP (1) | EP2148324B1 (ja) |
JP (1) | JP5282469B2 (ja) |
AT (1) | ATE503242T1 (ja) |
DE (1) | DE602009000948D1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5677137B2 (ja) * | 2011-03-01 | 2015-02-25 | 日本放送協会 | 韻律変換装置およびプログラム |
US20160173808A1 (en) * | 2014-12-16 | 2016-06-16 | Psyx Research, Inc. | System and method for level control at a receiver |
JP2018159759A (ja) * | 2017-03-22 | 2018-10-11 | 株式会社東芝 | 音声処理装置、音声処理方法およびプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE506003C2 (sv) * | 1996-05-13 | 1997-11-03 | Telia Ab | Metod och system för tal-till-tal-omvandling med extrahering av prosodiinformation |
JP3575919B2 (ja) * | 1996-06-24 | 2004-10-13 | 沖電気工業株式会社 | テキスト音声変換装置 |
JP4757971B2 (ja) * | 1999-10-21 | 2011-08-24 | ヤマハ株式会社 | ハーモニー音付加装置 |
JP4408596B2 (ja) * | 2001-08-30 | 2010-02-03 | シャープ株式会社 | 音声合成装置、声質変換装置、音声合成方法、声質変換方法、音声合成処理プログラム、声質変換処理プログラム、および、プログラム記録媒体 |
TW556150B (en) * | 2002-04-10 | 2003-10-01 | Ind Tech Res Inst | Method of speech segment selection for concatenative synthesis based on prosody-aligned distortion distance measure |
JP2003337592A (ja) * | 2002-05-21 | 2003-11-28 | Toshiba Corp | 音声合成方法及び音声合成装置及び音声合成プログラム |
US8145491B2 (en) * | 2002-07-30 | 2012-03-27 | Nuance Communications, Inc. | Techniques for enhancing the performance of concatenative speech synthesis |
JP2004252085A (ja) * | 2003-02-19 | 2004-09-09 | Fujitsu Ltd | 音声変換システム及び音声変換プログラム |
WO2006040908A1 (ja) * | 2004-10-13 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | 音声合成装置及び音声合成方法 |
WO2008033095A1 (en) * | 2006-09-15 | 2008-03-20 | Agency For Science, Technology And Research | Apparatus and method for speech utterance verification |
JP2008191973A (ja) | 2007-02-06 | 2008-08-21 | Sony Corp | データ通信システム、端末装置、通信制御方法 |
JP5119700B2 (ja) * | 2007-03-20 | 2013-01-16 | 富士通株式会社 | 韻律修正装置、韻律修正方法、および、韻律修正プログラム |
-
2008
- 2008-07-25 JP JP2008191973A patent/JP5282469B2/ja not_active Expired - Fee Related
-
2009
- 2009-07-14 AT AT09165378T patent/ATE503242T1/de not_active IP Right Cessation
- 2009-07-14 DE DE602009000948T patent/DE602009000948D1/de active Active
- 2009-07-14 EP EP09165378A patent/EP2148324B1/en active Active
- 2009-07-22 US US12/460,650 patent/US8315855B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010032599A (ja) | 2010-02-12 |
US8315855B2 (en) | 2012-11-20 |
ATE503242T1 (de) | 2011-04-15 |
US20100023321A1 (en) | 2010-01-28 |
EP2148324B1 (en) | 2011-03-23 |
DE602009000948D1 (de) | 2011-05-05 |
EP2148324A1 (en) | 2010-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4747835B2 (ja) | オーディオ再生の効果付加方法およびその装置 | |
JP5103974B2 (ja) | マスキングサウンド生成装置、マスキングサウンド生成方法およびプログラム | |
JP2007133035A (ja) | デジタル録音装置,デジタル録音方法,そのプログラムおよび記憶媒体 | |
JP2012235310A (ja) | 信号処理装置および方法、プログラム、並びにデータ記録媒体 | |
JP2006145867A (ja) | 音声処理装置およびプログラム | |
TWI397901B (zh) | 控制音訊信號比響度特性之方法及其相關裝置與電腦程式 | |
WO2015020025A1 (ja) | 音高補正装置及び音高補正方法 | |
JP2002215195A (ja) | 音楽信号処理装置 | |
CN101904183B (zh) | 助听器 | |
JP5282469B2 (ja) | 音声処理装置およびプログラム | |
JP4654621B2 (ja) | 音声処理装置およびプログラム | |
JP2012063614A (ja) | マスキング音生成装置 | |
EP3772224B1 (en) | Vibration signal generation apparatus and vibration signal generation program | |
JP4985570B2 (ja) | ディジタル音響信号処理方法及び処理装置 | |
JP2019168542A (ja) | 情報処理方法および情報処理装置 | |
US20140324418A1 (en) | Voice input/output device, method and programme for preventing howling | |
JP2008072600A (ja) | 音響信号処理装置、音響信号処理プログラム、音響信号処理方法 | |
KR101005672B1 (ko) | Midi 파일 재생의 최적화 | |
WO2017135350A1 (ja) | 記録媒体、音響処理装置および音響処理方法 | |
JP2018072723A (ja) | 音響処理方法および音響処理装置 | |
JP6409417B2 (ja) | 音響処理装置 | |
JP6337698B2 (ja) | 音響処理装置 | |
JP6930089B2 (ja) | 音響処理方法および音響処理装置 | |
JP2008224816A (ja) | カラオケ装置 | |
KR20110025434A (ko) | 노래의 감성 향상 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5282469 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |