JP4150645B2 - 音声ラベリングエラー検出装置、音声ラベリングエラー検出方法及びプログラム - Google Patents
音声ラベリングエラー検出装置、音声ラベリングエラー検出方法及びプログラム Download PDFInfo
- Publication number
- JP4150645B2 JP4150645B2 JP2003302646A JP2003302646A JP4150645B2 JP 4150645 B2 JP4150645 B2 JP 4150645B2 JP 2003302646 A JP2003302646 A JP 2003302646A JP 2003302646 A JP2003302646 A JP 2003302646A JP 4150645 B2 JP4150645 B2 JP 4150645B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- labeling
- waveform data
- phoneme
- waveform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 94
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000011156 evaluation Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims description 21
- 238000001228 spectrum Methods 0.000 claims description 13
- 238000005192 partition Methods 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 8
- 238000001308 synthesis method Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Telephonic Communication Services (AREA)
Description
規則合成方式は、音声を合成する対象のテキストについて形態素解析を行い、解析の結果に基づき、テキストに音韻論的処理を施すことにより音声を生成する手法である。規則合成方式では、音声合成に用いるテキストの内容についての制約が少なく、多様な内容のテキストを音声合成に用いることができる。しかし、規則合成方式では、コーパスベース方式に比べ、出力される音声の品質が劣っている。
単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得するデータ取得手段と、
前記データ取得手段が取得したラベリングデータに基づいて、前記データ取得手段が取得した波形データを単位音声の種類別に分類する分類手段と、
前記データ取得手段が取得した波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定する評価値決定手段と、
同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力するエラー検出手段と、を備える、
ことを特徴とする。
単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得し、
取得したラベリングデータに基づいて、取得した波形データを単位音声の種類別に分類し、
波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定し、
同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力する、
ことを特徴とする。
コンピュータを、
単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得するデータ取得手段と、
前記データ取得手段が取得したラベリングデータに基づいて、前記データ取得手段が取得した波形データを単位音声の種類別に分類する分類手段と、
前記データ取得手段が取得した波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定する評価値決定手段と、
同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力するエラー検出手段と、
して機能させるためのものであることを特徴とする。
図1は、この音声ラベリングシステムの構成を示すブロック図である。図示するように、この音声ラベリングシステムは、音声データベース1と、テキスト入力部2と、ラベリング部3と、音素切出部4と、フォルマント抽出部5と、統計処理部6と、エラー検出部7と、より構成されている。
音素のフォルマントは、音素のピッチ成分(基本周波数成分)に起因して生じる、音素のスペクトルのピークを与える周波数成分であり、ピッチ成分のk倍の倍音成分(kは2以上の整数)が第(k−1)フォルマント((k−1)次のフォルマント)である。従ってフォルマント抽出部5は、具体的には、例えば音素データのスペクトルを、高速フーリエ変換の手法(あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法)により求め、このスペクトルの極大値を与える周波数を、フォルマントの周波数として特定し、通知すればよい。
例えば、テキスト入力部2は、USB(Universal Serial Bus)インターフェース回路やLAN(Local Area Network)インターフェース回路等からなるインターフェース部を備えていてもよく、このインターフェース部を介して外部より文字列データを取得してラベリング部3に供給するようにしてもよい。
2 テキスト入力部
3 ラベリング部
4 音素切出部
5 フォルマント抽出部
6 統計処理部
7 エラー検出部
Claims (9)
- 単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得するデータ取得手段と、
前記データ取得手段が取得したラベリングデータに基づいて、前記データ取得手段が取得した波形データを単位音声の種類別に分類する分類手段と、
前記データ取得手段が取得した波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定する評価値決定手段と、
同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力するエラー検出手段と、を備える、
ことを特徴とする音声ラベリングエラー検出装置。 - 前記評価値は、当該評価値を求める対象の波形データが表す単位音声の第kフォルマント(ただしkは正の整数)の周波数をF(k)とし、当該波形データと同一種類に分類された各波形データが表す単位音声の第kフォルマントの周波数の平均値をf(k)とした場合における値{|f(k)−F(k)|}を複数のkの値について求め互いに線形結合したものに相当する値をとる、
ことを特徴とする請求項1に記載の音声ラベリングエラー検出装置。 - 前記評価値は、取得した波形データのスペクトルの複数のフォルマントの周波数を互いに線形結合したものに相当する値をとる、
ことを特徴とする請求項1に記載の音声ラベリングエラー検出装置。 - 前記評価値決定手段は、波形データのスペクトルの極大値を与える周波数を、当該波形データが表す単位音声のフォルマントの周波数として扱う、
ことを特徴とする請求項1、2又は3に記載の音声ラベリングエラー検出装置。 - 前記評価値決定手段が波形データの評価値の決定に用いるフォルマントの次数は、波形データが表す単位音声の種類であるものとしてラベリングデータが示している種類に対応付けて指定されている、
ことを特徴とする請求項1乃至4のいずれか1項に記載の音声ラベリングエラー検出装置。 - 前記エラー検出手段は、無音状態を表すラベリングデータが対応付けられている波形データについては、当該波形データが表す音声の大きさが所定量に達している波形データを、ラベリングにエラーのある波形データとして検出する、
ことを特徴とする請求項1乃至5のいずれか1項に記載の音声ラベリングエラー検出装置。 - 前記分類手段は、隣接する2個の波形データが無音状態を表すデータを挟むような態様で、同一種類に分類した各波形データを互いに連結する手段を備える、
ことを特徴とする請求項1乃至6のいずれか1項に記載の音声ラベリングエラー検出装置。 - 単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得し、
取得したラベリングデータに基づいて、取得した波形データを単位音声の種類別に分類し、
波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定し、
同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力する、
ことを特徴とする音声ラベリングエラー検出方法。 - コンピュータを、
単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得するデータ取得手段と、
前記データ取得手段が取得したラベリングデータに基づいて、前記データ取得手段が取得した波形データを単位音声の種類別に分類する分類手段と、
前記データ取得手段が取得した波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定する評価値決定手段と、
同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力するエラー検出手段と、
して機能させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003302646A JP4150645B2 (ja) | 2003-08-27 | 2003-08-27 | 音声ラベリングエラー検出装置、音声ラベリングエラー検出方法及びプログラム |
US10/920,454 US7454347B2 (en) | 2003-08-27 | 2004-08-18 | Voice labeling error detecting system, voice labeling error detecting method and program |
DE04020133T DE04020133T1 (de) | 2003-08-27 | 2004-08-25 | System zur Erkennung von Fehlern in der Sprachklassifizierung, und Verfahren und Programm dazu |
DE602004000898T DE602004000898T2 (de) | 2003-08-27 | 2004-08-25 | System zur Erkennung von Fehlern in der Sprachklassifizierung, und Verfahren und Programm dazu |
EP04020133A EP1511009B1 (en) | 2003-08-27 | 2004-08-25 | Voice labeling error detecting system, and method and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003302646A JP4150645B2 (ja) | 2003-08-27 | 2003-08-27 | 音声ラベリングエラー検出装置、音声ラベリングエラー検出方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005070604A JP2005070604A (ja) | 2005-03-17 |
JP4150645B2 true JP4150645B2 (ja) | 2008-09-17 |
Family
ID=34101192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003302646A Expired - Lifetime JP4150645B2 (ja) | 2003-08-27 | 2003-08-27 | 音声ラベリングエラー検出装置、音声ラベリングエラー検出方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US7454347B2 (ja) |
EP (1) | EP1511009B1 (ja) |
JP (1) | JP4150645B2 (ja) |
DE (2) | DE04020133T1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4158937B2 (ja) * | 2006-03-24 | 2008-10-01 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 字幕修正装置 |
JP4981519B2 (ja) * | 2007-05-25 | 2012-07-25 | 日本電信電話株式会社 | 学習データのラベル誤り候補抽出装置、その方法及びプログラム、その記録媒体 |
CN102237081B (zh) * | 2010-04-30 | 2013-04-24 | 国际商业机器公司 | 语音韵律评估方法与*** |
US9824684B2 (en) * | 2014-11-13 | 2017-11-21 | Microsoft Technology Licensing, Llc | Prediction-based sequence recognition |
JP6585022B2 (ja) * | 2016-11-11 | 2019-10-02 | 株式会社東芝 | 音声認識装置、音声認識方法およびプログラム |
JP7259988B2 (ja) * | 2019-11-25 | 2023-04-18 | 日本電信電話株式会社 | 検知装置、その方法、およびプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5390278A (en) * | 1991-10-08 | 1995-02-14 | Bell Canada | Phoneme based speech recognition |
US5796916A (en) * | 1993-01-21 | 1998-08-18 | Apple Computer, Inc. | Method and apparatus for prosody for synthetic speech prosody determination |
JPH06266389A (ja) | 1993-03-10 | 1994-09-22 | N T T Data Tsushin Kk | 音素ラベリング装置 |
JPH1138989A (ja) * | 1997-07-14 | 1999-02-12 | Toshiba Corp | 音声合成装置及び方法 |
US6411932B1 (en) * | 1998-06-12 | 2002-06-25 | Texas Instruments Incorporated | Rule-based learning of word pronunciations from training corpora |
AU772874B2 (en) * | 1998-11-13 | 2004-05-13 | Scansoft, Inc. | Speech synthesis using concatenation of speech waveforms |
JP3841596B2 (ja) * | 1999-09-08 | 2006-11-01 | パイオニア株式会社 | 音素データの生成方法及び音声合成装置 |
JP2003271182A (ja) * | 2002-03-18 | 2003-09-25 | Toshiba Corp | 音響モデル作成装置及び音響モデル作成方法 |
US7266497B2 (en) * | 2002-03-29 | 2007-09-04 | At&T Corp. | Automatic segmentation in speech synthesis |
US7280967B2 (en) * | 2003-07-30 | 2007-10-09 | International Business Machines Corporation | Method for detecting misaligned phonetic units for a concatenative text-to-speech voice |
-
2003
- 2003-08-27 JP JP2003302646A patent/JP4150645B2/ja not_active Expired - Lifetime
-
2004
- 2004-08-18 US US10/920,454 patent/US7454347B2/en active Active
- 2004-08-25 EP EP04020133A patent/EP1511009B1/en active Active
- 2004-08-25 DE DE04020133T patent/DE04020133T1/de active Pending
- 2004-08-25 DE DE602004000898T patent/DE602004000898T2/de active Active
Also Published As
Publication number | Publication date |
---|---|
EP1511009A1 (en) | 2005-03-02 |
JP2005070604A (ja) | 2005-03-17 |
DE602004000898T2 (de) | 2006-09-14 |
US7454347B2 (en) | 2008-11-18 |
EP1511009B1 (en) | 2006-05-17 |
DE602004000898D1 (de) | 2006-06-22 |
DE04020133T1 (de) | 2005-07-14 |
US20050060144A1 (en) | 2005-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zwicker et al. | Automatic speech recognition using psychoacoustic models | |
EP0680653B1 (en) | A method for training a tts system, the resulting apparatus, and method of use thereof | |
US20050171778A1 (en) | Voice synthesizer, voice synthesizing method, and voice synthesizing system | |
CN109313891B (zh) | 用于语音合成的***和方法 | |
JP4516863B2 (ja) | 音声合成装置、音声合成方法及びプログラム | |
JP2007249212A (ja) | テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ | |
WO2009026270A2 (en) | Hmm-based bilingual (mandarin-english) tts techniques | |
CN105609097A (zh) | 语音合成装置及其控制方法 | |
CN102473416A (zh) | 音质变换装置及其方法、元音信息制作装置及音质变换*** | |
KR20060008330A (ko) | 음성 합성 장치, 음성 합성 방법 및 프로그램 | |
JP2012141354A (ja) | 音声合成方法、音声合成装置及び音声合成プログラム | |
CN1956057B (zh) | 一种基于决策树的语音时长预测装置及方法 | |
JPWO2016103652A1 (ja) | 音声処理装置、音声処理方法、およびプログラム | |
US7089187B2 (en) | Voice synthesizing system, segment generation apparatus for generating segments for voice synthesis, voice synthesizing method and storage medium storing program therefor | |
JP4150645B2 (ja) | 音声ラベリングエラー検出装置、音声ラベリングエラー検出方法及びプログラム | |
JP4287785B2 (ja) | 音声合成装置、音声合成方法及びプログラム | |
EP2062252B1 (en) | Speech synthesis | |
JP2003186489A (ja) | 音声情報データベース作成システム,録音原稿作成装置および方法,録音管理装置および方法,ならびにラベリング装置および方法 | |
US20070100627A1 (en) | Device, method, and program for selecting voice data | |
JP2005018036A (ja) | 音声合成装置、音声合成方法及びプログラム | |
JP2536169B2 (ja) | 規則型音声合成装置 | |
EP1589524B1 (en) | Method and device for speech synthesis | |
US9251782B2 (en) | System and method for concatenate speech samples within an optimal crossing point | |
JP2009271190A (ja) | 音声素片辞書作成装置及び音声合成装置 | |
JP3881970B2 (ja) | 知覚試験用音声データセット作成装置、コンピュータプログラム、音声合成用サブコスト関数の最適化装置、及び音声合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080630 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4150645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |