JP5954221B2 - 音源特定システム、及び音源特定方法 - Google Patents
音源特定システム、及び音源特定方法 Download PDFInfo
- Publication number
- JP5954221B2 JP5954221B2 JP2013039583A JP2013039583A JP5954221B2 JP 5954221 B2 JP5954221 B2 JP 5954221B2 JP 2013039583 A JP2013039583 A JP 2013039583A JP 2013039583 A JP2013039583 A JP 2013039583A JP 5954221 B2 JP5954221 B2 JP 5954221B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- sentence
- data
- expression
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
この特許文献1に記載された音声合成装置では、入力された文章データによって表されたテキストを解析し、その解析結果として属性情報を導出する。そして、属性情報と予め対応付けられた韻律パラメータに、上記解析結果である属性情報を照合し、類似度が基準値以上となる属性情報と対応付けられた韻律パラメータを用いて音声合成を実行する。
しかしながら、特許文献1に記載された音声合成装置では、文構造を表す属性情報に従って、音声合成に用いる韻律データを特定している。このため、特許文献1に記載された音声合成装置では、音声合成によってテキストを読上げた合成音は、当該テキストに適した表情が付与されないという課題がある。
本発明の音源特定システムでは、文章取得手段が、指定された文章を構成する文字列を表す文章データを取得し、文章解析手段が、文章取得手段で取得された文章データによって表される文章を解析し、当該文章にて出現する各種類の表情の分布度合いを表すテキスト表情分布を導出する。
ところで、本発明の音源特定システムにおいては、内容情報取得手段と、波形取得手段と、パラメータ導出手段と、表情データ生成手段と、音源データ登録手段とを備えていても良い。
つまり、本発明の音源特定システムによれば、発声内容情報によって表される文字列を多くの人物に発声させた各対象波形から音声パラメータを導出することで、多様な発声者の音声パラメータを導出できる。
この場合、音源特定方法では、文章データをコンピュータに取得させる文章取得過程と、文章データによって表される文章を解析し、テキスト表情分布をコンピュータに導出させる文章解析過程と、音声パラメータと表情データとを発声ごとに対応付けた音源データを格納した記憶装置から音源データそれぞれを取得して解析し、音源表情分布をコンピュータに導出させる音源解析過程と、テキスト表情分布を音源表情分布それぞれに照合して、両者の相関値をコンピュータに導出させるマッチング過程と、相関値の中で、値が最も高い相関値に対応する音源データをコンピュータに提示させる情報提示過程とを有していても良い。
〈音声合成システム〉
図1に示す音声合成システム1は、ユーザが指定した文章データWTの内容を、ユーザが指定した特徴の合成音にて出力するシステムであり、少なくとも一つの情報処理サーバ10と、少なくとも一つの音声出力端末60とを備えている。
〈音声出力端末〉
音声出力端末60は、通信部61と、情報受付部62と、表示部63と、音入力部64と、音出力部65と、記憶部66と、制御部70とを備えている。本実施形態における音声出力端末60として、例えば、周知の携帯端末を想定しても良いし、いわゆるパーソナルコンピュータといった周知の情報処理装置を想定しても良い。なお、携帯端末には、周知の電子書籍端末や、携帯電話、タブレット端末などの携帯情報端末を含む。
すなわち、各音声出力端末60は、当該音声出力端末60のユーザが指定した文章データWT、及び当該文章データWTに適した音源データSDを情報処理サーバ10から取得して音声合成を実行する。そして、その音声合成によって、文章データWTの内容を表す合成音を生成して出力する。
〈情報処理サーバ〉
情報処理サーバ10は、通信部12と、制御部20と、記憶部30とを備え、少なくとも、文章を構成する文字列を表す文章データWTと、予め入力された音声の音声特徴量を少なくとも含む音源データSDとが格納されたサーバである。
制御部20は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するROM22と、処理プログラムやデータを一時的に格納するRAM24と、ROM22やRAM24に記憶された処理プログラムに従って各種処理を実行するCPU26とを少なくとも有した周知のコンピュータを中心に構成されている。この制御部20は、通信部12や記憶部30を制御する。
音源データSDは、音声パラメータPVjと、タグデータ(表情データ)TGjとを音源jごとに対応付けたデータである。
その音源データ登録処理は、起動されると、図2に示すように、複数種類の表情が出現する内容の文章として予め規定された規定内容文の文字列を表す文章データWTを取得する(S110)。このS110にて取得する文章データWTを、以下では、発声内容文章データと称す。
つまり、本実施形態の音声パラメータ登録処理では、発声内容文章データによって表される文章に対して発声された一つの音声波形データを解析し、音声パラメータSVを導出する。これと共に、音声パラメータ登録処理では、当該発声内容文章データによって表される文章を解析し、当該音声パラメータSVにて表現される表情を表す表情データを導出する。
〈音源特定処理〉
次に、情報処理サーバ10の制御部20が実行する音源特定処理について説明する。
つまり、音源特定処理では、指定文章データWTによって表される文章を解析し、当該文章にて出現する各種類の表情の分布度合いを表すテキスト表情分布tpd(i,k)を登場人物iごとに導出する。そして、記憶部30に記憶された音源データSDそれぞれを取得して解析し、音源データSDごとに、当該音源データSDに含まれる音声パラメータPVにて表される音声に表出する各種類の表情の分布度合いを表す音源表情分布vpd(j,k)を導出する。
[実施形態の効果]
以上説明したように、音声合成システム1によれば、テキスト表情分布tpd(i,k)との相関値cor(i,j)が最大となる音源表情分布vpd(j,k)に対応する音源データSDを特定して提示できる。この相関値cor(i,j)が最大となる音源データSDは、文章データWTにて出現する表情分布に、最も高い一致度の表情分布を有した音声パラメータPVを含むものである。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
また、上記実施形態における音源特定処理におけるS360では、相関値corを導出する際に、テキスト表情分布tpd(i,k)と音源表情分布vpd(j,k)とを正規化していたが、各正規化は、テキスト表情分布tpd(i,k)と音源表情分布vpd(j,k)とのそれぞれを導出する際に実行しても良い。
[実施形態と特許請求の範囲との対応関係]
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
Claims (3)
- 指定された文章を構成する文字列を表す文章データを取得する文章取得手段と、
前記文章取得手段で取得された文章データによって表される文章を解析し、当該文章にて出現する各種類の表情の分布度合いを表すテキスト表情分布を導出する文章解析手段と、
複数種類の表情が出現する内容の文章として規定された規定内容文について発声された音の少なくとも一つの音声パラメータと、前記規定内容文について発声したときの各表情を表す表情データとを発声ごとに対応付けたデータである音源データを格納した記憶装置から前記音源データそれぞれを取得して解析し、前記音源データごとに、当該音源データに含まれる前記音声パラメータにて表される音声に表出する各種類の表情の分布度合いを表す音源表情分布を導出する音源解析手段と、
前記文章解析手段にて導出されたテキスト表情分布を、前記音源解析手段にて導出された音源表情分布それぞれに照合して、両者の相関値を導出するマッチング手段と、
前記マッチング手段にて導出された相関値の中で、値が最も高い相関値に対応する前記音源データを提示する情報提示手段と
を備えることを特徴とする音源特定システム。 - 複数種類の表情が出現する内容の文章を構成する文字列を表す規定内容文を取得する内容情報取得手段と、
前記内容情報取得手段で取得した規定内容文である特定内容情報によって表される文字列について発声された音声波形である対象波形を取得する波形取得手段と、
前記波形取得手段で取得した対象波形から、前記音声パラメータを導出するパラメータ導出手段と、
前記特定内容情報に基づいて、前記対象波形にて表出される表情を推定し、その推定結果を前記表情データとして生成する表情データ生成手段と、
前記パラメータ導出手段で導出された音声パラメータと、前記表情データ生成手段で生成された表情データとを対応付けることで、前記音源データを生成し、前記記憶装置に記憶する音源データ登録手段と
を備えることを特徴とする請求項1に記載の音源特定システム。 - 指定された文章を構成する文字列を表す文章データをコンピュータに取得させる文章取得過程と、
前記文章取得過程で取得された文章データによって表される文章を解析し、当該文章にて出現する各種類の表情の分布度合いを表すテキスト表情分布をコンピュータに導出させる文章解析過程と、
複数種類の表情が出現する内容の文章として規定された規定内容文について発声された音の少なくとも一つの音声パラメータと、前記規定内容文について発声した音声の各表情を表す表情データとを発声ごとに対応付けたデータである音源データを格納した記憶装置から前記音源データそれぞれを取得して解析し、前記音源データごとに、当該音源データに含まれる前記音声パラメータにて表される音声に表出する各種類の表情の分布度合いを表す音源表情分布をコンピュータに導出させる音源解析過程と、
前記文章解析過程にて導出されたテキスト表情分布を、前記音源解析過程にて導出された音源表情分布それぞれに照合して、両者の相関値をコンピュータに導出させるマッチング過程と、
前記マッチング過程にて導出された相関値の中で、値が最も高い相関値に対応する前記音源データをコンピュータに提示させる情報提示過程と
を備えることを特徴とする音源特定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013039583A JP5954221B2 (ja) | 2013-02-28 | 2013-02-28 | 音源特定システム、及び音源特定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013039583A JP5954221B2 (ja) | 2013-02-28 | 2013-02-28 | 音源特定システム、及び音源特定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014167556A JP2014167556A (ja) | 2014-09-11 |
JP5954221B2 true JP5954221B2 (ja) | 2016-07-20 |
Family
ID=51617276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013039583A Active JP5954221B2 (ja) | 2013-02-28 | 2013-02-28 | 音源特定システム、及び音源特定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5954221B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091891A (ja) * | 2000-09-19 | 2002-03-29 | Nippon Telegraph & Telephone East Corp | 電子メール読み上げ装置、その方法およびそのプログラムが記録されたコンピュータ読み取り可能な記録媒体、並びにデータが記録されたコンピュータ読み取り可能な記録媒体 |
CN100524457C (zh) * | 2004-05-31 | 2009-08-05 | 国际商业机器公司 | 文本至语音转换以及调整语料库的装置和方法 |
JP5031269B2 (ja) * | 2005-05-30 | 2012-09-19 | 京セラ株式会社 | 文書表示装置及び文書読み上げ方法 |
JP5747471B2 (ja) * | 2010-10-20 | 2015-07-15 | 三菱電機株式会社 | 音声合成システム、音声素片辞書作成方法、音声素片辞書作成プログラム、及び、音声素片辞書作成プログラム記録媒体 |
-
2013
- 2013-02-28 JP JP2013039583A patent/JP5954221B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014167556A (ja) | 2014-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10339290B2 (en) | Spoken pass-phrase suitability determination | |
US10621968B2 (en) | Method and apparatus to synthesize voice based on facial structures | |
Eyben et al. | The Geneva minimalistic acoustic parameter set (GeMAPS) for voice research and affective computing | |
CN106503646B (zh) | 多模态情感辨识***及方法 | |
WO2019196306A1 (zh) | 基于语音的口型动画合成装置、方法及可读存储介质 | |
Mariooryad et al. | Compensating for speaker or lexical variabilities in speech for emotion recognition | |
US20060080098A1 (en) | Apparatus and method for speech processing using paralinguistic information in vector form | |
JP2007133414A (ja) | 音声の識別能力推定方法及び装置、ならびに話者認証の登録及び評価方法及び装置 | |
JP2021152682A (ja) | 音声処理装置、音声処理方法、およびプログラム | |
CN114121006A (zh) | 虚拟角色的形象输出方法、装置、设备以及存储介质 | |
Park et al. | Towards understanding speaker discrimination abilities in humans and machines for text-independent short utterances of different speech styles | |
CN113782032B (zh) | 一种声纹识别方法及相关装置 | |
KR20210071713A (ko) | 스피치 스킬 피드백 시스템 | |
US11176943B2 (en) | Voice recognition device, voice recognition method, and computer program product | |
JP2015175859A (ja) | パターン認識装置、パターン認識方法及びパターン認識プログラム | |
CN110838294B (zh) | 一种语音验证方法、装置、计算机设备及存储介质 | |
JP5949634B2 (ja) | 音声合成システム、及び音声合成方法 | |
JP5954221B2 (ja) | 音源特定システム、及び音源特定方法 | |
CN112634861B (zh) | 数据处理方法、装置、电子设备和可读存储介质 | |
JP6003352B2 (ja) | データ生成装置、及びデータ生成方法 | |
JP2004279436A (ja) | 音声合成装置及びコンピュータプログラム | |
JP2004117662A (ja) | 音声合成システム | |
CN114514576A (zh) | 数据处理方法、装置和存储介质 | |
CN110580905A (zh) | 识别装置及方法 | |
ASAOLU et al. | UNILAG Laughter Corpus–A Dataset for Laughter Analyses and Biometrics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160530 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5954221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |