JP3806030B2 - 情報処理装置及び方法 - Google Patents
情報処理装置及び方法 Download PDFInfo
- Publication number
- JP3806030B2 JP3806030B2 JP2001401424A JP2001401424A JP3806030B2 JP 3806030 B2 JP3806030 B2 JP 3806030B2 JP 2001401424 A JP2001401424 A JP 2001401424A JP 2001401424 A JP2001401424 A JP 2001401424A JP 3806030 B2 JP3806030 B2 JP 3806030B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- feature data
- voice feature
- call
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明は、音声を用いてメッセージを処理することが可能な情報処理装置及び方法に関する。更に詳しくは、受信したメッセージを音声にて読み上げる、或いは送信すべきメッセージを音声認識を用いて入力することが可能な装置に関するものである。
【0002】
【従来の技術】
電子メールの広がりに伴い、電子メールに含まれるメッセージを音声にて読み上げ機能を持つ機器が増えてきている。このような文書の読み上げにおいて、その内容を聞き手に理解し易くする方法として、特開2000−148175には、発信者が、文章中に伝えたいニュアンスや表情を表現する表情記号を挿入し、読み上げ時には、その表情記号に応じた読み上げを行う方法が示されている。また、ヒューマンI/Fの向上を目的とし、コンピュータで人の感情を読み取る手法も多数提案されている。例えば、特公平6−82376で号では日本語文章から作者の感情を抽出する方法が示されている。また、特開平5−12023号では、音声から音声認識を用いて感情を抽出する方法が示されている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記特開2000−148175では、発信者側によって表情記号を挿入する作業を行わなければならないというような欠点がある。また、特公平6−82376号と特開平5−12023号では、感情の抽出手段が示されているだけで、その利用方法に及ぶ開示はない。
【0004】
また、メッセージを音声にて読み上げる場合には、当該メッセージの発信者にかかわらず、ある特定の声質を用いて行われるのが一般的であった。
【0005】
本発明は、受信されたメッセージを、発信者本人の声で読み上げることを可能とすることを目的とする。
また、本発明の他の目的は、発信者本人の声、かつ、感情のこもった読み上げを行うことにより、発信者の意図をより正確に伝えることを可能とすることにある。
【0006】
【課題を解決するための手段】
上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。すなわち、
個人の電話番号、メールアドレス、音声特徴データを対応付けて格納する格納手段と、
前記電話番号を指定して発信することで通話を開始して、音声による通話を行う通話手段と、
前記通話中に得られる通話相手の音声から音声特徴データを生成する生成手段と、
前記生成手段で生成された音声特徴データを用いて、前記格納手段に格納された、前記通話手段で指定した電話番号に対応する音声特徴データを更新する更新手段と、
テキストデータを含むメールを受信する受信手段と、
前記受信手段で受信したメールの送信者メールアドレスに対応する音声特徴データを前記格納手段より取得する取得手段と、
前記取得手段で取得した音声特徴データを用いて、前記メールに含まれるテキストデータに対する合成音声データを生成する合成手段とを備える。
また、上記の目的を達成するための本発明の他の態様による情報処理装置は以下の構成を備える。すなわち、
個人の電話番号、メールアドレス、音声特徴データを対応付けて格納する格納手段と、
発信相手の発信を着信することにより通話を開始して、音声による通話を行う通話手段と、
前記通話中に得られる通話相手の音声から音声特徴データを生成する生成手段と、
前記生成手段で生成された音声特徴データを用いて、前記格納手段に格納された、前記発信相手の電話番号通知により特定された電話番号に対応する音声特徴データを更新する更新手段と、
テキストデータを含むメールを受信する受信手段と、
前記受信手段で受信したメールの送信者メールアドレスに対応する音声特徴データを前記格納手段より取得する取得手段と、
前記取得手段で取得した音声特徴データを用いて、前記メールに含まれるテキストデータに対する合成音声データを生成する合成手段とを備える。
【0011】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態のいくつかについて詳細に説明する。
【0012】
<実施形態1>
図1は実施形態1によるメッセージ読み上げ装置の構成を示すブロック図である。
【0013】
1は主制御部であり、2は公衆回線と接続する通信制御部である。3は音声による通話を行う送受話器部である。以上の構成により、音声による通話が行われる。すなわち、送話においては、送受話器部3により、入力された音声信号をデジタル信号へ変換し、主制御部1を介して通信制御部2より公衆回線に送信する。受話は、公衆回線からの信号を通信制御部2により受信してこれをデジタル信号に変換し、主制御部1を介して送受話器部3で音声信号に変換する。これより音声の送受による通話が成立する。
【0014】
4は、電子メール受信部であり通信制御部2より受信した電子メールを格納する。ここで、主制御部1は、通信制御部2より受信した信号がメッセージであるか音声通話であるかを判別し、メッセージであった場合には電子メール受信部4に送り、音声通話であった場合には送受話器部3に送る。
【0015】
5は入力部であり、操作者が電話番号のダイアルや、読み上げ指示等を行うときに使用する。6は表示部であり、受信メッセージの表示等を行う。7は、音声特徴抽出部であり、入力された音声の特徴を抽出する。本実施形態においては、音声通話時の受話側のデジタル信号(公衆回線より通信制御部2に受信された音声信号をデジタル化した信号)を入力とする。8は個人データ記憶部であり、各個人の電話番号やメールアドレス及び音声の特徴が保管されている。9は音声特徴データ比較部であり、音声特徴抽出部7により抽出した音声特徴と、個人データ記憶部8に保管されている音声の特徴を比較し、必要に応じて個人データ記憶部8の内容を更新する。
【0016】
10はメールアドレス検索部であり、主制御部1より入力されたメールアドレスが、誰のメールアドレスかを個人データ記憶部8から検索する。11は電話番号検索部であり、主制御部1より入力された電話番号が、誰の電話番号かを個人データ記憶部8から検索する。12は音声合成部であり、声質データを設定し、入力されたテキスト文章の言語解析を行い、設定された声質データを使用して音声データを作成する。音声合成部12で合成された音声データは、主制御部1を介して送受話器部3に送られ、音声信号となる。後述するが、本実施形態では、音声合成の対象は受信したメールのテキスト文章データであり、音声合成部12では、当該メールの送信元の話者の音声特徴データに対応した声質データが設定される。
【0017】
図2は、個人データ記憶部8に保管されているデータの構成例を示す図である。図2において、13は個人毎に割り振られる管理番号である。14は名前、15は電話番号、16はメールアドレスであり、これらは操作者が入力したものである。また、17は音声特徴データであり、音声特徴抽出部7にて抽出された音声特徴データ、或いは、音声特徴データ比較部9により更新されたデータである。18は学習回数であり、音声特徴抽出部7にて抽出を行った回数(個人データ記憶部8に記憶された音声特徴データに関する学習の回数)である。尚、学習回数18には、学習の対象者であるかどうかの情報も含まれる。例えば学習回数データとして16bitを用いる場合、最上位bitを学習の対象者であるか否かを表すフラグとして用いる。
【0018】
図3は、主制御部1による、音声特徴データに対する学習処理を示すフローチャートである。本実施形態では、音声通話時に、当該通話相手の音声特徴データについて学習が行われる。
【0019】
ステップS101で入力部5よりのダイアル入力を受けると、ステップS102で、通信制御部2を用いて公衆回線に接続する。こうして送受話器部3により通話が可能となる。ステップS103では、電話番号検索部11によりステップS101で入力されたダイアル番号で個人データ記憶部8を検索する。ステップS104では、この検索結果を受け、個人データ記憶部8に該当者がいなかった場合または該当者が学習の対象者でなかった場合にはステップS105へ進み、そのまま学習処理を終了する。すなわち、学習処理は行われず、通話のみが行われることになる。
【0020】
一方、ステップS103の検索の結果、該当者があり、その該当者が学習の対象者あった場合にはステップS106へ処理を移す。ステップS106では公衆回線から送られてくる受話信号を音声特徴抽出部7に送り、音声特徴の抽出を行う。ステップS107では、音声特徴抽出部7により抽出された音声特徴に基づいて、抽出音声特徴データを作成する。ステップS108では、個人データ記憶部8の該当者の学習回数18のチェックを行う。ここで学習回数が0回でなければ、ステップS109へと移る。ステップS109では、音声特徴データ比較部9により、個人データ記憶部8の該当者欄に登録されている音声特徴データ17と、ステップS107で作成した抽出音声特徴データの比較を行う。尚、音声特徴データ比較部9では、2つのデータの差異を検出し、差異のある部分に関して、登録されている音声特徴データ17に学習回数18に応じた重み付けを行い、抽出音声特徴データとの補完及び平均化を行う。ステップS110では、音声特徴データ比較部9の比較結果に基づき新音声特徴データを作成し、ステップS111にて個人データ記憶部8に登録する。
【0021】
尚、ステップS108で学習回数18が0回の場合には、比較すべき音声特徴データ17がない。従って、ステップS108からステップS112へ進み、ステップS107で作成された抽出音声特徴データを個人データ記憶部8の音声特徴データ17として登録する。ステップS113では、学習回数18を+1してステップS105で終了する。
【0022】
なお、上記処理は発信による通話時の学習を説明したが、着信による通話時においても、例えば番号通知により通話相手の電話番号を特定できれば、通話相手の音声特徴を学習できる。
【0023】
本実施形態のメッセージ読み上げ装置は、以上のようにして生成、学習された音声特徴データを用いてメールのメッセージを読み上げる。図4は、実施形態1によるメール読み上げ時の主制御部1の処理を説明するフローチャートである。
【0024】
ステップS201で入力部5より読み上げ指示を受けると、ステップS202で、電子メール受信部4より読み上げの対象とする電子メールを取り出す。ステップS203では、この電子メールに付加されている送信者メールアドレス情報を抽出する。次に、ステップS204では、メールアドレス検索部10により、このメールアドレスを用いて個人データ記憶部8を検索する。
【0025】
この検索結果を受け、該当者がいる場合はステップS205からステップS206へ処理を移す。ステップS206では、該当する個人データの学習回数18をチェックし、0回でなければステップS207へ移る。ステップS207では、該当者の音声特徴データ17を読み出し、ステップS208で、音声合成部12に声質データとして設定する。尚、ステップS205で該当者がない場合、或いは、ステップS206で学習回数18が0回の場合は、ステップS209で予め標準として設定している声質データを設定する。
【0026】
ステップS210では、音声合成部12において、ステップS208或いはステップS209で設定された声質データを用いて電子メールのメッセージを音声データへと変換、合成する。そして、ステップS211にて、ステップS210で変換された音声データを送受話器部3にて音声とする。
【0027】
また、本実施形態のメッセージ読み上げ装置では、主制御部1の制御により、入力部5、表示部6を用いて個人データ記憶部8に格納されている音声特徴データの調整を行うことができる。以下、この調整処理について説明する。
【0028】
図5は、登録されている音声特徴データ17を調整する際の画面推移を示す図である。なお、本例では、表示部6の上に入力部5としてタッチパネルが重ねてある構成とするが、他の表示、入力形態であってもよい。
【0029】
501は、調整モードの画面であり、個人データ記憶部8に記憶されている名前と学習回数が表示される。学習回数表示中の「○」は、学習回数0回を示し、「◎」は、学習対象外を示している。502は、テスト発声文章の選択操作を示しており、「音声[自己紹介]」をタッチすることによりプルダウンメニューが表示され、発声文章を選ぶことができる。ここでは「自己紹介」が選択されたものとする。503では、上下方向キーにより名前の選択を行い、そこで「発声」をタッチすると、登録されている音声特徴データ17を用いて502で選択した定型文章の読み上げを行う。ここでは「自己紹介」が選択されており、「私の名前は**です。どうぞよろしく。」と発声する。
【0030】
音声の調整をする場合は、504に示すように、調整したい人にカーソルを合わせ「調整」をタッチすれば良い。505は調整画面である。調整画面においては、ピッチ、トーン、語尾の調整が可能となっている。それぞれの項目をタッチすることにより選択し、左右方向キーにて、ピッチの速さ、トーンの高低、語尾の上下を調整する画面である。ここで「継続」をタッチすると、調整したデータを音声特徴データ17として設定するが今後も学習を継続することを意味している。「固定」の時は、調整したデータを音声特徴データ17とし、506に示すように、学習回数欄の表示が◎となり、学習の対象外となり音声特徴データ17は固定される。
【0031】
以上のように、実施形態1によれば、以下のような効果がある。
・相手の声でメッセージを読み上げることが可能となり、送信者の特定やイメージが明確になる。
・メッセージの読み上げのための音声特徴データを生成するにあたって、操作者が意識及び作業することなく相手の声をサンプリングできる。
・通話毎の学習により、より送信者の声に近づけることができる。
・通話毎の学習により、送信者の声の変化に対応することが可能である。
・音声の調整ができることにより、合成音声をより自分のイメージする声に近づけることが可能である。
【0032】
<実施形態2>
実施形態2では、感情要素を加味したメッセージの読み上げを可能とするメッセージ読み上げ装置を説明する。
【0033】
図6は実施形態2によるにメッセージ読み上げ装置の構成を示すブロック図である。図6において、参照番号1〜12で示される構成は、図1に示した実施形態1の各構成と同様の機能を有する。また、個人データ記憶部8の中に記憶されている個人データの内容も図2と概ね同様であるが、音声特徴データ17が感情別に構成される点が異なる。
【0034】
図7は実施形態2による音声特徴データの内容を説明する図である。実施形態2における音声特徴データ17は、感情により大きな変化を生じない基本音声データ24と、感情に影響される感情影響音声データ25から構成されている。感情影響音声データ25の構成を説明する。26は感情分類であり、本実施形態では<喜び:H><期待:E><通常:U><悲しみ:S><怒り:A>に大別している。27は、感情別データ28の「ピッチ」及び「トーン」が、音声から抽出したデータであるか、予測・調整されたデータであるかを、<確定:Y>,<暫定:N>で示すサンプリング符号である。
【0035】
再び図6において、19は音声感情抽出部であり、音声通話時の受話側のデジタル信号を入力とし、入力された音声信号のピッチやアクセント等の「音声律情報」に注目し、通話相手の感情を感情分類26の何れかに分類する。ここで分類された感情に、音声特徴抽出部7の抽出結果に基づいて生成される音声特徴データを、感情影響音声データ25として記憶する。
【0036】
20は感情データ調整部であり、音声特徴データ23の感情別データの内、検出できていない感情、つまり、サンプリング符号27が、<暫定:N>となっている感情別データ28を、他の<確定:Y>となっている感情別データ、及び予め定めた基準に沿って予測・調整する。21は文章感情抽出部であり、電子メール受信部4にて受信したメッセージを入力とし、単語単位で数量化した感情情報を予め辞書として持つことにより、単語列に含まれる感情情報を抽出し、単語または文節毎に感情を判断する。22は感情音声生成部であり、音声合成部12により作成された音声データに、文章感情抽出部21の結果に応じて、感情影響音声データ25の感情別データ28を付加し、感情情報の加わった音声データを生成する。
【0037】
図8は、及び図9は、実施形態2による音声特徴データの作成例を示す図である。801は、初期状態を示す。基本音声データ24には標準音声データが設定されている。また、感情影響音声データ25にも標準のデータが設定されている。すなわち、サンプリング符号27は全て<暫定:N>であり、感情別データ28もピッチ:a1〜a5,トーン:b1〜b5と標準の設定となっている。この時点における学習回数18は0回である。
【0038】
802は、音声の通話が行われた状態である。音声は、音声特徴抽出部7と音声感情抽出部19に入力される。音声特徴抽出部7では、入力された音声から基本音声データ24a(Z)と、感情別データ28(A3,B3)を検出する。また、音声感情抽出部19では、入力された音声から感情を判断し、感情分類26(図ではUに分類されている)として検出する。検出した基本音声データ24(Z)は、学習回数18が0であることより、音声特徴データ23にそのまま基本音声データ24として記憶される。これにより学習回数18は+1され1回となる。
【0039】
一方、検出した感情影響音声データ25(A3,B3)は、検出した感情分類26aがUであり、感情影響音声データの<通常:U>のサンプリング符号27が<暫定:N>となっていることより、<通常:U>の感情別データ28として記憶する。また、サンプリング符号27は、<暫定:N>から<確定:Y>へと変更する。
【0040】
次に803では、802で感情影響音声データ25が更新されたことにより感情データ調整部20が起動される。感情データ調整部20は、サンプリング符号27が<確定:Y>となっている感情別データ28の全てを用いて、サンプリング符号27が<暫定:N>となっているすべての感情別データを調整する。例えば、803の場合、サンプリング符号27が<確定:Y>となっている<通常:U>の感情別データ28を取り込み、他の感情分類26、つまりサンプリング符号27が<暫定:N>となっているすべて、S803では<喜び:H><期待:E><悲しみ:S><怒り:A>の感情別データ28を、予め定めた感情分類26の互いの相関関係、例えば、ピッチの関係はE:U=1.2:1といった相関関係から決定し、それらを更新する。
【0041】
804は、次の通話が行われた状態を示している。801と同じ流れにより入力された音声から基本音声データ24bと、感情別データ28(A2,B2)、感情分類26(E)が検出される。検出された感情別データ(A2,B2)は、検出した感情分類26b(E)に対応する<期待:E>のサンプリング符号27が<暫定:N>となっていることより、<期待:E>の感情別データ28として記憶する。そして、<期待:E>のサンプリング符号27を<暫定:N>から<確定:Y>へと変える。
【0042】
検出した基本音声データ24(Y)は、学習回数18が1であることより、805へと移り、音声特徴データ比較部7に、検出した基本音声データ24b(Y)と、記憶されていた基本音声データ24(Z)と、学習回数18を入力する。音声特徴データ比較部7では、記憶されていた基本音声データ24(Z)に学習学習回数18で重み付けを行い、検出した基本音声データ24(Y)との平均をとり、新たな音声基本データ24c(X)を作成し、音声特徴データ23の基本音声データ24として記憶する。続いて学習回数18が+1され、学習回数は2回となる。
【0043】
806では、感情影響音声データ25が更新されたことにより感情データ調整部20が起動される。上述したように、感情データ調整部20は、サンプリング符号27が<確定:Y>となっている感情別データ28の全て、806では<通常:U>と<期待:E>の感情別データ28を取り込み、サンプリング符号27が<暫定:N>となっているすべて、806では<喜び:H><悲しみ:S><怒り:A>の感情別データ28を、予め定めた感情分類26の互いの相関関係に従って更新する。なお、例えば、ピッチの関係の標準値をH:E:U=1.5:1.2:1といった関係に対して、実際に取り込んだ感情別データ28ではE:U=1.08:1となっており、サンプリング符号27が<確定:Y>となっている感情別データ28を再度検出した場合には、実施形態1で示した学習方法と同様に感情データ28を更新し、当更新時にも<暫定:N>のデータを更新しても良い。E:U=1.08:1となっていた場合は、感情がピッチに反映される比率が低い人という判断を行い、Hも標準より低くなると予想し、H=1.5×1.08/1.2=1.35というように補正を行ってデータを決定し、更新する。
【0044】
図10は、実施形態2によるメッセージ読み上げ時の音声データの作成経路を示す図である。
【0045】
29は読み上げ対象となる受信メッセージであり、受信メッセージ29は、文章感情抽出部21と音声合成部12に渡される。また、基本音声データ24も音声合成部12に渡される。文章感情抽出部21では、受信メッセージ29から、単語または文節毎に感情を判断し、受信メッセージ29に感情情報を付加した感情メッセージデータ30を作成する。音声合成部12では、声質データとして基本音声データ24を用いて、受信メッセージ29を音声合成し、音声データ31を作成する。
【0046】
感情メッセージデータ30と音声データ31及び感情影響音声データ25は、感情音声生成部22に渡される。感情音声生成部22では、入力された音声データ31に対して、感情メッセージデータ30に含まれる感情情報に対応した感情影響音声データ25の感情別データにて加工を行い、感情入り音声データ32を作成する。感情入り音声データ32は、送受話器部3によって音声となる。
【0047】
以上説明したように、実施形態2によれば以下の効果が得られる。
・送信者の感情を読み上げ音声から知ることができ、より正確に相手の意図を掴むことが可能である。
・送信者の感情より緊急度を計ることが可能となる。
・送信者が感情を表面に現さない人でも、その文面から相手の感情を知ることにより相手への理解を深めることができる。
【0048】
<実施形態3>
次に、入力された音声に対して音声認識を行い、電子メールを生成し、これを送信するメッセージ送信装置と、このような電子メールを受信して読み上げるメッセージ読み上げ装置について説明する。なお、送信対象は、電子メールに限らず、チャットのようなメッセージ送信であってもかまわない。
【0049】
図11は実施形態3によるメッセージ送信装置の構成を示すブロック図である。実施形態1の装置構成(図1)で説明した構成と同様の機能を有する構成には同一の参照番号を付してある。
【0050】
33は音声入力部であり、マイクにより操作者の音声を電気信号として入力する。34は電子メール送信部である。35は音声認識部であり、音声入力部33より入力された音声を音声認識して、テキストデータに変換する。36は音量・速度検出部であり、音声入力部33より入力された音声の、音量と話す速度を検出し、他の音声部分と比べ、予め定めた一定率以上に異なる個所を検出する。37は文章作成部であり、音声認識部35にて認識したテキストデータに、音声特徴データの付加と音量・速度検出部36の検出結果の情報を含んだ送信メールを作成するものである。なお、音声入力部33は送受話器部3の通話部を用いてもよい。
【0051】
図12は、実施形態3による送信メールのデータの作成経路を示す図である。38は操作者の音声であり、音声入力部33から入力され、音声データ31となる。音声データ31は音声特徴抽出部7と、音声認識部35と、音量・速度検出部36に入力される。
【0052】
音声認識部35では、入力された音声信号31を順次音声認識することによりテキストデータ39とし、これを文章作成部37へ入力する。音量・速度検出部36では、音声データ31において音量・速度に大きな変化を生じた時にその内容を文章作成部37に通知する。文章作成部37では、その通知を受け、テキストデータ39のその音声部分に対応する箇所に、予め定めた情報付加方法に従って情報を付加する。情報付加方法としては、テキスト文字に対してアンダーラインや斜め文字等の装飾や、文字サイズ、フォント種別、また画面上に表示されないデータとして付加するなどの方法がある。
【0053】
音声特徴抽出部7では入力された音声データ31から、音声特徴データ17を作成し文章作成部37へと渡す。文章作成部37では、情報を付加したテキスト文章に音声特徴データ17及びその他の情報を付加して送信メール40を作成する。
【0054】
図13に送信メール40の構成例を示す。41は送信先の宛先情報であり、42は送信者、つまり自分の情報である。43はメール種別情報であり、当メールにおいては音声情報入りメールであることを示す(音声情報入りメールとは、音声の音量や速度に応じてフォント、サイズ、文字修飾等が変更されているメールである)。次に入力時の音声特徴データ17が格納されている。また、44はSubjectであり、45は音声情報を含んだ文章例である。
【0055】
図13の例において、文章45では、「こんにちは**です。」は通常音声であり、文字は標準として設定されている文字を使用している。「例の彼女の写真ですが」では、ここで「彼女の写真」の入力時に音量・速度検出部36が、音量が小さいと検出したことよりフォントサイズは小さくなり、また同時に話す速度が速いと検出したことより、さらに斜め文字修飾が行われている。「今日中に必ずお願いします」では、音量・速度検出部36が、音量が著しく大きいと検出したことより、フォントサイズを大きくし、また同時に話す速度が遅いと検出したことより、太字となっている。さらに、前記2つの検出の組み合わせ(音量が大きくゆっくりしていること)から重要部分として認識され、アンダーラインが付加されている。
【0056】
尚、送信メール40を表示部6に表示し、入力部5にて文字装飾の追加や修正を行った後に送信するようにすることも当然可能である。
【0057】
次に、以上のような音声情報入りメールを読み上げる読み上げ装置について説明する。図14は、実施形態3による音声情報入りメールに対応したメール読み上げ装置の構成を示すブロック図である。
【0058】
送信メール40は公衆回線を通して通信制御部2で受信され、主制御部1を介して電子メール受信部4へと送られる。入力部5からメールが指定されると、表示部6にそのメール内容が表示される。このときの表示状態は、図13の45に示したように、音声状態に応じて設定されたフォント、サイズ、文字修飾に従ったものとなる。
【0059】
また入力部5から読み上げを指示された場合は、メールは電子メール受信部4から主制御部1へと移り、主制御部1でメール種別情報43により音声情報入りメールであることを確認し、Subject44と文章45が音声合成部12に渡される。このとき、声質データとして当該電子メールに含まれる音声特徴データ17を設定する。また、文章45は音量・速度調整部47へも渡される。音声合成部12では、声質データを元に音声データを作成する。また、音量・速度調整部47では、入力された文章45から文字の装飾や大きさに含まれている付加情報を取り出し、この付加情報に基づいて、音声合成部12で作成された音声データに音量や速度等を設定する加工を行い、最終読み上げデータを作成する。最終読み上げデータは、主制御部1を介して音声出力部47に送られ、音声へと変換される。
【0060】
尚、本例においては、音声入力時の音声の特徴を検出する例を示したが、実施形態1で示したように、音声入力部33を送受話器部3として、通話時に音声特徴データ17を作成しておき、送信メールに音声特徴データ17を付加するようにしても良い。この場合には当然、実施形態1に示した学習や音声の調整を行えるものである。
【0061】
以上説明したように、実施形態3によれば、以下のような効果が得られる。
・声の大小や喋りかたにより意図的に文章に変化を入れることが可能である。
・受信者は送信者の声で聞くことができので、送信者を特定でき、意図を理解し易くなる。
・音声データとして送信するよりもデータ量が少なく、通信料金が少ない。
・受信者は視覚的にも送信者の意図を見ることが可能である。
【0062】
<実施形態4>
次に、実施形態4として、実施形態3に感情要素を加味したメッセージ送信装置について説明する。
【0063】
図15は実施形態4によるメッセージ送信装置の構成を示すブロック図である。図15に示される構成は、実施形態3で示した構成図(図11)に、感情検出部48が加わったものである。感情検出部48は、音声入力部33から入力された音声データ31より、話者の感情を判断し、その結果が予め定めた「通常の感情」の範囲以上の変化を示した時に、その結果を感情分類26として出力するものである。
【0064】
図16は、実施形態4によるメッセージ送信装置における、音声入力から感情情報を含むメッセージを作成するまでの作成経路を示す図である。
【0065】
音声入力部33に入力された話者の音声38は、音声データ31となり、音声認識部35、感情検出部48、音声特徴検出部7へと入力される。音声認識部35では、音声データ31を順次音声認識することによりテキストデータ39を作成し文章作成部37へ渡す。感情検出部48では、音声データ31から感情の判断を行い、感情が設定範囲を超えた場合にその感情分類26を出力する。感情分類26は、音声特徴抽出部7と文章作成部37に入力される。音声特徴抽出部7では、音声データ31より音声の特徴を抽出すると共に、入力された感情分類26により感情別の特徴も抽出し、これに基づいて基本音声データ24と、感情影響音声データ25を作成する。
【0066】
文章作成部37では、感情分類26の通知を受け、その時のテキストデータ39に文節毎に、予め感情分類26毎に定めた情報付加方法に従って情報を付加する。文章作成部37では、情報を付加したテキスト文章に基本音声データ24、感情影響音声データ25及びその他の情報を付加して送信メール49を作成する。
【0067】
図17は実施形態4における送信メールの構成例を示す図である。実施形態4の送信メール49の主な構成は図13と同様であり、図17には送信メール49の特徴的な部分が示されている。
【0068】
音声特徴データ17は、基本音声データ24と感情影響音声データ25とによって構成される。また、Subject44に続き感情情報入り文章データ50が格納される。図17では、感情方法入り文章データの一例が示されている。この文章例の中で、「こんにちは,**です。」は、感情検出部48で感情分類26で<通常>と判断し、標準として設定してある文字にて記述される。「楽しかった」は、感情分類26で<喜び>と判断され、<喜び>に対応した文字として「(笑)」を加えることにより<喜び>の情報を付加している。「誰もいなかった」では、感情分類26で<悲しみ>と判断し、文節後に0003hという画面上表記されないデータを加えることにより<悲しみ>の情報を付加している。「頭にきた」では、感情分類26で<怒り>と判断し、「!!」を加えることにより<怒り>の情報を付加している。「返事待ってます」では、感情分類26で<期待>と判断し、絵文字である「(^_^)」を加えることにより<期待>の情報を付加している。前記情報付加の方法は、方法として各種の方法を示したものであり、各感情分類26に対して特定した方法ではない。
【0069】
尚、作成した文章50を編集する時には、<悲しみ>の情報である0003hも情報として表示され、編集することが可能となっている。
【0070】
このような送信メッセージを読み上げる装置には、実施形態2で説明したような装置を用いることができる。すなわち、送信メールに含まれる基本音声データ24、感情影響音声データ25を用いて、図10に示すようにして音声合成を行う。ただし、実施形態4の場合、文章感情抽出部21では、予め決められた記号や文字列(!!、(笑)等)、コード(0003h)等を読み上げ対象のメッセージから取り出し、これに基づいて感情メッセージデータ30を生成することになる。
【0071】
以上のように、実施形態4によれば、以下の効果がある。
・感情要素が加わることにより、より送信者の意図や気持ちを伝えることが可能となる。
・受信者は視覚的にも、送信者の感情を知ることが可能である。
【0072】
【発明の効果】
以上説明したように、本発明によれば、複雑な登録操作をすることなく、受信されたメッセージを、発信者本人の声で読み上げることが可能となる。
また、本発明によれば、発信者本人の声で、かつ、感情のこもった読み上げを行うことが可能となり、発信者の意図をより正確に伝えることができる。
更に、本発明によれば、入力音声を音声認識処理して得られる文字列に、その入力音声の感情を示す表記を自動的に組み込んで送信メッセージを生成することが可能となり、感情表現豊かなメッセージの送信を実現できる。
【図面の簡単な説明】
【図1】実施形態1によるメッセージ読み上げ装置の構成を示すブロック図である。
【図2】個人データ記憶部8に保管されているデータの構成例を示す図である。
【図3】主制御部1による、音声特徴データに対する学習処理を示すフローチャートである。
【図4】実施形態1によるメール読み上げ時の主制御部1の処理を説明するフローチャートである。
【図5】実施形態1において、登録されている音声特徴データ17を調整する際の画面推移を示す図である。
【図6】実施形態2によるにメッセージ読み上げ装置の構成を示すブロック図である。
【図7】実施形態2による音声特徴データの内容を説明する図である。
【図8】実施形態2による音声特徴データの作成例を示す図である。
【図9】実施形態2による音声特徴データの作成例を示す図である。
【図10】実施形態2によるメッセージ読み上げ時の音声データの作成経路を示すする図である。
【図11】実施形態3によるメッセージ送信装置の構成を示すブロック図である。
【図12】実施形態3による送信メールのデータの作成経路を示す図である。
【図13】実施形態3による送信メール40の構成例を示す図である。
【図14】実施形態3による音声情報入りメールに対応したメール読み上げ装置の構成を示すブロック図である。
【図15】実施形態4によるメッセージ送信装置の構成を示すブロック図である。
【図16】実施形態4によるメッセージ送信装置における、音声入力から感情情報を含むメッセージを作成するまでの作成経路を示す図である。
【図17】実施形態4における送信メールの構成例を示す図である。
Claims (15)
- 個人の電話番号、メールアドレス、音声特徴データを対応付けて格納する格納手段と、
前記電話番号を指定して発信することで通話を開始して、音声による通話を行う通話手段と、
前記通話中に得られる通話相手の音声から音声特徴データを生成する生成手段と、
前記生成手段で生成された音声特徴データを用いて、前記格納手段に格納された、前記通話手段で指定した電話番号に対応する音声特徴データを更新する更新手段と、
テキストデータを含むメールを受信する受信手段と、
前記受信手段で受信したメールの送信者メールアドレスに対応する音声特徴データを前記格納手段より取得する取得手段と、
前記取得手段で取得した音声特徴データを用いて、前記メールに含まれるテキストデータに対する合成音声データを生成する合成手段とを備えることを特徴とする情報処理装置。 - 個人の電話番号、メールアドレス、音声特徴データを対応付けて格納する格納手段と、
発信相手の発信を着信することにより通話を開始して、音声による通話を行う通話手段と、
前記通話中に得られる通話相手の音声から音声特徴データを生成する生成手段と、
前記生成手段で生成された音声特徴データを用いて、前記格納手段に格納された、前記発信相手の電話番号通知により特定された電話番号に対応する音声特徴データを更新する更新手段と、
テキストデータを含むメールを受信する受信手段と、
前記受信手段で受信したメールの送信者メールアドレスに対応する音声特徴データを前記格納手段より取得する取得手段と、
前記取得手段で取得した音声特徴データを用いて、前記メールに含まれるテキストデータに対する合成音声データを生成する合成手段とを備えることを特徴とする情報処理装置。 - 前記格納手段に格納された音声特徴データをマニュアルで調整する調整手段を更に備えることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記通話手段より得られる通話相手の音声を、複数の感情分類項目のいずれかに分類する分類手段を更に備え、
前記生成手段は、前記分類手段によって分類された各感情分類項目毎に音声特徴データを取得し、前記格納手段は、前記感情分類項目毎に音声特徴データを格納することを特徴とする請求項1又は2に記載の情報処理装置。 - 前記分類手段は、前記音声より検出されるピッチ及びアクセント等の音声律情報に基づいて感情分類を行うことを特徴とする請求項4に記載の情報処理装置。
- 前記メッセージに含まれるテキストデータが前記複数の感情分類項目の何れに属するかを判定する判定手段を更に備え、
前記取得手段は、前記受信手段で受信したメッセージの送信者に対応する通話相手の、前記判定手段で判定された感情項目分類に対応する音声特徴データを前記格納手段より取得することを特徴とする請求項4に記載の情報処理装置。 - 前記生成手段においてある感情分類項目に対応する音声特徴データが生成された場合、該音声特徴データを用いて他の感情分類項目に対応する音声特徴データを更新する更新手段を更に備えることを特徴とする請求項4に記載の情報処理装置。
- 電話番号を指定して発信することで通話を開始して、音声による通話を行う通話工程と、
前記通話中に得られる通話相手の音声から音声特徴データを生成する生成工程と、
前記生成工程で生成された音声特徴データを用いて、個人の電話番号、メールアドレス及び音声特徴データを対応付けて格納する格納手段に格納された、前記通話工程で指定し た電話番号に対応する音声特徴データを更新する更新工程と、
テキストデータを含むメールを受信する受信工程と、
前記受信工程で受信したメールの送信者メールアドレスに対応する音声特徴データを前記格納手段より取得する取得工程と、
前記取得工程で取得した音声特徴データを用いて、前記メールに含まれるテキストデータに対する合成音声データを生成する合成工程とを備えることを特徴とする情報処理方法。 - 発信相手の発信を着信することにより通話を開始して、音声による通話を行う通話工程と、
前記通話中に得られる通話相手の音声から音声特徴データを生成する生成工程と、
前記生成工程で生成された音声特徴データを用いて、個人の電話番号、メールアドレス及び音声特徴データを対応付けて格納する格納手段に格納された、前記発信相手の電話番号通知により特定された電話番号に対応する音声特徴データを更新する更新工程と、
テキストデータを含むメールを受信する受信工程と、
前記受信工程で受信したメールの送信者メールアドレスに対応する音声特徴データを前記格納手段より取得する取得工程と、
前記取得工程で取得した音声特徴データを用いて、前記メールに含まれるテキストデータに対する合成音声データを生成する合成工程とを備えることを特徴とする情報処理方法。 - 前記格納工程に格納された音声特徴データをマニュアルで調整する調整工程を更に備えることを特徴とする請求項8又は9に記載の情報処理方法。
- 前記通話工程より得られる通話相手の音声を、複数の感情分類項目のいずれかに分類する分類工程を更に備え、
前記生成工程は、前記分類工程によって分類された各感情分類項目毎に音声特徴データを取得し、前記格納工程は、前記感情分類項目毎に音声特徴データを前記格納手段に格納することを特徴とする請求項8又は9に記載の情報処理方法。 - 前記分類工程は、前記音声より検出されるピッチ及びアクセント等の音声律情報に基づいて感情分類を行うことを特徴とする請求項11に記載の情報処理方法。
- 前記メッセージに含まれるテキストデータが前記複数の感情分類項目の何れに属するかを判定する判定工程を更に備え、
前記取得工程は、前記受信工程で受信したメッセージの送信者に対応する通話相手の、前記判定工程で判定された感情項目分類に対応する音声特徴データを前記格納手段より取得することを特徴とする請求項11に記載の情報処理方法。 - 前記生成工程においてある感情分類項目に対応する音声特徴データが生成された場合、該音声特徴データを用いて他の感情分類項目に対応する音声特徴データを更新する更新工程を更に備えることを特徴とする請求項11に記載の情報処理方法。
- 請求項8乃至14のいずれかに記載の情報処理方法をコンピュータに実行させるコンピュータプログラムを格納する記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001401424A JP3806030B2 (ja) | 2001-12-28 | 2001-12-28 | 情報処理装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001401424A JP3806030B2 (ja) | 2001-12-28 | 2001-12-28 | 情報処理装置及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006019733A Division JP2006184921A (ja) | 2006-01-27 | 2006-01-27 | 情報処理装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003202885A JP2003202885A (ja) | 2003-07-18 |
JP2003202885A5 JP2003202885A5 (ja) | 2004-11-11 |
JP3806030B2 true JP3806030B2 (ja) | 2006-08-09 |
Family
ID=27640152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001401424A Expired - Fee Related JP3806030B2 (ja) | 2001-12-28 | 2001-12-28 | 情報処理装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3806030B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009125710A1 (ja) | 2008-04-08 | 2009-10-15 | 株式会社エヌ・ティ・ティ・ドコモ | メディア処理サーバ装置およびメディア処理方法 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7711560B2 (en) | 2003-02-19 | 2010-05-04 | Panasonic Corporation | Speech recognition device and speech recognition method |
JP4530134B2 (ja) * | 2004-03-09 | 2010-08-25 | 日本電気株式会社 | 音声合成装置、声質生成装置及びプログラム |
JP2005346252A (ja) | 2004-06-01 | 2005-12-15 | Nec Corp | 情報伝達システムおよび情報伝達方法 |
JP2005342862A (ja) * | 2004-06-04 | 2005-12-15 | Nec Corp | ロボット |
JP4670431B2 (ja) * | 2005-03-30 | 2011-04-13 | 日本電気株式会社 | 音声感情認識によるメール作成機能付携帯端末、携帯端末システム、及び、音声感情認識によるメール作成方法 |
US8738370B2 (en) | 2005-06-09 | 2014-05-27 | Agi Inc. | Speech analyzer detecting pitch frequency, speech analyzing method, and speech analyzing program |
JP2007004281A (ja) * | 2005-06-21 | 2007-01-11 | Mitsubishi Electric Corp | 音声メール入力装置 |
JP2007264284A (ja) * | 2006-03-28 | 2007-10-11 | Brother Ind Ltd | 感情付加装置、感情付加方法及び感情付加プログラム |
JP2007271655A (ja) * | 2006-03-30 | 2007-10-18 | Brother Ind Ltd | 感情付加装置、感情付加方法及び感情付加プログラム |
JP4583350B2 (ja) * | 2006-08-29 | 2010-11-17 | 京セラ株式会社 | 携帯端末装置、着信音出力方法 |
KR100850560B1 (ko) * | 2006-11-01 | 2008-08-06 | (주)폴리다임 | Sms 메시지의 아이콘 조합 방법 |
KR101044323B1 (ko) * | 2008-02-20 | 2011-06-29 | 가부시키가이샤 엔.티.티.도코모 | 음성 합성용 음성 데이터베이스를 구축하기 위한 통신 시스템, 이를 위한 중계 장치, 및 이를 위한 중계 방법 |
US9020816B2 (en) | 2008-08-14 | 2015-04-28 | 21Ct, Inc. | Hidden markov model for speech processing with training method |
JP2010169925A (ja) * | 2009-01-23 | 2010-08-05 | Konami Digital Entertainment Co Ltd | 音声処理装置、チャットシステム、音声処理方法、ならびに、プログラム |
JP5049310B2 (ja) * | 2009-03-30 | 2012-10-17 | 日本電信電話株式会社 | 音声学習・合成システム及び音声学習・合成方法 |
KR101703214B1 (ko) * | 2014-08-06 | 2017-02-06 | 주식회사 엘지화학 | 문자 데이터의 내용을 문자 데이터 송신자의 음성으로 출력하는 방법 |
JP7036054B2 (ja) * | 2019-02-05 | 2022-03-15 | 日本電信電話株式会社 | 音響モデル学習装置、音響モデル学習方法、プログラム |
KR102430020B1 (ko) * | 2019-08-09 | 2022-08-08 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
JP6993034B1 (ja) | 2021-05-14 | 2022-01-13 | Aiインフルエンサー株式会社 | コンテンツ再生方法、及びコンテンツ再生システム |
-
2001
- 2001-12-28 JP JP2001401424A patent/JP3806030B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009125710A1 (ja) | 2008-04-08 | 2009-10-15 | 株式会社エヌ・ティ・ティ・ドコモ | メディア処理サーバ装置およびメディア処理方法 |
JPWO2009125710A1 (ja) * | 2008-04-08 | 2011-08-04 | 株式会社エヌ・ティ・ティ・ドコモ | メディア処理サーバ装置およびメディア処理方法 |
CN101981614B (zh) * | 2008-04-08 | 2012-06-27 | 株式会社Ntt都科摩 | 媒体处理服务器设备及其媒体处理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2003202885A (ja) | 2003-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3806030B2 (ja) | 情報処理装置及び方法 | |
US8705705B2 (en) | Voice rendering of E-mail with tags for improved user experience | |
KR101181785B1 (ko) | 미디어 처리 서버 장치 및 미디어 처리 방법 | |
US6895257B2 (en) | Personalized agent for portable devices and cellular phone | |
US20060145943A1 (en) | Avatar control using a communication device | |
JP4930584B2 (ja) | 音声合成装置、音声合成システム、言語処理装置、音声合成方法及びコンピュータプログラム | |
JP2000056792A (ja) | ユ―ザの発話を認識するための方法及び装置 | |
JP2000305924A (ja) | 数字キーによる漢字入力方法及びその装置 | |
JP4787634B2 (ja) | 音楽フォント出力装置、フォントデータベース及び言語入力フロントエンドプロセッサ | |
JP2003202885A5 (ja) | ||
JP2005065252A (ja) | 携帯電話機 | |
JP2010197669A (ja) | 携帯端末、編集誘導プログラムおよび編集装置 | |
JP5031269B2 (ja) | 文書表示装置及び文書読み上げ方法 | |
JP2005283972A (ja) | 音声認識方法及びこの音声認識方法を利用した情報提示方法と情報提示装置 | |
JP2006184921A (ja) | 情報処理装置及び方法 | |
JP2002297502A (ja) | 電子メール作成支援方法及び携帯型情報機器並びに電子メール作成支援処理プログラムを記録した記録媒体 | |
JP2008022493A (ja) | 受付支援システムとそのプログラム | |
JP2007264466A (ja) | 音声合成装置 | |
KR100487446B1 (ko) | 이동 통신 단말의 오디오 장치를 이용한 감정 표현 방법및 이를 위한 이동 통신 단말 | |
JP3694698B2 (ja) | 音楽データ生成システム、音楽データ生成サーバ装置 | |
JPH10224520A (ja) | マルチメディア公衆電話システム | |
JP2003044072A (ja) | 音声読み上げ設定装置、音声読み上げ装置、音声読み上げ設定方法、音声読み上げ設定プログラム及び記録媒体 | |
JPH0863185A (ja) | 音声認識装置 | |
JP4530016B2 (ja) | 情報通信システムおよびそのデータ通信方法 | |
JP2001325191A (ja) | 電子メール端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060511 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140519 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |