JP2003209600A - 通話システム、通話端末、方法、プログラム、及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 会話の意味（相手の意思）を明確に伝えるこ
とを可能とし、更には聴覚障害者等でも利用しやすいも
のとする。 【解決手段】 少なくとも二以上の通話端末２０１、２
０２間で音声及び画像の双方向同時通信を可能とした通
話システムであって、相手の通話端末から送信された音
声情報を音声認識する音声認識手段と、音声認識の成否
を判断する判断手段と、音声認識が可能であったと判定
された場合に、音声認識された音声情報を文字情報に変
換する変換手段と、その変換された文字情報を相手の通
話端末から送信された画像情報に重畳してモニタＴＶに
表示する表示手段と、音声認識ができなかったと判定さ
れた場合に、音声情報に対して聴覚的な認識度の向上を
意図した処理（例えば、音圧を増大する処理）を行う処
理手段とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声及び画像の双
方向同時通信を可能とした通話システム、当該通話シス
テムに用いられる通話端末、方法、プログラム、及びコ
ンピュータ読み取り可能な記憶媒体に関する。

【０００２】

【従来の技術】今日においては、音声及び画像の双方向
同時通信を可能とした通話システムが実現されるに至っ
ている。かかる通話システムでは、遠隔地のそれぞれに
マイク内蔵型カメラ及びスピーカ付きモニタＴＶを有す
る通話端末が備えられており、相手の画像を見ながら通
話するようなシステムとなっている。

【０００３】

【発明が解決しようとする課題】上記のように音声及び
画像の双方向同時通信を可能とした通話システムでは、
音声に画像が加わることにより会話の理解が促進される
という利点があるが、それでもなお、周辺ノイズや話者
の不明瞭な発音により会話が聞き取り難いという場面で
は、会話の意味（相手の意志）が伝わらないことがあっ
た。

【０００４】また、音声のみの通話システムと同様に、
聴覚障害者が利用することは相変わらず困難であるとい
う問題があった。

【０００５】本発明は上記の点に鑑みてなされたもので
あり、音声及び画像の双方向同時通信を可能とした通話
システムにおいて会話の意味（相手の意思）を明確に伝
えることを可能とし、更には聴覚障害者等でも利用しや
すいものとすることを目的とする。

【０００６】

【課題を解決するための手段】本発明の通話システム
は、少なくとも二以上の通話端末間で音声及び画像の双
方向同時通信を可能とした通話システムであって、相手
の通話端末から送信された音声情報を音声認識する音声
認識手段と、上記音声認識された音声情報を文字情報に
変換する変換手段と、上記文字情報を上記相手の通話端
末から送信された画像情報に重畳して表示装置に表示す
る表示手段とを備えた点に特徴を有する。

【０００７】また、本発明の通話システムの他の特徴と
するところは、上記音声認識の成否を判断する判断手段
と、上記音声認識ができなかったと判定された場合に、
上記音声情報に対して聴覚的な認識度の向上を意図した
一又は複数の処理を行う処理手段とを備えた点にある。
更には、上記聴覚的な認識度の向上を意図した処理とし
て所望の処理を設定可能とした点にある。上記聴覚的な
認識度の向上を意図した処理としては、音圧増大処理、
周波数特性調整処理、騒音除去処理等を適用することが
できる。

【０００８】また、本発明の通話システムの他の特徴と
するところは、上記相手の通話端末から送信された画像
情報を記憶するためのメモリ手段を備えた点にある。ま
た、本発明の通話システムの他の特徴とするところは、
上記相手の通話端末から送信された音声情報を記憶する
ためのメモリ手段を備えた点にある。

【０００９】また、本発明の通話システムの他の特徴と
するところは、上記音声情報と上記画像情報との同期制
御を行う同期制御手段を備えた点にある。

【００１０】また、本発明の通話システムの他の特徴と
するところは、少なくとも一の通話装置には文字入力端
末が備えられており、当該文字入力端末介して入力され
た文字情報を相手の通話装置に送信可能とした点にあ
る。また、本発明の通話システムの他の特徴とするとこ
ろは、少なくとも一の通話装置は、相手の通話端末から
送信された文字情報を、同時に送信された画像情報に重
畳して表示装置に表示する表示手段を備えた点にある。

【００１１】本発明の通話端末は、少なくとも二以上の
通話端末間で音声及び画像の双方向同時通信を可能とし
た通話システムに用いられる通話端末であって、相手の
通話端末から送信された音声情報を音声認識する音声認
識手段と、上記音声認識された音声情報を文字情報に変
換する変換手段と、上記文字情報を上記相手の通話端末
から送信された画像情報に重畳して表示装置に表示する
表示手段とを備えた点に特徴を有する。

【００１２】本発明の通話方法は、少なくとも二以上の
通話端末間で音声及び画像の双方向同時通信を可能とし
た通話システムを用いた通話方法であって、相手の通話
端末から送信された音声情報を音声認識する手順と、上
記音声認識された音声情報を文字情報に変換する手順
と、上記文字情報を上記相手の通話端末から送信された
画像情報に重畳して表示装置に表示する手順とを有する
点に特徴を有する。

【００１３】本発明のプログラムは、少なくとも二以上
の通話端末間で音声及び画像の双方向同時通信を可能と
した通話システムに用いられる通話端末を制御するため
のプログラムであって、相手の通話端末から送信された
音声情報を音声認識する処理と、上記音声認識された音
声情報を文字情報に変換する処理と、上記文字情報を上
記相手の通話端末から送信された画像情報に重畳して表
示装置に表示する処理とを実行させる点に特徴を有す
る。

【００１４】本発明のコンピュータプログラムは、上記
プログラムを格納した点に特徴を有する。

【００１５】

【発明の実施の形態】以下、図面を参照して、本発明の
通話システム、通話端末、方法、プログラム、及びコン
ピュータ読み取り可能な記憶媒体の実施の形態について
説明する。

【００１６】（第１の実施の形態）図１には、本実施の
形態の通話システムの構成を示す。同時送受話及び同時
送受像可能な通話端末２０１、２０２が伝送路を介して
接続されており、各端末２０１、２０２は、マイク内蔵
型カメラ２０３、２０７、スピーカ２０５、２０９を備
えたモニタＴＶ２０４、２０８からなる。

【００１７】同図において、２１２、２１４はモニタＴ
Ｖ２０４、２０８に表示された互いの通信相手の画像を
示し、２１１、２１３は後述するようにして互いの通信
相手から送信された音声信号（音声情報）を音声認識し
た結果のキャプションを示す。

【００１８】２１５、２１６は互いの通信相手から送信
された音声信号出力（音波）を示し、２１８、２１９は
互いの通信相手から送信された音声信号（２１５、２１
６）を音声認識した結果、音声認識不能な箇所があった
場合のキャプション例を示す。

【００１９】図２は、上記通話端末２０１、２０２の構
成を示すブロック図である。同図（ａ）は音声及び画像
の送信のための構成を示す。１０１はビデオカメラ、１
０４はマイクロフォンであり、図１でいうマイク内蔵型
カメラ２０３、２０７に相当する。１０２は画像用符号
化器である。１０３はマルチプレクサである。１０５は
マイクアンプである。１０６は音声用符号化器である。
１０７はバッファメモリである。

【００２０】同図（ｂ）は音声及び画像の受信のための
構成を示す。１０８はバッファメモリである。１０９は
デマルチプレクサである。１１０は画像用復号化器であ
る。１１１はフレームメモリである。１１２はモニタＴ
Ｖであり、図１でいうモニタＴＶ２０４、２０８に相当
する。１１３は音声用復号化器である。１１４はバッフ
ァメモリである。１１５はアンプである。１１６はスピ
ーカであり、図１でいうスピーカ２０５、２０６、２０
９、２１０に相当する。１１７は利得制御部である。１
１８は音声認識部である。１１９は画像制御部である。
１２０は同期制御部である。

【００２１】次に、本実施の形態の通話システムにおけ
る処理動作について説明する。図１に示したような通話
システムにおいては、具体的には図示しないが、例えば
モニタＴＶ２０４、２０８に表示されるグラフィカルユ
ーザインタフェースにおいてダイヤル等の操作を行い、
その後はモニタＴＶ２０４、２０８の前で通信相手の画
像を見ながら通話する。

【００２２】図３のフローチャートには、音声及び画像
の送信に際して行われる処理動作を示す。ビデオカメラ
１０１で取り込まれた動画像信号は、画像用符号化器１
０２にてＡＤ変換及び所定の符号化（圧縮）処理された
後、マルチプレクサ１０３に入力される（ステップＳ３
０１）。

【００２３】同時に、マイクロフォン１０４で取り込ま
れた音声信号は、マイクアンプ１０５にて所定のレベル
に増幅された後、上記動画像信号と同様に音声用符号化
器１０６にてＡＤ変換及び所定の符号化（圧縮）処理さ
れた後、マルチプレクサ１０３に入力される（ステップ
Ｓ３０１）。

【００２４】マルチプレクサ１０３に入力された符号化
動画像信号及び符号化音声信号は、出力先である伝送路
や蓄積メディアに適合した形式のビットストリームを形
成するために多重化処理及び各種ヘッダ情報の付加処理
がなされて、バッファメモリ１０７に一時蓄積される
（ステップＳ３０２）。

【００２５】上記バッファメモリ１０７に蓄積されたビ
ットストリームは、外部又は内部のレート制御部により
所定のビットレートで読み出される（ステップＳ３０
３）。

【００２６】図４のフローチャートには、音声及び画像
の受信に際して行われる処理動作を示す。相手の通話端
末から伝送されたビットストリームは、バッファメモリ
１０８に一時蓄積された後、後段の処理の処理能力に適
合したビットレートで読み出され、デマルチプレクサ１
０９に入力される（ステップＳ４０１）。

【００２７】デマルチプレクサ１０９に入力されたビッ
トストリームは、符号化動画像信号と符号化音声信号と
に分離され、符号化動画像信号は画像用復号化器１１０
へ、符号化音声信号は音声用復号化器１１３へそれぞれ
入力され、両者共に所定の復号化処理により、ディジタ
ル動画像信号及びディジタル音声信号、或いは、アナロ
グ動画像信号及びアナログ音声信号に復号される（ステ
ップＳ４０２）。

【００２８】上記復号化された動画像信号はフレームメ
モリ１１１に記憶され、同期制御部１２０の制御によ
り、音声信号との同期をとりながら適宜読み出してモニ
タＴＶ１１２に表示される。なお、この処理について
は、図４のフローチャートでは省略する。

【００２９】また、上記複号化された音声信号はバッフ
ァメモリ１１４に記憶されると同時に、音声認識部１１
８へ入力され、当該複号化された音声信号に対する音声
認識処理が行われる（ステップＳ４０３）。

【００３０】音声認識可能であった場合は、その認識し
た音声情報を文字情報（テキスト情報）に変換し（ステ
ップＳ４０４）、そのテキスト情報とタイミング情報
（動画像との同期情報）とを画像制御部１１９に送出す
る。

【００３１】画像制御部１１９では、音声認識部１１８
から送出されたタイミング情報に従って、フレームメモ
リ１１１に記憶されている上記複号化された動画像信号
の該当するフレーム内の任意の位置に、図２の２１１、
２１３に示したように、認識された音声に対応するテキ
スト情報をキャプションとして重畳表示する（ステップ
Ｓ４０５）。

【００３２】なお、音声認識部１１８における音声認識
処理に要する時間に相当する遅延は、画像についてはフ
レームメモリ１１１にて、音声についてはバッファメモ
リ１１４にて吸収され、フレームメモリ１１１に記憶さ
れている動画像と、バッファメモリ１１４記憶されてい
る音声との同期は、同期制御部１２０にて管理される。

【００３３】それに対して、音声信号認識不能であった
場合は、利得制御部１１７に利得制御信号を送出する。
利得制御信号を受けた利得制御部１１７は、アンプ１１
５の利得を増大して、認識不可部分におけるスピーカ１
１６からの音圧を増大する音声出力調整を行う（ステッ
プＳ４０６）。

【００３４】なお、音声認識不能の場合について、フレ
ームメモリ１１１の容量やバッファメモリ１１４の容量
によっては、時間的に音声認識不能となる前の時点から
音声出力を増大するよう利得制御部１１７及び同期制御
部１２０をプログラムしておくことも可能である。

【００３５】以上述べたように、音声認識して文字表示
することにより、音声による通話において生じやすい意
味不明や誤解の頻度を低減することができ、更には聴覚
障害者でも通話が可能になるという効果が期待できる。

【００３６】また、音声認識不能である場合には、音声
信号に対して聴覚的な認識度の向上を意図した所定の処
理、本実施の形態では音圧を増大するようにしたので、
会話の認識率を向上させるといった効果が期待できる。

【００３７】なお、上述した音声認識不能の場合に、図
５のフローチャートに示すように、聴覚的な認識度の向
上を意図した処理のバリエーションを設定してもよい。
すなわち、音声認識不能であった場合に、処理方法の選
択についてユーザによるリクエストがあるか否かを判定
し（ステップＳ５０１）、リクエストがない場合は、デ
フォルトの音声出力調整（音圧増大処理）のみを行う
（ステップＳ５０２）。

【００３８】それに対して、リクエストがある場合は、
そのリクエストに応じて、明瞭度を高くするための周波
数特性調整（エンファシス）（ステップＳ５０３）、或
いは、暗騒音除去（フィルタ処理）（ステップＳ５０
４）といった処理を行った後、音声出力調整を行う（ス
テップＳ５０２）。

【００３９】これら選択可能な周波数特性調整（エンフ
ァシス）や暗騒音除去といった機能は、周波数特性調整
器及び暗騒音除去フィルタといったハードウェアを図２
に示したアンプ１１５等に装備しておくことにより可能
となる。

【００４０】また、上記処理方法の選択は、通話端末２
０１、２０３の入力機能を用いて予め用意されているフ
ァンクションを画面上のメニューから選択できるように
プログラミングしておくこと等により可能である。

【００４１】（第２の実施の形態）図６には、本実施の
形態の通話システムの構成を示す。同時送受話及び同時
送受像可能な通話端末３０１、３０２が伝送路を介して
接続されており、各端末３０１、３０２は、マイク内蔵
型カメラ３０３、３０７、スピーカ３０５、３０９を備
えたモニタＴＶ３０４、３０８からなる。また、通話端
末３０１には、手書き文字入力装置３１７、キーボード
３１８が接続されている。

【００４２】同図において、３１１は手書き文字入力装
置３１７やキーボード３１８により入力された文字のモ
ニタ表示を示し、３１３、３１５はモニタＴＶ３０４、
３０８に表示された互いの通信相手の画像を示し、３１
２は後述するようにして互いの通信相手から送信された
音声信号を音声認識した結果のキャプションを示し、３
１４は後述するようにして通信相手から送信されたテキ
スト信号をモニタ表示したキャプションを示し、３１６
は通信相手から送信された音声信号出力（音波）を示
す。

【００４３】図７は、上記通話端末３０１、３０２の構
成を示すブロック図である。８０１はビデオカメラ、８
０４はマイクロフォンであり、図６でいうマイク内蔵型
カメラ３０３、３０７に相当する。８０２は画像用符号
化器である。８０３はマルチプレクサである。８０５は
マイクアンプである。８０６は音声用符号化器である。
８０７、８０８はバッファメモリである。

【００４４】８０９はデマルチプレクサである。８１０
は画像用復号化器である。８１１はフレームメモリであ
る。８１２はモニタＴＶであり、図６でいうモニタＴＶ
３０４、３０８に相当する。

【００４５】８１３は音声用復号化器である。８１４は
バッファメモリである。８１５はアンプである。８１６
はスピーカであり、図６でいうスピーカ３０５、３０
６、３０９、３１０に相当する。

【００４６】８１７は文字入力端末であり、図６でいう
手書き文字入力装置３１７やキーボード３１８に相当す
る。８１８はテキスト用符号化器である。８２３はテキ
スト用複号化器である。

【００４７】８１９は利得制御部である。８２０は音声
認識部である。８２１は画像制御部である。８２２は同
期制御部である。

【００４８】次に、本実施の形態の通話システムにおけ
る処理動作について説明する。図６に示したような通話
システムにおいては、具体的には図示しないが、例えば
モニタＴＶ３０４、３０８に表示されるグラフィカルユ
ーザインタフェースにおいてダイヤル等の操作を行い、
その後はモニタＴＶ３０４、３０８の前で通信相手の画
像を見ながら通話する。

【００４９】図８のフローチャートには、音声及び画像
の送信に際して行われる処理動作を示す。ビデオカメラ
８０１で取り込まれた動画像信号は、画像用符号化器８
０２にてＡＤ変換及び所定の符号化（圧縮）処理された
後、マルチプレクサ８０３に入力される。

【００５０】上記ビデオカメラ８０１から取り込まれた
画像信号と並行して、文字入力端末８１７（手書き文字
入力装置３１７やキーボード３１８）から文字が入力さ
れた場合、入力された文字信号（テキスト信号）は、フ
レームメモリ８１１、及び、テキスト用符号化器８１８
を介してマルチプレクサ８０３に入力される。入力され
た文字信号は、図６に示すように、自己の通話端末にモ
ニタ表示されるとともに（符号３１１参照）、後述する
ように相手の通話端末に送信されて画像に重畳してモニ
タＴＶに表示される（符号３１４参照）。

【００５１】また、音声が入力された場合、マイクロフ
ォン８０４で取り込まれた音声信号は、マイクアンプ８
０５にて所定のレベルに増幅された後、上記動画像信号
と同様に音声用符号化器８０６にてＡＤ変換及び所定の
符号化（圧縮）処理された後、マルチプレクサ８０３に
入力される（ステップＳ８０１）。

【００５２】マルチプレクサ８０３に入力された符号化
動画像信号、符号化音声信号、符号化テキスト信号は、
出力先である伝送路や蓄積メディアに適合した形式のビ
ットストリームを形成するために多重化処理及び各種ヘ
ッダ情報の付加処理がなされて、バッファメモリ８０７
に一時蓄積される（ステップＳ８０２）。

【００５３】上記バッファメモリ８０７に蓄積されたビ
ットストリームは、外部又は内部のレート制御部により
所定のビットレートで読み出される（ステップＳ８０
３）。

【００５４】図９のフローチャートには、音声及び画像
の受信に際して行われる処理動作を示す。相手の通話端
末から伝送されたビットストリーム（ビデオ、オーディ
オ、テキストetc）は、バッファメモリ８０８に一時蓄
積された後、後段の処理の処理能力に適合したビットレ
ートで読み出され、デマルチプレクサ８０９に入力され
る（ステップＳ９０１）。

【００５５】デマルチプレクサ８０９に入力されたビッ
トストリームは、符号化動画像信号と符号化音声信号と
符号化テキスト信号とに分離され、符号化動画像信号は
画像用復号化器８１０へ、符号化音声信号は音声用復号
化器８１３へ、符号化テキスト信号はテキスト用復号器
８２３へそれぞれ入力され、所定の復号化処理により、
ディジタル動画像信号及びディジタル音声信号、或い
は、アナログ動画像信号及びアナログ音声信号、及びテ
キスト信号に復号される（ステップＳ９０２）。

【００５６】上記復号化された動画像信号とテキスト信
号とはフレームメモリ８１１に記憶される。また、テキ
スト信号は、動画像信号（フレーム）の任意の位置に記
憶（重畳）され、１つの動画像信号を形成する。そし
て、テキストが重畳された動画像は、同期制御部８２２
の制御により、音声信号との同期をとりながら適宜読み
出してモニタＴＶ８１２に表示される。なお、この処理
については、図９のフローチャートでは省略する。

【００５７】また、上記複号化された音声信号はバッフ
ァメモリ８１４に記憶されると同時に、音声認識部８２
０へ入力され、当該複号化された音声信号に対する音声
認識処理が行われる（ステップＳ９０３）。

【００５８】音声認識可能であった場合は、その認識し
た音声情報を文字情報（テキスト情報）に変換し（ステ
ップＳ９０４）、そのテキスト情報とタイミング情報
（動画像との同期情報）とを画像制御部８２１に送出す
る。

【００５９】画像制御部８２１では、音声認識部８２０
から送出されたタイミング情報に従って、フレームメモ
リ８１１に記憶されている上記複号化された動画像信号
の該当するフレーム内の任意の位置に、図６の３１２に
示したように、認識された音声に対応するテキストをキ
ャプションとして画像に重畳表示する（ステップＳ９０
５）。

【００６０】すなわち、図６に示すように、端末３０２
に対して画像と文字入力で通信する場合は、上記のよう
に音声認識した結果のテキストに加えて（図６の通話端
末３０２において不図示）、端末３０１の文字入力端末
８１７から入力されたテキストもキャプションとして画
像に重畳表示される。

【００６１】なお、音声信号認識不能であった場合の取
り扱いは（ステップＳ９０６）、上記第１の実施の形態
で述べたのと同様であり、ここではその説明は省略す
る。

【００６２】以上述べたように、文字入力を可能とし、
その文字を通信相手の通話端末において表示するように
したので、例えば会話が困難な障害者等でも文字を使っ
た通話が可能になるという効果が期待できる。

【００６３】（その他の実施の形態）上述した実施の形
態の機能を実現するべく各種のデバイスを動作させるよ
うに、該各種デバイスと接続された部或いはシステム内
のコンピュータに対し、上記実施の形態の機能を実現す
るためのソフトウェアのプログラムコードを供給し、そ
のシステム或いは部のコンピュータ（ＣＰＵ或いはＭＰ
Ｕ）に格納されたプログラムに従って上記各種デバイス
を動作させることによって実施したものも、本発明の範
疇に含まれる。

【００６４】また、この場合、上記ソフトウェアのプロ
グラムコード自体が上述した実施の形態の機能を実現す
ることになり、そのプログラムコード自体は本発明を構
成する。そのプログラムコードの伝送媒体としては，プ
ログラム情報を搬送波として伝搬させて供給するための
コンピュータネットワーク（ＬＡＮ、インターネット等
のＷＡＮ、無線通信ネットワーク等）システムにおける
通信媒体（光ファイバ等の有線回線や無線回線等）を用
いることができる。

【００６５】さらに、上記プログラムコードをコンピュ
ータに供給するための手段、例えばかかるプログラムコ
ードを格納した記録媒体は本発明を構成する。かかるプ
ログラムコードを記憶する記録媒体としては、例えばフ
レキシブルディスク、ハードディスク、光ディスク、光
磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性の
メモリカード、ＲＯＭ等を用いることができる。

【００６６】また、コンピュータが供給されたプログラ
ムコードを実行することにより、上述の実施の形態の機
能が実現されるだけでなく、そのプログラムコードがコ
ンピュータにおいて稼働しているＯＳ（オペレーティン
グシステム）或いは他のアプリケーションソフト等と共
同して上述の実施の形態の機能が実現される場合にもか
かるプログラムコードは本発明の実施の形態に含まれる
ことはいうまでもない。

【００６７】さらに、供給されたプログラムコードがコ
ンピュータの機能拡張ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに格納された後、そ
のプログラムコードの指示に基づいてその機能拡張ボー
ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の
一部又は全部を行い、その処理によって上述した実施の
形態の機能が実現される場合にも本発明に含まれること
はいうまでもない。

【００６８】なお、上記実施の形態において示した各部
の形状及び構造は、何れも本発明を実施するにあたって
の具体化のほんの一例を示したものに過ぎず、これらに
よって本発明の技術的範囲が限定的に解釈されてはなら
ないものである。すなわち、本発明はその精神、又はそ
の主要な特徴から逸脱することなく、様々な形で実施す
ることができる。

【００６９】

【発明の効果】以上述べたように本発明によれば、相手
の音声情報を音声認識して文字表示することにより、音
声による通話において生じやすい意味不明や誤解の頻度
を低減することができ、更には聴覚障害者でも通話が可
能になるという効果が期待できる。

【００７０】また、音声認識不能である場合には、音声
信号に対して聴覚的な認識度の向上を意図した所定の処
理、例えば音圧を増大するようにしたので、会話の認識
率を向上させるといった効果が期待できる。

【図面の簡単な説明】

【図１】第１の実施の形態の通話システムの構成を示す
模式図である。

【図２】第１の実施の形態の通話端末の構成を示すブロ
ック図である。

【図３】第１の実施の形態において音声及び画像の送信
に際して行われる処理動作を示すフローチャートであ
る。

【図４】第１の実施の形態において音声及び画像の受信
に際して行われる処理動作を示すフローチャートであ
る。

【図５】聴覚的な認識度の向上を意図した処理のバリエ
ーションを設定した場合のフローチャートである。

【図６】第２の実施の形態の通話システムの構成を示す
模式図である。

【図７】第２の実施の形態の通話端末の構成を示すブロ
ック図である。

【図８】第２の実施の形態において音声及び画像の送信
に際して行われる処理動作を示すフローチャートであ
る。

【図９】第２の実施の形態において音声及び画像の受信
に際して行われる処理動作を示すフローチャートであ
る。

【符号の説明】

２０１、２０２、３０１、３０２ 通話端末 ２０３、２０７、３０３、３０７ マイク内蔵型カメ
ラ ２０５、２０９、３０５、３０９ スピーカ ２０４、２０８、３０４、３０８ モニタＴＶ ３１７ 文字入力装置 ３１８ キーボード １０１、８０１ ビデオカメラ １０４、８０４ マイクロフォン １０２、８０２ 画像用符号化器 １０３、８０３ マルチプレクサ １０５、８０５ マイクアンプ １０６、８０６ 音声用符号化器 １０７、１０８、８０７、８０９ バッファメモリ １０９、８０９ デマルチプレクサ １１０、８１０ 画像用復号化器 １１１、８１１ フレームメモリ １１２、８１２ モニタＴＶ １１３、８１３ 音声用復号化器 １１４、８１４ バッファメモリ １１５、８１５ アンプ １１６、８１６ スピーカ １１７、８１９ 利得制御部 １１８、８２０ 音声認識部 １１９、８２１ 画像制御部 １２０、８２２ 同期制御部 ８１７ 文字入力端末 ８１８ テキスト用符号化
器 ８２３ テキスト用復号化
器

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/14 Ｇ１０Ｌ 3/02 ３０１Ｇ 3/00 ５６１Ｃ

Claims (15)

【特許請求の範囲】
1. 【請求項１】 少なくとも二以上の通話端末間で音声及
   び画像の双方向同時通信を可能とした通話システムであ
   って、 相手の通話端末から送信された音声情報を音声認識する
   音声認識手段と、 上記音声認識された音声情報を文字情報に変換する変換
   手段と、 上記文字情報を上記相手の通話端末から送信された画像
   情報に重畳して表示装置に表示する表示手段とを備えた
   ことを特徴とする通話システム。
2. 【請求項２】 上記音声認識の成否を判断する判断手段
   と、 上記音声認識ができなかったと判定された場合に、上記
   音声情報に対して聴覚的な認識度の向上を意図した一又
   は複数の処理を行う処理手段とを備えたことを特徴とす
   る請求項１に記載の通話システム。
3. 【請求項３】 上記聴覚的な認識度の向上を意図した処
   理として所望の処理を設定可能としたことを特徴とする
   請求項２に記載の通話システム。
4. 【請求項４】 上記聴覚的な認識度の向上を意図した処
   理は音圧増大処理であることを特徴とする請求項２又は
   ３に記載の通話システム。
5. 【請求項５】 上記聴覚的な認識度の向上を意図した処
   理は周波数特性調整処理であることを特徴とする請求項
   ２又は３に記載の通話システム。
6. 【請求項６】 上記聴覚的な認識度の向上を意図した処
   理は騒音除去処理であることを特徴とする請求項２又は
   ３に記載の通話システム。
7. 【請求項７】 上記相手の通話端末から送信された画像
   情報を記憶するためのメモリ手段を備えたことを特徴と
   する請求項１〜６のいずれか１項に記載の通話システ
   ム。
8. 【請求項８】 上記相手の通話端末から送信された音声
   情報を記憶するためのメモリ手段を備えたことを特徴と
   する請求項１〜７のいずれか１項に記載の通話システ
   ム。
9. 【請求項９】 上記音声情報と上記画像情報との同期制
   御を行う同期制御手段を備えたことを特徴とする請求項
   １〜８のいずれか１項に記載の通話システム。
10. 【請求項１０】 少なくとも一の通話装置には文字入力
    端末が備えられており、当該文字入力端末介して入力さ
    れた文字情報を相手の通話装置に送信可能としたことを
    特徴とする請求項１〜９のいずれか１項に記載の通話シ
    ステム。
11. 【請求項１１】 少なくとも一の通話装置は、相手の通
    話端末から送信された文字情報を、同時に送信された画
    像情報に重畳して表示装置に表示する表示手段を備えた
    ことを特徴とする請求項１〜１０のいずれか１項に記載
    の通話システム。
12. 【請求項１２】 少なくとも二以上の通話端末間で音声
    及び画像の双方向同時通信を可能とした通話システムに
    用いられる通話端末であって、 相手の通話端末から送信された音声情報を音声認識する
    音声認識手段と、 上記音声認識された音声情報を文字情報に変換する変換
    手段と、 上記文字情報を上記相手の通話端末から送信された画像
    情報に重畳して表示装置に表示する表示手段とを備えた
    ことを特徴とする通話端末。
13. 【請求項１３】 少なくとも二以上の通話端末間で音声
    及び画像の双方向同時通信を可能とした通話システムを
    用いた通話方法であって、 相手の通話端末から送信された音声情報を音声認識する
    手順と、 上記音声認識された音声情報を文字情報に変換する手順
    と、 上記文字情報を上記相手の通話端末から送信された画像
    情報に重畳して表示装置に表示する手順とを有すること
    を特徴とする通話方法。
14. 【請求項１４】 少なくとも二以上の通話端末間で音声
    及び画像の双方向同時通信を可能とした通話システムに
    用いられる通話端末を制御するためのプログラムであっ
    て、 相手の通話端末から送信された音声情報を音声認識する
    処理と、 上記音声認識された音声情報を文字情報に変換する処理
    と、 上記文字情報を上記相手の通話端末から送信された画像
    情報に重畳して表示装置に表示する処理とを実行させる
    ことを特徴とするプログラム。
15. 【請求項１５】 請求項１４に記載のプログラムを格納
    したことを特徴とするコンピュータ読み取り可能な記憶
    媒体。