JP5114578B2 - 音声認識機能を内蔵した映像表示装置 - Google Patents

Description

本発明は映像表示装置に関し、特に電子プレゼンテーションなどに用いられ、音声認識機能を内蔵した映像表示装置に関する。

従来、プロジェクタ装置に代表される映像表示装置は、電子プレゼンテーションなどに用いられている。かかる電子プレゼンテーションにおいては、映像表示装置とコンピュータなどを接続し、目的の電子資料を順次表示しながら、オペレータ（話者）が説明を行っている。また、大人数を対象とした電子プレゼンテーションなどの場合は、その状況に応じて、オペレータ（話者）は拡声装置などを使用することもある。

図７は従来の一例を説明する映像表示装置を用いたシステム構成図である。図７に示すように、従来の電子プレゼンテーションのシステムは、プロジェクタと称される映像表示装置１ａにコンピュータ３およびビデオ（ＶＩＤＥＯ）機器４を接続し、視聴者７に対し所定の距離を隔てて配置されるスクリーン２に画面表示するものが一般的である。しかも、これと同時に、オペレータ（話者）５の近傍にはマイクロフォン６が配置され、スピーカなどの拡声装置８を用いて視聴者７に音声を伝達するシステムが採用されている。

また、最近の技術では、音声認識装置を利用して情報提示装置に音声内容を表示するもの、あるいは音声データ・文字コード変換手段を用いてプリンタなどの印字手段に表示するものも知られている。例えば、特許文献１に記載されているように、車載用の音声メモ装置などに用いるために、人の発した音声を音声認識技術を用いて単純な文字列に変換し、情報提示装置としての液晶ディスプレイ等に表示するものである。

さらに、特許文献２に記載されているように、カラオケ装置やレクチャー装置のディスプレイにマイクからの音声入力の内容を合成して表示させる装置も提案されているもの、あるいは特許文献３に記載されているように、プロジェクタを用いて遠隔講義を行う際、音声入力を用いて各種のマルチメディア機器入力を切替えるようにしたものが知られている。

特開平９−３３００９６号公報 特開平１０−２８２９７０号公報 特開２０００−２５０３９２号公報

上述した図７の映像表示装置においては、オペレータ（話者）の発声を伝達する手段が外的要因の影響を受けやすいので、周囲の騒音環境の変化やオペレータ（話者）の発声方法（発音、スピード）によっては、オペレータ（話者）の説明が聞き取り難い状況が発生するという欠点がある。また、かかる映像表示装置は、スピーカなどの必要器材が多いため、その運搬や設置作業が面倒であるという欠点がある。すなわち、電子プレゼンテーションに必要な器材については、実際にプレゼンテーションを行う場所に運搬して接続作業を実施する場合が多く、この作業が負担になる。さらに、従来の映像表示装置においては、オペレータ（話者）の発声を伝達する手段が聴覚にうったえるものであるため、聴覚障害者に対しては、電子プレゼンテーションを行うことが難しいという欠点がある。

また、特許文献１の音声メモ装置は、プロジェクタとしての機能もなく、単に音声入力された内容を液晶ディスプレイなどに文字表示するものである。これは、自動車などで移動中に、メモを取る場合には有効であるが、静止中の多くの視聴者を対象にスクリーンを用いて映像表示するようなことはできない。

また、特許文献２のカラオケ装置やレクチャー装置として用いられる音声情報表示装置においても、プロジェクタ装置としての機能がなく、しかもリモコン装置やタイマを必要とし、操作が面倒である。

一方、特許文献３の遠隔講義装置においては、プロジェクタとしての機能を有しているが、プロジェクタ装置の他にインターネット回線や各種のメディア機器を必要とし、それらの機器の持ち運びに不便なだけでなく、使用場所が限定されるという問題がある。

本発明の目的は、上述した問題点を解決すること、すなわち周囲の騒音環境の変化やオペレータ（話者）の発声方法（発音、スピードなど）による外的要因に影響されることのない電子プレゼンテーションに適する音声認識機能を内蔵した映像表示装置（プロジェクタ）を提供することにある。

また、本発明の他の目的は、電子プレゼンテーションを行うために使用する機材を少なく且つ持ち運びの負担も減少させ、コードの接続などの設置作業も軽減できる音声認識機能を内蔵した映像表示装置を提供することにある。

さらに、本発明の他の目的は、聴覚障害者に対しても、電子プレゼンテーションを行うことができ、より多くの人を対象とする電子プレゼンテーションを実現するとともに、より表現に優れた電子プレゼンテーションを実現できる音声認識機能を内蔵した映像表示装置を提供することにある。

本発明の音声認識機能を内蔵した映像表示装置は、マイクロフォンからの音声が入力され、入力された音声を認識して文字データに変換し、変換された文字データを文字表示メモリに格納し、格納された文字データを読出し、文字表示信号を生成する音声表示信号生成部と、複数の映像信号が入力され、入力された複数の映像信号を切り替えてディジタル映像信号として出力することのできる入力映像信号処理回路と、入力映像信号処理回路から出力されたディジタル映像信号を格納する映像表示メモリと、映像表示メモリに格納されたディジタル映像信号を読出し、映像表示信号を生成する映像表示信号生成部と、音声表示信号生成部から供給される文字表示信号と映像表示信号生成部から供給される映像表示信号を合成した表示信号を生成する表示信号合成回路と、各回路をプログラムに基づいて制御せるＣＰＵ部と、ＣＰＵ部の制御により映像表示メモリおよび音声表示信号生成部を制御するメモリ制御回路と、表示信号合成回路で生成された表示信号を表示する表示部とを有し、ＣＰＵ部から映像切替の指示を受けたとき、文字表示メモリの格納内容が無くなったことを識別してから映像切替を行うように構成される。

この映像表示装置における音声表示信号生成部は、マイクロフォンに接続される音声入力端子と、音声入力端子に入力された音声信号を認識し、１文字毎の文字コードデータに変換する音声認識回路と、１文字毎の文字コードデータを文字列として格納する文字列バッファ回路と、文字フォントを記憶した文字フォントＲＯＭと、文字コードデータを文字表示データに変換して格納する文字表示メモリと、文字表示メモリの文字表示データを読出し、文字表示信号を作成する文字表示信号生成回路とを備え、各回路をバス接続することによりＣＰＵ部およびメモリ制御回路から制御されるように形成することができる。

また、本発明におけるＣＰＵ部は、文字列バッファ回路に文字コードデータが格納されると、文字フォントＲＯＭをアクセスし、文字コードデータを文字パターンデータに変換して文字表示メモリに格納するように形成される。

また、本発明におけるメモリ制御回路は、映像表示メモリと文字表示メモリを制御し、映像画面と音声文との同期がとれるように形成される。

また、本発明における音声表示信号生成部は、複数の音声入力端子を備え、複数の話者による音声をそれぞれ表示部に独立して文字表示するように形成することができる。

さらに、本発明における音声表示信号生成部は、複数の音声入力端子に対応した複数の音声認識回路と複数の文字列バッファ回路とを備え、複数の話者による対話形式の表示を行うことができる。

以上説明したように、本発明の音声認識機能を内蔵した映像表示装置は、オペレータ（話者）の声を伝達する補助手段として、音声信号を文字表示できる手段を設けているので、電子プレゼンテーション中にオペレータ（話者）の声が聞き取り難い状況が発生しても、その内容を視聴者へ確実に伝えることができるという効果がある。すなわち、周囲の騒音環境の変化やオペレータ（話者）の発声方法（発音、スピードなど）による外的要因に影響されることなく、一定の伝達性を保証することができる。

また、本発明の映像表示装置は、拡声装置にかわる伝達手段として、音声信号を文字表示できる手段を設けているので、スピーカなどの拡声装置を使用せずに、電子プレゼンテーションを行うことができ、このため使用する機材を少なく且つ持ち運びの負担も減少させることができる上、コードの接続などの設置作業も軽減できるという効果がある。

また、本発明の映像表示装置は、音声信号を視覚情報へ変換する手段を設けているので、聴覚障害者の人に対しても、電子プレゼンテーションを行うことができ、より多くの人を対象とした電子プレゼンテーションを実現できるという効果がある。

さらに、本発明の映像表示装置は、音声信号を聴覚のみならず、視覚へも同時に伝達することにより、電子プレゼンテーション中に音声による視覚的効果を演出でき、より表現に優れた電子プレゼンテーションを行うことができるという効果がある。

本発明の第１の実施の形態を説明する映像表示装置を用いたシステム構成およびスクリーンの正面を表わす図である。 図１に示す映像表示装置の回路構成図である。 図１におけるスクリーン画面の横方向表示の例を説明する図である。 図１におけるスクリーン画面の縦方向表示の例を説明する図である。 図１におけるスクリーン画面の横方向表示の別の例を説明する図である。 本発明の第２の実施の形態を説明する映像表示装置を用いたシステム構成およびスクリーンの正面を表わす図である。 従来の一例を説明する映像表示装置を用いたシステム構成図である。

本発明は、コンピュータなどを使用し、電子化された資料を操作しながらプレゼンテーションなどを行う場合（以下、電子プレゼンテーション）において、それに要する伝達性および設置性を向上させることを意図したものである。かかる電子プレゼンテーションは、コンピュータと映像表示装置を接続し、コンピュータを操作することで電子化された資料を映像表示装置に順次表示しながら説明を行うのが一般的である。また、大人数を対象とした電子プレゼンテーションの場合は、大画面の映像表示装置と共に、オペレータ（話者）の声を増幅する拡声装置なども状況に応じて用いられる。特に、本発明では、映像表示装置に音声を認識して文字表示できる音声表示信号生成部を内蔵することにより、電子プレゼンテーションの伝達性および設置性を向上させている。

以下、本発明の実施の形態について図面を参照して説明する。図１（ａ），（ｂ）はそれぞれ本発明の第１の実施の形態を説明する映像表示装置を用いたシステム構成図およびスクリーンの正面図である。図１（ａ），（ｂ）に示すように、本実施の形態は、コンピュータ３およびビデオ（ＶＩＤＥＯ）機器４を接続した映像表示装置１を用い、多くの視聴者７が見ることのできるスクリーン２に映像表示させる電子プレゼンテーションのシステムを示しており、この映像表示装置１にマイクロフォン６を接続したものである。視聴者７の近くにいるオペレータ（話者）５はマイクロフォン６を通して音声情報、例えば「おはようございます」という挨拶、を映像表示装置１に与えると、音声認識機能により文字データに変換し、スクリーン２の一部（ここでは下側）に、すなわち図１（ｂ）に示すとおり、スクリーン２の右下側から左下側に、「おはようございます。」という文字を映像表示させる。

このために、電子プレゼンテーションにあたっては、使用する器材が少なくなり、持ち運びや接続作業などが軽減される。また、周囲の騒音環境の変化や、オペレータ（話者）５の発声方法（発音、スピードなど）による外的要因によって、聞き取り難い状況が発生した場合の補助的な伝達手段として、一定の伝達性を保証することや、オペレータ（話者）５の音声に対して、視覚的効果を簡単に演出することもできる。

図２は図１に示す映像表示装置の回路構成図である。図２に示すように、この映像表示装置（プロジェクタ装置）１は、映像をスクリーン２に拡大投写する大画面の映像表示を可能とする投写型映像表示装置である。

このプロジェクタ装置１は、コンピュータなどの映像信号が供給される複数の映像入力端子１０１と、これら複数の映像入力端子１０１から供給される映像信号をＡ／Ｄ変換処理する入力映像信号処理回路１０２と、この入力映像信号処理回路１０２でデジタル化された映像信号を表示出力すべき映像表示データとして格納する映像メモリ１０３と、映像メモリ１０３から表示データを逐次読み出し、表示出力する映像として映像表示信号を生成する映像表示信号生成回路１０４と、音声信号を文字表示信号に変換するために、点線枠で囲まれた音声表示信号生成部１０５と、映像表示信号生成回路１０４から供給される映像表示信号と音声表示信号生成部１０５から供給される文字表示信号を合成して最終的な表示信号を生成する表示信号合成回路１０６と、表示信号合成回路１０６から供給される表示信号を投写表示する表示部１０７と、プログラムデータが組み込まれ、制御バス１１０とデータバス１１１によってプロジェクタ装置１内の全回路の制御を行うＣＰＵ部１０８と、プロジェクタ装置１内のメモリの制御を行うメモリ制御回路１０９とを備えている。特に、このメモリ制御回路１０９は、ＣＰＵ部１０８の制御のもとに、映像表示メモリ１０３と、音声表示信号生成部１０５とを制御し、所定の映像画面に、確実に音声文すべてが表示できるように同期をとっている。なお、表示部１０７は表示デバイス，光学レンズ，光源ランプなどから構成され、その表示デバイスは一般に液晶やＤＬＰなどのデバイスが使用されることが多い。この表示デバイスの画像は拡大投写され、スクリーン２に表示される。

さらに、音声表示信号生成部１０５は、マイクロフォン６からの音声信号を供給される音声入力端子１０５０と、音声入力端子１０５０を介して供給される音声信号を音声認識し、逐次文字コードに変換する音声認識回路１０５１と、音声認識回路１０５１から供給される文字コードを格納する文字列バッファ回路１０５２と、文字列バッファ回路１０５２の文字コードデータを表示出力すべき文字表示データとして格納する文字表示メモリ１０５３と、文字表示メモリ１０５３から格納データを逐次読み出し、表示出力すべき文字表示信号を生成する文字表示信号生成回路１０５４と、文字列バッファ回路１０５２に格納される文字コードデータに対応する文字パターンデータを格納する文字フォントＲＯＭ１０５５とを備えている。これらの各回路は、上述した制御バス１１０とデータバス１１１により接続される。しかも、文字フォントを記憶した文字フォントＲＯＭ１０５５や文字パターンデータを格納する文字表示メモリ１０５３は、映像表示メモリ１０３を制御するメモリ制御回路１０９によって制御され、映像画面と音声文との同期がとれるようにする。また、このメモリ制御回路１０９は、ＣＰＵ部１０８から映像切替の指示を受けたとき、文字表示メモリ１０５３の格納内容が無くなったことを識別してから映像切替を行うようにしている。

かかるプロジェクタ装置１は、通常、映像入力端子１０１から供給されるコンピュータなどの外部映像機器の映像信号をスクリーン２に拡大投写して映像表示される。その映像信号の処理動作の概略は、次のとおりである。まず、映像入力端子１０１から外部映像機器の映像信号を入力映像信号処理回路１０２に供給すると、その映像信号を入力映像信号処理回路１０２においてＡ／Ｄ変換する。このように、映像信号はアナログ信号からディジタル信号へ逐次変換される。ついで、ディジタル信号化された映像信号は、逐次映像表示メモリ１０３に映像表示データとして格納される。このため、映像表示メモリ１０３の格納データは、映像入力端子１０１から入力される映像信号がデジタル化された映像表示データで逐次更新されることになる。更に、映像表示信号生成回路１０４では、映像表示メモリ１０３に格納される映像表示データを逐次読み出し、映像表示出力する映像表示信号を生成し、表示信号合成回路１０６へ供給する。

次に、音声表示信号生成部１０５の動作について説明する。オペレータ（話者）５が使用するマイクロフォン６などの音声信号を音声入力端子１０５０から音声認識回路１０５１へ供給されると、その音声信号が音声認識回路１０５１において文字認識処理され、音声信号から一文字ごとの文字コードデータへ逐次変換される。その文字コード化された音声信号は、逐次文字列バッファ回路１０５２に格納される。文字列バッファ回路１０５２に文字コードデータが格納されると、ＣＰＵ部１０８は文字フォントＲＯＭ１０５５を使用して、文字コードデータから文字パターンデータに変換する。ついで、その変換された文字パターンデータは、文字表示メモリ１０５３に文字表示データとして逐次格納する。さらに、文字表示メモリ１０５３に格納された文字表示データは、文字表示信号生成回路１０５４から逐次読み出される。文字表示信号生成回路１０５４では、読み出した文字表示データから文字表示出力する文字表示信号を生成し、表示信号合成回路１０６へ出力する。また、文字表示信号生成回路１０５４では、ＣＰＵ部１０８から文字表示データの読み出し位置、文字表示の出力位置などの制御データが供給され、文字の表示方法や表示位置を変更できるようにしている。

次に、表示信号合成回路１０６は、映像表示画面上に文字を表示できるように、映像表示信号生成回路１０４から供給される映像表示信号と文字表示信号生成回路１０５４から供給される文字表示信号を合成した表示信号を生成し、表示部１０７へ供給する。表示部１０７へ供給された表示信号は、プロジェクタ装置１の表示映像として、スクリーン２へ拡大投写される。この結果、スクリーン２上では、映像入力端子１０１から入力される映像信号の映像表示画面上に、音声入力端子１０５０から入力された音声信号が逐次文字表示される。

図３（ａ），（ｂ）はそれぞれ図１におけるスクリーン画面の横方向表示の例を説明する図である。図３（ａ）に示すように、このスクリーン２は同一の映像画面（図示省略：以下同様）を写しており、しかも時間的に左から右に向かって推移する場合である。例えば、１つの映像画面に対し、複数の音声文を重畳させるためには、所定の時間とともに、音声文を次から次へ表示させる必要があるためである。この場合は、音声文を下側で横方向に表示させているが、図３（ｂ）に示すように、音声文を上側で横方向に表示させることも可能である。

図４（ａ），（ｂ）はそれぞれ図１におけるスクリーン画面の縦方向表示の例を説明する図である。図４（ａ），（ｂ）に示すように、このスクリーン２も動作的には図３と同様であり、図４（ａ）は音声文を右側縦方向に表示させた場合であり、図４（ｂ）は音声文を左側縦方向に表示させた場合である。

図５は図１におけるスクリーン画面の横方向表示の別の例を説明する図である。図５に示すように、このスクリーン２は時間的に音声文を移動させるのではなく、所定時間だけ音声文を一括して表示し、所定時間が過ぎると、その音声文を消去してしまう方式である。このため、複数の音声文があるときには、スクリーン２上に複数行にわたって表示すればよい。

上述した図３〜図５の音声文の表示にあたっては、プロジェクタ装置１のＣＰＵ部１０８においてプログラム制御できるように設定すればよい。すなわち、ＣＰＵ部１０８から文字表示信号生成回路１０５４に供給される文字表示データの読み出し位置、文字表示出力位置などの制御データを変更することにより、それぞれのイメージにすることができ、また文字の表示位置や表示速度を変更することもできる。

図６（ａ），（ｂ）はそれぞれ本発明の第２の実施の形態を説明する映像表示装置を用いたシステム構成図およびそのスクリーンの正面図である。図６（ａ），（ｂ）に示すように、本実施の形態はプロジェクタ装置１に２つのマイクロフォン６１，６２を接続し、２人のオペレータ（話者）５１，５２の音声をスクリーン２上に表示するようにしたものである。この場合、プロジェクタ装置１には、前述した図２における音声入力端子１０５０を２つ設ける他に、音声認識回路１０５１と文字列バッファ回路１０５２もそれぞれ２つ設け、ＣＰＵ部１０９に表示順序や表示方法をプログラム設定することにより、すなわち入力端子数に対応した処理経路を用意することで、２つの音声信号を同時に文字表示することも可能である。この場合、図６（ｂ）に示すように、第１の話者５１の音声は、スクリーン２の上側横方向で左から右に表示させ、また第２の話者５２の音声は、下側横方向で右から左に表示させることにより、対話形式の表示をも実現することができる。また、この表示のさせ方は、前述した図３〜図５のように表示してもよいし、あるいはこれらを組合せて表示することもできる。なお、２人以上の複数のオペレータ（話者）が存在する場合においても同様である。

以上、２つの実施の形態については、電子プレゼンテーションの映像表示装置として最も一般的なプロジェクタ装置１を例に説明したが、これらに限定されることはない。例えば、映像表示装置の方式に関係なく、ＴＶやモニタなどといった映像表示装置であっても音声表示信号生成部１０５を内蔵すれば同様の効果が得られる。

また、ＣＰＵ部１０８から文字表示信号生成回路１０５４に供給される文字表示データの読み出し位置、文字表示出力位置などの制御データを変更することにより、文字の表示位置や表示速度を変更することができ、その結果、様々な表示方法が可能となり、状況に応じた視覚効果を演出することが可能である。

さらに、プロジェクタ装置１のパワーをオンオフしたり、映像入力端子１０１の切替を行ったりできるように、予めキーワードとその動作をＣＰＵ部１０８に設定しておくことにより、ＣＰＵ部１０８が文字列バッファ回路１０５２において、キーワードと同じ文字コードデータを発見した場合には、キーワードに対応した動作を行わせることもできる。その結果、オペレータ（話者）がキーワードを発声することによって、リモートコントロール装置を用いずに、一般的なリモートコントロールと同様の効果を得ることもできる。

１ 映像表示装置
２ スクリーン
３ コンピュータ
４ ビデオ（ＶＩＤＥＯ）機器
６，６１，６２ マイクロフォン
１０１ 映像入力端子
１０２ 入力映像信号処理回路
１０３ 映像表示メモリ
１０４ 映像表示信号生成回路
１０５ 音声表示信号生成部
１０６ 表示信号合成回路
１０７ 表示部
１０８ ＣＰＵ部
１０９ メモリ制御回路
１１０ 制御バス
１１１ データバス
１０５０ 音声入力端子
１０５１ 音声認識回路
１０５２ 文字列バッファ回路
１０５３ 文字表示メモリ
１０５４ 文字表示信号生成回路
１０５５ 文字フォントＲＯＭ

Claims (6)

1. マイクロフォンからの音声が入力され、前記入力された音声を認識して文字データに変換し、前記変換された文字データを文字表示メモリに格納し、前記格納された文字データを読出し、文字表示信号を生成する音声表示信号生成部と、
   複数の映像信号が入力され、入力された複数の映像信号を切り替えてディジタル映像信号として出力することのできる入力映像信号処理回路と、
   前記入力映像信号処理回路から出力されたディジタル映像信号を格納する映像表示メモリと、
   前記映像表示メモリに格納されたディジタル映像信号を読出し、映像表示信号を生成する映像表示信号生成部と、
   前記音声表示信号生成部から供給される文字表示信号と前記映像表示信号生成部から供給される映像表示信号を合成した表示信号を生成する表示信号合成回路と、
   各回路をプログラムに基づいて制御せるＣＰＵ部と、
   前記ＣＰＵ部の制御により前記映像表示メモリおよび前記音声表示信号生成部を制御するメモリ制御回路と、
   前記表示信号合成回路で生成された表示信号を表示する表示部とを有し、
   前記ＣＰＵ部から映像切替の指示を受けたとき、前記文字表示メモリの格納内容が無くなったことを識別してから映像切替を行うことを特徴とする音声認識機能を内蔵した映像表示装置。
2. 前記音声表示信号生成部は、前記マイクロフォンに接続される音声入力端子と、前記音声入力端子に入力された音声信号を認識し、１文字毎の文字コードデータに変換する音声認識回路と、前記１文字毎の文字コードデータを文字列として格納する文字列バッファ回路と、文字フォントを記憶した文字フォントＲＯＭと、前記文字コードデータを文字表示データに変換して格納する文字表示メモリと、前記文字表示メモリの前記文字表示データを読出し、文字表示信号を作成する文字表示信号生成回路とを備え、各回路をバス接続することにより前記ＣＰＵ部および前記メモリ制御回路から制御される請求項１記載の音声認識機能を内蔵した映像表示装置。
3. 前記ＣＰＵ部は、前記文字列バッファ回路に文字コードデータが格納されると、前記文字フォントＲＯＭをアクセスし、前記文字コードデータを文字パターンデータに変換して前記文字表示メモリに格納する請求項１もしくは請求項２記載の音声認識機能を内蔵した映像表示装置。
4. 前記メモリ制御回路は、前記映像表示メモリと前記文字表示メモリを制御し、映像画面と音声文との同期がとれるようにする請求項１もしくは請求項２記載の音声認識機能を内蔵した映像表示装置。
5. 前記音声表示信号生成部は、複数の音声入力端子を備え、複数の話者による音声をそれぞれ前記表示部に独立して文字表示する請求項１もしくは請求項２記載の音声認識機能を内蔵した映像表示装置。
6. 前記音声表示信号生成部は、前記複数の音声入力端子に対応した複数の音声認識回路と複数の文字列バッファ回路とを備え、前記複数の話者による対話形式の表示を行う請求項５記載の音声認識機能を内蔵した映像表示装置。

Images