JP4632389B2

JP4632389B2 - 電子黒板装置およびその制御方法

Info

Publication number: JP4632389B2
Application number: JP2001047030A
Authority: JP
Inventors: 寛樹山本; 賢一郎中川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-02-22
Filing date: 2001-02-22
Publication date: 2011-02-16
Anticipated expiration: 2021-02-22
Also published as: JP2002251280A

Description

【０００１】
【発明の属する技術分野】
本発明は、黒板、ホワイトボード等といったボード装置を電子化した電子黒板装置およびその制御方法に関し、特に、表示させたい内容を音声で入力することの可能な電子黒板装置に関する。
【０００２】
【従来の技術】
会議、打ち合わせ、講義等においては、黒板あるいはホワイトボードが参加者間で情報を共有する手段として広く使われている。
【０００３】
黒板等に記載した内容を保存しておくことが望まれる場合は多く、これまでに、板書された内容を画像情報として電子的に取り込み、印刷、保存等ができる、いわゆる電子黒板が実用化されている。
【０００４】
電子黒板の中には、文字認識機能を備え、整形された形式で印刷・保存できる電子黒板も提案されている。文字認識機能を利用したものの一例としては例えば、電子黒板上にペンで手書きされた文字、図形を認識処理部で認識し、その認識結果を記録紙に記録する電子黒板装置が、特開平2-204999号公報に開示されている。
【０００５】
また、音声認識機能を備え、音声入力によって電子黒板上に板書することのできる電子黒板が、特開平1-125296号公報に開示されている。音声認識を用いた音声入力によれば、画数の多い漢字や、長文の板書の手間を省くことができ、電子黒板の利便性を向上させることができる。
【０００６】
さらに、特開平6-085983号公報に開示されている電子黒板装置よれば、音声認識の結果を表示する位置を指定することができる。
【０００７】
【発明が解決しようとする課題】
このように、上記した従来の音声認識機能を有する電子黒板装置においては、音声認識結果である文字列の表示位置を指定することまでは可能ではあるものの、さらに、電子黒板上に表示する際の文字の大きさや表示方向等までは指定することまではできないという問題があった。表示文字の大きさや表示方向等を指定することができれば、より自由度の高い設定が可能になり、さらに見やすい板書を作成することができるようになるだろう。
【０００８】
すなわち、本発明が目的とするところは、簡単な操作によって、音声入力によって得られた文字列の表示位置のみならず、文字の大きさや表示方向等を設定することが可能な電子黒板装置およびその制御方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、例えば本発明の電子黒板装置は、以下の構成を備える。すなわち、
描画された描画軌跡に基づいて情報を表示する電子黒板装置であって、
音声を検出する音声検出手段と、
前記音声検出手段が検出した音声を認識する音声認識手段と、
電子黒板上に入力された軌跡を検出する軌跡検出手段と、
前記電子黒板上に表示する音声認識結果のデータを生成する表示データ生成手段と、
前記電子黒板の表示を制御する表示制御手段と、
を有し、
前記表示データ生成手段は、前記音声検出手段が検出した音声が入力された時間内に前記軌跡検出手段が検出した軌跡を囲むように、音声認識結果の文字を表示する領域を決定する領域決定手段を有することを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施形態を詳細に説明する。
【００１１】
図１は、実施形態における電子黒板装置の一例を示すブロック構成図である。図示のように、この電子黒板装置は、文字、図形等を記述し表示する電子黒板１と、電子黒板１上に文字、図形等を記述するための筆記具としてのペン２と、音声を入力するための音声入力装置としてのマイクロフォン３、データを処理する中央処理装置４、そして、磁気記憶装置やメモリ等の記憶装置５により構成されている。
【００１２】
電子黒板１は、ペン２によって文字、図形等を描いたときの筆跡（以下、「描画軌跡」または単に「軌跡」ともよぶ。）を各種センサーで検出する軌跡検出部１１と、ペン２の軌跡や文字、図形を表示する表示部１２により構成されている。
【００１３】
中央処理装置４は、全体の処理を制御する制御部４１、マイクロフォン３から入力される音声の有無を検出する音声検出部４２、音声を認識する音声認識部４３、軌跡検出部１１が検出したペン２の軌跡データを入力する軌跡データ入力部４４、音声認識部４３での音声認識結果を表示部１２に表示させるためのデータを作成する表示データ生成部４５、そして、表示部１２を制御する表示制御部４６、により構成されている。
【００１４】
また、記憶装置５は、全体の処理を制御する制御プログラムや、音声認識処理に必要な各種データをはじめ、各種処理の過程で必要なデータを記憶している。
【００１５】
実施形態における電子黒板装置の構成は概ね上記のとおりである。以下、処理の内容について詳しく説明する。
【００１６】
なお、軌跡検出部１１における電子黒板１上に描かれた文字、図形等の位置や軌跡を検出する方法、および音声認識部４３の音声認識処理は、公知の技術を利用することができるため、その詳細な説明は省略する。
【００１７】
図３は、ペン２を用いて電子黒板１の板面に文字、図形等を描く場合の処理の概要を示すフローチャートである。
【００１８】
まず、電子黒板１上にペン２を用いて所望の文字、図形等を記述する。このとき、ペンの軌跡を軌跡検出部１１で検出し（ステップＳ２０１）、記述された時間、電子黒板上の座標等を含む軌跡データに変換して軌跡データ入力部４４より入力し、表示制御部４６に送る（ステップＳ２０２）。入力された軌跡データは、記憶装置５に一時的に記憶される。そして、表示制御部４６は、入力された軌跡データに従って文字、図形等を表示するよう表示部１２を制御して、電子黒板上に表示する（ステップＳ２０３）。
【００１９】
次に、音声入力によって文字を表示する処理について説明する。
【００２０】
音声入力によって文字を表示させる場合、使用者は、表示させたい内容を発声しながら、表示させたい領域をペン２で指示する。このとき、その表示させたい領域に任意の文字、図形をペン２で描くことによって位置を指定することができる。
【００２１】
一例を示す。図５は、電子黒板１の表示例を示している。図示の例は、電子黒板上に既に「議題：来年度計画」、「商品Ａ」、「目標販売台数：」なる文字列が記述されており、使用者は文字列「目標販売台数：」の右横に「２万セット」と記述しようとしている、という状況である。このとき、使用者は、「２万セット」と発声しながら、記述位置「目標販売台数：」の右横の位置でペン２を適当に走らせる。その結果表示されるペンの軌跡は、軌跡Ｔ１のようなものでかまわない。そして音声入力を終えしだい、軌跡Ｔ１に代わって当該位置に音声認識結果が表示されることになる。
【００２２】
図２は、音声入力によって文字を記述する処理を示すフローチャートである。
【００２３】
この処理は、前述した図３のフローチャートにおけるステップＳ２０１およびステップＳ２０２の処理と並行して行われる。
【００２４】
音声検出部４２は、入力信号レベルを測定して所定のしきい値判定を行うことでマイクロフォン３から音声が入力されたことを検出する。音声を検出すると、その入力された音声データを音声認識部４３に送出する（ステップＳ１０１）。
【００２５】
音声認識部４３は、入力された音声データに対して音声認識処理を実行し、認識結果を表示データ生成部４５に送る（ステップＳ１０２）。
【００２６】
表示データ生成部４５では、音声認識の結果および記憶装置５に記憶されている音声入力時間内に記述された軌跡データを基に、次に述べる方法で音声認識結果を表示する位置・文字の大きさ・向きを決定し、表示制御部４６に渡す表示データを生成する（ステップＳ１０３）。
【００２７】
ここで、このステップＳ１０３における、認識結果を表示する位置・文字の大きさ・向きを決定する方法について、図４および図６を用いて説明する。
【００２８】
図４は、ステップＳ１０３の、音声認識結果を表示する位置・文字の大きさ・向きを決定する手順の概要を示すフローチャートである。
【００２９】
まず、記憶装置５に記憶された音声入力時間内に記述された軌跡データから、図６（ａ）に示されているように、その軌跡を囲む最小の矩形領域（以下、「記述領域」という。）の座標を求める（ステップＳ１０３−１）。
【００３０】
次に、求められた記述領域内に収まるような、図６（ｂ）のように文字を表示する位置・大きさ・向きを決定する（ステップＳ１０３−２）。
【００３１】
表示位置の決定方法としては、図１１に示すようなものが考えられる。すなわち、
(1) 横方向の位置を左寄せとし（所定幅の余白を設ける）、高さ方向の位置を中央に揃える（図１１（ａ））。
(2) 横方向の位置を左寄せとし（所定幅の余白を設ける）、高さ方向の位置を記述領域の下辺に揃える（同図（ｂ））。
(3) 横方向の位置を左寄せとし（所定幅の余白を設ける）、高さ方向の位置を記述領域の上辺に揃える（同図（ｃ））。
(4) 横方向の位置をセンタリングし、高さ方向の位置を中央に揃える（同図（ｄ））。
(5) 横方向の位置を左寄せとし（余白は設けない）、高さ方向の位置を中央に揃える（同図（ｅ））。
(6) 横方向の位置を右寄せとし（余白は設けない）、高さ方向の位置を中央に揃える（同図（ｆ））。
【００３２】
表示の大きさの決定方法も、多くの方法が考えられ、例えば次のような例が挙げられる。
(1) あらかじめ設定された文字の大きさに固定する。
(2) 直前に表示された文字の大きさと同じ大きさとする。
(3) 認識結果が記述領域内いっぱいに表示されるように文字の縦横比を調整する。その一例を図１０（ａ）に示す。
(4) 記述領域の高さに合わせて文字の大きさを決定する。その一例を図１０（ｂ）に示す。
(5) 記述領域の幅に合わせて文字の大きさを決定する。その一例を図１０（ｃ）に示す。
【００３３】
なお、表示位置の決定方法および表示の大きさの決定方法は各々、一の方法に固定してもよいが、図１２に示すように、図１に示したこの電子黒板装置の中央処理装置４にユーザ設定部４７を設け、このユーザ設定部４７を介して使用者にいずれの方法によって表示するかを選択させるようにしてもよい。
【００３４】
このユーザ設定部４７からは、例えば、文字のフォント、文字の色、文字装飾処理（例えば、アンダーライン、ボールド、白抜き、影付け）を設定できるようにしてもよいであろう。
【００３５】
さらに、筆記具の属性を複数持たせ（記憶装置５に記憶されうる）、複数の筆記具に異なる属性を設定することにより、このユーザ設定部４７から、状況に応じて筆記具を使い分けられるようにしてもよい。
【００３６】
また、表示の向きについては、例えば、記述領域を示す四角形が縦長であれば縦書き、横長であれば横書き、と決めるようにすることが可能である。
【００３７】
説明を図２のフローチャートに戻す。表示制御部４６は、記憶装置５に記憶されている音声入力時間内に記述された文字・図形の軌跡を消去するように表示部１２を制御する（ステップＳ１０４）。その後、ステップＳ１０３で生成された表示データに従って、音声認識結果の文字列を表示するように表示部１２を制御する。その結果、音声認識結果としての文字列が記述領域を表示される（ステップＳ１０５）。図５で示した例の場合には、音声認識結果は図７のように表示されることになる。
【００３８】
さらに、続けて「月2000台」と発声しながら、ペン２で図８に示されているような軌跡Ｔ２を描いた場合は、上述した処理によって図９のように認識結果が表示されることになる。
【００３９】
以上説明した実施形態によれば、板書したい内容を発声しながら、板書したい領域にペンを用いて任意の文字列、図形等を記述すれば、その記述領域に発声内容を文字列として表示する電子黒板装置を実現することができる。
【００４０】
また、ユーザ設定部を設けることにより、表示する文字の大きさ・位置を複数の方法から、使用者が選択できる電子黒板装置を実現することができる。
【００４１】
また、ユーザ設定部で、表示する文字の大きさ、位置のみならず、文字のフォント、文字の色、文字装飾等を選択できるようにすることにより、より使いやすい電子黒板装置を実現することができる。
【００４２】
また、表示する文字の大きさ・位置・文字のフォント、文字の色、文字の装飾等を、ペンの属性として記憶することにより、状況に応じてペンを使い分けられる電子黒板を実現することができる。
【００４３】
【他の実施形態】
上述したように、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２ないし図４のフローチャートに対応するプログラムコードが格納されることになる。
【００４６】
【発明の効果】
以上説明したように、本発明によれば、簡単な操作によって、音声入力によって得られた文字列の表示位置のみならず、文字の大きさや表示方向等を設定することが可能な電子黒板装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【図１】実施形態における電子黒板装置の一例を示すブロック構成図である。
【図２】実施形態における音声入力によって文字を記述する処理を示すフローチャートである。
【図３】実施形態における電子黒板の板面に文字、図形等を描く場合の処理の概要を示すフローチャートである。
【図４】実施形態における音声認識結果を表示する位置・文字の大きさ・向きを決定する手順の概要を示すフローチャートである。
【図５】実施形態における電子黒板の表示例を示す図である。
【図６】実施形態における音声認識結果を表示する位置・文字の大きさ・向きを決定する方法について説明するための図である。
【図７】実施形態における電子黒板の表示例を示す図である。
【図８】実施形態における電子黒板の表示例を示す図である。
【図９】実施形態における電子黒板の表示例を示す図である。
【図１０】実施形態における音声認識結果の表示態様について説明するための図である。
【図１１】実施形態における音声認識結果の表示態様について説明するための図である。
【図１２】実施形態における電子黒板装置の別の一例を示すブロック構成図である。

Claims

描画された描画軌跡に基づいて情報を表示する電子黒板装置であって、
音声を検出する音声検出手段と、
前記音声検出手段が検出した音声を認識する音声認識手段と、
電子黒板上に入力された軌跡を検出する軌跡検出手段と、
前記電子黒板上に表示する音声認識結果のデータを生成する表示データ生成手段と、
前記電子黒板の表示を制御する表示制御手段と、
を有し、
前記表示データ生成手段は、前記音声検出手段が検出した音声が入力された時間内に前記軌跡検出手段が検出した軌跡を囲むように、音声認識結果の文字を表示する領域を決定する領域決定手段を有することを特徴とする電子黒板装置。
前記表示制御手段は、前記表示データ生成手段が生成した音声認識結果の表示データを表示する際に、音声が入力された時間内に記述された軌跡を消去することを特徴とする請求項１に記載の電子黒板装置。
前記表示データ生成手段は、前記領域決定手段が決定した文字を表示する領域に収まるように、表示する音声認識結果の文字の位置、大きさ、向きを決定する表示態様決定手段を更に有することを特徴とする請求項１または２に記載の電子黒板装置。
前記表示態様決定手段は、前記領域決定手段で決定された領域の高さおよび／または幅に応じて、前記認識結果の表示の大きさを決定することを特徴とする請求項３に記載の電子黒板装置。
前記表示態様決定手段は、前記領域決定手段で決定された領域の高さと幅との比に応じて、前記音声認識結果の表示の向きを決定することを特徴とする請求項３に記載の電子黒板装置。
描画された描画軌跡に基づいて情報を表示する電子黒板装置の制御方法であって、
音声検出手段が、音声を検出する音声検出工程と、
音声認識手段が、前記音声検出工程で検出された音声を認識する音声認識工程と、
軌跡検出手段が、電子黒板上に入力された軌跡を検出する軌跡検出工程と、
表示データ生成手段が、前記電子黒板上に表示する音声認識結果のデータを生成する表示データ生成工程と、
表示制御手段が、前記電子黒板の表示を制御する表示制御工程と、
を有し、
前記表示データ生成工程は、前記音声検出工程で検出された音声が入力された時間内に前記軌跡検出工程で検出された軌跡を囲むように、音声認識結果の文字を表示する領域を決定する領域決定工程を有することを特徴とする電子黒板装置の制御方法。
コンピュータを、請求項１乃至５のいずれか１項に記載の電子黒板装置の各手段として機能させるためのコンピュータプログラム。
請求項７に記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体。