JP2009060564A - 会議システム - Google Patents

Abstract

【課題】本発明は、電子黒板装置の筆記画像と、プロジェクタ装置の投影画像とを合成する技術を提供することを目的としている。
特に、合成するための領域を示すマークを複数検出した場合であっても、正しい投影領域を指定できるようにしたものである。
【解決手段】本発明は、筆記シートにマーカーによって筆記された画像を読取装置で読取る電子黒板と、この電子黒板の筆記シート上に画像を投影するプロジェクタと、前記筆記シート上に前記プロジェクタからの投影画像の領域を示すための端部４点の筆記マークを検出することにより、投影領域を算出する投影領域検出手段を有し、前記投影画像と前記筆記シート上に筆記された筆記画像とを合成して合成画像を形成する合成手段とを有する会議システムであって、前記投影領域検出手段は、４点以上の筆記マークが検出された場合、検出された複数の筆記マークの位置関係を算出することにより、位置を示すマークを４点特定する位置推定手段を有することを特徴としている。
【選択図】図１

Description

本発明は、会議などで用いられる電子黒板装置の筆記画像と、プロジェクタ装置から投影される投影画像とを合成して保存或いは印刷するシステムに関するものである。

電子黒板装置は、白色の書込みシートに、マーカーで文字や図形を記入すると共に、この記入した表面を光学センサーにて画像情報として読み取り、読み取った画像情報を縮小して紙に印刷し、或いは記録する機能を有することを特徴としている。

電子黒板装置は、本来的に利用者がマーカーによって筆記するものであり、会議において検討した課題や解決手段あるいは構想や日程、計画案などを筆記し、会議終了後、会議の参加者に筆記内容を議事録として配布するため、この筆記面を画像情報として読取り、印刷する機能を有している。

特開平４−１８１８５７号 特開平１０−２９７１６６号

電子黒板装置を用いて議事録を作成しながら行う会議において、プロジェクタ装置が併用して用いられることがある。
例えば、パソコンで作成した書面の画像を、拡大して投影し参照すると共に、会議の議事録を電子黒板装置に筆記しながら会議を進行するような利用がされる。
このような会議の場合、従来は、プロジェクタ装置は専用の投影スクリーンに画像を投影し、議事録などの筆記は、マーカーを用いて電子黒板装置或いはホワイトボードに行われている。

これに対して、電子黒板装置の筆記面に、プロジェクタ画像を投影し、プロジェクタ画像と筆記画像を合成して保存、或いは印刷する技術が古くから検討されている。
上記の特許文献１では、電子黒板装置に筆記された画像、及び投影された画像を、カメラを用いて撮影して合成画像を作成する技術が示されている。
また、特許文献２では、プロジェクタ装置の投影領域を、電子黒板装置の筆記面と１対１に対応させ、電子黒板装置で読取られた筆記データと投影データとをパソコンによって合成する技術が示されている。

しかしながら、特許文献１のようなカメラを用いて合成画像を作成するものは、筆記者が撮影面に重なることがあり合成画像に部分的な欠けが生じることがある。また、カメラの配置場所を確保する必要があると共に、カメラ及びその処理装置が必要となり高コスト化が問題となる。

特許文献２のように、投影面と筆記面とを１対１にする場合は、プロジェクタ装置の置ける位置が限定してしまい、実用上の問題がある。

また、本願出願人は、先に、電子黒板利用者が、筆記面に４点の位置マークを筆記することにより、この位置マークを検出することで、投影領域を検出して、電子黒板の読取画像と投影画像とを合成する技術について特許出願している。
しかしながら、このように、筆記面から位置マークを抽出する場合、例えば、位置マークではない筆記を位置マークとして認識してしまう場合がある。
例えば、単なる丸の筆記や、ローマ字のａ、ｏなどを位置マークとして検出してしまう場合がある。
このため、画像合成するための位置の算出ができなくなる場合があった。

上記課題を解決するため、本発明は、筆記シートにマーカーによって筆記された画像を読取装置で読取る電子黒板と、この電子黒板の筆記シート上に画像を投影するプロジェクタと、前記筆記シート上に前記プロジェクタからの投影画像の領域を示すための端部４点の筆記マークを検出することにより、投影領域を算出する投影領域検出手段を有し、前記投影画像と前記筆記シート上に筆記された筆記画像とを合成して合成画像を形成する合成手段とを有する会議システムであって、前記投影領域検出手段は、４点以上の筆記マークが検出された場合、検出された複数の筆記マークの位置関係を算出することにより、位置を示すマークを４点特定する位置推定手段を有することを特徴としている。

本発明によれば、複数の筆記を位置マークとして検出した場合であっても、その検出されたマークの位置関係から正しい位置マークを抽出することが可能となる。

以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。

以下、図に沿って本発明の一実施例を説明する。
図１は本発明の一実施例を示す構成図である。
１は電子黒板本体、２は本体の表面においてマーカーによって書き込みを行う書込み用筆記シートであり、３はこの筆記シートの移動指示や、筆記シートの書込み面を走査し、筆記画像情報の読込みを行う指示、或いは読込んだデータを図示しないプリンタで印刷する指示などを行う操作パネル、４はプロジェクタ、５はパーソナルコンピュータ（以下パソコンという。）である。

プロジェクタ４はパソコン５に接続され、パソコン５で作成されたプレゼンテーション用の画像データを拡大投影する。
またパソコン５には、電子黒板１に接続され電子黒板で読取られた筆記画像データが入力される。

このような構成の元、パソコン５の画面に表示されている投影用画像データを、プロジェクタ４を介して、電子黒板１の筆記シート２に投影する。
この投影画像に追記する形で、筆記シート２にはマーカーによって、筆記がされる。
この投影画像と、追記された筆記画像とを合成したい場合、筆記者は、投影画像の合成したい領域の右左、上下の端部４点をマーカーで筆記する。
本実施例の場合は、投影画像を合成したい領域の左右の上下端に、緑色の丸印６を位置マークとして記入する。

図２のフローチャートを用いて、合成画像を作成する動作を説明する。
合成画像の作成は、パソコン上で合成画像作成用のプログラムを起動させて行う。
図７に、この合成画像作成用プログラムの操作ウインドウの一例を示す。
２１は合成画像を作成するためのスキャンボタン、２２は投影画像の合成位置を設定するための位置マークの色や形状を設定するためのボタン、２３はその他例えば投影プロジェクタの選定を行うための設定ボタンである。
尚、位置マークは初期の状態は、緑色の丸形状とするが、これをマークボタン２２によって、例えば赤の四角形状と変更することが可能である。

動作１
パソコンの画面に表示される合成画像作成用のプログラムの操作パネルの画像取り込み用ボタン（以下スキャンボタンという。）を押すと、プロジェクタを使用しているか否かを選択するためのウインドウが表示される。
このウインドウで「プロジェクタを使用していない」を選択した場合、プロジェクタの投影画像を合成する必要がないため、電子黒板の通常の動作がされ、筆記面が読み取り装置によって読取られた後、その画像データがパソコンに転送される。

動作２
先の選択用のウインドウで「プロジェクタを使用している」が選択された場合、パソコン画面に表示されたビットマップ画像をファイルとして保存する。
尚、パソコン画面上で表示される操作パネルを消した状態の、画面の画像のみを、ビットマップ画像ファイルとして保存する。
このような動作を一般的には画面キャプチャーという。
尚、画面ファイルはビットマップ以外のフォーマットで保存してもよい。

動作３
ＴＷＡＩＮソフトウエアによって、パソコンから電子黒板の制御信号が電子黒板の制御部に送信され、電子黒板の筆記シートが移送されると共に、図示しない電子黒板の裏面に配置された読取装置によって筆記画像が読み込まれる。

動作４
電子黒板で読取られた筆記画像が、ＴＷＡＩＮソフトウエアによってパソコンに転送される。
尚、ＴＷＡＩＮとは、画像入力機器などの周辺機器とパソコンとを接続するための技術仕様である。

動作５
電子黒板からの筆記画像データが正しく転送されたかの判定を行い、失敗した場合は動作２で保存されたパソコン画面のビットマップ画像ファイルを破棄し、合成画像作成動作を終了する。
尚、パソコン画面には、エラー表示を行い、再度スキャンすることを筆記者に促す。

動作６
正しく伝送された場合は、動作１において「プロジェクタを使用しない」を選択していた場合は、読取った筆記画像データを保存するか否かの選択画面を表示し、「保存する」を選択した場合は、保存処理を行い終了する。

動作７
動作１において「プロジェクタを使用する」を選択していた場合は、受信した筆記画像データから、４つの位置マークの検出を行う。
この４つの位置マークで囲まれた領域に、動作１で保存されたビットマップ画像を縮小して合成し、この合成画像を図５に示すような表示用ウインドウに表示する。
図５に示す合成画像表示用ウインドウで、操作者は、投影画像の大きさや形を修正することができるが、この操作については後述する。

次に図３を用いて、先の動作７の位置検出の動作について説明する。
動作７１
位置マークを緑色以外で筆記した場合、その色を選択し、また位置マークを丸型以外、例えば四角とした場合、その色と形状を操作者が設定ウインドウによって設定することが可能となっている。
この設定された色及び形状の位置マークに基づいて位置検出が行われる。
この動作を、色変換フィルタ設定と称する。
尚、初期の設定のまま緑色の丸形状で位置マークを筆記した場合は、本動作は不要となる。

動作７２
色変換フィルタ設定で設定された位置マークを筆記した画素を検出し、その画素をイメージメモリに保存する。尚この検出画素を１とし、その他の部分は０として保存する。
この動作を、色変換フィルタと称する。

動作７３
筆記シートの汚れなどに起因する誤って検出されたデータを除去するため、イメージメモリの変換後の画像データから連続する画素が所定数以下の部分を０とする。
連続する所定数以上の緑色領域の画像の立上がりエッジ及び、立ち下がりエッジを、Ｘ軸方向及び、これに直交するＹ軸方向で抽出する。
このエッジ間を１で埋める。
この動作によって、丸形状の中が１で埋められ、１つの領域（以下ポイントという。）とされる。
この動作を、画像フィルタと称する。

先の動作７３で検出された複数位置ポイントの位置関係を解析する。
この位置関係の解析を、画像解析と称する。
この画像解析のフローチャートを図４に示す。

動作７４
検出されたポイントの数が、４ポイントである場合は、各ポイント間の間隔、ポイントを結ぶ線分の角度が所定の値以内であるか判断され、所定の値以内である場合、その４ポイントで構成される領域を投影画像合成領域とするため、ＴＲＵＥが返される。
所定値を超える場合、検出ミスとされＦＡＬＳＥが返される。

動作７５
検出されたポイントの数が、４ポイント以上である場合は、位置検出手段８によって、最適な４ポイントが抽出される。
始めに、検出されたポイントから、縦方向及び横方向で所定値以上の距離にある４ポイントからなる全ての組み合わせが取得される。
続いて、取得された全ての組み合わせに対して、優先順位が算出され、もっとも優先順位の高い組合わせが位置情報とされる。
尚、４点で構成される形状の、長方形との近似度、アスペクト比などで優先順位は算出される。

例えば、図８に示すように、ローマ字のａ、ｂ、ｏがそれぞれ３番目、４番目、７番目のポイントとして検出された場合、縦方向、及び横方向で所定値以上の距離にある４点の組み合わせとして、（１、２、５、６）、（１、２、５、７）、（１、３、５、６）、（１、３、５、７）が取得される。
この組み合わせの、長方形との近似度、アスペクト比を算出する。
点１と点２、点１と点３との縦方向の距離の差から、点１と点３よりも、点１と点２との組み合わせの方が優先度は高くなる。
また、点２と点６、点２と点７と横方向の距離の差から、点２と点７よりも、点２と点６との組み合わせの方が優先度は高くなる。
更に、（１、２、５、６）のアスペクト比は、（１、３、５、７）のアスペクト比よりも優先度が高くなる。
このような演算により、最も優先順位が高い組合わせとして（１、２、５、６）が位置情報として推定され、ＴＲＵＥが返される。

動作７６
検出されたポイントの数が、３ポイントである場合は、検出された３ポイントの位置関係から仮想の４ポイント目が設定される。
仮想ポイントを加えた４ポイント間の間隔、ポイントを結ぶ線分の角度が所定の値以内であるか判断され、所定の値以内である場合、その４ポイントで構成される領域を投影画像合成領域とするため、ＴＲＵＥが返される。
所定値を超える場合、検出ミスとされＦＡＬＳＥが返される。

上記の画像解析プログラムから返された値、ＴＲＵＥ或いは、ＦＡＬＳＥに基づいて、画像解析が成功したか否かが判断される。
この動作は、図３中の「画像解析成功？」で示されている。

画像解析プログラムで、４ポイントで構成される領域が検出された場合、この取得位置を、投影画像の表示位置とし、投影画像合成領域とする。
４ポイントで構成される領域が特定できなかった場合は、初期に設定された位置を、投影画像の表示位置とし、投影画像合成領域とする。

合成された画像が表示された状態を図５に示す。
この表示ウインドウでは、操作者が、手動で投影画像の大きさを調節することが可能である。
大きさを調節する場合は、図６に示すような投影画像合成領域の４辺及び、４隅に調節用のマークが表示される。
４辺のマークを移動するとその方向に領域が拡大、或いは縮小される。
４隅のマークを移動すると、アフィン変換によってその方向に形状が変形される。

尚、本実施例においては、筆記された位置マークは、そのまま合成される。しかしながら、この位置マークは、単に合成領域を特定するためだけに用いられるものであり、本来不要な筆記である。
このため、合成画像から、この位置マークを消去したい場合もある。
この位置マークを消去するためには、例えば、指定された位置マークの色の画像を全て消去することで達成できる。
尚、この場合は、他の筆記は位置マークで指定された以外の色のマーカーを用いて筆記するような電子黒板装置の使用方法となる。
また、位置マークの消去は、先に位置マークを検出した時の位置情報に基づいて、その検出した位置付近の画像データを全て白色に変換することでも達成できる。

本発明は、上記実施例に限定されるものではなく、例えば、画像合成のプログラムや、画像解析及び、位置検出の手法は変更可能である。
また、例えば、操作者が誤って、設定された形状及び色以外の位置マークを記入することを防止するため、プロジェクタから投影される画像に、設定されている位置マークを追加して投影してもよい。
筆記者が、この投影された位置マークをなぞるようにして位置マークを筆記シートに記入した場合、この位置マークをより安定して検出することが可能となる。
また、操作画面や合成表示のためのウインドウは先に図示したものと異なるデザインであってもよい。
また、パソコンを用いるのではなく、電子黒板専用のリモコンによって、合成画像を作成してもよい。

本発明は、電子黒板やプロジェクタに新たに構成部品を付加することなく、電子黒板の筆記データとプロジェクタの投影データとを合成することが可能となり、新規な会議システムを構築することが可能となる。

図１は、本発明の実施例の形態に係る構成を示す正面図である。 図２は、本発明の実施例の合成画像を作成するための動作を示すフローチャートである。 図３は、本発明の実施例の位置検出の動作を示すフローチャートである。 図４は、本発明の実施例の画像解析の動作を示すフローチャートである。 図５は、本発明の実施例の合成画像の表示ウインドウを示すデザイン図である。 図６は、本発明の実施例の合成画像の表示領域を変更する操作を説明するためのデザイン図である。 図７は、本発明の実施例の操作ウインドウを示すデザイン図である。 図８は、本発明の実施例において、複数の筆記マークが位置マークとして検出された場合の例を示す筆記面の図である。

符号の説明

１：電子黒板
２：筆記シート
４：プロジェクタ
５：パソコン
６：位置マーク
８：位置推定手段

Claims (3)

1. 筆記シートにマーカーによって筆記された画像を読取装置で読取る電子黒板と、この電子黒板の筆記シート上に画像を投影するプロジェクタと、前記筆記シート上に前記プロジェクタからの投影画像の領域を示すための端部４点の筆記マークを検出することにより、投影領域を算出する投影領域検出手段を有し、前記投影画像と前記筆記シート上に筆記された筆記画像とを合成して合成画像を形成する合成手段とを有する会議システムであって、前記投影領域検出手段は、４点以上の筆記マークが検出された場合、検出された複数の筆記マークの位置関係を算出することにより、位置を示すマークを４点特定する位置推定手段を有することを特徴とする会議システム。
2. 前記合成手段は、前記筆記マークが検出されなかった場合に、所定の領域に前記投影画像を配置して合成すること特徴とする請求項１項記載の電子黒板装置。
3. 前記合成手段は、前記筆記マークを消去して合成画像を形成することを特徴とする請求項１項又は３項記載の会議システム。

Images