JP5950633B2

JP5950633B2 - 情報処理装置、コンピュータプログラム、情報処理方法

Info

Publication number: JP5950633B2
Application number: JP2012053496A
Authority: JP
Inventors: 澤野　靖明; 靖明澤野; 坂上　努; 努坂上; 英史佐々木; 裕介村松
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-03-09
Filing date: 2012-03-09
Publication date: 2016-07-13
Anticipated expiration: 2032-03-09
Also published as: JP2013186822A

Description

本発明は、スクリーン上に貼付された紙付箋を電子化した電子付箋データの表示を制御する情報処理装置に関する。

複数人で新しい知識を創出する方法として、ブレインストーミングと呼ばれる方法が知られている。ブレインストーミングでは、アイデアを１つずつカードに書き込み、それらを共有しながらアイデアを発散させていく。また、これらのアイデアを収束する方法として、ＫＪ法と呼ばれる方法が知られている。ＫＪ法では、アイデアの内容について、内容の近いもの同士を集めて分類するグループ化を繰り返し、グループ間の関係性を整理するという方法である。そして、この作業の中で、アイデアの本質の発見や新たなアイデアの創出が行われる。

ブレインストーミングやＫＪ法では、前述のカードとして糊付き付箋紙（ポスト・イット（商標）など）を用い、その糊付き付箋紙をホワイトボードなどに貼りつけて進める方法が良く用いられる。更に、プロジェクタを用いてプレゼンテーション資料などの画像をホワイトボードに投影しながら、そのホワイトボード上で付箋紙を貼付する場合もある。

特許文献１では、画像が投影されているホワイトボード上に書き込まれた手書きの情報や、該ホワイトボード上に貼り付けられた付箋紙の情報を撮影する技術について開示している。特許文献１では、プロジェクタとデジタルカメラとを連携させ、付加情報（手書きの情報や付箋紙の情報）を撮影するタイミングで、プロジェクタからの投影画像を非表示にすることにより、付加情報のみが撮影された撮影画像を得ている。そして、撮影直前の投影画像と、当該撮影された撮影画像とを対応付けて記録しておくことで、後で再生を行う際にそれらを合成して表示できるようにしている。

また一方、特許文献２では、端末装置のタッチパネル上で書き込んだ電子データをサーバに送信し、該サーバは受信した電子データをディスプレイ上の対応する位置に表示する会議支援システムが開示されている。

特開２００６−１８４３３３号公報特開２０１１−９０４８６号公報

特許文献１に記載されているように、ホワイトボードに貼り付けられた紙の付箋を撮影して得られる電子データ（撮影画像）を投影画像と関連付けて記録しておくことで、後で記録結果を再生する際には、投影画像と撮影画像とを合成表示できるようにしている。すなわち、特許文献１では、ユーザが再生モードに切り替え、更に再生する投影画像を選択すれば、関連する撮影画像を該投影画像に合成して表示させることができる。しかしながら、特許文献１では、撮影画像を再生したい場合、モード切替や画像選択などのユーザからの指示が必要であり、ユーザの手間がかかってしまい、ブレインストーミングを行っている最中に電子データを再生するような用途には適していない。

また、特許文献２は、タッチパネルから入力された電子データをすぐにディスプレイに表示するものであり、紙の付箋を撮影して得られる撮影画像を表示するようなことについては考慮されていない。

特許文献１の「紙付箋を撮影して電子化する技術」に、特許文献２の「電子データをすぐにディスプレイに表示する技術」を組み合わせた場合、付箋を撮影すると、その撮影画像をすぐにホワイトボードに投影することが考えられる。しかしながら、付箋の撮影画像をすぐに投影すると、ホワイトボードに紙の付箋が貼られたままの状態で撮影画像が投影されてしまうことになる。また、撮影時や再生時の誤差等により撮影画像の再生位置は若干のズレが生じる可能性がある。したがって、ホワイトボードに紙の付箋が貼られたままの状態で撮影画像が投影されると、紙付箋内に書き込まれている文字と当該撮影画像内の文字とが少しズレて重なるので、どちらの文字も見にくくなってしまう。

上記課題を解決するために、本発明の情報処理装置は、紙付箋が貼付されたスクリーンを撮影した撮影画像から付箋画像を抽出し、当該抽出した付箋画像の電子付箋データを生成する付箋画像抽出手段と、前記付箋画像抽出手段で生成された電子付箋データを記憶装置に登録する登録手段と、前記付箋画像抽出手段で生成された第１の紙付箋に対応する第１の電子付箋データと前記記憶装置に登録済みの電子付箋データとを比較する比較手段と、前記比較手段による比較の結果、前記第１の電子付箋データと一致し、第２の紙付箋に対応する第２の電子付箋データが前記記憶装置に登録済でないと判定された場合、前記スクリーンに新たな紙付箋が貼付されたと判定して前記第１の電子付箋データを前記登録手段により登録し、前記第２の電子付箋データが前記記憶装置に登録済と判定され、前記第２の電子付箋データが有する情報が貼付状態を示す場合、前記スクリーン上において前記第２の紙付箋の貼付位置が移動したと判定して前記記憶装置に登録済みの第２の電子付箋データにおける表示位置情報を前記第１の電子付箋データにおける表示位置情報が示す情報に更新し、前記第２の電子付箋データが前記記憶装置に登録済と判定され、前記第２の電子付箋データが有する情報が貼付状態を示さない場合、前記スクリーン上において前記第２の紙付箋が再貼付されたと判定し、前記記憶装置に登録済みの第２の電子付箋データにおける貼付状態を示す情報を貼付されていることを示す情報に更新する登録制御手段と、前記記憶装置に登録されている電子付箋データについて、対応する紙付箋がスクリーン上に貼付されているか否か判定する判定手段と、前記判定手段で前記対応する紙付箋が前記スクリーン上に貼付されていないと判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示するように制御する一方、前記判定手段で前記対応する紙付箋が前記スクリーン上に貼付されていると判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示しないように制御する表示制御手段と、を有することを特徴とする。

本発明によれば、紙付箋の貼付状況に応じて、対応する電子付箋の表示／非表示を自動的に切り替えるように構成したので、紙付箋の上に電子付箋の画像が重なって投影されて見にくくなることを防ぐことができる。

情報処理システムの構成を示す図である。サーバ（情報処理装置）の構成を示す図である。紙付箋を電子付箋化する処理のフローチャートである。一定時間が経過したら自動的に撮影する処理のフローチャートである。人感センサの検知状態で自動的に撮影する処理のフローチャートである。付箋画像抽出処理の詳細を示すブロック図である。電子付箋のデータ構造を示す図である。電子付箋を表示する処理のフローチャートである。紙付箋が貼られたホワイトボードの例を示す図である。紙付箋１のデータ構造の具体例である。紙付箋１を剥がした後のホワイトボードの例を示す図である。電子付箋１を表示した後のホワイトボードの例を示す図である。

図１は本実施形態における情報処理システムの構成を示す図である。本情報処理システムは、情報処理装置としてのサーバ１１１、撮影装置としてのデジタルカメラ１１３、表示装置１１５で構成される。表示装置１１５はさらにプロジェクタ１１２とホワイトボード１１４からなり、プロジェクタ１１２から投影した画像が、ホワイトボード１１４上に表示される。なお、本実施例の情報処理システムは、ブレインストーミングなどの会議や、ＫＪ法などで利用可能であるが、利用用途はこれらに限るものではない。

なお、本実施形態では、糊付き付箋（ポスト・イット（商標）など）がホワイトボードなどのスクリーンに貼られた場合を用いて説明するが、本発明は、糊付き付箋に限るものではなく、文書やカードがテープ等を用いて貼られた場合も同様に適用することができる。また、付箋や文書やカードの素材は紙に限るものではなく、その他の素材（プラスチックや布など）であってもよい。

以下の実施形態では、ホワイトボード（スクリーン）に貼られた付箋や文書を、その素材とは無関係に、紙付箋（または紙文書）と呼ぶこととする。また、その紙付箋に対して撮影やスキャン等を行うことにより電子化した付箋データを電子付箋（または電子文書）と呼んで区別することとする。

図２はサーバ（情報処理装置）１１１の構成を示す図である。サーバ１１１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボードＩ／Ｆ２０５、ディスプレイＩ／Ｆ２０６、外部メモリＩ／Ｆ２０７、外部Ｉ／Ｆ２０８からなり、それらはシステムバス２０４で接続されている。キーボードＩ／Ｆ２０５を介して接続されているキーボード２０９は、ユーザからの各種操作を受け付ける。ディスプレイＩ／Ｆ２０６にはプロジェクタ１１２が接続され、サーバ１１１はプロジェクタ１１２を介してホワイトボードに画像を投影する。外部Ｉ／Ｆ２０８にはデジタルカメラ１１３が接続され、サーバ１１１はデジタルカメラ１１３で撮影した紙付箋の画像を取りこんで、電子付箋（付箋データ）を作成することができる。また、本実施形態では、ユーザがキーボード２０９を用いて入力した電子データも紙付箋の画像から作成した電子付箋と同等に扱うこととし、それらを混在させてプロジェクタ１１２で表示させることができるものとする。

ＣＰＵ（プロセッサ）２０１は、サーバ１１１全体の制御を行うものであり、ＲＯＭ２０３や外部メモリ２１１などに記憶されたプログラムをＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、サーバ１１１のＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部（処理手段）として機能する。ＲＯＭ２０３は、ＣＰＵ２０１を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ２０２は、ワークメモリとして用いられる。

次に、本システムの動作について説明する。図３は、本システムにおいて、紙付箋を撮影することで得られる付箋の画像を用いて、電子付箋（付箋データ）を作成して登録したり変更したりする処理のフローチャートである。本フローチャートで示す手順は、そのプログラムがサーバ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１１のいずれかに格納され、ＣＰＵ２０１により実行される。

ブレインストーミングでは、ユーザのアイデアを紙付箋に書き込み、それらをホワイトボード１１４に貼りつけて進める。ここでは、紙付箋が３枚貼られ、ホワイトボード１１４の状態が図９のようになっているところから説明する。本実施形態では、図９のように、参考資料（プレゼンテーション画像など）が投影されていない状態で、紙付箋を貼り付けてブレインストーミングを行う例について説明するが、本発明はこれに限るものではない。特許文献１のようにプレゼンテーション画像を投影している状態で紙付箋を貼り付けるような場合にも、本発明を適用することは可能である。

まずユーザからの撮影要求を検知したデジタルカメラ１１３は、ホワイトボード１１４の画像を撮影する（ステップＳ３０１）。デジタルカメラ１１３で撮影されたデータは、サーバ１１１の外部Ｉ／Ｆ２０８を通して、ＲＡＭ２０２に格納される。本実施形態のように参考資料を投影していない状態でブレインストーミングを行う場合、撮影した画像には、紙付箋の画像と、投影中の電子付箋の画像とが含まれることになる。

なお、参考資料を投影している状態で紙付箋を貼付するような形態で本発明を適用する場合は、そのまま撮影すると、撮影画像には参考資料の画像も含まれることになる。したがって、このような形態で本発明を適用する場合には、例えば、撮影画像と参考資料の画像との差分を求めることで、撮影画像から参考資料の画像を除いた画像を得て、当該得た画像に対してステップＳ３０２以降の処理を行うようにすればよい。

ステップＳ３０２では、撮影画像から付箋画像を抽出し、当該抽出した付箋画像から電子付箋データを生成する。図９のホワイトボード１１４には３枚の紙付箋が貼られているので、３枚分の付箋画像が得られる。付箋画像を含む電子付箋のデータ構造に関しては後述する。

図６は、付箋画像抽出処理（ステップＳ３０２）の詳細手順を示す図である。サーバのＣＰＵ２０１がプログラムを実行することにより、図６の各処理部６０２〜６０５として機能する。

デジタルカメラ１１３で撮影されてサーバ１１１のＲＡＭ２０２に格納された撮影画像データ６０１に対して、まず、輪郭抽出部６０２による輪郭抽出処理と、色判定部６０３による色判定処理とを行う。輪郭抽出処理では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、画像内に存在するオブジェクトの輪郭（紙付箋の輪郭や、紙付箋に書き込まれた文字画像の輪郭など）を抽出できる。また、色判定処理により、各オブジェクト（紙付箋や文字）の色を抽出できる。次に、付箋領域判定部６０４による付箋領域判定処理を行う。付箋領域判定処理では、予め想定される紙付箋のサイズ条件を満たす大きさの矩形状の輪郭のオブジェクトで、且つホワイトボードの色（白の背景色）と異なる色を有するオブジェクトの領域を付箋領域として判定する。このとき、その矩形状の輪郭の内部に文字サイズの輪郭を含むかどうか判定するように構成すれば、より精度よく付箋領域を判定することが可能である。そして、付箋領域切り出し部６０５において、紙付箋の１枚１枚に対応した付箋領域の部分画像（付箋画像）を切り出す付箋領域切り出し処理が行われ、当該抽出された付箋画像に基づいて電子付箋データが生成される。なお、このとき、付箋画像に対してＯＣＲ処理を行って付箋内部に記入された文字画像のテキストデータを求めたり、付箋画像に対してベクトル化処理を行って文字画像のベクトルデータを求めたりするように構成してもよい。

図７は、生成された電子付箋のデータ構造７０１を示す。それぞれの電子付箋が、ヘッダー部７０２とデータ部７０３を有する。ヘッダー部７０２には、各電子付箋を識別するための「ＩＤ」、対応する紙付箋が貼付された時刻を示す「貼付時間」、対応する紙付箋がホワイトボードに貼付されたままの状態であるか剥がされた状態であるかを示す「貼付状態ＯＮ／ＯＦＦ」、紙付箋の貼付場所を示す「貼付場所情報」、付箋データの表示を行う表示装置１１５を識別するための「表示端末情報」、表示装置における電子付箋の表示座標を示す「表示端末内貼付座標」、紙付箋を電子化して作成された電子付箋であるかキーボード等を介して入力作成された電子付箋であるかを示す「初期入力状態（紙／電子）」情報、紙付箋が貼付された際に表示されていた参考資料（プレゼンテーション画像）があればその資料を特定するための「同時表示の参考資料情報」、などの情報からなる。データ部７０３は、デジタルカメラ１１３で撮影された画像から切り出した付箋画像の画像データを含む。なお、データ部７０３には、その画像データにＯＣＲ処理を施した場合はそのＯＣＲ処理結果のテキストを示すＯＣＲデータ、ベクトル化処理を施した場合はベクトルデータが更に格納されることになる。

電子付箋のデータ構造の具体例を図１０に示す。ここでは、図９の紙付箋１の付箋画像から電子付箋１が生成されたものとする。電子付箋１のヘッダー部１００２の内容は次の通りである。ＩＤが１、貼付された時間が１０時０分０秒、対応する紙付箋１が貼付されたままの状態であるので貼付状態がＯＮ、貼付場所は会議室１、表示端末の情報はサーバ１１１、表示端末内貼付座標は（Ｘ１，Ｙ１）、初期入力状態は紙付箋、同時表示の参考資料は無し、であったとする。また、データ部１００３の内容は、画像データがｄａｔａ１．ｊｐｇというファイル名で格納されており、ＯＣＲ処理とベクトル化処理とが行われていない場合はＯＣＲデータとベクトル化データとがｎｕｌｌである。

図３のフローチャートのステップＳ３０３では、ステップＳ３０２で生成した電子付箋に含まれる付箋画像それぞれを順に処理対象として、サーバ１１１の記憶装置（外部メモリもしくはＲＡＭ）に既に登録済みの電子付箋と比較し、同じ付箋画像の電子付箋データが既に登録されているか否かを照合する。Ｓ３０３の照合結果に基づき、Ｓ３０２で抽出した付箋画像がサーバ１１１の記憶装置に登録済みの電子付箋と異なると判定した場合は、ステップＳ３０４で新たな付箋が追加されたと判定してステップ３０５に進む。ステップＳ３０５では、当該付箋画像に基づいて作成された電子付箋データを、新たな電子付箋データとしてサーバ１１１に登録する。

ステップＳ３０６では、Ｓ３０２で抽出した付箋画像全ての処理を行ったか判断し、未処理の他の付箋画像があると判定した場合は、ステップＳ３０３に戻って他の付箋画像の処理を実行する。例えば、図９の紙付箋１の付箋画像の処理を行った時点では、まだ紙付箋２の付箋画像と、紙付箋３の付箋画像とが残っているので、ステップＳ３０３に戻って次の付箋画像を処理対象とする。

また、ステップＳ３０３の照合結果に基づき、Ｓ３０２で抽出した付箋画像がサーバ１１１に登録済みの電子付箋データのいずれかと一致すると判定した場合は、紙付箋のホワイトボード上の貼付位置が移動された（もしくは一旦剥離された紙付箋が再貼付された）とステップＳ３０４で判定し、ステップＳ３０７に進む。なお、ステップＳ３０４において、サーバは、当該一致すると判定した登録済み電子付箋データの「貼付状態」情報がＯＮであった場合に、紙付箋のホワイトボード上の貼付位置が移動されたものと判定する。また、ステップＳ３０４において、サーバは、当該一致すると判定した登録済み電子付箋データの「貼付状態」情報がＯＦＦであった場合、更に、表示端末内貼付座標情報を参照し、Ｓ３０２で抽出した付箋画像の位置が電子付箋の投影位置と異なれば、一旦剥離された紙付箋が再貼付されたと判定する。このとき、Ｓ３０２で抽出した付箋画像の位置が電子付箋の投影位置と同じであれば、投影中の付箋画像が撮影されたものと判定できる。

ステップＳ３０７では、当該一致すると判定された登録済みの電子付箋データを更新する。ここでは、紙付箋が貼付されているホワイトボード上の位置に基づいて、表示装置において電子付箋が表示されるべき座標を示す「表示端末内貼付座標」の情報が更新される。また、紙付箋の貼付位置が移動されたと判断した場合もしくは紙付箋が再貼付されたと判断した場合は、対応する電子付箋の「貼付状態」情報をＯＮにする。

ステップＳ３０８では、Ｓ３０２で抽出した付箋画像全ての処理を行ったか判断し、未処理の他の付箋画像があると判定した場合は、ステップＳ３０３に戻って他の付箋画像の処理を実行する。

ステップＳ３０６またはＳ３０８で、Ｓ３０２で抽出した付箋画像全ての処理を行ったと判定した場合はステップＳ３０９に進み、剥離された紙付箋があるか否か判定する。ここでは、登録済み電子付箋データのうち、貼付状態がＯＮ状態であるにも関わらず、Ｓ３０３の照合でいずれの付箋画像にも一致すると判定されなかった登録済み電子附箋データを、対応する紙付箋が剥離された登録済み電子付箋データであると判定する。

ステップＳ３０９で剥離された紙付箋があると判定された場合は、ステップＳ３１０に進み、剥離された紙付箋に対応する登録済み電子付箋データの「貼付状態」情報をＯＦＦに変更し、処理を終了する。

次に、電子付箋を表示する処理について、図８のフローチャートで説明する。本フローチャートで示す手順は、そのプログラムがサーバ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１１のいずれかに格納され、ＣＰＵ２０１により実行される。

ステップＳ８０２において、サーバ１１１は、登録された電子付箋データのヘッダー部を解析する。図９の紙付箋を図３のフローチャートの処理に従って電子化した時点では、電子付箋は３枚登録されたことになるので、まずは電子付箋１について、電子付箋データのヘッダー部を解析する。

ステップＳ８０３において、サーバ１１１は、ステップＳ８０２で解析された電子付箋データの「貼付状態」情報がＯＮであるか否か判定し、ＯＮであればステップＳ８０４に進み、ＯＦＦであればステップＳ８０５に進む。例えば、紙付箋を電子化した直後は、紙付箋は貼付されている状態であるので、電子付箋１のヘッダー部１００２の「貼付状態」情報はＯＮとなっており、ステップＳ８０４に進む。

ステップＳ８０４において、サーバ１１１は、「貼付状態」情報がＯＮであると判定した電子付箋データを非表示とする。図９の例では、「貼付状態」情報がＯＮの電子付箋１は非表示にする。これは、紙付箋１がホワイトボードに貼られている状態で、電子付箋１の付箋画像を投影してしまうと、電子付箋の文字画像が紙付箋の文字に重なって投影されるので、画像のズレやボケの影響により、どちらも見にくくなってしまうからである。

ステップＳ８０５において、サーバ１１１は、「貼付状態」情報がＯＦＦであると判定した電子付箋データを表示する。すなわち、紙付箋が剥離されたと判断した場合は、当該剥離された紙付箋に対応する電子付箋を表示する。

ステップＳ８０６において、サーバ１１１は、未処理の電子付箋データがあるか否か判定し、他の電子付箋データがあると判定した場合は、ステップＳ８０２に戻って次の電子付箋データの解析を行う。図９の例では、電子付箋１を非表示と判定した後、残りの電子付箋２、電子付箋３についても同様の処理を繰り返し行うことになる。

図９の例では、紙付箋１〜３がホワイトボードに貼付されたままの状態であるので、サーバ１１１からプロジェクタ１１２に転送される表示データには、その電子付箋データは存在しない。

以上説明したように、紙付箋がまだ貼られている場合は、電子付箋化しても非表示にすることで、紙付箋の内容が見やすくできる。

次に、ホワイトボード１１４に貼付されている紙付箋が、図９の状態から図１１の状態に変化した場合について、図３及び図８のフローチャートを用いて説明する。図１１は、ホワイトボード１１４に貼付されていた図９の紙付箋１が剥がされた状態である。

ステップＳ３０１で、撮影要求を検知したデジタルカメラ１１３は、ホワイトボード１１４の画像を撮影する。デジタルカメラ１１３で撮影されたデータは、サーバ１１１の外部Ｉ／Ｆ２０８を通して、ＲＡＭ２０２に格納される。

次に、ホワイトボード１１４の画像から、付箋画像を抽出して、当該抽出した付箋画像から電子付箋データを生成する（ステップＳ３０２）。図１１のホワイトボード１１４には２枚の紙付箋が貼られているので、２枚分の電子付箋データが得られる。

ステップＳ３０２で生成された２枚の電子付箋データのそれぞれは、既に登録されている３枚の電子付箋データと照合される（ステップＳ３０３）。ステップＳ３０２で生成された２枚の電子付箋データは既に登録済みであると判定され、ステップＳ３０７に進んで登録済みの電子付箋データの更新が行われる。ステップＳ３０９において、サーバは、既に登録済みの電子付箋データのうち、ステップＳ３０３で一致の判定されることがなかった電子付箋データ（図１１の例では電子付箋１）に対応する紙付箋１が剥離されていると判定する。したがって、電子付箋１については、対応する紙付箋１が剥がされたことになるので、電子付箋１のサーバ登録データの「貼付状態」情報をＯＮからＯＦＦへ変更する（ステップＳ３１０）。

サーバ１１１に登録されている電子付箋データが変更されたので、それに伴って表示内容も変更する。図８のフローチャートにおいて、ステップＳ８０２で電子付箋１のヘッダー部を解析した結果、「貼付状態」情報がＯＮからＯＦＦに変更されているので、ステップＳ８０５に進み、電子付箋１を表示することになる。なお、電子付箋２と電子付箋３については、「貼付状態」情報がＯＮのままなので、非表示のままである。したがって、サーバ１１１のディスプレイＩ／Ｆ２０６からプロジェクタ１１２に転送される表示データには、電子付箋１のデータのみ存在する。すなわち、図１１のホワイトボード１１４上に電子付箋１が投影されることになるので、図１２のように、電子付箋１が表示され、紙付箋２と紙付箋３が貼りつけられている状態となる。

以上説明したように、紙付箋が剥がされた直後は、対応する電子付箋が自動的に表示されることになる。なお、ユーザは、サーバ１１１のキーボードやマウス（不図示）を用いた操作により、投影されている電子付箋の表示位置を変えたり、表示消去したりすることができる。例えば、複数人で会議を行っている場合、ホワイトボードの前で議論しているユーザが紙付箋を貼り付けると、その紙付箋は電子化されることになる。その紙付箋が剥がされると対応する電子付箋が自動的に表示されるので、サーバ（情報処理装置）１１１の近くで議論に参加しているユーザ（例えば議長）が当該表示されている電子付箋を操作できるようになる。

なお、本実施形態では、ホワイトボード１１４の画面の撮影をユーザからの撮影要求をトリガーとして行っていたが、例えば一定時間が経過するごとに自動的に撮影しても良い。その場合は、図４のフローチャートに示すように、ステップＳ４０１で、デジタルカメラ１１３は一定時間が経過したら自動的に撮影する。そして、ステップＳ４０２において、サーバ１１１は一枚前に撮影した画像と同じであるか判定し、同じであればステップＳ４０１に戻り、異なっていればステップＳ３０２に進む。すなわち、ホワイトボード上の紙付箋の貼付状態が変化している場合はステップＳ３０２に進むことになる。ステップＳ３０２以降の処理は図３と同様であるので、説明を省略する。

また、別の方法として、図５のフローチャートに示すように、ホワイトボード１１４の近傍に人感センサを設置し、人感センサを作動させておく（ステップＳ５０１）。人感センサが所定範囲（ホワイトボードの前）に人を検知してから非検知に変わった時点をトリガーとして（ステップＳ５０２）、デジタルカメラ１１３がホワイトボード１１４を撮影する（ステップＳ３０１）ようにしても良い。ステップＳ３０２以降の処理は図３と同様であるので、説明を省略する。

なお、本実施形態では、紙付箋の電子付箋化に言及したが、更に、ホワイトボード１１４に直書きしたデータに関しても電子化を行うように構成しても構わない。

以上説明したように、本発明は上述した実施形態に限定されるものではなく、要旨を逸脱しない範囲でさまざまに変形可能である。

（その他の実施例）
上述した実施形態では、サーバ１１１のＣＰＵ（プロセッサ）がプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路（ハードウェア）で構成するようにしても構わない。

また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

紙付箋が貼付されたスクリーンを撮影した撮影画像から付箋画像を抽出し、当該抽出した付箋画像の電子付箋データを生成する付箋画像抽出手段と、
前記付箋画像抽出手段で生成された電子付箋データを記憶装置に登録する登録手段と、
前記付箋画像抽出手段で生成された第１の紙付箋に対応する第１の電子付箋データと前記記憶装置に登録済みの電子付箋データとを比較する比較手段と、
前記比較手段による比較の結果、前記第１の電子付箋データと一致し、第２の紙付箋に対応する第２の電子付箋データが前記記憶装置に登録済でないと判定された場合、前記スクリーンに新たな紙付箋が貼付されたと判定して前記第１の電子付箋データを前記登録手段により登録し、前記第２の電子付箋データが前記記憶装置に登録済と判定され、前記第２の電子付箋データが有する情報が貼付状態を示す場合、前記スクリーン上において前記第２の紙付箋の貼付位置が移動したと判定して前記記憶装置に登録済みの第２の電子付箋データにおける表示位置情報を前記第１の電子付箋データにおける表示位置情報が示す情報に更新し、前記第２の電子付箋データが前記記憶装置に登録済と判定され、前記第２の電子付箋データが有する情報が貼付状態を示さない場合、前記スクリーン上において前記第２の紙付箋が再貼付されたと判定し、前記記憶装置に登録済みの第２の電子付箋データにおける貼付状態を示す情報を貼付されていることを示す情報に更新する登録制御手段と、
前記記憶装置に登録されている電子付箋データについて、対応する紙付箋がスクリーン上に貼付されているか否か判定する判定手段と、
前記判定手段で前記対応する紙付箋が前記スクリーン上に貼付されていないと判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示するように制御する一方、前記判定手段で前記対応する紙付箋が前記スクリーン上に貼付されていると判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示しないように制御する表示制御手段と、を有することを特徴とする情報処理装置。
前記登録手段により登録された電子付箋データのうち、対応する紙付箋が貼付されている第３の電子付箋データが、前記比較手段による比較によりどの電子付箋画像データとも一致と判定されない場合、前記登録制御手段は、前記第３の電子付箋データに対応する紙付箋は前記スクリーン上において剥離されたと判定し、前記記憶装置に登録済みの第３の電子貼付データにおける貼付状態を貼付されていないことを示す状態に更新することを特徴とする請求項１に記載の情報処理装置。
前記表示制御手段は、更に、前記スクリーン上に参考資料を表示するように制御でき、前記登録手段により登録される前記電子付箋データには、対応する紙付箋が前記スクリーン上に貼付されていたときに表示されていた前記参考資料を特定するための情報が含まれることを特徴とする請求項１に記載の情報処理装置。
前記撮影画像は、ユーザの撮影指示に応じて撮影された画像であることを特徴とする請求項１に記載の情報処理装置。
前記撮影画像は、一定時間ごとに自動的に撮影された画像で且つ１枚前に撮影された画像と異なる画像であることを特徴とする請求項１に記載の情報処理装置。
前記撮影画像は、人感センサが人を検知している状態から非検知の状態に変わるのに応じて撮影された画像であることを特徴とする請求項１に記載の情報処理装置。
前記表示制御手段によって前記スクリーン上に表示するように制御された電子付箋の画像について、その表示位置をユーザの指示に基づいて変更する表示位置変更手段を更に有することを特徴とする請求項１に記載の情報処理装置。
前記表示制御手段によって前記スクリーン上に表示するように制御された電子付箋の画像について、ユーザの指示に基づいてその表示を消去する表示消去手段を更に有することを特徴とする請求項１に記載の情報処理装置。
前記紙付箋は、糊付き付箋、紙文書、カードの少なくともいずれかを含むことを特徴とする請求項１に記載の情報処理装置。
前記スクリーンは、ホワイトボードであることを特徴とする請求項１に記載の情報処理装置。
コンピュータを、請求項１乃至１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
請求項１１に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
紙付箋が貼付されたスクリーンを撮影した撮影画像から付箋画像を抽出し、当該抽出した付箋画像の電子付箋データを生成する付箋画像抽出ステップと、
前記付箋画像抽出ステップで生成された電子付箋データを記憶装置に登録する登録ステップと、
前記付箋画像抽出ステップで生成された第１の紙付箋に対応する第１の電子付箋データと前記記憶装置に登録済みの電子付箋データとを比較する比較ステップと、
前記比較ステップによる比較の結果、前記第１の電子付箋データと一致し、第２の紙付箋に対応する第２の電子付箋データが前記記憶装置に登録済でないと判定された場合、前記スクリーンに新たな紙付箋が貼付されたと判定して前記第１の電子付箋データを前記登録ステップにより登録し、前記第２の電子付箋データが前記記憶装置に登録済と判定され、前記第２の電子付箋データが有する情報が貼付状態を示す場合、前記スクリーン上において前記第２の紙付箋の貼付位置が移動したと判定して前記記憶装置に登録済みの第２の電子付箋データにおける表示位置情報を前記第１の電子付箋データにおける表示位置情報が示す情報に更新し、前記第２の電子付箋データが前記記憶装置に登録済と判定され、前記第２の電子付箋データが有する情報が貼付状態を示さない場合、前記スクリーン上において前記第２の紙付箋が再貼付されたと判定し、前記記憶装置に登録済みの第２の電子付箋データにおける貼付状態を示す情報を貼付されていることを示す情報に更新する登録制御ステップと、
前記記憶装置に登録されている電子付箋データについて、対応する紙付箋がスクリーン上に貼付されているか否か判定する判定ステップと、
前記判定ステップで前記対応する紙付箋が前記スクリーン上に貼付されていないと判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示するように制御する一方、前記判定ステップで前記対応する紙付箋が前記スクリーン上に貼付されていると判定した電子付箋データは、対応する電子付箋の画像を前記スクリーンに表示しないように制御する表示制御ステップと、を有することを特徴とする情報処理方法。