JP2014116857A - 情報処理装置、電子会議システム、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】撮影装置で撮影された全体画像データと、部分画像データとを関連付けて登録する情報処理装置、電子会議システム、情報処理方法、およびプログラムを提供する。
【解決手段】情報処理装置は、画像を撮影する撮影手段と、撮影モードの指定を受け付ける受付手段と、前記撮影手段にて撮影された画像から所定のオブジェクトに対応する画像を抽出する抽出手段と、前記抽出手段にて抽出した画像の解像度が、指定された撮影モードに対応して定義された解像度の範囲に含まれるか否かを判定する判定手段と、前記抽出手段にて抽出した画像の解像度が前記範囲に含まれない場合、ユーザーに対し、前記指定された撮影モードに対応して前記撮影手段を用いて前記所定のオブジェクトの画像を撮影するように通知する通知手段とを有する。
【選択図】図３

Description

本発明は、情報処理装置、電子会議システム、情報処理方法、およびプログラムに関し、特に撮影装置で撮影された全体画像データと、部分画像データとを関連付けて登録する技術に関する。

従来、雑誌や書類などの物理的な媒体をカメラやスキャナで撮影して画像を取り込み、電子データに変換する技術の１つとして、画像データ中の文字を認識し、テキストデータを抽出する文字認識技術がある。この時、画像データ中の活字を高精度に文字認識するためには、ある値（例えば３００ｄｐｉ）以上の画像解像度（画素密度）が必要となる。

一方、コンピュータの表示デバイスとして液晶パネルが広く利用されている。しかし、高解像度液晶パネルで低解像度の画像データを表示しても、低解像度液晶パネルで表示した結果と大差ないものとなる。より表示デバイスの性能を生かすためには、表示する画像データも同程度に高解像度であることが求められる。そのため、コンピュータが扱う画像データをより高解像度にしたいという需要があった。この需要に関してはデジタルカメラで撮影される画像データも同様であるが、デジタルカメラには撮影素子の解像度という物理的制約が存在する。これを緩和する為に、デジタルカメラで全体画像データと部分画像データをそれぞれ撮像し、それらを結びつけて表示・活用する手段が広く知られている。

特許文献１では、被写体全体の撮像する撮像手段と、被写体を複数に分割して順次撮像する撮像手段とを備えている。また、特許文献２では、全体画像データを表示する際に、読取済みとそうでない画像領域とで表示を異にすることで両者を識別できる表示手段を有する。また、特許文献３では、被写体全体を撮像する撮像手段と、被写体全体を分割し各部分を撮像する撮像手段とを持ち、それぞれに関連性があることを示す情報を生成して保持・管理している。

上記の従来技術によると、撮像装置は、全体画像データを低解像度で、部分画像データを高解像度で撮影する。この際、撮像装置は、未撮影である部分領域について撮影時に表示を異にして、撮影が必要である事を促すことで撮影漏れを防止する。その上で、撮影装置は、部分画像データが全体画像データ上のどこに位置するのかを推定し、全体画像の位置と部分画像とを関連付ける。そして表示装置では、対象となる領域の位置に対して関連付けられた部分画像データがあれば、高解像度な部分画像データで置き換えて利用する。

特開平１１−１９６２９９号公報 特開平７−１７０４４２号公報 特開２０００−５９７２５号公報

しかし、従来技術には以下のような課題がある。撮影装置は、部分画像データ撮影時に、全体画像データ撮影時よりも対象物を接写して撮影することで、高解像度（高精度）の部分画像データを取得できる。しかし、その部分画像データが用途に応じた適切な解像度を有しているかどうかを検証されていない。一般的に、画像の使用目的によって部分画像データ撮影時の撮影解像度には適切な範囲が存在するが、適切な解像度か否かを検証せずに撮影すると、部分画像データの解像度の過不足が生じる。すなわち、撮影解像度が適切な解像度よりも低い場合、その使用目的を満たすことが出来ず、再撮影が必要となる。一方、撮影解像度がその使用目的に対して適切な解像度よりも明らかに高い場合、ユーザーは部分画像データの取り込みのために撮影する枚数が増えてしまう。

本発明は、上記の課題を鑑み、全体画像データと部分画像データを関連付けて画像データを登録する際に、部分画像データ撮影時の撮影解像度が適切であるかを判断する。そして、ユーザーに対して、適切な部分画像データを得るための情報を提供する。

上記課題を解決するために本願発明は以下の構成を有する。すなわち、情報処理装置であって、画像を撮影する撮影手段と、撮影モードの指定を受け付ける受付手段と、前記撮影手段にて撮影された画像から所定のオブジェクトに対応する画像を抽出する抽出手段と、前記抽出手段にて抽出した画像の解像度が、指定された撮影モードに対応して定義された解像度の範囲に含まれるか否かを判定する判定手段と、前記抽出手段にて抽出した画像の解像度が前記範囲に含まれない場合、ユーザーに対し、前記指定された撮影モードに対応して前記撮影手段を用いて前記所定のオブジェクトの画像を撮影するように通知する通知手段とを有する。

本発明により、部分画像データの撮影解像度が過不足している場合に警告通知し、撮影画像データを取得する際のユーザーの利便性を向上させる。

電子会議システムの構成例を示す図。 物理的な付箋と電子的な付箋とを混在させて行う電子会議システムでの盤面の例を示す図。 ソフトウェアモジュールの構成例を示す図。 撮影設定および会議フェイズ設定を行う画面例を示す図。 撮影モードの決定処理のフローチャート。 全体画像データ警告通知処理のフローチャート。 全体画像データ警告の表示例を示す図。 画像データ登録処理のフローチャート。 全体画像データ登録処理のフローチャート。 部分画像データ警告通知処理のフローチャート。 警告リストに基づいて警告通知する処理のフローチャート。 要再撮影付箋をまとめる際の付箋領域の変化を説明するための図。 要再撮影付箋をまとめる際の付箋領域の変化を説明するための図。 部分画像データ登録処理のフローチャート。 物理的な付箋のサイズを全体画像データから推算する例を示す図。 物理的な付箋の定型サイズの例を示す図。 付箋に対して文字認識処理を行う場合のフローチャート。 付箋の文字認識処理結果を確認・補正する為のダイアログの例を示す図。

＜第１の実施例＞
以下、本発明に係る電子会議システムの実施例を説明する。

［ハードウェア構成］
図１は、本実施例に係る電子会議システムのハードウェア構成例の模式図である。電子会議システムは、サーバーＰＣ１００とクライアントタブレット１５０とを含み、それらは無線ルーター１３０を介して接続される。ここでは説明を簡単にするためにクライアントタブレット１５０は、１つのみが示してあるが、実際には電子会議を行う各拠点にそれぞれクライアントタブレットが配置されているものとする。また、サーバーＰＣ１００についても、１台の構成に限定するものではなく、物理的に複数の装置から構成されるようにしても構わない。また、ユーザー端末として、クライアントタブレットを用いて説明を行っているがこれに限定するものではなく、他の情報処理装置を用いて構成しても構わない。

サーバーＰＣ１００には、ＬＣＤ１０６とプロジェクタ１０７が表示デバイスとして、キーボード１１４とマウス１１５が入力デバイスとしてそれぞれ接続されている。サーバーＰＣ１００の内部構成は、ＣＰＵ１０１側とチップセット１１０側に大別できる。ＣＰＵ１０１とチップセット１１０は高速なバスを介して接続されている。ＣＰＵ１０１には、データ転送量が非常に多い、あるいは高速な通信処理が必要なＲＡＭ１０２、ＲＯＭ１０３、ＰＣＩ Ｅｘｐｒｅｓｓ Ｉ／Ｆ１０４が接続されている。ＣＰＵ１０１は、記憶部であるＲＡＭ１０２やＲＯＭ１０３に格納されたプログラムを実行するための装置である。ＲＡＭ１０２は、ＣＰＵ１０１がプログラムを実行する際に必要となるデータに対する読み書き可能メモリである。

ＲＯＭ１０３は、ＣＰＵ１０１がプログラムを実行する際に必要となるデータを読み出すための読み込み専用メモリである。ＰＣＩ Ｅｘｐｒｅｓｓ Ｉ／Ｆ１０４は、各種拡張カードと接続するための汎用インタフェースであって、ここではグラフィックカード１０５が接続されている。グラフィックカード１０５は、ＣＰＵ１０１がＰＣＩ Ｅｘｐｒｅｓｓ Ｉ／Ｆ１０４経由で通知する描画命令を基に表示画像を形成し、表示デバイスであるＬＣＤ１０６やプロジェクタ１０７に通知する。ＬＣＤ１０６およびプロジェクタ１０７は、グラフィックカード１０５から通知された表示画像を表示する。

チップセット１１０には、比較的データ転送量の少ないＳＡＴＡ Ｉ／Ｆ１１１、ＵＳＢ Ｉ／Ｆ１１３、およびＥｔｈｅｒｎｅｔ（登録商標） Ｉ／Ｆ１１６が接続されている。チップセット１１０は、各Ｉ／Ｆに接続されたデバイスを制御する機能を有する。ＳＡＴＡ Ｉ／Ｆ１１１は、チップセット１１０と内蔵ハードディスクであるＳＡＴＡ ＨＤＤ１１２と接続するためのインタフェースである。ＳＡＴＡ ＨＤＤ１１２は、データを保存するための二次記憶デバイスである。ＵＳＢ Ｉ／Ｆ １１３は、外部機器と接続するためのインタフェースであって、ここではキーボード１１４とマウス１１５が接続されている。Ｅｔｈｅｒｎｅｔ Ｉ／Ｆ１１６は外部の機器とネットワーク接続で情報交換するためのインタフェースであって、ここは有線によって無線ルーター１３０と接続されている。

一方、クライアントタブレット１５０において、ＣＰＵ１５２は、ＲＡＭ１５３およびＲＯＭ１５４とメインバス１５１を介して接続されている。また、ＣＰＵ１５２は、ＵＳＢコントローラ１５５及びＳＤＩＯ／Ｗｉｆｉコントローラ１５８といった制御モジュールとメインバス１５１を介して接続されている。ＲＡＭ１５３は、ＣＰＵ１５２がプログラムを実行する際に必要となるデータに対する読み書き可能メモリである。ＲＯＭ１５４は、ＣＰＵ１５２がプログラムを実行する際に必要となるデータを読み出すための読み込み専用メモリである。ＵＳＢコントローラ１５５は、ＵＳＢ機器を制御するためのモジュールである。

内蔵カメラ１５６は、クライアントタブレット１５０に内蔵されている撮影部としてのカメラモジュールであって、ＵＳＢコントローラ１５５を介して制御される。タッチパネル１５７は、表示および操作を行うためのタッチパネルモジュールであって、ＵＳＢコントローラ１５５を介して制御される。

ＳＤＩＯ／Ｗｉｆｉコントローラ１５８は、内部機器を制御するためのモジュールである。ＳＤ Ｃａｒｄ１５９はデータを保存するための二次記憶デバイスであって、ＳＤＩＯ／Ｗｉｆｉコントローラ１５８によって制御される。Ｗｉｆｉアンテナ１６０は、外部の装置と無線通信するためのアンテナである。クライアントタブレット１５０は、ＳＤＩＯ／Ｗｉｆｉコントローラ１５８およびＷｉｆｉアンテナ１６０を介して、無線接続によって無線ルーター１３０と接続されている。

本電子会議システムでは、物理的な付箋と電子的な付箋とを併用し、ネットワークを介して複数拠点間で情報共有を行う。本明細書において、「物理的な付箋」とは、紙もしくはプラスチック製などの小紙片であって、筆記具を用いて情報を書き込むことのできる物理的な媒体である。例えば、粘着力の弱い糊が物理的な付箋の裏面に塗られている場合には、利用者が一度貼った後に剥がし、別の場所に貼りつける事も可能である。例えば、アイデアをブレインストーミングやＫＪ法などで創発する場合に、アイデア提案者は１つのアイデアを１単位として物理的な付箋に書き込む。その他、例えば書籍表紙や書類もある種の物理的な付箋として取り扱うことも可能である。物理的な付箋には、利用者の思考を妨げないというメリットがある。

一方、「電子的な付箋」とは、情報を１単位ごとのまとまりとして保持した電子化された付箋のデータである。電子的な付箋にはテキストデータや画像データの情報を保持しておくことができる。その他、電子的な付箋には音声データやＷｅｂページデータなどの情報を登録することもできる。また、電子的な付箋は、任意のディスプレイやスクリーン上に表示・投影することができる。電子的な付箋には、位置や内容の変更・履歴の保存が容易であり、またネットワークなどを介して遠隔地との情報共有できるというメリットがある。

本電子会議システムでは、付箋それぞれのメリットを活かすために両方の付箋を利用する。そのため、本実施形態に係る電子会議システムは、物理的な付箋を所定のオブジェクトとしてカメラなどの撮影装置によって撮影し、撮影した画像に基づいて生成した情報を電子的な付箋として保持・共有する機能を有している。

複数拠点間で情報共有できる電子会議システムを構成する手段として、複数の端末をサーバーに接続する構成をとってもよい。サーバーＰＣ１００とクライアントタブレット１５０の間の物理的な距離に関する制限はない。そのため、例えばオフィス側にサーバーＰＣ１００を置き、参加者各自の自宅からクライアントタブレット１５０で接続する形態をとってもよい。サーバーＰＣ１００側で各端末から収集した情報をデータベースの書き込み／読み込みの際に排他制御が必要になる点を除いては、図１の構成と大きく差が無いため、ここではそのアルゴリズムについては割愛する。

また、電子会議システムを構成する更なる別例として、サーバーＰＣ１００と無線ルーター１３０とを無線ネットワークによって接続する構成をとってもよい。あるいはこの間にネットワークハブやゲートウェイサーバーなどを介する構成をとってもよい。いずれの場合でも、サーバーＰＣ１００とクライアントタブレット１５０間でリアルタイムに情報を交換できれば、その実現手段を特に限定するものではない。

本電子会議システムの物理的な付箋取り込み時の具体的な挙動について、図２を用いて説明する。プロジェクタ１０７は、ホワイトボードつまり物理ボード２００上に、電子的な表示面（画像）を投影する。その際に、ユーザーは電子ボードが投影される位置を示すための４つのマーカー２０１〜２０４を貼り付けるものとする。ここでのマーカーは、物理的なマーカーであってもよいし、電子ボードの領域を示すために手書きで記述されたマークであっても構わない。本明細書において、物理ボード２００は、電子ボードを投影できる領域であれば、例えばデスク上など、どのようなものであっても構わない。また、電子ボードとは、マーカーによって示される領域に表示される画像領域を示す。また、図２（Ａ）に示すように、物理ボード２００上には、物理的な付箋２０５〜２０８が貼り付けられているものとする。

なお、ユーザーがプロジェクタ１０７の投影位置を指定する為にマーカーを張り付けた場合、プロジェクタ１０７が各マーカーの位置を検出し、そのマーカーが示す矩形領域内へ投影するように表示画面を変形させる。したがって、プロジェクタ１０７の投影位置とマーカー位置とが関連付けられていることが電子会議システムに要求される。

物理ボード２００の内容を、クライアントタブレット１５０が備える内蔵カメラ１５６にて撮影する。クライアントタブレット１５０は、撮影した画像データに含まれる物理的な付箋２０５〜２０８の画像を切り出し、それぞれを電子化する。そしてクライアントタブレット１５０は、電子的な付箋２１３〜２１６としてＲＡＭ１５３内などの記憶領域に記録する。この電子的な付箋は、ネットワークを介してサーバーＰＣ１００側のＳＡＴＡ ＨＤＤ１１２上に保持される。図２（Ｂ）に、電子ボード２１０に含まれる４つの電子的な付箋２１３〜２１６を配置した例を示す。

更に、クライアントタブレット１５０は、ユーザーからの入力をタッチパネル１５７で受け取り、その内容に応じて電子的な付箋を作成することもできる。ここでは、電子的な付箋２１１、２１２が作成されたものとする。この内容もまた、ネットワークを介してサーバーＰＣ１００側のＳＡＴＡ ＨＤＤ１１２上に保持される。図２（Ｃ）に、サーバーＰＣ１００にて保持されている各電子的な付箋を電子ボード２１０に配置した例を示す。

ここで、クライアントタブレット１５０は、ネットワークを介してサーバーＰＣ１００のＳＡＴＡ ＨＤＤ１１２上に保持されている電子的な付箋２１１〜２１６を取得し、表示することができる。これによって、物理ボード２００上に存在する物理的な付箋も含めて、付箋に関する情報を電子的に共有することが可能となる。

更に、サーバーＰＣ１００側に接続されているプロジェクタ１０７上での表示について言及する。前述したとおり、プロジェクタ１０７が投影している物理ボード２００上には、既に４つの物理的な付箋２０５〜２０８が貼り付けられている。そのために、電子的な付箋２１３〜２１６も併せて表示すると、同じ場所に物理的な付箋と電子的な付箋が重なって表示され、視認性が悪化する。そこで、サーバーＰＣ１００側で、電子的な付箋と関連付けられた物理的な付箋が存在する場合、プロジェクタ１０７はその電子的な付箋を表示しない。ここでは電子的な付箋２１３〜２１６が物理的な付箋と重なるため、表示されない。これにより、電子的な付箋と物理的な付箋を１つのボード上に共存できる。図２（Ｄ）に、プロジェクタ１０７による表示例を示す。

［ソフトウェア構成］
次に、図３のソフトウェアモジュール構成図を中心に、クライアントタブレット１５０が行う、物理的な付箋を電子化する具体的な処理の流れを説明する。なお、本実施例に係るソフトウェアモジュールはＲＡＭ１５３、ＲＯＭ１５４あるいはＳＤ Ｃａｒｄ１５９のいずれかの記憶手段に記憶され、ＣＰＵ１５２によって実行される。本ソフトモジュールは大きく分けて、画像登録手段３００および画像撮影手段３５０から構成される。

電子的な付箋に含まれる画像データの使用目的に応じて、画像データの最小解像度を定めることが可能である。また、記憶領域を効率的に活用するために、画像データの最大解像度を定めておくことも可能である。本実施例では、システムにより使用目的に応じた最小解像度および最大解像度の値が予め定められているものとする。なお、ユーザーが任意に最大・最小解像度を選択する構成であってもよい。

（文字認識処理）
付箋データベース３６０内に既に保持されている電子的な付箋（以下、「既存付箋」）の解像度を高くすることのメリットについて補足する。図１７は、既存付箋の画像（電子的な付箋に対応付けられた画像）からテキスト情報を付与する文字認識モジュール（不図示）のフローチャートである。例えば、図２（Ｃ）の場合において、電子的な付箋２１３〜２１６のいずれかに対してタッチパネル１５７でロングタップされた時にクライアントタブレット１５０上で実行される処理である。

まず、文字認識モジュールは、指定された既存付箋の解像度が一定以上であるかを判定する（Ｓ１７０１）。上述したように、ここでの解像度に対する閾値は予め定義されているものとする。既存付箋の解像度が一定以上でない場合（Ｓ１７０１にてＮＯ）、文字認識モジュールは、この既存付箋に対しては手書き文字認識処理を行う（Ｓ１７０２）。この処理は、従来技術におけるニューラルネットワークなどを利用して画像中から文字を認識する手段であって、図形形状などの変形に対するロバストネスが高い代わりに精度が劣る文字認識手段である。そのため、文字認識モジュールは、付箋テキスト入力ダイアログ１８００を表示し、その文字認識結果についてユーザーに正当性を問い合わせる（Ｓ１７０５）。この手段によって、物理的な付箋として手書きの文字が含まれている場合に適切な精度で文字認識できることが期待できる。その上で、文字認識結果に対してユーザーがその内容を確認し補正する機会を提供することで、過ちを防ぐことが出来る。その後、Ｓ１７０６へ進む。

既存付箋の解像度が一定以上である場合（Ｓ１７０１にてＹＥＳ）、文字認識モジュールは、既存付箋に対して活字文字認識処理を行う（Ｓ１７０３）。この処理は図形形状などの変形に対しては適応性が低い代わりに、高い精度を持つ文字認識手段である。この手段によって、物理的な付箋として書籍表紙や書類を用いている場合に高い精度で文字認識できることを期待できる。また、活字文字認識処理において、認識結果の確度が得られるものとする。文字認識モジュールは、この活字文字認識結果の確度が一定以上であるかを確認する（Ｓ１７０４）。ここでの確度に対する閾値は予め定義されているものとする。活字文字認識結果の確度が一定以上である場合（Ｓ１７０４にてＹＥＳ）、文字認識モジュールは、その文字認識結果をそのまま既存付箋にテキスト情報として付与する（Ｓ１７０７）。

一方、活字文字認識結果の確度が一定以上でない場合（Ｓ１７０４にてＮＯ）、文字認識モジュールは、手書き文字認識処理を行う（Ｓ１７０８）。このとき、手書き文字認識処理において、認識結果の確度が得られるものとする。そして、文字認識モジュールは、活字文字認識結果と手書き文字認識結果とを比較し、より確度の高い方を文字認識結果として選択する（Ｓ１７０９）。文字認識モジュールは、選択されたより高い確度の文字認識結果を用いて、付箋テキスト入力ダイアログ１８００を表示する（Ｓ１７０５）。その後、Ｓ１７０６へ進む。

ここで、Ｓ１７０５にて表示される付箋テキスト入力ダイアログ１８００の構成例について図１８を用いて説明する。付箋テキスト入力ダイアログ１８００は、既存付箋内容１８０２を表示するための表示枠１８０１、テキスト入力枠１８０３、ＯＫボタン１８５１、およびキャンセルボタン１８５２を備える。付箋テキスト入力ダイアログ１８００は、既存付箋と文字認識処理（Ｓ１７０２、Ｓ１７０３）で認識したテキストを文字認識モジュールから受け取る。そして、付箋テキスト入力ダイアログ１８００は、既存付箋を既存付箋内容１８０２に表示し、更に文字認識結果をテキスト入力枠１８０３に表示する。テキスト入力枠１８０３の内容は、タッチパネル１５７を利用して書きかえることも可能である。そしてＯＫボタン１８５１若しくはキャンセルボタン１８５２が押されたら、付箋テキスト入力ダイアログ１８００は、文字認識結果と、どのボタンが押されたかの情報を文字認識モジュールに通知する。

図１７に戻ってフローの説明を行う。文字認識モジュールは、付箋テキスト入力ダイアログ１８００が閉じられたら、どのボタンが押されたかを判定する（Ｓ１７０６）。付箋テキスト入力ダイアログ１８００にてＯＫボタン１８５１が押されていない場合（Ｓ１７０６にてＮＯ）、文字認識モジュールは、本処理フローを終了する。付箋テキスト入力ダイアログ１８００にてＯＫボタン１８５１が押された場合（Ｓ１７０６にてＹＥＳ）、文字認識モジュールは、既存付箋にテキスト情報を付与する（Ｓ１７０７）。また、活字文字認識処理で確度一定以上の認識結果が得られた場合（Ｓ１７０４にてＹＥＳ）、文字認識モジュールは、既存付箋にテキスト情報を付与する（Ｓ１７０７）。そして、本処理フローを終了する。

なお、ここでは１枚毎に付箋テキスト入力ダイアログ１８００を表示する形態について言及を行ったが、それぞれの電子的な付箋をリスト化した上で、参加者に分担させて処理する形態とすることも可能である。

できるだけ既存付箋の解像度を上げることで活字文字認識の確度を高めることが可能になる。したがって、認識結果の確度が一定以上であれば、既存付箋のテキスト情報を問い合わせなしに登録できる。そのため、例えば書籍表紙や書類を本システムへ取り込む場合、付箋テキスト入力ダイアログ１８００を何度も表示した上で、テキスト情報の確認と入力を繰り返す手間を省くことが可能となる。

（付箋の電子化処理）
続いて、物理的な付箋を電子化する処理について説明する。本実施例において、物理的な付箋を電子化する処理は、以下の４つのプロセスに分けられる。
（１）全体画像データを撮影する為にプレビュー表示するプロセス（全体画像撮影プレビュープロセス）
（２）全体画像データを撮影しデータベースに登録するプロセス（全体画像撮影登録プロセス）
（３）部分画像データを撮影する為にプレビュー表示するプロセス（部分画像撮影プレビュープロセス）
（４）部分画像データを撮影しデータベースに登録するプロセス（部分画像撮影登録プロセス）

各プロセスの詳細は後述する。処理の流れとして、（２）全体画像撮影登録プロセス時および（４）部分画像撮影登録プロセス時は、図３に示すパス（ａ）を通る。一方、（１）全体画像撮影プレビュープロセス時及び（２）部分画像撮影プレビュープロセス時には、図３に示すパス（ｂ）を通る。

まず、上記４つのプロセスで共通的に行われる、撮影設定手段３０１が行う撮影設定処理と、撮影モード決定手段３０３が行う撮影モード決定処理について説明を行う。

（撮影設定処理）
撮影設定手段３０１は、タッチパネル１５７を介して、ユーザーからの撮影設定要求を受け付ける。図４を用いて、この時のＵＩの構成例を説明する。

撮影設定手段３０１は、図４（Ａ）に示す会議設定メニュー４００をタッチパネル１５７に表示する。タッチパネル１５７は、会議設定メニュー４００を介してユーザーからの入力を受け付け、撮影設定手段３０１に通知する。

撮影設定手段３０１は、撮影設定ボタン４０１が押されたことを検知すると、図４（Ｂ）に示す撮影設定メニュー４１０を表示する。撮影設定手段３０１が、撮影設定メニュー４１０を表示している状態でいずれかのボタンが押されたことを検知すると、そのボタンに応じて撮影設定を決定する。各設定に対する動作の詳細はフローチャートと併せて後述する。撮影設定手段３０１は、会議フェイズ連動設定ボタン４１１が押されたことを検知すると、撮影設定を「会議フェイズ連動設定」に設定する。この「会議フェイズ」についての詳細は会議フェイズ設定メニュー４２０と併せて説明する。撮影設定手段３０１は、画像自動判定設定ボタン４１２が押されたことを検知すると、撮影設定を「画像自動判定設定」に設定する。撮影設定手段３０１は、全体画像データ撮影設定ボタン４１３が押されたことを検知すると、撮影設定を「全体画像データ撮影設定」に設定する。撮影設定手段３０１は、部分画像データ撮影設定ボタン４１４が押されたことを検知すると、撮影設定を「部分画像データ撮影設定」に設定する。

更に、撮影設定手段３０１は、会議設定メニュー４００を表示している状態で、会議フェイズ設定４０２が押されたことを検知すると、図４（Ｃ）に示す会議フェイズ設定メニュー４２０を表示する。撮影設定手段３０１が、会議フェイズ設定メニュー４２０を表示している状態でいずれかのボタンが押されたことを検知すると、そのボタンに応じて会議フェイズ設定を決定する。

本明細書において「会議フェイズ」とは、会議で議題が進む段階をいくつかに分解したものである。ここでは１の会議を「議題設定フェイズ」「アイデア発散フェイズ」「アイデア収束フェイズ」「まとめフェイズ」の４つに分けている。「議題設定フェイズ」は、これから会議で話し合う議題についてお互いに認識を共通するための段階である。「アイデア発散フェイズ」は、課題をどのように解決していくのか、参加者同士で話し合い、アイデアを広げる段階である。「アイデア収束フェイズ」は、広がったアイデアから、有用なものは何かを参加者同士で選択するための段階である。「まとめフェイズ」は、アイデア収束フェイズで結論が出た場合に、そこから次の行動について参加者同士で認識を共通化するための段階である。まとめフェイズにおいて、例えば、参加者同士で、今回決まった事は何かを確認したり、次の開催までに各自がやるべきことが何かを情報共有したりする。

会議の場面ではファシリテーターと呼ばれる参加者が、会議フェイズを適切に設定するものとする。また、フェイズの構成は上記に限定するものではなく、必要に応じて追加・削除しても構わない。また、会議の内容や種類に応じて、どのような構成のフェイズを適用するか選択できるようにしても構わない。

撮影設定手段３０１は、議題設定フェイズボタン４２１が押されたことを検知すると、会議フェイズ設定を「議題設定フェイズ」に設定する。撮影設定手段３０１は、会議フェイズ設定メニュー４２０においてアイデア発散フェイズボタン４２２が押されたことを検知すると、会議フェイズ設定を「アイデア発散フェイズ」に設定する。撮影設定手段３０１は、アイデア収束フェイズボタン４２３が押されたことを検知すると、会議フェイズ設定を「アイデア収束フェイズ」に設定する。撮影設定手段３０１は、まとめフェイズボタン４２４が押されたことを検知すると、会議フェイズ設定を「まとめフェイズ」に設定する。

なお、撮影設定手段３０１は、会議において全体画像データ撮影が一度も行われていない場合、撮影設定を全体画像データ撮影設定であると強制的に設定してもよい。このとき同時に、撮影設定手段３０１は、撮影設定メニュー４１０において会議フェイズ連動設定ボタン４１１、画像自動判定設定ボタン４１２、および部分画像データ撮影設定ボタン４１４を選択不可能として表示してもよい。

（撮影モード決定）
撮影モード決定手段３０３は、撮影設定手段３０１によって設定された撮影設定と会議フェイズ設定、および内蔵カメラ１５６から入力される入力画像データを用いて、撮影モードを判定する。撮影モード決定手段３０３が行う撮影モード決定の流れについて、図５を用いて詳細を説明する。なお、ここの説明で用いる入力画像データは、プレビュー画像、登録画像データのどちらであってもよい。

まず、撮影モード決定手段３０３は、撮影設定メニュー４１０を介して設定された撮影設定について判定する（Ｓ５００）。撮影設定が「会議フェイズ連動設定」であれば、撮影モード決定手段３０３は、会議フェイズ設定に応じて撮影モードを決定する。撮影モード決定手段３０３は、会議フェイズ設定が「まとめフェイズ」であるかを判定する（Ｓ５０１）。会議フェイズ設定が「まとめフェイズ」ではない場合（Ｓ５０１にてＮＯ）、撮影モード決定手段３０３は、撮影モードを「全体画像データ撮影設定」に決定する（Ｓ５０２）。会議フェイズが「まとめフェイズ」である場合（Ｓ５０１にてＹＥＳ）、撮影モード決定手段３０３は、撮影モードを「部分画像データ撮影設定」に決定する（Ｓ５０３）。

撮影設定が「画像自動判定設定」であれば、撮影モード決定手段３０３は、入力画像データの内容から撮影モードを決定する。撮影モード決定手段３０３は、入力画像データに対して正規化を行う（Ｓ５１０）。ここで正規化処理は、環境光の影響除去、画像の斜行補正、あるいはガンマ補正などを行う（以下の正規化処理もこれと同様である）。次に、撮影モード決定手段３０３は、正規化した入力画像データからマーカーを検出する（Ｓ５１１）。撮影モード決定手段３０３は、検出されたマーカーの数を判定する（Ｓ５１２）。ここではマーカー数を４の場合を対象として説明する。マーカー数が４である場合（Ｓ５１２にてＹＥＳ）、撮影モード決定手段３０３は、撮影モードを「全体画像データ撮影設定」に決定する（Ｓ５１３）。マーカー数が４でない場合（Ｓ５１２にてＮＯ）、撮影モード決定手段３０３は、撮影モードを「部分画像データ撮影設定」に決定する（Ｓ５１４）。

撮影設定が「全体画像データ撮影設定」である場合、撮影モード決定手段３０３は、撮影モードを「全体画像データ撮影設定」に決定する（Ｓ５２０）。また、撮影設定が「部分画像データ撮影設定」である場合、撮影モード決定手段３０３は、撮影モードを「部分画像データ撮影設定」に決定する（Ｓ５３０）。

次に、上記に挙げた４つの物理的な付箋を電子化する各プロセスの詳細について説明する。

（１）全体画像撮影プレビュープロセス
全体画像撮影プレビュープロセスについて図３を用いて説明する。画像データ撮影操作受付手段３５１はユーザー操作をタッチパネル１５７から検知すると、画像撮影処理を開始する。画像データ撮影操作受付手段３５１は、画像撮影処理中の一定時間ごとにプレビュー画像データ受信手段３５２にプレビュー画像更新を要求する。

プレビュー画像データ受信手段３５２は、画像データ撮影操作受付手段３５１からのプレビュー画像更新要求を検知すると、内蔵カメラ１５６からプレビュー画像を取得する。プレビュー画像データ受信手段３５２は、画像登録手段３００の画像データ受信手段３０２にプレビュー画像を入力画像データとして通知する。画像データ受信手段３０２は、入力画像データを検知すると、撮影モード決定手段３０３に撮影モード決定処理要求を通知する。前述の通り、撮影モード決定手段３０３は撮影設定、会議フェイズ設定、及び入力画像データから撮影モードを決定する。ここでは説明のために、撮影モード決定手段３０３は、撮影モードを「全体画像データ撮影設定」と決定したものとする。

画像登録手段３００は、撮影モードが「全体画像データ撮影設定」であるため、全体画像データ撮影警告通知手段３０５に対して警告通知を行うように要求する。全体画像データ撮影警告通知手段３０５は、警告通知要求を検知すると入力画像データが全体画像データ撮影に適切であるかを判定し、画像撮影手段３５０のプレビュー画像データ表示手段３５３に対して警告を通知する。

全体画像データ撮影警告通知手段３０５が行う全体画像データ撮影警告処理について、図６及び図７を用いて説明する。画像登録手段３００は、全体画像データ撮影警告通知手段３０５に入力画像データを通知すると図６に示す処理が開始される。

全体画像データ撮影警告通知手段３０５は、入力画像データの正規化を行う（Ｓ６０１）。次に、全体画像データ撮影警告通知手段３０５は、入力画像データからマーカーを検出する（Ｓ６０２）。全体画像データ撮影警告通知手段３０５は、検出できたマーカー数を判定する（Ｓ６０３）。マーカー数が４ではない場合（Ｓ６０３にてＮＯ）、全体画像データ撮影警告通知手段３０５は、入力画像データに「画像不適切」警告を通知する（Ｓ６０４）。マーカー数が４である場合（Ｓ６０３にてＹＥＳ）、全体画像データ撮影警告通知手段３０５は、「認識範囲」警告を通知する（Ｓ６０５）。

警告の具体的な表示例を、図７を用いて説明する。図７（Ａ）に示す画像７５０が入力画像データである場合、全体画像データ撮影警告通知手段３０５はマーカー７０１だけをマーカーとして検出する。検出したマーカー数が１であるため、全体画像データ撮影警告通知手段３０５は「画像不適切」警告をプレビュー画像データ表示手段３５３に通知する。プレビュー画像データ表示手段３５３は、「画像不適切警告」が通知されたことから、図７（Ｂ）に示すように警告通知７５２をプレビュー画像に重畳表示し、プレビュー画像が全体画像データの撮影・登録には適していないことをタッチパネル１５７上に表示する。

一方、図７（Ｃ）に示す画像７６０が入力画像データである場合、全体画像データ撮影警告通知手段３０５はマーカー７０１、７０２、７０３、７０４をマーカーとして検出する。マーカー数が４であるため、全体画像データ撮影警告通知手段３０５は「認識範囲」警告をプレビュー画像データ表示手段３５３に通知する。プレビュー画像データ表示手段３５３は、「認識範囲」が通知されたため、図７（Ｄ）に示すように強調表示枠７５３をプレビュー画像に重畳表示し、全体画像データ撮影の対象が強調表示枠７５３内のオブジェクトであることをタッチパネル１５７上に表示する。なお、ユーザーの利便性を向上させるために、プレビュー画像データ表示手段３５３は、図７（Ｂ）、（Ｄ）に示すように全体画像撮影ラベル７５１をプレビュー画像上に表示することで現在の撮影モードをユーザーへ明示的に通知してもよい。

以上により、クライアントタブレット１５０は、全体画像撮影プレビュープロセス中に、対象となる物理ボードの内のマーカー内の対象全体が撮影出来ているかを、ユーザーに対して明示することが可能となる。

（２）全体画像撮影登録プロセス
全体画像撮影登録プロセスについて図３を用いて説明する。画像データ撮影操作受付手段３５１はユーザーからの操作をタッチパネル１５７から検知すると、画像撮影処理を開始する。画像データ撮影操作受付手段３５１は、ユーザーからの撮影指示をタッチパネル１５７経由で検知すると、登録画像データ受信手段３５４に登録画像データの受信を要求する。

登録画像データ受信手段３５４は、画像データ撮影操作受付手段３５１からの登録画像データ受信要求を検知すると、内蔵カメラ１５６から登録画像データを取得する。登録画像データ受信手段３５４は、画像登録手段３００の画像データ受信手段３０２に登録画像データを入力画像データとして通知する。画像データ受信手段３０２は、入力画像データを検知すると、撮影モード決定手段３０３に、撮影モード決定処理要求を通知する。前述の通り、撮影モード決定手段３０３は撮影設定、会議フェイズ設定、及び入力画像データから撮影モードを決定する。ここでは説明のために、撮影モード決定手段３０３は、撮影モードを「全体画像データ撮影設定」に決定したものとする。

画像登録手段３００は、撮影モードが「全体画像データ撮影設定」であるため、全体画像データ撮影警告通知手段３０５に対して警告通知を行うように要求する。全体画像データ撮影警告通知手段３０５は、警告通知要求を検知すると入力画像データが全体画像データ撮影に適切であるかを判定し、画像撮影手段３５０の登録画像データ確認表示手段３５５に対して警告を通知する。

警告通知については、入力画像データが登録画像データである点、そして入力画像データと警告通知が登録画像データ確認表示手段３５５に通知される点を除いては、前述の全体画像撮影プレビュープロセスの流れと同じであるため割愛する。

登録画像データ確認表示手段３５５は、タッチパネル１５７を介してユーザーからの撮影結果に対する採用可否の指示を検知する。撮影結果に対する採用可の指示を検知した場合、登録画像データ確認表示手段３５５は、付箋データベース更新手段３５６に登録画像データを通知する。付箋データベース更新手段３５６は登録画像データを検知すると、登録画像データに含まれる物理的な付箋を検出し、この画像を電子化して電子的な付箋としてＲＡＭ１５３内の付箋データベース３６０に保存する。

付箋データベース更新手段３５６が行う画像データの登録処理の詳細について、図８を用いて説明する。なお、付箋データベース更新手段３５６が行う登録処理は、全体画像データに対する処理と、部分画像データに対する処理とに大別される。ここでは、全体画像データに対する登録処理を説明する。なお、説明を簡略化するために、付箋に関して以下の言葉を定義する。入力画像データに含まれる付箋の画像、およびこの画像を用いて電子化した付箋を「入力付箋」と呼ぶ。また、付箋データベース３６０に保持されている付箋を「既存付箋」と呼ぶ。

付箋データベース更新手段３５６は、入力画像データを検知すると、入力画像データを正規化する（Ｓ８０１）。付箋データベース更新手段３５６は、正規化された入力画像データからマーカーを検出する（Ｓ８０２）。そして、付箋データベース更新手段３５６は、マーカーの電子的サイズ（幅・高さ）を取得し、その情報とマーカー自体の物理的サイズ（幅・高さ）を用いて、マーカーが撮影された解像度を求める（Ｓ８０３）。ここで、マーカー自体の物理的なサイズの情報については、予めマーカー共通の値を保持しておいてもよいし、マーカーの絵柄と関連付けて保持しておいてもよい。

付箋データベース更新手段３５６は、入力画像データから付箋である領域、すなわち入力付箋となる画像を検出する（Ｓ８０４）。そして、付箋データベース更新手段３５６は、全ての入力付箋に対してＳ８０６〜Ｓ８０８の処理を繰り返す（Ｓ８０５）。付箋データベース更新手段３５６は、画像上の電子的なサイズ（幅・高さ）と位置を取得する（Ｓ８０６）。付箋データベース更新手段３５６は、Ｓ８０６にて取得した電子的なサイズ情報・位置情報と、撮影解像度を基に、物理的なサイズ情報・位置情報を推算する（Ｓ８０７）。

更に、付箋データベース更新手段３５６は、入力付箋の画像特徴量を算出する（Ｓ８０８）。この画像特徴量の算出アルゴリズムについては一般的な画像処理として提案されている、いずれかの技術を適用することが可能である。なお、他の入力付箋との区別ができれば、特徴量の完全な一致だけではなく、ある一定の閾値内に特徴量の差分が収まっている場合も、同一特徴を有するものとして扱う。

ここで、Ｓ８０７の付箋の物理的なサイズ情報を求める処理についての詳細を、図１５および図１６を用いて説明する。図１５は、全体画像撮影登録プロセスで撮影された画像データの模式図である。ここで、マーカーとして丸に十字が描かれているものを用いるとする。全体画像データからマーカー１５０１を抽出した結果、その画像の電子的なサイズ（幅・高さ）Ｌａが４９ｐｉｘｅｌであったとする。ここではマーカー１５０１のみを対象として書いたが、他のマーカー１５０２、１５０３、１５０４の幅・高さを求めたうえで、４つの平均値を用いる構成をとってもよい。マーカーの物理的な大きさが２５ｍｍであると予め分かっていれば、ここから撮影解像度は、４９（ｐｉｘｅｌ）÷（２５（ｍｍ）÷２５．４（ｍｍ／ｉｎｃｈ））＝５０（ｄｐｉ）であると算出できる。

なお、マーカー間の距離が予め分かっていれば、画像から抽出した電子的な距離と物理的な距離とから解像度を求めることも可能である。すなわち、マーカー１５０１とマーカー１５０３の間の物理的な距離を測定する。計測する方法としては、ユーザーがメーターなどで測定する形を用いてもよいし、赤外線などを用いて自動的に検出する手段を用いてもよい。ここでは物理的な距離が１５５０ｍｍであったとする。そして入力画像上での電子的な距離Ｌｂが３０５２ｐｉｘｅｌであったとする。ここから、撮影解像度は、３０５２（ｐｉｘｅｌ）÷（１５５０（ｍｍ）÷２５．４（ｍｍ／ｉｎｃｈ））＝５０（ｄｐｉ）であると推定できる。

更に、全体画像データから入力付箋１５５１を抽出した結果、その電子的なサイズ（幅・高さ）であるＴｘ、Ｔｙがそれぞれ１４６ｐｉｘｅｌ×１５２ｐｉｘｅｌであるとする。そこから物理的サイズの幅は、撮影解像度を考慮すると、１４６（ｐｉｘｅｌ）÷５０（ｄｐｉ）×２５．４（ｍｍ／ｉｎｃｈ）＝７４（ｍｍ）であると推定できる。同じく、物理的なサイズの高さは、１５２（ｐｉｘｅｌ）÷５０（ｄｐｉ）×２５．４（ｍｍ）＝７７（ｍｍ）であると推定できる。

さらに、撮影時の誤差の影響を除外する為に、図１６のように定型的な付箋サイズに対するテーブルを用いて推定結果に対して補正をかけてもよい。例えば、入力付箋の物理的なサイズ（幅・高さ）は７４ｍｍ×７７ｍｍであると推定されている場合、図１６のテーブルで最も近い値である７５ｍｍに補正することで、この付箋の大きさは７５ｍｍ×７５ｍｍであると推定できる。これにより、撮影時の誤差の影響を除去することが可能である。以上の処理によって、入力付箋の物理的なサイズ（幅・高さ）を、全体画像データから推定することが可能となる。

全ての入力付箋に対してＳ８０６〜Ｓ８０８の処理が完了した後、付箋データベース更新手段３５６は、撮影モードについて判定する（Ｓ８１０）。撮影モードが「全体画像データ撮影設定」である場合、付箋データベース更新手段３５６は、全体画像データ登録処理を行う（Ｓ８１１）。

全体画像データ登録処理の流れについて図９を用いて詳細を説明する。付箋データベース更新手段３５６は、全ての入力付箋に対してＳ９０２〜Ｓ９０４の処理を繰り返す（Ｓ９０１）。付箋データベース更新手段３５６は、付箋データベース３６０内の付箋（すなわち既存付箋）内に入力付箋と同一特徴を有する付箋があるか否かを判定する（Ｓ９０２）。入力付箋と同一特徴を有する既存付箋が付箋データベース３６０内にない場合（Ｓ９０２にてＮＯ）、付箋データベース更新手段３５６は、着目している入力付箋を付箋データベース３６０に追加する（Ｓ９０３）。入力付箋と同一特徴を有する既存付箋がある場合（Ｓ９０２にてＹＥＳ）、付箋データベース更新手段３５６は、同一特徴を有する既存付箋を着目している入力付箋の情報で更新する（Ｓ９０４）。

全ての入力付箋に対してＳ９０２〜Ｓ９０４の処理が完了した後、付箋データベース更新手段３５６は、全既存付箋に対してＳ９０６〜Ｓ９０７の処理を繰り返す（Ｓ９０５）。付箋データベース更新手段３５６は、着目している既存付箋と同一特徴を有する入力付箋があるかを判定する（Ｓ９０６）。同一特徴を有する入力付箋がない場合（Ｓ９０６にてＮＯ）、着目している既存付箋は全体画像データを撮影した時には存在しない付箋であり、付箋データベース更新手段３５６は、既存付箋が関連する物理的な付箋はないとして情報を更新する（Ｓ９０７）。付箋データベース更新手段３５６によって物理的な付箋が存在しないとして情報を更新すると、着目している既存付箋は、電子的な付箋として生成された付箋と同じ扱いになる。同一特徴を有する入力付箋がある場合（Ｓ９０６にてＹＥＳ）、未処理の既存付箋に対象を移して処理を繰り返す。

以上によって、付箋データベース更新手段３５６によって、全体画像データに含まれる物理的な付箋の画像は電子化され、電子的な付箋として付箋データベースに保存される。
（３）部分画像撮影プレビュープロセス
部分画像撮影プレビュープロセスについて図３を用いて説明する。部分画像撮影プレビュープロセスと全体画像撮影プレビュープロセスとの差異は、以下のとおりである。撮影モード決定手段３０３は、撮影モードを「部分画像データ撮影設定」と決定する。これによって、画像登録手段３００は、撮影モードが「部分画像データ撮影設定」であるため、部分画像データ撮影警告通知手段３０４に対して警告通知を行うように要求する。部分画像データ撮影警告通知手段３０４は警告通知要求に応じ、プレビュー画像データ表示手段３５３に警告を通知する。

部分画像データ撮影警告処理について、図１０を用いて説明する。画像登録手段３００から部分画像データ撮影警告通知手段３０４に対して、プレビュー画像が入力画像データとして通知されると本処理が開始される。部分画像データ撮影警告通知手段３０４は、入力画像データを正規化する（Ｓ１００１）。部分画像データ撮影警告通知手段３０４は、正規化された入力画像データから入力付箋を検出する（Ｓ１００２）。

部分画像データ撮影警告通知手段３０４は、検出した全入力付箋に対してＳ１００４〜１００６、Ｓ１０５１〜Ｓ１０５４の処理を繰り返す（Ｓ１００３）。部分画像データ撮影警告通知手段３０４は、付箋データベース３６０中に含まれる全既存付箋から着目している入力付箋と特徴が一致する既存付箋を検索する（Ｓ１００４）。そして、部分画像データ撮影警告通知手段３０４は、着目している入力付箋と特徴が一致する既存付箋があるかを判定する（Ｓ１００５）。特徴が一致する既存付箋が見つからない場合（Ｓ１００５にてＮＯ）、部分画像データ撮影警告通知手段３０４は、入力付箋を「不明付箋」として警告リストに追加する（Ｓ１００６）。ここでの「不明付箋」とは、警告リストとは、警告を行う対象の入力付箋のリストを示し、その具体的な用途に関する詳細については図１１のフローチャートと併せて説明する。

特徴が一致する既存付箋が見つかった場合（Ｓ１００５にてＹＥＳ）、部分画像データ撮影警告通知手段３０４は、既存付箋の物理的なサイズ（幅・高さ）と入力付箋の電子的なサイズ（幅・高さ）から、入力付箋の撮影解像度を推算する（Ｓ１００７）。部分画像データ撮影警告通知手段３０４は、既存付箋の解像度が適切ではない（Ｓ１０５２にてＮＯ）、かつ、入力付箋の解像度が適切ではない場合（Ｓ１０５３にてＮＯ）、入力付箋を「要再撮影付箋」として、警告リストに追加する（Ｓ１０５４）。ここでの「要再撮影付箋」とは、画像の再度の撮影が必要な付箋を意味する。なお、解像度が適切か否かの判定は、上述したように予め適切な解像度の範囲を定義しておき、算出した値と定義された解像度の範囲を比較することで判定することができる。

以上の処理を全ての入力付箋に対して繰り返し、部分画像データ撮影警告通知手段３０４は「不明付箋」あるいは「要再撮影付箋」となる入力付箋を警告リストとして検出する。部分画像データ撮影警告通知手段３０４は、警告リストを基に、表示するべき警告通知をまとめ、プレビュー画像データ表示手段３５３に通知する（Ｓ１００８）。これは、警告リストに「要再撮影付箋」として多数の入力付箋が含まれている場合に、それをまとめて撮影できるように補助するためである。

警告リストから警告通知をまとめる具体的な流れの一例について、図１１を用いて説明する。図１１は、部分画像データ撮影警告通知手段３０４が、貪欲法（ｇｒｅｅｄｙ ａｌｇｏｒｉｔｈｍ）を用いた最適化によって要再撮影付箋の撮影枚数を抑制する処理である。また、部分画像データ撮影警告通知手段３０４は、警告リスト内の不明付箋についてもプレビュー画像データ表示手段３５３へ警告通知をする。

部分画像データ撮影警告通知手段３０４は、警告リスト内の要撮影付箋の領域の集合を付箋領域群とする。また、部分画像データ撮影警告通知手段３０４は、画素単位で表現される電子的な画像サイズ（幅・高さ）から、長さ単位で表現される物理的な画像サイズ（幅・高さ）を求める（Ｓ１１０１）。具体的には電子的な画像サイズを最小解像度で除算することで求められる。

貪欲法は、最適な部分を繰り返し選択していくことで、組み合わせ最適化問題の近似解を求めるアルゴリズムである。本実施例では以下のように実現する。部分画像データ撮影警告通知手段３０４は、最小追加領域を示す変数ＭｉｎＡｄｄｅｄＡｒｅａを取り得る最大の値にする（Ｓ１１０２）。この最大の値は変数型の最大値を用いてもよいし、あるいは警告リスト内の要撮影付箋をすべて包含する領域の面積を用いてもよい。

部分画像データ撮影警告通知手段３０４は、付箋領域群に含まれるそれぞれの付箋領域を付箋領域１として以下の処理を繰り返す（Ｓ１１０３）。部分画像データ撮影警告通知手段３０４は、付箋領域群に含まれるそれぞれの付箋領域を付箋領域２としてＳ１１０４〜Ｓ１１０７の処理を繰り返す（Ｓ１１０４）。ただし、付箋領域２は、付箋領域１で選択された付箋領域以外とする。また、付箋領域１と付箋領域２で選択される付箋領域は、その組み合わせが入れ替わっても結果は同じであるため、同じ組み合わせについては予め除外してもよい。すなわち、付箋領域群にＭ個の付箋が含まれ、付箋領域１として付箋領域群のｎ番目が選択された場合、付箋領域２としてはｎ＋１〜Ｍ番目のものを対象とすればよい。

部分画像データ撮影警告通知手段３０４は、付箋領域１と付箋領域２を結合した付箋領域を作った場合に余剰となる面積を示す変数ＡｄｄｅｄＡｒｅａを計算する。これは２つの付箋領域が重ならない場合には八角形の面積となり、２つの付箋領域が重なる場合には二つの矩形の面積の和となる。さらに部分画像データ撮影警告通知手段３０４は、付箋領域１と付箋領域２が結合した場合の面積を示す変数ＮｅｗＡｒｅａを計算する（Ｓ１１０５）。付箋領域１と付箋領域２を結合した場合のバウンディングボックスの面積がＮｅｗＡｒｅａとなる。つまり、ＮｅｗＡｒｅａから付箋領域１と付箋領域２の面積を除き、更に付箋領域１と付箋領域２が重なり合う領域の面積を加えたものがＡｄｄｅｄＡｒｅａとなる。ＡｄｄｅｄＡｒｅａ、ＮｅｗＡｅａ、および各領域の関係を図１１中に示す。

部分画像データ撮影警告通知手段３０４は、ＭｉｎＡｄｄｅｄＡｒｅａよりもＡｄｄｅｄＡｒｅａのほうが小さく、かつ、ＮｅｗＡｒｅａが登録画像データサイズを超過していないかを判定する（Ｓ１１０６）。ここでの登録画像データサイズとは、言い換えると、内蔵カメラ１５６が撮影する画像データのサイズを意味する。具体例については後述する。上記条件を満たしている場合（Ｓ１１０６にてＹＥＳ）、部分画像データ撮影警告通知手段３０４は、ＭｉｎＡｄｄｅｄＡｒｅａをＡｄｄｅｄＡｒｅａで更新する（Ｓ１１０７）。また、部分画像データ撮影警告通知手段３０４は、合成対象１を付箋領域１で更新し、合成対象２を付箋領域２で更新する。Ｓ１１０３〜１１０７の処理を繰り返すことで、ＮｅｗＡｒｅａが登録画像データサイズを超過しない範囲でＡｄｄｅｄＡｒｅａが最小となる付箋領域１、２の組み合わせを合成対象１、２として得ることができる。つまり、部分画像データに適した解像度の範囲で撮影される画像サイズに含まれるように各付箋の画像を結合する。

部分画像データ撮影警告通知手段３０４は、ＭｉｎＡｄｄｅｄＡｒｅａが最大の値であるかを判定する（Ｓ１１０８）。最大の値となっている場合（Ｓ１１０８にてＮＯ）、どの付箋領域１、２の組み合わせも結合するのに適したものではなかったため、そのままＳ１１１２へ進む。最大の値となっていない場合（Ｓ１１０８にてＹＥＳ）、部分画像データ撮影警告通知手段３０４は、合成対象１と合成対象２を結合した領域で合成対象１を更新する（Ｓ１１０９）。そして、部分画像データ撮影警告通知手段３０４は、全付箋領域から合成対象２を削除する（Ｓ１１１０）。

部分画像データ撮影警告通知手段３０４は、ＭｉｎＡｄｄｅｄＡｒｅａが最大の値ではない間、Ｓ１１０２〜Ｓ１１１０の処理を繰り返す（Ｓ１１１２）。これにより、部分画像データ撮影警告通知手段３０４は要再撮影付箋に対して、必要な最小解像度を保持しつつまとめて撮影することが出来る付箋同士を結合することができる。

ここで、要再撮影付箋をまとめる具体的な例を図１２、図１３を用いて示す。最初に、最小解像度以上の解像度を用いて、内蔵カメラ１５６で撮影可能な物理的な画像サイズを算出する。例えば、画素単位で表現される電子的な画像サイズ（幅・高さ）を４９９２×３３２８ｐｉｘｅｌ、最小解像度を３００ｄｐｉとする。この時、物理的な画像サイズの幅は、４９９２（ｐｉｘｅｌ）÷３００（ｐｉｘｅｌ／ｉｎｃｈ）×２５．４（ｍｍ／ｉｎｃｈ）＝６３４（ｍｍ）となる。同様に、物理的な画像サイズの高さは、３３２８（ｐｉｘｅｌ）÷３００（ｐｉｘｅｌ／ｉｎｃｈ）×２５．４（ｍｍ／ｉｎｃｈ）＝２８２（ｍｍ）となる。付箋領域がこの６３４×２８２ｍｍの画像サイズを超過する場合、最小解像度である３００ｄｐｉ未満で撮影される。

また、初期の付箋領域を図１２（Ａ）に示すように付箋領域１２０１，１２０２，１２０３，１２０４であるとする。図１４（Ａ）のテーブル１３０１は、このときの座標情報を示す。テーブル１３０１において、Ｌｅｆｔは付箋領域の左端座標を意味する。Ｔｏｐは付箋領域の上端座標を意味する。なお、この座標は、物理ボード２００の左上を原点とした場合の値とする。また、Ｗｉｄｔｈは付箋領域の幅を意味する。Ｈｅｉｇｈｔは付箋領域の高さを意味する。これらの単位系は長さ単位（ｍｍ）を利用する。

これらの付箋領域の４つの組み合わせは、６パターンある。付箋領域１２０１と付箋領域１２０２を組み合わせた場合の計算例を以下に示す。この二つの付箋領域を合成した場合の左端座標は９５０ｍｍ、右端座標は１２００＋７５＝１２７５（ｍｍ）となる。また、上端座標は７５ｍｍ、下端座標は９５＋７５＝１７０（ｍｍ）となる。そして、この二つの付箋領域を合成した場合の面積は、（１２７５−９５０）×（１７０−７５）＝３０８７５（平方ｍｍ）となる。

また、付箋領域１２０１、１２０２共には幅７５ｍｍ、高さ７５ｍｍなのでその面積は、５６２５（平方ｍｍ）となる。これらの付箋は重なり合う領域が無いため、重なり面積は０（平方ｍｍ）となる。そして、二つの付箋領域を結合することにより、余剰となる領域であるＡｄｄｅｄＡｒｅａは、３０８７５−５６２５−５６２５＋０＝１９６２５（平方ｍｍ）となる。

同様に全ての組み合わせに対して、ＡｄｄｅｄＡｒｅａを求める。その結果を図１３（Ｂ）のテーブル１３０２に示す。この中で、最小となるＡｄｄｅｄＡｒｅａとなる組み合わせは、付箋領域１２０１と付箋領域１２０２の組み合わせである。よって、この二つの付箋領域を合成した付箋領域を、図１２（Ｂ）に示すように付箋領域１２１０として扱う。これに伴い、合成した後の状態を図１３（Ｃ）のテーブル１３０３に示す。

更に、付箋領域１２１０、１２０３、１２０４の３つの付箋領域を組み合わせは３種類である。その組み合わせ結果を図１３（Ｄ）のテーブル１３０４に示す。この中で最もＡｄｄｅｄＡｒｅａが最小となるのは、付箋領域１２１０と付箋領域１２０３である。よって、この二つの付箋領域を合成した付箋領域を、図１２（Ｃ）に示すように付箋領域１２２０として扱う。これに伴い、合成した後の状態を図１３（Ｅ）のテーブル１３０５に示す。

更に、付箋領域１２２０、１２０４の２つの付箋領域の組み合わせは１種類である。その組み合わせ結果を図１３（Ｆ）のテーブル１３０６に示す。この場合、二つの付箋領域を合成した付箋領域１２３０の幅・高さは３２５×２５０ｍｍである。よって、最小解像度以上でかつ撮影可能となる付箋領域サイズを超過しているため、この二つの付箋領域の合成は行わない。つまり、最適化した最終形態としては、付箋領域１２２０と付箋領域１２０４を含むテーブル１３０５および図１２（Ｃ）の状態となる。

部分画像データ撮影警告通知手段３０４は、この結合結果の付箋領域を撮影ガイドライン警告通知として、プレビュー画像データ表示手段３５３に通知する（Ｓ１１１３）。ここでの撮影ガイドラインとしては、例えば、結合した画像を含むように撮影するようにユーザーに通知することが挙げられる。

図１１に戻り、不明付箋に対する警告通知処理について説明を加える。部分画像データ撮影警告通知手段３０４は、全不明付箋に対してＳ１１１５の処理を繰り返す（Ｓ１１１４）。部分画像データ撮影警告通知手段３０４は、着目している不明付箋の領域に関して、プレビュー画像データ表示手段３５３に警告通知も行う（Ｓ１１１５）。これは入力画像データにおいて、付箋の一部のみが撮影されている場合や、全体画像データ撮影がなされてから部分画像データ撮影までの間に付箋の内容が書きかえられたものを検出し、警告通知する処理である。

以上の警告通知を元に、プレビュー画像データ表示手段３５３は、プレビュー画像と通知された警告通知をタッチパネル１５７上に表示する。これにより、タッチパネル１５７は撮影するべき物理的な付箋がどれか、そして、それを効率的に撮影するためのガイドを明示的に表現できる。

（４）部分画像撮影登録プロセス
部分画像撮影登録プロセスについて図３を用いて説明する。部分画像撮影登録プロセスと部分画像撮影プレビュープロセスとの差異は、以下のとおりである。画像データ受信手段３０２が受信する入力画像データとして、登録画像データ受信手段３５４から撮影画像が通知される。また、部分画像データ撮影警告通知手段３０４は警告通知を登録画像データ確認表示手段３５５に通知する。

一方、部分画像撮影登録プロセスと全体画像撮影登録プロセスとの差異は、以下のとおりである。撮影モード決定手段３０３は、撮影モードとして「部分画像データ撮影設定」と決定する。これにより、画像登録手段３００は、撮影モードが「部分画像データ撮影設定」であるため、部分画像データ撮影警告通知手段３０４に対して警告通知を行うように要求する。部分画像データ撮影警告通知手段３０４は警告通知要求に応じ、登録画像データ確認表示手段３５５に警告通知を通知する。また、付箋データベース更新手段３５６は、全体画像データ登録処理（Ｓ８１１）の代わりに、部分画像データ登録処理（Ｓ８１２）によって画像データ登録処理を行う。

部分画像データ登録処理について、図１４を用いて説明する。付箋データベース更新手段３５６は、入力画像データを正規化する（Ｓ１４０１）。付箋データベース更新手段３５６は、正規化した入力画像データから入力付箋を検出する（Ｓ１４０２）。更に、付箋データベース更新手段３５６は、検出した全入力付箋に対してＳ１４０４〜Ｓ１４０５、Ｓ１４５１〜Ｓ１４５４の処理を繰り返す（Ｓ１４０３）。付箋データベース更新手段３５６は、付箋データベース３６０中に含まれる全既存付箋のうち、着目している入力付箋と特徴が一致する付箋を検索する（Ｓ１４０４）。付箋データベース更新手段３５６は、着目している入力付箋と特徴が一致する既存付箋があるか否かを判定する（Ｓ１４０５）。特徴が一致する付箋が見つからない場合（Ｓ１４０５にてＮＯ）、付箋データベース更新手段３５６は、付箋データベース３６０へ着目している入力付箋は登録しない。

特徴が一致する既存付箋が見つかった場合（Ｓ１４０５にてＹＥＳ）、付箋データベース更新手段３５６は、既存付箋の物理的なサイズ（幅・高さ）と入力付箋の電子的なサイズ（幅・高さ）から入力付箋の撮影解像度を推算する（Ｓ１４５１）。付箋データベース更新手段３５６は、既存付箋の解像度が適切ではない（Ｓ１４５２にてＮＯ）、かつ、入力付箋の解像度が最小解像度未満ではない場合（Ｓ１４５３にてＮＯ）、入力付箋を付箋データベース３６０に登録する（Ｓ１４５４）。解像度が適切か否かの判定は、上述したように予め定義された解像度の範囲と比較することにより判定することができる。なお、入力付箋の解像度が最大解像度を超える場合には付箋データベースに登録する際に、最大解像度以下となるようにリサイズを行う構成をとることも可能である。

以上の処理を繰り返すことにより、付箋データベース更新手段３５６は、入力画像データ中の入力付箋と同一特徴を持つ既存付箋の解像度が最小解像度未満である場合、その既存付箋の内容を入力付箋によって更新する。

以上、本実施例により、部分画像データの撮影解像度が過不足している場合に警告通知することが出来る。また、部分画像データの撮影解像度が不足している場合には、画像データを用いてデータベースを更新しないことが可能となる。その結果、撮影した画像データの登録におけるユーザーの利便性を向上させることができる。

＜第２の実施例＞
以下、本発明を実施するための別の実施例として、本発明の画像登録手段を電子会議システムに適用した第２の実施例を説明する。

第１の実施例においては、クライアントタブレット１５０側で入力画像データ処理を行う形態で説明を行った。しかしながら、クライアントタブレット１５０の処理性能よりも、サーバーＰＣ１００の処理性能の方が上であることが少なくない。よって、その一部の処理をサーバーＰＣ１００側に委譲することで、より効率的に処理することが可能となる。

具体的な構成例について図３のソフトモジュール構成図を用いて説明する。画像撮影手段３５０は、クライアントタブレット１５０側で実装される構成であって、ＲＡＭ１５３、ＲＯＭ１５４あるいはＳＤ Ｃａｒｄ１５９のいずれかの記憶手段に記憶され、ＣＰＵ１５２によって実行される。一方、画像登録手段３００は、サーバーＰＣ１００側で実装される構成であって、ＲＡＭ１０２、ＲＯＭ１０３、あるいはＳＡＴＡ ＨＤＤ１１２のいずれかの記憶手段に記憶され、ＣＰＵ１０１によって実行される。

クライアントタブレット１５０側の登録画像データ受信手段３５４若しくはプレビュー画像データ受信手段３５２が内蔵カメラ１５６から入力データを検知すると、有線／無線のネットワークを介して、サーバーＰＣ１００側の画像データ受信手段３０２に通知する。そして、サーバーＰＣ１００側では、部分画像データ撮影警告通知手段３０４若しくは全体画像データ撮影警告通知手段３０５にて入力画像データに対する警告通知をまとめる。画像登録手段３００は、この警告通知をクライアントタブレット１５０側のプレビュー画像データ表示手段３５３や登録画像データ確認表示手段３５５にネットワークを介して通知する。

なお、この構成の場合においては、全体画像撮影プレビュープロセスと部分画像撮影プレビュープロセスでは、画像登録手段３００が警告通知を行わない構成をなすことも可能である。この場合、プレビュー画像データ受信手段３５２は、画像データ受信手段３０２の代わりに、プレビュー画像データ表示手段３５３に入力画像データの通知だけを行う。そして全体画像データあるいは部分画像データを撮影するためのプレビュー画像上では警告を表示しない代わりに、登録画像データ確認表示手段３５５での警告通知の表示によって代替する。

以上により、第１の実施例と同じ効果を有することができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。

Claims (13)

1. 画像を撮影する撮影手段と、
   撮影モードの指定を受け付ける受付手段と、
   前記撮影手段にて撮影された画像から所定のオブジェクトに対応する画像を抽出する抽出手段と、
   前記抽出手段にて抽出した画像の解像度が、指定された撮影モードに対応して定義された解像度の範囲に含まれるか否かを判定する判定手段と、
   前記抽出手段にて抽出した画像の解像度が前記範囲に含まれない場合、ユーザーに対し、前記指定された撮影モードに対応して前記撮影手段を用いて前記所定のオブジェクトの画像を撮影するように通知する通知手段と
   を有することを特徴とする情報処理装置。
2. 前記抽出手段にて抽出した画像の解像度が前記範囲に含まれる場合、当該抽出した画像を記憶部に登録する登録手段を更に有する請求項１に記載の情報処理装置。
3. 前記撮影モードは、所定の領域の一部を撮影するためのモードと、前記所定の領域の全体を含む画像を撮影するためのモードのいずれかであることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記撮影モードが前記所定の領域の全体を含む画像を撮影するモードの場合、
   前記抽出手段は、前記撮影手段にて撮影された画像から前記所定の領域に予め配置されたマーカーの画像を抽出し、
   前記通知手段は、前記マーカーの画像を抽出できない場合に、ユーザーに対し、前記指定された撮影モードに対応する画像を、前記撮影手段を用いて撮影するように通知を行うことを特徴とする請求項３に記載の情報処理装置。
5. 前記記憶部に記憶されている画像の中から、前記範囲に含まれる解像度を有する画像と特徴量が一致もしくは近似する画像を検索する検索手段を更に有し、
   前記登録手段は、特徴量が一致もしくは近似する画像が検出された際に、前記範囲に含まれる解像度を有する画像の解像度が当該検出された画像の解像度よりも高い場合、当該検出された画像を前記範囲に含まれる解像度を有する画像にて更新することを特徴とする請求項２に記載の情報処理装置。
6. 前記抽出手段にて抽出された画像の情報と、前記所定のオブジェクトの物理的な情報とから、当該抽出した画像の解像度を推定する推定手段を更に有することを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。
7. 前記通知手段は、前記所定の領域の画像において前記撮影手段を用いて撮影するように通知する画像が複数ある場合、当該複数の画像を１の画像として結合し、当該結合した画像を含む範囲を撮影するように通知を行うことを特徴とする請求項１乃至６のいずれか一項に記載の情報処理装置。
8. 前記通知手段は、前記前記指定された撮影モードに対応して前記撮影手段が撮影する範囲に含まれる複数の画像を結合することを特徴とする請求項７に記載の情報処理装置。
9. 前記所定のオブジェクトの画像に対して文字認識を行ってテキスト情報を取得する手段を更に有することを特徴とする請求項１乃至８のいずれか一項に記載の情報処理装置。
10. 請求項１乃至９のいずれか一項に記載の情報処理装置を用いて情報共有を行う電子会議システム。
11. 前記所定のオブジェクトは、付箋であることを特徴とする請求項１０に記載の電子会議システム。
12. 撮影部により画像を撮影する撮影工程と、
    撮影モードの指定を受け付ける受付工程と、
    前記撮影工程にて撮影された画像から所定のオブジェクトに対応する画像を抽出する抽出工程と、
    前記抽出工程にて抽出した画像の解像度が、指定された撮影モードに対応して定義された解像度の範囲に含まれるか否かを判定する判定工程と、
    前記抽出工程にて抽出した画像の解像度が前記範囲に含まれない場合、ユーザーに対し、前記指定された撮影モードに対応して前記撮影部を用いて前記所定のオブジェクトの画像を撮影するように通知する通知工程と
    を有することを特徴とする情報処理方法。
13. 撮影部に接続されたコンピュータを、
    前記撮影部により画像を撮影する撮影手段、
    撮影モードの指定を受け付ける受付手段、
    前記撮影手段にて撮影された画像から所定のオブジェクトに対応する画像を抽出する抽出手段、
    前記抽出手段にて抽出した画像の解像度が、指定された撮影モードに対応して定義された解像度の範囲に含まれるか否かを判定する判定手段、
    前記抽出手段にて抽出した画像の解像度が前記範囲に含まれない場合、ユーザーに対し、前記指定された撮影モードに対応して前記撮影手段を用いて前記所定のオブジェクトの画像を撮影するように通知する通知手段
    として機能させるためのプログラム。

Images