JP2014102687A - 情報処理装置、情報処理システム及びプログラム - Google Patents

Abstract

【課題】 アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行させる。
【解決手段】情報処理装置は、１又は複数の装置に入力された各データを受信する受信手段と、表示画面での表示位置が設定された各データを記憶する記憶手段と、距離が測定可能なデバイスから取得した情報に基づき、各データを含む表示画面が投影される投影面方向の物体の３次元位置が測定された測定結果を取得する測定結果取得手段と、投影された前記表示画面に対する指示物による指示を、測定結果により認識する指示認識手段と、表示画面に含まれる一のデータの表示領域に対する指示が認識された後、表示画面に含まれる他の領域に対する指示が認識された場合、他の領域に一のデータを移動させる変更制御手段と、を備える。
【選択図】図４

Description

本発明は、ネットワークを介して他の装置とデータ通信を行う情報処理装置、情報処理システム及びプログラムに関する。

会議の参加者でアイデアを出す方法の一つに、例えばＫＪ法がある。このＫＪ法を使ったアイデア発想を行う場合、参加者が付箋紙に自分のアイデアを書き、その付箋紙を皆が見える場所に貼り付け、議論をしながら付箋紙の配置を次々に変え、グループ化することでアイデアの整理が行われる。

しかし、付箋紙の移動や整理は、相当な手間がかかり、有用とされているＫＪ法を実施する際の１つの障壁になっている。そのため、ＫＪ法を含むアイデア発想会を電子化することで、手間を軽減しようとする技術がいくつか知られている。

例えば、筆圧センサ付きの特殊なペンを使って付箋に書くことで、筆圧センサの情報とカメラ情報とから筆跡が電子化され、付箋には無線タグが付いていて、特殊なドットパターンもあり、それらから位置を同定する技術がある（例えば特許文献１参照）。

また、ＫＪ法をタッチディスプレイなど高価な機器なしで便利に行うため、付箋にバーコードをつけておき、全体画像と個別画像とを撮り、最後に電子化するのを自動化する技術がある（例えば特許文献２参照）。

また、共有画面と、ペンタブレット、参加者の全景を互いに送り合い、遠隔でのブレーンストーミングを目的とし、共有画面で、参加者が入力した資料、ペンタブレットにより入力された資料を表示する技術がある（例えば特許文献３参照）。

また、データ入力の際、個々のユーザのＩ／Ｆに表示し、その後、複数ユーザが認識可能な共通のＩ／Ｆ部分にデータが転送される技術がある（例えば特許文献４参照）。

上記の従来技術には、それぞれ問題点がある。例えば、特許文献１では、特殊な機器、紙を多数用意しなければならず、汎用性が少ない。また、特許文献１では、定期的に写真を撮らねばならず、そこで議論の流れが中断される可能性が高い。また、特許文献２では、バーコード付きの付箋が必要であり、準備に手間がかかる、又はその付箋を買う場合は費用が高い。また、特許文献３では、付箋の再配置に関しては記述されておらず、ＫＪ法には向かない。また、特許文献４では、特殊なディスプレイが必要であり、持ち運びが難しくコストも高い。

よって、従来技術では、アイデア発想会を電子化する際に、導入コストが高かったり、円滑に会を実行したりすることができなかった。

そこで、本発明は、アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行させることができることを目的とする。

本発明の一態様における情報処理装置は、１又は複数の装置に入力された各データを受信する受信手段と、表示画面での表示位置が設定された前記各データを記憶する記憶手段と、距離が測定可能なデバイスから取得した情報に基づき、前記各データを含む表示画面が投影される投影面方向の物体の３次元位置が測定された測定結果を取得する測定結果取得手段と、投影された前記表示画面に対する指示物による指示を、前記測定結果により認識する指示認識手段と、前記表示画面に含まれる一のデータの表示領域に対する指示が認識された後、前記表示画面に含まれる他の領域に対する指示が認識された場合、前記他の領域に前記一のデータを移動させる変更制御手段と、を備える。

本発明によれば、アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行させることができる。

実施例１における情報処理システムの一例を示す図。 実施例１における情報処理システムの一概念を説明する図。 実施例１におけるサーバの構成の一例を示すブロック図。 実施例１における各装置の機能の一例を示すブロック図。 校正パターンの一例を示す図。 撮影画像の特徴点の一例を示す図。 ステレオカメラによる測距を説明する図。 投影元画像の座標値と、投影された画像の３次元座標値との対応関係を示す図。 ブロックマッチングを説明する図。 タッチ検知を説明するための図。 付箋データの移動の概念を説明する図。 情報処理装置の表示画面の一例を示す図。 データ位置情報の一例を示す図。 キャンバス画像の一例を示す図。 実施例１における情報処理装置の入力処理の一例を示すフローチャート。 実施例１における情報処理の一例を示すフローチャート。 実施例１における移動処理の準備処理の一例を示すフローチャート。 実施例２における各装置の機能の一例を示すブロック図。 実施例２における投影装置の情報処理の一例を示すフローチャート。 実施例３における情報処理システムの一概念を説明する図。 実施例３における各装置の機能の一例を示すブロック図。 ストロークデータの一例を示す図。 実施例３におけるストローク処理の一例を示すフローチャート。 色選択の一概念を説明する図。 付箋データの整列の一概念を説明する図。 変形例２における情報処理システムの一概念を説明する図。

以下、本発明の各実施例を図面に基づいて説明する。
［実施例１］
＜システム＞
図１は、実施例１における情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、投影装置１０と、サーバ２０と、複数の各情報処理装置３０とが有線又は無線のネットワークを介して接続され、相互にデータ通信を行うシステムである。サーバ２０は、情報処理装置とも称す。

情報処理システム１は、例えばアイデア発想会に用いられるシステムである。以降では、アイデア発想会としてＫＪ法を例にして説明する。なお、サーバ２０は、投影装置１０や情報処理装置３０に組み込まれてもよい。

図１に示す例では、情報処理システム１は、各情報処理装置３０−ｎ（ｎ＝１〜３、ｎは３以上でもよい）がネットワークを介してサーバ２０に接続されている。なお、各情報処理装置３０−ｎは、それぞれを区別する必要がなければ、情報処理装置３０として表記する。

各情報処理装置３０は、装置に入力されたアイデアなどのデータ（例えばアイデアが記載された付箋データ）をサーバ２０に送信する。

サーバ２０は、各情報処理装置３０から各データを受信すると、そのデータに対し、所定の表示画面内での配置位置を設定し、データ位置情報を記憶する。所定の表示画面は、各情報を表示するための画面であり、データ位置情報は、各データの属性を含む情報である。各データの属性には、配置位置、サイズ、倍率などを含む。サーバ２０は、各データを、データ位置情報に基づいて配置した表示画面の表示画面情報を投影装置１０に送信する。

投影装置１０は、サーバ２０から表示画面情報を受信すると、表示画面情報に基づく表示画面を投影面に投影する。このとき、投影装置１０は、距離を測定可能なデバイスを有し、投影面までの位置や、投影面と投影装置１０との間にある指示物までの距離を測定したりする。このデバイスを測距センサとも称す。

測距センサとして、複眼式のカメラ（ステレオカメラ）や赤外線センサや超音波センサなどがある。以下では、この測距センサとしてステレオカメラを例にして説明する。投影装置１０は、測距センサから得た測定結果（距離情報）を、サーバ２０に送信する。なお、測距センサが、測定結果を直接サーバ２０に送信してもよい。

サーバ２０は、投影装置１０から受信した測定結果に基づいて、表示画面が投影された投影面に対する指示物による指示を判定する。この指示としては、例えば指示物による投影面への接触がある。指示物としては、例えば、手や指し棒などが挙げられる。

サーバ２０は、指示を認識した場合には、その指示に従って表示されたデータが移動するようにしたり、データの色を変更したり、データの整理を行ったりする。サーバ２０は、更新後の表示画面情報を投影装置１０に送信することで、投影面には更新後の表示画面が投影される。

＜概念＞
図２は、実施例１における情報処理システム１の一概念を説明する図である。図２に示す情報処理システム１では、サーバ２０が、投影装置１０に組み込まれている例を示す。また、図２に示す例では、情報処理システム１を用いてＫＪ法を電子的に行う。

図２に示す情報処理装置３０は、例えばタブレット端末であり、このタブレット端末に手書きされたデータが付箋紙上に書いたかのように表示部に表示される。

各情報処理装置３０は、手書きされたデータを付箋データとして生成し、この付箋データの画像情報（例えばビットマップ形式の情報）を投影装置１０に送信する。投影装置１０のサーバ２０の機能を有する処理部が、これらの付箋データの配置位置を決定し、こられの付箋データを含む表示画面の表示画面情報を生成する。

投影装置１０は、各情報処理装置３０から送信された各データを含む表示画面を、投影面に投影する。投影装置１０に搭載された測距センサ４０は、投影面方向に存在する物体までの距離を測定する。投影装置１０は、測距センサ４０の測定結果に基づき、投影面に対するタッチを検知する。以下、指示としては、タッチを例にして説明する。

投影装置１０は、タッチを検知すると、タッチを検知した際の基準に従って、付箋データを移動したり、付箋データの色を変えたり、付箋データを整列させたり、最終結果として出力させたりする。

＜構成＞
図３は、実施例１におけるサーバ２０の構成の一例を示すブロック図である。図３に示すサーバ２０は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、及びネットワークＩ／Ｆ部１０６を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部１０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたＫＪ法支援プログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、表示部１０８や記憶装置などに出力する。

主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部１０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１０４は、記録媒体１０５、例えばＳＤカードなどからプログラムを読み出し、記憶装置にインストールする。また、記録媒体１０５に、例えばＫＪ法支援プログラムを格納し、ＫＪ法支援プログラムはドライブ装置１０４を介してサーバ２０にインストールされる。インストールされたＫＪ法支援プログラムは、サーバ２０により実行可能となる。

ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ、ＷＡＮなどのネットワークを介して接続された通信機能を有する周辺機器とサーバ２０とのインターフェースである。

なお、情報処理装置３０は、上記構成に加え、さらに入力部や表示部を備える。入力部は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。また、入力部は、表示部と一体となったタッチパネルでもよい。

表示部は、ＬＣＤ（Liquid Crystal Display）等を有し、制御部１０１から入力される表示データに応じた表示が行われる。また、表示部は、情報処理装置１０と別体でもよく、この場合は、情報処理装置１０には、表示部を制御する表示制御部が設けられる。

＜機能＞
図４は、実施例１における各装置の機能の一例を示すブロック図である。まず、情報処理装置３０の機能について説明する。図４に示す情報処理装置３０は、作成手段２０１、及び通信手段２０２を備える。作成手段２０１は、例えば入力されたデータをＫＪ法による付箋データとして作成する。付箋データは、例えば手書きされたデータを含む画像データとして生成される。

通信手段２０２は、作成手段２０１により作成された付箋データをネットワークを介してサーバ２０に送信する。通信手段２０２は、例えばネットワークＩ／Ｆ部により実現され、作成手段２０１は、例えば入力部や制御部などにより実現されうる。

次に、サーバ２０の機能について説明する。サーバ２０は、通信手段３０１、配置手段３０２、記憶手段３０３、表示制御手段３０４、測定結果取得手段３０５、指示認識手段３０６、変更制御手段３０７、及び出力手段３０８を備える。

通信手段３０１は、情報処理装置３０や投影装置１０とデータの送受信を行う。例えば、通信手段３０１は、１又は複数の情報処理装置３０に入力された各データ（例えば付箋データ）を受信する受信手段として機能する。また、通信手段３０１は、投影装置１０に表示画面情報を送信したり、投影装置１０から、測距センサの測定結果を受信したりする。

配置手段３０２は、受信されたデータに対し、表示画面内での表示位置を設定し、位置情報を与える。

記憶手段３０３は、表示画面での表示位置が設定された各データ（データ位置情報）を記憶する。記憶手段３０３は、データ位置情報として、各データの位置、サイズ、画像データなどを保持する。

表示制御手段３０４は、記憶手段３０３に記憶されたデータ位置情報に基づいて、各データの画像情報を表示画面に配置し、表示画面情報を生成する。また、表示制御手段３０４は、後述する変更制御手段３０７により各データに変更が生じた場合は、その変更に従って、表示画面を更新する。

測定結果取得手段３０５は、距離が測定可能なデバイス（測距センサ４０）から取得した情報に基づき、各データを含む表示画面が投影される投影面方向の物体の３次元位置が測定された測定結果を取得する。投影面方向の物体には、投影面（壁やホワイトボード）、手や指し棒などが含まれる。

指示認識手段３０６は、投影された表示画面に対する指示物による指示を、測定結果取得手段３０５の測定結果により認識する。例えば、指示認識手段３０６は、平面推定された投影面と、指示物との距離が閾値以内であれば、指示（例えばタッチ）を認識する。

変更制御手段３０７は、指示認識手段３０６により指示が認識された場合、所定の基準に従って、その指示が何であるかを判断し、その指示に対応する変更を各データに加える。変更制御手段３０７は、変更内容を表示制御手段３０４に出力する。

変更制御手段３０７は、例えば、表示画面に含まれる一のデータの表示領域に対する指示が認識された後、表示画面に含まれる他の領域に対する指示が認識された場合、他の領域に一のデータを移動させる。

出力手段３０８は、ユーザから結果出力指示があった場合、結果出力時の表示画面の撮影画像、又はカテゴリ毎の付箋データを記憶手段３０３に記憶したり、出力したりする。

通信手段３０１は、例えばネットワークＩ／Ｆ部１０６により実現されうる。記憶手段３０３は、例えば主記憶部１０２及び／又は補助記憶部１０３により実現されうる。配置手段３０２、表示制御手段３０４、測定結果取得手段３０５、指示認識手段３０６、変更制御手段３０７、及び出力手段３０８は、例えば制御部１０１及びワークメモリとしての主記憶部１０２により実現されうる。

次に、投影装置１０の機能について説明する。投影装置１０は、例えばプロジェクタであり、通信手段４０１、投影手段４０２、及び測距手段４０３を備える。

通信手段４０１は、サーバ２０から表示画面情報を受信し、投影手段４０２に出力する。また、通信手段４０１は、測距手段４０３から取得した測定結果をサーバ２０に送信する。

投影手段４０２は、取得した表示画面情報に基づく表示画面を投影面に投影する。測距手段４０３は、例えば測距センサ４０であり、投影面方向に存在する物体までの距離などを測定する。測距手段４０３は、測定結果を通信手段４０１に出力する。

＜各処理＞
次に、情報処理システム１を用いてＫＪ法によるアイデア発想会を電子的に行う際の各処理について説明する。

≪移動処理準備≫
サーバ２０は、投影されたデータ（例えば付箋データ）の移動を行うための準備処理を行う。サーバ２０が投影装置１０に組み込まれている場合は、投影装置１０がこの準備処理を行う。

まず、投影装置１０は、校正パターンを投影面に投影する。図５は、校正パターンの一例を示す図である。図５に示すように、投影装置１０により、校正パターンｐ１１が、投影面に投影される。

校正パターンｐ１１は、ステレオカメラの測距センサ４０により撮影される。測距センサ４０は、校正パターンｐ１１を撮影した画像（以下、撮影画像とも称す）を、投影装置１０を介してサーバ２０に送信する。

測距手段４０３は、撮影画像から特徴点を抽出する。特徴点は、ＳＩＦＴ(Scale Invariant Feature Transform)などの手法を用いて、左右カメラで同一の点が抽出される。また、測距手段４０３は、左右両眼の画像から、Harris and Stephensのコーナー検出法などで、撮影画像のコーナーを求め、これを特徴点として使ってもよい（http://d.hatena.ne.jp/rebelwidow/20101108/1289240724、C. Harris and M. Stephens, A combined corner and edge detector, Proceedings of the 4th Alvey Vision Conference.(1988) 147-151）。

図６は、撮影画像の特徴点の一例を示す図である。図６に示す例では、撮影画像に対し、コーナーを特徴点とする例である。

また、測距手段４０３は、左右それぞれの画像における特徴点の位置座標を求め、三角測量の原理で距離を測る。測距手段４０３は、例えばステレオカメラにより撮影された画像を用いて測距する。

図７は、ステレオカメラによる測距を説明する図である。図７において、ステレオカメラは、第１の撮像レンズ４１ａ及び第２の撮像レンズ４１ｂを有する。また、ステレオカメラ４０は、第１の撮像レンズ４１ａ及び第２の撮像レンズ４１ｂの背面側の方向（投影対象物の方向と反対側の方向）に配置された第１の撮像素子４２ａ及び第２の撮像素子４２ｂを有する。ここで、撮像素子は、エリアセンサ、面センサ、及び、二次元センサ等を用いることができる。

第１の撮像レンズ４１ａと第２の撮像レンズ４１ｂとは、所定の間隔Ｄ（以下、基線長という。）で離間して配置されている。第１の撮像レンズ４１ａの光軸４３ａｘと第２の撮像レンズ４１ｂの光軸４３ｂｘは、平行である。第１の撮像素子４２ａ等は、正面側（背面側の反対側）の表面上に、対象物の像を結像する受光面を備える。第１の撮像レンズ４１ａ等の光軸４３ａｘ等は、第１の撮像素子４２ａ等の受光面の対角線の中心と一致するように位置決めされている。

測距手段４０３は、ステレオカメラが撮像した２つの撮像データに基づいて、上述の（対応点を抽出する動作）により、複数の対応点を抽出する。また、測距手段４０３、抽出された複数の対応点において、三角測量の原理により、画像処理装置から対応点（投影対象物）までの距離に関する距離データを算出する。

具体的には、第１の撮像レンズ４１ａを通して得られた投影対象物の第１の像は、第１の撮像素子４２ａ上の受光面に結像される。他方、第２の撮像レンズ４１ｂを通して得られた投影対象物の第２の像は、第２の撮像素子４２ｂ上の受光面に結像される。

ここで、投影対象物の第１の像と第２の像とは、視差Δだけ変位して、それぞれの受光面に結像されている。このとき、撮像素子４２ａ、４２ｂは、第１の像及び第２の像の光による明暗を電荷の量に光電変換し、画素出力信号として、測距手段４０３に出力する。測距手段４０３は、撮像素子４２ａ、４２ｂの画素出力信号を比較し、対応点における視差Δを検出する。

ここで、視差Δ、基線長Ｄ、画像処理装置と対応点との離間距離Ｌ、及び、撮像レンズ４１ａ等の焦点距離ｆとすると、Ｌ＞＞ｆを条件に、式（１）が成り立つ（三角測量の原理）。

この場合、Ｄとｆは既知である。測距手段４０３は、検出した視差Δから、式（１）により、離間距離Ｌを算出する。また、測距手段４０３は、算出した離間距離Ｌを対応点に対応する距離データとして、三次元点群の距離に関する距離データを取得する。

（平面を推定する動作）
測距手段４０３が投影対象物に対応する平面を推定する処理について説明する。測距手段４０３は、算出した三次元点群（対応点）の距離データに基づいて、投影対象物に対応する平面に関する回帰平面データを算出する。

測距手段４０３は、三次元点群としてｎ個の対応点（ｘ_ＡＢｉ，ｙ_ＡＢｉ，ｚ_ＡＢｉ）（ｉ＝１〜ｎ）が求められる。ここで、ｙ軸方向は、ステレオカメラ４０の光軸方向である。また、ｙ_ＡＢｉは、測距手段４０３により測定された投影対象物（対応点（ｘ_ＡＢｉ，ｚ_ＡＢｉ））と画像処理装置との離間距離Ｌのｙ成分である。

測距手段４０３は、回帰分析によって、三次元点群から回帰平面を算出するため、回帰平面の方程式をｙ＝ａｘ＋ｂｚ＋ｃと定義する。ここで、回帰平面と三次元点群とは、数式（２）が成り立つ。

ここで、式（２）の変数は、式（３）である。

このとき、ｅ_ｉは残差を示す。

次に、正規方程式は、式（４）となる。

よって、βは、式（５）となる。

以上より、最小二乗法を用いて、残差ｅ_ｉの平方和が最小となる定数ａ、ｂ、及び、ｃを算出することにより、回帰平面（ｙ＝ａｘ＋ｂｚ＋ｃ）を求めることができる。測距手段４０３は、回帰平面データとして、回帰平面の方程式（ｙ＝ａｘ＋ｂｚ＋ｃ）の定数ａ、ｂ、及び、ｃを取得する。

測距手段４０３は、求めた回帰平面データについて、ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０とし、この回帰平面を表す式を記録しておく。測距手段４０３は、特徴点の３次元座標と、撮影画像の特徴点の座標値との対応関係を保持する。測距手段４０３は、多数の特徴点から、３次元座標を投影対象画像上の座標値に変換するため、透視投影変換を行ってもよい。測距手段４０３は、３次元座標を（Ｘ，Ｙ，Ｚ）、投影対象画像の座標値を（ｕ，ｖ）とおくと、式（６）を用いて投影対象画像の座標値を求めることができる。

図８は、投影元画像の座標値と、投影された画像の３次元座標値との対応関係を示す図である。図８に示す例では、投影元画像の座標値（ｕ１２，ｖ１２）が、投影された画像の３次元座標値（Ｘ１２，Ｙ１２，Ｚ１２）に対応する。

測距手段４０３は、求めた投影対象画像上の座標値を含む測定結果を、サーバ２０に送信する。なお、測距手段４０３の距離データを求める処理や、平面推定処理は、サーバ２０側で行われてもよい。

≪移動処理≫
次に、付箋データの移動処理について説明する。まず、サーバ２０は、情報処理装置３０との通信を確立する。サーバ２０は、情報処理装置３０から取得した付箋データを投影装置１０に送信する。投影装置１０は、付箋データを投影面に投影する。

測距センサ４０は、投影面を撮影し、その撮影画像を利用して、スクリーン付近までの距離を測る。

測距手段４０３は、固定サイズのブロックを仮定し、左右でマッチングをとることにより、左右のカメラで撮影している同一の点が画像上のどこにあるかを求める。測距手段４０３は、候補となる点の座標を左（ｘｌ，ｙｌ）、右（ｘｒ，ｙｒ）とし、周囲数画素のブロックについて、左右の際をもとめ、下記ＳＡＤ又はＳＳＤの値が極大になる画素が対応する点となる（例えばhttp://www.cvl.iis.u-tokyo.ac.jp/~vanno/Programming/stereo_program.pdf参照）。

図９は、ブロックマッチングを説明する図である。図９に示す例では、第１の画像の特徴点Ｕ_Ｌ＝（ｘ_Ｌ，ｙ）と、第２の画像の特徴点Ｕ_Ｒ＝（ｘ_Ｒ，ｙ）とのマッチング処理が行われるとする。

測距手段４０３は、式（７）により求められるＳＡＤや、式（８）により求められるＳＳＤにより、第１の画像と、第２の画像とで対応する点を求める。なお、測距手段４０３の一部の処理を、サーバ２０側に行わせるようにしてもよい。

指示認識手段３０６は、投影面に対する指示があるかどうかの認識処理を行う。指示認識手段３０６は、投影画像上で数多くの点が測距された３次元座標値と、回帰平面との距離を、式（９）を用いて求める。

指示認識手段３０６は、例えば、点（ｘ０，ｙ０，ｚ０）と平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０の距離は、式（９）で算出できる。

指示認識手段３０６は、求めた距離が一定範囲内にある点群を求める。これは、投影面に対するタッチ検知のためである。なお、指示認識手段３０６は、肌色検出を行って、肌色部分の特徴点（エッジ点）と、回帰平面との距離を用いてもよい。また、指示認識手段３０６は、指し棒の先にある特定の色を検出し、この色の部分を特徴点とし、この特徴点と回帰平面との距離を用いてもよい。

図１０は、タッチ検知を説明するための図である。図１０に示す例では、手で投影面にタッチする場合を示す。図１０に示すように、投影面までの距離を求めておけば、指示認識手段３０６は、投影面から所定距離以内に手の特徴点（黒菱形）があれば、タッチと認識することができる。所定距離は、予め実験などにより適切な値が設定されればよい。

また、指示認識手段３０６は、投影面から所定距離より離れたところに手の特徴点（白三角）があれば、タッチと認識しない。

変更制御手段３０７は、投影面から所定距離内にある点群が相当する場所に、付箋データがあれば、その付箋データが選択されたと検知する。変更制御手段３０７は、記憶手段３０３に記憶されているデータ位置情報を参照して、どの付箋データが選択されたかを判定する。

ここで、付箋データの位置は、投影元画像の座標値と関連付けて記憶手段３０３に記録されている。また、透視投影行列Ｐから、３次元点から投影元座標の相当する位置は、求められる。

変更制御手段３０７は、投影元画像で付箋データに相当する位置に、検知した手があれば、この付箋データがタッチされたと判断できる。変更制御手段３０７は、ある付箋データが選択された状態で、何もない場所にタッチが検知された場合は、その場所を付箋データの移動場所と判定する。

変更制御手段３０７は、付箋データの座標値を、移動先の座標値に変更するよう表示制御手段３０４に指示する。表示制御手段３０４は、付箋データの座標値を変更した場合、記憶手段３０３のデータ位置情報を同様に変更する。

表示制御手段３０４は、付箋データの座標値を変更した場合、更新後の表示画面の表示画面情報を投影装置１０に送信する。よって、投影される表示画面が最新の画像に更新される。

図１１は、付箋データの移動の概念を説明する図である。図１１（Ａ）に示す例では、投影面の表示画面に付箋データｓ１１と付箋データｓ１２とが表示されている。また、投影面付近に手が存在するが、この手は投影面からの距離が閾値（所定距離）より離れている。

図１１（Ｂ）に示す例では、指示認識手段３０６によりタッチが認識される。これは、手が投影面から所定距離以内にあるからである。また、変更制御手段３０７は、付箋データｓ１１内でのタッチであると認識し、付箋データｓ１１が選択状態であると判定する。

図１１（Ｃ）に示す例では、手が移動した状態を示す。図１１（Ｃ）に示す例では、タッチはまだ検知されていない。

図１１（Ｄ）に示す例では、指示認識手段３０６は、タッチを認識する。変更制御手段３０７は、他の領域でのタッチであるので、選択状態の付箋データｓ１１の移動であると判定する。

変更制御手段３０７は、例えばタッチされた手部分の中心と、付箋データｓ１１の中心とが一致するように位置を変更すればよい。また、表示画面に対し、付箋データの配置位置を区画割りしておいて、どの区画にタッチされたかを変更制御手段３０７が検知し、その区画に付箋データｓ１１を配置するように変更制御手段３０７が変更してもよい。

≪付箋作成処理≫
次に、付箋作成処理について説明する。図１２は、情報処理装置３０の表示画面の一例を示す図である。図１２に示す情報処理装置３０の画面中央部に、ユーザは、電子ペンで手書き文字を描くことができる。

画面の右端には操作を行うボタンがある。ユーザは、操作ボタンを用いることで、手書き文字の画像情報をサーバ２０側に送信したり、サーバ２０に蓄積された付箋データ類を出力（印刷など）したり、通信の確立、切断などができる。また、ユーザは、付箋紙の色を選択したり、書いた文字を消去（取り消し）したりすることもできる。

情報処理装置３０は、利用開始前に、サーバ２０との通信を確立しておく。情報処理装置３０は、例えばタッチパネル上で文字や図形が描かれ、これらを画像データとして端末内に一時保存する。

ユーザが、情報処理装置３０の表示部に用意された「送信」ボタンを押すと、情報処理装置３０は、表示部に描かれた手書きデータの画像データをサーバ２０に送信する。

サーバ２０は、情報処理装置３０から画像データを取得すると、画像データに基づき付箋データを作成する。配置手段３０２は、予め定めておいた初期位置と倍率とを付箋データに付与する。配置手段３０２は、例えば図２に示す例を用いると、「未分類」の位置にセットする。

データ位置情報は、画像データと、画像データの位置、サイズ、倍率、カテゴリなどを含む情報である。

≪付箋の表示処理≫
次に、付箋の表示処理について説明する。付箋は、デジタルデータ化されており、データ位置情報は、以下のデータを含んでいる。
・表示位置の左上座標（ｘ，ｙ）
・表示倍率（ａ）
・画像の幅と高さ（ｗ，ｈ）
・画像データ（ｉ）
図１３は、データ位置情報の一例を示す図である。図１３に示す例では、付箋データの位置、倍率、サイズ、画像データが関連付けられている。なお、図２に示すように、表示画面に分類がある場合は、データ位置情報は、さらに、カテゴリを対応付け、その付箋データが、どのカテゴリに属するかを保持するようにしてもよい。図２に示す例では、カテゴリは、ｙ座標の位置によって判別することができる。

表示制御手段３０４は、投影装置１０が投影できるラスター画像を作り、このラスター画像の表示画面情報を投影装置１０に送信する。投影装置１０は、このラスター画像を投影することで表示を行う。ラスター画像は以下のように作られる。

まず、表示制御手段３０４は、投影装置１０が投影できる最大ピクセル数の、何も描かれていない画像を作成する。以下では、この画像をキャンバス画像と呼ぶことにする。

表示制御手段３０４は、データ配置情報から付箋データを１つ取得する。表示制御手段３０４は、画像データ（ｉ）を表示倍率（ａ）倍して画像を生成し、付箋画像とする。表示制御手段３０４は、表示位置（ｘ，ｙ）に従い、付箋画像をキャンバス画像に貼り付ける。表示制御手段３０４は、この処理を全ての付箋データに対して行う。

表示制御手段３０４は、キャンバス画像に全ての付箋データを張りおわったら、更新後の表示画面情報を投影装置１０に送信する。投影装置１０は、投影画像を、受信されたキャンバス画像に入れ替えて、表示をリフレッシュする。また、表示制御手段３０４の一部の処理を投影装置１０に行わせるようにしてもよい。

図１４は、キャンバス画像の一例を示す図である。図１４に示す例は、図１３に示すデータ位置情報に基づいて生成されたキャンバス画像である。

≪出力処理≫
次に、出力処理について説明する。出力処理は、上述した電子的なＫＪ法の最終結果を出力する処理である。

サーバ２０は、投影装置１０からの操作、投影面上の特定アイコンのタッチ、あるいは情報処理装置３０からの指示を受けつけ、出力指示の有無を確認する。サーバ２０は、出力指示がある場合、データ位置情報から画像を生成する。

出力手段３０８は、表示用よりも高解像度の画像を生成してもよい。また、出力手段３０８は、キャンバス画像を大きくとり、倍率を大きくすることで高解像度の画像を生成することができる。

出力の方法は様々であるが、例えば関係者にメールで画像を送る、印刷機に送って画像を印刷させる、画像ファイルとして記憶手段３０３などに保存する、などが考えられる。なお、画像ファイルとしては、後ほど編集が可能なように、カテゴリ毎に付箋データを関連付けて保持しておくとよい。

≪終了処理≫
次に、終了処理について説明する。サーバ２０は、投影装置１０での操作、投影面上の特定アイコンのタッチ、あるいは情報処理装置３０からの指示を受けつけ、終了の指示があるかを確認する。

サーバ２０は、終了指示がなければ投影・移動を続行し、終了指示があれば通信を切断して、上記処理を終了する。

＜動作＞
次に、実施例１における情報処理システム１の動作について説明する。まず、情報処理装置３０の入力処理について説明する。

図１５は、実施例１における情報処理装置３０の入力処理の一例を示すフローチャートである。図１５に示すステップＳ１０１で、通信手段２０２は、サーバ２０との通信を確立する。

ステップＳ１０２で、作成手段２０１は、ユーザから手書き入力又はキー入力などによりデータが入力され、このデータを記載した付箋データを作成する。

ステップＳ１０３で、情報処理装置３０は、送信ボタンの押下などにより、送信指示があるか否かを判定する。送信指示があれば（ステップＳ１０３−ＹＥＳ）ステップＳ１０４に進み、送信指示がなければ（ステップＳ１０３−ＮＯ）ステップＳ１０５に進む。

ステップＳ１０４で、通信手段２０２は、作成された付箋データをサーバ２０に送信する。

ステップＳ１０５で、情報処理装置３０は、終了ボタンの押下などにより、終了指示があるか否かを判定する。終了指示があれば（ステップＳ１０５−ＹＥＳ）ステップＳ１０６に進み、終了指示がなければ（ステップＳ１０５−ＮＯ）ステップＳ１０２に戻る。

ステップＳ１０６で、通信手段２０２は、サーバ２０に終了コマンドを送信し、サーバ２０との通信を切断する。

次に、サーバ２０と投影装置１０との動作について説明する。図１６は、実施例１における情報処理の一例を示すフローチャートである。図１６に示すステップＳ２０１で、サーバ２０は、上述した移動処理の準備を行う。この処理は、図１７を用いて後述する。

ステップＳ２０２で、通信手段３０１は、情報処理装置３０との通信を確立する。ステップＳ２０３で、表示制御手段３０４は、初期表示画面を生成し、投影装置１０に送信する。投影装置１０では、初期表示画面を投影し、表示する。

ステップＳ２０４で、通信手段３０１は、各情報処理装置３０からデータ（付箋データ）を受信したか否かを判定する。データが受信されていれば（ステップＳ２０４−ＹＥＳ）ステップＳ２０５に進み、データが受信されていなければ（ステップＳ２０４−ＮＯ）ステップＳ２０７に進む。

ステップＳ２０５で、配置手段３０２は、付箋データを作成する。ステップＳ２０６で、配置手段３０２は、付箋データを初期表示位置に配置し、位置情報を与える。

ステップＳ２０７で、測距手段４０３は、測距センサ４０からの情報により、投影方向の物体までの位置を測定する。測定結果取得手段３０５は、測距手段４０３から測定結果を取得する。

ステップＳ２０８で、指示認識手段３０６は、投影面に対する指示物による指示を認識したとする。この認識は、指示物と投影面との距離が閾値以内であれば、指示（投影面に対するタッチ）を認識する。

ステップＳ２０９で、変更制御手段３０７は、移動指示があったか否かを判定する。移動指示があれば（ステップＳ２０９−ＹＥＳ）ステップＳ２１０に進み、移動指示がなければ（ステップＳ２０９−ＮＯ）ステップＳ２１１に進む。

ステップＳ２１０で、変更制御手段３０７は、付箋データを更新する。この更新は、付箋データの座標を変更する処理である。

ステップＳ２１１で、表示制御手段３０４は、付箋データの表示位置を、変更後の位置に再配置する。

ステップＳ２１２で、サーバ２０は、出力指示があるか否かを判定する。出力指示があれば（ステップＳ２１２−ＹＥＳ）ステップＳ２１３に進み、出力指示がなければ（ステップＳ２１２−ＮＯ）ステップＳ２１５に進む。

ステップＳ２１３で、出力手段３０８は、出力データを作成する。どの出力データ（画像データ、画像ファイル、印刷画像など）を作成するかは、ユーザなどにより選択されればよい。ステップＳ２１４で、出力手段３０８は、結果情報の出力を行う。

ステップＳ２１５で、通信手段３０１は、情報処理装置３０から終了指示の取得などにより、終了指示があるか否かを判定する。終了指示があれば（ステップＳ２１５−ＹＥＳ）ステップＳ２１６に進み、終了指示がなければ（ステップＳ２１５−ＮＯ）ステップＳ２０４に戻る。ステップＳ２１６で、通信手段３０１は、情報処理装置３０との通信を切断する。

次に、移動処理の準備処理について説明する。図１７は、実施例１における移動処理の準備処理の一例を示すフローチャートである。

図１７に示すステップＳ３０１で、投影手段４０２は、校正パターンを投影する（例えば図５参照）。

ステップＳ３０２で、測距手段４０３は、投影面に投影された校正パターンを撮影し、撮影画像を生成する。

ステップＳ３０３で、測距手段４０３は、撮影画像から特徴点を抽出する（例えば図６参照）。

ステップＳ３０４で、測距手段４０３は、三角測量の原理により、特徴点までの距離を算出する。

ステップＳ３０５で、測距手段４０３は、上述したように、特徴点の３次元座標を求める。

ステップＳ３０６で、測距手段４０３は、上述したように、回帰平面を求める。ステップＳ３０７で、測距手段４０３は、式（６）等を用いて透視投影行列Ｐを求める。これにより、移動処理の準備処理が完了する。

以上、実施例１によれば、アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行することができる。

また、実施例１によれば、投影装置１０に測距センサ４０を付与することで、特殊なハードウェアが不要となる。測距センサ４０は、既に販売されているものを用いることができ、測距センサ４０は廉価である。また、投影装置１０としてのプロジェクタは、持ち運びが容易で大きな画面が得られる。また、実施例１における情報処理システム１を導入することで、議論中には写真を撮るなど特殊な作業は必要なく、議論の流れを妨げず、円滑に会を実行することができる。

［実施例２］
次に、実施例２における情報処理システムについて説明する。実施例２では、サーバ２０の機能を投影装置１０に組み込んでいる例であり、さらに、投影される付箋データの表示倍率を変更できる。実施例２における投影装置は、投影装置１０Ａと表記される。

＜システム及び構成＞
実施例２におけるシステム及び構成は、実施例１におけるサーバ２０が投影装置１０Ａに組み込まれているところが、実施例１と異なる。

＜機能＞
図１８は、実施例２における各装置の機能の一例を示すブロック図である。情報処理装置３０の機能は、実施例１と同様であるため、その説明を省略する。

サーバ機能を有する投影装置１０Ａは、配置手段３０２、記憶手段３０３、表示制御手段３０４、指示認識手段３０６、変更制御手段３０７、出力手段３０８、投影手段４０２、測距手段４０３、通信手段５０１、及び倍率変更手段５０２を備える。

図１８に示す投影装置１０Ａの機能で、図４に示す機能と同様のものは同じ符号を付す。以下では、実施例２において異なる機能について主に説明する。

通信手段５０１は、各情報処理装置３０から、各データ（例えば付箋データ）を受信する。また、通信手段５０１は、出力手段３０８による出力データを、各情報処理装置３０に送信してもよい。

倍率変更手段５０２は、例えば、投影される表示画面に含まれる付箋データの数に応じて、付箋データの表示倍率を変更する。倍率変更手段５０２は、例えば、表示画面内の付箋データの数が閾値以上になれば、データ位置情報の倍率（ａ）部分を現在値より小さくするよう書き換える。また、倍率変更手段５０２は、表示画面の付箋データの数が閾値未満になれば、データ位置情報の倍率（ａ）を現在値より大きくしてもよい。

表示制御手段３０４は、倍率更新後の表示画面を生成し、投影手段４０２は、投影される表示画面を、更新後の表示画面にリフレッシュすればよい。また、倍率変更手段５０２は、投影画面に倍率変更ボタンを表示させ、この倍率変更ボタンがタッチされたことを検知した場合、倍率を変更するようにしてもよい。

これにより、表示画面内の付箋データの数に応じて、付箋データの倍率を変更できるので、適切なサイズで付箋データを表示、投影することができる。

＜動作＞
次に、実施例２における情報処理システムの動作について説明する。図１９は、実施例２における投影装置１０Ａの情報処理の一例を示すフローチャートである。図１９に示すステップＳ４０１〜Ｓ４１１の処理は、図１６に示すステップＳ２０１〜Ｓ２１１の処理と同様である。

ステップＳ４１２で、倍率変更手段５０２は、倍率の変更指示があるか否かを判定する。倍率の変更指示は、表示制御手段３０４が、表示画面内の付箋データの数に応じて倍率変更手段５０２に変更指示を出してもよいし、操作ボタンなどによりユーザから明示的に変更指示されてもよい。

倍率の変更指示があれば（ステップＳ４１２−ＹＥＳ）ステップＳ４１３に進み、倍率の変更指示がなければ（ステップＳ４１２−ＮＯ）ステップＳ４１５に進む。

ステップＳ４１３で、倍率変更手段５０２は、付箋データを更新する。この更新は、付箋データの倍率を変更する処理である。

ステップＳ４１４で、表示制御手段３０４は、付箋データを、変更後の倍率にして表示するよう表示画面を更新する。

ステップＳ４１５〜Ｓ４１９の処理は、図１６に示すステップＳ２１２〜Ｓ２１６の処理と同様である。

以上、実施例２によれば、アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行することができる。また、実施例２によれば、付箋データが多くなった場合でも、多くの付箋を並べて表示することができる。この効果は、紙の付箋にはない効果である。

［実施例３］
次に、実施例３における情報処理システムについて説明する。実施例３では、電子黒板の仕組みを合わせて導入することで、より利便性を増すことができる。また、実施例３でも、サーバ２０が投影装置１０に組み込まれた例を用いて説明する。実施例３における投影装置は、投影装置１０Ｂと表示される。

＜概念＞
図２０は、実施例３における情報処理システムの一概念を説明する図である。図２０に示すように、実施例３では、赤外発光手段６０２を持つ筆記具（例えば専用ペン）６０が用いられる。この筆記具６０は、先端部を押すとその圧力を感圧手段６０１により検知し、先端部が赤外発光手段６０２により赤外発光する。

赤外光をも検知可能な測距センサ４０Ｂ（ステレオカメラ）は、投影面内における発光位置を検知し、手書きストロークが描かれたと検知する。投影装置１０Ｂは、直前に検知された筆記具６０の位置（赤外発光部の位置）と新たに検知された位置を結ぶ直線を描画しつつ、手書きストロークのデータを更新する。

＜システム及び構成＞
実施例３におけるシステム及び構成は、実施例１におけるサーバ２０が投影装置１０Ｂに組み込まれているところが、実施例１と異なる。

＜機能＞
図２１は、実施例３における各装置の機能の一例を示すブロック図である。情報処理装置３０の機能は、実施例１と同様であるため、その説明を省略する。

筆記具６０は、投影面に対するストロークを認識可能であり、感圧手段６０１及び赤外発光手段６０２を備える。感圧手段６０１は、筆記具６０の先端部が押された場合に、その圧力を検知する。感圧手段６０１は、圧力を検知した場合に、赤外発光手段６０２に赤外発光を指示する。

赤外発光手段６０２は、感圧手段６０１から赤外発光の指示を受けた場合、赤外光を発光する。

サーバ機能を有する投影装置１０Ｂは、配置手段３０２、指示認識手段３０６、変更制御手段３０７、出力手段３０８、投影手段４０２、測距手段４０３、通信手段５０１、ストローク認識手段７０１、記憶手段７０２、及び表示制御手段７０３を備える。

図２１に示す投影装置１０Ｂの機能で、図４、図１８に示す機能と同じものは同じ符号を付す。以下では、実施例３において異なる機能について説明する。

ストローク認識手段７０１は、測距センサ４０Ｂであるカメラに受光された赤外光の発光を検知した場合、その発光位置を算出する。このとき、測距センサ４０Ｂであるカメラは、赤外カットフィルタが外され、赤外光を受信できる状態になっている。

ストローク認識手段７０１は、発光位置を順に算出し、記録していくことでストロークデータを認識できる。ストロークデータは、例えば記憶手段７０２に記憶される。このストロークデータは、次々に更新される。

記憶手段７０２は、ストローク認識手段７０１により認識された座標値が次々にストロークデータとして記録される。

図２２は、ストロークデータの一例を示す図である。図２２に示す例では、ストロークデータの先頭部は、ストロークの色、太さが格納されている。また、ストロークデータには、座標値が多数記録されている。

図２１に戻り、表示制御手段７０３は、ストロークデータの記録順に、座標値をストロークの色、太さで順に結ぶ描画を行うことで、ストロークを表示することが可能になる。このストロークデータは、筆記具６０が圧力を検知してから検知しなくなるまで、次々に更新されていき、座標値が付け足されていく。

筆記具６０の感圧が一旦なくなると、次に感圧したときに新たなストロークデータが生成され、また次々にストロークデータが追加されていく。

なお、太さ及び色は、初期値として予め設定された太さ及び色を用いればよい。図２２に示す例では、太さの初期値として「５」が設定され、色の初期値として「赤」が設定されている。

また、太さ及び／又は色は、ユーザにより変更されてもよい。太さ及び色が変更可能であるので、ストロークデータについて、例えば赤くて太いストロークから、青くて細いストロークに変更することが可能になる。

＜動作＞
次に、実施例３における情報処理システムの動作について説明する。以下では、ストローク処理について主に説明する。

図２３は、実施例３におけるストローク処理の一例を示すフローチャートである。図２３に示すステップＳ５０１で、測距センサ４０Ｂは、赤外光を検知したか否かを判定する。測距センサ４０Ｂにより赤外光が受光されていれば（ステップＳ５０１−ＹＥＳ）ステップＳ５０２に進み、赤外光が受光されていなければ（ステップＳ５０１−ＮＯ）処理が終了する。

ステップＳ５０２で、ストローク認識手段７０１は、測距センサ４０Ｂが受光した赤外光の発光位置の座標値を算出する。ストローク認識手段７０１は、認識した座標値を、記憶手段７０２に記憶されるストロークデータに記録することで、ストロークデータを更新する。

ステップＳ５０３で、表示制御手段７０３は、記憶手段７０２に記憶されるストロークデータが更新されると、更新されたストロークデータに基づいて、ストロークを可視化する。表示制御手段７０３により可視化されたストロークは、投影手段４０２により投影面に投影される。ステップＳ５０１〜Ｓ５０３の処理は、図１６に示すステップＳ２１１とＳ２１２の間に挿入される。

これにより、最終的に結果を出力する際、ストローク情報も含めて出力すれば、強調するために入れた文字などを記録しておくことができるので、会議の結果を整理するうえで助けとなる。

以上、実施例３によれば、アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行することできる。また、実施例３によれば、手書きデータを描画することができる。

［変形例］
次に、上記実施例の各変形例について説明する。

（変形例１）
変形例１では、投影された付箋データの色を選択可能にする。例えば、表示画面に色選択ボタンを表示させ、ユーザにその色を選択させる。次に、色が選択された状態で、付箋データにタッチされた場合には、その付箋データの色が選択された色になるようにする。

図２４は、色選択の一概念を説明する図である。図２４に示すように、表示画面の左側に、カラーパッチが配置される。図２４に示すように、ユーザがカラーパッチの色を選択した場合（ｃ２１の色）、変更制御手段は、タッチの位置からどの色が選択されたかを識別する。例えば、記憶手段に、色と位置とを対応付けた色情報を保持させておけばよい。変更制御手段は、タッチされた位置から色情報を参照することで、どの色が選択されたかを判断できる。

さらに、変更制御手段は、色が選択された状態で、付箋データｓ２１がタッチ（指示）されたと認識すれば、そのタッチされた付箋データｓ２１の画像の色を、選択された色ｃ２１に変更する。

つまり、変更制御手段は、表示画面に含まれる色選択領域内の一の色に対する指示が認識された後、表示画面に含まれる一のデータに対する指示が認識された場合、この一のデータの色を、指示された一の色に変更する。

以上のように、付箋データの色を会の途中で変更することができる。また、表示されている付箋データを何らかの分類に沿って色をつければ、色を基準に自動的に並び替えることが可能になる。これは、紙の付箋を使った場合と比較したときのメリットである。

図２５は、付箋データの整列の一概念を説明する図である。図２５に示す例では、整列を示すボタンｂ１１がタッチされた場合、付箋データの色に応じて、付箋データがグループ化される。

上記処理について、変更制御手段は、表示画面に含まれる、データを整列させるための領域（例えばボタンｂ１１の領域）に対する指示が認識された場合、データの色に応じて各データをグループ化する。この場合、変更制御手段は、データ位置情報内の画像データ（ｉ）の色を判別し、色毎に付箋データの並べ替え（グルーピング）を行う。表示制御手段は、色毎に並べ替えられた付箋データを表示するための表示画面を生成する。これにより、実施例の情報処理システムにグルーピングを補助する機構をつけることで、考えの整理をつけやすくなる。

（変形例２）
次に、変形例２における情報処理システムについて説明する。変形例２では、情報処理装置３０だけを用いて情報処理システムを構築する。例えば、一の情報処理装置（親装置とも称す）に、サーバ２０の機能を持たせる。親装置は、表示画面を投影する代わりに、自身の表示部に表示する。

図２６は、変形例２における情報処理システムの一概念を説明する図である。図２６に示すように、親装置３５は、情報処理装置３０と同様の装置であり、各情報処理装置３０からデータを受信する。親装置３５は、サーバ２０が有していた機能を有するため、各データを含む表示画面を生成し、表示する。

また、親装置３５は、タッチパネルを有するとすると、上述した処理のタッチ検知を、タッチパネル上でのタッチ検知に置き換える。これにより、親装置３５は、タッチ検知を行うことで、付箋データを移動させることができる。

親装置３５の機能を実行させるプログラムを、所定の装置にインストールさせ、情報処理装置３０の機能を実行させるプログラムを、各装置にインストールさせることで、変形例２におけるシステムを構築することができる。

なお、各実施例や変形例の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、各実施例や変形例の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、各実施例や変形例の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、各実施例や変形例の各装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

なお、各実施例や変形例の情報処理装置、情報処理システム及びプログラムは、上記各施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施例に示される全構成要素からいくつかの構成要素を削除してもよい。

１ 情報処理システム
１０ 投影装置
２０ サーバ（情報処理装置）
３０ 情報処理装置
１０１ 制御部
１０２ 主記憶部
１０３ 補助記憶部
３０１ 通信手段
３０２ 配置手段
３０３ 記憶手段
３０４ 表示制御手段
３０５ 測定結果取得手段
３０６ 指示認識手段
３０７ 変更制御手段
３０９ 出力手段
４０３ 測距手段
５０２ 倍率変更手段
７０１ ストローク認識手段

特許第４７５３８４２号公報 特開２００６−５９０２０号公報 特開平６−３１１５１０号公報 特表２０１１−５２３７３９号公報

Claims (8)

1. １又は複数の装置に入力された各データを受信する受信手段と、
   表示画面での表示位置が設定された前記各データを記憶する記憶手段と、
   距離が測定可能なデバイスから取得した情報に基づき、前記各データを含む表示画面が投影される投影面方向の物体の３次元位置が測定された測定結果を取得する測定結果取得手段と、
   投影された前記表示画面に対する指示物による指示を、前記測定結果により認識する指示認識手段と、
   前記表示画面に含まれる一のデータの表示領域に対する指示が認識された後、前記表示画面に含まれる他の領域に対する指示が認識された場合、前記他の領域に前記一のデータを移動させる変更制御手段と、
   を備える情報処理装置。
2. 前記指示認識手段は、
   平面推定された前記投影面と、前記指示物との距離が閾値以内であれば、指示を認識する請求項１記載の情報処理装置。
3. 前記表示画面に含まれるデータの数に応じて、前記データの表示倍率を変更する倍率変更手段をさらに備える請求項１又は２記載の情報処理装置。
4. 前記投影面に対するストロークを認識可能な筆記具からのデータに基づきストロークデータを認識するストローク認識手段をさらに備え、
   前記表示制御手段は、
   前記ストロークデータを前記表示画面に可視化する請求項１乃至３いずれか一項に記載の情報処理装置。
5. 前記変更制御手段は、
   前記表示画面に含まれる色選択領域内の一の色に対する指示が認識された後、前記表示画面に含まれる一のデータに対する指示が認識された場合、該一のデータの色を、前記一の色に変更する請求項１乃至４いずれか一項に記載の情報処理装置。
6. 前記変更制御手段は、
   前記表示画面に含まれる、前記データを整列させるための領域に対する指示が認識された場合、前記データの色に応じて前記各データをグループ化する請求項1乃至５いずれか一項に記載の情報処理装置。
7. 各情報処理装置と投影装置がネットワークを介して接続された情報処理システムであって、
   １又は複数の情報処理装置に入力された各データを受信する受信手段と、
   表示画面での表示位置が設定された前記各データを記憶する記憶手段と、
   距離が測定可能なデバイスから取得された測定結果に基づき、前記投影装置により前記各データを含む表示画面が投影される投影面方向の物体の３次元位置を測定する測定手段と、
   投影された前記表示画面に対する指示物による指示を、前記測定手段の測定結果により認識する指示認識手段と、
   前記表示画面に含まれる一のデータの表示領域に対する指示が認識された後、前記表示画面に含まれる他の領域に対する指示が認識された場合、前記他の領域に前記一のデータを移動させる変更制御手段と、
   を備える情報処理システム。
8. １又は複数の装置に入力された各データを受信する受信ステップと、
   表示画面での表示位置が設定された前記各データを記憶部に記憶する記憶ステップと、
   距離が測定可能なデバイスから取得された測定結果に基づき、前記各データを含む表示画面が投影される投影面方向の物体の３次元位置を測定する測定ステップと、
   投影された前記表示画面に対する指示物による指示を、前記測定ステップによる測定結果により認識する指示認識ステップと、
   前記表示画面に含まれる一のデータの表示領域に対する指示が認識された後、前記表示画面に含まれる他の領域に対する指示が認識された場合、前記他の領域に前記一のデータを移動させる変更制御ステップと、
   をコンピュータに実行させるプログラム。