JP5440926B2 - 情報処理システム及びそのプログラム - Google Patents

Description

本発明は、位置座標を示すコード化パターンを用いて情報を入力することができる情報処理システムに関し、特に、コード化パターンの位置座標をコンピュータ装置の表示画面の位置座標に変換後の情報処理に関する。

近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto 社が開発した「アノトペン（Anoto pen ）」が知られている。アノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像などの記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される（例えば、特許文献１参照）。

また、このような電子ペンと、コンピュータ、プロジェクター及びスクリーンを用いて、スクリーンに電子ペンで記入ないし走査すると、それに応じてコンピュータが所定の処理を行うとともに、コンピュータの表示画面をプロジェクターでスクリーンに投影するシステムが提案されている（例えば、特許文献２〜５）。電子ペンは、スクリーンに形成されたドットパターンを読み取り、コンピュータは、電子ペンから送信された情報に基づき、その位置座標を解析して、その位置座標に応じた処理を行うというものであり、これにより、インクのない電子ペンであっても、スクリーン上を電子ペンでなぞれば、その筆跡に応じて、プロジェクターから線が描画された画像を投影したり、画像の制御やソフトウェアを操作したりできるとされている。

また、ホワイトボードにパソコンの画面がプロジェクターによって投影され、ホワイトボードにマーカーで記入した座標を座標読取装置で超音波又は赤外線により読み取ってパソコンに送信することで、パソコンの画面上でクリックなどをすることができるシステムにおいて、最初にキャリブレーション用のポイントをプロジェクターにより投影し、マーカーでポイントを指示させることで、ホワイトボードの座標とパソコン画面の座標とをキャリブレーションすることも提案されている（特許文献６）。

また、コンピュータのディスプレイに、ドットパターンが印刷された透明シートを貼り付け、電子ペンで透明シートに手書きをすることにより、ドットパターンを電子ペンで読み取らせつつ、コンピュータに手書き入力することが提案されている（例えば、特許文献７）。さらには、コンピュータのディスプレイにおける位置座標と，そのディスプレイに貼り付けられた透明シートのドットパターンにおける位置座標とをキャリブレーションするために、ディスプレイの四隅付近のドットパターンを電子ペンで読み取らせることも提案されている（特許文献８）。

特表２００３−５１１７６１号公報 特開２００８−１５２７５５号公報 特開２００２−１４９３３１号公報 特開２００８−１５４２１１号公報 特表２００３−５０８８３１号公報 特開２００７−２３３９９９号公報 特開２００３−２５６１２２号公報 特開２００８−１６５３８４号公報

このようなシステムにおいては、キャリブレーションによって、電子ペンの処理から得られたドットパターンにおける位置座標をディスプレイの位置座標に変換できるとしても、実行しているアプリケーションによっては、電子ペンからの情報を選別して処理しなければならない。

そこで、本発明は、位置座標を示すコード化パターンが形成されたスクリーンないし透明シートの位置座標を、コンピュータ装置の表示手段における表示画面上の位置座標に変換する情報処理システムにおいて、読取手段によりコード化パターンを読み取って得られた情報を選別して処理するよう構成させることを目的とする。

本発明に係る情報処理システムは、位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る読取手段と、前記読取手段から送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムであって、
前記コンピュータ装置は、前記読取手段から送信されたコード化パターンに関する情報を受信する受信手段と、拡大ボタン、縮小ボタン、および書き込み領域を有する移動可能なウィンドウを表示手段に表示し、前記受信手段により受信した情報に含まれるコード化パターンの位置座標を前記表示手段の表示画面における位置座標に変換し、その座標変換された位置座標が書き込み領域内にある場合には前記座標変換された位置座標に基づいてストロークを前記書き込み領域に描画してファイルに保存し、座標変換された位置座標が前記拡大ボタンまたは前記縮小ボタンを指示するものと認識した場合には指示されたボタンに応じて前記書き込み領域を拡大または縮小するとともに、描画したストロークを前記書き込み領域の表示倍率および位置に合わせて表示し、その表示倍率および位置での前記書き込み領域への書き込みを受けると座標変換された位置座標に基づいてストロークを描画して同じファイルに保存する処理手段とを備えることを特徴とする。

この情報処理システムによれば、読取手段によってスクリーンに形成されたコード化パターンを読み取ると、読取手段は、コンピュータ装置へコード化パターンに関する情報を送信する。コンピュータ装置は、読取手段からコード化パターンに関する情報を受信して、当該情報に応じた処理を行うとともに、スクリーンに画像を投影するプロジェクターへ画像信号を送信する。このような情報処理システムにおいて、処理手段は、拡大ボタン、縮小ボタン、および書き込み領域を有する移動可能なウィンドウを表示手段に表示し、受信手段により受信した情報に含まれるコード化パターンの位置座標を表示手段の表示画面における位置座標に変換したうえで、その座標変換された位置座標が書き込み領域内にある場合にはその座標変換された位置座標に基づいてストロークを書き込み領域に描画してファイルに保存し、座標変換された位置座標が前記拡大ボタンまたは前記縮小ボタンを指示するものと認識した場合には指示されたボタンに応じて前記書き込み領域を拡大または縮小するとともに、描画したストロークを前記書き込み領域の表示倍率および位置に合わせて表示し、その表示倍率および位置での前記書き込み領域への書き込みを受けると座標変換された位置座標に基づいてストロークを描画して同じファイルに保存するが、座標変換された位置座標が書き込み領域内にない場合には、書き込み領域にストロークとして取り込まないようにすることができる。

または、本発明に係る情報処理システムは、位置座標を示すコード化パターンが形成された透明シートと、前記コード化パターンを読み取る読取手段と、前記読取手段から送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムであって、
前記透明シートは前記コンピュータ装置の表示手段の表示画面に貼付されており、前記コンピュータ装置は、前記読取手段から送信されたコード化パターンに関する情報を受信する受信手段と、拡大ボタン、縮小ボタン、および書き込み領域を有する移動可能なウィンドウを表示手段に表示し、前記受信手段により受信した情報に含まれるコード化パターンの位置座標を前記表示手段の表示画面における位置座標に変換し、その座標変換された位置座標が書き込み領域内にある場合には前記座標変換された位置座標に基づいてストロークを前記書き込み領域に描画してファイルに保存し、座標変換された位置座標が前記拡大ボタンまたは前記縮小ボタンを指示するものと認識した場合には指示されたボタンに応じて前記書き込み領域を拡大または縮小するとともに、描画したストロークを前記書き込み領域の表示倍率および位置に合わせて表示し、その表示倍率および位置での前記書き込み領域への書き込みを受けると座標変換された位置座標に基づいてストロークを描画して同じファイルに保存する処理手段とを備えることを特徴とする。

この情報処理システムによれば、読取手段によって透明シートに形成されたコード化パターンを読み取ると、読取手段は、コンピュータ装置へコード化パターンに関する情報を送信する。コンピュータ装置は、読取手段からコード化パターンに関する情報を受信して、当該情報に応じた処理を行うとともに、透明シートに画像を投影するプロジェクターへ画像信号を送信する。このような情報処理システムにおいて、処理手段は、拡大ボタン、縮小ボタン、および書き込み領域を有する移動可能なウィンドウを表示手段に表示し、受信手段により受信した情報に含まれるコード化パターンの位置座標を表示手段の表示画面における位置座標に変換したうえで、その座標変換された位置座標が書き込み領域内にある場合にはその座標変換された位置座標に基づいてストロークを書き込み領域に描画してファイルに保存し、座標変換された位置座標が前記拡大ボタンまたは前記縮小ボタンを指示するものと認識した場合には指示されたボタンに応じて前記書き込み領域を拡大または縮小するとともに、描画したストロークを前記書き込み領域の表示倍率および位置に合わせて表示し、その表示倍率および位置での前記書き込み領域への書き込みを受けると座標変換された位置座標に基づいてストロークを描画して同じファイルに保存するが、座標変換された位置座標が書き込み領域内にない場合には、書き込み領域にストロークとして取り込まないようにすることができる。

また、上記情報処理システムにおいて、前記処理手段は、前記受信手段により前記情報を受信した時に、前記座標変換するための座標変換関数を定義していないと判断した場合は、座標変換関数を求めるためのキャリブレーション処理を開始するよう構成するとよい。これにより、読取手段でコード化パターンを読み取っても、コンピュータ装置が受信した情報を適切に認識することができない場合に、コード化パターンの位置座標を表示手段の表示画面における位置座標に変換する座標変換関数を求めるためのキャリブレーション処理を開始するため、コンピュータ装置が受信した情報を適切に認識できるようになる。

また、本発明に係るプログラムは、上記情報処理システムにおけるコンピュータ装置としてコンピュータを機能させることを特徴とする。このプログラムをコンピュータ装置にインストールすることにより、上記のコンピュータ装置を実現し、情報処理システムを構成することができる。

本発明によれば、位置座標を示すコード化パターンが形成されたスクリーンないし透明シートの位置座標と、コンピュータ装置の表示手段における表示画面上の位置座標との間で精度の高いキャリブレーション処理を行うことができる。

第１実施形態における情報処理システムのシステム構成図である。 ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。 （ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。 電子ペンの構造を示す概略図である。 コンピュータ装置の機能ブロック図である。 第１実施形態におけるキャリブレーション起動処理のフロー図である。 第１実施形態におけるキャリブレーション処理のフロー図である。 第１実施形態においてスクリーンに投影されたキャリブレーション用マークの画像を示す図である。 コンピュータ装置の表示画面上における表示基準点の位置座標を示す図である。 スクリーン上における認識基準点の位置座標と同一認識範囲について示す図である。 スクリーンに投影された画像を示す図である。 手書き入力アプリケーションが起動した表示画面が、スクリーンに投影された画像を示す図である。 手書き入力アプリケーションの書き込み領域に電子ペンで手書き文字等を記入して入力する処理のフロー図である。 電子ペンによって、図１２に示すスクリーンに投影された書き込み領域内に書き込んでいる様子を示す図である。 電子ペンの操作により、手書き入力アプリケーションのウィンドウを図１４に示す位置から移動させる様子を示す図である。 電子ペンによって、図１５に示すスクリーンに投影された書き込み領域内に続けて書き込んでいる様子を示す図である。 電子ペンによって、図１６に示すスクリーン上の拡大ボタンをタップして書き込み領域を拡大させる様子を示す図である。 電子ペンによって、図１７に示すスクリーンに投影されている拡大された書き込み領域内に、さらに続けてストロークを書き込んでいる様子を示す図である。 図１８に示すスクリーンに投影されているウィンドウにおいて、書き込み領域内の表示させる領域を変え、さらに続けてストロークを書き込んでいる様子を示す図である。 電子ペンによって、図１９に示す書き込み領域を全体的に表示させた様子を示す図である。 第２実施形態における情報処理システムのシステム構成図である。

以下、図面を参照して、本発明の好適な情報処理システムについて詳細に説明する。

＜第１実施形態＞
［情報処理システムのシステム構成］
図１は、本第１実施形態における情報処理システム１０のシステム構成図である。図１に示すように、本第１実施形態における情報処理システム１０は、ユーザが使用する電子ペン１（読取手段）と、電子ペン１から記入情報等を受信して処理するコンピュータ装置２と、コンピュータ装置２のディスプレイ（表示手段）２６の表示内容をスクリーン４に投影するプロジェクター３とから構成される。

［スクリーン］
まず、スクリーン４について説明する。スクリーン４は、電子ペン１に十分に筆圧がかかる程度に硬いマグネット板（ホワイトボード）４０１の前面に、後述するドットパターン（コード化パターン）が印刷により全面に形成された用紙４０２を上からマグネットで押さえ付けたり、あるいは糊、粘着剤あるいは接着剤等で貼りつけたりしたものである。なお、マグネット板４０１の代わりに部屋の壁面等を利用してもよい。また、用紙４０２の代わりに、ドットパターンが印刷されたプラスチック製のシートでもよく、あるいは、マグネット板（ホワイトボード）４０１にドットパターンを直接形成してもよい。ユーザが電子ペン１によってスクリーン４に文字などを書くと、電子ペン１は、ペン先部の移動軌跡に沿って、用紙４０２に印刷されたドットパターンを局所的、連続的に読み取り、スクリーン４におけるその局所位置の座標を算出し、その電子データ（記入情報）をコンピュータ装置２へ送信する。一方、プロジェクター３は、コンピュータ装置２から画像信号を受信して、表示手段２６に表示された画像と同じ画像をスクリーン４に領域４０３に投影する。

なお、コンピュータ装置２においてキャリブレーション処理が実行されると、コンピュータ装置２の表示画面に対応する位置座標を、スクリーン４上で電子ペン１により正確に入力可能な座標入力領域４０３が定義され、その定義情報がコンピュータ装置２の記憶手段２５に記憶される。

［ドットパターン］
続いて、スクリーン４の用紙４０２に印刷されているアノト方式のドットパターン（コード化パターン）について説明する。図２は、用紙４０２に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、スクリーン４上の位置座標が決定されるよう構成されている。このドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。

図３（ａ）は、ある位置のドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、スクリーン４上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは、用紙４０２における相対的な位置座標及びドットパターンアドレス（コード化パターンアドレス）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。

［電子ペン］
次に、電子ペン１について説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、ペン部１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。ペン部１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３をスクリーン４の用紙４０２に当接させて、文字等のストロークを記入したり、タップ（ペン先部１０３によるスクリーン４への軽叩）したりする。ここで、電子ペン１のペン先部１０３が用紙４０２等に最初に接触することをペンダウンと呼び、接触している（当接している）状態からペン先部１０３が離れることをペンアップと呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。なお、電子ペン１は、プロジェクター３により投影されるスクリーン４に、タップしたり文字を記入したりするのに用いるものであるので、ペン部１０４は、インクが充填されたものでなくともよい。

バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりスクリーン４に文字やマークを書いたりタップしたりする際にペン先部１０３からペン部１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切換える。即ち、ユーザが電子ペン１でスクリーン４に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。また、ユーザが１つのストロークを記入し終えて電子ペン１をスクリーン４から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。

ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、スクリーン４上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がスクリーン４に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。

プロセッサ１０８は、ユーザの記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）のスクリーン４上におけるＸ，Ｙ座標（単に「位置座標」、「座標データ」とも呼ぶ）とスクリーン４に固有のドットパターンアドレス（コード化パターンアドレス）とを連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値及びＹ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データ及びドットパターンアドレスを演算する。そしてプロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ、ドットパターンアドレス及びＸ，Ｙ座標データとを関連付ける。なお、スクリーン４における６×６のドットパターンは、スクリーン４内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がスクリーン４のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。

メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤ（電子ペン識別情報）と、時刻情報（タイムスタンプ）と、筆圧データと、ドットパターンアドレスと、Ｘ，Ｙ座標データとを関連付けて、記入情報としてコンピュータ装置２へ送信する。通信ユニット１１１によるコンピュータ装置２への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。

［コンピュータ装置］
次に、コンピュータ装置２について説明する。コンピュータ装置２は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等で構成されるパーソナルコンピュータ等で構成される。図５は、コンピュータ装置２の機能ブロック図である。コンピュータ装置２は、機能的には、マウスやキーボードといった入力手段２１、受信手段２２、処理手段２４、記憶手段２５、表示手段２６及び送信手段２７を備える。そして、コンピュータ装置２は、電子ペン１から受信した記入情報に基づいて所定の処理を行う。

受信手段２２は、アンテナや受信回路等により構成され、電子ペン１から記入情報を受信し、処理手段２４に伝送する。送信手段２７は、処理手段２４の指示によって、表示手段２６の画像表示に用いられる画像信号をプロジェクター３に送信するもので、プロジェクター３へのデータ送信方式は、有線式であっても無線式であってもよい。表示手段２６は、ディスプレイ等によって構成され、処理手段２４によって指示された内容を表示する。

記憶手段２５は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段２５には、スクリーン４上のドットパターン（コード化パターン）における位置座標とコンピュータ装置２の表示手段２６における表示画面上の位置座標とのキャリブレーション処理を行うためのプログラムが記憶されている。このプログラムに関して、記憶手段２５は、キャリブレーション処理の際に表示される表示基準点、認識基準点等の位置座標やキャリブレーション用マークの画像等を記憶する。さらに、記憶手段２５には、電子ペン１でスクリーン４に手書きを行うことによって生成された記入情報を処理するプログラム等も記憶されている。また、記憶手段２５には、手書き入力アプリケーション等の様々なアプリケーションがインストールされて記憶されている。

処理手段２４は、ＣＰＵ等のプロセッサによって構成され、受信手段２２により電子ペン１から受信した記入情報に基づいて、表示手段２６に対して種々の形態で記入内容を表示させたり、記憶手段２５に記憶されたキャリブレーション処理を行うプログラムを起動させて、キャリブレーション処理を行ったりする。また、処理手段２４は、記憶手段２５に記憶された手書き入力アプリケーション等のアプリケーションを起動させて実行する。さらに、処理手段２４は、表示手段２６に表示させる画像と同じ画像を同期させてプロジェクター３に投影させるための画像信号を、送信手段２７に対してプロジェクター３へ送信させる。

プロジェクター３は、コンピュータ装置２の送信手段２７から受信した画像信号に基づいて、表示手段２６に表示された画像と同様の画像をスクリーン４の領域４０３に投影して映し出す。

＜キャリブレーション起動処理のフロー＞
次に、図６を参照して、情報処理システム１０におけるキャリブレーション起動処理について説明する。

図６は、キャリブレーション起動処理のフロー図である。まず、ユーザが、電子ペン１を用いて、スクリーン４の用紙４０２上に記入ないしタップを行う。すると、電子ペン１は、圧力センサ１０７によって所定値以上の筆圧が検出されたことにより用紙４０２への接触を検出し、ＬＥＤ１０５によって赤外線を照射しつつカメラ１０６によって筆跡に沿ってドットパターンを撮像し、プロセッサ１０８によって、撮像されたドットパターンの画像データから筆跡に沿った位置座標を連続的に演算し、当該位置座標、リアルタイムクロック１１０により発信された現在時刻、筆圧データ（以上、「ストローク情報」）及びペンＩＤと関連付けて、記入情報として即時的且つ逐次的にコンピュータ装置２へ送信する（ステップＳ１０１）。

コンピュータ装置２では、受信手段２２が、電子ペン１から記入情報（ストローク情報及びペンＩＤ）を受信すると、その記入情報を記憶手段２５に記憶する（ステップＳ２０１）。そして、処理手段２４は、座標変換関数が定義されているか否かを確認する（ステップＳ２０２）。処理手段２４は、座標変換関数が定義されていないと認識した場合は（ステップＳ２０２：Ｎｏ）、キャリブレーション処理を開始する（ステップＳ２０４、後述図７参照）。したがって、キャリブレーション処理が実行されていない状態のときに、ユーザが、電子ペン１でスクリーン４に書き込もうとすれば、キャリブレーション処理が開始される。一方、処理手段２４は、座標変換関数が定義されていると認識した場合（ステップＳ２０２：Ｙｅｓ）、受信した記入情報のスクリーン４上のドットパターンによる位置座標を、座標変換関数を用いて、ストローク変換処理によって、ディスプレイ（表示画面）２０１上の位置座標に変換して、種々の処理を行う（ステップＳ２０３、後述図１３参照）。

＜キャリブレーション処理＞
次に、図６のステップＳ２０４におけるキャリブレーション処理について、図７〜図１０を参照しつつ説明する。

図７は、キャリブレーション処理のフロー図である。図８は、スクリーン４に投影されたキャリブレーション用マークの画像を示す図である。

処理手段２４は、キャリブレーション処理を開始すると、表示手段２６の表示画面２０１に第１キャリブレーション用マーク６０１を表示させるとともに、図８に示すように、プロジェクター３に対して、スクリーン４上に、第１キャリブレーション用マーク６０１を投影させて、ユーザに電子ペン１による第１キャリブレーション用マーク６０１の基準点（同心円の中心）でのペンアップを促す（ステップＳ３０１）。例えば、図８のように、処理手段２４は、「ペン先が的の中心に触れたところで上げてください」といった指示メッセージを表示させたり、同様の音声による指示を出力させたりする。

続いて、ユーザが電子ペン１を用いて、ペンダウンした状態で第１キャリブレーション用マーク６０１が投影された位置（同心円の中心）までペン先を移動させてからペンアップする。すると、電子ペン１は、ストローク情報を生成し、ペンＩＤと関連付けて、記入情報としてコンピュータ装置２へ送信する（ステップＳ４０１）。このように、電子ペン１が、記入情報をコンピュータ装置２へ送信すると、コンピュータ装置２では、受信手段２２が、電子ペン１から記入情報（ストローク情報及びペンＩＤ）を受信し、その記入情報を記憶手段２５に記憶する（ステップＳ３０２）。処理手段２４は、電子ペン１より記入情報を受信手段２２によって受信すると、記入情報のうち、ペンアップの位置座標を抽出して、第１キャリブレーション用マーク６０１が投影された位置宛てに指示された用紙４０２上の第１認識基準点として、記憶手段２５に記憶する（ステップＳ３０３）。

さらに、処理手段２４は、表示手段２６の表示画面２０１に第２キャリブレーション用マーク６０２を表示させるとともに、プロジェクター３に対して、スクリーン４上に、第２キャリブレーション用マーク６０２を投影させて（図８参照）、ユーザに電子ペン１による第２キャリブレーション用マーク６０２が投影された位置でのペンタッチとそれに続くペンアップを促す（ステップＳ３０４）。

続いて、ユーザが電子ペン１を用いて、第２キャリブレーション用マーク６０２が投影された位置（同心円の中心）にペン先が当接した後でペンアップすると、電子ペン１は、ストローク情報を生成し、ペンＩＤと関連付けて、記入情報としてコンピュータ装置２へ送信する（ステップＳ４０２）。このように、電子ペン１が、記入情報をコンピュータ装置２へ送信すると、コンピュータ装置２では、受信手段２２が、電子ペン１から記入情報（ストローク情報及びペンＩＤ）を受信し、その記入情報を記憶手段２５に記憶する（ステップＳ３０５）。

処理手段２４は、受信した記入情報からペンアップの位置座標を抽出し、そのペンアップの位置座標が第１認識基準点の同一認識範囲外にあるか否かを判定する（ステップＳ３０６）。ここで、同一認識範囲というのは、ユーザが意識せずに同じキャリブレーション用マークを二回以上ペンタッチしてしまったと認識できる範囲であり、スクリーン４の大きさなどに応じて、用紙４０２上に印刷されたドットパターン座標上の数値範囲（例えば数ｃｍ）を設定するとよい。そして、処理手段２４が、ペンアップの位置座標は第１認識基準点の同一認識範囲内にあると判定した場合（ステップＳ３０６：Ｎｏ）、そのペンアップの位置座標は第２認識基準点として採用することができないため、処理フローを終了するが、ペンアップの位置座標が第１認識基準点の同一認識範囲外にあると判定した場合（ステップＳ３０６：Ｙｅｓ）、処理手段２４は、そのペンアップの位置座標を、第２キャリブレーション用マーク６０２が投影された位置宛てに指示された用紙４０２上の第２認識基準点として、記憶手段２５に記憶する（ステップＳ３０７）。

そして、処理手段２４は、ドットパターンの演算による用紙４０２上の第１，第２認識基準点の座標値（投影された第１，第２キャリブレーション用マーク６０１，６０２の同心円の中心点における座標値）と、表示手段２６の表示画面２０１上における第１，第２キャリブレーション用マーク６０１，６０２の同心円の中心点である第１，２表示基準点における座標値）とに基づいて、用紙４０２上の位置座標から、コンピュータ装置２における表示画面２０１上の位置座標を演算するための座標変換関数を求めて定義し、記憶手段２５に記憶する（ステップＳ３０８）。それとともに、処理手段２４は、キャリブレーション処理の結果、電子ペン１によりスクリーン４上で位置座標が表示画面２０１に対応して正確に入力可能な座標入力領域４０３を確定し、その座標領域を定義して、記憶手段２５に記憶する。

ここで、キャリブレーション用の演算式の求め方について、図９及び図１０を参照して説明する。

図９は、コンピュータ装置２の表示画面２０１上における第１，第２表示基準点の位置座標を示す図である。図９に示すように、コンピュータ装置２の表示手段（ディスプレイ）２６の表示画面２０１において、Ｘ軸を右方向、Ｙ軸を下方向にとり、以下の座標を次のようにする。
左上端点：座標２０２（Xamin ，Yamin ）、
右下端点：座標２０３（Xamax ，Yamax ）、
第１表示基準点：座標２０４（Xa1 ，Ya1 ）、
第２表示基準点：座標２０５（Xa2 ，Ya2 ）、
ただし、Xamin ≦ Xa1＜ Xa2≦ Xamax、
Yamin ≦ Ya1＜ Ya2≦ Yamax、

図１０は、スクリーン４の用紙４０２上における第１，第２認識基準点の位置座標を示す図である。第１，第２認識基準点は、コンピュータ装置２の表示画面２０１上における第１，第２表示基準点がスクリーン４に投影され、電子ペン１によって指示されたドットパターン（コード化パターン）の解析に基づく位置座標である。図１０に示すように、プロジェクター３によってスクリーン４に投影される座標入力領域４０３において、Ｘ軸を右方向、Ｙ軸を下方向にとり、以下の座標を次のようにする。
左上端点：座標４０４（Xb0 ，Yb0 ）、
座標入力領域４０３の左上端点：座標４０５（Xbmin ，Ybmin ）、
座標入力領域４０３の右下端点：座標４０６（Xbmax ，Ybmax ）、
第１認識基準点：座標４０７（Xb1 ，Yb1 ）、
第２認識基準点：座標４０８（Xb2 ，Yb2 ）、
ただし、Xb0 ≦ Xbmin≦ Xb1＜ Xb2≦ Xbmax、
Yb0 ≦ Ybmin≦ Yb1＜ Yb2≦ Ybmax、

すると、コンピュータ装置２の表示領域２０１における第１表示基準点の座標２０４（Xa1 ，Ya1 ）及び第２表示基準点の座標２０５（Xa2 ，Ya2 ）が、スクリーン４の用紙４０２上のドットパターンにおける第１認識基準点の座標４０７（Xb1 ，Yb1 ）及び第２認識基準点の座標４０８（Xb2 ，Yb2 ）にそれぞれ対応する。そして、スクリーン４に投影される座標入力領域４０３を規定する左上端点座標４０５（Xbmin ，Ybmin ）及び右下端点座標４０６（Xbmax ，Ybmax ）（長方形状の座標入力領域４０３における対角の各頂点）は次の数式で表すことができる。

［数式１] Xbmin＝ Xb1−（Xa1 − Xamin）×（Xb2 − Xb1）／（Xa2 − Xa1）
［数式２] Ybmin＝ Yb1−（Ya1 − Yamin）×（Yb2 − Yb1）／（Ya2 − Ya1）

［数式３] Xbmax＝ Xb2＋（Xamax − Xa2）×（Xb2 − Xb1）／（Xa2 − Xa1）
［数式４] Ybmax＝ Yb2＋（Yamax − Ya2）×（Yb2 − Yb1）／（Ya2 − Ya1）

この座標値を対頂角点とする長方形状の領域から、座標入力領域４０３を規定することができる。

そして、スクリーン４の用紙４０２上のドットパターンで規定される位置座標（Xbn，Ybn）から、コンピュータ装置２の表示手段２６における表示画面２０１上の位置座標（Xan，Yan）は、次の式で求めることができる。

［数式５] Xan＝ Xamin＋[ Xbn −(Xbmin−Xb0 ）] ×（Xa2 − Xa1）／（Xb2 −Xb1)
［数式６] Yan＝ Yamin＋[ Ybn −(Ybmin−Yb0 ）] ×（Ya2 − Ya1）／（Yb2 −Yb1)

よって、処理手段２４は、上式により、スクリーン４上の位置座標（Xbn ，Ybn ）を、コンピュータ装置２の表示画面２０１上の位置座標（Xan ，Yan ）に変換して、各種処理を行っていく。なお、スクリーン４に対するプロジェクター３の角度によって、演算式の項に歪みを補正する所定の係数をかけるようにしてもよい。

キャリブレーション処理後、スクリーン４上で位置座標が表示画面２０１に対応して正確に入力可能であるとして定義された座標入力領域４０３内において、ユーザが、電子ペン１を用いて文字等を書き込む。すると、電子ペン１は、筆跡のストロークに応じたストローク情報を生成し、ペンＩＤと対応付けた記入情報をコンピュータ装置２へ送信する（ステップＳ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２４は、その記入情報を記憶手段２５に記憶し（ステップＳ２０１）、座標変換関数が定義されていると判断し（ステップＳ２０２：Ｙｅｓ）、受信した記入情報に含まれるスクリーン４上の位置座標（Xbn ，Ybn ）を、キャリブレーション処理によって得られた座標変換関数を用い、コンピュータ装置２の表示画面２０１上の位置座標（Xan ，Yan ）に変換して、変換後の位置座標と、表示画面２０１に配置されている機能ボタンやアイコンが重なる場合に、機能ボタン等に応じた各種処理を行ったり、ストロークを描画したりしていく（ステップＳ２０３）。

＜手書き入力処理＞
次に、座標変換関数が定義されている場合に、電子ペン１から受信する記入情報に対してコンピュータ装置２の処理手段２４が行う各種処理の一例として、キャリブレーション処理後に、手書き入力アプリケーションを起動して、電子ペン１により手書き入力する処理を、図６、図１３のフローチャート及び図１１〜図２０の画像例を用いて説明する。なお、手書き入力アプリケーションとして、例えばキーボード入力によりテキスト文字も入力できるプレゼンテーション用のアプリケーションを用いるとよい。

まず、図６及び図１１を参照して、手書き入力アプリケーションを起動する処理について説明する。図１１は、コンピュータ装置２の表示手段２６の表示画面がスクリーン４の座標入力領域４０３にプロジェクター３によって投影された画像を示す図である。図１１に示すように、座標入力領域４０３の左側に、様々なアプリケーションを起動するアイコン画像が投影されている。ここで、アイコン画像７０１は、手書き入力アプリケーションのアイコンが投影された画像である。この画面において、電子ペン１でアイコン画像７０１をタップすると、電子ペン１は、アイコン画像７０１上にあるドットパターンを読取り、そのドットパターンから用紙４０２における位置座標を演算したうえ、その座標データを含む記入情報をコンピュータ装置２へ送信する。コンピュータ装置２では、受信手段２２が記入情報を受信し、記憶手段２５に記憶させる（ステップＳ２０１）。そして、処理手段２４は、座標変換関数が定義されているため（ステップＳ２０２：Ｙｅｓ）、記入情報に含まれる座標データを、座標変換関数によって表示手段２６の表示画面２０１上の位置座標に変換し、変換後の位置座標により、電子ペン１によって手書き入力アプリケーションのアイコン画像７０１がタップされたことを認識して、手書き入力アプリケーションを起動させる（ステップＳ２０３）。

図１２は、処理手段２４により手書き入力アプリケーションが起動されたコンピュータ装置２の表示画面が、スクリーン４の座標入力領域４０３にプロジェクター３によって投影された画像を示す図である。処理手段２４は、手書き入力アプリケーションの起動により、ウィンドウ７０２を表示させている。また、処理手段２４は、ウィンドウ７０２内に、書き込み領域７０３を表示させている。ユーザは、拡大ボタン７０４、縮小ボタン７０５を電子ペン１でタップすることにより、書き込み領域７０３を拡大させたり、縮小させたりすることができる。

次に、図１３を参照して、図６に示すステップＳ２０３の処理の一例である、手書き入力アプリケーションのスクリーン４における書き込み領域７０３に電子ペン１で手書き文字等を記入して入力する処理等を説明する。なお、この処理は、キャリブレーション処理により座標変換関数が設定されていると判断された後（図６ステップＳ２０２参照）に処理される。

図１３に示すように、コンピュータ装置２では、処理手段２４は、キャリブレーション処理により求められた座標変換関数により、電子ペン１から受信した記入情報に含まれるスクリーン４上のドットパターンにおける位置座標を、ディスプレイ（表示画面）２０１上の位置座標に変換する（ステップＳ５０１）。そして、処理手段２４は、その変換後の位置座標が書き込み領域７０３内にあるか否か判定し（ステップＳ５０２）、書き込み領域７０３内にあると判断した場合（ステップＳ５０２：Ｙｅｓ）は、書き込み領域７０３の表示倍率・位置に合わせて変換後の位置座標に応じてストロークを描画するとともに、手書き入力アプリケーションのファイルに記入内容としてストロークのデータを保存していく（ステップＳ５０３）。一方、処理手段２４は、変換後の位置座標が書き込み領域７０３内にないと判断した場合（ステップＳ５０２：Ｎｏ）、ストロークを記入内容としては取り込まないが、変換後の位置座標がディスプレイ２０１上に配置されている機能ボタンやアイコンの位置に重なる場合は機能ボタンやアイコンへのタップ等と認識してそれに応じた処理を行い、何ら意味をなさない位置座標であれば不処理として、ステップＳ２０１で記憶手段２５に記憶した記入情報を消去する（ステップＳ５０４）。

例えば、電子ペン１が、拡大ボタン７０４又は縮小ボタン７０５上のスクリーン４のドットパターンを読み取り、位置座標を演算したうえで、その座標データを含む記入情報をコンピュータ装置２へ送信すると（ステップＳ１０１）、コンピュータ装置２では、受信手段２２が記入情報を受信し、記憶手段２５に記憶させ（ステップＳ２０１）、処理手段２４は、座標変換関数が定義されているため（ステップＳ２０２：Ｙｅｓ）、記入情報に含まれる座標データの変換処理等を実行する（ステップＳ２０３）。具体的には、図１３に示すように、コンピュータ装置２において、処理手段２４は、記入情報に含まれるスクリーン４上の座標データを、座標変換関数によって表示手段２６の表示画面２０１上の位置座標に変換する（ステップＳ５０１）。さらに処理手段２４は、変換後の位置座標が書き込み領域内に含まれないが（ステップＳ５０２：Ｎｏ）、電子ペン１によって手書き入力アプリケーションの拡大ボタン７０４又は縮小ボタン７０５がタップされたことを認識して、書き込み領域７０３を拡大させたり、縮小させたりする（ステップＳ５０４）。このとき、処理手段２４は、書き込み領域７０３に書き込まれてコンピュータ装置２に取り込まれたストロークを、書き込み領域７０３の拡大・縮小に応じて相似的に拡大ないし縮小させる。

続いて、このような処理を、図１４〜図２０を参照して具体的な書き込み例により説明する。なお、キャリブレーション処理により座標変換関数が設定されていると判断するまで（図６ステップＳ２０２参照）の処理は簡略に説明する。

図１４は、ユーザが電子ペン１によって、図１２に示すスクリーン４に投影された書き込み領域７０３内に、「Ａ Ｂ Ｃ Ｄ Ｅ」と書き込んでいる様子を示している。電子ペン１は、書き込み領域７０３内にストロークが記入される都度、記入情報を生成してコンピュータ装置２へ送信する（ステップＳ１０１）。そして、コンピュータ装置２では、記入情報を受信すると記憶手段２５に記憶させる（ステップＳ２０１）。さらに、処理手段２４は、座標変換関数が定義されていると判断し（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０３の処理を行う。具体的には、図１３に示すように、まず、処理手段２４は、座標変換関数により、受信した記入情報に含まれるスクリーン４上のドットパターンにおける位置座標をディスプレイ２０１上の位置座標に変換する（ステップＳ５０１）。そして、処理手段２４は、その変換後の位置座標が書き込み領域７０３内にあると判定し（ステップＳ５０２：Ｙｅｓ）、書き込み領域７０３の表示倍率・位置に合わせて変換後の位置座標に応じて、「Ａ Ｂ Ｃ Ｄ Ｅ」とストロークを描画し、表示手段２６に表示させるとともに、ファイルにデータを保存していく（ステップＳ５０３）。処理手段２４は、表示手段２６への表示に同期して送信手段２７から画像信号をプロジェクター３に送信させるため、スクリーン４の座標入力領域４０３にも表示手段２６と同じ画像が投影される。このとき、表示手段２６に描画されたストロークが、スクリーン４上に電子ペン１の軌跡に沿って投影されることとなる。

図１５は、電子ペン１の操作により、手書き入力アプリケーションのウィンドウ７０２を図１４に示す位置から移動させる様子を示す図である。図１５に示すように、ユーザは、電子ペン１でスクリーン４に投影されたウィンドウ７０２上縁の横長のバーにペンダウンして、ウインドウ７０２を画像投影領域４０３の左上方にドラッグしたとする。この場合、電子ペン１からドラッグ操作のストロークによる記入情報が送信され（ステップＳ１０１）、コンピュータ装置２では、受信した記入情報を記憶手段２５に記憶させる（ステップＳ２０１）。さらに処理手段２４は、座標変換関数が定義されていると認識し（ステップＳ２０２：Ｙｅｓ）、続いて、ステップＳ２０３の具体的処理に移り、図１３に示すように、座標変換関数により、受信した記入情報に含まれるスクリーン４上のドットパターンにおける位置座標をディスプレイ２０１上の位置座標に変換する（ステップＳ５０１）。そして、処理手段２４は、その変換後の位置座標が書き込み領域７０３内にないと判定（ステップＳ５０２：Ｎｏ）するが、ウィンドウ７０２の上縁バーのドラッグと認識すると、そのドラッグのストロークに応じて、ウィンドウ７０２を移動させる（ステップＳ５０４）。このとき、処理手段２４は、書き込み領域７０３に既に書き込まれた文字等も合わせて、ウィンドウ７０２とともに移動させる。処理手段２４は、表示手段２６への表示に同期して送信手段２７から画像信号をプロジェクター３に送信させるため、ウィンドウ７０２の移動がプロジェクター３によりスクリーン４に投影される。

図１６は、電子ペン１によって、図１５に示すスクリーン４に投影された書き込み領域７０３内に、さらに続けて「Ｆ Ｇ Ｈ Ｉ Ｊ」と書き込んでいる様子を示している。電子ペン１では、書き込み領域７０３内にストロークが記入される都度、記入情報を生成してコンピュータ装置２へ送信する（ステップＳ１０１）。そして、コンピュータ装置２では、受信した記入情報を記憶手段２５に記憶させ（ステップＳ２０１）、座標変換関数が定義されていると認識する（ステップＳ２０２：Ｙｅｓ）。続いて、処理手段２４は、座標変換関数により、受信した記入情報に含まれるスクリーン４上のドットパターンにおける位置座標をディスプレイ２０１上の位置座標に変換する（ステップＳ５０１）。そして、処理手段２４は、その変換後の位置座標が書き込み領域７０３内にあると判定し（ステップＳ５０２：Ｙｅｓ）、書き込み領域７０３の現在の表示倍率・位置に合わせて変換後の位置座標に応じて、「Ｆ Ｇ Ｈ Ｉ Ｊ」とストロークを追加して描画し、表示手段２６に表示させるとともに、ファイルにストロークのデータを保存していく（ステップＳ５０３）。処理手段２４は、表示手段２６への表示に同期して送信手段２７から画像信号をプロジェクター３に送信させるため、スクリーン４の座標入力領域４０３にも表示手段２６と同じ画像が投影され、表示手段２６に描画されたストロークが、スクリーン４上に電子ペン１の軌跡に沿って投影される。

図１７は、電子ペン１によって、図１６に示すスクリーン４上の拡大ボタン７０４をタップして書き込み領域７０３を拡大表示させる様子を示す図である。ユーザが、電子ペン１でスクリーン４上の拡大ボタン７０４をタップすると、電子ペン１は、拡大ボタン７０４上のドットパターンを読み取って位置座標を演算し、記入情報を生成する。そして、電子ペン１は記入情報を随時送信する（ステップＳ１０１）。コンピュータ装置２では、受信した記入情報を記憶手段２５に記憶させるとともに（ステップＳ２０１）、座標変換関数が定義されていると認識する（ステップＳ２０２：Ｙｅｓ）。そして、処理手段２４は、座標変換関数により、受信した記入情報に含まれるスクリーン４上のドットパターンにおける位置座標を、ディスプレイ２０１上の位置座標に変換する（ステップＳ５０１）。そして、処理手段２４は、その変換後の位置座標が書き込み領域７０３内にないと判定するが（ステップＳ５０２：Ｎｏ）、拡大ボタン７０４がタップされたと認識し、書き込み領域７０３を拡大させる（ステップＳ５０４）。このとき、処理手段２４は、書き込み領域７０３のストロークを相似的に拡大させるとともに、書き込み領域７０３全体を表示できなくなったことを認識して、縦方向のスクロールバー７０６及び横方向のスクロールバー７０７を表示させる。なお、処理手段２４は、表示手段２６への表示に同期して送信手段２７から画像信号をプロジェクター３に送信させるため、スクリーン４の座標入力領域４０３にも表示手段２６と同じ画像が投影される。

図１８は、電子ペン１によって、図１７に示すスクリーン４に投影されている拡大された書き込み領域７０３内に、さらに続けてストロークを書き込んでいる様子を示している。また、図１９は、図１８に示すスクリーン４に投影されているウィンドウ７０２において、電子ペン１のドラッグ操作によってスクロールバー７０６、７０７を移動させて書き込み領域７０３内の表示させる領域を変え、さらに続けて「Ｅ」という文字を囲むようなストロークを書き込んでいる様子を示している。図１８及び図１９のいずれにおいても、図６及び図１３に示すフロー図に従って、処理手段２４の処理により、書き込み領域７０３の表示倍率・位置に合わせて、ストロークが入力される。図２０は、電子ペン１によって、図１９に示すスクリーン４上の縮小ボタン７０５をタップして書き込み領域７０３全体を表示させた様子を示す図である。図２０においても、図６及び図１３に示すフロー図に従って、処理手段２４の処理により、書き込み領域７０３が相似的に縮小されて、全体表示されている。

＜本第１実施形態の作用効果＞
本第１実施形態における情報処理システム１０においては、処理手段２４によってキャリブレーション処理を実行する際、電子ペン１をペンアップした座標を基準として認識することで、精度の高い座標入力面と座標表示面との相対位置座標の定義（座標変換関数の定義）が実現できる。また、キャリブレーション処理を実行する際に基準点として取得する座標が、すでに基準点として記憶されている座標の同一認識範囲内の座標に含まれるか否かを判定することによって、ユーザの連続的な筆記操作による誤設定を防止したり、再設定がすぐに実施できたりし、利便性が向上する。

また、処理手段２４により手書き入力アプリケーションを起動して、プロジェクター３により投影させて、ドットパターンが形成されたスクリーン４に電子ペン１で手書き入力することができる。このとき、電子ペン１の記入位置が書き込み領域７０３内にある場合に、電子ペン１から送信された記入情報に含まれる座標データを座標変換して、ストロークとして描画させることができる。

＜第２実施形態＞
次に、第２実施形態における情報処理システム１００を説明する。第２実施形態の説明では、第１実施形態と異なる構成を中心に説明する。また、第２実施形態において、第１実施形態と同じ符号を付している構成は、特に言及しないものについては、第１実施形態と同様の構成である。

図２１は、本第２実施形態における情報処理システム１００のシステム構成図である。第１実施形態においては、情報処理システム１０を、スクリーン４とプロジェクター３を用いて構成したが、本第２実施形態では、図２１に示すように、情報処理システム１００では、電子ペン１によって読取可能なドットパターン（コード化パターン）を透明シート８に印刷し、その透明シート８をコンピュータ装置２の表示画面２０１に貼り付けている。

このような構成としたとき、キャリブレーション処理を行う場合には、電子ペン１を表示画面２０１に対してストローク記入、タップ等して操作することができる。この第２実施形態において、キャリブレーション処理は第１実施形態と同様にして行われる。また、処理手段２４により手書き入力アプリケーションを起動して手書き入力するときも、キャリブレーション処理により座標変換関数が定義されているため、ドットパターンが形成された透明シート８の上から書き込み領域７０３内に電子ペン１で書き込むようにすれば、第１実施形態と同様の処理が行われる。その他の処理も、第１実施形態と同様である。

本第２実施形態の場合、赤外線を選択的に反射する特性を有するインクにより透明シート８にドットパターンを印刷し、電子ペン１では、プロセッサ１０８には、ＣＭＯＳカメラ１０６によって撮像された画像データから、赤外線反射の強い部分領域をドットであると認識するよう閾値を設けて判定させてもよい。その閾値は、ディスプレイから透明シート８を透過してくる赤外線と、ドットによって反射される赤外線とを区別できるよう設定する。

＜本第２実施形態の作用効果＞
本第２実施形態における情報処理システム１００においても、第１実施形態における情報処理システム１０と同様の作用効果を奏するとともに、電子ペン１によって読取可能なドットパターン（コード化パターン）を印刷した透明シート８をコンピュータ装置２の表示画面２０１に貼り付けているため、ユーザがコンピュータ装置２にタップすることにより手元で操作を行うことができる。

〔変形例〕
上記第１，第２実施形態では、２点の位置座標に基づいて、キャリブレーション処理を行ったが、３点以上の位置座標に基づいて、キャリブレーション処理を行ってもよい。また、上記第１実施形態では、プロジェクター３として、フロントタイプのプロジェクターを例に挙げたが、リアプロジェクターにも適用することができる。また、ドットパターン（コード化パターン）は、アノト方式に限らなくともよい。

また、上記第１，第２実施形態において、電子ペン１はインクカートリッジを有していないものとしたが、ペン部１０４をインクカートリッジとして電子ペン１で用紙４０２に直接文字等を書くことができるようにしてもよい。この場合、コンピュータ装置２では、電子ペン１で描かれたストロークを表示手段２６には表示するが、プロジェクター３では投影しないような画像信号をコンピュータ装置２からプロジェクター３へ出力するようにするとよい。また、電子ペン１のＣＭＯＳカメラ１０６によって撮像された画像データからドットを認識しやすくするため、ＣＭＯＳカメラ１０６に照射される光が赤外線だけとなるように、赤外線透過フィルターを電子ペン1の開口部１０２付近に設けてもよい。

本投影型入出力システムは、学校の授業や企業での会議室、講演会、プレゼンテーションなどで利用することができる。

１…電子ペン
２…コンピュータ装置
２１…入力手段
２２…受信手段
２４…処理手段
２５…記憶手段
２６…表示手段
２７…送信手段
２０１…表示画面
２０２…表示画面の左上端点座標
２０３…表示画面の右下端点座標
２０４…第１表示基準点の座標
２０５…第２表示基準点の座標
３…プロジェクター
４…スクリーン
４０１…マグネット板（ホワイトボード）
４０２…用紙
４０３…画像投影領域・座標入力領域
４０４…左上端点座標
４０５…座標入力領域の左上端点座標
４０６…座標入力領域の右下端点座標
４０７…第１認識基準点の座標
４０８…第２認識基準点の座標
６０１…第１キャリブレーション用マーク
６０２…第２キャリブレーション用マーク
７…同一認識範囲
７０１…アイコン画像
７０２…ウィンドウ
７０３…書き込み領域
７０４…拡大ボタン
７０５…縮小ボタン
７０６，７０７…スクロールバー
８…透明シート
１０，１００…情報処理システム

Claims (4)

1. 位置座標を示すコード化パターンが形成されたスクリーンと、
   前記コード化パターンを読み取る読取手段と、
   前記読取手段から送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、
   前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムであって、
   前記コンピュータ装置は、
   前記読取手段から送信されたコード化パターンに関する情報を受信する受信手段と、
   拡大ボタン、縮小ボタン、および書き込み領域を有する移動可能なウィンドウを表示手段に表示し、前記受信手段により受信した情報に含まれるコード化パターンの位置座標を前記表示手段の表示画面における位置座標に変換し、その座標変換された位置座標が書き込み領域内にある場合には前記座標変換された位置座標に基づいてストロークを前記書き込み領域に描画してファイルに保存し、座標変換された位置座標が前記拡大ボタンまたは前記縮小ボタンを指示するものと認識した場合には指示されたボタンに応じて前記書き込み領域を拡大または縮小するとともに、描画したストロークを前記書き込み領域の表示倍率および位置に合わせて表示し、その表示倍率および位置での前記書き込み領域への書き込みを受けると座標変換された位置座標に基づいてストロークを描画して同じファイルに保存する処理手段と
   を備えることを特徴とする情報処理システム。
2. 位置座標を示すコード化パターンが形成された透明シートと、
   前記コード化パターンを読み取る読取手段と、
   前記読取手段から送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムであって、
   前記透明シートは前記コンピュータ装置の表示手段の表示画面に貼付されており、
   前記コンピュータ装置は、
   前記読取手段から送信されたコード化パターンに関する情報を受信する受信手段と、
   拡大ボタン、縮小ボタン、および書き込み領域を有する移動可能なウィンドウを表示手段に表示し、前記受信手段により受信した情報に含まれるコード化パターンの位置座標を前記表示手段の表示画面における位置座標に変換し、その座標変換された位置座標が書き込み領域内にある場合には前記座標変換された位置座標に基づいてストロークを前記書き込み領域に描画してファイルに保存し、座標変換された位置座標が前記拡大ボタンまたは前記縮小ボタンを指示するものと認識した場合には指示されたボタンに応じて前記書き込み領域を拡大または縮小するとともに、描画したストロークを前記書き込み領域の表示倍率および位置に合わせて表示し、その表示倍率および位置での前記書き込み領域への書き込みを受けると座標変換された位置座標に基づいてストロークを描画して同じファイルに保存する処理手段と
   を備えることを特徴とする情報処理システム。
3. 前記処理手段は、前記受信手段により前記情報を受信した時に、前記座標変換するための座標変換関数を定義していないと判断した場合は、座標変換関数を求めるためのキャリブレーション処理を開始することを特徴とする請求項１又は２に記載の情報処理システム。
4. 請求項１〜３のうちいずれか一項に記載のコンピュータ装置としてコンピュータを機能させることを特徴とするプログラム。

Images