JP5828671B2 - 情報処理装置、情報処理方法 - Google Patents

Description

本発明は、座標入力技術に関するものである。

従来より、次のような座標入力装置がある。所謂電子ホワイトボード（ボード状の入力板に電子的にペン等で座標入力が可能な情報機器）のボード（スクリーン）面にフロントプロジェクタで画像（映像）を投影し、専用のペン等で指示を行った描画データを投影画像にフィードバックさせて投影表示する。これにより、あたかもホワイトボードにインクペンで描くがごとく使用できる。この座標入力装置の方式としては、光学方式、超音波方式、電磁誘導方式、感圧方式等がある。

電子ホワイトボードの使用形態としては、上記の通り、電子ホワイトボードの投影スクリーンにコンピュータ（PC）の映像を投影し、投影画像上に上記ペンを用いて重畳的に描画するのが基本形態である。更に、上記投影画像領域のみではなく、投影画像領域以外の電子ホワイトボードの入力面にペンで入力し、投影画像と対応させて記録する構成も特許文献１に開示されている。この特許文献１に開示された技術は、次のようなものである。即ち、投影範囲内の画面情報とこれに対するコメント等の重畳的な描画情報を一つのファイルとし、これに対応する投影領域外の描画情報をまた別のファイルとし、この二つのファイルの内容を表示する際には、それぞれ入れ替えて投影表示する。更に、特許文献１には、電子ホワイトボードの全投影領域に対して、２つの（フロント）プロジェクタ及びPC用に分割し、それぞれの領域に割り当てて、保存、表示、制御を行う技術も開示されている。

また、表示領域外の指示に対して、最初の入力座標との差分である相対座標を出力し、表示領域内のカーソル座標に対して、マウスで字を描くが如く描画を行うことができる技術が、特許文献２に開示されている。

特開2000-172422号公報 特許第3952896号公報

電子ホワイトボードにフロントプロジェクタで投影した画像に対してペン等で指示し描画しようとする場合に問題となるのは、その操作者が投影光を遮ることにより生じる影である。この影により、実際に投影画像上に指示しようとする画像を操作者が確認できないばかりでなく、入力した描画のフィードバック表示を確認することができないので、正確な文字、図形を描く場合の障害となる。更に、投影範囲に人が入ることは、その会議や授業に参加している人からも、視界の妨げになり、投影画像が確認しにくいといった不都合が生じるのも言うまでもない。

一方、影にならない投影領域外で指示した場合、その情報を投影画像と独立して保存するよりも、その投影画像に重ねて描画した方が、その関連性において有用な場合も多い。例えば、投影画像の文章にアンダーラインを引いたり、丸で囲ったり、注釈として文字を加えたりする場合である。従来の電子ホワイトボードの技術では、投影領域外で入力した文字等は、投影領域の画像とファイルレベルで関連付けはされていても、内容レベルでの対応、及びリアルタイムなフィードバックによる重畳的描画をすることはできなかった。

また、投影画像領域外での入力を投影画像に重畳的に描画する際には、簡単な注釈、線引きのみならず、投影画像の所定の空いたスペースに、まとまった文章を多量に書くことが必要になる場面もあると考えられる。その場合、文字、図形等の個々の描画筆跡の位置関係が、広範囲に保たれることが必須条件となる。つまり、投影領域外の電子ホワイトボード領域にインクが出るフェルトペン機能を備えた電子ペンで描画し、その領域の描画情報をその領域ごとそのまま、その横の投影画像領域の所定領域に重畳的に表示させるためには、次のようにすることが望ましい。即ち、マウスのような相対座標出力でなく、電子ホワイトボードの入力面を基準とした絶対座標に対し、描画される領域が、投影画像領域の所望の領域となるようにオフセットさせることが望ましい。

本発明は以上の問題に鑑みてなされたものであり、操作性の良い電子ホワイトボード操作環境を実現する為の技術を提供することを目的とする。

本発明の一様態は、外部機器からの映像信号に応じた画像をプロジェクタが投影しているスクリーン上で指示された位置を指示位置として取得する手段と、
前記指示位置が前記スクリーン上における前記画像の投影領域内であるのか投影領域外であるのかを判断する判断手段と、
前記指示位置が前記投影領域内であると前記判断手段が判断した場合、前記指示位置を前記外部機器に対して送信し、前記指示位置が前記投影領域外であると前記判断手段が判断した場合、該投影領域外の指示位置を、該投影領域外の指示位置を前記投影領域内に移動させるためのオフセット分移動させた対応位置に変換し、該対応位置を前記外部機器に対して送信する送信手段と
を備えることを特徴とする。

本発明の構成によれば、操作性の良い電子ホワイトボード操作環境を実現することができる。

第１の実施形態に係る座標入力装置を説明する図。 座標制御部１１による座標出力処理の切替を示す図。 座標制御部１１が行う処理のフローチャート。 第２の実施形態に係る座標入力装置を説明する図。 第３の実施形態を説明する図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

即ち、以下に説明する実施形態は、次のような構成の一例である。先ず、外部機器の表示画面に表示されている映像をプロジェクタを用いてスクリーン上に投影している際に該スクリーン上で指示された位置を指示位置として取得する。そして、指示位置が、スクリーン上における映像の投影領域内であるのか、投影領域外であるのかを判断する。この判断の結果、指示位置が投影領域内である場合、この指示位置を外部機器に対して送信する。一方、指示位置が投影領域外である場合、該指示位置を、投影領域外の位置を投影領域内の位置に変換するための変換情報を用いて変換することで、投影領域内の対応位置を求め、該求めた対応位置を外部機器に対して送信する。

なお、指示位置が投影領域内である場合、該指示位置を、スクリーン上の位置を表示画面内の対応する位置に変換する為の変換情報を用いて変換し、該変換後の指示位置を外部機器に対して送信しても良い。また、指示位置が投影領域外である場合、該指示位置を、投影領域外の位置を投影領域内の位置に変換するための情報を用いて変換することで投影領域内の対応位置を求め、該対応位置を変換情報を用いて変換し、該変換後の対応位置を外部機器に送信しても良い。

［第１の実施形態］
先ず、図１を用いて、本実施形態に係る座標入力装置について説明する。

パーソナルコンピュータ（ＰＣ）等のコンピュータ装置３０は周知の通りＣＲＴや液晶画面などにより構成されている表示装置を有しており、この表示装置に表示する表示画面（映像信号）は、フロントプロジェクタ２０に対して送出される。

フロントプロジェクタ２０はコンピュータ装置３０から映像信号を受けると、この映像信号に応じた表示画面を座標入力板１０に対して投影する。座標入力板１０は、映像を投影するためのスクリーンと、このスクリーンに対して指示具４０を用いて指示した位置（指示位置、座標）を検出するための機構（座標検出機構）と、で構成されている。

図１では、フロントプロジェクタ２０により投影された投影像（表示画面）がスクリーン上に占める領域を領域Ａとしている。即ち、領域Ａ内には、コンピュータ装置３０の表示装置に表示されている表示画面が表示されていることになる。また、スクリーン上において領域Ａ以外の領域を領域Ｂとしている。

また、座標入力板１０が有する座標検出機構には、光学方式、超音波方式、電磁誘導方式、感圧方式等の様々な方式が適用可能である。これらの方式については周知の技術であるため、これについての説明は省略する。

座標入力板１０が有する座標検出機構により検出された指示位置は、本実施形態に係る情報処理装置として機能する座標制御部１１に入力される。座標制御部１１は、この指示位置を受けると、この指示位置がスクリーン上に投影されている表示画面の領域（投影領域）の内部の位置であるのか外部の位置であるのかを判断する。そして座標制御部１１は、この判断の結果、指示位置が投影領域の内部の位置であれば、この指示位置をそのままコンピュータ装置３０に対して送出する。一方、指示位置が投影領域の外部の位置であれば、座標制御部１１は、この指示位置を投影領域内の位置に変換し、変換した指示位置をコンピュータ装置３０に対して送出する。図１の場合、座標制御部１１は、指示位置が領域Ａ内であれば、この指示位置をそのままコンピュータ装置３０に送出し、領域Ａ外（領域Ｂ内）であれば、この指示位置を領域Ａ内の位置に変換し、変換した指示位置をコンピュータ装置３０に送出する。

詳しくは後述するが、座標制御部１１は予めコンピュータ装置３０に対して、スクリーン上の座標位置をコンピュータ装置３０の表示装置の表示画面上の対応する座標位置に変換するための変換情報を送出しておく。これによりコンピュータ装置３０は、座標制御部１１から指示位置を受けると、この指示位置をこの変換情報を用いて変換し、表示装置の表示画面上における指示位置を得ることができる。

なお、本実施形態では、スクリーン上への座標入力は指示具４０を用いて行うものとするが、これに限るものではなく、例えば、ユーザの指などを代わりに用いても良い。即ち、座標検出機構により座標検出を可能にする座標入力用機器であれば、如何なるものを用いても良い。

ここで、上記の領域Ａ及び領域Ｂは何れもスクリーン内の領域であるので、指示具４０が何れの領域内に位置していても、その位置は上記の座標検出機構により検出可能である。しかし、コンピュータ装置３０の表示装置に表示されている画面を閲覧しているユーザにとっては、この画面が投影されている領域Ａが閲覧対象となり、領域Ｂについては興味の対象外となる。このような領域Ｂは、例えば次のようなケースにおいて発生する。例えば、スクリーンの横と縦のサイズの比が２：１であり、アスペクト比が４：３の画面をこのスクリーン上に投影すると、この画面を投影した領域の横側に、上記の領域Ｂが発生することになる。この領域Ｂは換言すれば、何等映像は投影されないものの、指示具４０が領域Ｂ内に位置していれば、その座標位置は検出可能であるような領域である。

本実施形態では、この点を利用し、例え投影領域外の位置を指示具４０により指示したとしても、その指示位置を検出し、検出した位置を投影領域内の位置に変換することを１つの特徴とする。これにより、スクリーン上において、何等映像が投影されていない領域も座標入力用に用いることができる。

次に、本実施形態に係る座標入力装置の動作について説明する。ユーザが指示具４０を手に把持して文字５０を記すべく図１（ａ）に示す点ａの位置を指示したとする。すると座標入力板１０が有する上記の座標検出機構はこの点ａの位置を（ｘ１，ｙ１）として検出し、検出した位置（ｘ１，ｙ１）を座標制御部１１に対して送出する。ここで、この位置（ｘ１，ｙ１）は、スクリーン上に定義された座標位置（例えばスクリーンの左上隅の位置を原点とし、横軸方向をｘ座標、縦方向をｙ座標とする座標系における座標位置）であることに注意されたい。

座標制御部１１は、この位置（ｘ１，ｙ１）を受けると、この位置（ｘ１，ｙ１）が領域Ａの内部の位置であるのか、それとも外部の位置であるのかを判断する。スクリーン上における領域Ａは、座標入力板１０やフロントプロジェクタ２０を設置したときに既に定義可能なものであり、スクリーン上における領域Ａを規定する情報（領域情報）は、例えば、以下のようにして予め取得しておく。

先ず、コンピュータ装置３０は表示装置の表示画面上に矩形を表示すると共に、この矩形の四隅の表示画面上における座標位置を座標制御部１１に対して送出する。この表示画面はフロントプロジェクタ２０によりスクリーン上に投影されるため、ユーザは指示具４０を用いて、スクリーン上に投影されているこの矩形の四隅の位置（若しくは対向する２つの隅の座標位置）を順次指示する。指示したそれぞれの位置は座標制御部１１に入力されるので、結果として座標制御部１１は、矩形のそれぞれの隅について、表示画面上の位置とスクリーン上の位置と、を得ることができる。然るに座標制御部１１は、表示画面上の位置とスクリーン上の位置と、の間の関係から、周知の技術により、スクリーン上の座標位置を表示装置の表示画面上における座標位置に変換（若しくはその逆の変換）する為の上記の変換情報を生成することができる。この変換情報は予め生成して座標制御部１１に登録しておくと共に、コンピュータ装置３０にも送出しておく。

また、予め座標制御部１１に、表示装置の表示画面上におけるこの表示画面の四隅の座標位置を入力しておくと、座標制御部１１は、この四隅の座標位置を上記の変換情報を用いてスクリーン上の座標位置に変換することができる。この変換したそれぞれの座標位置が領域Ａの各頂点のスクリーン上の座標位置となる。この領域Ａの各頂点のスクリーン上の座標位置は予め生成し、「スクリーン上における領域Ａを規定する情報」として座標制御部１１が保持しておく。

上記の変換情報を得るための処理、「スクリーン上における領域Ａを規定する情報」の構成や取得方法、については一例であり、これに限るものではない。即ち、結果として同様の情報を得ることができるのであれば、様々な取得方法、様々な情報構成を採用することも可能である。

座標制御部１１は、座標位置（ｘ１，ｙ１）が領域Ａ内部の位置であるのか、それとも外部の位置であるのかを判断する為には、この「スクリーン上における領域Ａを規定する情報」を参照する。そして参照した情報が示す「各頂点のスクリーン上の座標位置」で囲まれた領域Ａの内部に座標位置（ｘ１，ｙ１）が位置するのか否かを判断する。

図１（ａ）の場合、座標位置（ｘ１，ｙ１）は領域Ａの外部（領域Ｂの内部）に位置している為、座標制御部１１は、この座標位置（ｘ１，ｙ１）を領域Ａ内の点ａ’の座標位置（ｘ１’，ｙ１’）に変換する。この変換については様々なものが考え得るが、本実施形態では、座標位置（ｘ１，ｙ１）に対して、予め定められたオフセット（ｐ、ｑ）を加えた座標位置（ｘ１＋ｐ，ｙ１＋ｑ）を座標位置（ｘ１’，ｙ１’）とする。

そして座標制御部１１は、このようにして変換した領域Ａ内の座標位置（ｘ１’，ｙ１’）を、コンピュータ装置３０に対して送出する。コンピュータ装置３０は、この座標位置（ｘ１’，ｙ１’）を受けると、この座標位置（ｘ１’，ｙ１’）を先の変換情報を用いて変換することで、スクリーン上の座標位置（ｘ１’，ｙ１’）に対応する表示装置の表示画面上における座標位置を求める。

これにより、文字５０を記すべく指示具４０を用いてスクリーン上をなぞった場合、スクリーン上における指示具４０の軌跡を構成する各点の座標位置は、コンピュータ装置３０側で、表示装置の表示画面上における座標位置に変換される。然るに変換されたそれぞれの座標位置に黒ドットを配置すると、図１（ａ）に示す如く、この黒ドットで構成される文字６０が得られることになる。

図１（ｂ）の場合も同様に、指示具４０による指示位置が領域Ａ外の座標位置（ｘ２，ｙ２）であれば、座標制御部１１はこの座標位置（ｘ２，ｙ２）を領域Ａ内の座標位置（ｘ２’，ｙ２’）に変換する。この変換におけるオフセットは上記の通りである。なお、座標位置（ｘ１，ｙ１）が領域Ａ内の位置であれば、座標制御部１１は、この座標位置（ｘ１，ｙ１）をそのままコンピュータ装置３０に対して送出する。

また、図１（ｃ）に示す如く、「ＡＢＣ」なる文字から改行して「Ｄ」なる文字を指示具４０を用いてスクリーン上に記した場合、この改行時にプロキシミティの連続性は途切れてしまう可能性は高い。しかし本実施形態によれば、このような状態でも指示位置（ｘ３，ｙ３）を領域Ａ内の位置（ｘ３’，ｙ３’）に変換するので、領域Ｂ内で改行前に記した文字「ＡＢＣ」と改行後の文字「Ｄ」との位置関係を保ったまま、それぞれの文字を領域Ａ内に写像できる。

次に、座標制御部１１による座標出力処理の切替について図２を用いて説明する。本実施形態では、図２（ａ）に示す如く、ボタン画像８０を投影表示する。投影位置やボタン画像の形状、表示形態についてはこれに限るものではない。そして指示具４０がボタン画像８０内にあることを座標制御部１１が検出すると（検出方法は領域Ａに対するものと同様）、第１のモードを設定する。なお、モードの切り替えのための機構についてはこれに限るものではなく、コンピュータ装置３０が有するキーボードを用いてモードの選択を行うようにしても良い。

第１のモードが設定されると、座標制御部１１は、座標検出機構により検出された座標位置若しくはこの座標位置を領域Ａ内の位置に変換した座標位置をコンピュータ装置３０に対して送出する。即ち、図２（ｃ）に示す如く、領域Ａ内を指示具４０を用いて指示すると、座標制御部１１はその指示位置をコンピュータ装置３０に送出するので、結果としてその指示位置に対して何らかの処理（図２（ｃ）では描画処理）を行うことができる。一方、図２（ａ）に示す如く、領域Ｂ内を指示具４０を用いて指示すると、座標制御部１１はその指示位置を領域Ａ内の位置に変換してコンピュータ装置３０に送出する。そのため、結果として、その変換された位置に対して何らかの処理（図２（ａ）では描画処理）を行うことができる。

なお、座標制御部１１は、何れのモードが設定されているのかを示すフラグもコンピュータ装置３０に対して送出する。これによりコンピュータ装置３０は、このフラグを参照して、座標制御部１１から受け取った座標位置の取り扱いを切り替えることができる。

次に、座標制御部１１が行う処理について、同処理のフローチャートを示す図３を用いて説明する。なお、図３のフローチャートに従った処理は、座標制御部１１が有するＣＰＵ等のコントローラが実行する。このコントローラは、座標制御部１１内のメモリに格納されているコンピュータプログラムやデータを用いて処理を実行するものであり、これにより、図３のフローチャートに従った処理がなされる。もちろん、このメモリには、上記の変換情報や領域情報など、既知の情報として説明した様々な情報が格納されている。

先ず、ステップＳ１０２では、座標検出機構から送出された指示具４０による指示位置（ｘ１，ｙ１）を受けると、この指示位置（ｘ１，ｙ１）が領域Ａの内部の位置であるのか、それとも外部の位置であるのかを判断する。

この判断の結果、領域Ａの内部の位置であれば、処理はステップＳ１１１に進み、領域Ａの外部の位置であれば、処理はステップＳ１０６に進む。ステップＳ１１１では、この指示位置（ｘ１，ｙ１）をコンピュータ装置３０に対して送出する。

ステップＳ１０６では、指示位置（ｘ１，ｙ１）を領域Ａ内の座標位置（ｘ１’，ｙ１’）に変換すべく、指示位置（ｘ１，ｙ１）にオフセット（ｐ１、ｑ１）を加えた座標位置（ｘ１＋ｐ１，ｙ１＋ｑ１）を座標位置（ｘ１’，ｙ１’）とする。そしてステップＳ１０９では、このようにして変換した領域Ａ内の座標位置（ｘ１’，ｙ１’）を、コンピュータ装置３０に対して送出する。

なお、ステップＳ１０９及びステップＳ１１１では、第１のモードを示すフラグをコンピュータ装置３０に対して送出する。

以上の説明により、本実施形態によれば、領域Ａ内を指示した場合は、従来通り、その領域に、もとの表示オブジェクトとの位置関係を重視するアンダーラインやマーキング等の重畳的な描画表示を行うことができる。一方、領域Ａ外を指示した場合は、操作者の目的とする入力形態により、まとまった文章、描画等を所定の表示領域に、操作上の影を生じさせることなく表示したい場合には、第１のモードで動作させる。これにより、操作者の多様なニーズに対応できる電子ホワイトボード環境を構築できる。

＜変形例１＞
本実施形態では、座標制御部１１は予め変換情報をコンピュータ装置３０に送出しておき、その後、座標位置（上記の差分を除く）をコンピュータ装置３０に送出し、コンピュータ装置３０はこの変換情報を用いてこの座標位置を変換していた。しかし、座標制御部１１側で変換情報を用いて変換した座標位置をコンピュータ装置３０に送出するようにしても良い。この場合、予めコンピュータ装置３０に変換情報を送出する必要はないし、コンピュータ装置３０側に変換情報を用いた変換処理を行わせずにすむため、コンピュータ装置３０側の処理負担は軽くなる。

＜変形例２＞
上記の実施形態では、領域Ａ外の指示位置にオフセットを加算することで、領域Ａ内の位置を求めていた。しかし上記の通り、領域Ａ外の位置を領域Ａ内の位置に変換するための方法については様々なものがある。例えば、線形写像を用いて領域Ａ外の位置を領域Ａ内の位置に写像させても良いし、指示位置が領域Ａ外であると判断されると座標制御部１１がその旨をコンピュータ装置３０に通知し、コンピュータ装置３０がこのオフセットの入力をユーザに促しても良い。即ち、オフセットをユーザに入力させても良い。

［第２の実施形態］
第１の実施形態における座標入力装置の操作性を向上させた座標入力装置について、図４を用いて説明する。なお、本実施形態においても第１の実施形態に係る座標入力装置を用いる。

本実施形態では、図４（ａ）に示す如く、ボタン領域９５を領域Ｂ内に配置する。このボタン領域とは、例えば、ボタンの画像を印刷した紙であっても良いし、スクリーン上に記した矩形であっても良い。そして指示具４０がボタン領域９５内にあることを座標制御部１１が検出すると（検出方法は領域Ａに対するものと同様）、第３のモードを設定する。なお、モードの設定のための機構についてはこれに限るものではなく、コンピュータ装置３０が有するキーボードを用いてモードの選択を行うようにしても良い。

第３のモードが設定されると、座標制御部１１は第３のモードが設定された旨をコンピュータ装置３０に通知するので、コンピュータ装置３０は、領域Ｂ内に記したものを領域Ａ内のどこに写像させるのかを示す領域Ｃを領域Ａに重ねて配置する。この領域Ｃは領域Ｂと同サイズの領域で、例えば、スクリーンの横と縦の寸法比が2：1で、領域Ａのアスペクト比が4：3の場合、スクリーンの面積から領域Ａの面積を差し引いた残りの面積が領域Ｂの面積であり、領域Ｃの面積である。つまり、領域Ｃの面積は領域Ａの面積の約半分となる。

つまり、領域Ａと領域Ｂと領域Ｃの縦寸法は共通であるとすると、横方向の寸法が領域Ａの半分である領域Ｃが、図４（ａ）に示されるように、例えば、領域Ａの表示内容にハーフトーンでオーバーレイされて表示される。

更に、図４（ａ）に示されるように、領域Ａの下部に、スライダＤを表示させる。スライダＤのスライドストロークの中のスライドつまみ部分の幅、位置は、領域Ａにおける領域Ｃの横方向の幅、位置関係に対応している。ユーザは、スライダＤを左右に移動させることで、領域Ａ上で領域Ｃを左右に移動させることができる。スライダＤの操作は、コンピュータ装置３０が有するキーボードを用いて行っても良いし、他の機器を用いて行っても良い。然るにユーザは、このスライダＤを左右に移動させて、領域Ｂと同サイズの領域Ｃを領域Ａ上の適当な位置に移動させる。これにより、領域Ｂ内に記したものはそのまま領域Ｃ内に重畳されることになる。例えば、図４（ｂ）に示すように、領域Ａ内で文字などが記されていない空き領域に領域Ｃを移動させると良い。

そして領域Ｃの位置が決定すると、ユーザはキーボードなどを用いて領域Ｃの位置が決定した旨をコンピュータ装置３０に入力するので、コンピュータ装置３０は、領域Ｂと領域Ｃとの位置関係を上記のオフセットとして求める。図４の場合、領域Ｂの右端（左端）から領域Ｃの右端（左端）への（横（Ｘ）方向の）オフセットを求める。このオフセットは、座標制御部１１に送出される。

これにより、図４（ｃ）に示す如く、指示具４０を用いて領域Ｂ内を指示すると、その指示位置は上記のオフセット分だけ移動した位置に変換され、変換された位置は領域Ｃ内の位置となる。しかも、領域Ｂ内における指示位置、領域Ｃ内における変換後の位置、は何れも、領域内では同じ位置となる。

なお、指示具４０により領域Ｂ内に何を記したのかをスクリーン上でも確認することができるように、指示具４０には、フェルトペン、ボールペン等のインク吐出機能を有するものを用いても良い。これは他の実施形態でも同じである。またこれに伴い、スクリーンは、ホワイトボードなどのインクペンにより筆記が可能なもの（且つインクのふき取りも可能なもの）が好ましい。

なお、上記の例では、ユーザによる操作で、領域Ａ内で文字などが記されていない空き領域に領域Ｃを移動させた。しかし、この空き領域をコンピュータ装置３０により検出させ、領域Ｃを移動させるようにしても良い。また、領域Ｃの移動に関しては、領域Ｃと別領域に表示したスライダＤを操作するのではなく、領域Ｃの一部の領域を直にドラッグして移動させても良い。

［第３の実施形態］
次に、領域Ｂ内で行った操作を領域Ａ内に反映させる実施形態について説明する。より具体的には、領域Ａ内に表示されているカーソル位置に対して領域Ｂ内で行った操作を反映させる。本実施形態は、前述の第１のモードに関しても同様に当てはめても良い。なお、本実施形態においても第１の実施形態に係る座標入力装置を用いる。

図５（ａ）に示す如く、ボタン領域９９を領域Ｂ内に配置する。このボタン領域とは、例えば、ボタンの画像を印刷した紙であっても良いし、スクリーン上に記した矩形であっても良いし、メンブレンスイッチであっても良い。そして指示具４０がボタン領域９９内にあることを座標制御部１１が検出すると（検出方法は領域Ａに対するものと同様）、第４のモードを設定する。なお、モードの設定のための機構についてはこれに限るものではなく、コンピュータ装置３０が有するキーボードを用いてモードの選択を行うようにしても良い。

第４のモードが設定されると、コンピュータ装置３０は、この時点でカーソルが位置している箇所に対して、領域Ｂ内で行った操作、例えばメニュー選択や描画などの処理を反映させる。このカーソルの位置は、指示具４０を用いて変更可能である。例えば、座標検出機構がプロキシミティが検出可能である場合、図５（ｂ）に示す如く、そのプロキシミティ−状態（指示具４０を入力面から少し浮かした状態）で、所望の位置まで指示具４０（カーソル）を移動させる。そして、所望の位置にカーソルが移動したのを確認した時点で、ペンダウン（指示具４０を入力面に接触）させて、その後の操作は、図５（ａ）の場合と同様である。

なお、ボタン領域９９は、上記のボタン画像８０と兼用しても良い。この場合、ボタン画像８０の代わりに、ボタン領域９９と同様の領域を領域Ｂ内に配置しても良い。

例えば、座標制御部１１は、ボタン領域９９の機能と兼用するボタン画像８０が指示されたことを検知すると、この時点におけるカーソルのスクリーン上における座標位置を記憶する。そして、最初に領域Ｂ内で指示具４０のペンダウンが検知されたときの指示具４０のスクリーン上の指示位置を取得すると、この指示位置と、先に記憶したカーソルのスクリーン上における座標位置と、の差分を以降で用いるオフセットとして求める。以降は上記の実施形態と同様である。

なお、このオフセットを解除したい場合、即ち、オフセットを再設定したい場合は、コンピュータ装置３０のキーボードを操作することでその旨を座標制御部１１に通知しても良いし、座標制御部１１に備わっている操作部により再設定する旨を入力しても良い。もちろん、オフセットを再設定する為の操作方法については特に限定するものではない。

また、第４のモードが設定されているときと、第４のモードが設定されていないときとで、カーソルの表示形態（カーソルの点滅パターンやカーソルのアニメーション、形状等）を変化させても良い。

［第４の実施形態］
上記の実施形態では、座標制御部１１とコンピュータ装置３０とを別個の装置としているが、座標制御部１１をコンピュータ装置３０に組み込むようにしても良い。その結果、このコンピュータ装置３０は、座標制御部１１が行うものとして上述した処理、コンピュータ装置３０が行うものとして上述した処理、を行うことになり、結果としてこのコンピュータ装置３０は、上記の各実施形態と同様の効果を奏することができる。もちろん、コンピュータ装置３０を２台以上のコンピュータ装置で構成しても良いし、座標入力装置の構成は当業者であれば、様々な変形例が考え得る。なお、上記の各実施形態（変形例を含む）は適宜組み合わせて用いても良い。

以上の各実施形態によれば、投影像の領域外に記した文字、図形等の個々の描画筆跡の位置関係が広範囲に保たれたまま、投影像の領域内に重畳的にリアルタイムに表示することができ、操作性の良い電子ホワイトボード操作環境が実現できる。更に、投影像の領域外での入力で上記重畳表示が可能となるので、投影像の領域内に指示することによる影の発生を防ぐことができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (18)

1. 外部機器からの映像信号に応じた画像をプロジェクタが投影しているスクリーン上で指示された位置を指示位置として取得する手段と、
   前記指示位置が前記スクリーン上における前記画像の投影領域内であるのか投影領域外であるのかを判断する判断手段と、
   前記指示位置が前記投影領域内であると前記判断手段が判断した場合、前記指示位置を前記外部機器に対して送信し、前記指示位置が前記投影領域外であると前記判断手段が判断した場合、該投影領域外の指示位置を、該投影領域外の指示位置を前記投影領域内に移動させるためのオフセット分移動させた対応位置に変換し、該対応位置を前記外部機器に対して送信する送信手段と
   を備えることを特徴とする情報処理装置。
2. 前記送信手段は、更に、前記スクリーン上の位置を前記投影領域内の対応する位置に変換するための情報を前記外部機器に対して送信することを特徴とする請求項１に記載の情報処理装置。
3. 前記判断手段は、前記スクリーン上における前記投影領域を規定する領域情報を用いて、前記指示位置が前記投影領域内であるのか投影領域外であるのかを判断することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記投影領域以外の領域である他の領域に対応付けられた対応領域が前記投影領域内に設定されており、
   前記送信手段は、前記指示位置が前記投影領域外の領域である前記他の領域内であると前記判断手段が判断した場合、前記投影領域外の領域である前記他の領域内の前記指示位置を、前記投影領域内に設定された前記対応領域内に移動させるためのオフセット分移動させた対応位置に変換することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 外部機器からの映像信号に応じた画像をプロジェクタが投影しているスクリーン上で指示された位置を指示位置として取得する手段と、
   前記画像内のカーソルの位置と、前記スクリーン上における前記画像の投影領域外の指示位置と、の差分をオフセットとして求める手段と、
   前記指示位置が前記スクリーン上における前記画像の投影領域内であるのか投影領域外であるのかを判断する判断手段と、
   前記指示位置が前記投影領域内であると前記判断手段が判断した場合、前記指示位置を前記外部機器に対して送信し、前記指示位置が前記投影領域外であると前記判断手段が判断した場合、該投影領域外の指示位置を、該投影領域外の指示位置を前記オフセット分移動させた対応位置に変換し、該対応位置を前記外部機器に対して送信する送信手段と
   を備えることを特徴とする情報処理装置。
6. 画像をスクリーン上に投影するプロジェクタに映像信号を送出する送出手段と、
   前記スクリーン上で指示された位置を指示位置として取得する手段と、
   前記指示位置が前記スクリーン上における前記画像の投影領域内であるのか投影領域外であるのかを判断する判断手段と、
   前記指示位置が前記投影領域外であると前記判断手段が判断した場合、該投影領域外の指示位置を、該投影領域外の指示位置を前記投影領域内に移動させるためのオフセット分移動させた対応位置に変換する変換手段と
   を備えることを特徴とする情報処理装置。
7. 前記送出手段は、前記投影領域以外の領域である他の領域に対応付けられた対応領域を前記投影領域内に表示する映像信号を前記プロジェクタに送出することを特徴とする請求項６に記載の情報処理装置。
8. 前記変換手段は、前記指示位置が前記投影領域外の領域である前記他の領域内であると前記判断手段が判断した場合、前記投影領域外の領域である前記他の領域内の前記指示位置を、前記投影領域内の前記対応領域内に移動させるためのオフセット分移動させた対応位置に変換することを特徴とする請求項７に記載の情報処理装置。
9. ユーザ操作に応じて前記対応領域を前記投影領域内で移動させる移動手段をさらに有することを特徴とする請求項７又は８に記載の情報処理装置。
10. 前記プロジェクタにより前記スクリーン上に投影される画像上の、前記変換手段により前記投影領域内に移動された前記指示位置に、黒ドットを配置することを特徴とする請求項６に記載の情報処理装置。
11. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の取得手段が、外部機器からの映像信号に応じた画像をプロジェクタが投影しているスクリーン上で指示された位置を指示位置として取得する工程と、
    前記情報処理装置の判断手段が、前記指示位置が前記スクリーン上における前記画像の投影領域内であるのか投影領域外であるのかを判断する判断工程と、
    前記情報処理装置の送信手段が、前記指示位置が前記投影領域内であると前記判断工程で判断された場合、前記指示位置を前記外部機器に対して送信し、前記指示位置が前記投影領域外であると前記判断工程で判断された場合、該投影領域外の指示位置を、該投影領域外の指示位置を前記投影領域内に移動させるためのオフセット分移動させた対応位置に変換し、該対応位置を前記外部機器に対して送信する送信工程と
    を備えることを特徴とする情報処理方法。
12. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の取得手段が、外部機器からの映像信号に応じた画像をプロジェクタが投影しているスクリーン上で指示された位置を指示位置として取得する工程と、
    前記情報処理装置の計算手段が、前記画像内のカーソルの位置と、前記スクリーン上における前記画像の投影領域外の指示位置と、の差分をオフセットとして求める工程と、
    前記情報処理装置の判断手段が、前記指示位置が前記スクリーン上における前記画像の投影領域内であるのか投影領域外であるのかを判断する判断工程と、
    前記情報処理装置の送信手段が、前記指示位置が前記投影領域内であると前記判断工程で判断された場合、前記指示位置を前記外部機器に対して送信し、前記指示位置が前記投影領域外であると前記判断工程で判断された場合、該投影領域外の指示位置を、該投影領域外の指示位置を前記オフセット分移動させた対応位置に変換し、該対応位置を前記外部機器に対して送信する送信工程と
    を備えることを特徴とする情報処理方法。
13. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の送出手段が、画像をスクリーン上に投影するプロジェクタに映像信号を送出する送出工程と、
    前記情報処理装置の取得手段が、前記スクリーン上で指示された位置を指示位置として取得する工程と、
    前記情報処理装置の判断手段が、前記指示位置が前記スクリーン上における前記画像の投影領域内であるのか投影領域外であるのかを判断する判断工程と、
    前記情報処理装置の変換手段が、前記指示位置が前記投影領域外であると前記判断工程で判断された場合、該投影領域外の指示位置を、該投影領域外の指示位置を前記投影領域内に移動させるためのオフセット分移動させた対応位置に変換する変換工程と
    を備えることを特徴とする情報処理方法。
14. 前記送出工程では、前記投影領域以外の領域である他の領域に対応付けられた対応領域を前記投影領域内に表示する映像信号を前記プロジェクタに送出することを特徴とする請求項１３に記載の情報処理方法。
15. コンピュータを、
    外部機器からの映像信号に応じた画像をプロジェクタが投影しているスクリーン上で指示された位置を指示位置として取得する手段、
    前記指示位置が前記スクリーン上における前記画像の投影領域内であるのか投影領域外であるのかを判断する判断手段、
    前記指示位置が前記投影領域内であると前記判断手段が判断した場合、前記指示位置を前記外部機器に対して送信し、前記指示位置が前記投影領域外であると前記判断手段が判断した場合、該投影領域外の指示位置を、該投影領域外の指示位置を前記投影領域内に移動させるためのオフセット分移動させた対応位置に変換し、該対応位置を前記外部機器に対して送信する送信手段
    として機能させるためのコンピュータプログラム。
16. コンピュータを、
    外部機器からの映像信号に応じた画像をプロジェクタが投影しているスクリーン上で指示された位置を指示位置として取得する手段、
    前記画像内のカーソルの位置と、前記スクリーン上における前記画像の投影領域外の指示位置と、の差分をオフセットとして求める手段、
    前記指示位置が前記スクリーン上における前記画像の投影領域内であるのか投影領域外であるのかを判断する判断手段、
    前記指示位置が前記投影領域内であると前記判断手段が判断した場合、前記指示位置を前記外部機器に対して送信し、前記指示位置が前記投影領域外であると前記判断手段が判断した場合、該投影領域外の指示位置を、該投影領域外の指示位置を前記オフセット分移動させた対応位置に変換し、該対応位置を前記外部機器に対して送信する送信手段
    として機能させるためのコンピュータプログラム。
17. コンピュータを、
    画像をスクリーン上に投影するプロジェクタに映像信号を送出する送出手段、
    前記スクリーン上で指示された位置を指示位置として取得する手段、
    前記指示位置が前記スクリーン上における前記画像の投影領域内であるのか投影領域外であるのかを判断する判断手段、
    前記指示位置が前記投影領域外であると前記判断手段が判断した場合、該投影領域外の指示位置を、該投影領域外の指示位置を前記投影領域内に移動させるためのオフセット分移動させた対応位置に変換する変換手段
    として機能させるためのコンピュータプログラム。
18. 前記コンピュータを、前記投影領域以外の領域である他の領域に対応付けられた対応領域を前記投影領域内に表示する映像信号を前記プロジェクタに送出する手段として機能させることを特徴とする請求項１６に記載のコンピュータプログラム。

Images