JP2013064917A - 表示装置、プロジェクター、及び、表示方法 - Google Patents

Abstract

【課題】表示されている画像に対する指示位置を検出する場合に、キャリブレーションの実行頻度を減らすことが可能な表示装置、プロジェクター、及び表示方法を提供する。
【解決手段】プロジェクター１１は、画像データに基づき、スクリーンＳＣに表示画像を表示する投射ユニット３と、スクリーンＳＣにおける、表示画像に対する指示位置を検出する位置検出部１５１と、スクリーンＳＣ内の実投射領域１１Ｂにおける指示位置の座標である第１の座標を算出する座標算出部１５９と、座標算出部１５９により算出された第１の座標を、画像データにおける座標である第２の座標に変換する座標変換部１６０と、座標変換部１６０により得られた第２の座標を出力する出力部１０１とを備える。
【選択図】図２

Description

本発明は、指示された位置の情報を出力する表示装置、プロジェクター、及び、表示方法に関する。

従来、プロジェクター等の表示装置が表示する画像の特定の位置が指示された場合に、指示位置を検出し、検出した位置に対応するようにポインター等を表示する装置が知られている（例えば、特許文献１参照）。この種の装置は、指示された位置とポインター等の表示位置とを一致させるためにキャリブレーションを行う必要がある。一般的には、表示する画像の表示位置が変わるなど、表示の条件が変化する毎にキャリブレーションをやり直す必要があり、手間がかかっていた。そこで、特許文献１記載の装置は、表示位置が変化した場合に、変化の前後の位置関係を示す位置変更データを利用することで、キャリブレーションを省略している。

特許第４２７２９０４号公報

特許文献１記載の装置は、表示の条件が変化した場合に、変化の前後の関係を示すデータを必要とする。表示装置における表示の条件の変更は多岐にわたるため、予め、変化の前後の関係を示すデータを用意しておくことは容易でない。このため、特許文献１記載の装置では、表示の条件が変わる毎に、この変化の前後の関係を示すデータを算出していたが、データを算出する処理が複雑なために負荷が大きく、高度な演算処理能力が要求されるという問題があった。
本発明は、上述した事情に鑑みてなされたものであり、表示されている画像に対する指示位置を検出する場合に、キャリブレーションの実行頻度を減らすことが可能な表示装置、プロジェクター、及び表示方法を提供することを目的とする。

上記課題を解決するため、本発明は、画像データに基づき、表示面に表示画像を表示する表示手段と、前記表示面における、前記表示画像に対する指示位置を検出する位置検出手段と、前記表示面内の表示可能領域における前記指示位置の座標である第１の座標を算出する座標算出手段と、前記座標算出手段により算出された前記第１の座標を、前記画像データにおける座標である第２の座標に変換する座標変換手段と、前記座標変換手段により得られた前記第２の座標を出力する出力手段とを備えることを特徴とする。
本発明によれば、画像データに基づいて表示面に表示された表示画像に対する指示位置の座標を、画像データにおける座標として出力するので、出力された座標を利用する機器においては、表示解像度や表示領域の広さ等の表示態様に影響されずに、指示位置と画像データとの相対位置を特定できる。画像データにおける指示位置の座標を得る過程で、画像データ自体と指示位置とを直接対応づける必要がないため、画像データのサイズ等が変化してもキャリブレーションを行う必要がない。従って、キャリブレーションの実行頻度を減らすことができる。

また、本発明は、上記表示装置において、前記座標変換手段は、前記座標算出手段により算出された前記第１の座標を、前記表示可能領域に対する前記表示画像の位置を示す情報である画像位置情報に基づいて、前記第２の座標に変換することを特徴とする。
本発明によれば、表示可能領域に対する表示画像の位置を示す情報である画像位置情報が変化しても、指示位置の座標を正確に変換して出力できる。

また、本発明は、上記表示装置において、前記座標変換手段は、前記座標算出手段により算出された前記第１の座標を、前記画像データの解像度に基づいて前記第２の座標に変換することを特徴とする。
本発明によれば、画像データの解像度が変化しても指示位置の座標を正確に変換して出力できる。

また、本発明は、上記表示装置において、前記位置検出手段は、撮像手段により前記表示面の指示体の位置を検出することにより、前記表示可能領域における前記指示位置を検出することを特徴とする。
本発明によれば、表示面を撮影した撮影画像に基づいて指示位置を速やかに検出できる。

また、本発明は、上記表示装置において、前記座標変換手段は、前記指示位置が前記表示画像に含まれない場合に、前記画像データにおいて前記指示位置に近い位置の座標を、変換後の座標とすることを特徴とする。
本発明によれば、表示画像が表示されていない位置が指示された場合であっても、指示位置の座標を出力することが可能である。また、出力される座標は指示位置に近い位置の座標であるため、指示位置の座標と同様に処理することができる。

また、本発明は、上記表示装置において、前記座標変換手段は、前記指示位置が前記表示画像に含まれない場合に、変換後の座標を出力しないことを特徴とする。
本発明によれば、表示画像が表示された領域が指示された場合のみ指示位置に対応する座標を出力するので、画像に重なる位置への指示のみに対応した動作を行うことができる。

また、本発明は、上記表示装置において、前記画像データに対して画像処理が実行されることにより、前記表示面における前記表示画像の表示態様が変更された場合に、前記座標変換手段は、前記表示態様に応じて変化した前記画像位置情報に基づいて、前記第１の座標を前記第２の座標に変換することを特徴とする。
本発明によれば、表示画像の表示態様の変化に伴って常に適正な座標を出力できる。

また、上記課題を解決するため、本発明は、光源が発した光を変調する光変調手段と、画像データに基づいて前記光変調手段の描画領域に表示画像を形成する画像形成手段と、前記画像形成手段により形成された表示画像を投射面に投射する投射手段と、前記投射面における、前記表示画像に対する指示位置を検出する位置検出手段と、前記投射面の投射領域における前記指示位置の座標である第１の座標を算出する座標算出手段と、前記座標算出手段により算出された前記第１の座標を、前記画像データにおける座標である第２の座標に変換する座標変換手段と、前記座標変換手段により得られた前記第２の座標を出力する出力手段とを備えることを特徴とする。
本発明のプロジェクターによれば、画像データに基づいて投射面に投射した表示画像に対する指示位置の座標を、画像データにおける座標として出力するので、出力された座標を利用する機器においては、表示解像度や表示領域の広さ等の表示態様に影響されずに、指示位置と画像データとの相対位置を特定できる。画像データにおける指示位置の座標を得る過程で、画像データ自体と指示位置とを直接対応づける必要がないため、画像データのサイズ等が変化してもキャリブレーションを行う必要がない。従って、キャリブレーションの実行頻度を減らすことができる。

また、上記課題を解決するため、本発明は、画像データに基づいて表示面に表示画像を表示し、表示された前記表示画像に対する指示位置を検出し、前記表示面内の表示可能領域における前記指示位置の座標である第１の座標を算出し、算出した前記第１の座標を、前記画像データにおける座標である第２の座標に変換し、この変換により得られた前記第２の座標を出力することを特徴とする。
本発明によれば、画像データに基づいて表示面に表示された表示画像に対する指示位置の座標を、画像データにおける座標として出力するので、出力された座標を利用する機器においては、表示解像度や表示領域の広さ等の表示態様に影響されずに、指示位置と画像データとの相対位置を特定できる。画像データにおける指示位置の座標を得る過程で、画像データ自体と指示位置とを直接対応づける必要がないため、画像データのサイズ等が変化してもキャリブレーションを行う必要がない。従って、キャリブレーションの実行頻度を減らすことができる。

また、本発明は、画像データに基づき表示面に表示画像を表示する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記表示面における、前記表示画像に対する指示位置を検出する位置検出手段と、前記表示面内の表示可能領域における前記指示位置の座標である第１の座標を算出する座標算出手段と、前記座標算出手段により算出された前記第１の座標を、前記画像データにおける座標である第２の座標に変換する座標変換手段と、前記座標変換手段により得られた前記第２の座標を出力する出力手段として機能させるプログラムとして実現できる。
また、上記プログラムを、コンピューターが読み取り可能に記録した記録媒体として実現することも可能である。

本発明によれば、表示面に表示された表示画像に対する指示位置の座標を、画像データ自体と指示位置とを直接対応づけることなく、画像データにおける座標として出力でき、キャリブレーションの実行頻度を減らすことができる。

本発明の実施形態に係る表示システムの構成を示す図である。 プロジェクターの機能的構成を示すブロック図である。 ＰＣの機能的構成を示すブロック図である。 スクリーンに画像を投射した例を示す図であり、（Ａ）は指示位置に従ってポインターを投射した状態を示し、（Ｂ）は指示位置に従って描画を行った例を示す。 座標を検出及び変換する処理の様子を示す説明図である。 座標を検出及び変換する処理の様子を示す説明図である。 画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。 画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。 プロジェクターの動作を示すフローチャートである。 変形例としてのプロジェクターの機能的構成を示すブロック図である。

以下、図面を参照して本発明を適用した実施形態について説明する。
図１は、実施形態に係るプロジェクター１１を用いた表示システム１０の構成を示す図である。図中の一部を円内に拡大して示す。
表示装置としてのプロジェクター１１は、画像供給装置としてのＰＣ（Personal Computer）１３に画像信号ケーブル等により有線接続されている。プロジェクター１１にはＰＣ１３から画像データが入力され、プロジェクター１１は入力された画像データに基づいて、投射面（表示面）としてのスクリーンＳＣに表示画像を投射する。また、プロジェクター１１は通信ケーブル等によりＰＣ１３に接続され、ＰＣ１３との間で制御データ等を送受信する。プロジェクター１１は、ＰＣ１３から入力された画像データが静止画像であっても動画像であっても投射できる。スクリーンＳＣは、壁面に固定された平板に限らず、壁面自体をスクリーンＳＣとして使用することも可能である。ここで、プロジェクター１１上で画像が投射される範囲を実投射領域１１Ｂ（表示可能領域）とする。

表示システム１０では、プロジェクター１１による画像の投射中、ユーザーが指示体１２を手に持って、スクリーンＳＣの実投射領域１１Ｂにおける位置指示操作を実行できる。指示体１２は、ペン型や棒形状の操作デバイスであって、スクリーンＳＣの上の任意の位置を指し示すために用いられる。プロジェクター１１は、後述するように指示体１２の先端位置を検出する機能を有し、検出した指示位置の座標を示す制御データをＰＣ１３に出力する。

図２は、プロジェクター１１の機能的構成を示すブロック図である。
プロジェクター１１は、大別して、ＰＣ１３から入力される画像データに基づいて表示用の画像処理を実行する画像処理ユニット１１０と、画像処理ユニット１１０の制御に従ってスクリーンＳＣに画像を投射する投射ユニット３（表示手段）と、スクリーンＳＣ上の指示体１２の指示位置を検出する位置検出ユニット１５０と、位置検出ユニット１５０が検出した指示位置の座標を、画像データにおける座標に変換する座標変換部１６０と、座標変換部１６０が変換した変換後の座標をＰＣ１３に出力する出力部１０１（出力手段）と、これらの各部を制御する制御部１０３と、を備えている。
制御部１０３は、図示しないＣＰＵ、不揮発性メモリー、ＲＡＭ等により構成され、制御部１０３に接続された記憶部１０５に記憶されている制御プログラム１０５Ａを読み出して実行し、プロジェクター１１の各部を制御する。また、記憶部１０５に記憶された制御プログラム１０５Ａを実行することで、制御部１０３はキャリブレーション実行部１０３Ａとして機能する。キャリブレーション実行部１０３Ａは、後述するキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンＳＣ上の領域における座標との対応関係（座標変換パラメーター）を求める。記憶部１０５は、磁気的、光学的記録装置または半導体記憶素子により構成され、制御プログラム１０５Ａを含む各種プログラム、及び、各種設定値等のデータを記憶する。

制御部１０３には操作パネル４１及びリモコン受光部４５が接続されている。
操作パネル４１は、各種スイッチ及びインジケーターランプを備え、プロジェクター１１の外装筐体（図示略）に配置されている。制御部１０３は、プロジェクター１１の動作状態や設定状態に応じて操作パネル４１のインジケーターランプを適宜点灯或いは点滅させる。また、操作パネル４１のスイッチが操作されると、操作されたスイッチに対応する操作信号が制御部１０３に出力される。
また、プロジェクター１１は、プロジェクター１１を操作する操作者としてのユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部４５によって受光する。リモコン受光部４５は、上記リモコンから受光した赤外線信号を受光素子により受光し、この信号に対応する操作信号を制御部１０３に出力する。操作パネル４１やリモコン等は、プロジェクター１１に対する操作をユーザーが入力するための操作部である。なお、プロジェクター１１に対する操作を表す操作信号をＰＣ１３からプロジェクター１１に送信し、この操作信号に基づいてプロジェクター１１を制御することもできる。この場合は、ＰＣ１３も、プロジェクター１１に対する操作をユーザーが入力するための操作部として機能する。
制御部１０３は、操作パネル４１またはリモコン受光部４５から入力される操作信号に基づいて、ユーザーの操作を検出し、この操作に従ってプロジェクター１１を制御する。

プロジェクター１１は、大きく分けて光学的な画像の形成を行う光学系と画像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系３１、光変調装置３２（光変調手段）、及び投射光学系３３から構成される投射部３０（投射手段）である。照明光学系３１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等からなる光源を備えている。また、照明光学系３１は、光源が発した光を光変調装置３２に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置３２に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置３２は、後述する画像処理系からの信号を受けて、照明光学系３１からの光を変調する。本実施形態では、透過型液晶パネルを用いて光変調装置３２を構成した場合を例に挙げて説明する。この構成では、光変調装置３２は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネルからなる。照明光学系３１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系３３に射出される。

投射光学系３３は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。
投射ユニット３は、投射部３０とともに、表示制御部１０７の制御に従って投射光学系３３が備える各モーターを駆動する投射光学系駆動部１２１、表示制御部１０７から出力される画像信号に基づいて光変調装置３２を駆動して描画を行う光変調装置駆動部１１９、及び、制御部１０３の制御に従って照明光学系３１が備える光源を駆動する光源駆動部１１７を備えている。

一方、画像処理系は、プロジェクター１１全体を統合的に制御する制御部１０３の制御に従って画像データを処理する画像処理ユニット１１０により構成される。画像処理ユニット１１０は、ＰＣ１３に接続される画像入力部１０４を備えている。画像入力部１０４は、画像データを入力するインターフェイスであり、例えば、デジタル映像信号が入力されるＤＶＩ（Digital Visual Interface）インターフェイス、ＵＳＢインターフェイス及びＬＡＮインターフェイスや、ＮＴＳＣ、ＰＡＬ及びＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等の汎用インターフェイスを用いることができる。また、画像入力部１０４が、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子によりＰＣ１３に接続される構成としてもよい。なお、画像入力部１０４は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。
また、画像入力部１０４に、ＶＥＳＡ（Video Electronics Standards Association）が策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、プロジェクター１１は、ＰＣ１３や、ＰＣ１３と同等の機能を有する携帯型デバイスが備えるDisplayPortに接続することができる。
また、画像処理ユニット１１０（画像形成手段）は、画像入力部１０４を介して入力された画像データを処理する表示制御部１０７、表示制御部１０７の制御に従って画像をフレームメモリー１１５に展開し、投射部３０が投射する画像を生成する画像処理部１１３を備えている。

表示制御部１０７は、画像入力部１０４を介して入力される画像データのフォーマット（フレームレート、解像度、圧縮状態）の判別等を行い、光変調装置３２に表示画像を表示するために必要な処理を決定し、画像処理部１１３を制御して当該処理を実行する。画像処理部１１３は、表示制御部１０７の制御に従って、画像入力部１０４を介して入力された画像データをフレームメモリー１１５に展開し、インターレース／プログレッシブ変換、解像度変換等の各種変換処理を適宜実行し、フレームメモリー１１５に描画した表示画像を表示するための所定フォーマットの画像信号を生成して、表示制御部１０７に出力する。なお、プロジェクター１は、入力された画像データの解像度やアスペクト比を変更して表示することもでき、入力された画像データの解像度やアスペクト比を維持したままドットバイドットで表示することも可能である。また、画像処理部１１３は、表示制御部１０７の制御に従って、キーストーン補正、カラーモードに対応した色調補正、画像の拡大／縮小処理等の各種の画像処理を実行可能である。表示制御部１０７は、画像処理部１１３により処理された画像信号を光変調装置駆動部１１９に出力し、光変調装置３２に表示させる。また、画像処理部１１３は、表示中の画像データの解像度、アスペクト比、光変調装置３２の液晶表示パネルにおける表示サイズ等の情報から、後述する画像位置情報を導出し、求めた画像位置情報を座標変換部１６０に出力する。

制御部１０３は、制御プログラム１０５Ａを実行して表示制御部１０７を制御し、スクリーンＳＣ上に結像した表示画像のキーストーン補正を実行させる。また、制御部１０３は、操作パネル４１またはリモコン受光部４５から入力された操作信号に基づいて、表示制御部１０７を制御して表示画像の拡大／縮小処理を実行させる。

プロジェクター１１は、スクリーンＳＣ上で指示体１２により指示された指示位置の座標を検出する位置検出ユニット１５０を有する。位置検出ユニット１５０は、スクリーンＳＣを撮影する撮像部１５３、撮像部１５３を制御する撮影制御部１５５、及び、撮像部１５３の撮影画像に基づいて指示体１２の指示位置を検出する位置検出処理部１５７を有する位置検出部１５１（位置検出手段）と、この位置検出部１５１が検出した指示位置の座標を算出する座標算出部１５９（座標算出手段）とを備えている。

撮像部１５３は、スクリーンＳＣ上で投射部３０が画像を投射可能な最大範囲（後述する投射可能領域１１Ａに相当）を含む画角を撮影するデジタルカメラであり、撮影制御部１５５の制御に従って撮影を実行し、撮影画像データを出力する。撮影制御部１５５は、制御部１０３の制御にしたがって、撮像部１５３を制御して撮影を実行させる。撮像部１５３が撮影時のズーム倍率、フォーカス、絞りの調整を行う機構を有する場合、撮影制御部１５５は、これらの機構を制御して予め設定された条件で撮影を実行させる。撮影後、撮影制御部１５５は撮像部１５３が出力する撮影画像データを取得して、位置検出処理部１５７に出力する。撮像部１５３から出力される撮影画像データは、ＲＧＢやＹＵＶ等の形式で表されるものであっても良く、輝度成分のみを表すものであっても良い。また撮影制御部１５５は、撮像部１５３から出力される撮影画像データをそのまま位置検出処理部１５７へ出力してもよく、解像度の調整や所定のファイルフォーマット（ＪＰＥＧ、ＢＭＰなど）への変換等を行った上で位置検出処理部１５７へ出力しても良い。
なお、撮像部１５３は、可視光を撮像可能な構成であっても良く、非可視光（赤外光など）を撮像可能な構成であっても良い。撮像部１５３が非可視光を撮像可能な場合には、指示体１２が非可視光を射出して、撮像部１５３が指示体１２から射出された非可視光を撮像する構成や、指示体１２が非可視光を反射可能な反射部を備えており、制御部１０３の制御によってプロジェクター１１からスクリーンＳＣに対して非可視光を投射し、指示体１２の反射部によって反射された非可視光を撮像部１５３によって撮像する構成等を採用することができる。

位置検出処理部１５７は、撮影制御部１５５から入力される撮影画像データを解析して、この撮影画像データから、実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界、及び、指示体１２の画像を抽出し、指示体１２による指示位置を特定する。指示体１２の指示位置は、例えば、棒状あるいはペン型の指示体１２の先端の位置である。位置検出部１５４は、検出した指示位置の実投射領域１１Ｂにおける座標を求める。

また、プロジェクター１１は、位置検出ユニット１５０が出力した座標（第１の座標）を、ＰＣ１３から入力された画像データにおける座標（第２の座標）に変換する座標変換部１６０（座標変換手段）を備えている。
位置検出処理部１５７が出力する座標は、撮像部１５３の撮影画像データに基づいて検出された座標であり、スクリーンＳＣに結像した表示画像上に仮想的に設けられた座標軸における座標である。座標変換部１６０は、画像処理部１１３がフレームメモリー１１５に展開した画像の解像度と、画像処理部１１３が画像を展開する際に行った解像度変換やズーム等の処理内容に関する情報とを含む各種の情報を取得し、取得した情報をもとに、位置検出処理部１５７が求めた表示画像における座標を入力画像データにおける座標に変換する。上述のように光変調装置３２は、例えば縦横にマトリクス状に並ぶ所定数の画素を有する液晶表示パネルを用いて構成されているので、画素の配列方向に仮想の直交座標系の座標軸を配置することで、パネル上の位置を座標で表すことができる。これに対し、撮影画像データにおける座標は、プロジェクター１１とスクリーンＳＣとの距離、投射光学系３３におけるズーム率、プロジェクター１１の設置角度、撮像装置５とスクリーンＳＣとの距離等の様々な要素の影響を受ける。そこで、本発明に係るプロジェクター１１においては、最初にキャリブレーション（後述）を実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンＳＣ上の領域における座標との対応関係（座標変換パラメーター）を求める。ここで、キャリブレーションの対象となるスクリーンＳＣの領域は、実投射領域１１Ｂ全体であっても良く、実投射領域１１Ｂの一部であっても良い。実投射領域１１Ｂの一部をキャリブレーションの対象とする場合としては、プロジェクター１１の表示画像のアスペクト比とスクリーンＳＣのアスペクト比が異なる場合（例えば、プロジェクター１１の表示解像度がＷＸＧＡで、スクリーンＳＣのアスペクト比が４：３である場合）に、プロジェクター１１の表示画像の垂直方向の幅が、スクリーンＳＣの垂直方向の幅と一致するように表示する場合が考えられる。この場合は、プロジェクター１１の実投射領域１１Ｂのうち、スクリーンＳＣに含まれる領域をキャリブレーションの対象とし、それ以外の領域をキャリブレーションの対象外とすることが考えられる。キャリブレーション実行部１０３Ａによって座標変換パラメーターが求められると、この座標変換パラメーターに基づいて、座標算出部１５９が座標の変換を行う。この変換処理については後述する。さらに、座標変換部１６０は、座標算出部１５９から出力された座標（第１の座標）を画像位置情報（後述）に基づいて変換し、変換後の座標（第２の座標）を出力部１０１に出力する。

出力部１０１は、ＰＣ１３に接続され、座標変換部１６０の変換処理後の座標データをＰＣ１３に出力するインターフェイスであり、例えば、ＵＳＢインターフェイス、有線ＬＡＮインターフェイス、無線ＬＡＮインターフェイス、ＩＥＥＥ１３９４等の汎用インターフェイスで構成することができる。ここで、画像入力部１０４と出力部１０１とは別の機能ブロックとして説明するが、物理的に一つのインターフェイスに統合することも勿論可能である。例えば一つのＵＳＢインターフェイスで出力部１０１と画像入力部１０４との両方の機能を実現してもよい。また、出力部１０１は、画像処理ユニット１１０が備える画像処理部１１３に接続され、座標変換部１６０の変換処理後の座標を画像処理ユニット１１０に出力することも可能である。出力部１０１の主力先は、制御部１０３により制御される。この出力部１０１が出力する座標データは、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして、ＰＣ１３に出力される。

また、ＰＣ１３において、出力部１０１から出力される座標データを、汎用的なポインティングデバイスが出力する座標データと同等に扱う場合は、これらの汎用的なポインティングデバイスに対応した、汎用のデバイスドライバープログラムを利用することができる。一般的に、これらの汎用のデバイスドライバープログラムは、ＰＣ１３のＯＳ（オペレーティングシステム）の一部として予めインストールされているため、汎用のデバイスドライバープログラムを利用する場合はデバイスドライバープログラムのインストールを行う必要がない。また、汎用のデバイスドライバープログラムを利用することから、専用のデバイスドライバープログラムを用意する必要がない一方で、プロジェクター１１とＰＣ１３との間でやり取りできる情報は、汎用のデバイスドライバープログラムの仕様によって定められた範囲に限定される。
また、プロジェクター１１に対応した専用のデバイスドライバープログラムを用意して、このデバイスドライバープログラムをＰＣ１３にインストールして使用しても良い。この場合は専用のデバイスドライバープログラムが必要になる一方で、プロジェクター１１とＰＣとの間でやり取りできる情報は、専用のデバイスドライバープログラムの仕様に応じて任意に設定することができる。

図３は、ＰＣ１３の機能的構成を示すブロック図である。
この図３に示すように、ＰＣ１３は、制御プログラムを実行してＰＣ１３の各部を中枢的に制御するＣＰＵ１３１、ＣＰＵ１３１により実行される基本制御プログラムや当該プログラムに係るデータを記憶したＲＯＭ１３２、ＣＰＵ１３１が実行するプログラムやデータを一時的に記憶するＲＡＭ１３３、プログラムやデータを不揮発的に記憶する記憶部１３４、入力操作を検出して入力内容を示すデータや操作信号をＣＰＵ１３１に出力する入力部１３５、ＣＰＵ１３１による処理結果等を表示するための表示データを出力する表示部１３６、及び、外部の装置との間でデータ等を送受信する外部Ｉ／Ｆ１３７を備えており、これらの各部はバスにより相互に接続されている。

入力部１３５は、コネクターや電源供給回路を有する入力Ｉ／Ｆ１４１を有し、この入力Ｉ／Ｆ１４１に入力デバイス１４２が接続される。入力Ｉ／Ｆ１４１は、例えばＵＳＢインターフェイス等の入力デバイス用の汎用インターフェイスで構成され、入力デバイス１４２は、例えば、キーボード、或いは、マウスやデジタイザー等のポインティングデバイスである。
入力Ｉ／Ｆ１４１には、プロジェクター１１に繋がる通信ケーブルが接続され、プロジェクター１１から、指示体１２による指示位置の座標が入力される。ここで、入力Ｉ／Ｆ１４１には、プロジェクター１１の出力部１０１が出力する座標データが、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして入力される。従って、ＰＣ１３は、プロジェクター１１から入力される座標データを入力デバイスからの入力信号として処理することができ、例えば、この座標データに基づいてマウスカーソルやポインターの移動を行う等の動作を行える。

表示部１３６は、画像信号出力用のコネクター等を備えた画像出力Ｉ／Ｆ１４３を有し、画像出力Ｉ／Ｆ１４３には、モニター１４４、及び、プロジェクター１１に繋がる画像信号ケーブル（図示略）が接続される。画像出力Ｉ／Ｆ１４３は、例えば、アナログ映像信号が入力されるＶＧＡ端子、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス及びＬＡＮインターフェイス、ＮＴＳＣ、ＰＡＬ及び、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等を複数備え、これら複数のコネクターにモニター１４４及びプロジェクター１１がそれぞれ接続される。また、画像出力Ｉ／Ｆ１４３は、ＶＥＳＡが策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、ＰＣ１３は、プロジェクター１１やモニター１４４或いは他の機器に対し、Displayportを介してデジタル映像信号を出力できる。なお、画像出力Ｉ／Ｆ１４３は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。

記憶部１３４は、ＣＰＵ１３１により実行される表示制御プログラム１３Ａ、及び、表示制御プログラム１３Ａの実行時に出力される画像データ１３Ｂを記憶している。ＣＰＵ１３１は、表示制御プログラム１３Ａを実行すると、プロジェクター１１に対して画像データ１３Ｂを送信する処理を実行する。この処理において、ＣＰＵ１３１は画像データ１３Ｂを再生するとともに、表示部１３６によって所定の表示解像度の画像信号を生成させ、画像出力Ｉ／Ｆ１４３に出力させる。ここで、表示部１３６は、アナログ信号を出力するコネクターに対してはアナログ画像信号を出力し、デジタルデータを出力するコネクターに対してはデジタル画像データを出力する。

また、ＣＰＵ１３１は、表示制御プログラム１３Ａの実行中、入力部１３５から、ポインティングデバイスの操作に対応する座標が入力された場合に、この座標に対応する位置に、ポインター１２Ａ（図１）を表示するための画像を生成する。そして、ＣＰＵ１３１は、再生中の画像データ１３Ｂにポインター１２Ａを重ねた画像データを生成し、この画像データを入力Ｉ／Ｆ１４１からプロジェクター１１に出力する。

このように、表示システム１０においては、ＰＣ１３がプロジェクター１１に出力する画像データにポインター１２Ａを重畳して描画する機能を、ＰＣ１３が実行する。

図４は、プロジェクター１１によりスクリーンＳＣに画像を投射した例を示す図であり、（Ａ）は指示体１２の指示位置に従ってポインター１２Ａを投射した状態を示し、（Ｂ）は指示位置に従って描画図形１２Ｃを描画した状態を示す。
光変調装置３２が有する液晶表示パネル全体を使用して表示画像を投射した場合には、図４（Ａ）に２点差線で示す投射可能領域１１Ａに画像が結像する。プロジェクター１１がスクリーンＳＣの真正面に位置している場合を除き、図４（Ａ）に示すように台形歪みが発生するので、プロジェクター１１は、表示制御部１０７の機能によりキーストーン補正を行う。このキーストーン補正の実行後には、実投射領域１１Ｂに表示画像が投射される。実投射領域１１Ｂは、通常、スクリーンＳＣ上で長方形となり、かつ最大のサイズとなるよう設定される。具体的には、光変調装置３２の液晶表示パネルの解像度と台形歪みの程度により決定されるが、最大サイズでなくてもよい。

プロジェクター１１のキャリブレーション実行部１０３Ａは、キーストーン補正を行った後の実投射領域１１Ｂにおいてキャリブレーションを実行する。このキャリブレーションでは、キャリブレーション実行部１０３Ａが画像処理部１１３を制御して所定のキャリブレーション用の画像を描画させる。このキャリブレーション用の画像がスクリーンＳＣに投射された状態で、キャリブレーション実行部１０３Ａの制御により位置検出ユニット１５０がスクリーンＳＣを撮影する。キャリブレーション用の画像は、例えば白色の背景にドットが配置された画像であり、予め記憶部１０５等に記憶されている。なお、キャリブレーション用の画像は必ずしも記憶部１０５等に記憶されている必要はなく、キャリブレーションの実行が必要になり、キャリブレーションを実行する毎に、キャリブレーション実行部１０Ａがキャリブレーション用の画像をその都度生成する構成であっても良い。

キャリブレーション実行部１０３Ａは、撮影画像データ中の表示画像の輪郭、すなわち実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界と、撮影画像データ中のドットを検出し、位置検出ユニット１５０の撮影範囲（画角）すなわち撮影画像データにおける位置と、実投射領域１１Ｂ上の位置と、画像処理部１１３が描画した画像上の位置との対応関係を特定する。キャリブレーション実行部１０３Ａは、キャリブレーションにより特定された撮影画像上の位置と実投射領域１１Ｂ上の位置との対応関係に基づいて、後述するように座標算出部１５９が用いる座標変換パラメーターを求める。座標変換パラメーターには、画像処理部１１３が描画した画像上の座標と、撮影画像データ上で求められた座標とを対応づけるデータ等が含まれる。座標算出部１５９は、この座標変換パラメーターに基づいて、撮影画像データ上で求められた座標を画像処理部１１３が描画した画像上の座標に変換することができる。この座標変換パラメーターに基づいて座標算出処理が行われる。
このキャリブレーションは、制御部１０３が記憶部１０５に記憶されたキャリブレーション用プログラム（図示略）を実行することで行われるので、ＰＣ１３においてキャリブレーション用のプログラムをインストールして実行する必要がない。また、撮影画像データに基づいてキャリブレーション実行部１０３Ａが自動で行う処理であっても良く、キャリブレーション用の画像に対するユーザーの操作が必要な処理であっても良い。さらに、プロジェクター１１がこれらの処理を併用しても良い。キャリブレーション用の画像に対するユーザーの操作は、キャリブレーション用の画像に含まれるドットをユーザーが指示体１２で指示する操作等が考えられる。

プロジェクター１１が備える位置検出ユニット１５０は、実投射領域１１Ｂに画像が投射された状態で撮影を実行し、図中に破線の矢印で示すように、撮影画像において実投射領域１１Ｂの隅を原点とする直交座標を仮想的に設定して、この座標系における指示体１２の先端位置の座標を求める。この直交座標は、上記のキャリブレーションにより得られた座標変換パラメーターに基づいて設定される。その後、座標変換部１６０により、実投射領域１１Ｂに表示された画像データにおける指示体１２の先端の座標が求められると、この座標に従って、例えば図４（Ａ）に示すポインター１２Ａや、メニューバー１２Ｂが表示される。ポインター１２Ａは指示体１２の先端位置を示す記号として描画される。また、メニューバー１２Ｂは、指示体１２により操作可能なＧＵＩであり、メニューバー１２Ｂに配置されたボタンを指示体１２により指示することで、線等の図形の描画、描画した図形のデータの保存、消去、コピー等を行うことができる。具体的な例としては、指示体１２を図４（Ａ）に示す位置から図４（Ｂ）の位置まで移動させることで、指示体１２の先端の軌跡に沿って描画図形１２Ｃが描画される。この描画図形１２Ｃは、例えば、ポインター１２Ａやメニューバー１２Ｂと同様に、指示体１２の指示位置を示す座標データに従ってＰＣ１３が描画する。

また、メニューバー１２Ｂには、外部から供給可能な複数の画像（例えば、外部Ｉ／Ｆ１０２のＵＳＢインターフェイスに接続されたＵＳＢフラッシュメモリーなどの外部記憶装置が記憶している画像データ等）を順次表示させるスライドショー表示の制御用のボタンや、プロジェクター１１の機能自体に関する設定（アスペクト比の変更、カラーモードの変更等）を行うためのボタン等を配置することも可能である。制御部１０３は、指示体１２の指示位置が座標変換部１６０から出力された場合に、この座標を取得して、メニューバー１２Ｂにおいて指示されたボタンを特定し、指示操作に対応した動作を実行する。

図５（Ａ）、（Ｂ）及び図６（Ａ）、（Ｂ）は、プロジェクター１１が指示位置の座標を検出し、画像データにおける座標に変換する処理の様子を示す説明図であり、図５（Ａ）は一連の動作の初期状態を示し、図５（Ｂ）及び図６（Ａ）、（Ｂ）は、図５（Ａ）の状態から表示画像の解像度を変更した状態を示す。

図５（Ａ）に示す例では、光変調装置３２の液晶表示パネルの解像度に基づき、実投射領域１１Ｂの解像度が1280×800ドットであり、ＰＣ１３から入力される画像データの解像度も1280×800ドットである。従って、実投射領域１１Ｂには、1280×800ドットの表示画像２０１が表示されている。位置検出ユニット１５０は、実投射領域１１Ｂの左上隅を原点とし、右方向をＸ軸方向、下方向をＹ軸方向とするＸ−Ｙ直交座標系を設定し、表示画像２０１のX方向の端位置をX1max、Ｙ方向の端位置をY1maxとし、指示体１２の指示位置の座標を（X1n，Y1n）とする。
ところで、ＰＣ１３から入力される画像データが、解像度が1024×768ドットの表示画像２０２に切り替えられると、スクリーンＳＣには図５（Ｂ）に示すように1066×800ドットの表示画像２０２が投射される。この表示画像２０２は表示画像２０１より低解像度であるため、表示画像２０２が投射される領域は実投射領域１１Ｂよりも小さい。

ここで、図５（Ａ）及び（Ｂ）に示すように、スクリーンＳＣ上の指示体１２を動かさないようにすると、指示位置そのものは動いていないが、指示位置と表示されている画像との相対位置は変化する。このため、位置検出ユニット１５０が撮像部１５３の撮影画像データに基づいて算出した実投射領域１１Ｂにおける指示位置の座標（X1n，Y1n）をもとにポインター１２Ａを表示すると、ポインター１２Ａが実際の指示位置からずれてしまう。

すなわち、図６（Ａ）に示すように、変更後の表示画像２０２の左上隅を原点とする座標系において座標（X1n，Y1n）にポインターを表示すると、指示体１２の先端から離れたポインター１２Ａ´が表示されてしまう。このように、実投射領域１１Ｂを基準として求めた座標は表示画像の解像度の影響を受けてしまうので、位置検出ユニット１５０が算出した座標をそのまま、ＰＣ１３が、ポインター１２Ａの表示に利用することはできない。
そこで、プロジェクター１１は、表示画像の解像度が変わった場合にも対応できるように、位置検出ユニット１５０の座標算出部１５９が算出した指示位置の座標（X1n，Y1n）を、座標変換部１６０によって、表示中の表示画像における指示位置の座標（X2n，Y2n）に変換する処理を行う。

以下、具体的な処理について説明する。
本実施形態では、座標変換部１６０は、表示画像における座標を実投射領域１１Ｂの隅に原点を設定した座標系（図５（Ａ））により表す。図５（Ｂ）及び図６（Ａ）〜（Ｂ）に示したように、実投射領域１１Ｂよりも小さい領域に表示画像（ここでは表示画像２０２）を表示した場合、位置検出処理部１５７が撮像部１５３の撮影画像において表示画像の隅を原点とした場合の指示位置を検出し、座標算出部１５９が実投射領域１１Ｂにおける表示画像２０２の位置を特定して、実投射領域１１Ｂにおける座標（X1n，Y1n）を算出する。

座標変換部１６０は、画像処理部１１３から画像位置情報を取得して、変更後の表示画像２０２の原点に相当する左上隅の座標（X1bmin，Y1bmin）を求める。この座標（X1bmin，Y1bmin）は、実投射領域１１Ｂの左上隅を原点とした場合の座標である。
また、以下の演算では、X2max、X2minの値を用いる。X2maxは、表示画像２０２を表示した場合に表示画像２０２の左上隅を原点とした座標系において、Ｘ軸方向の最大値であり、X2minは同座標系において最小値である。つまり、X2maxはＸ軸上で表示画像２０２の右端の座標であり、X2minは原点であるためゼロであると考えられるが、X2max、X2minの値としては正規化された値を用いるので、X2min＝0とは限らない。このため、変数X2minとして演算する。

図６（Ｂ）に示すように、表示画像２０２の原点に相当する左上隅の座標を（X1bmin，Y1bmin）とし、実投射領域１１ＢのＸ軸方向の端の座標値をX1max、表示画像２０２のＸ軸方向の端の座標をX1bmax、実投射領域１１ＢのＹ軸方向の端の座標値をY1max、表示画像２０２のＹ軸方向の端の座標をY1bmaxとする。
この場合、座標（X2n，Y2n）は、下記式（１）、（２）により算出される。

X2n＝（X2max−X2min）×（X1n−X1bmin）÷（X1bmax−X1bmin） …（１）
Y2n＝（Y2max−Y2min）×（Y1n−Y1bmin）÷（Y1bmax−Y1bmin） …（２）
本実施形態では図６（Ｂ）に示すようにY1bmin＝Y2min＝0、Y1bmax＝Y2max＝Y1maxである。このため、上記式（２）から、Y2n＝Y1nとなる。

指示位置の座標は、実際には正規化された論理座標として求められる。例として、X1min＝0、X1max＝32767、Y1min＝0、Y1max＝32767とする。
また、以下の例では、実投射領域１１Ｂは1280×800ドットの解像度の画像に合わせて設定され、この実投射領域１１Ｂにおける座標を（XPn，YPn）で表すと、（XPmin≦XPn≦XPmax，YPmin≦YPn≦YPmax）であり、XPmin＝0、XPmax＝1280、YPmin＝0、YPmax＝800であるものとする。
さらに、実投射領域１１Ｂに表示される表示画像の位置及びサイズに関する情報として、表示画像の右上端の座標を（XP0，YP0）とし、この例では（XP0，YP0）＝（0，0）とし、表示画像のＸ軸方向のサイズWP0＝1280、Ｙ軸方向のサイズHP0＝800とする。

実投射領域１１Ｂにおける表示画像の左上隅の座標（X1bmin，Y1bmin）及び端位置の座標（X1bmax，Y1bmax）は、以下の式（３）〜（６）により求められる。
X1bmin＝（X1max−X1min）×XP0÷（XPmax−XPmin） …（３）
X1bmax＝（X1max−X1min）×（XP0＋WP0）÷（XPmax−XPmin） …（４）
Y1bmin＝（Y1max−Y1min）×YP0÷（YPmax−YPmin） …（５）
Y1bmax＝（Y1max−Y1min）×（YP0＋HP0）÷（YPmax−YPmin） …（６）

これら式（３）〜（６）により得られた値をもとに、上記式（１）及び（２）の演算を行うことで、座標変換部１６０は、表示画像における指示位置の座標を得る。この座標は、ＰＣ１３が、処理対象の画像データにおいてポインター１２Ａ、メニューバー１２Ｂ或いは描画図形１２Ｃを描画する場合に、画像データ中の位置を特定する情報として利用できる。このため、表示画像の解像度やズーム率等に影響されることなく、ポインター１２Ａ、メニューバー１２Ｂ及び描画図形１２Ｃを、正確に、指示体１２による指示位置に合わせて描画できる。

ところで、実投射領域１１Ｂに表示される表示画像の位置及びサイズは、表示画像の解像度や表示位置の影響を受ける。例えば、操作パネル４１またはリモコン受光部４５による操作や、ＰＣ１３から送信される制御信号に応じて、プロジェクター１１が、表示解像度の変更、アスペクト比の変更、ズーム、画像の表示位置の変更（移動）、多画面表示処理等、投射状態が変化するような処理を実行した場合には、画像位置情報（XP0，YP0，WP0，HP0）も変化する。ここで、画像位置情報とは、実投射領域１１Ｂに対する画像配置領域（表示画像２０１、２０２が投射される（表示される）領域）の配置に関する情報である。換言すれば、画像位置情報は、実投射領域１１Ｂ（表示可能領域）に対する表示画像の位置（配置）を示す情報である。また、ＰＣ１３の表示解像度が変化し、ＰＣ１３がプロジェクター１１に出力する画像データの解像度が変化した場合（例えば、ＰＣ１３において解像度に関する設定が変更された場合）にも、画像位置情報は変化する。なお「多画面表示処理」とは、プロジェクター１１の実投射領域１１Ｂを複数の領域に区分して、複数の画像供給装置から入力された異なる画像をこれらの領域に表示させる処理である。
図７及び図８は、画像の投射状態の変化と座標を変換する処理の様子を示す説明図であり、投射状態の変化により画像位置情報（XP0，YP0，WP0，HP0）が変化する例を示す。
図７（Ａ）では実投射領域１１Ｂと同じ解像度（1280×800）の表示画像２０１を表示している。この場合の画像位置情報は、（XP0＝0，YP0＝0，WP0＝1280，HP0＝800）である。ここで、表示画像を、解像度が異なる表示画像２０２（1066×800）に変更した場合、図７（Ｂ）に示すように、表示画像２０２の周囲に非表示領域１１Ｃが発生する。この場合、画像位置情報は、（XP0＝107，YP0＝0，WP0＝1066，HP0＝800）となる。
ここで、表示画像２０２のアスペクト比を変更して実投射領域１１Ｂ全体に拡大表示した場合、図７（Ｃ）に示すように実投射領域１１Ｂいっぱいに表示画像２０２が表示され、画像位置情報は（XP0＝0，YP0＝0，WP0＝1280，HP0＝800）となる。

ここで、非表示領域１１Ｃが発生している状態で、指示体１２の指示位置が非表示領域１１Ｃに重なった場合、座標変換部１６０は、指示位置の座標を出力しないようにしてもよいし、表示画像の範囲内において指示位置に最も近い位置の座標を、ＰＣ１３に出力してもよい。
具体的には、座標変換部１６０は、座標変換処理を行う前に、座標算出部１５９が算出した座標が非表示領域１１Ｃに該当するか否かを、画像位置情報に基づいて判別する。ここで、座標算出部１５９が算出した座標が非表示領域１１Ｃに該当する場合、座標変換部１６０は、Ｘ軸方向の座標とＹ軸方向の座標の各々について、非表示領域１１Ｃに該当するか否か（実投射領域１１Ｂに含まれるか否か）、及び、非表示領域１１Ｃに該当する場合は、座標が大きい側と小さい側のどちらの非表示領域１１Ｃに含まれているかを判別する。例えば、図７（Ｂ）において指示位置が表示画像２０２の左側の非表示領域１１Ｃに重なっている場合には、指示位置のＸ軸方向の座標が、値が小さい側の非表示領域１１Ｃに含まれている。座標変換部１６０は、Ｘ軸方向の座標とＹ軸方向の座標のいずれかについて逸脱している方向を判別した場合、逸脱している方向の表示画像２０２の端位置の座標を、指示位置の座標に割り当てる。図７（Ｂ）において指示位置が表示画像２０２の左側の非表示領域１１Ｃに重なっている場合には、その指示位置のＸ軸方向の座標X1nの値を、X1bminの値に変更する。同様に、指示位置が表示画像２０２の右側の非表示領域１１Ｃに重なっている場合には、その指示位置のＸ軸方向の座標X1nの値を、X1bmaxの値に変更する。Ｙ軸方向においても同様である。

つまり、座標変換部１６０は、座標算出部１５９が算出した座標（X1n，Y1n）が、（X1bmin≦X1n≦X1bmax，Y1bmin≦Yn≦Y1bmax）を満たさない場合には、（X1bmin，Y1n）、（X1bmax，Y1n）、（X1n，Y1bmin）、（X1n，Y1bmax）のいずれかを出力する。これにより、表示画像に含まれない指示位置に対しても、座標を出力し、ポインター１２Ａやメニューバー１２Ｂを、指示位置の近くに描画できる。

さらに、図７（Ａ）に示す状態から、表示画像２０１の表示位置を左へ１６０ドット分シフトさせると、図８（Ａ）に示すように、表示画像２０１の左側が切れて表示され、表示画像２０１の右側に非表示領域１１Ｃが発生する。図８（Ａ）の状態では、画像位置情報は、（XP0＝-160，YP0＝0，WP0＝1280，HP0＝800）となる。なお、図８（Ａ）では表示画像２０１の表示位置を左へシフトさせる場合を例示しているが、表示画像２０１は左以外（右、上又は下など）の方向へ移動させても良い。
また、プロジェクター１１は、複数の表示画像を同時に並べて表示する、いわゆる多画面表示機能を有する。図８（Ｂ）には、多画面表示機能により、表示画像２０２と、表示画像２０３とを表示した例を示す。この例では、表示画像２０２及び表示画像２０３は、実投射領域１１Ｂに並べて表示できるように、アスペクト比を保って縮小表示され、その周囲には非表示領域１１Ｃが発生する。多画面表示機能によって複数の表示画像を同時に表示する場合、表示画像のそれぞれについて画像位置情報を定義することができる。図８（Ｂ）のような場合は、表示画像２０２及び表示画像２０３のそれぞれについて異なる画像位置情報を定義することができる。縮小後の表示画像２０１の解像度は縦横半分の533×400となり、表示画像２０２に関する画像位置情報は、（XP0＝53，YP0＝200，WP0＝533，HP0＝400）となる。
プロジェクター１１は、上記の多画面表示機能の実行時に、表示画像２０２及び表示画像２０３のいずれか一方を拡大あるいは縮小することも可能である。この場合、プロジェクター１１は、ユーザーが指示体１２で表示画像２０２、２０３の一方の拡大または縮小を指示する操作を行った場合に、この操作に応じて指示された表示画像を拡大または縮小し、拡大または縮小した表示画像の画像位置情報を更新する。

プロジェクター１１は、画像を実投射領域１１Ｂより大きく拡大して、その一部を表示するズーム機能を備えている。図７（Ｂ）に示した表示画像２０２を、もとの解像度の１．２５倍に拡大した例を図８（Ｃ）に示す。この図８（Ｃ）の例では、表示画像２０２全体を表示するためには実投射領域１１Ｂより大きい仮想表示領域１１Ｄの領域が必要であり、実際には表示画像２０２の中央において実投射領域１１Ｂに収まる部分のみが表示される。この場合の画像位置情報は、仮想表示領域１１Ｄの隅の座標及び仮想表示領域１１Ｄの解像度を基準として決定され、（XP0＝-27，YP0＝-100，WP0＝1333，HP0＝1000）となる。さらに、ズーム機能により拡大された表示画像における表示位置をシフトさせることも可能である。図８（Ｄ）には、図８（Ｃ）に示した拡大後の表示画像２０２を、下方に100ドット分シフトさせた状態を示す。この処理は、仮想表示領域１１Ｄを実投射領域１１Ｂに対して相対的に下方に移動させる処理に相当するので、画像位置情報は、（XP0＝-27，YP0＝0，WP0＝1333，HP0＝1000）となる。なお、図８（Ａ）では表示画像２０１の表示位置を下方へシフトさせる場合を例示しているが、表示画像２０１は下以外（上、右又は左など）の方向へ移動させても良い。

座標変換部１６０は、投射部３０による表示画像の投射状態（表示状態）が変化する毎に、制御部１０３及び表示制御部１０７から情報を取得して画像位置情報を更新し、更新後の画像位置情報に基づいて座標を変換する。画像位置情報は、例えば、次に挙げるタイミングで更新される。
・制御部１０３がＰＣ１３からの画像データの入力を検出したとき。
・制御部１０３が、ＰＣ１３から入力される画像データに関する情報（画像の解像度など）の変化を検出したとき。
・プロジェクター１において、画像データの解像度を変更したとき。
・画像データのアスペクト比を変更したとき。
・光変調装置３２により描画する画像を、投射する画像データの画像処理によって拡大／縮小するデジタルズーム機能を実行または解除したとき。
・実投射領域１１Ｂに対する表示画像の表示位置を変更したとき。
・上記のデジタルズーム機能により画像を拡大し、さらに画像処理によって画像の表示位置を変更する機能を実行または解除したとき。
・光変調装置３２により描画する画像と背景を含む全体すなわち実投射領域１１Ｂ全体の投射サイズを、画像データの画像処理を行うことにより拡大／縮小するテレワイド機能を実行または解除したとき。
・上記のデジタルズーム機能により画像を縮小し、さらに画像処理によって画像の表示位置を変更するピクチャーシフト機能を実行または解除したとき。
・複数の画像の同時表示を実行または解除したとき。
・座標変換部１６０から座標を出力する出力先が、画像処理ユニット１１０からＰＣ１３（出力部１０１）へ、或いはその逆へ変更されたとき。
解像度の変更、アスペクト比の変更、各種機能の実行および解除は、いずれも制御部１０３の制御により、画像処理ユニット１１０によって実行される。なお、上記に列挙したタイミングはあくまで一例であり、その他のタイミングで画像位置情報を更新することも勿論可能である。

図９は、プロジェクター１１の動作を示すフローチャートであり、特に、指示体１２による指示位置を検出して指示位置の座標を出力する動作を示す。
この図９に示す動作は、プロジェクター１１の起動後、或いは、操作パネル４１またはリモコン受光部４５の操作によってポインター１２Ａやメニューバー１２Ｂの表示が指示された場合に、投射を終了するまで一定時間毎に繰り返し実行される。

まず、キャリブレーションが必要か否かが判別される（ステップＳ１１）。この判別は、キャリブレーションが必要か否かを示すユーザーの指示に基づいて行っても良く、キャリブレーションを行う必要があるかどうかをキャリブレーション実行部１０３Ａが自動的に判別し、この判別結果に基づいて自動的に行っても良い。キャリブレーションが必要な場合には（ステップＳ１１；Ｙｅｓ）、図４（Ａ）を参照して説明したようにキャリブレーションを実行する（ステップＳ１２）。すなわち、画像処理部１１３によりキャリブレーション用の画像を描画させ、このキャリブレーション用の画像が投射された状態で位置検出ユニット１５０により撮影を実行させ、得られた撮影画像データにおける実投射領域１１Ｂの輪郭やキャリブレーション用の画像に含まれる特徴点（ドット等）を検出することで、画像処理部１１３が描画した画像と撮影画像データとの対応関係を求める。なお、キャリブレーションはプロジェクター１１の使用を開始してから１度だけ行えば良く、特定の事象が発生しない限りは再度行う必要がない。例えば、次の（１）〜（３）のような場合には、新たにキャリブレーションを行う必要がある。
（１）キーストーン補正を行った場合。
（２）プロジェクター１１の設置条件が変わった場合。例えば、スクリーンＳＣに対するプロジェクター１１の相対的な位置（向きを含む）が変わった場合。
（３）光学条件が変わった場合。例えば、投射光学系３３のフォーカスまたはズームの状態が変わった場合。投射光学系３３あるいは撮像部１５３の光軸が経時変化等によりずれた場合。
これらの事象が発生した場合、座標変換部１６０が座標を算出する基準となる、初期状態における撮影画像データ上の位置と画像処理部１１３が描画する画像上の位置との対応関係が変化するので、改めてキャリブレーションを行う必要がある。逆にこれらの事象が発生しなければキャリブレーションを再度行う必要はないので、プロジェクター１１を前回使用してから今回使用するまでの間に上記の事象が発生していなければ、キャリブレーションを行うことなく、前回のキャリブレーションで求めた座標変換パラメーターを再利用することもできる。キャリブレーションを行う必要があるかどうかをキャリブレーション実行部１０３Ａが判別する方法としては、例えば、操作パネル４１においてキーストーン補正の実行を指示するスイッチの操作の有無に基づいて判別する方法や、プロジェクター１１に傾きや動きを検出するセンサーを設け、このセンサーの検出値の変化に基づいて判別する方法がある。また、投射光学系３３におけるフォーカス、ズームの調整を行った場合に、キャリブレーション実行部１０３Ａがキャリブレーションを自動で実行してもよい。また、ユーザーが、プロジェクター１１の設置位置や光学条件の変化を知って、キャリブレーション実行を指示する操作を行えるように、操作パネル４１やリモコン等の操作部に、対応するスイッチを設けてもよい。

撮影制御部１５５は、制御部１０３の制御により撮像部１５３に実投射領域１１Ｂを含む範囲を撮影させると、位置検出処理部１５７は撮影画像データを取得し（ステップＳ１３）、この撮影画像データに基づいて指示体１２の指示位置を検出する（ステップＳ１４）。続いて、座標算出部１５９が、位置検出処理部１５７により検出された指示位置の座標を算出する（ステップＳ１５）。このステップＳ１５で算出される座標は実投射領域１１Ｂにおける座標であり、図５（Ａ）で説明した座標（X1n，Y1n）である。

座標変換部１６０は、画像位置情報の更新が必要か否かを判別し（ステップＳ１６）、更新が必要な場合は制御部１０３及び表示制御部１０７から情報を取得して画像位置情報を更新する（ステップＳ１７）。このステップＳ１７の処理は、ステップＳ１５の後に限定されず、上記に例示したタイミングで随時実行してもよい。
その後、座標変換部１６０は、座標算出部１５９が算出した座標を表示画像の画像データにおける座標に変換する処理を行う（ステップＳ１８）。変換後の座標は、図５（Ｂ）で説明した座標（X2n，Y2n）である。
座標変換部１６０は、変換後の座標をＰＣ１３に出力し（ステップＳ１９）、本処理を終了する。

以上のように、本発明を適用した実施形態に係る表示システム１０は、プロジェクター１１が、画像データに基づき、スクリーンＳＣに表示画像を表示する投射ユニット３と、スクリーンＳＣにおける、表示画像に対する指示位置を検出する位置検出部１５１と、スクリーンＳＣ内の表示可能領域（例えば、実投射領域１１Ｂ）における指示位置の座標である第１の座標を算出する座標算出部１５９と、座標算出部１５９により算出された第１の座標を、画像データにおける座標である第２の座標に変換する座標変換部１６０と、座標変換部１６０により得られた第２の座標を出力する出力部１０１とを備え、指示体１２による指示位置の座標を、画像データにおける座標として出力するので、出力された座標を利用するＰＣ１３等においては、表示解像度や表示領域の広さ等の表示態様に影響されずに、指示位置と画像データとの相対位置を特定できる。画像データにおける指示位置の座標を得る過程で、画像データ自体と指示位置とを直接対応づける必要がないため、画像データのサイズ等が変化してもキャリブレーションを行う必要がない。従って、キャリブレーションの実行頻度を減らすことができる。これにより、プロジェクター１１の利便性の向上を図ることができる。また、ＰＣ１３側においてキャリブレーション用のプログラムを実行する必要がないため、ＰＣ１３の操作に不慣れなユーザーの負担を軽減できる。

また、座標変換部１６０は、座標算出部１５９により算出された第１の座標を、表示可能領域に対する表示画像の位置を示す情報である画像位置情報に基づいて、第２の座標に変換するので、表示可能領域に対する表示画像の位置を示す情報である画像位置情報が変化しても、指示体１２による指示位置の座標を正確に変換して出力できる。

また、座標変換部１６０は、座標算出部１５９により算出された第１の座標を、画像データの解像度に基づいて第２の座標に変換する。例えば、座標変換部１６０は、投射部３０の表示解像度と画像データの解像度を反映した画像位置情報を用いて座標の変換を行う。これにより、画像データの解像度が変化しても指示位置の座標を正確に変換して出力できる。
また、位置検出部１５１は、撮像部１５３が撮影した撮影画像に基づいて、スクリーンＳＣ上の指示体１２の位置を検出することにより、実投射領域１１Ｂにおける指示位置を検出するので、指示位置を速やかに検出できる。

さらに、座標変換部１６０は、座標算出部１５９により算出された指示位置の座標が、画像データが表示された領域に含まれない場合、言い換えれば、指示位置が表示画像に含まれない場合に、表示画像が表示された領域内で指示位置に近い位置の座標を、変換後の座標とするので、画像が表示されていない位置が指示された場合であっても、指示位置の座標を出力できる。また、出力される座標は指示位置に近い位置の座標であるため、指示位置の座標と同様に、ＰＣ１３等によって処理できる。

また、座標変換部１６０は、座標算出部１５９により算出された指示位置の座標が、画像データが表示された領域に含まれない場合、言い換えれば、指示位置が表示画像に含まれない場合に、変換後の座標を出力しないものとすることができ、この場合、ＰＣ１３は、画像に重なる位置への指示のみに対応した動作を行うことができる。
また、表示制御部１０７等により画像データに対する処理が実行されることにより、スクリーンＳＣにおける画像の表示態様が変更された場合に、座標変換部１６０は、表示態様に応じて変化した画像位置情報に基づいて座標を変換する処理を行う。ここで新たに変換された座標は、出力部１０１が出力する。これにより、表示画像の表示態様の変化に伴って常に適正な座標を出力できる。

なお、上記実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態においては、ＰＣ１３に対して変換後の座標を出力し、ＰＣ１３がポインター１２Ａ、メニューバー１２Ｂ等を描画する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、プロジェクター１１内に、ポインター１２Ａやメニューバー１２Ｂ等、画像データに重畳して描画する画像を生成する画像処理ユニット１２０を設けてもよい。

図１０に示すプロジェクター５１は、実施形態のプロジェクター１１と同様の各機能部を有するとともに、指示体１２の指示位置に対応してポインター１２Ａ、メニューバー１２Ｂ等を描画する画像処理ユニット１２０を備えている。画像処理ユニット１２０は、座標変換部１６０から入力された座標に従って、画像データに重畳する画像を生成する画像処理部１２２と、画像処理部１２２が画像を生成する際にデータを展開するフレームメモリー１２４とを備えている。
座標変換部１６０が、変換後の座標データを画像処理ユニット１２０に出力すると、画像処理ユニット１２０は、画像処理部１２２によってポインター１２Ａやメニューバー１２Ｂの画像を描画し、表示制御部１０７が展開している画像と同じ解像度の画像を生成して、画像処理部１１３に出力する。ここで画像処理部１２２が出力する画像は、ポインター１２Ａまたはメニューバー１２Ｂ等の画像を含む。画像処理部１１３は、画像処理部１２２から入力された画像を、フレームメモリー１１５に展開した画像と合成する。これにより、画像処理ユニット１１０は、速やかにポインター１２Ａやメニューバー１２Ｂを入力画像に重畳して表示できる。

また、上記実施形態の構成では、座標算出部１５９により算出された指示位置の座標が、画像データが表示された領域に含まれない場合に、座標変換部１６０が変換後の座標を出力しない構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、プロジェクター１１が外部から入力される信号の種別を判別しているとき、プロジェクター１１が投射している画像を一時停止しているとき、又はプロジェクター１１が画像の投射を中断しているとき等に、座標変換部１６０が変換後の座標を出力しない構成としても良い。なお、プロジェクター１１は、プロジェクター１１の前面に設けられたシャッター等の可動な遮蔽部（不図示）によって投射光学系３３が遮られたときや、操作パネル４１やリモコン等の操作部を介して画像の投射を中断する旨の指示を受けた場合等に、制御部１０３の制御により、画像の投射を中断することができる。

また、上記実施形態の構成において、位置検出ユニット１５０が有する撮像部１５３及び撮影制御部１５５を、プロジェクター１１に外部接続されたデジタルカメラにより代替することも可能である。この場合のデジタルカメラは、制御部１０３の制御により撮影を実行して撮影画像データを位置検出処理部１５７に出力するものであればよい。また、このデジタルカメラとプロジェクター１１とを接続するインターフェイスとしてはＵＳＢ等の汎用インターフェイスを利用できるので、容易に実現可能である。
また、上記実施形態の構成において、指示体１２は、棒状のものやペン型のものに限定されず、例えばユーザーの指を指示体１２として、その指示位置を検出する構成とすることも可能である。
さらに、上記実施形態の構成では、位置検出ユニット１５０が撮影画像データに基づいて指示体１２による指示位置を検出する構成を例に挙げて説明したが、本発明はこれに限定されず、例えば、表示面としてのスクリーンＳＣ或いは他の表示方式における表示画面に、感圧式や静電容量式のタッチパネルを設け、このタッチパネルによって指示体１２としてのユーザーの指や棒体等の接触を検出する構成としてもよい。

さらに、上記実施形態では、ＰＣ１３とプロジェクター１１とがケーブル等により有線接続される構成を例に挙げて説明したが、プロジェクター１１とＰＣ１３との接続形態は任意である。例えば、プロジェクター１１とＰＣ１３とが無線ＬＡＮ等を用いた無線通信により、或いはＵＳＢ等の汎用データ通信ケーブルや有線ＬＡＮ等を用いた有線通信により相互に接続され、画像データや座標データを送受信する構成としてもよい。

また、上記実施形態では、光源が発した光を変調する手段として、光変調装置３２がＲＧＢの各色に対応した３枚の透過型または反射型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。ここで、表示部として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。

また、本発明の表示装置は、スクリーンＳＣに画像を投射するプロジェクターに限定されず、液晶表示パネルに画像／画像を表示する液晶モニターまたは液晶テレビ、或いは、ＰＤＰ（プラズマディスプレイパネル）に画像／画像を表示するモニター装置またはテレビ受像機、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro-Luminescence）等と呼ばれる有機ＥＬ表示パネルに画像／画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の画像表示装置に含まれる。この場合、液晶表示パネル、プラズマディスプレイパネル、有機ＥＬ表示パネルが表示手段に相当し、その表示画面が表示面に相当する。より詳細には、画像を表示可能な領域全体が上記実施形態の実投射領域１１Ｂまたは投射可能領域１１Ａに相当する。

また、図２、図１０に示したプロジェクター１１、５１の各機能部、及び、図３に示したＰＣ１３の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１１及びＰＣ１３を含む表示システム１０の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、上記実施形態において記憶部１０５が記憶していた制御プログラム１０５Ａを、プロジェクター１１が通信ネットワークを介して接続された他の装置からダウンロードして実行しても良いし、可搬型の記録媒体に制御プログラム１０５Ａを記録して、この記録媒体から上記各プログラムを読み取って実行する構成としても良い。ＰＣ１３が記憶していた表示制御プログラム１３Ａについても同様に、ＰＣ１３が他の装置から表示制御プログラム１３Ａをダウンロードして実行しても良いし、可搬型の記録媒体に記録された表示制御プログラム１３ＡをＰＣ１３が読み取って実行する構成としても良い。

３…投射ユニット（表示手段）、１０…表示システム、１１、５１…プロジェクター（表示装置）、１１Ａ…投射可能領域、１１Ｂ…実投射領域（表示可能領域）、１１Ｃ…非表示領域、１２…指示体、１２Ａ…ポインター、１２Ｂ…メニューバー、１３…ＰＣ、３０…投射部（投射手段）、３１…照明光学系（光源）、３２…光変調装置（光変調手段）、１０１…出力部（出力手段）、１０３…制御部、１０５Ａ…制御プログラム、１０７…表示制御部、１１０…画像処理ユニット（画像形成手段）、１５０…位置検出ユニット、１５１…位置検出部（位置検出手段）、１５３…撮像部（撮像手段）、１５７…位置検出処理部、１５９…座標算出部（座標算出手段）、１６０…座標変換部（座標変換手段）、ＳＣ…スクリーン（投射面、表示面）。

Claims (9)

1. 画像データに基づき、表示面に表示画像を表示する表示手段と、
   前記表示面における、前記表示画像に対する指示位置を検出する位置検出手段と、
   前記表示面内の表示可能領域における前記指示位置の座標である第１の座標を算出する座標算出手段と、
   前記座標算出手段により算出された前記第１の座標を、前記画像データにおける座標である第２の座標に変換する座標変換手段と、
   前記座標変換手段により得られた前記第２の座標を出力する出力手段と、
   を備えることを特徴とする表示装置。
2. 前記座標変換手段は、前記座標算出手段により算出された前記第１の座標を、前記表示可能領域に対する前記表示画像の位置を示す情報である画像位置情報に基づいて、前記第２の座標に変換することを特徴とする請求項１記載の表示装置。
3. 前記座標変換手段は、前記座標算出手段により算出された前記第１の座標を、前記画像データの解像度に基づいて前記第２の座標に変換することを特徴とする請求項２記載の表示装置。
4. 前記位置検出手段は、撮像手段により前記表示面を撮像した撮影画像に基づいて、前記表示面の指示体の位置を検出することにより、前記表示可能領域における前記指示位置を検出することを特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記座標変換手段は、前記指示位置が前記表示画像に含まれない場合に、前記画像データにおいて前記指示位置に近い位置の座標を、変換後の座標とすることを特徴とする請求項１から４のいずれかに記載の表示装置。
6. 前記座標変換手段は、前記指示位置が前記表示画像に含まれない場合に、変換後の座標を出力しないことを特徴とする請求項１から４のいずれかに記載の表示装置。
7. 前記画像データに対して画像処理が実行されることにより、前記表示面における前記表示画像の表示態様が変更された場合に、前記座標変換手段は、前記表示態様に応じて変化した前記画像位置情報に基づいて、前記第１の座標を前記第２の座標に変換することを特徴とする請求項１から６のいずれかに記載の表示装置。
8. 光源が発した光を変調する光変調手段と、
   画像データに基づいて前記光変調手段に表示画像を形成する画像形成手段と、
   前記画像形成手段により形成された表示画像を投射面に投射する投射手段と、
   前記投射面における、前記表示画像に対する指示位置を検出する位置検出手段と、
   前記投射面の投射領域における前記指示位置の座標である第１の座標を算出する座標算出手段と、
   前記座標算出手段により算出された前記第１の座標を、前記画像データにおける座標である第２の座標に変換する座標変換手段と、
   前記座標変換手段により得られた前記第２の座標を出力する出力手段と、
   を備えることを特徴とするプロジェクター。
9. 画像データに基づいて表示面に表示画像を表示し、
   表示された前記表示画像に対する指示位置を検出し、
   前記表示面内の表示可能領域における前記指示位置の座標である第１の座標を算出し、
   算出した前記第１の座標を、前記画像データにおける座標である第２の座標に変換し、
   この変換により得られた前記第２の座標を出力すること、
   を特徴とする表示方法。

Images