JP5691802B2 - 投影システム、投影装置、投影方法、および制御プログラム - Google Patents

Description

この発明は投影システム、投影装置、投影方法、および制御プログラムに関し、特に、目標位置に画像を投影する投影システム、投影装置、投影方法、および制御プログラムに関する。

昨今のオフィス環境などにおいては、机上にディスプレイを設置し、当該ディスプレイに画像を表示して作業を行なうことが多くなされている。この場合、ディスプレイの面積が広いほど表示面積が増加するために作業効率が向上する。

しかしながら、オフィス環境などにおいては各自の作業スペースに制限があるため、ディスプレイの面積にも制限が生じる。

また一方で、必ずしもディスプレイ全面を用いて作業するとは限られないため、ディスプレイの面積を増加させても作業効率には直接的に結びつかない場合もある。

このような問題に対して、下記の特許文献１〜５は画像を投影する技術や、その投影方法などを開示している。

特開２００９−２７８２３４号公報 特開２０１０−１５１９９７号公報 特開２００２−１０９５６８号公報 特開平５−３４２３２２号公報 特開２００３−３３７９５９号公報

しかしながら、これらの技術を用いても、作業対象であるディスプレイを必要な時に面積を拡大して用いることは実現できず、ディスプレイを用いた作業の効率の向上に寄与するものではない。

本発明はこのような問題に鑑みてなされたものであって、ディスプレイの面積を仮想的に拡大させ、作業効率を向上させることのできる投影システム、投影装置、投影方法、および制御プログラムを提供することを目的としている。

上記目的を達成するために、本発明のある局面に従うと、投影システムは、投影装置と、ディスプレイと、カメラと、投影装置での投影とディスプレイでの表示とを制御するための制御装置と、ユーザの指示入力を受け付けるための入力手段とを備える。投影システムは、投影装置の投影する画面データを生成するための生成手段と、投影装置が画面データに基づく画面を投影する位置をディスプレイに対して特定するためのマークを、ディス
プレイに表示させるためのマーク管理手段と、カメラでの撮影画像を解析してディスプレイに表示されたマークを検出し、検出されたマークに基づいて規定される位置を投影装置が画面データに基づく画面を投影する位置と特定するための特定手段とをさらに備える。マーク管理手段は、入力手段で受け付けた指示入力に従ってマークのディスプレイでの表示位置を更新する。

好ましくは、マーク管理手段は、マークを少なくとも１つディスプレイに表示させ、特定手段は、予め記憶しているディスプレイの形状を用いて撮影画像をマッチングすることでディスプレイを検出し、予め記憶しているマークの形状を用いて撮影画像をマッチングすることでマークを検出し、ディスプレイに対するマークの位置に基づいて規定される位置を画面を投影する位置と特定する。

好ましくは、マーク管理手段は、マークを少なくとも１つ、ディスプレイから画面を表示させる位置への方向およびディスプレイから画面までの距離の少なくとも一方に応じた形状でディスプレイに表示させ、特定手段は、予め記憶しているマークの形状を用いて撮影画像をマッチングすることでマークを検出し、さらに記憶しているマークの形状と検出されたマークの形状とを比較することでその変化量を検出し、マークの位置およびマークの形状の変化量に応じて規定される位置を画面を投影する位置と特定する。

好ましくは、マーク管理手段は、マークを２つ以上ディスプレイに表示させ、特定手段は、予め記憶している２つ以上のマークの形状を用いて撮影画像をマッチングすることで２つ以上のマークをそれぞれ検出し、それらの位置関係に応じて規定される位置を画面を投影する位置と特定する。

本発明の他の局面に従うと、投影システムは、投影装置と、ディスプレイと、カメラと、投影装置での投影とディスプレイでの表示とを制御するための制御装置とを備える。投影システムは、投影装置の投影する画面データを生成するための生成手段と、投影装置が画面データに基づく画面を投影する位置をディスプレイに対して特定するためのマークを、ディスプレイに表示させるためのマーク管理手段と、カメラでの撮影画像を解析してディスプレイに表示されたマークを検出し、検出されたマークに基づいて規定される位置を
投影装置が画面データに基づく画面を投影する位置と特定するための特定手段とをさらに備える。マークはディスプレイのサイズを特定する情報を含み、マーク管理手段は、マークを少なくとも１つディスプレイに表示させ、特定手段は、予め記憶しているディスプレイの形状を用いて撮影画像をマッチングすることでディスプレイを検出し、さらに検出されたマークを解析することでディスプレイのサイズを特定し、マークの位置およびディスプレイのサイズに応じて規定される位置を画面を投影する位置と特定する。

本発明のさらに他の局面に従うと、投影システムは、投影装置と、ディスプレイと、カメラと、投影装置での投影とディスプレイでの表示とを制御するための制御装置とを備える。投影システムは、投影装置の投影する画面データを生成するための生成手段と、投影装置が画面データに基づく画面を投影する位置をディスプレイに対して特定するためのマークを、ディスプレイに表示させるためのマーク管理手段と、カメラでの撮影画像を解析してディスプレイに表示されたマークを検出し、検出されたマークに基づいて規定される位置を投影装置が画面データに基づく画面を投影する位置と特定するための特定手段とをさらに備える。生成手段は、投影装置が投影するための複数の画面に対応する複数の画面データを生成し、マークは、複数の画面の内の投影する画面を特定する情報を含み、特定手段は、予め記憶しているディスプレイの形状を用いて撮影画像をマッチングすることでディスプレイを検出し、さらに検出されたマークを解析することで投影する画面を特定する。

好ましくは、投影システムはユーザの視線を検出するための検出装置をさらに備え、マーク管理手段は、ユーザの視線の向かう方向を、画面を投影する位置が設定される方向と特定して、該方向に画面を投影する位置を設定し、当該投影する位置に応じたディスプレイ上の位置にマークを表示させる。

好ましくは、投影システムは、撮影画像におけるマークの形状の変化量に応じて画面データを補正するための補正手段をさらに備える。

本発明のさらに他の局面に従うと、投影装置は画面を投影するための投影装置であって、カメラから撮影画像の入力を受け付けるための入力手段と、画面データに基づく画面を所定位置に投影させるための制御手段とを備える。制御手段は、撮影画像を解析し、撮影画像内のディスプレイに表示された所定のマークを検出するための検出手段と、マークから予め規定された位置を投影位置と特定ための特定手段とを含み、撮影画像内のディスプレイに表示されるマークの表示位置は、ユーザの指示入力に従って更新される。

本発明のさらに他の局面に従うと、投影方法は投影装置によって画面を投影させるための投影方法であって、投影装置の投影する画面データを生成するステップと、投影装置が画面データに基づく画面を投影する位置をディスプレイに対して特定するためのマークを、ディスプレイに表示するステップと、カメラでの撮影画像を解析し、撮影画像に含まれたディスプレイ上のマークを検出するステップと、検出されたマークに基づいて規定される位置を画面データに基づく画面を投影する位置と特定し、投影装置から画面を投影するステップとを備え、マークをディスプレイに表示するステップは、ユーザの指示入力に従ってマークのディスプレイでの表示位置を更新するステップを含む。

本発明のさらに他の局面に従うと、制御プログラムは投影装置によって画面を投影させる制御をコンピュータに実行させるためのプログラムであって、投影装置の投影する画面データを生成するステップと、投影装置が画面データに基づく画面を投影する位置をディスプレイに対して特定するためのマークを、ディスプレイに表示するステップと、カメラでの撮影画像を解析し、撮影画像に含まれたディスプレイ上のマークを検出するステップと、検出されたマークに基づいて規定される位置を画面データに基づく画面を投影する位置と特定し、投影装置から画面を投影するステップとをコンピュータに実行させ、マークをディスプレイに表示するステップは、ユーザの指示入力に従ってマークのディスプレイでの表示位置を更新するステップを含む。

この発明によると、ディスプレイの面積を仮想的に拡大させ、作業効率を向上させることができる。

本実施の形態にかかる投影システムの構成の具体例を示す図である。 投影システムの構成の具体例を示す図である。 投影システムの構成の具体例を示す図である。 投影システムに含まれる第１のＰＣの装置構成の具体例を示すブロック図である。 投影システムに含まれる第２のＰＣの装置構成の具体例を示すブロック図である。 投影システムに含まれるＨＭＤの装置構成の具体例を示すブロック図である。 投影システムに含まれるカメラの装置構成の具体例を示すブロック図である。 投影システムでの動作の概要を説明するための図である。 第１のＰＣの機能構成の具体例を示すブロック図である。 第２のＰＣの機能構成の具体例を示すブロック図である。 第１のＰＣでの、カメラ画像に基づいた投影動作の流れの具体例を示すフローチャートである。 第２のＰＣでの動作の流れの具体例を示すフローチャートである。 第１の実施例での、ディスプレイでの表示画面とＨＭＤでの表示画面との位置関係の具体例を示す図である。 第１の実施例での、ディスプレイでの表示画面とＨＭＤでの表示画面との位置関係の他の具体例を示す図である。 第２の実施例での、ディスプレイの表示画面とＨＭＤでの表示画面との位置関係の具体例を示す図である。 第２の実施例での、ディスプレイの表示画面とＨＭＤでの表示画面との位置関係の他の具体例を示す図である。 第３の実施例での、ディスプレイの表示画面に表示されるマークの具体例を示す図である。 第３の実施例での第２のＰＣでの動作を表わしたフローチャートである。 第４の実施例での動作を表わした図である。 第４の実施例での第２のＰＣでの動作の流れを表わすフローチャートである。 第５の実施例での動作を表わした図である。 第６の実施例での動作を表わした図である。

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。

＜システム構成＞
図１は、本実施の形態にかかる投影システム１の構成の具体例を示す図である。

図１を参照して、本実施の形態にかかる投影システム１は、ディスプレイ５００と、投影装置としてのヘッドマウンテンディスプレイ（以下、ＨＭＤ）３００と、ディスプレイ５００の表示およびＨＭＤ３００における画像の投影を制御するための制御装置としてのパーソナルコンピュータ（以下、ＰＣ）２００と、ＨＭＤ３００における画像の投影を制御するための制御装置としてのＰＣ１００とを含む。

ＰＣ１００はＨＭＤ３００に接続されて、ＨＭＤ３００に対して画像データと共に制御信号を送信して、ＨＭＤ３００での画像の投影を制御する。

ＨＭＤ３００にはカメラ４００が接続されており、カメラ４００からの撮影画像がＰＣ１００に入力される。ＰＣ１００は当該撮影画像を用いて、ＨＭＤ３００での画像の投影の制御を実行する。

ＰＣ２００はディスプレイ５００に接続されて、画像データのうちのディスプレイ５００に表示させるデータから表示データを生成し、制御信号と共にディスプレイ５００に送信することで、ディスプレイ５００での画面表示を実行させる。

また、ＰＣ２００はＰＣ１００に接続されて、上記画像データのうちのＨＭＤ３００で投影させるデータを制御信号と共にＰＣ１００に送信することで、ＨＭＤ３００での画像の投影を実行させる。ＰＣ１００は当該制御信号に従って、当該画像データからＨＭＤ３００で投影させるための投影データを生成し、投影させるための処理を実行する。

ＰＣ１００とＨＭＤ３００およびカメラ４００との間の通信、ＰＣ２００とディスプレイ５００との間の通信、およびＰＣ１００とＰＣ２００との間の通信は図１に示されるように専用回線などを介した有線の通信であってもよいし、無線ＬＡＮや赤外線通信などの無線通信であってもよい。

なお、図１に表わされた投影システム１の形態は一例であって、この形態に限定されるものではない。たとえば、図２、図３に他の構成の投影システム１Ａ，１Ｂの具体例を示す。

すなわち、図２に示されるように、上記ＰＣ１００とＰＣ２００とが一台のＰＣ２００Ａで構成されてもよい。または、図３に示されるように、上記ＰＣ１００とＰＣ２００とが一台のＰＣ２００Ｂで構成され、さらに、当該ＰＣ２００Ｂとディスプレイ５００およびＨＭＤ３００との間の通信がインターネットを介した通信であってもよい。すなわち、ＰＣ２００Ｂは後述する処理を実行して必要な情報をディスプレイ５００およびＨＭＤ３００に対してインターネットを介して送信する。このような形態は、クラウドとも称される。

＜装置構成＞
図４は、ＰＣ１００の装置構成の具体例を示すブロック図である。図４に示されたＰＣ１００の装置構成は、一般的なパーソナルコンピュータの装置構成である。すなわち、図４を参照して、ＰＣ１００は、装置全体を制御するためのＣＰＵ１０と、ＣＰＵ１０で実行されるプログラムなどを記憶するためのメモリ１１と、ＨＭＤ３００やＰＣ２００などの他の装置と通信するための通信インタフェース（Ｉ／Ｆ）１２とを含む。

図５は、ＰＣ２００の装置構成の具体例を示すブロック図である。図５に示されたＰＣ２００の装置構成もまた、一般的なパーソナルコンピュータの装置構成であり、図４に示された構成と概ね同じ構成である。すなわち、図５を参照して、ＰＣ２００もまた、装置全体を制御するためのＣＰＵ２０と、ＣＰＵ２０で実行されるプログラムなどを記憶するためのメモリ２１と、ＰＣ１００やディスプレイ５００などの他の装置と通信するための通信Ｉ／Ｆ２２とを含む。ＰＣ２００は、さらに、マウスやキーボードなどの入力装置２３を備える。

図６は、ＨＭＤ３００の装置構成の具体例を示すブロック図である。図６を参照して、ＨＭＤ３００は、装置全体を制御するためのＣＰＵ３０と、ＣＰＵ３０で実行されるプログラムなどを記憶するためのメモリ３１と、ＰＣ１００やカメラ４００などの他の装置と通信するための通信Ｉ／Ｆ３２と、図示しないディスプレイを含んで、画像データに基づく画面を当該ディスプレイに投影するための投影部３３を含む。

本実施の形態において、投影部３３は透過性を有するディスプレイを含み、当該ディスプレイに対して画像を投影する。投影部３３に含まれるディスプレイは図示しない装着部によって、投影方向と視線方向とを略一致させるようにユーザの頭部等に装着可能である。

そのため、ＨＭＤ３００を装着したユーザは、当該ディスプレイを介して背景を視認しつつ当該背景に重ねて投影された画面を視認することができる。

図７は、カメラ４００の装置構成の具体例を示すブロック図である。図７を参照して、カメラ４００は、装置全体を制御するためのＣＰＵ４０と、ＣＰＵ４０で実行されるプログラムなどを記憶するためのメモリ４１と、ＨＭＤ３００などの他の装置と通信するための通信Ｉ／Ｆ４２と、第１撮影部４３および第２撮影部４４とを含む。

第１撮影部４３は、その撮影方向をＨＭＤ３００の投影部３３での投影方向に略一致させた位置に設置される。そのため、第１撮影部４３は、ＨＭＤ３００の図示しないディスプレイを介してユーザが視認することのできる、当該ＨＭＤ３００によって画面が投影された先の背景を撮影することになる。以降の説明において、第１撮影部４３が撮影することによって得られた画像を第１カメラ画像とも称する。

第２撮影部４４は、その撮影方向をＨＭＤ３００の投影部３３での投影方向と反対向きとさせた位置に設置される。そのため、第２撮影部４４は、ＨＭＤ３００を装着したユーザの目の付近を撮影することになる。以降の説明において、第２撮影部４４が撮影することによって得られた画像を第２カメラ画像とも称する。

＜動作概要＞
図８は、投影システム１での動作の概要を説明するための図である。

図８を参照して、投影システム１では、ＰＣ２００の入力装置２３による指示入力に従ってＰＣ２００において画像が生成されて、当該画像に基づいた画面５０１がディスプレイ５００に表示される。画面５０１には、図８に示すように、ＨＭＤ３００で投影される画面の表示位置に関するマーク５が表示される。マーク５の詳細については後述する。さらに、ＨＭＤ３００によってディスプレイ５００から所定の位置に上記画像に基づいた画面６０１，６０２が投影される。

これにより、ＨＭＤ３００を装着したユーザは、ディスプレイ５００の面積分の表示画面５０１に加えて、当該ディスプレイ５００から所定位置に拡張された表示画面６０１，６０２も視認することができる。

＜機能構成＞
図９は、上記動作を行なうためのＰＣ１００の機能構成の具体例を示すブロック図である。図９に示される各機能は、ＰＣ１００のＣＰＵ１０がメモリ１１に記憶されるプログラムを読み込んで実行することで、主にＣＰＵ１０上に形成されるものであるが、少なくとも一部が電気回路等のハードウェア構成によって実現されてもよい。

図９を参照して、ＣＰＵ１０は、通信Ｉ／Ｆ１２を介してデータを受信するためのデータ受信部１０１と、受信したデータを解析するためのデータ解析部１０２と、データ管理を行なうためのＰＣ・ＨＭＤ用データマネージメント部１０３と、カメラ４００の第１撮影部４３を制御するためのカメラ管理部（Ｏｕｔｓｉｄｅ）１０５と、第１カメラ画像から後述するマークを検出するためのマーク検出部１０４と、カメラ４００の第２撮影部４４を制御するためのカメラ管理部（Ｉｎｓｉｄｅ）１０７と、第２カメラ画像から視線を検出するための視線検出部１０６と、ＨＭＤ３００での投影を制御するためのディスプレイ管理部１０８と、その他処理を行なうためのその他処理部１０９と、送信用のデータを特定のデータ形式に整形するためのデータ作成部１１０と、通信Ｉ／Ｆ１２を介してデータを送信するためのデータ送信部１１１とを含む。

データ受信部１０１は、上述の通信によって送信されるデータのうち、必要なデータ（パケット）を受信する。データ解析部１０２は受信されたデータの中から必要なデータを抽出し、当該ＰＣ１００での処理に必要なデータであるか否かを解析する。そして、必要なデータである場合、解析結果に従って当該データがＰＣ・ＨＭＤ用データマネージメント部１０３またはその他処理部１０９に渡される。すなわち、データ受信部１０１がＰＣ２００からＨＭＤ３００で投影される画面データを受信すると、データ解析部１０２での解析結果に従って当該データがＰＣ・ＨＭＤ用データマネージメント部１０３に渡される。

マーク検出部１０４は予めマークの形状を記憶している。そして、カメラ管理部１０５から第１カメラ画像を受け取り、当該画像と記憶しているマークの形状とをマッチングすることで、第１カメラ画像の中からマークを検出する。また、第１カメラ画像中のマークの形状の変化から、カメラ４００からマークまでの距離および傾き具合を検出する。さらに、マーク検出部１０４はたとえば矩形形状などのディスプレイ５００の形状を予め記憶し、第１カメラ画像と当該形状とをマッチングすることで、第１カメラ画像からディスプレイ５００を検出する。そして、マーク検出部１０４は、これらの検出結果をＰＣ・ＨＭＤ用データマネージメント部１０３に渡す。

なお、マーク検出部１０４での検出のうちの上述のディスプレイ５００の形状の検出は、後述するマークの表示の具体例において必ずしも必要でない場合もある。すなわち、後述するように、複数のマークの位置関係に基づいて表示位置を決定する場合には、ディスプレイ５００の形状の検出を不要とすることができる。

視線検出部１０６は、カメラ管理部１０７から第２カメラ画像を受け取り、その中からＨＭＤ３００を装着しているユーザの目を検出して、その視線方向を検出する。そして、その検出結果をＰＣ・ＨＭＤ用データマネージメント部１０３に渡す。

ＰＣ・ＨＭＤ用データマネージメント部１０３は、マーク検出部１０４からの検出結果に基づいて表示位置を決定する。この決定方法については、以降に具体例を挙げて説明する。そして、ＰＣ・ＨＭＤ用データマネージメント部１０３は、画面データをディスプレイ管理部１０８に渡して、ＨＭＤ３００での画面を当該位置に表示させるように画面の投影を実行させる。

また、ＰＣ・ＨＭＤ用データマネージメント部１０３は、マーク検出部１０４からの検出結果および視線検出部１０６からの検出結果をＰＣ２００に送信する処理を行なう。

図１０は、上記動作を行なうためのＰＣ２００の機能構成の具体例を示すブロック図である。図１０に示される各機能は、ＰＣ２００のＣＰＵ２０がメモリ２１に記憶されるプログラムを読み込んで実行することで、主にＣＰＵ２０上に形成されるものであるが、少なくとも一部が電気回路等のハードウェア構成によって実現されてもよい。ＰＣ２００は図１０の各機能を備えて、サーバとして機能する。

図１０を参照して、ＣＰＵ２０は、通信Ｉ／Ｆ２２を介してデータを受信するためのデータ受信部２０１と、受信したデータを解析するためのデータ解析部２０２と、ＰＣ１００から送信されるデータを管理するための入力データ管理部２０３と、ディスプレイ５００でのマークの表示を管理するためのマーク管理部２０４と、ＨＭＤ３００で投影させる画面データを管理するためのＶＡＤ描画管理部２０５と、ユーザ管理などのその他のＰＣに関する管理を行なうためのその他管理部２０７と、マークを表示させるためのデータであるマーク情報などの各種データを保持するためのデータ保持部２０６と、送信用のデータを特定のデータ形式に整形するためのデータ作成部２０８と、通信Ｉ／Ｆ２２を介してデータを送信するためのデータ送信部２０９とを含む。

データ受信部２０１は、上述の通信によって送信されるデータのうち、必要なデータ（パケット）を受信する。データ解析部２０２は受信されたデータの中から必要なデータを抽出し、当該ＰＣ２００での処理に必要なデータであるか否かを解析する。そして、必要なデータである場合、解析結果に従って当該データが入力データ管理部２０３、マーク管理部２０４、ＶＡＤ描画管理部２０５、またはその他管理部２０７に渡される。

入力データ管理部２０３は、ＰＣ１００から入力されたデータから第１カメラ画像からのマークの検出結果およびＨＭＤ３００を装着したユーザの視線の検出結果を抽出してマーク管理部２０４に渡す。また、入力データ管理部２０３は、ＰＣ１００から入力されたデータからカメラ４００からマークまでの距離および傾き具合の検出結果を抽出してＶＡＤ描画管理部２０５に渡す。また、入力装置２３からの操作信号に基づいて、ユーザによる操作情報も取得する。

マーク管理部２０４は、ユーザからの指示入力またはＨＭＤ３００での投影開始を指示する指示入力に応じてディスプレイ５００に表示させるマークを生成し、当該マークを表示させるための制御信号と共にディスプレイ５００に対して送信する。

また、マーク管理部２０４は、入力装置２３からの操作信号からマークの位置変更などのマークに対する操作や、ＨＭＤ３００を装着したユーザの視線の検出結果などに基づいてマークを表示する位置を決定し、当該位置に表示位置を更新する。

ＶＡＤ描画管理部２０５は、ＨＭＤ３００で投影させる画面データを生成し、ＰＣ１００に対して当該画面データを送信する。

ＨＭＤ３００で投影させる画面データの一例として、入力装置２３からの操作信号に従う画像データから生成されたディスプレイ５００に表示させる画面データに対応した画面データが挙げられる。このような画面データをＨＭＤ３００に投影させることで、ディスプレイ５００の表示画面５０１がマークの表示位置の方向に拡張されて、画像データがより広い範囲で表示されることになる。もちろん、ＨＭＤ３００で投影させる画面データはこの例に限定されず、以降の具体例に示されるような、他の画面データであってもよい。

ＶＡＤ描画管理部２０５は、さらに、カメラ４００からマークまでの距離および傾き具合の検出結果に基づいて画面データを補正してもよい。このような補正を行なうことで、ＨＭＤ３００を装着したユーザがディスプレイ５００を視認する角度、距離に応じて、ディスプレイ５００での表示画面５０１と同じような見え方となるようにＨＭＤ３００から画面が投影されることになり、視認性が高まる。

＜動作フロー＞
図１１は、ＰＣ１００での、第１カメラ画像に基づいた投影動作の流れの具体例を示すフローチャートである。図１１のフローチャートに示される動作は、ＰＣ１００のＣＰＵ１０がメモリ１１に記憶されるプログラムを読み出して図９の各機能を発揮させることで実現される。

図１１を参照して、ＣＰＵ１０は、第１カメラ画像が入力されると（ステップＳ１０１でＹＥＳ）、ステップＳ１０３で当該画像を解析し、予め記憶しているマークの形状とマッチングすることで当該画像中のマークを検出する。また、予め記憶している、たとえば矩形形状などとマッチングすることで、当該画像中のディスプレイ５００を検出する。

第１カメラ画像からマークが検出されると（ステップＳ１０５でＹＥＳ）、ステップＳ１０７でＣＰＵ１０は、予め記憶されているマークとディスプレイ５００との位置関係ごとに規定されている表示位置に基づいて、検出されたマークとディスプレイ５００との位置関係に応じて表示位置を特定し、ステップＳ１０９で当該位置にＰＣ２００からの画面データに基づいた画面が表示されるようにＨＭＤ３００に投影させる。

図１１に示される投影動作とは別に、ＰＣ１００のＣＰＵ１０は、第１カメラ画像および第２カメラ画像に基づいて検出動作を行ない、その検出結果をＰＣ２００に送信する処理を実行している。すなわち、ＣＰＵ１０は、第１カメラ画像から上述のようにマークが検出されると、検出されたマークの形状と予め記憶しているマークの形状とを比較し、その変化量を検出する。予め変化量とカメラ４００からディスプレイ５００までの距離との関係を記憶している場合には、ＣＰＵ１０は検出された変化量から上記距離を特定してもよい。また、予め変化量とカメラ４００に対するディスプレイ５００の傾きとの関係を記憶している場合には、ＣＰＵ１０は検出された変化量から上記傾きを特定してもよい。

また、第２カメラ画像が入力されると当該画像を解析し、その画像から目を検出した上で、その視線方向を特定する。

そして、ＣＰＵ１０は、これらの検出結果をＰＣ２００に対して送信する。
この動作は、たとえばＰＣ２００からの要求があったときやＨＭＤ３００での投影を開始する指示入力があったときなどの所定のタイミングや、予め規定された時間間隔などで実行される。

図１２は、ＰＣ２００での動作の流れの具体例を示すフローチャートである。図１２のフローチャートに示される動作は、ＰＣ２００のＣＰＵ２０がメモリ２１に記憶されるプログラムを読み出して図１０の各機能を発揮させることで実現される。

図１２を参照して、ステップＳ２０１でＣＰＵ２０は、マークを表示する位置を特定し、その位置にマークを表示させるよう、ステップＳ２０３でマーク情報を生成して、ステップＳ２０５で表示処理を実行する。

上記ステップＳ２０１では、ＰＣ１００から上記検出結果の入力を受け付けている場合には、当該検出結果に基づいてマークを表示する位置を特定する。または、入力装置２３からの位置を変更する指示入力を受け付けている場合には、その指示に基づいてマークを表示する位置を特定する。また、デフォルト設定されている場合には、当該設定に従ってマークを表示する位置を特定する。

また、ステップＳ２０７でＣＰＵ２０は、ＨＭＤ３００で投影するための画像を特定し、ステップＳ２０９で当該画像に基づいて画面データを生成する。

上記ステップＳ２０７では、入力装置２３などからＨＭＤ３００で投影する画像を特定する指示入力を受け付けた場合には、当該指示入力に従って画像を特定する。または、ディスプレイ５００での表示画面に関連した画像がある場合には、当該画像をＨＭＤ３００で投影する画像として特定してもよい。

上記ステップＳ２０９で特定された画像から画面データを生成する際、ＣＰＵ２０は、好ましくは、ＰＣ１００からのカメラ４００からマークまでの距離および傾き具合の検出結果に基づいて補正する。

そして、ステップＳ２１１でＣＰＵ２０は、生成された画面データをＰＣ１００に送信する。

以降、具体的な実施例を挙げて、それぞれの処理について説明する。
＜実施例１＞
第１の実施例でＰＣ１００は、ディスプレイ５００に表示された１つのマークを利用してＨＭＤ３００での画面の表示位置を特定する。

図１３は、第１の実施例での、ディスプレイ５００での表示画面５０１とＨＭＤ２００での表示画面６０１との位置関係の具体例を示す図である。

図１３を参照して、第１の実施例として、ＰＣ２００はＨＭＤ３００での画面６０１の位置を特定するために、ディスプレイ５００の表示画面５０１上に１つのマーク５を表示する。

この場合、ＰＣ１００は予め検出されたマークの位置と画面６０１の表示位置との位置関係を図１３のように記憶しておく。すなわち、図１３の例では、マーク５の検出位置から左に所定距離離れた位置を画面中心とした位置を表示位置とする、と予め記憶しておく。そして、ＰＣ１００は、第１カメラ画像に含まれるマーク５を検出し、その位置から予め規定された距離だけ離れた位置を表示画面６０１の中心と表示位置を特定して、当該位置に表示画面６０１を表示するようＨＭＤ３００に投影させる。上記距離は、予めＰＣ１００に対して設定されているものであってもよいし、所定操作によって設定、更新されてもよい。

ここで、マーク５の形状は、カメラ画像において認識し得る形状であれば特定の形状に限定されない。所定位置から視認されるマーク５の形状、大きさは予めＰＣ１００に記憶されており、当該形状、大きさと第１カメラ画像から検出された形状、大きさとの差分（変化量）に応じて上記所定位置からの変化量を算出することで、カメラ４００に接続されたＨＭＤ３００のディスプレイ５００に対する距離、傾きを得ることができる。

他の例として、ディスプレイ５００の備えている図示しない枠の形状である矩形形状を第１カメラ画像から検出し、当該枠とマーク５との位置関係に基づいて画面６０１の表示位置を特定する場合、３次元位置表示のためのセンサとしてステレオカメラを用いてもよい。すなわち、カメラ４００にディスプレイ５００を撮影するための２つのカメラが備えられ、これらからの撮影画像に対して三角測量の原理を利用してディスプレイ５００の位置を特定するようにしてもよい。

また、他の例として、図１４のように、ＨＤＭ３００からの画面を表示する位置をマークの形状によって特定するようにしてもよい。すなわち、図１４を参照して、ＰＣ２００はＨＭＤ３００での画面６０１の位置を特定するために、ディスプレイ５００の表示画面５０１上に、当該画面６０１の方向を頂点で指した三角のマーク５を表示する。

この場合、ＰＣ１００は予め検出されたマークの位置および形状と画面６０１の表示位置との位置関係を図１４のように記憶しておく。すなわち、図１４の例では、マーク５の検出位置から、その頂点が指す方向である左側に所定距離離れた位置を画面中心とした位置を表示位置とする、と予め記憶しておく。そして、ＰＣ１００は、第１カメラ画像に含まれるマーク５を検出し、その頂点が指す方向に、マーク５の位置から予め規定された距離だけ離れた位置を表示画面６０１の中心と表示位置を特定して、当該位置に表示画面６０１を表示するようＨＭＤ３００に投影させる。この場合、マーク５の頂点の角度によって上記所定距離が特定されるようにしてもよい。また、図１４に示されるように、マーク５を複数表示することで、複数の画面をＨＭＤ３００から投影させるようにしてもよい。

また、さらに他の例として、ＰＣ１００でのディスプレイ５００の枠の形状の検出に変えて、ＰＣ２００が予めディスプレイ５００の枠の形状を記憶しておき、マーク５でディスプレイ５００の枠の形状を表わすようにしてもよい。枠の形状の表わし方として、具体的にマーク５を枠のサイズを表わす数値としてもよいし、枠のサイズを表わしたバーコードなどとしてもよい。

この場合、ＰＣ１００は第１カメラ画像からマーク５を検出するとさらにその画像を解析して、ディスプレイ５００の枠の形状を抽出する。ＰＣ１００は、予め枠の形状とマーク５からの表示位置とを表わした式を記憶している。そして、抽出されたディスプレイ５００の枠の形状を上記式に代入することで検出されたマーク５からの表示位置を特定することができる。

＜実施例２＞
第２の実施例でＰＣ１００は、ディスプレイ５００に表示された１つのマークの位置関係に基づいてＨＭＤ３００での画面の表示位置を特定する。

図１５は、第２の実施例での、ディスプレイ５００の表示画面５０１とＨＭＤ３００での表示画面６０１，６０２との位置関係の具体例を示す図である。

図１５を参照して、第２の実施例として、ＰＣ２００は、ディスプレイ５００の表示画面５０１上に基準となるマーク（以下、基準マーク）５Ａと、基準マーク５Ａとは異なる表示態様として、ＨＭＤ３００での画面６０１，６０２の位置を示すための（以下、位置マーク）５Ｂ，５Ｃとを表示する。図１５の例では、異なる表示態様としてたとえば表示色を異ならせる例が該当する。他の例として、形状を異ならせてもよい。

この場合、ＰＣ１００は、予め基準マークの表示態様と位置マークの表示態様とを記憶しており、第１カメラ画像から、それぞれのマークを検出する。そして、検出された基準マーク５Ａと位置マーク５Ｂ，５Ｃとの位置関係に基づいてＨＭＤ３００での画面６０１，６０２の位置を特定する。

ＰＣ１００での位置の特定方法の一例として、ＰＣ１００は、基準マーク５Ａから位置マーク５Ｂ，５Ｃへ向かう方向を単純な４方向に変換し、位置マーク５Ｂ，５Ｃからその方向に予め記憶された距離分離れた点をそれぞれ画面６０１，６０２の中心とした位置を表示位置と特定する。他の例として、基準マーク５Ａから位置マーク５Ｂ，５Ｃへ向かう方向に位置マーク５Ｂ，５Ｃからその方向に予め記憶された距離分離れた点をそれぞれ画面６０１，６０２の中心とした位置を表示位置と特定してもよい。

さらに、他の例として、図１６に示されるように、位置マーク５Ｂ，５Ｃにそれぞれが画面６０１，６０２の識別情報を付加し、位置マーク５Ｂ，５Ｃによって画面６０１，６０２のそれぞれを識別して位置を指定するようにしてもよい。図１６の例では、位置マーク５Ｂ内に付加された「１」の文字が画面６０１を識別し、位置マーク５Ｃ内に付加された「２」の文字が画面６０２を識別している。

さらに、この位置マーク５Ｂ，５Ｃは、入力装置２３を用いたユーザによる位置の変更の指示入力を受け付けて、ＰＣ２００によって表示位置が変更されてもよい。一例として、図１５、図１６に表わされた状態においてマーク５Ｃを表示画面５０１の右辺の中央付近に移動させることで、画面６０２を表示画面５０１の右横に表示させることができる。

この場合、特に図１６に表わされたように位置マーク５Ｂ，５Ｃにそれぞれが画面６０１，６０２の識別情報を付加されていることで、位置を変更したい画面に応じた位置マークを操作しやすくなる。

＜実施例３＞
第３の実施例でＰＣ１００は、ディスプレイ５００に表示されたマークのサイズに基づいてＨＭＤ３００での画面のサイズを特定する。ここでは、第２の実施例と同様に、基準マーク５Ａと位置マーク５Ｂ，５Ｃとを利用してＨＭＤ３００での画面の位置を特定し、それに併せて、位置マーク５Ｂ，５Ｃの大きさに基づいて画面のサイズを特定する。

図１７は、第３の実施例での、ディスプレイ５００の表示画面５０１に表示されるマークの具体例を示す図である。

図１７を参照して、第３の実施例でＰＣ２００は、位置マーク５Ｂ，５Ｃとして、ＨＭＤ３００での画面のサイズを特定し得る形状のマークを用いる。図１７の例では矩形形状のマーク５Ｂ，５Ｃを表示し、その形状がＨＭＤ３００での画面の形状（サイズ）に対応している。

この場合、ＰＣ２００のＣＰＵ２０は、ＨＭＤ３００での画面のサイズに応じて予め記憶されている位置マークの形状を変更する。この例では、画面６０２が横長形状のサイズであるため、当該サイズに応じて位置マーク５Ｃの形状を横長形状に変更し、表示画面５０１上に表示させる。一例として、位置マーク５Ｃの形状（縦横比）を画面６０２の縦横比に応じたサイズに変更することが挙げられる。

図１８は、この場合、ＰＣ２００での動作を表わしたフローチャートであって、図１１のフローチャートに示された動作の一部の変更箇所のみが示されている。

図１８を参照して、この場合、ＰＣ２００のＣＰＵ２０は、第１カメラ画像からマーク５Ａ，５Ｂ，５Ｃを検出すると（ステップＳ１０５でＹＥＳ）、ステップＳ１０７でこれらマークの位置関係に基づいてＨＭＤ３００での画面の表示位置を特定すると共に、ステップＳ１０８で位置マーク５Ｂ，５Ｃの形状に基づいて表示サイズを特定する。そして、ステップＳ１０９で、特定された位置に特定されたサイズで画面６０１，６０２が表示されるように、ＨＭＤ３００に画面を投影させる。

図１７の例では、位置マーク５Ｃの形状が横長形状で表示画面５０１に表示されている。

ＰＣ１００は第１カメラ画像から位置マーク５Ｃの形状としてこの形状を検出すると、上記ステップＳ１０８で一例として、画面６０２の表示サイズとして、その縦横比と同じ縦横比のサイズと特定する。そして、ステップＳ１０９で画面データを変換して、当該画面を表示するようＨＭＤ３００に投影させる。

なお、この場合も、第２の実施例と同様に、図１７に示されたように位置マーク５Ｂ，５Ｃにそれぞれが画面６０１，６０２の識別情報を付加し、位置マーク５Ｂ，５Ｃによって画面６０１，６０２のそれぞれを識別して位置を指定するようにしてもよい。

また、さらに、位置マークの形状の変更を、入力装置２３を用いたユーザからの指示入力に従って行なうようにしてもよい。図１７の例の場合、位置マーク５Ｃの形状は、正方形形状であった当該マークの形状がマウスでドラッグするなどの操作に応じて変更されたものであってよい。

この場合、位置マークの基本形状としてＨＭＤ３００による画面の形状に対応した形状が用いられる。または、基本形状からの変化率をＨＭＤ３００による画面の形状に対する変化率として検出し、画面データを変換するようにしてもよい。

＜実施例４＞
第４の実施例として、位置マークをウィンドウ移動アイコンとしても用い、直観的に表示画面５０１からＨＭＤ３００による画面にウィンドウやファイルなどを移動することを可能とする。

図１９は、第４の実施例での動作を表わした図である。
図１９を参照して、表示画面５０１に表示された、ＨＭＤ３００での画面６０１の表示位置を表わしたマーク５に対して、入力装置２３を用いた、ウィンドウをドラッグアンドドロップする操作を受け付けると、ＰＣ２００は当該ウィンドウを画面６０１に移動させて表示させる。

図２０は、この場合のＰＣ２００での動作の流れを表わすフローチャートである。この動作は、たとえば、図１２のフローチャートに示された動作の後に行なわれてもよい。

図２０を参照して、ＰＣ２００のＣＰＵ２０は入力装置２３からのウィンドウをドラッグアンドドロップする操作を受け付けると（ステップＳ３０１でＹＥＳ）、ドロップされた位置がＨＭＤ３００での画面の表示位置を表わしたマークから所定範囲内である場合（ステップＳ３０３でＹＥＳ）、そのマークの表わす画面に当該ウィンドウを移動させると判断する。そして、ステップＳ３０５でＣＰＵ２０は、表示画面５０１から当該ウィンドウを除くと共に、指定されたＨＭＤ３００での画面に当該ウィンドウを表示するよう、それぞれの画面データを更新し、ステップＳ３０７で当該画面データをＰＣ１００に対して送信する。

このような動作が行なわれることで、ＨＭＤ３００での画面によってあたかもディスプレイ５００の表示領域が拡張されたように操作することが可能となる。

なお、ＨＭＤ３００での画面に表示されたウィンドウを表示画面５０１に移動させてもよい。この場合、ＨＭＤ３００での画面を最小化したとき、ＨＭＤ３００での画面に表示されたウィンドウをディスプレイ５００との境界から所定範囲内まで移動させたとき、または、ＨＭＤ３００での画面に専用のマークなどの領域を設けておき、当該領域に対象のウィンドウをドラッグアンドドロップしたとき、などの検出結果に応じてＰＣ２００が画面データを更新することで、ウィンドウの移動が実現される。

また、他の例として、ＰＣ２００は、たとえばＨＭＤ３００での画面の表示位置を表わしたマークをダブルクリックするなどの所定操作に従って、ＨＭＤ３００での画面の表示内容と表示画面５０１の表示内容を入れ替えてもよい。

＜実施例５＞
第５の実施例では、ＨＭＤ３００を装着したユーザの視線方向を検出し、その方向にＨＭＤ３００による画面が表示されるようにする。これにより、ユーザが視認する方向に画面が表示されることになり、使い勝手が向上する。

図２１は、第５の実施例での動作を表わした図である。
図２１を参照して、ＨＭＤ３００を装着したユーザの視線方向が表示画面５０１に対して左側に向いていることが検出されると、ＨＭＤ３００から表示画面５０１の左側に画面６０１が表示されるように投影され、この場合に、右側の表示画面６０２が表示されなくなる。

この場合、ＰＣ１００は第２カメラ画像を解析することで、ＨＭＤ３００を装着したユーザの視線方向を検出し、その検出結果をＰＣ２００に対して送信する。

この検出結果を受け付けたＰＣ２００では、ＨＭＤ３００での画面の表示位置を表わしたマークを、その視線方向に表示させるよう、当該マークの表示位置を決定し、表示画面５０１上の当該位置にマーク５Ａを表示させる。

これにより、ＰＣ１００で第１カメラ画像を解析して当該マークの位置が検出されて、ユーザの視線方向の所定位置にＨＭＤ３００からの画面が表示されるように画面データが投影されることになる。

＜実施例６＞
以上の例では、ＨＭＤ３００による画面の表示位置を主にディスプレイ５００の周囲として、マークを用いて、そのうちのいずれの位置に表示するかを特定するものとしていた。しかしながら、表示位置を予め特定しておき、その画面での表示内容を同様にして特定するようにしてもよい。

図２２は、第６の実施例での動作を表わした図である。
図２２を参照して、第６の実施例では、ＰＣ２００は、たとえばディスプレイ５００の左側、などとＨＭＤ３００による画面６０１を表示させる位置を予め特定しておく。そして、入力装置２３によって、表示画面５０１に表示されるウィンドウのうちの１つの選択を受け付けると、当該ウィンドウに関連した画面を画面６０１に表示させるために画面データをＰＣ１００に対して送信する。

図２２（Ａ）においては、表示画面５０１に表示された３つのウィンドウのうちの右端のウィンドウ（図２２（Ａ）においてウィンドウ１）が選択されている状態が示されており、この例では、選択されたウィンドウ１がアクティブ表示されている。そして、この場合、当該ウィンドウ１に関連した画面がＶＡＤ１として表示画面５０１の左側にＨＭＤ３００で投影されることによって表示されている。画面６０１での表示内容はウィンドウ１での表示内容と同じものであってもよいし、予め関連付けて記憶されている画像に基づくものであってもよいし、ウィンドウ１で使用しているアプリケーションの実行画面などであってもよい。

図２２（Ｂ）は、図２２（Ａ）の状態から異なるウィンドウが選択された場合を表わしており、具体的に、中央のウィンドウ（図２２（Ｂ）においてウィンドウ２）が選択されている状態が示されている。図２２（Ｂ）では、選択されたウィンドウ２がアクティブ表示されている。そして、この場合、画面６０１の表示内容は、当該ウィンドウ２に関連した画面に切り替わる。

以上の動作が行なわれることで、投影システム１ではディスプレイ５００の表示面積を仮想的に拡大させることができる。これにより、限られた作業スペースにディスプレイ５００が設置されていた場合であっても、その作業スペースを圧迫することなく表示面積を拡大することができ、ディスプレイ５００を用いた作業の効率を向上させることができる。

＜他の例＞
なお、以上の例では、ＰＣ２００がディスプレイ５００の表示画面５０１上にマークを表示し、ＰＣ１００がその位置によってＨＭＤ３００での画面の表示位置をするものとしていた。

しかしながら、上記マークに替えて、ディスプレイ５００の枠自体をマークとして用いることができる。

すなわち、ＰＣ１００は予めディスプレイ５００の枠とＨＭＤ３００での画面表示位置との対応関係を記憶しており、第１カメラ画像からディスプレイ５００の枠を検出すると、当該枠のサイズに応じてＨＭＤ３００での画面の表示位置を特定するようにしてもよい。この処理のために、ＰＣ１００には、予め何種類かディスプレイの枠の形状がテンプレートとして記憶されていてもよい。または、第１カメラ画像を解析することで、枠のサイズを特定するようにしてもよい。

この場合、ディスプレイ５００の枠の形状に応じてＨＭＤ３００での画面表示位置が決定されるため、上述のような、様々な条件に基づいてＰＣ２００がマークを表示する位置を決定する処理が不要となる。すなわち、ＰＣ２００においてマークを表示する位置を決定したり、マークの形状を決定したりする処理は不要とできる。

さらに、上述のＰＣ２００での動作およびＰＣ１００での動作を実行させるためのプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

なお、本発明にかかるプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。

また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，１Ａ，１Ｂ 投影システム、５，５Ａ，５Ｂ，５Ｃ マーク、１０，２０，３０，４０ ＣＰＵ、１１，２１，３１，４１ メモリ、１２，２２，３２，４２ 通信Ｉ／Ｆ、３ 入力装置、３３ 投影部、４３ 第１撮影部、４４ 第２撮影部、１０１，２０１ データ受信部、１０２，２０２ データ解析部、１０３ ＰＣ・ＨＭＤ用データマネージメント部、１０４ マーク検出部、１０５，１０７ カメラ管理部、１０６ 視線検出部、１０８ ディスプレイ管理部、１０９ その他処理部、１１０，２０８ データ作成部、１１１，２０９ データ送信部、２０３ 入力データ管理部、２０４ マーク管理部、２０５ ＶＡＤ描画管理部、２０６ データ保持部、２０７ その他管理部、３００ ＨＭＤ、４００ カメラ、５００ ディスプレイ、５０１，６０１，６０２，６０３ 画面。

Claims (11)

1. 投影システムであって、
   投影装置と、
   ディスプレイと、
   カメラと、
   前記投影装置での投影と前記ディスプレイでの表示とを制御するための制御装置と、
   ユーザの指示入力を受け付けるための入力手段とを備え、
   前記投影装置の投影する画面データを生成するための生成手段と、
   前記投影装置が前記画面データに基づく画面を投影する位置を前記ディスプレイに対して特定するためのマークを、前記ディスプレイに表示させるためのマーク管理手段と、
   前記カメラでの撮影画像を解析して前記ディスプレイに表示された前記マークを検出し、前記検出されたマークに基づいて規定される位置を前記投影装置が前記画面データに基づく画面を投影する位置と特定するための特定手段とをさらに備え、
   前記マーク管理手段は、前記入力手段で受け付けた前記指示入力に従って前記マークの前記ディスプレイでの表示位置を更新する、投影システム。
2. 投影システムであって、
   投影装置と、
   ディスプレイと、
   カメラと、
   前記投影装置での投影と前記ディスプレイでの表示とを制御するための制御装置とを備え、
   前記投影装置の投影する画面データを生成するための生成手段と、
   前記投影装置が前記画面データに基づく画面を投影する位置を前記ディスプレイに対して特定するためのマークを、前記ディスプレイに表示させるためのマーク管理手段と、
   前記カメラでの撮影画像を解析して前記ディスプレイに表示された前記マークを検出し、前記検出されたマークに基づいて規定される位置を前記投影装置が前記画面データに基づく画面を投影する位置と特定するための特定手段とをさらに備え、
   前記マークは前記ディスプレイのサイズを特定する情報を含み、
   前記マーク管理手段は、前記マークを少なくとも１つ前記ディスプレイに表示させ、
   前記特定手段は、予め記憶している前記ディスプレイの形状を用いて前記撮影画像をマッチングすることで前記ディスプレイを検出し、さらに前記検出されたマークを解析することで前記ディスプレイのサイズを特定し、前記マークの位置および特定された前記ディスプレイのサイズに応じて規定される位置を前記画面を投影する位置と特定する、投影システム。
3. 投影システムであって、
   投影装置と、
   ディスプレイと、
   カメラと、
   前記投影装置での投影と前記ディスプレイでの表示とを制御するための制御装置とを備え、
   前記投影装置の投影する画面データを生成するための生成手段と、
   前記投影装置が前記画面データに基づく画面を投影する位置を前記ディスプレイに対して特定するためのマークを、前記ディスプレイに表示させるためのマーク管理手段と、
   前記カメラでの撮影画像を解析して前記ディスプレイに表示された前記マークを検出し、前記検出されたマークに基づいて規定される位置を前記投影装置が前記画面データに基づく画面を投影する位置と特定するための特定手段とをさらに備え、
   前記生成手段は、前記投影装置が投影するための複数の画面に対応する複数の画面データを生成し、
   前記マークは、前記複数の画面の内の投影する画面を特定する情報を含み、
   前記特定手段は、予め記憶している前記ディスプレイの形状を用いて前記撮影画像をマッチングすることで前記ディスプレイを検出し、さらに前記検出されたマークを解析することで投影する画面を特定する、投影システム。
4. 前記マーク管理手段は、前記マークを少なくとも１つ前記ディスプレイに表示させ、
   前記特定手段は、予め記憶している前記ディスプレイの形状を用いて前記撮影画像をマッチングすることで前記ディスプレイを検出し、予め記憶している前記マークの形状を用いて前記撮影画像をマッチングすることで前記マークを検出し、前記ディスプレイに対する前記マークの位置に基づいて規定される位置を前記画面を投影する位置と特定する、請求項１に記載の投影システム。
5. 前記マーク管理手段は、前記マークを少なくとも１つ、前記ディスプレイから前記画面を表示させる位置への方向および前記ディスプレイから前記画面までの距離の少なくとも一方に応じた形状で前記ディスプレイに表示させ、
   前記特定手段は、予め記憶している前記マークの形状を用いて前記撮影画像をマッチングすることで前記マークを検出し、さらに前記記憶しているマークの形状と前記検出されたマークの形状とを比較することでその変化量を検出し、前記マークの位置および前記マークの形状の変化量に応じて規定される位置を前記画面を投影する位置と特定する、請求項１に記載の投影システム。
6. 前記撮影画像における前記マークの形状の変化量に応じて前記画面データを補正するための補正手段をさらに備える、請求項５に記載の投影システム。
7. 前記マーク管理手段は、前記マークを２つ以上前記ディスプレイに表示させ、
   前記特定手段は、予め記憶している前記２つ以上のマークの形状を用いて前記撮影画像をマッチングすることで前記２つ以上のマークをそれぞれ検出し、それらの位置関係に応じて規定される位置を前記画面を投影する位置と特定する、請求項１に記載の投影システム。
8. ユーザの視線を検出するための検出装置をさらに備え、
   前記マーク管理手段は、前記ユーザの視線の向かう方向を、前記画面を投影する位置が設定される方向と特定して、該方向に前記画面を投影する位置を設定し、当該投影する位置に応じた前記ディスプレイ上の位置に前記マークを表示させる、請求項１〜７のいずれかに記載の投影システム。
9. 画面を投影するための投影装置であって、
   カメラから撮影画像の入力を受け付けるための入力手段と、
   画面データに基づく画面を所定位置に投影させるための制御手段とを備え、
   前記制御手段は、
   前記撮影画像を解析し、前記撮影画像内のディスプレイに表示された所定のマークを検出するための検出手段と、
   前記マークから予め規定された位置を投影位置と特定するための特定手段とを含み、
   前記撮影画像内のディスプレイに表示される前記マークの表示位置は、ユーザの指示入力に従って更新される、投影装置。
10. 投影装置によって画面を投影させるための投影方法であって、
    前記投影装置の投影する画面データを生成するステップと、
    前記投影装置が前記画面データに基づく画面を投影する位置をディスプレイに対して特定するためのマークを、前記ディスプレイに表示するステップと、
    カメラでの撮影画像を解析し、前記撮影画像に含まれた前記ディスプレイ上の前記マークを検出するステップと、
    前記検出されたマークに基づいて規定される位置を前記画面データに基づく画面を投影する位置と特定し、前記投影装置から前記画面を投影するステップとを備え、
    前記マークを前記ディスプレイに表示するステップは、ユーザの指示入力に従って前記マークの前記ディスプレイでの表示位置を更新するステップを含む、投影方法。
11. 投影装置によって画面を投影させる制御をコンピュータに実行させるためのプログラムであって、
    前記投影装置の投影する画面データを生成するステップと、
    前記投影装置が前記画面データに基づく画面を投影する位置をディスプレイに対して特定するためのマークを、前記ディスプレイに表示するステップと、
    カメラでの撮影画像を解析し、前記撮影画像に含まれた前記ディスプレイ上の前記マークを検出するステップと、
    前記検出されたマークに基づいて規定される位置を前記画面データに基づく画面を投影する位置と特定し、前記投影装置から前記画面を投影するステップとを前記コンピュータに実行させ、
    前記マークを前記ディスプレイに表示するステップは、ユーザの指示入力に従って前記マークの前記ディスプレイでの表示位置を更新するステップを含む、制御プログラム。

Images