JP7022323B2 - 画像表示システム、画像表示装置及び画像表示システムの制御方法 - Google Patents

Description

本発明は、画像表示システム、画像表示装置及び画像表示システムの制御方法に関する。

表示している画像上に、ＯＳＤ（オンスクリーンディスプレイ）画像を重畳させて表示させる画像表示装置が知られている。特許文献１には、ズーム調整やキーストーン調整を行うためのメニュー画像をＯＳＤ画像として重畳表示させるプロジェクターが記載されている。ユーザーは、表示されるメニュー画像を見ながらリモコン等を操作することで、ズーム量やキーストーン補正の補正値を調整することができる。

特開２０１４－７８８７２号公報

しかしながら、画像を鑑賞している人がいるときに、ズーム調整やキーストーン補正等の操作を行うと、画像上に重畳されるＯＳＤ画像によって、画像の鑑賞が妨げられてしまうという問題を有している。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係る画像表示システムは、第１の画像表示装置及び第２の画像表示装置を有する画像表示システムであって、前記第１の画像表示装置は、前記第２の画像表示装置と通信を行う第１の通信部と、第１の画像情報に基づく第１の画像を表示する第１の表示部と、第２の画像情報を記憶する記憶部と、第１の操作を受け付ける操作部と、前記操作部が受け付けた前記第１の操作に応じた前記第２の画像情報を、前記第１の通信部から前記第２の画像表示装置に送信させる制御部と、を備え、前記第２の画像表示装置は、前記第１の画像表示装置と通信を行う第２の通信部と、前記第２の通信部を介して受信した前記第２の画像情報に基づく第２の画像を表示する第２の表示部と、を備えることを特徴とする。

この画像表示システムによれば、第１の操作がなされた際に表示すべき第２の画像を、第１の画像表示装置ではなく第２の画像表示装置が表示するため、第１の画像表示装置が表示する第１の画像を鑑賞している人がいる場合に、第１の画像に第２の画像が重畳されて、第１の画像の鑑賞が妨げられてしまうことが抑制される。

［適用例２］上記適用例に係る画像表示システムにおいて、前記第１の画像表示装置は、前記第１の画像情報を補正する補正部をさらに備え、前記操作部は、前記第２の表示部が前記第２の画像を表示しているときに、第２の操作を受け付け、前記補正部は、前記操作部が受け付けた前記第２の操作に応じて生成された補正値を用いて前記第１の画像情報を補正し、前記第１の表示部は、前記補正部で補正された第１の画像情報に基づいて、前記第１の画像を表示することが望ましい。

この画像表示システムによれば、第１の画像表示装置は、第２の表示部が第２の画像を表示しているときに操作部により第２の操作を受け付け、この第２の操作に基づいて第１の画像情報を補正する補正部を備えるため、第１の画像の鑑賞を妨げることなく第１の画像の補正を行うことが可能となる。

［適用例３］上記適用例に係る画像表示システムにおいて、前記第２の表示部は、光透過性を有する表示部材に前記第２の画像を表示することが望ましい。

この画像表示システムによれば、第２の表示部は、光透過性を有する表示部材に第２の画像を表示するため、ユーザーは、この表示部材を通して第１の画像を視認しつつ、第２の画像を見ることが可能となる。

［適用例４］上記適用例に係る画像表示システムにおいて、前記第２の画像表示装置は、前記第１の表示部が表示する前記第１の画像を検出する画像検出部と、前記画像検出部が検出した前記第１の画像の態様に基づいて、前記第２の表示部が表示する前記第２の画像の態様を調整する画像調整部と、をさらに備えることが望ましい。

この画像表示システムによれば、第１の表示部が表示する第１の画像を画像検出部が検出し、検出された第１の画像の態様に基づいて、画像調整部が第２の画像の態様を調整するため、検出された第１の画像の態様に合わせて第２の画像を表示させることが可能となる。

［適用例５］上記適用例に係る画像表示システムにおいて、前記制御部は、前記第１の通信部から前記第１の画像情報を前記第２の画像表示装置に送信させ、前記画像検出部は、前記第２の通信部を介して受信した前記第１の画像情報に基づいて、前記第１の画像を検出することが望ましい。

この画像表示システムによれば、第２の画像情報とともに第１の画像情報が第１の画像表示装置から第２の画像表示装置に送信されるため、画像検出部は、送信される第１の画像情報を利用することにより、第１の画像を容易に検出することが可能となる。

［適用例６］上記適用例に係る画像表示システムにおいて、前記第２の画像表示装置は、撮像部をさらに備え、前記画像検出部は、前記撮像部が撮像した画像に基づいて前記第１の画像を検出することが望ましい。

この画像表示システムによれば、第２の画像表示装置は、撮像部を備えているため、第１の画像を容易に検出することが可能となる。

［適用例７］本適用例に係る画像表示装置は、画像を表示する画像表示装置であって、他の画像表示装置と通信を行う第１の通信部と、第１の画像情報に基づく第１の画像を表示する第１の表示部と、第２の画像情報を記憶する記憶部と、第１の操作を受け付ける操作部と、前記操作部が受け付けた前記第１の操作に応じた前記第２の画像情報を、前記第１の通信部から前記他の画像表示装置に送信させる制御部と、を備えることを特徴とする。

この画像表示装置によれば、第１の操作がなされた際に表示すべき画像、即ち第２の画像情報に基づく第２の画像を、第１の表示部ではなく他の画像表示装置に表示させるため、第１の表示部が表示する第１の画像を多人数で鑑賞している場合であっても、第１の画像に第２の画像が重畳されて鑑賞が妨げられてしまうことが抑制される。

［適用例８］本適用例に係る画像表示システムの制御方法は、第１の画像表示装置及び第２の画像表示装置を有する画像表示システムの制御方法であって、前記第１の画像表示装置が、第１の画像情報に基づく第１の画像を表示し、前記第１の画像表示装置が、第１の操作を受け付け、前記第１の画像表示装置が、前記第１の操作に応じた第２の画像情報を前記第２の画像表示装置に送信し、前記第２の画像表示装置が、前記第２の画像情報を受信し、前記第２の画像表示装置が、受信した前記第２の画像情報に基づく第２の画像を表示することを特徴とする。

この画像表示システムの制御方法によれば、第１の操作がなされた際に表示すべき第２の画像を、第１の画像表示装置ではなく第２の画像表示装置が表示するため、第１の画像表示装置が表示する第１の画像を鑑賞している人がいる場合に、第１の画像に第２の画像が重畳されて鑑賞が妨げられてしまうことが抑制される。

画像表示システムを示す説明図。 プロジェクターの概略構成を示すブロック図。 ＨＭＤの概略構成を示すブロック図。 ポイント補正処理を説明するための説明図。 ポイント補正処理を説明するための説明図。 ＯＳＤ画像の表示を禁止する動作モードにおいて、ポイント補正処理の実行が指示された際の画像表示システムの動作を示すフローチャート。

以下、本実施形態の画像表示システムについて、図面を参照して説明する。
図１は、本実施形態の画像表示システム１００を示す説明図である。
図１に示すように、画像表示システム１００は、スクリーンや壁面等の投写面Ｓｐに画像を投写するプロジェクター１と、投写面Ｓｐを視認可能な位置にいるユーザーの頭部に装着される頭部装着型表示装置（以降、「ＨＭＤ（Head Mounted Display）」とも呼ぶ。）２とを備えて構成される。図１では図示を省略しているが、プロジェクター１は、画像再生装置等の画像供給装置３（図２参照）に接続されており、画像供給装置３から画像情報の供給を受けて、供給される画像情報に基づく画像（以降、「コンテンツ画像Ｉｃ」とも呼ぶ。）を投写面Ｓｐに投写する。ＨＭＤ２は、光透過性を有する表示部材を備えたシースルー型（透過型）の画像表示装置であり、ＨＭＤ２を装着したユーザーは、表示部材に表示される画像を視認できるとともに、表示部材を通して外景を視認することができる。また、プロジェクター１とＨＭＤ２とは、無線通信によって接続されており、互いに情報の送受信（通信）を行うことが可能となっている。なお、プロジェクター１は、第１の画像表示装置に相当し、ＨＭＤ２は、第２の画像表示装置に相当する。

本実施形態の画像表示システム１００では、プロジェクター１に対するユーザーの操作等に基づいて、メニュー画像やメッセージ画像、各種調整用のパターン画像等の付加画像を表示する際に、これらの付加画像を、ＯＳＤ（オンスクリーンディスプレイ）画像としてコンテンツ画像Ｉｃ上に重畳して投写（表示）させる代わりに、付加画像のみをＨＭＤ２に表示させることができる。これにより、プロジェクター１が投写するコンテンツ画像Ｉｃ上に付加画像（ＯＳＤ画像）が重畳されてしまうことを抑制でき、コンテンツ画像Ｉｃの鑑賞が付加画像によって妨げられずに済むようになる。

図２は、プロジェクター１の概略構成を示すブロック図である。
図２に示すように、プロジェクター１は、制御部１０と、記憶部１１と、操作部としての入力操作部１２と、第１の通信部としての通信部１３と、画像情報入力部１４と、補正部としての画像情報処理部１５と、第１の表示部としての画像投写部１６とを一体的に備えて構成されている。プロジェクター１は、画像供給装置３から画像情報入力部１４に入力される画像情報に基づいて、画像投写部１６から投写面Ｓｐにコンテンツ画像Ｉｃを投写する。

制御部１０は、１つ又は複数のプロセッサーを備えて構成され、記憶部１１に記憶されている制御プログラムに従って動作することによりプロジェクター１の動作を統括制御する。

記憶部１１は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のメモリーを備えて構成される。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、プロジェクター１の動作を制御するための制御プログラムや制御データ等を記憶する。また、ＲＯＭには、メニュー画像、メッセージ画像及びパターン画像等の付加画像（ＯＳＤ画像）を表す画像情報（以降、「ＯＳＤ画像情報」とも呼ぶ。）が記憶されている。

入力操作部１２は、ユーザーがプロジェクター１に対して各種指示を行うための複数の操作キーを備えており、操作キーに対するユーザーの入力操作を受け付ける。入力操作部１２が備える操作キーとしては、電源のオンとオフ（スタンバイ）とを切り替えるための「電源キー」、各種設定を行うためのメニュー画像を表示させる「メニューキー」、メニュー画像上で項目を選択する際等に用いられる「方向キー」、選択した項目を確定させる際等に用いられる「決定キー」等がある。ユーザーが入力操作部１２の各種操作キーを操作すると、入力操作部１２は、ユーザーの操作内容に応じた操作信号を制御部１０に出力する。なお、遠隔操作が可能なリモコン（図示せず）を、入力操作部１２として用いる構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部１０に伝達する。

通信部１３は、無線によってＨＭＤ２と接続され、制御部１０の制御に基づいて、ＨＭＤ２との間で情報の送受信（通信）を行う。なお、通信部１３は、無線ＬＡＮ（Local Area Network）等のネットワークを介してＨＭＤ２に接続される態様とすることができる。この場合、通信部１３は、ネットワークに接続された様々な装置（例えば、コンピューターや他のプロジェクター）と通信を行うこともできる。また、通信部１３とＨＭＤ２との接続は、無線による接続に限定されず、有線による接続であってもよい。

画像情報入力部１４は、外部の画像供給装置３に接続され、画像供給装置３からコンテンツ画像Ｉｃに対応する画像情報の供給を受ける。また、画像情報入力部１４は、制御部１０から、記憶部１１に記憶されている画像情報や、制御部１０が生成した画像情報の供給を受けることができる。画像情報入力部１４は、入力された画像情報を画像情報処理部１５に出力する。

画像情報処理部１５は、制御部１０の制御に基づいて、画像情報入力部１４から入力される画像情報に対して各種画像処理を施し、処理後の画像情報を画像投写部１６のライトバルブ駆動部２４に出力する。例えば、画像情報処理部１５は、画質を調整する処理や、画像の形状（歪み）を補正する処理、ＯＳＤ画像を重畳して表示する処理等を必要に応じて画像情報に施す。

ＯＳＤ画像を重畳させる際、制御部１０は、必要なＯＳＤ画像情報を記憶部１１から読み出し、ＯＳＤ画像を表示すべき位置を表す位置情報とともに画像情報処理部１５に出力する。画像情報処理部１５は、制御部１０からこれらの情報が入力されると、位置情報が表す位置に、ＯＳＤ画像情報に基づく付加画像（ＯＳＤ画像）を重畳させる処理を行う。ただし、上述したように、ユーザーにより、コンテンツ画像Ｉｃ上にＯＳＤ画像を重畳させない設定がなされている場合には、制御部１０は、画像情報処理部１５にＯＳＤ画像を重畳させる代わりに、ＯＳＤ画像情報を通信部１３からＨＭＤ２に送信させて、ＯＳＤ画像に相当する付加画像をＨＭＤ２に表示させる。

なお、画像情報入力部１４及び画像情報処理部１５は、１つ又は複数のプロセッサー等によって構成されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の専用の処理装置によって構成されてもよい。

画像投写部１６は、光源２１、光変調装置としての３つの液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂ、投写光学系２３、ライトバルブ駆動部２４等を備えて構成されている。画像投写部１６は、光源２１から射出された光を、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂで変調して画像光を形成し、レンズ及びミラーの少なくとも一方を含む投写光学系２３からこの画像光を投写して投写面Ｓｐに画像を表示する。

光源２１は、超高圧水銀ランプやメタルハライドランプ等の放電型の光源ランプ、又は発光ダイオードや半導体レーザー等の固体光源を含んで構成されている。光源２１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色光成分に分離された後、それぞれ液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂに入射する。

液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂは、それぞれ一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。各液晶パネルには、マトリクス状に配列された複数の画素からなる矩形の画素領域２２ｉが形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。

ライトバルブ駆動部２４は、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの画素領域２２ｉに画像を形成する。具体的には、ライトバルブ駆動部２４は、画像情報処理部１５から入力される画像情報に応じた駆動電圧を、画素領域２２ｉの各画素に印加し、各画素を画像情報に応じた光透過率に設定する。光源２１から射出された光は、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの画素領域２２ｉを透過することによって画素毎に変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、図示しない色合成光学系によって画素毎に合成されてカラー画像を表す画像光となり、投写光学系２３によって投写面Ｓｐに拡大投写される。この結果、投写面Ｓｐ上には、画像情報入力部１４に入力された画像情報に基づく画像が表示される。

図１に戻って、ＨＭＤ２は、ユーザーの頭部に装着される頭部装着部２ａと、ユーザーに保持される制御装置（コントローラー）２ｂとを備えている。

頭部装着部２ａは、本実施形態では眼鏡形状を有している。頭部装着部２ａは、右保持部３１Ｒと、左保持部３１Ｌと、前部フレーム３２とを有する本体に、右表示ユニット３３Ｒと、左表示ユニット３３Ｌと、右導光板３４Ｒと、左導光板３４Ｌとを備えている。

右保持部３１Ｒ及び左保持部３１Ｌは、前部フレーム３２を保持する部材であり、眼鏡のテンプル（つる）のように、前部フレーム３２の左右両端部から後方に延び、ユーザーの側頭部に配置される。

右導光板３４Ｒ及び左導光板３４Ｌは、光透過性を有する表示部材であり、前部フレーム３２に固定されている。右導光板３４Ｒは、頭部装着部２ａを装着したユーザーの右眼の眼前に位置し、ユーザーの右眼に画像を視認させる。左導光板３４Ｌは、頭部装着部２ａを装着したユーザーの左眼の眼前に位置し、ユーザーの左眼に画像を視認させる。

前部フレーム３２は、右導光板３４Ｒの一端と左導光板３４Ｌの一端とを互いに連結させるように構成されている。連結される位置は、頭部装着部２ａを装着したユーザーの眉間の位置に対応する。前部フレーム３２には、右導光板３４Ｒと左導光板３４Ｌとが連結される位置に、頭部装着部２ａを装着したユーザーの鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部３１Ｒと左保持部３１Ｌとによって、頭部装着部２ａをユーザーの頭部に固定できる。また、右保持部３１Ｒ及び左保持部３１Ｌに対して、頭部装着部２ａを装着したユーザーの後頭部に接するベルトを連結してもよい。この場合、ベルトによって頭部装着部２ａをユーザーの頭部に強固に固定できる。

右表示ユニット３３Ｒは、右導光板３４Ｒへの画像の表示を行う。右表示ユニット３３Ｒは、右保持部３１Ｒに配置され、頭部装着部２ａを装着したユーザーの右側頭部の近傍に位置する。左表示ユニット３３Ｌは、左導光板３４Ｌへの画像の表示を行う。左表示ユニット３３Ｌは、左保持部３１Ｌに配置され、頭部装着部２ａを装着したユーザーの左側頭部の近傍に位置する。なお、右表示ユニット３３Ｒ及び左表示ユニット３３Ｌを総称して「表示ユニット３３（図３参照）」とも呼ぶ。表示ユニット３３は、第２の表示部に相当する。

本実施形態の右導光板３４Ｒ及び左導光板３４Ｌは、光透過性の樹脂等によって形成される光学部材（例えばプリズム）であり、右表示ユニット３３Ｒ及び左表示ユニット３３Ｌが出力する画像光をユーザーの眼に導く。なお、右導光板３４Ｒ及び左導光板３４Ｌの表面には、調光板が設けられてもよい。調光板は、光の波長域に応じて透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム３２の表面（ユーザーの眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板３４Ｒ及び左導光板３４Ｌを透過する外光の光量を調整できる。

頭部装着部２ａは、右表示ユニット３３Ｒ及び左表示ユニット３３Ｌがそれぞれ生成する画像光を、右導光板３４Ｒ及び左導光板３４Ｌに導き、この画像光によって画像をユーザーに視認させる。つまり、右表示ユニット３３Ｒ及び左表示ユニット３３Ｌは、ユーザーが視認できるように、右導光板３４Ｒ及び左導光板３４Ｌに画像を表示する。右導光板３４Ｒ及び左導光板３４Ｌは、光透過性を有しているため、ユーザーの眼には、画像を構成する画像光とともに、外光が入射する。つまり、右導光板３４Ｒ及び左導光板３４Ｌに表示された画像と外景の双方が同時にユーザーの視界に入る。

撮像部３５は、頭部装着部２ａの前部フレーム３２に配置されている。撮像部３５は、前部フレーム３２の前面において、右導光板３４Ｒ及び左導光板３４Ｌを透過する外光を遮らない位置に設けられる。図１の例では、撮像部３５は、前部フレーム３２の右側端部に配置されている。撮像部３５は、前部フレーム３２の左側端部に配置されていてもよく、右導光板３４Ｒと左導光板３４Ｌとの連結部に配置されていてもよい。

撮像部３５は、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の撮像素子、及び、撮像レンズ等を備えるカメラである。本実施形態の撮像部３５は単眼カメラであるが、ステレオカメラを採用してもよい。撮像部３５は、ＨＭＤ２の表側方向、即ち頭部装着部２ａを装着したユーザーが視認する視界方向の、少なくとも一部の外景（実空間）を撮像する。換言すれば、撮像部３５は、ユーザーの視界と重なる範囲、即ちユーザーが視認する方向を撮像する。撮像部３５の画角の広さは、適宜設定することできる。本実施形態では、撮像部３５の画角の広さは、少なくともユーザーが右導光板３４Ｒ及び左導光板３４Ｌを通して視認可能な範囲を撮像するように設定されている。

頭部装着部２ａと制御装置２ｂとは、接続ケーブル３６によって接続される。接続ケーブル３６の一端は、制御装置２ｂの下部に設けられるコネクターに着脱可能に接続され、接続ケーブル３６の他端は、左表示ユニット３３Ｌから頭部装着部２ａの内部に挿入されて、各種回路に接続される。

制御装置２ｂは、ＨＭＤ２の動作を制御するための装置である。制御装置２ｂの表面には、タッチパッド３７と、複数の操作キー３８とが配置されている。タッチパッド３７は、ユーザーの指の接触、及び接触した指の移動を検出する操作面を有し、ユーザーの指による操作面への操作を受け付ける。操作面における指の検出方式は特に限定されず、静電式、圧力検出式、光学式等を採用できる。操作キー３８は、ユーザーの押圧操作を受け付ける。

図３は、ＨＭＤ２の概略構成を示すブロック図である。
図３に示すように、ＨＭＤ２の制御装置２ｂは、制御部４０と、記憶部４１と、入力操作部４２と、第２の通信部としての通信部４３と、画像情報処理部４４とを備えて構成されている。

制御部４０は、１つ又は複数のプロセッサーを備えて構成され、記憶部４１に記憶されている制御プログラムに従って動作することによりＨＭＤ２の動作を統括制御する。

記憶部４１は、ＲＡＭ及びＲＯＭ等のメモリーを備えて構成される。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、ＨＭＤ２の動作を制御するための制御プログラムや制御データ等を記憶する。

入力操作部４２は、タッチパッド３７及び複数の操作キー３８を備えて構成され、タッチパッド３７及び操作キー３８に対するユーザーの入力操作を受け付ける。ユーザーが入力操作部４２（タッチパッド３７及び操作キー３８）を操作すると、入力操作部４２は、ユーザーの操作内容に応じた操作信号を制御部４０に出力する。

通信部４３は、無線によってプロジェクター１と接続され、制御部４０の制御に基づいて、プロジェクター１との間で情報の送受信（通信）を行う。なお、通信部４３は、無線ＬＡＮ等のネットワークを介してプロジェクター１に接続される態様とすることができる。この場合、通信部４３は、ネットワークに接続された様々な装置（例えば、コンピューターや他のＨＭＤ）と通信を行うこともできる。また、通信部４３とプロジェクター１との接続は、無線による接続に限定されず、有線による接続であってもよい。

画像情報処理部４４は、制御部４０の制御に基づいて、制御部４０から入力される画像情報に、画質調整等の画像処理を施し、処理後の画像情報を頭部装着部２ａの表示ユニット３３（右表示ユニット３３Ｒ及び左表示ユニット３３Ｌ）に出力する。なお、画像情報処理部４４は、１つ又は複数のプロセッサー等によって構成されてもよいし、ＡＳＩＣやＦＰＧＡ等の専用の処理装置によって構成されてもよい。

ＨＭＤ２の頭部装着部２ａは、表示ユニット３３と、撮像部３５と、６軸センサー４５とを有している。

表示ユニット３３は、右表示ユニット３３Ｒ及び左表示ユニット３３Ｌを含んで構成される。右表示ユニット３３Ｒ及び左表示ユニット３３Ｌは、図示しないＯＬＥＤ（Organic Light Emitting Diode）パネルを有しており、画像情報処理部４４から入力される画像情報に基づく画像光をＯＬＥＤパネルで生成し、それぞれ右導光板３４Ｒ及び左導光板３４Ｌに導く。なお、右表示ユニット３３Ｒ及び左表示ユニット３３Ｌは、ＯＬＥＤパネルを備えた構成に限定されない。例えば、光源から射出された光を液晶パネルで変調して画像光を生成する構成であってもよい。

撮像部３５は、制御部４０の制御に従って撮像を実行し、撮像された画像（以降、「撮像画像」とも呼ぶ。）に対応する画像情報（以降、「撮像画像情報」とも呼ぶ。）を制御部４０に出力する。

６軸センサー４５は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）であり、頭部装着部２ａを装着したユーザーの頭部の動きを検出する。６軸センサー４５としては、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）であってもよい。６軸センサー４５は、予め指定されたサンプリング周波数に従って検出値を制御部４０に出力するようにしてもよいし、制御部４０からの指示に応じて検出値を出力してもよい。なお、頭部装着部２ａには、６軸センサー４５以外に、磁気センサーやＧＰＳ（Global Positioning System）レシーバー等が備わっていてもよい。

次に、画像表示システム１００の動作について説明する。
ユーザーは、プロジェクター１の入力操作部１２を操作することにより、プロジェクター１の動作に関わる様々な設定を行うことができる。これらの設定の１つとして、ユーザーは、ＯＳＤ画像の表示を許可する動作モードと、ＯＳＤ画像の表示を禁止する動作モードとを切り替えることが可能になっている。

プロジェクター１の動作モードが、ＯＳＤ画像の表示を許可するモードに設定されている場合には、ＯＳＤ画像は、プロジェクター１によりコンテンツ画像Ｉｃ上に重畳して表示される。例えば、ＯＳＤ画像の表示を許可する動作モードにおいて、ユーザーにより入力操作部１２のメニューキーが操作されると、制御部１０は、画像情報処理部１５に指示をして、メニュー画像をＯＳＤ画像としてコンテンツ画像Ｉｃ上に重畳させる。この結果、コンテンツ画像Ｉｃ上にメニュー画像が重畳された画像が画像投写部１６から投写される。

一方、プロジェクター１の動作モードが、ＯＳＤ画像の表示を禁止するモードに設定されている場合において、ユーザーによりメニューキーが操作されると、制御部１０は、画像情報処理部１５にメニュー画像を重畳させる指示を行わず、メニュー画像に対応するＯＳＤ画像情報を記憶部１１から読み出して、これを通信部１３からＨＭＤ２に送信させる。そして、ＨＭＤ２の制御部４０が、通信部４３で受信したＯＳＤ画像情報を画像情報処理部４４に出力することにより、ＨＭＤ２の表示部材（右導光板３４Ｒ及び左導光板３４Ｌ）にメニュー画像が表示される。つまり、この場合には、ＨＭＤ２を装着したユーザーのみがメニュー画像を視認することが可能であり、このユーザーは、ＨＭＤ２に表示されるメニュー画像を見ながらプロジェクター１の入力操作部１２を操作することによってメニュー画像に対する操作（メニュー操作）を行うことができる。一方、ＨＭＤ２を装着していない他のユーザーには、メニュー画像が視認されず、コンテンツ画像Ｉｃの鑑賞が妨げられてしまうことが抑制される。

また、本実施形態のプロジェクター１は、投写面Ｓｐの凹凸等に起因して生じる画像の歪みを補正するためのポイント補正処理を実行可能になっている。
図４Ａ及び図４Ｂは、ポイント補正処理を説明するための説明図である。
図４Ａに示すように、ＯＳＤ画像の表示を許可する動作モードにおいて、ユーザーにより、ポイント補正処理の実行を指示する操作が入力操作部１２になされると、制御部１０は、画像情報処理部１５に指示をして、格子状のパターン画像（格子パターンＩｐ）をＯＳＤ画像としてコンテンツ画像Ｉｃ上に重畳させる。格子パターンＩｐは、複数の縦線Ｌｖと複数の横線Ｌｈとを含んで構成され、コンテンツ画像Ｉｃを複数の矩形の領域に区切るパターン画像である。縦線Ｌｖと横線Ｌｈとが交わる複数の交点（以降、「ポイントＰ」とも呼ぶ。）のうちの１つには、矩形のガイドマークＧが付されており、このポイントＰが補正対象のポイントＰであることを示している。

格子パターンＩｐが表示された状態では、ユーザーは、入力操作部１２の方向キーを操作することにより、ガイドマークＧを移動させて、補正対象のポイントＰを選択することができる。ユーザーは、所望のポイントＰを選択した状態、即ち所望のポイントＰにガイドマークＧを位置させた状態で決定キーを操作することにより、このポイントＰを補正対象のポイントＰとして確定させることができる。図４Ｂに示すように、補正対象のポイントＰが確定すると、ユーザーは、入力操作部１２の方向キーを操作することにより、ガイドマークＧが付された補正対象のポイントＰの位置を、所望の方向に所望の量だけ移動（調整）することができる。１つのポイントＰについて位置の調整が完了すると、ユーザーは、他のポイントＰについても引き続き位置の調整を行うことが可能であり、必要な調整をすべて終えた後で、処理の終了を指示する操作を行うと、ポイント補正処理が終了する。その後、制御部１０は、調整後のポイントＰの位置に基づいて、画像情報を補正するための補正パラメーター（補正値）を生成する。そして、制御部１０は、画像情報処理部１５に指示をして、これ以降入力される画像情報に対して、生成された補正パラメーターに基づく補正を開始させる。これにより、投写面Ｓｐの凹凸等に起因する画像の歪みが補正された状態でコンテンツ画像Ｉｃが投写される。

一方、ＯＳＤ画像の表示を禁止する動作モードにおいて、ユーザーにより、ポイント補正処理の実行を指示する操作が入力操作部１２になされると、格子パターンＩｐは、ＨＭＤ２に表示される。この場合、プロジェクター１から投写されるコンテンツ画像Ｉｃと、ＨＭＤ２に表示される格子パターンＩｐとの間で、位置、形状、大きさ等がずれていると、補正のための操作を適切に行うことが困難となる。このため、本実施形態では、ＨＭＤ２を装着したユーザーから視認されるコンテンツ画像Ｉｃの位置、形状及びサイズに応じて、ＨＭＤ２に表示される格子パターンＩｐの位置、形状及びサイズを調整することが可能になっている。

図５は、ＯＳＤ画像の表示を禁止する動作モードにおいて、ポイント補正処理の実行が指示された際の画像表示システム１００の動作を示すフローチャートである。ここで、ステップＳ１０１～Ｓ１０８は、プロジェクター１の動作を示し、ステップＳ２０１～Ｓ２０６は、ＨＭＤ２の動作を示している。

まず、ステップＳ１０１では、プロジェクター１の制御部１０は、格子パターンＩｐに対応するＯＳＤ画像情報（以降、「パターン画像情報」とも呼ぶ。）を記憶部１１から読み出して、この画像情報を通信部１３からＨＭＤ２に送信させる。

次いで、ステップＳ１０２では、制御部１０は、画像供給装置３から画像情報入力部１４に入力される画像情報、即ちコンテンツ画像Ｉｃに対応する画像情報（以降、「コンテンツ画像情報」とも呼ぶ。）を画像情報入力部１４から取得し、この画像情報を通信部１３からＨＭＤ２に送信させる。ここで、画像情報入力部１４には、画像供給装置３から画像情報がフレーム単位で逐次入力されるが、制御部１０は、その時点で画像情報入力部１４に入力されたフレームの画像情報を取得してＨＭＤ２に送信させる。なお、ＨＭＤ２に送信されるコンテンツ画像情報は、ＨＭＤ２の撮像部３５が撮像した画像の中からコンテンツ画像Ｉｃを検出するために利用される。

ステップＳ１０３では、制御部１０は、入力操作部１２に対して、ポイントＰを選択する操作やポイントＰの位置を調整する操作等、ポイントＰに関する操作がなされたか否かを判断する。そして、制御部１０は、ポイントＰに関する操作がなされた場合にはステップＳ１０４に処理を移し、ポイントＰに関する操作がなされていない場合にはステップＳ１０５に処理を移す。

ステップＳ１０４に処理が移行した場合には、制御部１０は、入力操作部１２になされた入力操作に基づいて、ポイントＰを選択する処理や、ポイントＰを移動する処理等、入力操作に対応する処理を行い、ステップＳ１０２に処理を戻す。

一方、ステップＳ１０５に処理が移行した場合には、制御部１０は、ユーザーにより、ポイント補正処理の終了を指示する操作（終了操作）が入力操作部１２になされたか否かを判断する。そして、制御部１０は、終了操作がなされた場合にはステップＳ１０６に処理を移し、終了操作がなされていない場合にはステップＳ１０２に処理を戻す。

ステップＳ１０６に処理が移行した場合には、制御部１０は、通信部１３からポイント補正処理が終了したことをＨＭＤ２に通知する。そして、ステップＳ１０７では、制御部１０は、調整後のポイントＰの位置に基づいて、画像情報を補正するための補正パラメーター（補正値）を生成する。その後、ステップＳ１０８では、制御部１０は、画像情報処理部１５に指示をして、これ以降入力される画像情報に対して、生成された補正パラメーターに基づく補正を開始させ、フローを終了する。これにより、投写面Ｓｐの凹凸等に起因する画像の歪みが補正された状態でコンテンツ画像Ｉｃが投写される。

次に、ＨＭＤ２の動作について説明する。
ステップＳ２０１では、ＨＭＤ２の通信部４３は、ステップＳ１０１にてプロジェクター１から送信されたパターン画像情報を受信する。そして、ステップＳ２０２では、通信部４３は、ステップＳ１０２にてプロジェクター１から送信されたコンテンツ画像情報を受信する。

ステップＳ２０３では、ＨＭＤ２の制御部４０は、撮像部３５に撮像を行わせ、撮像された撮像画像の中から、受信したコンテンツ画像情報に基づく画像、即ちプロジェクター１から投写面Ｓｐに投写されたコンテンツ画像Ｉｃを検出する。

ステップＳ２０４では、制御部４０は、撮像画像の中から検出されたコンテンツ画像Ｉｃの態様（位置、形状及び大きさ）に基づいて、ステップＳ２０１で受信したパターン画像情報に基づく格子パターンＩｐの態様（位置、形状及び大きさ）を調整する。具体的には、制御部４０は、ＨＭＤ２を装着したユーザーから見て、格子パターンＩｐがコンテンツ画像Ｉｃに重畳されてそれぞれの外形が一致して見えるように、受信したパターン画像情報を調整する。

そして、ステップＳ２０５では、制御部４０は、調整後のパターン画像情報を画像情報処理部４４に出力し、表示ユニット３３により右導光板３４Ｒ及び左導光板３４Ｌに格子パターンＩｐを表示させる。この結果、ＨＭＤ２を装着したユーザーには、右導光板３４Ｒ及び左導光板３４Ｌを透過して視認されるコンテンツ画像Ｉｃに重畳するように格子パターンＩｐが視認される。換言すれば、格子パターンＩｐは、コンテンツ画像Ｉｃと外形が一致するように変形された状態で視認される。

ステップＳ２０６では、制御部４０は、ポイント補正処理が終了したことを示す通知が通信部４３にて受信されたか否かを判断する。そして、制御部４０は、通知が受信されていない場合にはステップＳ２０２に処理を戻し、通知が受信された場合にはフローを終了する。

以上説明したように、本実施形態の画像表示システム１００、プロジェクター１及びこれらの制御方法によれば、以下の効果を得ることができる。

（１）本実施形態によれば、メニュー画像やパターン画像等の付加画像を、プロジェクター１がＯＳＤ画像としてコンテンツ画像Ｉｃに重畳して表示する代わりに、ＨＭＤ２に表示させることができる。このため、プロジェクター１が表示するコンテンツ画像Ｉｃを鑑賞している人がいる場合に、コンテンツ画像Ｉｃ上に付加画像（ＯＳＤ画像）が重畳されて、コンテンツ画像Ｉｃの鑑賞が妨げられてしまうことが抑制される。

（２）本実施形態によれば、プロジェクター１の入力操作部１２は、ＨＭＤ２に格子パターンＩｐが表示されているときに、ポイントＰの位置を調整する操作を受け付け、画像情報処理部１５は、この操作に応じて生成された補正パラメーターに基づいて画像情報を補正する。このため、コンテンツ画像Ｉｃの鑑賞を妨げることなくコンテンツ画像Ｉｃの補正を行うことが可能となる。

（３）本実施形態によれば、ＨＭＤ２の表示ユニット３３は、光透過性を有する表示部材（右導光板３４Ｒ及び左導光板３４Ｌ）に格子パターンＩｐを表示するため、ユーザーは、この表示部材を通してコンテンツ画像Ｉｃを視認しつつ、格子パターンＩｐを見ることが可能となる。

（４）本実施形態によれば、ＨＭＤ２の制御部４０が、撮像画像の中からコンテンツ画像Ｉｃを検出し、検出されたコンテンツ画像Ｉｃの態様に基づいて、表示すべき格子パターンＩｐの態様を調整するため、検出されたコンテンツ画像Ｉｃの態様に合わせて格子パターンＩｐを表示させることが可能となる。

（５）本実施形態によれば、格子パターンＩｐを表すパターン画像情報とともにコンテンツ画像情報がプロジェクター１からＨＭＤ２に送信されるため、ＨＭＤ２は、送信されるコンテンツ画像情報を利用することにより、コンテンツ画像Ｉｃを容易に検出することが可能となる。

（６）本実施形態によれば、ＨＭＤ２は、撮像部３５を備えているため、コンテンツ画像Ｉｃを容易に検出することが可能となる。

なお、上記実施形態では、コンテンツ画像情報が第１の画像情報に相当し、コンテンツ画像情報に基づくコンテンツ画像Ｉｃが第１の画像に相当する。また、ＯＳＤ画像情報が第２の画像情報に相当し、ＯＳＤ画像情報に基づくメニュー画像や格子パターンＩｐが第２の画像に相当する。また、メニュー画像を表示させるためのメニューキーの操作やポイント補正処理の実行を指示する操作が第１の操作に相当し、ポイント補正処理においてポイントＰの位置を調整するための方向キーの操作が第２の操作に相当する。また、ステップＳ２０３にて撮像画像の中からコンテンツ画像Ｉｃを検出する際の制御部４０が画像検出部に相当し、ステップＳ２０４にて表示すべき格子パターンＩｐの態様を調整する際の制御部４０が画像調整部に相当する。

（変形例）
また、上記実施形態は、以下のように変更してもよい。

上記実施形態において、ＨＭＤ２に表示させる格子パターンＩｐを、投写面Ｓｐ上のコンテンツ画像Ｉｃに重畳させる際、頭部装着部２ａを装着したユーザーがわずかに動いただけで両者にずれが生じてしまう。このため、ＨＭＤ２に表示させる格子パターンＩｐの態様を調整する際には、６軸センサー４５の検出結果を加味するようにしてもよい。

上記実施形態において、コンテンツ画像Ｉｃが暗い画像の場合には、撮像画像の中からコンテンツ画像Ｉｃを検出することが困難となる。このため、プロジェクター１は、コンテンツ画像Ｉｃの検出を容易にするためのパターン画像（ＯＳＤ画像）をコンテンツ画像Ｉｃに重畳して投写するようにしてもよい。ただし、パターン画像によってコンテンツ画像Ｉｃの鑑賞が妨げられることがないよう、パターン画像は、例えば、コンテンツ画像Ｉｃの周縁に配置される枠状の画像や、コンテンツ画像Ｉｃの四隅に配置される小さなマークとすることが望ましい。ここで、プロジェクター１は、コンテンツ画像Ｉｃが暗い場合にのみ、このパターン画像を表示するようにしてもよいし、ポイント補正処理の実行中は常にこのパターン画像を表示するようにしてもよい。後者の場合には、ＨＭＤ２は、パターン画像のみに基づいてコンテンツ画像Ｉｃの位置、形状及び大きさを認識できるため、ステップＳ１０２にてプロジェクター１からＨＭＤ２にコンテンツ画像情報を送信する必要がなくなる。

上記実施形態では、撮像部３５の撮像画像から検出されたコンテンツ画像Ｉｃの態様に基づいて、ＨＭＤ２に表示させる格子パターンＩｐの態様を調整している。このため、ポイント補正処理を実行する前には、ＨＭＤ２を装着したユーザーから、ＨＭＤ２に表示された格子パターンＩｐが、投写面Ｓｐに投写されたコンテンツ画像Ｉｃに重畳して見えるように、撮像部３５で撮像された撮像画像上の位置と、ＨＭＤ２に表示する付加画像上の位置とを対応付けるキャリブレーション処理を実行することが望ましい。ここで、ユーザーの眼と、ＨＭＤ２（撮像部３５及び表示ユニット３３）との位置関係に応じて、双方の画像の対応関係が変化するため、ユーザーが変わる際はもちろん、ＨＭＤ２の装着状態が変化した際にもキャリブレーション処理をやり直すことが望ましい。

上記実施形態では、メニュー画像やパターン画像をＨＭＤ２に表示させる例を示したが、ＨＭＤ２に表示させる付加画像（ＯＳＤ画像）は、上記に限定されず、例えば、ユーザーにメッセージを報知するためのメッセージ画像であってもよい。なお、メニュー画像やメッセージ画像をＨＭＤ２に表示させる際には、格子パターンＩｐのようにコンテンツ画像Ｉｃに重畳させる必要はないため、ＨＭＤ２にてコンテンツ画像Ｉｃの位置等を検出しなくてもよい。また、複数のプロジェクター１から投写される画像を並べて１つの大きな画像を表示させるマルチプロジェクションにおいて、プロジェクター１毎に画像の調整を順次行う際に、現在どの画像を調整対象としているのかを、ＨＭＤ２に表示される付加画像によって明示するようにしてもよい。

上記実施形態では、光変調装置として、透過型の液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂを用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源２１から射出された光を変調するデジタルミラーデバイス等を用いることもできる。また、色光別に複数の光変調装置を備える構成に限定されず、１つの光変調装置で複数の色光を時分割で変調する構成としてもよい。

上記実施形態では、第１の画像表示装置としてプロジェクター１を採用しているが、第１の画像表示装置はプロジェクター１に限定されず、液晶ディスプレイや有機ＥＬディスプレイ等、他の画像表示装置を採用してもよい。

上記実施形態では、第２の画像表示装置としてＨＭＤ２を採用しているが、第２の画像表示装置はＨＭＤ２に限定されず、液晶ディスプレイや有機ＥＬディスプレイ等、他の画像表示装置を採用してもよい。

１…プロジェクター、２…頭部装着型表示装置（ＨＭＤ）、２ａ…頭部装着部、２ｂ…制御装置、３…画像供給装置、１０…制御部、１１…記憶部、１２…入力操作部、１３…通信部、１４…画像情報入力部、１５…画像情報処理部、１６…画像投写部、２１…光源、２２Ｒ，２２Ｇ，２２Ｂ…液晶ライトバルブ、２２ｉ…画素領域、２３…投写光学系、２４…ライトバルブ駆動部、３１Ｌ…左保持部、３１Ｒ…右保持部、３２…前部フレーム、３３…表示ユニット、３３Ｌ…左表示ユニット、３３Ｒ…右表示ユニット、３４Ｌ…左導光板、３４Ｒ…右導光板、３５…撮像部、３６…接続ケーブル、３７…タッチパッド、３８…操作キー、４０…制御部、４１…記憶部、４２…入力操作部、４３…通信部、４４…画像情報処理部、１００…画像表示システム、Ｉｃ…コンテンツ画像、Ｉｐ…格子パターン、Ｌｈ…横線、Ｌｖ…縦線、Ｐ…ポイント、Ｇ…ガイドマーク、Ｓｐ…投写面。

Claims (4)

1. 第１の画像表示装置及び第２の画像表示装置を有する画像表示システムであって、
   前記第１の画像表示装置は、
   前記第２の画像表示装置と通信を行う第１の通信部と、
   第１の画像情報に基づく第１の画像を表示する第１の表示部と、
   第２の画像情報を記憶する記憶部と、
   第１の操作を受け付ける操作部と、
   前記操作部が受け付けた前記第１の操作に応じた前記第２の画像情報を、前記第１の通信部から前記第２の画像表示装置に送信させる制御部と、
   前記第１の画像情報を補正する補正部と、を備え、
   前記第２の画像表示装置は、
   前記第１の画像表示装置と通信を行う第２の通信部と、
   前記第２の通信部を介して受信した前記第２の画像情報に基づく第２の画像を表示する第２の表示部と、
   前記第１の表示部が表示する前記第１の画像を検出する画像検出部と、
   前記画像検出部が検出した前記第１の画像の態様に基づいて、前記第２の表示部が表示する前記第２の画像の態様を調整する画像調整部と、
   を備え、
   前記操作部は、前記第２の表示部が前記第２の画像を表示しているときに、第２の操作を受け付け、
   前記補正部は、前記操作部が受け付けた前記第２の操作に応じて生成された補正値を用いて前記第１の画像情報を補正し、
   前記第１の表示部は、前記補正部で補正された第１の画像情報に基づいて、前記第１の画像を表示し、
   前記第２の画像表示装置はユーザーの頭部に装着される頭部装着型表示装置であり、
   前記第２の表示部は、光透過性を有する表示部材に前記第２の画像を表示し、
   前記第２の画像は、前記第１の画像の歪みを補正するための格子状のパターン画像であり、
   前記画像調整部は、前記ユーザーから見て、前記格子状のパターン画像が前記第１の画像に重畳されてそれぞれの外形が一致して見えるように前記第２の画像を調整することを特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムであって、
   前記制御部は、前記第１の通信部から前記第１の画像情報を前記第２の画像表示装置に送信させ、
   前記画像検出部は、前記第２の通信部を介して受信した前記第１の画像情報に基づいて、前記第１の画像を検出することを特徴とする画像表示システム。
3. 請求項１又は２に記載の画像表示システムであって、
   前記第２の画像表示装置は、撮像部をさらに備え、
   前記画像検出部は、前記撮像部が撮像した画像に基づいて前記第１の画像を検出することを特徴とする画像表示システム。
4. 第１の画像表示装置及び第２の画像表示装置を有する画像表示システムの制御方法であって、
   前記第１の画像表示装置は、第１の画像情報に基づく第１の画像を表示し、
   前記第１の画像表示装置は、第１の操作を受け付け、
   前記第１の画像表示装置は、前記第１の操作に応じた第２の画像情報を前記第２の画像表示装置に送信し、
   前記第２の画像表示装置は、ユーザーの頭部に装着される頭部装着型表示装置であり、
   前記第２の画像表示装置は、前記第２の画像情報を受信し、
   前記第２の画像情報に基づく第２の画像は、前記第１の画像の歪みを補正するための格子状のパターン画像であり、
   前記第２の画像表示装置は、前記第１の画像表示装置が表示する前記第１の画像を検出し、
   前記第２の画像表示装置は、前記ユーザーから見て、前記格子状のパターン画像が前記第１の画像に重畳されてそれぞれの外形が一致して見えるように前記第２の画像を調整し、
   前記第２の画像表示装置は、調整した前記第２の画像を、光透過性を有する表示部材に表示し、
   前記第１の画像表示装置は、前記第２の画像表示装置が前記第２の画像を表示しているときに、第２の操作を受け付け、
   前記第１の画像表示装置は、前記第２の操作に応じて生成された補正値を用いて前記第１の画像情報を補正し、
   前記第１の画像表示装置は、補正された前記第１の画像情報に基づいて、前記第１の画像を表示することを特徴とする画像表示システムの制御方法。

Images