JP2014174401A - 画像表示システム及び頭部装着型表示装置 - Google Patents

Abstract

【課題】画像の観察範囲を拡大できる画像表示システム及び頭部装着型表示装置を提供すること。
【解決手段】画像表示システム１は、画像送信装置２と、第１画像を表示する第１表示装置（ディスプレイ３）と、第２画像を表示する第２表示装置（ＨＭＤ４）とを備え、第２表示装置は、第２画像を受信する表示装置側受信手段（送受信手段４１）と、第２画像を表示する表示手段４５と、使用者の現在視方向を取得する視方向取得手段（視方向取得部４６１）と、現在視方向を送信する表示装置側送信手段（送受信手段４１）とを備え、画像送信装置２は、現在視方向を受信する送信装置側受信手段（送受信手段２２）と、全体画像における一部の領域の画像である第１画像、及び、当該全体画像における現在視方向に応じた領域の画像である第２画像を抽出する抽出手段（描画抽出手段２４）と、第１及び第２画像を送信する送信装置側送信手段（送受信手段２２）とを備える。
【選択図】図２

Description

本発明は、画像表示システム及び頭部装着型表示装置に関する。

従来、画像を表示する画像表示装置として、所定位置に設置されるディスプレイの他、使用者の頭部に装着される頭部装着型表示装置（ヘッドマウントディスプレイ）が知られている（例えば、特許文献１参照）。
この特許文献１に記載のヘッドマウントディスプレイは、外界を観察可能なシースルー型のヘッドマウントディスプレイとして構成されている。そして、当該ヘッドマウントディスプレイでは、フレームのテンプルに設けられたバックライトから出射された光を液晶表示デバイスにより画像情報に応じて変調し、レンズを介して当該光を導光板により使用者の目に導光する。これにより、画像が視認される。

特開２０１２−１６３６３９号公報

ところで、ＰＣ（Personal Computer）やゲーム機等で実行され、一方向にスクロールする画面内にてキャラクターを操作することで進行するビデオゲームでは、当該画面のスクロールに付いていけないキャラクターは、当該ビデオゲームから除外されてしまう場合がある。例えば、複数のユーザーが同時に実行可能なビデオゲームで、あるユーザーが操作するキャラクターが画面を一方向にスクロールさせた場合に、当該画面のスクロールに付いていけなかったキャラクターを操作するユーザーは、ゲームオーバーとなってしまうことがある。

これに対し、ディスプレイの表示領域をユーザーの数に応じて分割し、ユーザー毎の操作画面を表示する構成も提案されている。しかしながら、このような構成では、ユーザーの数が増えると、各操作画面が小さくなって操作がしづらいという問題がある。
また、各ユーザーに装着されるヘッドマウントディスプレイを１台のゲーム機に接続して、ユーザー毎の操作画面を個別に表示することも考えられる。しかしながら、このような場合には、それぞれが個別にビデオゲームを実施している場合と大差がないという問題がある。
このような問題から、ビデオゲームのゲーム画面のような一連の画像のうち、各ユーザーが観察できる範囲を拡大できる構成が要望されてきた。

本発明は、画像の観察範囲を拡大できる画像表示システム及び頭部装着型表示装置を提供することを目的の１つとする。

本発明の第１態様に係る画像表示システムは、画像送信装置と、前記画像送信装置から受信される第１画像を表示する第１表示装置と、前記画像送信装置から受信される第２画像を表示する第２表示装置と、を備え、前記第２表示装置は、前記第２画像を受信する表示装置側受信手段と、受信された前記第２画像を表示する表示手段と、使用者の現在の視方向である現在視方向を取得する視方向取得手段と、取得された前記現在視方向を送信する表示装置側送信手段と、を備え、前記画像送信装置は、前記第２表示装置から前記現在視方向を受信する送信装置側受信手段と、１フレーム分の画像に含まれる全体画像における一部の領域の画像である前記第１画像、及び、当該全体画像における前記現在視方向に応じた領域の画像である前記第２画像を抽出する抽出手段と、前記第１画像及び前記第２画像を送信する送信装置側送信手段と、を備えることを特徴とする。

なお、全体画像は、１フレーム分の画像全体でもよく、当該１フレーム分の画像における所定領域内の画像であってもよい。
上記第１態様によれば、１フレーム分の画像である全体画像において、一部の領域の画像である第１画像が第１表示装置にて表示され、視方向取得手段により取得された使用者の現在視方向に応じた領域の画像である第２画像が、第２表示装置にて表示される。
これによれば、当該第１画像が第１表示装置にて表示されるだけでなく、使用者の現在視方向に応じた第２画像が第２表示装置にて表示されるので、使用者が現在視方向を変えることにより、全体画像における広い範囲を観察できる。従って、全体画像において使用者が観察できる範囲を拡大できる。また、前述のビデオゲームのゲーム画面が第１表示装置及び第２表示装置にて表示される場合には、第三者が観察可能な第１表示装置により第１画像が表示されるので、使用者（この場合ビデオゲームのプレイヤー）以外の第三者が当該ビデオゲームの進行状況を把握できる。

上記第１態様では、前記視方向取得手段は、前記使用者の視方向が前記第１表示装置を向く方向である基準視方向に対する角度として前記現在視方向を表すことが好ましい。
上記第１態様によれば、視方向取得手段は、第１画像を表示する第１表示装置を向く方向を基準視方向とし、当該基準視方向に対する角度として現在視方向を表す。ここで、全体画像において第１画像として抽出される領域は、使用者の位置に対応する基準点から基準視方向が向く領域となるので、当該基準視方向に対する角度で表される現在視方向により、全体画像において第２画像として取得する領域を容易に設定できる。従って、抽出手段による第２画像の抽出を容易かつ確実に実施できる。

上記第１態様では、前記第２表示装置は、前記使用者の視方向の変位を検出する変位検出手段を備え、前記視方向取得手段は、前記変位検出手段により検出される前記基準視方向からの前記視方向の変位量に基づいて前記現在視方向を取得することが好ましい。
上記第１態様によれば、使用者の視方向が基準視方向と一致する状態からの視方向の変位量を、変位検出手段による検出結果から取得することで、視方向取得手段が、使用者の現在視方向を容易に取得できる。従って、視方向取得処理を簡易に行うことができる。

上記第１態様では、前記第２表示装置は、前記第１表示装置の位置を検出する位置検出手段を有し、前記視方向取得手段は、前記位置検出手段により前記第１表示装置の位置が検出された際の前記使用者の視方向を前記基準視方向とすることが好ましい。
上記第１態様によれば、視方向取得手段は、位置検出手段が第１表示装置の位置を検出した際の使用者の視方向を基準視方向とすることができるので、使用者が基準視方向の設定操作を実施する必要がない。この他、基準視方向を適切かつ確実に設定できるので、現在視方向と基準視方向とが一致する場合に、第１表示装置により表示される画像の内容と、第２表示装置により表示される画像の内容との間にずれが生じることを抑制できる。

上記第１態様では、前記第２表示装置は、前記使用者の頭部に装着されるシースルー型の頭部装着型表示装置で構成され、前記表示手段は、前記第２画像を形成する画像形成手段と、前記画像形成手段により形成された前記第２画像を前記使用者の目に導光するとともに、外光を透過する透光性の導光部材と、前記導光部材の外側に配置され、前記使用者の目に対する前記外光の入射を制御するシャッターと、を備え、前記第２表示装置は、前記現在視方向が前記第１表示装置を向く方向でない場合には、前記外光を遮光するように前記シャッターを動作させ、前記現在視方向が前記第１表示装置を向く方向である場合には、前記外光が透過するように前記シャッターを動作させる駆動制御手段を有することが好ましい。

ここで、シースルー型の頭部装着型表示装置は、形成した画像だけでなく外界も観察可能な頭部装着型表示装置（ヘッドマウントディスプレイ）を指す。一方、クローズド型の頭部装着型表示装置は、形成した画像のみ観察可能で、外界を観察できない頭部装着型表示装置を指す。また、シャッターとしては、光の透過状態と遮光状態とを切替可能な液晶シャッターを採用できる。

上記第１態様によれば、現在視方向が第１表示装置を向く方向である場合には、駆動制御手段がシャッターを透過状態とすることにより、使用者は、第２表示装置を介して第１表示装置にて表示される第１画像を観察できる。これにより、例えば、第１表示装置にて表示可能な画像の解像度が、第２表示装置にて表示可能な画像の解像度より高い場合に、高精細な第１画像を観察できる。
また、現在視方向が第１表示装置を向く方向でない場合には、駆動制御手段がシャッターを遮光状態とする。これによれば、使用者による外界の視認性を低下させることができるので、表示手段により表示される第２画像を鮮明に観察できる。従って、高い没入感を得ることができる。

上記第１態様では、前記第２表示装置は、前記現在視方向が前記第１表示装置を向く際に前記使用者により観察される見た目上の前記第１画像のサイズと略同じサイズに、受信された前記第２画像をリサイズする画像処理手段を有することが好ましい。
ここで、使用者が見た第１画像のサイズと第２画像のサイズとが異なる場合には、これら第１画像及び第２画像が、それぞれ全体画像の一部の領域を構成する画像であるとの感覚を得づらい。これに対し、上記第１態様では、第２画像がリサイズされることで、それぞれ見た目上の第１画像のサイズと第２画像のサイズとを略同じにすることができる。従って、使用者の視野において第１画像が観察される視野角範囲と第２画像が観察される視野角範囲とを一致させることができるので、第１画像及び第２画像のそれぞれを観察する際の違和感を低減でき、上記没入感を得やすくすることができる。

上記第１態様では、前記第１表示装置は、前記第１画像を表示する画像表示領域を有し、前記第２表示装置は、前記使用者からの前記画像表示領域の見た目上のサイズを検出するサイズ検出手段を備え、前記画像処理手段は、前記サイズ検出手段により検出された前記画像表示領域の見た目上のサイズに応じて、前記第２画像をリサイズすることが好ましい。
上記第１態様によれば、画像処理手段による第２画像のリサイズを、実際に使用者により観察される第１画像の見た目上のサイズに合わせて実施できる。従って、それぞれ見た目上の第１画像のサイズと第２画像のサイズとを一致させることができる。

本発明の第２態様に係る頭部装着型表示装置は、使用者の頭部に装着される頭部装着型表示装置であって、前記使用者の視方向の変位を検出する変位検出手段と、１フレーム分の画像に含まれる全体画像において、予め設定された領域を基準として、前記変位検出手段により検出された前記視方向の変位に応じた領域の画像を取得する画像取得手段と、前記画像取得手段により取得された画像を表示する表示手段と、を備えることを特徴とする。
上記第２態様によれば、全体画像において予め設定された領域の画像だけでなく、当該全体画像において使用者の視方向に応じた領域の画像を観察できる。従って、全体画像の観察範囲を拡大でき、大きなサイズの全体画像を縮小することなく観察できる。

本発明の第１実施形態に係る画像表示システムの全体構成を示す模式図。 前記実施形態における画像表示システムの構成を示すブロック図。 前記実施形態における全体画像の一例を示す図。 前記実施形態におけるディスプレイを示す模式図。 前記実施形態における第２画像に第１画像の一部が重なる状態を示す図。 前記実施形態における画像表示処理を示すフローチャート。 本発明の第２実施形態に係るヘッドマウントディスプレイの構成を示すブロック図。 前記実施形態における全体画像の一例を示す図。

［第１実施形態］
以下、本発明の第１実施形態について、図面に基づいて説明する。
［画像表示システムの全体構成］
図１は、本実施形態に係る画像表示システム１の全体構成を示す模式図である。
本実施形態に係る画像表示システム１は、図１に示すように、画像送信装置２と、当該画像送信装置２にそれぞれ接続される設置型ディスプレイ（以下、ディスプレイと略す場合がある）３及びヘッドマウントディスプレイ（以下、ＨＭＤと略す場合がある）４（４Ａ，４Ｂ）とを備え、当該画像送信装置２から送信された画像情報（画像データ及び画像信号を含む）に応じた画像を、ディスプレイ３及びＨＭＤ４（４Ａ，４Ｂ）がそれぞれ表示するものである。このような画像表示システム１は、使用者ＵＳ（ＵＳＡ，ＵＳＢ）の現在位置を中心とする平面視円形状の仮想表示面ＶＤを使用者ＵＳ毎に設定し、当該仮想表示面ＶＤに１フレーム分の画像である全体画像を当てはめ、当該全体画像における所定領域内の画像を第１画像としてディスプレイ３に表示させ、当該全体画像においてＨＭＤ４を装着した使用者ＵＳの現在の視方向に応じた領域内の画像を当該ＨＭＤ４に表示させることを特徴の１つとしている。
なお、本実施形態では、画像表示システム１は、２台のＨＭＤ４（４Ａ，４Ｂ）を備える構成としているが、ＨＭＤ４の数は適宜変更可能である。

［画像送信装置の構成］
図２は、画像表示システム１の構成を示すブロック図である。
画像送信装置２は、上記全体画像を描画し、当該全体画像においてディスプレイ３に表示させる領域内の画像である第１画像を当該ディスプレイ３に送信するとともに、使用者ＵＳの視方向に応じた領域内の画像である第２画像をＨＭＤ４に送信する。具体的に、画像送信装置２は、本実施形態ではゲーム機やＰＣ等で構成され、ゲームの進行に応じた画像や、絵画及び風景等の画像を含む全体画像を描画し、当該全体画像から抽出された第１画像及び第２画像を、ディスプレイ３及びＨＭＤ４にそれぞれ送信する。
このような画像送信装置２は、図２に示すように、入力手段２１、送受信手段２２、記憶手段２３、描画抽出手段２４及び制御手段２５を備える。

入力手段２１は、キーボード及びポインティングデバイス、或いは、コントローラー等により構成され、使用者の操作に応じた操作信号を制御手段２５に出力する。
送受信手段２２は、制御手段２５の制御の下、ディスプレイ３及びＨＭＤ４との間で情報の送受信を行う。例えば、送受信手段２２は、上記第１画像の画像情報をディスプレイ３に送信する他、上記第２画像の画像情報をＨＭＤ４に送信する。また、送受信手段２２は、ＨＭＤ４から後述する観察状態情報を受信する。すなわち、送受信手段２２は、本発明の送信装置側受信手段及び送信装置側送信手段としての機能を有する。

記憶手段２３は、本実施形態ではＨＤＤ（Hard Disk Drive）により構成され、画像送信装置２の動作に必要な各種プログラム及びデータを記憶している。このようなデータとして、記憶手段２３は、後述する全体画像の描画の際に利用される背景及びキャラクター等の画像データを記憶している。なお、このような画像データは、ＤＶＤ（Digital Versatile Disc）等のディスク型記録媒体や、半導体メモリー等の各種記録媒体に記録されていてもよい。このような記録媒体に記録されたデータを利用する場合には、当該データを読出可能なドライブやリーダーを画像送信装置２が備えていればよい。

描画抽出手段２４は、記憶手段２３に記憶された画像データに基づいて１フレーム分の全体画像を、図示しないフレームメモリーに描画する。
そして、描画抽出手段２４は、本発明の抽出手段としての機能を有し、当該全体画像において、所定の位置に基準領域を設定し、当該基準領域内の画像を上記第１画像として抽出する。この第１画像は、使用者の現在の視方向が基準視方向（使用者の視方向がディスプレイ３の後述する画像表示領域３１を向く方向）と一致する場合に観察される画像である。換言すると、基準領域は、上記円形状の仮想表示面ＶＤ（図１参照）に全体画像を当てはめた場合に、当該全体画像において、仮想表示面ＶＤの中心に位置する使用者の視方向が基準視方向と一致した場合に観察される領域である。
また、描画抽出手段２４は、上記円形状の仮想表示面ＶＤ（図１参照）に全体画像を当てはめた場合に、上記観察状態情報により示される現在視方向に応じた領域内の画像を上記第２画像として全体画像から抽出する。この観察状態情報に含まれる視方向情報は、詳しくは後述するが、基準視方向に対する使用者の現在の視方向の相対的な角度で現在視方向を表している。

図３は、画像送信装置２により描画される全体画像Ｐ１の一例を示す図である。
例えば、描画抽出手段２４は、図３に示すゲーム画像である横長の全体画像Ｐ１を描画する。そして、描画抽出手段２４は、当該全体画像Ｐ１に基準領域ＰＡを設定し、当該基準領域ＰＡ内の画像を第１画像として抽出する。そして、描画抽出手段２４は、抽出された第１画像の画像情報を、送受信手段２２を介してディスプレイ３に送信する。なお、基準領域ＰＡの寸法は、ディスプレイ３の後述する画像表示領域３１（図４参照）のアスペクト比に応じて設定される。

また、描画抽出手段２４は、送受信手段２２によりＨＭＤ４から受信された観察状態情報を取得する。そして、描画抽出手段２４は、当該観察状態情報から、基準視方向（ＨＭＤ４を装着した使用者がディスプレイ３を向く方向）に対する角度で表される現在視方向を示す視方向情報と、当該ＨＭＤ４及び画像表示領域３１の間の相対距離とを取得する。
この後、描画抽出手段２４は、上記仮想表示面ＶＤに全体画像Ｐ１が当てはめ、当該全体画像Ｐ１における上記基準領域ＰＡを基準視方向に応じた位置に位置付けた場合に、上記現在視方向及び相対距離に応じた領域（例えば、図３における領域ＰＢ）内の画像、すなわち、現在視方向を中心として使用者の視野に入る領域内の画像を第２画像として全体画像Ｐ１から抽出する。この後、描画抽出手段２４は、抽出された第２画像Ｐ１２の画像情報を、送受信手段２２を介して上記観察状態情報を送信したＨＭＤ４に送信する。
このように描画抽出手段２４が、現在視方向だけでなく相対距離にも基づいて第２画像を抽出しているのは、ＨＭＤ４（すなわち使用者）と仮想表示面ＶＤとの相対距離によって、仮想表示面ＶＤに当てはめられた全体画像Ｐ１における使用者の観察範囲、すなわち、使用者の視野角が変わるためである。

なお、本実施形態では、描画抽出手段２４は、時間経過とともに全体画像Ｐ１における上記基準領域ＰＡを一方向（例えば、全体画像Ｐ１の長手方向に沿う一方向。図３の例では右方向）に移動させる。このため、基準領域ＰＡに応じた画像であり、ディスプレイ３に表示される第１画像を観察している観察者（ＨＭＤ４を装着した使用者を含む）には、表示画像が時間経過とともに上記一方向にスクロールしているように観察される。

制御手段２５は、画像送信装置２の動作を制御する。例えば、制御手段２５は、送受信手段２２によるディスプレイ３及びＨＭＤ４との通信を制御する。また、制御手段２５は、記憶手段２３に記憶されたゲームプログラム（ネットワークを介して取得され、記憶手段２３に記憶されたゲームプログラムを含む）や、前述の記録媒体から読み出されたゲームプログラムを実行する。そして、制御手段２５は、当該ゲームプログラムの実行に際して、上記描画抽出手段２４に、ゲーム画像である全体画像の描画、並びに、第１画像及び第２画像の抽出及び送信を含む画像送信処理を実行させる。

なお、第２画像の画像情報の送信は、本実施形態では、現在視方向が基準視方向と一致する場合には実施されない。これは、基準視方向と現在視方向とが一致する場合には、第１画像と第２画像とは同じ画像となることから、シースルー型のＨＭＤ４を装着した使用者には、ディスプレイ３に表示された第１画像を観察させることとしており、不要な処理を省略するためである。

このため、制御手段２５は、現在視方向と基準視方向とが一致するか否かを判定し、これらが異なる場合に、第２画像の抽出処理及び当該第２画像の送信処理を実行させ、これらが一致する場合には、これら各処理の実行を規制する。
しかしながら、これに限らず、画像送信装置２は常に現在視方向に応じた第２画像を抽出及び送信して、当該第２画像の画像情報を受信したＨＭＤ４側で、基準視方向と現在視方向とが一致するか否かの判定処理を実施し、第２画像Ｐ１２を表示するか否かを判定する構成としてもよい。

［ディスプレイの構成］
図４は、ディスプレイ３を示す模式図である。
ディスプレイ３は、前述のように、画像表示システム１が配置される空間内の所定位置に設置される設置型のディスプレイであり、本発明の第１表示装置に相当する。このディスプレイ３は、図４に示すように、画像送信装置２から受信される画像情報に応じた第１画像を表示する長方形状の画像表示領域３１を有する。
このようなディスプレイ３として、液晶、プラズマ、有機ＥＬ（Electroluminescence）及びＣＲＴ（Cathode Ray Tube）等の各種ディスプレイを例示できる。また、ディスプレイ３のサイズは適宜選択可能である。

なお、ディスプレイ３は、画像表示領域３１の外側に設けられて当該画像表示領域３１の位置を示すマーカー３２を有する。具体的に、マーカー３２は、画像表示領域３１の外側で、当該画像表示領域３１の四隅に応じた位置に設けられている。これらマーカー３２は、ＨＭＤ４の後述する位置検出手段４３により検出され、これにより、当該ＨＭＤ４（すなわち、ＨＭＤ４を装着した使用者）から見た場合の画像表示領域３１の位置、方向及び寸法が検出される。このようなマーカー３２としては、所定の色光（例えば、赤外光）を出射する発光素子や、所定のマーク又は色が付された印を例示できる。

［ＨＭＤの構成］
ＨＭＤ４は、本発明の第２表示装置に相当する。このＨＭＤ４は、図１に示したように、使用者ＵＳの頭部に装着され、形成した画像を当該使用者ＵＳの目に入射させることで当該画像を視認させる頭部装着型画像表示装置（虚像表示装置）であり、本実施形態ではシースルー型のヘッドマウントディスプレイとして構成されている。このＨＭＤ４は、観察状態情報を画像送信装置２に送信して、使用者ＵＳの現在視方向に応じた第２画像を画像送信装置２から受信して表示する。
このようなＨＭＤ４は、図２に示したように、送受信手段４１、変位検出手段４２、位置検出手段４３、測距手段４４、表示手段４５及び制御手段４６と、これらが取り付けられるフレーム（図示省略）とを備える。これらのうち、フレームは、眼鏡のフレーム様の構成を有する。

送受信手段４１は、本実施形態では無線にて画像送信装置２と通信接続され、所定の通信プロトコルにて情報を送受信する。具体的に、送受信手段４１は、画像送信装置２から第２画像Ｐ１２の画像情報を受信するほか、各検出手段４２〜４４の検出結果に基づく観察状態情報を、当該画像送信装置２に送信する。すなわち、送受信手段４１は、本発明の表示装置側受信手段及び表示装置側送信手段に相当する機能を有する。なお、画像送信装置２と有線にて通信接続される構成としてもよい。

変位検出手段４２は、ＨＭＤ４を装着した使用者の姿勢に基づいて、当該使用者の視方向の変位量を検出する。具体的に、変位検出手段４２は、上記フレームに取り付けられ、使用者の頭部の向きを検出するセンサーと、身体の向きを検出するセンサーとを備え、これらセンサーの検出結果に基づいて、当該使用者の視方向の変位方向及び変位量を検出する。そして、変位検出手段４２は、検出結果を制御手段４６に出力する。このようなセンサーとしては、３次元ジャイロセンサー等を例示できる。

位置検出手段４３は、上記画像表示領域３１の位置を検出する。本実施形態では、位置検出手段４３は、上記フレームに取り付けられ、前述のマーカー３２を検出するセンサーを有し、当該センサーによる検出結果に基づいて、ＨＭＤ４から見た場合の画像表示領域３１の位置及び方向を検出する。また、本実施形態では、上記マーカー３２が画像表示領域３１の四隅に応じた位置に設けられていることから、当該マーカー３２の位置を検出することにより、位置検出手段４３は、ＨＭＤ４から見た場合の画像表示領域３１のサイズを検出する。そして、位置検出手段４３は、検出結果を制御手段４６に出力する。
このように、位置検出手段４３は、本発明の位置検出手段及びサイズ検出手段としての機能を有する。

なお、位置検出手段４３が有する上記センサーは、当該センサーの検出方向が使用者の現在視方向と一致するように配置され、更に、位置検出手段４３によるマーカー３２の検出範囲は、使用者の視野に応じて設定されている。これにより、当該使用者の視野内にマーカー３２が位置するか否か、すなわち、画像表示領域３１が位置するか否かを適切に判定できる他、当該視野内において画像表示領域３１が位置する視野角を検出することも可能である。このようなセンサーとしては、マーカー３２が上記所定の色光を出射する構成である場合には、当該色光を検出するセンサーを例示できる他、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）デバイス等の撮像素子を有するセンサーを例示できる。
なお、位置検出手段４３が当該撮像素子を有するセンサーを備える構成である場合には、当該撮像素子による撮像画像に基づいて、画像表示領域３１の位置等を検出する構成としてもよい。

測距手段４４は、位置検出手段４３によりマーカー３２が検出された際に、ＨＭＤ４を装着した使用者と画像表示領域３１との相対距離を測定する。このような測距手段４４は、赤外線等を出射することで距離を測定可能な測距センサーを有する構成とすることができ、当該測距手段４４は、検出結果を制御手段４６に出力する。

表示手段４５は、制御手段４６から入力される画像信号に応じた画像を形成して、当該画像を使用者により視認可能に表示する。この表示手段４５は、当該画像信号に応じた画像を形成する画像形成装置４５１と、当該画像形成装置４５１から入射される光を使用者の目に導く導光部材４５２と、シャッター４５３とを備える。
画像形成装置４５１は、本発明の画像形成手段に相当し、図示を省略するが、光源装置と、当該光源装置から出射された光束を変調する光変調装置と、変調された光を投射する投射光学装置とを備える。なお、光変調装置としては、透過型又は反射型の液晶パネルや、マイクロミラーを用いたデバイスを例示できる。
導光部材４５２には、使用者の目に応じた位置にハーフミラーが設けられており、画像形成装置４５１から導光部材４５２内に入射された光は、当該導光部材４５２内を反射しつつ進行して、当該ハーフミラーにより使用者の目に向けて反射される。このため、使用者は、当該光により形成される画像を観察可能である他、外界も観察可能である。

シャッター４５３は、制御手段４６の制御の下、外光（外界像）が透過する透過状態と当該外光を遮蔽する遮蔽状態とに切替可能に構成された遮光装置である。このシャッター４５３は、導光部材４５２の外側、すなわち、当該導光部材４５２を透過して使用者の目に入射される外光の光路上に設けられる。このため、外光を遮蔽して画像のみを観察可能な状態と、外光を透過させて外界を観察可能な状態とを切替可能である。このようなシャッター４５３として、液晶シャッターを採用でき、特に、画素単位で透過状態と遮蔽状態とを切替可能な液晶シャッターを採用できる。

制御手段４６は、ＨＭＤ４を制御する制御回路が実装された回路基板として構成されている。この制御手段４６は、視方向取得部４６１、観察状態取得部４６２、画像処理部４６３及び駆動制御部４６４を有する。

視方向取得部４６１は、本発明の視方向取得手段に相当し、変位検出手段４２及び位置検出手段４３の検出結果に基づいて、使用者の現在視方向を示す視方向情報を取得する。
具体的に、視方向取得部４６１は、まず、位置検出手段４３が上記マーカー３２（マーカー３２が複数設けられている場合には全てのマーカー３２）を検出した状態を、使用者の現在視方向が画像表示領域３１を向いた状態（現在視方向が基準視方向と一致する状態）であると判断する。
そして、視方向取得部４６１は、当該状態から、変位検出手段４２による検出結果に基づいて、基準視方向からの現在視方向の変位方向及び変位量を取得し、基準視方向を０度とした場合の相対的な角度で現在視方向を示す視方向情報を取得する。
この際、前述のように、本実施形態における全体画像Ｐ１は左右方向に長い横長画像であるので、例えば、基準視方向から右側に移動した場合の現在視方向を正（＋）の値の角度で表し、基準視方向から左側に移動した場合の現在視方向を負（−）の値の角度で表す。このようにして、現在視方向を示す視方向情報が取得される。

そして、視方向取得部４６１は、当該視方向情報を含む観察状態情報を、送受信手段４１を介して画像送信装置２に送信する。なお、観察状態情報には、当該観察状態情報を送信したＨＭＤ４を特定可能とする固有情報（例えばＩＰ（Internet Protocol）アドレス）が含まれる他、測距手段４４により測定された相対距離が含まれる。
観察状態取得部４６２は、位置検出手段４３による検出結果に基づいて、ＨＭＤ４からの画像表示領域３１の見た目上のサイズ（使用者により観察される画像表示領域３１の見た目上のサイズ）を取得する。換言すると、使用者の視野内において画像表示領域３１が位置する視野角（水平方向の視野角及び垂直方向の視野角）を取得する。

画像処理部４６３は、本発明の画像処理手段に相当し、画像送信装置２から受信された第２画像の画像情報を処理する。この際、画像処理部４６３は、観察状態取得部４６２により取得されたサイズと、表示手段４５により表示されて使用者に視認される画像のサイズとが一致するように、第２画像をリサイズする。
なお、使用者の２．５ｍ先に４０インチの画像が視認されるように表示手段４５が構成されている場合、画像表示領域３１のサイズが対角４０インチであり、当該画像表示領域３１と使用者との相対距離が２．５ｍであれば、画像表示領域３１の見た目上のサイズと、ＨＭＤ４にて表示される画像の見た目上のサイズとは略同じとなる。このため、このような条件の場合には、上記リサイズ処理を省略してもよい。

駆動制御部４６４は、送受信手段４１による画像送信装置２との通信状態を制御する。
この他、駆動制御部４６４は、画像処理部４６３にて処理された画像情報に応じた画像信号を表示手段４５に出力して、当該表示手段４５の動作を制御する。
例えば、駆動制御部４６４は、当該画像情報に応じた第２画像を画像形成装置４５１に形成させる。また、駆動制御部４６４は、視方向取得部４６１により取得された現在視方向が基準視方向と一致すると判定した場合にはシャッター４５３を透過状態とし、基準視方向と一致しないと判定した場合には当該シャッター４５３を遮蔽状態とする。この際、現在の使用者の視野において上記仮想表示面ＶＤが位置しない範囲に対応するシャッター４５３の領域は、外界像を観察できるように透過状態としてもよく、没入感を得られるように遮蔽状態としてもよい。このような駆動制御部４６４は、本発明の駆動制御手段に相当する。

なお、使用者の視野内に上記仮想表示面ＶＤが含まれる状態で、駆動制御部４６４が、表示手段４５に画像を表示させる場合には、全体画像の長手方向に直交する方向において画像表示領域３１が位置する視野角と、表示される画像の視野角とが一致するように当該画像を表示させる。このため、全体画像が左右方向に長い横長画像である場合には、使用者の視野におけるディスプレイ３が観察される上下の視野角と、ＨＭＤ４にて表示される画像が観察される上下の視野角とが一致するので、ディスプレイ３が観察される際の視方向（基準視方向）から現在視方向を左右に移動させることにより、ディスプレイ３に表示される画像と同じ視野角でＨＭＤ４により表示される画像を観察できる。

一方、人間の補助視野（刺激の存在がわかる程度の領域）は、正面を向いた際の視方向を中心として水平２００度（右方に１００度、左方に１００度）であり、垂直略１２５度（上方に略５０度、下方に略７５度）であるといわれている。しかしながら、安定注視野（眼球及び頭部の運動で無理なく注視でき、効果的な情報受容ができる領域）は、水平６０〜９０度以内であり、垂直４５〜７０度以内であるといわれている。
これに対し、ＨＭＤ４の表示手段４５が、表示される画像の中心と使用者の視野の中心とが略一致するように当該画像を表示すれば、上記安定注視野内に当該画像を表示しやすくすることができる。従って、ＨＭＤ４にて表示される画像を使用者により視認させやすくすることができる。

図５は、第２画像に第１画像の一部が重なる状態を示す図である。
ここで、現在視方向の向きによっては、全体画像Ｐ１において、第２画像に応じた領域の一部と第１画像に応じた基準領域ＰＡの一部とが重なる場合が生じうる。例えば、図５に示す第２画像Ｐ１２は、図３における領域ＰＣ内の画像であるが、当該第２画像Ｐ１２における点線で示す領域ＡＲ内の画像は、上記基準領域ＰＡに含まれる画像である。このような場合、駆動制御部４６４は、受信された第２画像Ｐ１２を表示手段４５により表示させるとともに、上記シャッター４５３を遮蔽状態とする。これにより、第２画像Ｐ１２において第１画像と重なる領域がある場合でも、当該第２画像Ｐ１２は、表示手段４５により表示される画像として視認される。

なお、駆動制御部４６４が、第２画像Ｐ１２において基準領域ＰＡと重ならない領域の画像のみを表示手段４５に表示させるとともに、上記シャッター４５３において当該重ならない領域に応じた領域を遮蔽状態とし、重なる領域に応じた領域を透過状態としてもよい。この場合、当該重ならない領域の画像は、表示手段４５により表示されて視認でき、重なる領域の画像は、画像表示領域３１を観察することで視認できる。

［画像表示システムによる画像表示処理］
図６は、画像表示システム１での画像表示処理を示すフローチャートである。なお、図６においては、ディスプレイ３の処理については省略している。
上記画像表示システム１では、画像送信装置２、ディスプレイ３及びＨＭＤ４が共同して、図６に示す画像表示処理を実行する。
この画像表示処理では、まず、ＨＭＤ４の視方向取得部４６１が、位置検出手段４３の検出結果に基づいて、基準視方向を設定する（ステップＳＡ１）。
また、ＨＭＤ４は、観察状態取得部４６２が、位置検出手段４３による検出結果に基づく画像表示領域３１の見た目上のサイズ、及び、測距手段４４により測定された上記相対距離を含む観察状態を取得する（ステップＳＡ２）。

この後、視方向取得部４６１が、変位検出手段４２による検出結果に基づいて、現在視方向を示す視方向情報を取得する（ステップＳＡ３）。
そして、駆動制御部４６４が、取得された視方向情報及び相対距離と、ＨＭＤ４の固有情報とを含む観察状態情報を、送受信手段４１を介して画像送信装置２に送信する（ステップＳＡ４）。この後、ＨＭＤ４は、処理をステップＳＡ５に移行する。

一方、画像送信装置２では、描画抽出手段２４が全体画像Ｐ１を描画する（ステップＳＢ１）。
そして、描画抽出手段２４は、当該全体画像Ｐ１に基準領域ＰＡを設定し、当該基準領域ＰＡ内の画像を第１画像として抽出する。この後、描画抽出手段２４は、抽出した第１画像の画像情報を、送受信手段２２を介してディスプレイ３に送信する（ステップＳＢ２）。これにより、ディスプレイ３の画像表示領域３１に第１画像が表示される。

また、制御手段２５は、送受信手段２２によりＨＭＤ４から送信された観察状態情報を取得する（ステップＳＢ３）。
そして、制御手段２５は、当該観察状態情報に含まれる視方向情報により示される現在視方向が基準視方向と一致しているか否かを判定する（ステップＳＢ４）。具体的に、制御手段２５は、当該現在視方向の角度が「０度」であるか否かを判定する。

ステップＳＢ４の判定処理で、現在視方向と基準視方向とが一致すると判定した場合には、制御手段２５は、第２画像の画像情報の送信を規制する。このため、第２画像の抽出及び送信は実行されず、画像送信装置２は、処理をステップＳＢ１に移行する。
ステップＳＢ４の判定処理で、現在視方向と基準視方向とが一致しないと判定した場合には、制御手段２５は、第２画像の送信を規制しない。このため、描画抽出手段２４は、全体画像Ｐ１において現在視方向及び相対距離に応じた領域内の画像を第２画像として抽出し、観察状態情報に含まれる固有情報により特定されるＨＭＤ４に、当該第２画像の画像情報を送信する（ステップＳＢ５）。
この後、画像送信装置２は、処理をステップＳＢ１に移行し、上記ステップＳＢ１〜ＳＢ５の処理を繰り返し実行する。

ＨＭＤ４により実行されるステップＳＡ５では、画像処理部４６３が、画像送信装置２から受信された第２画像の画像情報を処理し、駆動制御部４６４が、表示手段４５に当該第２画像を表示させる（ステップＳＡ５）。この際、前述のように、画像処理部４６３は、必要に応じて第２画像Ｐ１２をリサイズする他、駆動制御部４６４は、必要に応じて第２画像Ｐ１２の表示位置（視野角）を調整するとともに、シャッター４５３の動作を制御する。これにより、当該第２画像が使用者に視認される。
この後、ＨＭＤ４は、処理をステップＳＡ３に移行し、上記ステップＳＡ３〜ＳＡ５の処理を繰り返し実行する。

以上説明した本実施形態に係る画像表示システム１によれば、以下の効果がある。
画像送信装置２が描画する１フレーム分の画像である全体画像Ｐ１において、基準領域ＰＡ内の画像である第１画像が設置型ディスプレイ３にて表示され、使用者ＵＳの現在視方向に応じた領域の画像である第２画像が、ＨＭＤ４にて表示される。
これによれば、使用者ＵＳが現在視方向を変えることにより、全体画像Ｐ１における広い範囲を観察できる。従って、全体画像Ｐ１において使用者ＵＳが観察できる範囲を拡大できる。また、第三者が観察可能なディスプレイ３にて第１画像が表示されるので、使用者ＵＳ以外の第三者がゲームの進行状況を把握できる。

視方向取得部４６１は、第１画像を表示するディスプレイ３の画像表示領域３１を向く方向を基準視方向とし、当該基準視方向に対する角度として現在視方向を表す視方向情報を取得する。ここで、全体画像Ｐ１における基準領域ＰＡは、仮想表示面ＶＤにおいて使用者の位置に応じた基準点から基準視方向が向く領域となるので、当該基準視方向に対する角度で現在視方向が表されることにより、全体画像において第２画像として取得される画像の領域を容易に設定できる。従って、抽出手段として機能する描画抽出手段２４による第２画像の抽出を容易かつ確実に実施できる。

また、視方向取得部４６１は、使用者の視方向が基準視方向と一致する状態からの視方向の変位方向及び変位量を、変位検出手段４２による検出結果から取得する。これによれば、視方向取得部４６１が、基準視方向に対する角度で表される現在視方向を示す視方向情報を容易に取得できる。従って、視方向情報の取得処理を簡易に行うことができる。

視方向取得部４６１は、位置検出手段４３がディスプレイ３の画像表示領域３１の位置を検出した際の使用者の視方向を基準視方向とする。これによれば、当該画像表示領域３１を向いた際に使用者が所定の入力キーを入力する等の設定操作を実施する必要がない他、基準視方向を適切かつ確実に設定できる。

現在視方向と基準視方向とが一致する場合には、駆動制御部４６４は、シャッター４５３を透過状態とする。これによれば、使用者は、ＨＭＤ４を介してディスプレイ３に表示された第１画像を観察できる。従って、ディスプレイ３にて表示可能な画像の解像度が、ＨＭＤ４にて表示可能な画像の解像度より高い場合に、高精細な第１画像を観察できる。
また、現在視方向と基準視方向とが一致しない場合には、駆動制御部４６４は、シャッター４５３を遮光状態とする。これによれば、使用者による外界の視認性を低下させることができるので、表示手段４５にて表示される第２画像を鮮明に観察できる。従って、高い没入感を得ることができる。

ここで、使用者がＨＭＤ４を介して観察される第１画像のサイズと、当該ＨＭＤ４にて表示されて観察される第２画像のサイズとが異なる場合には、これら第１画像及び第２画像が全体画像の一部を構成する連続した画像であるとの感覚を得づらい。
これに対し、画像処理部４６３が、位置検出手段４３の検出結果に基づいて、見た目上の第１画像サイズに応じて第２画像をリサイズすることで、見た目上の第１画像のサイズ及び第２画像のサイズをそれぞれ略同じにすることができる。従って、上記没入感を得やすくすることができる。

画像処理部４６３は、位置検出手段４３による画像表示領域３１の四隅に応じた位置に設けられたマーカー３２の検出結果に応じて、見た目上の画像表示領域３１のサイズを取得し、当該画像表示領域３１のサイズに応じて、第２画像のリサイズを実施する。これによれば、実際に使用者により観察される第１画像の見た目上のサイズに合わせて、第２画像のリサイズを実施できる。従って、それぞれ見た目上の第１画像のサイズと第２画像のサイズとを一致させることができる。

［第２実施形態］
以下、本発明の第２実施形態を説明する。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
図７は、本実施形態に係るＨＭＤ５の構成を示すブロック図である。
本実施形態に係るＨＭＤ５は、前述の画像送信装置２が有する機能の一部を有することで全体画像を描画し、当該全体画像において使用者の現在視方向に応じた領域内の画像を表示する頭部装着型表示装置である。このようなＨＭＤ５は、ＨＭＤ４と同様にシースルー型のヘッドマウントディスプレイで構成され、図７に示すように、送受信手段４１、変位検出手段４２、表示手段４５及びフレーム（図示省略）の他、入力手段４７、記憶手段４８及び制御手段４６Ａを有する。

入力手段４７は、複数の入力キーを有し、押下された入力キーに応じた操作信号を制御手段４６Ａに出力する。このような入力キーとして、入力手段４７は、ＨＭＤ５の電源をオン／オフする電源キーや、カーソルキー及び決定キーを有する。また、入力手段４７は、基準視方向を設定する基準視方向設定キーと、全体画像に対して上記基準領域の位置を設定する基準領域設定キーとを有する。

記憶手段４８は、ＨＭＤ５の動作に必要な各種プログラム及びデータを記憶している。この他、記憶手段４８は、前述の記憶手段２３と同様に、１フレーム分の全体画像を描画するための背景及びキャラクター等の画像データを記憶している。なお、前述の第１実施形態で示した構成と同様に、当該画像データは、前述の記録媒体に記録されていてもよく、この場合には、当該記録媒体から画像データを読出可能なドライブやリーダーをＨＭＤ５が備えていたり、或いは、当該ＨＭＤ５に接続されていたりすればよい。

制御手段４６Ａは、制御手段４６と同様に、ＨＭＤ５を制御する制御回路が実装された回路基板として構成され、当該ＨＭＤ５の動作を制御する。この制御手段４６Ａは、視方向取得部４６１Ａ、観察状態取得部４６２、画像処理部４６３Ａ及び駆動制御部４６４Ａを有する。

視方向取得部４６１Ａは、前述の視方向取得部４６１と同様に、変位検出手段４２の検出結果に基づいて、基準視方向に対する角度で表される使用者の現在視方向を取得する。
ここで、本実施形態では上記ディスプレイ３が必須ではないので、位置検出手段４３の検出結果に基づく基準視方向の設定は行わない。そこで、ＨＭＤ５では、基準視方向設定キーが入力された際の使用者の視方向を基準視方向とし、変位検出手段４２により検出される視方向の変位方向及び変位量に基づいて、視方向取得部４６１が現在視方向を示す視方向情報を取得する。
なお、本実施形態では、変位検出手段４２が検出する視方向の変位量は、水平方向の変位量だけでなく、垂直方向の変位量も検出する。このため、使用者の視方向を全方位で取得することが可能である。

図８は、画像処理部４６３Ａが描画する全体画像Ｐ２の一例を示す図である。
画像処理部４６３Ａは、本発明の画像取得手段に相当する。この画像処理部４６３Ａは、上記画像データに基づいて１フレーム分の全体画像を、図示しないフレームメモリーに描画する。そして、画像処理部４６３Ａは、当該全体画像Ｐ２に対して所定位置に所定サイズの上記基準領域ＰＡを設定する。例えば、全体画像が当てはめられる仮想表示面が、使用者の頭上を覆う半球状に設定されている場合には、画像処理部４６３Ａは、図８に示すように、当該仮想表示面に沿う円形状の全体画像を描画する。この図８に示す全体画像Ｐ２は、各種星座が含まれる星空を表す全体画像である。
そして、画像処理部４６３Ａは、視方向取得部４６１Ａにより取得された視方向情報に基づいて、使用者を中心とする半球状の仮想表示面に当てはめられた全体画像Ｐ２において、基準視方向に対する角度で表され、かつ、視方向情報により示される現在視方向に応じた領域内の画像を抽出する。

なお、全体画像Ｐ２に設定され、現在視方向と基準視方向とが一致する場合に領域内の画像が抽出される基準領域ＰＡの位置は、予め設定されていてもよいが、本実施形態では、入力手段４７に対する入力操作に応じて設定してもよい。
例えば、画像サイズを縮小した全体画像Ｐ２に基準領域ＰＡを示す矩形領域を重畳させた画像を表示手段４５により表示させ、上記カーソルキーの入力操作に応じて当該矩形領域を移動させ、上記基準領域設定キーが入力された際の当該矩形領域の位置を、全体画像Ｐ２における基準領域ＰＡの位置として設定してもよい。
また、全体画像Ｐ２において基準領域ＰＡと同サイズの矩形領域を設定し、当該矩形領域をカーソルキーの入力に応じて移動させるとともに、当該矩形領域内の画像を表示手段４５に表示させる。そして、上記基準領域設定キーが入力された際の矩形領域の位置を、基準領域ＰＡの位置として設定してもよい。

駆動制御部４６４Ａは、画像処理部４６３Ａにより抽出された画像を表示手段４５に表示させる。これにより、現在視方向と基準視方向とが一致する場合には、全体画像Ｐ２において基準領域ＰＡ内の画像（第１画像）が表示され、現在視方向と基準視方向とが一致しない場合には、全体画像Ｐ２において現在視方向に応じた画像（第２画像）が表示される。これにより、全体画像Ｐ２の一部の領域内の画像を使用者が視認できる。この際、第１画像のサイズと第２画像のサイズとは同じであるので、使用者の視野において第１画像を観察する際の視野角と第２画像を観察する際の視野角とを略一致させることができる。

なお、現在視方向に応じて設定される領域が仮想表示面に当てはめられた全体画像に含まれる場合には、駆動制御部４６４Ａは、画像形成装置４５１による画像形成を許容するとともに、シャッター４５３を遮蔽状態とすることで、表示画像の視認性を向上させる。
一方、現在視方向に応じて設定される領域が全体画像に含まれない場合には、駆動制御部４６４Ａは、画像形成装置４５１による画像形成を規制するとともに、シャッター４５３を透過状態に切り替える。これにより、使用者は外界（現在位置する場所の周囲）を観察できる。

以上説明した本実施形態に係るＨＭＤ５によれば、前述の画像表示システム１と同様の効果を奏することができる他、以下の効果がある。
使用者に装着されるＨＭＤ５により、全体画像において当該使用者の現在視方向に応じた領域内の画像を単独で表示できる。これによれば、ディスプレイ３が必須ではないので、１人の使用者が用いられる表示装置として安価に構成できる。

［実施形態の変形］
本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記第１実施形態では、使用者ＵＳがディスプレイ３の画像表示領域３１を向く方向を基準視方向として設定したが、本発明はこれに限らない。例えば、ディスプレイ３を補助的な表示装置として利用する場合には、使用者の主な視方向を基準視方向としてもよい。

前記第１及び第２実施形態では、描画抽出手段２４及び画像処理部４６３は、画像データに基づいて全体画像を描画するとしたが、本発明はこれに限らない。例えば、記憶手段２３，４８や上記記録媒体、或いは、ネットワーク上のサーバー等から全体画像を取得し、当該全体画像から第１画像及び第２画像を抽出する構成としてもよい。すなわち、本発明の抽出手段は、全体画像を描画する描画機能を有していなくてもよい。また、全体画像は、１フレーム分の画像全体でなくてもよく、当該１フレーム分の画像に含まれる画像（すなわち、１フレーム分の画像における所定領域内の画像）を全体画像としてもよい。

前記各実施形態では、描画抽出手段２４及び画像処理部４６３Ａは、全体画像Ｐ１，Ｐ２として１フレーム分の画像を描画するとした。この全体画像の内容は、当該全体画像を分割する複数の領域ごとに異なっていてもよく、当該各領域を区分する線や印が含まれていてもよい。例えば、基準領域ＰＡ内の画像が美術品の画像であり、当該基準領域ＰＡ外に当該美術品の解説等の情報が含まれる画像が設定された全体画像であってもよい。すなわち、上記のように、全体画像は１フレーム分の画像に含まれる画像であれば、内容は問わない。また、当該全体画像は、動画データに含まれる１フレーム分の画像の一部であってもよい。この場合には、当該全体画像の内容は、フレーム毎に更新されることとなる。

前記第１実施形態では、ＨＭＤ４に、視方向の変位方向及び変位量を検出する変位検出手段４２、マーカー３２を検出して画像表示領域３１の位置を検出する位置検出手段４３、及び、当該画像表示領域３１との相対距離を測定する測距手段４４を設け、前記第２実施形態では、ＨＭＤ５に変位検出手段４２を設けたが、本発明はこれに限らない。すなわち、それぞれの検出手段は、ＨＭＤ４，５とは別体として使用者に装着される構成としてもよく、更には、使用者に装着されない構成としてもよい。例えば、画像表示領域３１とＨＭＤ４との相対距離を測定する測距手段４４は、ディスプレイ３に設けられていてもよく、また、ＨＭＤから送信される信号の強度を検出して、使用者の位置を検出したり、当該相対距離を検出したりしてもよい。更に、それぞれの検出対象を適切に検出できれば、各手段４２〜４４の構成は問わない。加えて、基準視方向を使用者の入力操作により設定する構成とすれば、位置検出手段４３は必須ではなく、また、ディスプレイ３と使用者との距離が予め設定されるのであれば、測距手段４４も必須ではない。位置検出手段４３の検出結果に基づいて、使用者の視野において画像表示領域３１が位置する視野角を検出及び取得する場合でも、測距手段４４はなくてもよい。

前記第１実施形態では、使用者ＵＳを中心とする平面視円形状の仮想表示面ＶＤに全体画像Ｐ１を当てはめ、基準視方向に対する正負の角度で現在視方向を表し、当該現在視方向に応じた第２画像Ｐ１２をＨＭＤ４にて表示するとした。この際、現在視方向を表す角度は、０°を中心として±１８０°の範囲でなくてもよく、当該範囲を超えた現在視方向に応じた第２画像Ｐ１２を抽出してもよい。

例えば、上記画像表示システム１において、現在視方向が基準視方向を向く状態から使用者が右方向に１回転した場合、すなわち、基準視方向を向く場合の現在視方向を０°とした場合に当該現在視方向が＋３６０°に変位した場合に、現在視方向が＋１８０°である場合に全体画像Ｐ１から抽出される領域より更に基準領域ＰＡから離れた領域の画像を第２画像として抽出してもよい。現在視方向が負の角度である場合も同様であり、前記第２実施形態に係るＨＭＤ５においても同様である。これにより、無限の広がりを有する全体画像であっても、使用者が視方向を変更することで当該全体画像を観察できる。

なお、第１実施形態で示した画像表示システム１において、現在視方向に応じて設定される領域が、仮想表示面ＶＤに当てはめられる全体画像から外れる場合には、前記第２実施形態で示したＨＭＤ５と同様に、画像送信装置２は第２画像の抽出及び送信を行わず、ＨＭＤ４は、シャッター４５３を透過状態として外界を観察可能としてもよい。一方、そのような場合には、画像送信装置２が全体画像とは異なる画像（例えば、黒画像や所定のメッセージが含まれる画像）を生成及び送信して、ＨＭＤ４が当該画像を表示するようにしてもよい。

前記第１実施形態では、仮想表示面ＶＤは、上方から見て円形状とし、前記第２実施形態では、仮想表示面は、使用者の頭上を覆う半球状としたが、本発明はこれに限らない。例えば、平面状の仮想表示面ＶＤを設定してもよい。この場合、現在視方向が基準視方向と一致する場合に表示される画像を矩形状の画像とし、現在視方向が基準視方向とは異なる場合に、全体画像から抽出された画像に対して、奥行き感を含める形状補正処理を実施してもよい。

例えば、現在視方向が基準視方向から離れるに従って、基準領域側とは反対側の端縁を当該基準領域側の端縁より小さくした形状の画像となるような形状補正処理を実施してもよい。このような処理によれば、平面状の仮想表示面に連続した画像が表示された状態を表現できる。なお、このような仮想表示面を使用者が選択できるように構成してもよい。この場合、球面状の仮想表示面が選択される場合には、当該球面の曲率半径を選択又は入力可能に構成されていてもよい。この他、使用者と仮想表示面との相対距離を選択又は入力可能に構成されていてもよい。
なお、仮想表示面ＶＤは、使用者毎に設定されるとしたが、これに限らず、各使用者で共通の仮想表示面ＶＤを設定してもよい。この場合、使用者が位置する空間内の所定位置を中心とするように、当該仮想表示面ＶＤを設定してもよい。

前記各実施形態では、ＨＭＤ４，５は、画像形成装置４５１により形成された画像を導光部材４５２の内部で反射させて使用者の目に導くことで、当該画像を視認させる構成であった。しかしながら、本発明はこれに限らない。当該画像を使用者の目に導くことができれば、光を内部で反射させて進行させる導光部材でなくてもよい。例えば、使用者の目に応じて配置された反射膜にて、画像形成装置４５１からの光を直接反射させて、当該光により形成される画像を視認させる構成としてもよい。更に、網膜に画像光を直接投射して、当該画像光に応じた画像を認識させる網膜投影型（レーザー網膜投影型）のＨＭＤを採用してもよい。
前記各実施形態では、表示手段４５を構成する画像形成装置４５１は、光源装置、光変調装置及び投射光学装置を備える構成とした。しかしながら、本発明はこれに限らない。例えば、光源装置及び光変調装置に代えて、有機ＥＬやプラズマ等の自己発光素子により構成されたパネルを採用してもよい。

前記第１実施形態では、第２表示装置として、使用者の頭部に装着されるＨＭＤ４を採用したが、本発明はこれに限らない。すなわち、第２表示装置は、使用者の姿勢の変化に追随する画像表示装置であればよく、例えば、使用者に固定されたディスプレイや、使用者が座る椅子に固定されたディスプレイでもよい。この場合、変位検出手段が身体の向きの変位方向及び変位量を検出することで、視方向取得部が現在視方向を示す視方向情報を取得すればよい。また、第１表示装置として、上記のように、液晶、プラズマ、有機ＥＬ及びＣＲＴ等の各種ディスプレイの他、スクリーン等の被投射面に画像を投射して当該画像を表示するプロジェクターを採用することも可能である。

本発明は、例えば、頭部に装着される画像表示装置、及び、当該画像表示装置を有する画像表示システムに好適に利用できる。

１…画像表示システム、２…画像送信装置、３…ディスプレイ（第１表示装置）、４…ヘッドマウントディスプレイ（ＨＭＤ、第２表示装置）、５…ヘッドマウントディスプレイ（ＨＭＤ、頭部装着型表示装置）、２２…送受信手段（送信装置側受信手段、送信装置側送信手段）、２４…描画抽出手段（抽出手段）、３１…画像表示領域、４１…送受信手段（表示装置側受信手段、表示装置側送信手段）、４２…変位検出手段、４３…位置検出手段（位置検出手段、サイズ検出手段）、４５…表示手段、４５１…画像形成装置（画像形成手段）、４５２…導光部材、４５３…シャッター、４６１…視方向取得部（視方向取得手段）、４６３…画像処理部（画像処理手段）、４６３Ａ…画像処理部（画像取得手段）、４６４…駆動制御部（駆動制御手段）。

Claims (8)

1. 画像送信装置と、
   前記画像送信装置から受信される第１画像を表示する第１表示装置と、
   前記画像送信装置から受信される第２画像を表示する第２表示装置と、を備え、
   前記第２表示装置は、
   前記第２画像を受信する表示装置側受信手段と、
   受信された前記第２画像を表示する表示手段と、
   使用者の現在の視方向である現在視方向を取得する視方向取得手段と、
   取得された前記現在視方向を送信する表示装置側送信手段と、を備え、
   前記画像送信装置は、
   前記第２表示装置から前記現在視方向を受信する送信装置側受信手段と、
   １フレーム分の画像に含まれる全体画像における一部の領域の画像である前記第１画像、及び、当該全体画像における前記現在視方向に応じた領域の画像である前記第２画像を抽出する抽出手段と、
   前記第１画像及び前記第２画像を送信する送信装置側送信手段と、を備える
   ことを特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムにおいて、
   前記視方向取得手段は、前記使用者の視方向が前記第１表示装置を向く方向である基準視方向に対する角度として前記現在視方向を表す
   ことを特徴とする画像表示システム。
3. 請求項２に記載の画像表示システムにおいて、
   前記第２表示装置は、前記使用者の視方向の変位を検出する変位検出手段を備え、
   前記視方向取得手段は、前記変位検出手段により検出される前記基準視方向からの前記視方向の変位量に基づいて前記現在視方向を取得する
   ことを特徴とする画像表示システム。
4. 請求項２又は請求項３に記載の画像表示システムにおいて、
   前記第２表示装置は、前記第１表示装置の位置を検出する位置検出手段を有し、
   前記視方向取得手段は、前記位置検出手段により前記第１表示装置の位置が検出された際の前記使用者の視方向を前記基準視方向とする
   ことを特徴とする画像表示システム。
5. 請求項１から請求項４のいずれかに記載の画像表示システムにおいて、
   前記第２表示装置は、前記使用者の頭部に装着されるシースルー型の頭部装着型表示装置で構成され、
   前記表示手段は、
   前記第２画像を形成する画像形成手段と、
   前記画像形成手段により形成された前記第２画像を前記使用者の目に導光するとともに、外光を透過する透光性の導光部材と、
   前記導光部材の外側に配置され、前記使用者の目に対する前記外光の入射を制御するシャッターと、を備え、
   前記第２表示装置は、
   前記現在視方向が前記第１表示装置を向く方向でない場合には、前記外光を遮光するように前記シャッターを動作させ、
   前記現在視方向が前記第１表示装置を向く方向である場合には、前記外光が透過するように前記シャッターを動作させる駆動制御手段を有する
   ことを特徴とする画像表示システム。
6. 請求項５に記載の画像表示システムにおいて、
   前記第２表示装置は、前記現在視方向が前記第１表示装置を向く際に前記使用者により観察される見た目上の前記第１画像のサイズと略同じサイズに、受信された前記第２画像をリサイズする画像処理手段を有する
   ことを特徴とする画像表示システム。
7. 請求項６に記載の画像表示システムにおいて、
   前記第１表示装置は、前記第１画像を表示する画像表示領域を有し、
   前記第２表示装置は、前記使用者からの前記画像表示領域の見た目上のサイズを検出するサイズ検出手段を備え、
   前記画像処理手段は、前記サイズ検出手段により検出された前記画像表示領域の見た目上のサイズに応じて、前記第２画像をリサイズする
   ことを特徴とする画像表示システム。
8. 使用者の頭部に装着される頭部装着型表示装置であって、
   前記使用者の視方向の変位を検出する変位検出手段と、
   １フレーム分の画像に含まれる全体画像において、予め設定された領域を基準として、前記変位検出手段により検出された前記視方向の変位に応じた領域の画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像を表示する表示手段と、を備える
   ことを特徴とする頭部装着型表示装置。
   

Images