JP6186689B2

JP6186689B2 - 映像表示システム

Info

Publication number: JP6186689B2
Application number: JP2012213016A
Authority: JP
Inventors: 小林　伸一; 伸一小林
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2012-09-26
Filing date: 2012-09-26
Publication date: 2017-08-30
Anticipated expiration: 2032-09-26
Also published as: US20140085203A1; JP2014066927A

Description

本発明は、映像表示システムおよび頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型（光学透過型およびビデオ透過型）と、使用者が外景を視認できない非透過型との２つのタイプがある。

従来、例えばレース会場の種々の場所や各車両上にカメラを設置し、設置された複数のカメラにより撮影された複数の映像を非透過型の頭部装着型表示装置に送信し、頭部装着型表示装置において使用者がユーザーインターフェースを介して選択した映像を表示する映像表示システムが知られている（例えば、特許文献１参照）。

特表２００２−５３９７０１号公報特開平７−９５５６１号公報

上記従来の映像表示システムは、使用者の利便性の点で向上の余地があった。例えば、上記従来の映像表示システムでは、頭部装着型表示装置において複数の映像から１つの映像を選択して表示する場合に、使用者は１つの映像を選択する操作を行う必要があり、煩わしい場合があった。また、上記従来の映像表示システムでは、映像の選択が使用者に委ねられているため、必ずしも使用者の状態に応じた好ましい映像が選択されるとは限らなかった。また、上記従来の映像表示システムは、非透過型の頭部装着型表示装置を用いるものであり、虚像に加えて外景も視認可能な透過型の頭部装着型表示装置を用いることについて何ら考慮されていなかった。そのほか、従来の映像表示システムや当該システムを構成する頭部装着型表示装置においては、その小型化や、低コスト化、省資源化、製造の容易化、使い勝手の向上等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の一形態は、情報装置と、前記情報装置から配信された映像を虚像として使用者に視認させる透過型の頭部装着型表示装置と、を備える映像表示システムである。この映像表示システムにおいて、前記情報装置は、前記頭部装着型表示装置の使用者が視認する事象が行われている特定の施設に対応する映像を前記頭部装着型表示装置に配信する映像配信部を有する。前記頭部装着型表示装置は、使用者の頭の動きを検出する動き検出部を有し、前記動きを表す動き情報に基づき選択された前記映像を虚像として使用者に視認させる。前記頭部装着型表示装置は、さらに、前記動き情報を前記情報装置に送信する情報送信部を有する。前記情報装置は、さらに、前記特定の施設内に位置する前記頭部装着型表示装置から前記動き情報を受信する情報受信部を有する。前記映像配信部は、前記特定の施設に対応する複数の前記映像から前記動き情報に基づき少なくとも１つの前記映像を選択し、選択された前記映像を前記動き情報の送信元の前記頭部装着型表示装置に配信する。前記複数の映像は、前記特定の施設内の物体を撮影した映像である。前記頭部装着型表示装置は、さらに、現在位置を検出する位置検出部を有する。前記情報送信部は、前記現在位置を表す位置情報を前記情報装置に送信する。前記映像配信部は、前記動き情報と前記位置情報とに基づき映像を選択する。
この形態の映像表示システムによれば、情報装置の映像配信部が、動き情報に基づき少なくとも１つの映像を選択し、選択された映像を動き情報の送信元の頭部装着型表示装置に配信するため、頭部装着型表示装置の使用者が映像を選択するための煩わしい操作を行うことなく、使用者の状態に応じた好ましい映像が選択され、使用者の利便性を高めることができる。
本発明の他の形態は、情報装置と、前記情報装置から配信された映像を虚像として使用者に視認させる透過型の頭部装着型表示装置と、を備える映像表示システムである。この映像表示システムにおいて、前記情報装置は、前記頭部装着型表示装置の使用者が視認する事象が行われている特定の施設に対応する映像を前記頭部装着型表示装置に配信する映像配信部を有する。前記頭部装着型表示装置は、使用者の頭の動きを検出する動き検出部と、現在位置を検出する位置検出部と、前記特定の施設内において、前記情報装置から、前記特定の施設に対応する複数の前記映像を受信する映像受信部と、前記動きを表す動き情報と前記現在位置を表す位置情報とに基づき、前記複数の映像から使用者に視認させる映像を選択する映像選択部と、を有する。前記複数の映像は、前記特定の施設内の物体を撮影した映像である。
この形態の映像表示システムによれば、頭部装着型表示装置の映像選択部が、動き情報に基づき映像を選択し、選択された映像が使用者に視認されるため、頭部装着型表示装置の使用者が映像を選択するための煩わしい操作を行うことなく、使用者の状態に応じた好ましい映像が選択され、使用者の利便性を高めることができる。
その他、本発明は、以下の形態としても実現することが可能である。

（１）本発明の一形態によれば、情報装置と、前記情報装置から配信された映像を虚像として使用者に視認させる透過型の頭部装着型表示装置と、を備える映像表示システムが提供される。この映像表示システムにおいて、前記情報装置は、特定の地理的領域に対応する映像を前記頭部装着型表示装置に配信する映像配信部を有し、前記頭部装着型表示装置は、使用者の頭の動きを検出する動き検出部を有し、前記動きを表す動き情報に基づき選択された前記映像を虚像として使用者に視認させる。この形態の映像表示システムによれば、頭部装着型表示装置の使用者が映像を選択するための煩わしい操作を行うことなく、使用者の状態に応じた好ましい映像が選択され、選択された映像を使用者に視認させることができるため、使用者の利便性を高めることができる。

（２）上記形態の映像表示システムにおいて、前記頭部装着型表示装置は、前記動き情報を前記情報装置に送信する情報送信部を有し、前記情報装置は、前記特定の地理的領域内に位置する前記頭部装着型表示装置から前記動き情報を受信する情報受信部を有し、前記映像配信部は、前記特定の地理的領域に対応する複数の前記映像から前記動き情報に基づき少なくとも１つの前記映像を選択し、選択された前記映像を前記動き情報の送信元の前記頭部装着型表示装置に配信するとしてもよい。この形態の映像表示システムによれば、情報装置の映像配信部が、動き情報に基づき少なくとも１つの映像を選択し、選択された映像を動き情報の送信元の頭部装着型表示装置に配信するため、頭部装着型表示装置の使用者が映像を選択するための煩わしい操作を行うことなく、使用者の状態に応じた好ましい映像が選択され、使用者の利便性を高めることができる。

（３）上記形態の映像表示システムにおいて、前記複数の映像は、所定の期間に前記特定の地理的領域内の物体を撮影した映像であるリプレイ映像を含み、前記映像配信部は、前記動き情報が表す前記使用者の頭の動きが予め設定された閾値以上である場合に、前記動き情報に基づき決定される期間に対応する前記リプレイ映像を選択するとしてもよい。この形態の映像表示システムによれば、動き情報に基づき決定される期間に対応するリプレイ映像が選択されて頭部装着型表示装置に配信されるため、閾値以上の使用者の頭の動きがあったときのリプレイ映像を使用者に視認させることができ、使用者の利便性をさらに高めることができる。

（４）上記形態の映像表示システムにおいて、前記リプレイ映像は、他の映像と比較して、前記頭部装着型表示装置の使用者の視野における中心に近い位置に視認される映像であるとしてもよい。この形態の映像表示システムによれば、閾値以上の使用者の頭の動きがあったときのリプレイ映像を使用者の視野の中心に近い位置に視認させることができ、使用者の利便性をさらに高めることができる。

（５）上記形態の映像表示システムにおいて、前記リプレイ映像は、他の映像と比較して、前記頭部装着型表示装置の使用者の視野において、大きく表示されることと、強調表示されることと、所定のマークが付加されることと、の少なくとも１つの特徴を有する映像であるとしてもよい。この形態の映像表示システムによれば、閾値以上の使用者の頭の動きがあったときのリプレイ映像を目立つように使用者に視認させることができ、使用者の利便性をさらに高めることができる。

（６）上記形態の映像表示システムにおいて、前記映像配信部は、前記動き情報が表す前記使用者の頭の動きが予め設定された閾値以上である場合に、所定の期間、前記動き情報の送信元の前記頭部装着型表示装置への映像の配信を停止するとしてもよい。この形態の映像表示システムによれば、閾値以上の使用者の頭の動きがあったとき、使用者の視野に虚像を視認させず、視野の広い領域で直接外景を視認させることができ、使用者の利便性をさらに高めることができる。

（７）上記形態の映像表示システムにおいて、前記複数の映像は、前記特定の地理的領域内の物体を撮影した映像であり、前記頭部装着型表示装置は、さらに、現在位置を検出する位置検出部を有し、前記情報送信部は、前記現在位置を表す位置情報を前記サーバー装置に送信し、前記映像配信部は、前記動き情報と前記位置情報とに基づき映像を選択するとしてもよい。この形態の映像表示システムによれば、使用者の状態に応じた好ましい映像が選択され、選択された映像を使用者に視認させることができるため、使用者の利便性を高めることができる。

（８）上記形態の映像表示システムにおいて、前記映像配信部は、前記動き情報と前記位置情報とに基づき推定される前記頭部装着型表示装置の使用者の視線とは所定値以上異なる角度で物体を撮影した映像を選択するとしてもよい。この形態の映像表示システムによれば、推定される使用者の視線とは所定値以上異なる角度で物体を撮影した映像を使用者に視認させることができるため、使用者の利便性を高めることができる。

（９）上記形態の映像表示システムにおいて、前記映像配信部は、前記動き情報と前記位置情報とに基づき推定される前記頭部装着型表示装置の使用者の視野における所定範囲の外に位置する物体を撮影した映像を選択するとしてもよい。この形態の映像表示システムによれば、推定される使用者の視野における所定範囲の外に位置する物体を撮影した映像を使用者に視認させることができるため、使用者の利便性を高めることができる。

（１０）上記形態の映像表示システムにおいて、前記頭部装着型表示装置は、前記特定の地理的領域内において、前記情報装置から、前記特定の地理的領域に対応する複数の前記映像を受信する映像受信部と、前記動き情報に基づき、前記複数の映像から使用者に視認させる映像を選択する映像選択部と、を有するとしてもよい。この形態の映像表示システムによれば、頭部装着型表示装置の映像選択部が、動き情報に基づき映像を選択し、選択された映像が使用者に視認されるため、頭部装着型表示装置の使用者が映像を選択するための煩わしい操作を行うことなく、使用者の状態に応じた好ましい映像が選択され、使用者の利便性を高めることができる。

（１１）本発明の他の形態によれば、特定の地理的領域に対応する映像を配信する情報装置から配信された前記映像を虚像として使用者に視認させる透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭の動きを検出する動き検出部を有し、前記動きを表す動き情報に基づき選択された前記映像を虚像として使用者に視認させる。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者が映像を選択するための煩わしい操作を行うことなく、使用者の状態に応じた好ましい映像が選択され、選択された映像を使用者に視認させることができるため、使用者の利便性を高めることができる。

（１２）本発明の他の形態によれば、情報装置と、前記情報装置から配信された映像を虚像として使用者に視認させる透過型の頭部装着型表示装置と、を備える映像表示システムが提供される。この映像表示システムにおいて、前記頭部装着型表示装置は、現在位置を検出する位置検出部と、前記現在位置を表す位置情報を前記情報装置に送信する情報送信部と、を有し、前記情報装置は、特定の地理的領域内に位置する前記頭部装着型表示装置から前記位置情報を受信する情報受信部と、前記特定の地理的領域に対応する複数の映像から前記位置情報に基づき少なくとも１つの前記映像を選択し、選択された前記映像を前記位置情報の送信元の前記頭部装着型表示装置に配信する映像配信部と、を有する。この形態の映像表示システムによれば、情報装置の映像配信部が、位置情報に基づき少なくとも１つの映像を選択し、選択された映像を位置情報の送信元の頭部装着型表示装置に配信するため、頭部装着型表示装置の使用者が映像を選択するための煩わしい操作を行うことなく、使用者の位置に応じた好ましい映像が選択され、使用者の利便性を高めることができる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部又は全部を解決するため、あるいは、本明細書に記載された効果の一部又は全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部又は全部を解決するため、あるいは、本明細書に記載された効果の一部又は全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部又は全部を上述した本発明の他の形態に含まれる技術的特徴の一部又は全部と組み合わせて、本発明の独立した一形態とすることも可能である。

本発明は、映像表示システム以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置、情報装置、コンテンツサーバー、これらの装置・サーバーの制御方法、その制御方法を実現するコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

本発明の第１実施形態における映像表示システム１０００の概略構成を示す説明図である。頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００の構成を機能的に示すブロック図である。画像光生成部によって画像光が射出される様子を示す説明図である。使用者に認識される虚像の一例を示す説明図である。自動映像選択処理の流れを示すフローチャートである。自動映像選択処理の概要を示す説明図である。第２実施形態における自動映像選択処理の流れを示すフローチャートである。第２実施形態における自動映像選択処理の概要を示す説明図である。

Ａ．第１実施形態：
図１は、本発明の第１実施形態における映像表示システム１０００の概略構成を示す説明図である。本実施形態の映像表示システム１０００は、野球場ＢＳに適用されるシステムである。図１に示す例では、野球場ＢＳのグラウンドＧＲの周囲に設けられたスタンドＳＴで、頭部装着型表示装置１００（詳細は後述する）を装着した観客ＳＰが野球の試合を観戦している。

映像表示システム１０００は、コンテンツサーバー３００を備える。コンテンツサーバー３００は、ＣＰＵ３１０と、記憶部３２０と、無線通信部３３０と、映像入力インターフェイス３４０とを有する。記憶部３２０は、例えば、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。ＣＰＵ３１０は、記憶部３２０に格納されたコンピュータープログラムを読み出して実行することにより、情報受信部３１２、映像処理部３１４、映像配信部３１６として機能する。無線通信部３３０は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、野球場ＢＳ内に存在する頭部装着型表示装置１００との間で無線通信を行う。なお、コンテンツサーバー３００と頭部装着型表示装置１００との間の無線通信は、コンテンツサーバー３００に接続された別装置としての通信装置（例えば無線ＬＡＮアクセスポイント）を介して実行されるとしてもよい。この場合には、コンテンツサーバー３００の無線通信部３３０は省略可能である。また、コンテンツサーバー３００は、直接に、または、通信装置を介して、野球場ＢＳ内に存在する頭部装着型表示装置１００と無線通信できる限りにおいて、野球場ＢＳの内外の任意の場所に設置することができる。

野球場ＢＳには、野球場ＢＳ内の種々の物体（グラウンドＧＲ、選手、スタンドＳＴ、観客、スコアボードＳＢ等）を撮影する複数のカメラＣａが設置されている。例えば、図１の例では、野球場ＢＳのバックネット裏付近にカメラＣａ４が設置されており、内野席付近にカメラＣａ３，Ｃａ５が設置されており、外野席付近にカメラＣａ１，Ｃａ２，Ｃａ６が設置されている。野球場ＢＳにおけるカメラＣａの設置台数や配置は、任意に変更可能である。各カメラＣａとコンテンツサーバー３００とは、ケーブルおよび必要により中継装置を介して接続されており、各カメラＣａにより撮影された映像は、コンテンツサーバー３００の映像入力インターフェイス３４０に入力される。コンテンツサーバー３００の映像処理部３１４は、入力された映像に対して必要により圧縮等の処理を実行し、各カメラＣａのリアルタイム映像として記憶部３２０に格納する。リアルタイム映像は、頭部装着型表示装置１００に対する実質的な生放送用の映像である。また、映像処理部３１４は、入力映像からリプレイ映像を作成して、記憶部３２０に格納する。リプレイ映像は、現在より前の所定期間のシーン（ハイライトシーン）を表す映像である。また、本実施形態では、記憶部３２０に、選手に関する情報（選手名、所属チーム名、ポジション、成績等）や野球場ＢＳに関する情報（球場名、収容人数、観客数、気象状況等）が予め格納されている。なお、各カメラＣａとコンテンツサーバー３００との接続は、有線ではなく無線によるものとしてもよい。

図２は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１，２４２や投写光学系２５１，２５２等を含む（図３参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図３参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、使用者の眼の側とは反対側方向の外景（外部の景色）を撮像し、外景画像を取得する。本実施形態におけるカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源の状態を切り替える。

図３は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８に対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えばコンテンツサーバー３００といった他の機器との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛生からの信号を受信することにより、自身の現在位置を検出する。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０、観戦支援部１４２として機能する。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づき、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを生成し、接続部４０を介してこれらの信号を画像表示部２０に供給する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に、１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、図示しないＰＬＬ（Phase Locked Loop）回路等を利用してクロック信号ＰＣＬＫを生成する。

画像処理部１６０は、同期信号が分離されたアナログ画像信号を、図示しないＡ／Ｄ変換回路等を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データＤａｔａ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。観戦支援部１４２は、使用者による野球場ＢＳでの野球の試合の観戦を支援するためのアプリケーションプログラムである。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、９軸センサー６６とを備えている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。制御部１０の観戦支援部１４２は、ＧＰＳモジュール１３４により検出された制御部１０の現在位置を表す位置情報や、９軸センサー６６により検出された使用者の頭の動きを表す動き情報を、無線通信部１３２を介してコンテンツサーバー３００に供給する。このとき、観戦支援部１４２は、請求項における情報送信部として機能する。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図４は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表す有効な画像光ＰＬへと変調する。左側についても同様である。なお、図４のように、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

図５は、使用者に認識される虚像の一例を示す説明図である。図５には、図１に示す観客ＳＰ１の視野ＶＲを例示している。頭部装着型表示装置１００の使用者（観客ＳＰ）の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認する。また、使用者の視野ＶＲのうち、虚像ＶＩが表示された部分以外については、使用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。図５に示す例では、外景ＳＣは、野球場ＢＳ内の風景である。なお、本実施形態の頭部装着型表示装置１００では、使用者は、視野ＶＲの内、虚像ＶＩの部分についても、虚像ＶＩの背後に外景ＳＣを視認可能である。

本実施形態では、頭部装着型表示装置１００の使用者（観客ＳＰ）が野球場ＢＳ内で所定のアプリケーションプログラムを起動すると、ＣＰＵ１４０が観戦支援部１４２（図３）として機能し、観戦支援部１４２の機能により図５に示す虚像ＶＩが表示される。すなわち、観戦支援部１４２は、無線通信部１３２を介してコンテンツサーバー３００に映像を要求し、要求に応じてコンテンツサーバー３００から配信された映像に基づき虚像ＶＩを表示させる。図５に示した虚像ＶＩは、野球場ＢＳに関する情報（球場名、観客数、気象状況等）を表す部分虚像ＶＩ１や、メニューを表す部分虚像ＶＩ２、選手に関する情報（選手名、チーム名、ポジション、成績等）を表す部分虚像ＶＩ３、ＶＩ４を含んでいる。選手に関する情報を表す映像や野球場ＢＳに関する情報を表す映像は、特定の地理的領域としての野球場ＢＳに対応する映像と言える。なお、虚像ＶＩの一部または全部は、予め頭部装着型表示装置１００の記憶部１２０に格納された映像に基づき表示されるとしてもよい。

メニューを表す部分虚像ＶＩ２は、映像を選択するための複数のアイコンと、買い物をするための複数のアイコンとを含んでいる。例えば、使用者が制御部１０のタッチパッド１４や十字キー１６を操作して、買い物をするための複数のアイコンの１つ（例えば、ビールアイコン）を選択すると、観戦支援部１４２は、図示しない物販サーバーに対し、選択されたアイコンに対応する品物の購入要求を、ＧＰＳモジュール１３４で検出された現在位置を表す位置情報と共に送信する。物販サーバーは、受信した購入要求を、当該品物を取り扱う売店の端末に転送する。売店の販売員は、端末に転送された購入要求に応じて、要求された品物を位置情報により特定される席まで配達する。

部分虚像ＶＩ２における映像選択のための複数のアイコンは、カメラを選択するためのアイコンと、リプレイ映像を選択するためのアイコンと、選手を選択するためのアイコンと、自動選択のアイコンとが含まれている。例えば、使用者が、選手を選択するためのアイコンを選択すると共に、対象選手を選択する操作を行うと、頭部装着型表示装置１００の観戦支援部１４２は、無線通信部１３２を介して、選手を特定する情報をコンテンツサーバー３００に送信する。対象選手を選択する操作は、制御部１０のタッチパッド１４や十字キー１６を用いて行われる。あるいは、この操作は、使用者が特定の選手に視線を向けたときの９軸センサー６６の検出値を用いて自動的に行われるとしてもよい。コンテンツサーバー３００の映像配信部３１６は、受信した情報により特定される選手情報映像を選択して記憶部３２０から読み出し、読み出された映像を無線通信部３３０を介して頭部装着型表示装置１００に配信する。頭部装着型表示装置１００の観戦支援部１４２は、配信された映像を虚像ＶＩとして表示させる。

また例えば、使用者が所望のカメラ（例えば、図１のカメラＣａ１（センターカメラ））に対応するボタンを選択すると、頭部装着型表示装置１００の観戦支援部１４２は、無線通信部１３２を介して、選択されたカメラを特定する情報をコンテンツサーバー３００に送信する。コンテンツサーバー３００の映像配信部３１６は、受信した情報により特定されるカメラにより撮影されたリアルタイム映像を選択して記憶部３２０から読み出し、読み出された映像を無線通信部３３０を介して頭部装着型表示装置１００に配信する。頭部装着型表示装置１００の観戦支援部１４２は、配信された映像を虚像ＶＩとして表示させる。このようにして、使用者は、好みの角度やズーム状態の映像を虚像ＶＩとして視認することができる。

同様に、使用者がリプレイボタンを選択すると、頭部装着型表示装置１００の観戦支援部１４２は、無線通信部１３２を介して、リプレイ映像の要求をコンテンツサーバー３００に送信する。コンテンツサーバー３００の映像配信部３１６は、リプレイ映像を選択して記憶部３２０から読み出し、読み出された映像を無線通信部３３０を介して頭部装着型表示装置１００に配信する。制御部１０の観戦支援部１４２は、配信された映像を虚像ＶＩとして表示させる。

また、使用者が自動ボタンを選択すると、以下に説明する自動映像選択処理が開始される。自動映像選択処理は、コンテンツサーバー３００が自動的に映像を選択して頭部装着型表示装置１００に配信し、頭部装着型表示装置１００が配信された映像を表示する処理である。図６は、自動映像選択処理の流れを示すフローチャートである。また、図７は、自動映像選択処理の概要を示す説明図である。図７（ａ）には、観客ＳＰ１がスタンドＳＴの内野席で野球の試合を観戦している様子を示している。一般に、野球の試合では、図７（ａ）に示すように、観客ＳＰはピッチャーとキャッチャーとの間（バッテリー）付近に視線を向けていることが多い。

自動映像選択処理が開始されると、頭部装着型表示装置１００の観戦支援部１４２は、無線通信部１３２を介して映像自動選択要求をコンテンツサーバー３００に送信する（ステップＳ１２０）。このとき、観戦支援部１４２は、ＧＰＳモジュール１３４で検出された現在位置を表す位置情報もコンテンツサーバー３００に送信する。映像自動選択要求を受信したコンテンツサーバー３００の映像配信部３１６は、スタンドＳＴの各位置（または各領域、以下同様）に応じて予め設定されたデフォルト映像を記憶部３２０から読み出し、読み出された映像を無線通信部３３０を介して頭部装着型表示装置１００に配信する（ステップＳ２１０）。頭部装着型表示装置１００の観戦支援部１４２は、配信されたデフォルト映像を無線通信部１３２を介して受信し、デフォルト映像を虚像ＶＩとして表示させる（ステップＳ１３０）。

本実施形態では、スタンドＳＴの各位置からの視線とは所定値以上異なる角度で物体を撮影した映像が、デフォルト映像として設定されている。例えば図７（ａ）のように、スタンドＳＴの内野席の位置に対応するデフォルト映像として、図１のカメラＣａ１（センターカメラ）により撮影されたリアルタイム映像が設定されている。この場合には、観客ＳＰ１の視野ＶＲにおいて、センターカメラにより撮影されたリアルタイム映像の虚像ＶＩが視認される。このようにデフォルト映像が設定されると、観客ＳＰは、直接視認する外景ＳＣとは角度の異なる映像を虚像ＶＩとして視認することができるため、観戦をより楽しむことができる。なお、使用者の視線とは所定値以上異なる角度で物体を撮影した映像とは、視線方向と撮影のためのカメラの光軸方向とのなす角度が所定値以上であることを意味する。この所定値は、任意に設定可能であるが、例えば、使用者の直接的な視野を補完するという観点から、１５度以上であることが好ましく、３０度以上であることがより好ましく、４５度以上であることがさらに好ましい。また、図７（ａ）に示すように、デフォルト映像の虚像ＶＩは、観客ＳＰの視野ＶＲの中心から比較的遠い位置の比較的小さい領域に視認される。そのため、観客ＳＰの視野ＶＲにおいて、直接視認する外景ＳＣが大部分を締め、虚像ＶＩは視野ＶＲの周縁部の小領域を締めるに過ぎず、虚像ＶＩによって観戦の臨場感が損なわれることを極力抑制することができる。

頭部装着型表示装置１００の観戦支援部１４２は、予め設定された閾値以上の使用者の頭の動き（以下、「大きな頭の動きＭＯ」と呼ぶ）が９軸センサー６６によって検出されたか否かを監視する（ステップＳ１４０）。大きな頭の動きＭＯが検出されると、観戦支援部１４２は、大きな頭の動きＭＯが検出されたことをコンテンツサーバー３００に通知する（ステップＳ１６０）。この通知は、使用者の頭の動きを表す動き情報に該当する。コンテンツサーバー３００の情報受信部３１２が、無線通信部３３０を介して上記通知を受信すると、映像配信部３１６は、通知の送信元の頭部装着型表示装置１００への映像の配信を停止する（ステップＳ２２０）。これにより、頭部装着型表示装置１００の使用者には虚像ＶＩが視認されなくなる。図７（ｂ）には、バッターが打ったボールが外野方向に飛んだため、観客ＳＰ１が頭を外野方向に向けて大きく動かした様子を示している。上述した閾値は、観客ＳＰがこのような頭の大きな動きＭＯを行った際に９軸センサー６６で検出される検出値が当該閾値を超えるように設定されている。そのため、図７（ｂ）の場合には、コンテンツサーバー３００から頭部装着型表示装置１００への映像配信が停止され、観客ＳＰ１の視野ＶＲに虚像ＶＩが含まれなくなる。

一般に、スポーツ観戦時に観客ＳＰが頭を大きく動かすのは、何らかの見るべき重要なプレイ（例えば、バッターがバットでボールを捉えたプレイ）が行われた場合が多いと考えられる。このようなプレイの際には、観客ＳＰは、プレイを直接見ることを希望すると考えられる。本実施形態では、観客ＳＰの大きな頭の動きＭＯが検出されると、コンテンツサーバー３００から頭部装着型表示装置１００への映像配信が停止され、観客ＳＰの視野ＶＲに虚像ＶＩが含まれなくなるため、虚像ＶＩに遮られることなく見るべき重要なプレイを大きな視野ＶＲ内に視認することができる。このように、本実施形態の映像表示システム１０００では、使用者の利便性を高めることができる。

コンテンツサーバー３００の映像配信部３１６は、頭部装着型表示装置１００からの通知受領から予め設定された時間が経過したか否かを監視する（ステップＳ２３０）。この時間は、種目毎の特性（例えば、ワンプレイに要する平均時間）に応じて適宜設定される。予め設定された時間が経過するまでは、コンテンツサーバー３００による頭部装着型表示装置１００への映像配信は停止されている。予め設定された時間が経過すると、上記通知に基づきリプレイ対象の期間を決定し、決定された期間のリプレイ映像を記憶部３２０から読み出し、読み出された映像を頭部装着型表示装置１００に配信する（ステップＳ２４０）。本実施形態では、頭部装着型表示装置１００からの通知が受領されたタイミングを含む所定の長さの期間が、リプレイ対象の期間として決定される。このように期間が設定されると、コンテンツサーバー３００により選択されるリプレイ映像は、観客ＳＰの大きな頭の動きＭＯが検出されたタイミングを含む期間の映像となるため、見るべき重要なプレイのリプレイ映像となる。本実施形態では、頭部装着型表示装置１００からの通知受領から予め設定された時間が経過すると、見るべき重要なプレイは完了し、使用者は当該プレイのリプレイ映像の観賞を希望している状態にあると想定し、このようなリプレイ映像の配信を行うものとしている。

頭部装着型表示装置１００の観戦支援部１４２は、配信されたリプレイ映像を受信し、受信されたリプレイ映像を虚像ＶＩとして表示させる（ステップＳ１７０）。図７（ｃ）には、使用者の視野ＶＲにおいてリプレイ映像の虚像ＶＩが視認されている様子を示している。リプレイ映像の虚像ＶＩは、上述したデフォルト映像の虚像ＶＩと比較して、観客ＳＰの視野ＶＲにおける中心により近い位置のより大きい領域に視認される。そのため、観客ＳＰは、見るべき重要なプレイのリプレイ映像を視野ＶＲの中央の大きな領域に視認することができる。このように、本実施形態の映像表示システム１０００では、使用者の利便性をさらに高めることができる。

コンテンツサーバー３００は、リプレイ映像の配信が完了すると、再度、デフォルト映像の配信を開始する（ステップＳ２１０）。以降は、上述の各ステップが繰り返し実行される。

以上説明したように、本実施形態の映像表示システム１０００における自動映像選択処理では、野球場ＢＳ内に存在する頭部装着型表示装置１００の９軸センサー６６によって大きな頭の動きＭＯが検出されると、頭部装着型表示装置１００の観戦支援部１４２は、大きな頭の動きＭＯが検出されたことを表す動き情報をコンテンツサーバー３００に送信する。動き情報を受信したコンテンツサーバー３００の映像配信部３１６は、動き情報に基づきリプレイ映像を選択して頭部装着型表示装置１００に配信する。そのため、本実施形態の映像表示システム１０００では、頭部装着型表示装置１００の使用者が映像を選択するための煩わしい操作を行うことなく、使用者の状態に応じた好ましい映像が選択されて頭部装着型表示装置１００により表示されるため、使用者の利便性を高めることができる。

Ｂ．第２実施形態：
図８は、第２実施形態における自動映像選択処理の流れを示すフローチャートである。また、図９は、第２実施形態における自動映像選択処理の概要を示す説明図である。図９（ａ）には、図７（ａ）と同様に、観客ＳＰ１がスタンドＳＴの内野席で野球の試合を観戦している様子を示している。

自動映像選択処理が開始されると、頭部装着型表示装置１００の観戦支援部１４２（図３）は、ＧＰＳモジュール１３４に現在位置を検出させると共に（ステップＳ１２２）、９軸センサー６６に使用者の顔の向きを検出させ（ステップＳ１３２）、現在位置を表す位置情報と顔向きを表す動き情報とを無線通信部１３２を介してコンテンツサーバー３００に送信する（ステップＳ１４２）。

位置情報および動き情報を受信したコンテンツサーバー３００の映像配信部３１６は、位置情報および動き情報に基づき、頭部装着型表示装置１００に配信すべき映像を選択し、選択された映像を記憶部３２０から読み出して頭部装着型表示装置１００に配信する（ステップＳ２１２）。頭部装着型表示装置１００の観戦支援部１４２は、コンテンツサーバー３００から配信された映像を無線通信部１３２を介して受信し、受信された映像を虚像ＶＩとして表示させる（ステップＳ１５２）。

本実施形態では、コンテンツサーバー３００の映像配信部３１６は、頭部装着型表示装置１００の現在位置を特定する位置情報と頭部装着型表示装置１００の使用者の顔向きを特定する動き情報とに基づき、頭部装着型表示装置１００の使用者の視線を推定し、推定された視線とは所定値以上異なる角度で物体を撮影した映像を、頭部装着型表示装置１００に配信すべき映像として選択する。この所定値は、上記第１実施形態と同様にして予め設定される。例えば、図９（ａ）に示す例では、観客ＳＰ１の位置および顔向きから推定される視線の向きは、観客ＳＰ１の位置からバッテリー付近に向かう向きである。そのため、映像配信部３１６は、推定された視線とは所定値以上異なる角度で物体を撮影した映像、例えばバックネット裏のカメラＣａ４（図１）からスコアボードＳＢを撮影した映像を、配信すべき画像として選択する。このように選択された映像が観客ＳＰ１の装着する頭部装着型表示装置１００に配信されると、図９（ａ）に示すように、観客ＳＰ１の視野ＶＲに、スコアボードＳＢを撮影した映像が虚像ＶＩとして視認される。これにより、観客ＳＰ１は、選手のプレイを外景ＳＣとして直接視認しつつ、スコアボードＳＢを虚像ＶＩとして視認することができる。このように、本実施形態の映像表示システム１０００では、使用者の利便性を高めることができる。

頭部装着型表示装置１００の観戦支援部１４２は、映像の受信後、所定時間が経過したか否かを監視する（ステップＳ１６２）。所定時間が経過すると、観戦支援部１４２は、再度、現在位置の検出（ステップＳ１２２）および使用者の顔の向きの検出（ステップＳ１３２）を行い、位置情報と動き情報とをコンテンツサーバー３００に送信する（ステップＳ１４２）。位置情報および動き情報を受信したコンテンツサーバー３００の映像配信部３１６は、新たに受信した位置情報および動き情報に基づき、頭部装着型表示装置１００に配信すべき映像を選択して頭部装着型表示装置１００に配信する（ステップＳ２１２）。例えば、観客ＳＰ１が、図９（ａ）に示す状態から図９（ｂ）に示すようにスコアボードＳＢの方向に頭を向ける動きＭＯを行った場合には、映像配信部３１６は、観客ＳＰ１の視線とは所定値以上異なる角度で物体を撮影した映像、例えば観客ＳＰ１の現在位置付近のカメラＣａ５（図１）からバッテリー方向を撮影した映像を、配信すべき画像として選択する。このように選択された映像が観客ＳＰ１の装着する頭部装着型表示装置１００に配信されると、観客ＳＰ１の視野ＶＲに、観客ＳＰ１の現在位置付近からグラウンドＧＲを撮影した映像が虚像ＶＩとして視認される。これにより、観客ＳＰ１は、スコアボードＳＢを外景ＳＣとして直接視認しつつ、バッテリー方向を向いたときに想定される視野ＶＲに相当する映像を虚像ＶＩとして視認することができる。このように、本実施形態の映像表示システム１０００では、使用者の利便性を高めることができる。

また、その後、観客ＳＰ１が図９（ｂ）に示す状態から頭を動かして、図９（ｃ）に示すようにバッテリー付近に視線を戻した場合には、映像配信部３１６は、観客ＳＰ１の視線とは所定値以上異なる角度で物体を撮影した映像、例えばバックネット裏のカメラＣａ４からスコアボードＳＢを撮影した映像を、配信すべき画像として選択する。このように選択された映像が観客ＳＰ１の装着する頭部装着型表示装置１００に配信されると、観客ＳＰ１の視野ＶＲの状態は、スコアボードＳＢ方向を向くように頭を動かす前の状態（図９（ａ）に示した状態）に戻る。

以上説明したように、第２実施形態の映像表示システム１０００における自動映像選択処理では、頭部装着型表示装置１００のＧＰＳモジュール１３４によって現在位置が検出されると共に９軸センサー６６によって頭の向きが検出されると、頭部装着型表示装置１００の観戦支援部１４２は、位置情報と動き情報とをコンテンツサーバー３００に送信する。位置情報および動き情報を受信したコンテンツサーバー３００の映像配信部３１６は、位置情報および動き情報に基づき頭部装着型表示装置１００に配信すべき映像を選択する。具体的には、コンテンツサーバー３００の映像配信部３１６は、動き情報および位置情報に基づき推定される頭部装着型表示装置１００の使用者の視線とは所定値以上異なる角度で物体を撮影した映像を、頭部装着型表示装置１００に配信すべき映像として選択する。そのため、第２実施形態の映像表示システム１０００では、頭部装着型表示装置１００の使用者が映像を選択するための煩わしい操作を行うことなく、使用者の状態に応じた好ましい映像が選択されて頭部装着型表示装置１００により表示されるため、使用者の利便性を高めることができる。

Ｃ．変形例：
この発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ１．変形例１：
上記実施形態では、映像表示システム１０００は、野球場ＢＳに適用されるとしているが、他の地理的領域にも適用可能である。他の地理的領域としては、例えば、他の種目の競技場（例えばサッカー場）や、博物館、展示会会場、コンサート会場、演劇場が挙げられる。映像表示システム１０００を他の種目の競技場やコンサート会場、演劇場に適用する場合に、上述した第１実施形態のように、使用者の頭の大きな動きＭＯが検出されると映像の配信を停止したり、その後にリプレイ映像を配信したりすることにより、使用者の利便性を向上させることができる。また、映像表示システム１０００を他の種目の競技場やコンサート会場、演劇場、博物館、展示会会場に適用する場合に、上述した第２実施形態のように、推定される使用者の視線とは所定値以上異なる角度で物体を撮影した映像を配信することにより、使用者の利便性を向上させることができる。

また、上記実施形態における自動映像選択処理では、使用者の視野ＶＲに１つの領域から構成された虚像ＶＩが視認されるとしているが、使用者の視野ＶＲに２つ以上の領域から構成された虚像ＶＩが視認されるとしてもよい。例えば、図７（ａ）の例において、使用者の視野ＶＲの左下隅付近の領域に右上隅付近の領域を加えた２つの領域から構成される虚像ＶＩが視認されるとしてもよい。このように、２つ以上の領域から構成された虚像ＶＩが視認される場合にも、各領域に配置すべき映像が動き情報や位置情報に基づき選択されるとしてもよい。また、このような場合に、虚像ＶＩを構成する各領域に、互いに異なる角度の映像が配置されるとしてもよいし、互いにズーム状態の異なる映像が配置されるとしてもよい。

Ｃ２．変形例２：
上記実施形態では、コンテンツサーバー３００が、複数の映像の中から頭部装着型表示装置１００に配信すべき映像を選択するとしているが、これに代えて、コンテンツサーバー３００から複数の映像が頭部装着型表示装置１００に配信され、頭部装着型表示装置１００が、配信された映像の中から虚像ＶＩとして使用者に視認させる映像を選択するとしてもよい。頭部装着型表示装置１００による映像の選択は、上述した実施形態におけるコンテンツサーバー３００による映像の選択と同様に実行可能である。

Ｃ３．変形例３：
上記実施形態における頭部装着型表示装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた十字キー１６やタッチパッド１４の一方を省略したり、十字キー１６やタッチパッド１４に加えてまたは十字キー１６やタッチパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４やカメラ６１、ＧＰＳモジュール１３４は適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。また、上記実施形態では、使用者の頭の動きを検出するセンサーとして９軸センサー６６を利用しているが、これに代えて、加速度センサー、角速度センサー、地磁気センサーの内の１つまたは２つから構成されたセンサーを利用するとしてもよい。また、上記実施形態では、頭部装着型表示装置１００の位置を検出するセンサーとしてＧＰＳモジュール１３４を利用しているが、これに代えて、他の位置検出センサーを利用するとしてもよい。また、野球場ＢＳの各席に頭部装着型表示装置１００が備え付けられており、各頭部装着型表示装置１００にはその位置を特定する位置情報が予め記憶されているとしてもよい。また、上記実施形態では、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、上記実施形態において、頭部装着型表示装置１００は、使用者の左右の眼に同じ画像を表す画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表す画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

Ｃ４．変形例４：
上記第１実施形態では、スタンドＳＴの各位置からの視線とは所定値以上異なる角度で物体を撮影した映像がデフォルト映像として設定されているが、他の映像がデフォルト映像として設定されているとしてもよい。例えば、スタンドＳＴの各位置からの視線と同一または類似の角度の映像が、デフォルト映像として設定されているとしてもよい。あるいは、デフォルト映像は、スタンドＳＴの位置とは無関係に設定されているとしてもよい。また、野球場ＢＳに対応する映像の内、野球場ＢＳ内の物体を撮影した映像以外の映像（例えば選手情報映像）が、デフォルト映像として設定されているとしてもよい。なお、頭部装着型表示装置１００に配信すべき映像の選択のために頭部装着型表示装置１００の現在位置を表す位置情報が必要ない場合には、必ずしも頭部装着型表示装置１００からコンテンツサーバー３００への位置情報の送信が行われる必要はない。

また、上記第１実施形態では、観客ＳＰの大きな頭の動きＭＯが検出されると、頭部装着型表示装置１００からコンテンツサーバー３００への通知が行われ、通知を受けたコンテンツサーバー３００が頭部装着型表示装置１００へのデフォルト映像の配信を停止するものとしているが、これに代えて、デフォルト映像の配信が継続されるとしてもよい。この場合にも、通知から所定時間経過に配信映像をデフォルト映像からリプレイ映像に切り換えることにより、観客ＳＰに、見るべき重要なプレイのリプレイ映像を大きな領域に視認させることができ、使用者の利便性を高めることができる。

また、上記第１実施形態では、観客ＳＰの大きな頭の動きＭＯが検出されると、頭部装着型表示装置１００からコンテンツサーバー３００への通知が行われ、通知を受けたコンテンツサーバー３００が頭部装着型表示装置１００への映像の配信を停止するものとしているが、これに代えて、観客ＳＰの大きな頭の動きＭＯが検出されると、頭部装着型表示装置１００自身が虚像ＶＩを非表示にするものとしてもよい。すなわち、頭部装着型表示装置１００は、コンテンツサーバー３００から映像の配信を受けつつ、配信された映像を虚像ＶＩとして表示しないものとしてもよい。この場合においても、頭部装着型表示装置１００からコンテンツサーバー３００への通知が行われることにより、コンテンツサーバー３００は、所定時間経過後に、デフォルト映像に代えてリプレイ映像を頭部装着型表示装置１００に配信することができる。頭部装着型表示装置１００は、リプレイ映像が配信されると、配信された映像を虚像ＶＩとして表示する。このようにしても、観客ＳＰに、見るべき重要なプレイを虚像ＶＩに遮られることなく大きな視野ＶＲ内に視認させた後、見るべき重要なプレイのリプレイ映像を大きな領域に視認させることができるため、使用者の利便性を高めることができる。

また、上記第１実施形態では、頭部装着型表示装置１００において観客ＳＰの大きな頭の動きＭＯが検出されると、大きな頭の動きＭＯが検出されたことが頭部装着型表示装置１００からコンテンツサーバー３００に通知されるとしているが、これに代えて、頭部装着型表示装置１００の９軸センサー６６の検出値がコンテンツサーバー３００に継続的に送信され、コンテンツサーバー３００によって観客ＳＰの大きな頭の動きＭＯがあったか否かが判定されるとしてもよい。９軸センサー６６の検出値は、使用者の頭の動きを表す動き情報に該当する。この場合にも、コンテンツサーバー３００が、観客ＳＰの大きな頭の動きＭＯがあったと判定すると、デフォルト映像の配信を停止すると共に、所定時間経過にリプレイ映像の配信を行うことにより、観客ＳＰに、見るべき重要なプレイを虚像ＶＩに遮られることなく大きな視野ＶＲ内に視認させた後、見るべき重要なプレイのリプレイ映像を大きな領域に視認させることができるため、使用者の利便性を高めることができる。

また、上記第１実施形態では、頭部装着型表示装置１００からの通知（動き情報）が受領されたタイミングを含む所定の長さの期間が、リプレイ対象の期間として決定されるが、リプレイ対象の期間の決定方法はこれに限られない。例えば、上記通知が使用者の頭の大きな動きを検出したタイミングを特定する情報を含む場合には、このタイミングを含む所定の長さの期間が、リプレイ対象の期間として決定されるとしてもよい。

また、上記第１実施形態では、リプレイ映像の虚像ＶＩは、デフォルト映像の虚像ＶＩと比較して、観客ＳＰの視野ＶＲにおける中心により近い位置のより大きい領域に視認されるとしているが、リプレイ映像の虚像ＶＩの視認態様はこれに限られない。例えば、リプレイ映像の虚像ＶＩは、デフォルト映像の虚像ＶＩと比較して、観客ＳＰの視野ＶＲにおける中心により近い位置に視認されるが、その領域の大きさはデフォルト映像の場合と比較して同じあるいは小さいとしてもよい。また、リプレイ映像の虚像ＶＩは、デフォルト映像の虚像ＶＩと比較して、観客ＳＰの視野ＶＲにおけるより大きい領域に視認されるが、視野ＶＲの中心からその領域までの距離はデフォルト映像の場合と比較して同じあるいは遠いとしてもよい。また、リプレイ映像の虚像ＶＩは、デフォルト映像の虚像ＶＩと比較して、観客ＳＰの視野ＶＲにおいて強調表示されるとしてもよい。強調表示としては、例えば、他の領域より明るく表示したり、目立つ枠（太い枠や複雑な形状の枠、周囲に対してコントラストの高い色で表された枠等）で囲まれた領域に表示したり、動きのある領域に表示したりすること等が挙げられる。また、リプレイ映像の虚像ＶＩは、観客ＳＰの視野ＶＲにおいて、デフォルト映像の虚像ＶＩには付加されていない所定のマークが付加されるとしてもよい。所定のマークとしては、リプレイ映像であることを示すマークやタグ、動きのあるマーク等が挙げられる。

Ｃ５．変形例５：
上記第２実施形態では、コンテンツサーバー３００の映像配信部３１６は、位置情報と動き情報とに基づき推定された使用者の視線とは所定値以上異なる角度で物体を撮影した映像を、頭部装着型表示装置１００に配信すべき映像として選択するとしているが、映像選択の方法はこれに限られない。例えば、映像配信部３１６は、位置情報と動き情報とに基づき使用者の視野を推定し、推定された使用者の視野の外に位置する物体を撮影した映像を選択するとしてもよい。このようにすれば、使用者は、外景ＳＣとして直接視認している物体とは異なる物体の映像を虚像ＶＩとして視認することができる。あるいは、映像配信部３１６は、推定された使用者の視野における所定範囲（例えば中心付近の範囲）の外に位置する物体を撮影した映像を選択するとしてもよい。このようにすれば、使用者は、視野ＶＲの上記所定範囲において外景ＳＣとして直接視認している物体とは異なる物体の映像を虚像ＶＩとして視認することができる。

Ｃ６．変形例６：
上記実施形態では、大きな頭の動きＭＯが検出されたことの通知（動き情報）に基づき、配信される映像が選択されるとしているが、動き情報は用いられず、ＧＰＳモジュール１３４で検出された現在位置を表す位置情報に基づき、配信される映像が選択されるとしてもよい。例えば、野球場ＢＳを複数エリア（例えばＡエリアからＪエリアまでの１０エリア）に分け、位置情報に基づき、そのエリアに最適な映像（例えば、ホームランの場面の映像、自分の視界からは見えない遠くにいる選手の背番号の映像、選手の名前の映像、ストライクの場面の映像、控えの選手の行動の映像〉が選択されて配信されるとしてもよい。なお、位置情報は、ＧＰＳモジュール１３４で検出される必要はなく、他の方法で検出されるとしてもよい。例えば、カメラ６１で座席番号を認識させることで、より詳細な位置情報を検出するとしてもよい。このようにすれば、注文した物品の確実な配達、周辺情報の提供、効果的な広告宣伝が可能である。

Ｃ７．変形例７：
上記実施形態では、映像の配信にコンテンツサーバー３００が用いられているが、映像を配信できる情報装置であれば、コンテンツサーバー３００以外の情報装置が用いられてもよい。例えば、カメラＣａにより撮影された映像を録画することなく、電波・通信回線などの媒体でリアルタイムに頭部装着型表示装置１００に配信する場合には、そのような配信機能を備えたカメラＣａ（またはカメラＣａと配信装置とから構成されるシステム）が映像を配信する情報装置として機能する。

Ｃ８．変形例８：
上記実施形態において、例えば大きな動きが検出されて表示映像を切り換える際に、バックライトなどの表示輝度を変化させることで、シースルー度合いを変化させるとしてもよい。例えば、バックライトの輝度を上げると虚像ＶＩが強調され、バックライトの輝度を下げると外景ＳＣが強調される。

また、上記実施形態において、例えば大きな動きが検出されたときに、表示映像を切り換えるのではなく、表示されていた映像の大きさや位置を変更するものとしてもよい。例えば、表示映像を変更せず、ワイプ表示のように画面片隅に映像を残しておき、頭の動きに合わせて、その映像を拡大・縮小できるようにしてもよい。

Ｃ９．変形例９：
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

１０…制御部
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
６１…カメラ
６６…９軸センサー
１００…頭部装着型表示装置
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部
１３４…ＧＰＳモジュール
１４０…ＣＰＵ
１４２…観戦支援部
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…コンテンツサーバー
３１０…ＣＰＵ
３１２…情報受信部
３１４…映像処理部
３１６…映像配信部
３２０…記憶部
３３０…無線通信部
３４０…映像入力インターフェイス
１０００…映像表示システム

Claims

情報装置と、前記情報装置から配信された映像を虚像として使用者に視認させる透過型の頭部装着型表示装置と、を備える映像表示システムであって、
前記情報装置は、前記頭部装着型表示装置の使用者が視認する事象が行われている特定の施設に対応する映像を前記頭部装着型表示装置に配信する映像配信部を有し、
前記頭部装着型表示装置は、使用者の頭の動きを検出する動き検出部を有し、前記動きを表す動き情報に基づき選択された前記映像を虚像として使用者に視認させ、
前記頭部装着型表示装置は、さらに、前記動き情報を前記情報装置に送信する情報送信部を有し、
前記情報装置は、さらに、前記特定の施設内に位置する前記頭部装着型表示装置から前記動き情報を受信する情報受信部を有し、
前記映像配信部は、前記特定の施設に対応する複数の前記映像から前記動き情報に基づき少なくとも１つの前記映像を選択し、選択された前記映像を前記動き情報の送信元の前記頭部装着型表示装置に配信し、
前記複数の映像は、前記特定の施設内の物体を撮影した映像であり、
前記頭部装着型表示装置は、さらに、現在位置を検出する位置検出部を有し、
前記情報送信部は、前記現在位置を表す位置情報を前記情報装置に送信し、
前記映像配信部は、前記動き情報と前記位置情報とに基づき映像を選択する、映像表示システム。
請求項１に記載の映像表示システムであって、
前記映像配信部は、前記動き情報と前記位置情報とに基づき推定される前記頭部装着型表示装置の使用者の視線とは所定値以上異なる角度で物体を撮影した映像を選択する、映像表示システム。
請求項１に記載の映像表示システムであって、
前記映像配信部は、前記動き情報と前記位置情報とに基づき推定される前記頭部装着型表示装置の使用者の視野における所定範囲の外に位置する物体を撮影した映像を選択する、映像表示システム。
情報装置と、前記情報装置から配信された映像を虚像として使用者に視認させる透過型の頭部装着型表示装置と、を備える映像表示システムであって、
前記情報装置は、前記頭部装着型表示装置の使用者が視認する事象が行われている特定の施設に対応する映像を前記頭部装着型表示装置に配信する映像配信部を有し、
前記頭部装着型表示装置は、
使用者の頭の動きを検出する動き検出部と、
現在位置を検出する位置検出部と、
前記特定の施設内において、前記情報装置から、前記特定の施設に対応する複数の前記映像を受信する映像受信部と、
前記動きを表す動き情報と前記現在位置を表す位置情報とに基づき、前記複数の映像から使用者に視認させる映像を選択する映像選択部と、を有し、
前記複数の映像は、前記特定の施設内の物体を撮影した映像である、映像表示システム。