JP2018006914A - 外部撮像システム、外部撮像方法、外部撮像プログラム - Google Patents

Abstract

【課題】外部撮像カメラを容易に操作して撮像を行う外部撮像システムを提供する。【解決手段】ヘッドマウントディスプレイと、視線検出装置とを含む外部撮像システムであって、ヘッドマウントディスプレイは、非可視光が照射されているユーザの眼を含む画像を非可視光に基づいて撮像する撮像部と、撮像した撮像画像とその撮像時間を示す撮像時間情報を送信する第１送信部と、ユーザの視線方向に関する情報を受信する第１受信部と、撮像された映像に基づく画像を表示する表示部と、外部撮像カメラを制御する制御部とを備え、視線検出装置は、撮像画像と撮像時間情報とからユーザの視線方向を検出する視線検出部と、検出した視線方向に関する情報と撮像時間とを対応付けて送信する第２送信部とを備え、制御部は、ユーザの注視位置に対する注視時間に基づいて外部撮像カメラを制御する。【選択図】図４

Description

この発明は、外部撮像システム、及びその外部撮像方法、外部撮像プログラムに関し、特にヘッドマウントディスプレイを用いた映像表示技術に関する。

従来から、ヘッドマウントディスプレイのように頭部に装着して用いるウェアラブル端末を用いた外部撮像システムが開発されている。

そのようなヘッドマウントディスプレイの一例として、特許文献１には、ヘッドセット型表示装置において、ギアモータにより上下左右方向に回転可能にビデオカメラを取り付けて、ユーザの視線方向に基づいてビデオカメラの撮影方向を変更する技術も開発されている（例えば、特許文献１参照）。

特開２００２−３２２１２号公報

ところで、上記特許文献１においては、ビデオカメラの撮影方向を視線方向に基づいて変更することができるものの、その撮影は画一的なものであるという問題があった。

本発明は、上記問題に鑑みてなされたものであり、ヘッドマウントディスプレイに外部を撮像するカメラを取り付けて、ユーザビリティに富んだ外部撮像システム、外部撮像方法、外部撮像プログラムを提供することを目的とする。

本発明の一態様に係る外部撮像システムは、ヘッドマウントディスプレイと、視線検出装置とからなる外部撮像システムであって、ヘッドマウントディスプレイは、ユーザの眼に非可視光を照射する照射部と、照射部が照射しているユーザの眼を含む画像を非可視光に基づいて撮像する撮像部と、撮像部が撮像した撮像画像と当該撮像画像を撮像した撮像時間を示す撮像時間情報を視線検出装置に送信する第１送信部と、視線検出装置から、ユーザの視線方向に関する情報を受信する第１受信部と、外部撮像カメラと接続する接続部と、外部撮像カメラにより撮像された映像に基づく画像を表示する表示部と、外部撮像カメラを制御する制御部とを備え、視線検出装置は、撮像画像と撮像時間情報とを受信する第２受信部と、撮像画像を解析してユーザの視線方向を検出する視線検出部と、検出した視線方向に関する情報と視線方向を検出するのに用いた撮像画像の撮像時間とを対応付けてヘッドマウントディスプレイに送信する第２送信部とを備え、制御部は、複数の視線方向に関する情報及び当該視線方向に対応付けられた撮像時間から算出されるユーザの注視時間に基づいて外部撮像カメラによる撮像の制御を実行する。

また、上記外部撮像システムにおいて、制御部は、表示部に表示された特定のオブジェクトを所定時間ｔ１以上注視していることを検出した場合に、特定のオブジェクトに焦点を合わせるように外部撮像カメラを制御することとしてもよい。

また、上記外部撮像システムにおいて、制御部は、表示部に表示された特定のオブジェクトを所定時間ｔ２以上注視していることを検出した場合に、特定のオブジェクトにズームインするように外部撮像カメラを制御することとしてもよい。

また、上記外部撮像システムにおいて、外部撮像システムは、さらに、表示部に表示された特定のオブジェクトを所定時間ｔ３以上注視していることを検出した場合に、外部撮像カメラにより撮像される映像を録画する録画部を備えることとしてもよい。

また、上記外部撮像システムにおいて、制御部は、視線方向に関する情報で示される視線方向が特定のオブジェクトから離れたことを示す場合に、特定のオブジェクトからズームアウトするように外部撮像カメラを制御することとしてもよい。

また、上記外部撮像システムにおいて、外部撮像システムは、さらに、撮像部が撮像した映像からユーザが瞼を所定時間内に２回閉じたことを検出した場合には、外部撮像カメラが撮像した映像に基づいて静止画を生成する生成部を備えることとしてもよい。

また、本発明の一実施態様に係る外部撮像方法は、外部を撮像する外部撮像カメラが着脱可能に接続されたヘッドマウントディスプレイと、視線検出装置とからなる外部撮像システムによる外部映像を撮像する外部撮像方法であって、外部撮像カメラにより撮像された映像に基づく画像を表示部に表示する表示ステップと、ヘッドマウントディスプレイがユーザの眼に非可視光を照射する照射ステップと、ヘッドマウントディスプレイが、非可視光が照射されているユーザの眼を含む画像を非可視光に基づいて撮像する撮像ステップと、ヘッドマウントディスプレイが撮像した撮像画像と当該撮像画像を撮像した撮像時間を示す撮像時間情報を視線検出装置に送信する第１送信ステップと、視線検出装置が、撮像画像と、撮像時間情報とを受信する第１受信ステップと、視線検出装置が、撮像画像を解析してユーザの視線方向を検出する視線検出ステップと、視線検出装置が、検出した視線方向に関する情報と当該視線方向を検出するのに用いた撮像画像の撮像時間とを対応付けてヘッドマウントディスプレイに送信する第２送信ステップと、ヘッドマウントディスプレイが、複数の視線方向に関する情報及び当該視線方向に対応付けられた撮像時間から算出されるユーザの注視時間に基づいて外部撮像カメラによる撮像の制御を実行する制御ステップとを含む。

また、本発明の一実施態様に係る外部撮像プログラムは、外部を撮像する外部撮像カメラが着脱可能に接続されたヘッドマウントディスプレイと、視線検出装置とからなる外部撮像システムにおいてヘッドマウントディスプレイに外部映像を撮像させる外部撮像プログラムであって、ヘッドマウントディスプレイのコンピュータに、外部撮像カメラにより撮像された映像に基づく画像を表示部に表示させる表示機能と、ヘッドマウントディスプレイにユーザの眼に非可視光を照射させる照射機能と、非可視光が照射されているユーザの眼を含む画像を非可視光に基づいて撮像する撮像機能と、撮像した撮像画像と、当該撮像画像を撮像した撮像時間を示す撮像時間情報とを、視線検出装置に送信させる送信機能と、視線検出装置から、撮像画像に基づいて視線検出装置により検出された視線方向に関する情報と、当該検出に用いた画像が撮像された撮像時間とを受信する受信機能と、複数の視線方向に関する情報及び当該視線方向に対応付けられた撮像時間から算出されるユーザの注視時間に基づいて外部撮像カメラによる撮像の制御を実行する制御機能を実現させる。

本発明によれば、外部撮像システムは、ヘッドマウントディスプレイを装着したユーザの視線方向に基づいてヘッドマウントディスプレイに接続された外部撮像カメラを制御して多様な撮影を行うことができる。

実施の形態に係るヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。 実施の形態に係る外部撮像システムの構成を示すブロック図である。 実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。 ユーザの角膜の位置座標を説明する模式図である。 実施の形態に係る外部撮像システムの動作を示すフローチャートである。 外部撮像システムの回路構成を示すブロック図である。

＜実施の形態＞
＜構成＞
図１は、実施の形態に係る外部撮像システム１の概観を模式的に示す図である。実施の形態に係る外部撮像システム１は、ヘッドマウントディスプレイ１００と視線検出装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。

視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の少なくとも一方の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。視線検出装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、視線検出装置２００はヘッドマウントディスプレイ１００と無線で接続している。視線検出装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。

なお、図１は、ヘッドマウントディスプレイ１００と視線検出装置２００とが異なる装置である場合の例を示している。しかしながら、視線検出装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。

ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、ヘッドフォン１７０、および外部撮像カメラ１９０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。外部撮像カメラ１９０は、ヘッドマウントディスプレイ１００に取り付けられ、ヘッドマウントディスプレイ１００を装着したユーザが直接視認できない外部の様子を撮像する。外部撮像カメラ１９０は、ヘッドマウントディスプレイ１００に着脱自在に取り付けることができる。外部撮像カメラ１９０がヘッドマウントディスプレイ１００に取り付けられると、ヘッドマウントディスプレイ１００の制御システムと電気的に接続され、外部撮像カメラ１９０で撮像した映像をヘッドマウントディスプレイ１００に転送できるようになるとともに、ヘッドマウントディスプレイ１００からの制御を受け付けるようになる。

ヘッドフォン１７０は、視線検出装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。

図２は、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図２は、実施の形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。

図２に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。

以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。

レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図２においてはユーザ３００の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３００の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。以下、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図２に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易でからである。

上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。

図３は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図２に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、ホットミラー１１２、凸レンズ１１４、カメラ１１６、および第１通信部１１８を備える。

赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。

画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、視線検出装置２００内の映像生成部２２２が生成する。映像生成部２２２については後述する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）等を用いて実現できる。

ホットミラー１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。ホットミラー１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。

凸レンズ１１４は、ホットミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ホットミラー１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。

凸レンズ１１４はホットミラー１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図２では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよいし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。

複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。

図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。

上述したように、ホットミラー１１２は、可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光はホットミラー１１２を透過してユーザ３００の角膜３０２まで到達する。また赤外光源１０３から照射され、凸レンズ１１４の内部の反射領域で反射された赤外光は、ユーザ３００の角膜３０２に到達する。

ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、ホットミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ホットミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。

なお、図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する第１撮像部と、左目で反射された赤外光を含む画像を撮像する第２撮像部とを備える。これにより、ユーザ３００の右目及び左目の双方の視線方向を検出するための画像を取得することができる。

第１通信部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出装置２００に出力する。具体的には、第１通信部１１８は、カメラ１１６が撮像した画像を視線検出装置２００に送信する。視線方向検出部として機能する視線検出部２２１の詳細については後述するが、視線検出装置２００のＣＰＵ（Central Processing Unit）が実行する外部撮像プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。

詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。

以上は、実施の形態に係る画像表示系１３０のうち主にユーザ３００の左目に画像を提示するための構成について説明したが、ユーザ３００の右目に画像を提示するための構成は上記と同様である。

図４は、外部撮像システム１に係るヘッドマウントディスプレイ１００と視線検出装置２００とのブロック図である。図４に示すように、また、上述したとおり、外部撮像システム１は、互いに通信を実行するヘッドマウントディスプレイ１００と視線検出装置２００とを含む。

図４に示すようにヘッドマウントディスプレイ１００は、第１通信部１１８と、表示部１２１と、赤外光照射部１２２と、画像処理部１２３と、撮像部１２４と、接続部１２５と、制御部１２６と、を備える。

第１通信部１１８は、視線検出装置２００の第２通信部２２０と通信を実行する機能を有する通信インターフェースである。上述したとおり、第１通信部１１８は、有線通信又は無線通信により第２通信部２２０と通信を実行する。使用可能な通信規格の例は上述した通りである。第１通信部１１８は、撮像部１２４または画像処理部１２３から伝送された視線検出に用いる画像データを第２通信部２２０に送信する。また、第１通信部１１８は、視線検出装置２００から送信された画像データやマーカー画像を表示部１２１に伝達する。画像データは、一例として、外部撮像カメラ１９０により撮像された映像に基づく画像である。また、画像データは、三次元画像を表示するための右目用視差画像と、左目用視差画像とからなる視差画像対であってもよい。また、第１通信部１１８は、視線検出装置２００から送信された視線方向に関する時間の情報と、対応付けられた撮像時間情報とを、制御部１２６に伝達する。また、第１通信部１１８は、接続部１２５から伝達される外部撮像カメラ１９０により撮像された外部映像を視線検出装置２００に伝達する。

表示部１２１は、第１通信部１１８から伝達された画像データを画像表示素子１０８に表示する機能を有する。表示部１２１は、画像データとして、外部撮像カメラ１９０により撮像された映像に基づく画像を表示する。当該画像データは、外部撮像カメラ１９０により撮像された映像そのものの画像であってもよいし、当該映像に何らかの画像処理を加えた画像であってもよい。また、表示部１２１は、映像生成部２２２から出力されたマーカー画像を画像表示素子１０８の指定されている座標に表示する。

赤外光照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に赤外光を照射する。

画像処理部１２３は、必要に応じて、撮像部１２４が撮像した画像に画像処理を行い、第１通信部１１８に伝達する。

撮像部１２４は、カメラ１１６を用いて、それぞれの目で反射された近赤外光を含む画像を撮像する。すなわち、カメラ１１６は、非可視光に基づく撮像を行う。また、撮像部１２４は、画像表示素子１０８に表示されたマーカー画像を注視するユーザの眼を含む画像を撮像する。撮像部１２４は、撮像して得た画像を撮像した撮像時間と対応付けて、第１通信部１１８又は画像処理部１２３に伝達する。

接続部１２５は、外部撮像カメラ１９０を接続する機能を有するインターフェースである。接続部１２５は、外部撮像カメラ１９０が接続されたことを検出すると外部撮像カメラ１９０が接続されていることを制御部１２６に伝達する。また、接続部１２５は、外部撮像カメラ１９０により撮像された映像を第１通信部１１８や表示部１２１に伝達する。また、接続部１２５は、制御部１２６からの制御信号を外部撮像カメラ１９０に伝達する。

制御部１２６は、第１通信部１１８から伝達された視線方向に関する情報と、対応付けられた撮像時間に基づいて、外部撮像カメラ１９０による撮像を制御するための制御信号を生成し、接続部１２５に伝達する。視線方向に関する情報と、対応付けられた撮像時間は、逐次、制御部１２６に伝達される。

具体的には、制御部１２６は、複数の連続する視線方向に関する情報と、それに対応付けられた撮像時間とに基づいて、連続する視線方向に関する情報に基づくユーザの注視点が、表示部１２１において対応する撮像時間において表示されていた特定のオブジェクトの表示位置と重なるかと、その注視時間を検出する。

そして、制御部１２６は、特定のオブジェクトを時間ｔ１（例えば、１秒）以上注視していたことを検出した場合には、その特定のオブジェクトに焦点を合わせるための制御信号を生成し、接続部１２５に伝達する。

また、制御部１２６は、特定のオブジェクトを時間ｔ２（例えば、３秒）以上注視していたことを検出した場合には、その特定のオブジェクトにゆっくりとズームインするように、外部撮像カメラ１９０を制御するための制御信号を生成し、接続部１２５に伝達する。

また、制御部１２６は、特定のオブジェクトを時間ｔ３（例えば、５秒）以上注視していたことを検出した場合には、表示部１２１に表示されている３Ｄ動画に基づく２Ｄ動画を、ヘッドマウントディスプレイ１００のメモリ（図示せず）に、録画する。

ここで、時間ｔ１、ｔ２、ｔ３は互いに異なる時間であればよく、その長さに上下関係はない。つまり、時間ｔ１が４秒で時間ｔ２が２秒というように設定されていてもよい。ただ、注視時間が長いほど、特定のオブジェクトに対するユーザの興味の度合が高いことを示すので、注視した時間が長いほど、ユーザにとって特定のオブジェクトについてより理解できるような撮像を行う制御を行うことが好ましい。なお、本実施の形態においては、ｔ３＞ｔ２＞ｔ１を満たすものとする。

また、制御部１２６は、ユーザが特定のオブジェクトを所定時間以上注視していたことを検出した後に、当該特定のオブジェクトから、注視点が離れた（視線方向に関する情報に基づいて特定される注視点と、特定のオブジェクトの表示位置とが重複しなくなった）ことを検出したときには、ゆっくりとズームアウトするように外部撮像カメラ１９０を制御する制御信号を生成し、接続部１２５に伝達する。このとき、制御部１２６は、特定のオブジェクトの録画を行っている場合には、当該録画を注視する。

また、制御部１２６は、撮像部１２４から伝達された撮像画像に基づいて、ユーザの眼の動きを認識する。具体的には、撮像画像に基づいて、ユーザが所定時間内（例えば、１秒以内）に所定回数（例えば、２回）だけ瞼を閉じたことを検出した場合には、制御部１２６は、表示部１２１が表示している３次元映像を２次元画像にしてヘッドマウントディスプレイ１００のメモリ（図示せず）に記録する。３次元映像は、右目用画像と、左目用画像とからなることから、制御部１２６は、右目用画像と左目用画像のうちいずれか一方のみを２次元画像として記録する。

以上がヘッドマウントディスプレイ１００の構成の説明である。

図４に示すように視線検出装置２００は、第２通信部２２０と、視線検出部２２１と、映像生成部２２２と、記憶部２２３とを備える。

第２通信部２２０は、ヘッドマウントディスプレイ１００の第１通信部１１８と通信を実行する機能を有する通信インターフェースである。上述したとおり、第２通信部２２０は、有線通信又は無線通信により第１通信部１１８と通信を実行する。第２通信部２２０は、映像生成部２２２から伝達された仮想空間画像を表示するための画像データや、キャリブレーションのために用いるマーカー画像などをヘッドマウントディスプレイ１００に送信する。また、ヘッドマウントディスプレイ１００から伝達された撮像部１２４により撮像されたマーカー画像を注視するユーザの眼を含む画像や、映像生成部２２２が出力した画像データに基づいて表示された画像を見るユーザの眼を撮像した画像を視線検出部２２１に伝達する。また、第２通信部２２０は、外部撮像カメラ１９０が撮像した映像を、映像生成部２２２に伝達する。

視線検出部２２１は、第２通信部２２０からユーザの右目の視線検出用の画像データを受け付けて、ユーザの右目の視線方向を検出する。視線検出部２２１は、後述する手法を用いて、ユーザの右目の視線方向を示す右目視線ベクトルを算出する。同様に、第２通信部２２０からユーザの左目の視線検出用の画像データを受け付けて、ユーザ３００の左目の視線方向を示す左目視線ベクトルを算出する。そして、算出した視線ベクトルを用いて、ユーザが画像表示素子１０８において表示されている画像の注視している箇所を特定する。また、視線検出部２２１は、算出した視線ベクトルを視線方向に関する情報として、当該視線ベクトルを算出するために用いた撮像画像に対応付けられた撮像時間情報とともに、第２通信部２２０を介してヘッドマウントディスプレイ１００に送信する。なお、視線方向に関する情報は、視線検出部２２１が特定した注視点の情報であってもよい。

映像生成部２２２は、ヘッドマウントディスプレイ１００の表示部１２１に表示させる画像データを生成し、第２通信部２２０に伝達する。映像生成部２２２は、例えば、仮想空間画像を表示するための画像データを生成する。あるいは、映像生成部２２２は、第２通信部２２０から伝達された外部撮像カメラ１９０により撮像された外部映像を加工して画像データを生成する。また、映像生成部２２２は、視線検出のためのキャリブレーションのためのマーカー画像を生成し、その表示座標位置と共に、第２通信部２２０に伝達して、ヘッドマウントディスプレイ１００に送信させる。

記憶部２２３は、視線検出装置２００が動作上必要とする各種プログラムやデータを記憶する記録媒体である。記憶部２２３は、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）などにより実現される。
次に、実施の形態に係る視線方向の検出について説明する。

図５は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し第１通信部１１８が視線検出装置２００に出力した映像を、視線検出装置２００内の視線検出部２２１及び視線検出部２２１が解析することにより実現される。

映像生成部２２２は、図５に示すような点Ｑ_１〜Ｑ_９までの９つの点（マーカー画像）を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。視線検出装置２００は、点Ｑ_１〜点Ｑ_９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ_１〜Ｑ_９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。

図６は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。視線検出装置２００内の視線検出部２２１は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで視線検出部２２１は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。

視線検出部２２１はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線検出部２２１は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得できる。

図５において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ_１〜点Ｑ_９の座標をそれぞれＱ_１（ｘ_１，ｙ_１）^Ｔ，Ｑ_２（ｘ_２，ｙ_２）^Ｔ・・・，Ｑ_９（ｘ_９，ｘ_９）^Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ_１〜点Ｑ_９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ_１〜Ｐ_９とする。このとき、２次元座標系３０６における点Ｐ_１〜Ｐ_９の座標をそれぞれＰ_１（Ｘ_１，Ｙ_１）^Ｔ，Ｐ_２（Ｘ_２，Ｙ_２）^Ｔ，・・・，Ｐ_９（Ｚ_９，Ｙ_９）^Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。

いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。

このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
Ｐ_Ｎ＝ＭＱ_Ｎ （Ｎ＝１，・・・，９） （２）

上記式（２）を具体的に書き下すと以下の式（３）のようになる。

式（３）を変形すると以下の式（４）を得る。

ここで、

とおくと、以下の式（５）を得る。
ｙ＝Ａｘ （５）

式（５）において、ベクトルｙの要素は視線検出部２２１が画像表示素子１０８に表示させる点Ｑ_１〜Ｑ_９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、視線検出部２２１は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。

式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、視線検出部２２１がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。

ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘ_ｏｐｔは、以下の式（６）で求められる。
ｘ_ｏｐｔ＝（Ａ^ＴＡ）^−１Ａ^Ｔｙ （６）
ここで「−１」は逆行列を示す。

視線検出部２２１は、求めたベクトルｘ_ｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２２１は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００の右目が画像表示素子１０８に表示される動画像上のどこを注視しているかを推定できる。ここで、視線検出部２２１は、更に、ユーザの眼と、画像表示素子１０８間の距離情報をヘッドマウントディスプレイ１００から受信し、その距離情報に応じて、推定したユーザが注視している座標値を修正する。なお、ユーザの眼と画像表示素子１０８との間の距離による注視位置の推定のずれは誤差の範囲として無視してもよい。これにより、視線検出部２２１は、画像表示素子１０８上の右目の注視点と、ユーザの右目の角膜の頂点とを結ぶ右目視線ベクトルを算出することができる。同様に、視線検出部２２１は、画像表示素子１０８上の左目の注視点と、ユーザの左目の角膜の頂点とを結ぶ左目視線ベクトルを算出することができる。なお、片目だけの視線ベクトルで２次元平面上でのユーザの注視点を特定することができ、両眼の視線ベクトルを得ることでユーザの注視点の奥行き方向の情報まで算出することができる。視線検出装置２００はこのようにしてユーザの注視点を特定することができる。なお、ここに示した注視点の特定方法は一例であり、本実施の形態に示した以外の手法を用いて、ユーザの注視点を特定してもよい。

＜動作＞
以下、本実施の形態に係る外部撮像システム１の動作を説明する。図７は、外部撮像システム１の動作を示すフローチャートであり、ヘッドマウントディスプレイ１００に接続された外部撮像カメラ１９０による撮像制御の処理を示すフローチャートである。

ヘッドマウントディスプレイ１００は、適時（例えば、０．１秒毎）、ユーザの視線方向を検出するためのユーザの眼を撮像した撮像画像を視線検出装置２００に送信し、視線検出装置２００は、受け取った撮像画像に基づいて視線方向を検出し、その情報をヘッドマウントディスプレイ１００に送信しているものとする。

ヘッドマウントディスプレイ１００の表示部１２１は、視線検出装置２００の映像生成部２２２により生成された画像であって、外部撮像カメラ１９０が撮像した映像に基づく画像を表示する（ステップＳ７０１）。

制御部１２６は、第１通信部１１８から伝達された視線方向に関する情報に基づいて、ユーザの表示部１２１に表示されている画像の注視点を特定する（ステップＳ７０２）。

制御部１２６は、連続して伝達される視線方向に関する情報に基づいて、ユーザが注視している座標を特定する。そして、制御部１２６は、視線方向に関する情報に対応付けられている撮像時間情報に基づいて、ユーザが特定のオブジェクトを所定時間ｔ１以上注視しているか否かを判定する（ステップＳ７０３）。特定のオブジェクトを所定時間ｔ１以上注視していない場合には（ステップＳ７０３のＮＯ）、ステップＳ７１１に移行する。

ユーザが特定のオブジェクトを所定時間ｔ１以上注視していると判定した場合には（ステップＳ７０３のＹＥＳ）、制御部１２６は、外部撮像カメラ１９０が、特定のオブジェクトにフォーカス、すなわち、焦点を合わせるための制御信号を生成し、接続部１２５に伝達する。これにより接続部１２５に接続された外部撮像カメラ１９０による撮像は、当該特定のオブジェクトに焦点を合わせた撮像となる（ステップＳ７０３）。

制御部１２６は、ユーザが特定のオブジェクトを注視して所定時間ｔ２が経過しているか否かを判定する（ステップＳ７０５）。ユーザが特定のオブジェクトを所定時間ｔ２以上注視していないと判定した場合には（ステップＳ７０５のＮＯ）、ステップＳ７０９に移行する。

一方、ユーザが特定のオブジェクトを所定時間ｔ２以上注視していると判定した場合には（ステップＳ７０５のＹＥＳ）、制御部１２６は、ユーザが注視している特定のオブジェクトにズームインする制御信号を生成し、接続部１２５に伝達する。これにより、接続部１２５に接続された外部撮像カメラ１９０による撮像は、当該特定のオブジェクトにゆっくりとズームインするように撮像を行う（ステップＳ７０６）。

次に、制御部１２６は、ユーザが特定のオブジェクトを所定時間ｔ３以上注視しているか否かを判定する（ステップＳ７０７）。ユーザが特定のオブジェクトを所定時間ｔ３以上注視していないと判定した場合には（ステップＳ７０７）、ステップＳ７０９に移行する。

ユーザが特定のオブジェクトを所定時間ｔ３以上注視していると判定した場合には（ステップＳ７０７のＹＥＳ）、制御部１２６は、表示部１２１に表示されている３Ｄ動画を２Ｄ動画として録画処理を開始する（ステップＳ７０８）。

その後に、制御部１２６は、ユーザの注視点が特定のオブジェクトから離れたか否かを判定する（ステップＳ７０９）。ユーザの注視点が特定のオブジェクトから離れたと判定した場合には（ステップＳ７０９のＹＥＳ）、制御部１２６は、２Ｄ動画の録画を行っていた場合には録画を終了するとともに、外部撮像カメラ１９０による撮像が、特定のオブジェクトからゆっくりとズームアウトする撮像となるための制御信号を生成し、接続部１２５に伝達する（ステップＳ７１０）。これにより、外部撮像カメラ１９０は、特定のオブジェクトからゆっくりとズームアウトしながら、撮像を行う。そして、ステップＳ７１３に移行する。

ステップＳ７０３において、ユーザが特定のオブジェクトを所定時間ｔ１以上注視していないと判定した場合には（ステップＳ７０３のＮＯ）、制御部１２６は、撮像部１２４が撮像している画像に基づいて、ユーザが所定時間内に瞼を２回閉じたか否かを判定する（ステップＳ７１１）。所定時間内に瞼を２回閉じていないと判定した場合には（ステップＳ７１１のＮＯ）、ステップＳ７１３の処理に移行する。

所定時間内に瞼を２回閉じたと判定した場合には（ステップＳ７１１のＹＥＳ）、制御部１２６は、表示部１２１に表示されている３Ｄ動画に基づく２Ｄ静止画を生成し、メモリに保存する。

制御部１２６は、ユーザがヘッドマウントディスプレイ１００の表示部１２１への表示終了入力を行ったか否かを判定する（ステップＳ７１３）。表示終了入力を受け付けていない場合には（ステップＳ７１３のＮＯ）、ステップＳ７０１に戻り、表示終了入力を受け付けている場合には（ステップＳ７１３のＹＥＳ）、処理を終了する。

これにより、外部撮像システム１は、ユーザの視線に基づいて、外部撮像カメラ１９０を制御して撮像を行うことができる。
＜まとめ＞

上述のように、本発明に係る外部撮像システム１は、ユーザの視線方向と注視時間に応じて、ヘッドマウントディスプレイ１００に接続された外部撮像カメラ１９０の撮影を制御することができる。例えば、所定時間以上、特定のオブジェクトをユーザが注視していた場合に、そのオブジェクトにオートフォーカスするといった制御を行うことができる。したがって、ユーザは視線だけで撮影の制御を行うことができるので、ヘッドマウントディスプレイ１００を使用した操作の自由度を向上させることができる。

＜補足＞
本発明に係る外部撮像システムは、上記実施の形態に限定されるものではなく、その発明の思想を実現するための他の手法により実現されてもよいことは言うまでもない。以下、その他、本発明の思想として含み得る実施例について説明する。

（１）上記実施の形態に示した外部撮像カメラ１９０の制御手法は一例であり、制御部１２６は、ユーザの視線方向と、その注視時間に応じて、外部撮像カメラ１９０による撮像制御を行っていれば、その他の制御を行ってもよいことは言うまでもない。

（２）上記実施の形態には特に記載していないが、外部撮像システム１は、更にユーザが操作可能なコントローラを取り付けて、ユーザの視線方向と組み合わせて、より細かな外部撮像カメラ１９０の制御を行うこととしてもよい。

（３）上記実施の形態における視線検出に係る手法は、一例であり、上記ヘッドマウントディスプレイ１００及び視線検出装置２００による視線検出方法は、これに限られるものではない。

まず、上記実施の形態においては、非可視光として近赤外光を照射する赤外光源を複数設ける例を示しているが、近赤外光をユーザの眼に照射する手法はこれに限られない。例えば、ヘッドマウントディスプレイ１００の画像表示素子１０８を構成する画素について、近赤外光を発光するサブ画素を有する画素を設ける構成とし、それらの近赤外光を発光するサブ画素を選択的に発光させて、ユーザの眼に近赤外光を照射することとしてもよい。また、あるいは、画像表示素子１０８に換えて、ヘッドマウントディスプレイ１００に網膜投影ディスプレイを備えるとともに、当該網膜投影ディスプレイで表示して、ユーザの網膜に投影する画像の中に、近赤外光色で発光する画素を含ませることで、近赤外光の照射を実現する構成としてもよい。画像表示素子１０８の場合にしても、網膜投影ディスプレイの場合にしても、近赤外光を発光させるサブ画素は、定期的に変更することとしてもよい。なお、画像表示素子１０８にサブ画素として近赤外光を発光するサブ画素を設ける場合や網膜投影ディスプレイに近赤外光の画素を含ませる場合には、上記実施の形態におけるホットミラー１１２は不要となる。

また、上記実施の形態において示した視線検出のアルゴリズムも上記実施の形態に示した手法に限定されるものではなく、視線検出を実現できるのであれば、その他のアルゴリズムを用いてもよい。

（４）上記実施の形態において、ステップＳ７０８で録画した２Ｄ動画や、ステップＳ７１０で撮像して静止画は、視線検出装置２００に送信されて、視線検出装置２００の記憶部２２３に記憶されてもよい。

（５）上記実施の形態における外部撮像カメラ１９０は、ギアモータにより、上下左右に回動自在にヘッドマウントディスプレイ１００に取り付けられることとしてもよい。そして、制御部１２６は、ユーザの視線方向に応じて、外部撮像カメラ１９０の撮像方向を制御することとしてもよい。

（６）また、上記実施の形態においては、ヘッドマウントディスプレイ１００に接続された外部撮像カメラの制御を、ヘッドマウントディスプレイ１００及び視線検出装置２００のプロセッサが外部撮像プログラム等を実行することにより、実現することとしているが、これは視線検出装置２００に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。すなわち、図８に示すように、ヘッドマウントディスプレイ１００は、第１通信回路１１８ａと、第１表示回路１２１ａと、赤外光照射回路１２２ａと、画像処理回路１２３ａと、撮像回路１２４ａ、接続回路１２５ａと、制御回路１２６ａとから構成されてよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。また、視線検出装置２００は、第２通信回路２２０ａと、視線検出回路２２１ａと、映像生成回路２２２ａと、記憶回路２２３ａとから構成されてよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。

また、上記外部撮像プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記外部撮像プログラムは、当該外部撮像プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記外部撮像プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記視線検出プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語などを用いて実装できる。

（７）上記実施の形態に示した構成並びに各（補足）を適宜組み合わせることとしてもよい。

この発明は、ヘッドマウントディスプレイに利用可能である。

１ 外部撮像システム、 １００ ヘッドマウントディスプレイ、 １０３ａ 赤外光源（第２赤外光照射部）、 １０３ｂ 赤外光源（第１赤外光照射部）、 １０５ 輝点、 １０８ 画像表示素子、 １１２ ホットミラー、 １１４，１１４ａ，１１４ｂ 凸レンズ、 １１６ カメラ、 １１８ 第１通信部、 １２１ 表示部、 １２２ 赤外光照射部、 １２３ 画像処理部、 １２４ 撮像部、 １２５ 接続部、 １２６ 制御部、 １３０ 画像表示系、 １５０ 筐体、 １５２ａ，１５２ｂ レンズ保持部、 １６０ 装着具、 １７０ ヘッドフォン、 ２００ 視線検出装置、 ２２０ 第２通信部、 ２２１ 視線検出部、 ２２２ 映像生成部、 ２２３ 記憶部。

Claims (8)

1. ヘッドマウントディスプレイと、視線検出装置とからなる外部撮像システムであって、
   前記ヘッドマウントディスプレイは、
   ユーザの眼に非可視光を照射する照射部と、
   前記照射部が照射しているユーザの眼を含む画像を非可視光に基づいて撮像する撮像部と、
   前記撮像部が撮像した撮像画像と当該撮像画像を撮像した撮像時間を示す撮像時間情報を前記視線検出装置に送信する第１送信部と、
   前記視線検出装置から、ユーザの視線方向に関する情報を受信する第１受信部と、
   外部撮像カメラと接続する接続部と、
   前記外部撮像カメラにより撮像された映像に基づく画像を表示する表示部と、
   前記外部撮像カメラを制御する制御部とを備え、
   前記視線検出装置は、
   前記撮像画像と前記撮像時間情報とを受信する第２受信部と、
   前記撮像画像を解析して前記ユーザの視線方向を検出する視線検出部と、
   検出した視線方向に関する情報と前記視線方向を検出するのに用いた撮像画像の撮像時間とを対応付けて前記ヘッドマウントディスプレイに送信する第２送信部とを備え、
   前記制御部は、複数の前記視線方向に関する情報及び当該視線方向に対応付けられた撮像時間から算出されるユーザの注視時間に基づいて前記外部撮像カメラによる撮像の制御を実行する
   ことを特徴とする外部撮像システム。
2. 前記制御部は、前記表示部に表示された特定のオブジェクトを所定時間ｔ１以上注視していることを検出した場合に、前記特定のオブジェクトに焦点を合わせるように前記外部撮像カメラを制御することを特徴とする請求項１に記載の外部撮像システム。
3. 前記制御部は、前記表示部に表示された特定のオブジェクトを所定時間ｔ２以上注視していることを検出した場合に、前記特定のオブジェクトにズームインするように前記外部撮像カメラを制御することを特徴とする請求項１又は２に記載の外部撮像システム。
4. 前記外部撮像システムは、さらに、前記表示部に表示された特定のオブジェクトを所定時間ｔ３以上注視していることを検出した場合に、前記外部撮像カメラにより撮像される映像を録画する録画部を備えることを特徴とする請求項１〜３のいずれか１項に記載の外部撮像システム。
5. 前記制御部は、前記視線方向に関する情報で示される視線方向が前記特定のオブジェクトから離れたことを示す場合に、前記特定のオブジェクトからズームアウトするように前記外部撮像カメラを制御することを特徴とする請求項２〜４のいずれか１項に記載の外部撮像システム。
6. 前記外部撮像システムは、さらに、
   前記撮像部が撮像した映像からユーザが瞼を所定時間内に２回閉じたことを検出した場合には、前記外部撮像カメラが撮像した映像に基づいて静止画を生成する生成部を備えることを特徴とする請求項１〜５のいずれか１項に記載の外部撮像システム。
7. 外部を撮像する外部撮像カメラが着脱可能に接続されたヘッドマウントディスプレイと、視線検出装置とからなる外部撮像システムによる外部映像を撮像する外部撮像方法であって、
   前記外部撮像カメラにより撮像された映像に基づく画像を表示部に表示する表示ステップと、
   前記ヘッドマウントディスプレイがユーザの眼に非可視光を照射する照射ステップと、
   前記ヘッドマウントディスプレイが、前記非可視光が照射されているユーザの眼を含む画像を非可視光に基づいて撮像する撮像ステップと、
   前記ヘッドマウントディスプレイが撮像した撮像画像と当該撮像画像を撮像した撮像時間を示す撮像時間情報を前記視線検出装置に送信する第１送信ステップと、
   前記視線検出装置が、前記撮像画像と、前記撮像時間情報とを受信する第１受信ステップと、
   前記視線検出装置が、前記撮像画像を解析して前記ユーザの視線方向を検出する視線検出ステップと、
   前記視線検出装置が、検出した視線方向に関する情報と当該視線方向を検出するのに用いた撮像画像の撮像時間とを対応付けて前記ヘッドマウントディスプレイに送信する第２送信ステップと、
   前記ヘッドマウントディスプレイが、複数の前記視線方向に関する情報及び当該視線方向に対応付けられた撮像時間から算出されるユーザの注視時間に基づいて前記外部撮像カメラによる撮像の制御を実行する制御ステップとを含む外部撮像方法。
8. 外部を撮像する外部撮像カメラが着脱可能に接続されたヘッドマウントディスプレイと、視線検出装置とからなる外部撮像システムにおいて前記ヘッドマウントディスプレイに外部映像を撮像させる外部撮像プログラムであって、
   前記ヘッドマウントディスプレイのコンピュータに、
   前記外部撮像カメラにより撮像された映像に基づく画像を表示部に表示させる表示機能と、
   前記ヘッドマウントディスプレイにユーザの眼に非可視光を照射させる照射機能と、
   前記非可視光が照射されているユーザの眼を含む画像を非可視光に基づいて撮像する撮像機能と、
   前記撮像した撮像画像と、当該撮像画像を撮像した撮像時間を示す撮像時間情報とを、前記視線検出装置に送信させる送信機能と、
   前記視線検出装置から、撮像画像に基づいて前記視線検出装置により検出された視線方向に関する情報と、当該検出に用いた画像が撮像された撮像時間とを受信する受信機能と、
   複数の前記視線方向に関する情報及び当該視線方向に対応付けられた撮像時間から算出されるユーザの注視時間に基づいて前記外部撮像カメラによる撮像の制御を実行する制御機能を実現させる外部撮像プログラム。

Images