JP2024023752A - データ生成装置、映像システム、及びデータ生成方法 - Google Patents

Abstract

【課題】ユーザに対し正確な三次元画像を提供するためのデータを容易に生成するデータ生成装置と、そのようなデータを利用可能な映像システムを提供する。【解決手段】本発明に係るデータ生成装置は、眼を可視光及び赤外光で撮影して第１可視光撮影画像及び第１赤外撮影画像の対を取得する画像対取得部と、前記第１可視光撮影画像及び前記第１赤外撮影画像の特徴を比較して、前記第１可視光撮影画像及び前記第１赤外撮影画像の関係を示す特徴量を取得し、学習済みモデルを生成する機械学習部とを備える。【選択図】図１

Description

本発明は、ヘッドマウントディスプレイ等の映像システムにおいて使用され得るデータ
を生成するためのデータ生成装置、映像システム、及びデータ生成方法に関する。

現在、ゲームや映像において仮想現実（ＶＲ）を提供するため、立体画像を提供するこ
とが可能なヘッドマウントディスプレイの普及が加速している。ヘッドマウントディスプ
レイは、ユーザの頭部を覆う筐体の内部においてユーザに対し立体画像を提供する映像提
供装置である。このようなヘッドマウントディスプレイにおいては、ユーザの視線方向を
検出する視線検出器を設け、その視線方向の映像のみを高解像度化するなど、立体画像を
変化させるように構成された装置も知られている（例えば、特許文献１参照）。

ヘッドマウントディスプレイにおけるユーザの視線の検出は、ユーザに眩しさを感じさ
せないように、赤外光を眼に照射し、赤外光で照射された眼の画像（赤外画像）の瞳孔等
の位置を検出することにより行われる。このとき、赤外光を照射して得られた画像と視線
方向との関係を正確に把握するためには、多数の眼の赤外光画像データを収集・分析し、
その分析の結果を視線方向の演算に反映させることが必要である。しかし、眼の動作をシ
ミュレートするシミュレータは、可視光画像を対象としており、赤外画像を分析の対象と
するシミュレータは存在しない。このため、多数の眼の赤外光画像データを取得し、ヘッ
ドマウントディスプレイにおける視線検出等に用いることは困難であった。

特開２００１－１３４３７１号公報

本発明は、多数の眼の赤外光画像のデータの収集を容易にするデータ生成装置と、その
ようなデータを利用可能な映像システム及びデータ生成方法を提供するものである。

上記の課題を解決するため、本発明に係るデータ生成装置は、眼を可視光及び赤外光で
撮影して第１可視光撮影画像及び第１赤外撮影画像の対を取得する画像対取得部と、前記
第１可視光撮影画像及び前記第１赤外撮影画像の関係を示す特徴量を取得し、学習済みモ
デルを生成する機械学習部とを備える。

また、本発明に係る映像システムは、赤外光を照射してユーザの視線の方向を検出する
視線検出部と、可視光で撮像された眼の可視光撮影画像の特徴量と、赤外光で撮像された
同一の眼についての赤外撮影画像との特徴量とに基づいて生成される学習済みモデルを記
憶する学習済みモデル記憶部とを備え、前記視線検出部は、前記赤外光を照射して得られ
た赤外画像と、前記学習済みモデルとに従い、前記視線の方向を検出するよう構成される
。

また、本発明に係るデータ生成方法は、眼を可視光及び赤外光で撮影して第１可視光撮
影画像及び第１赤外撮影画像の対を取得するステップと、前記第１可視光撮影画像及び前
記第１赤外撮影画像の関係を示す特徴量を取得して学習済みモデルを生成するステップと
前記第１可視光撮影画像とは別の可視光画像を入力させるステップと、前記可視光画像及
び前記学習済みモデルに基づいて赤外画像を生成するステップと、を備える。

本発明によれば、多数の眼の赤外光画像のデータの収集を容易にするデータ生成装置と
、そのようなデータを利用可能な映像システムを提供することができる。

第１の実施の形態に係るデータ生成装置１を説明する概略図である。 機械学習部１６における学習済みモデルの生成手順、及び赤外画像Ｒｏの生 成手順を説明する概念図である。 機械学習部１６における特徴量の算出の手順の一例を説明する概念図である 。 赤外画像生成部１８において、可視光画像Ｖｏに基づいて赤外画像Ｒｏを生 成する方法の一例を説明する概念図である。 第２の実施の形態に係るデータ生成装置１を説明する概略図である。 第２の実施の形態の機械学習部１６における学習済みモデルの生成手順、及 び赤外画像Ｒｏの生成手順を説明する概念図である。 映像システム２の概観を示す模式図である。 筐体１１０が収容する画像提示部１４０の構成を模式的に示す斜視図である 。 筐体１１０が収容する画像提示部１４０の構成を模式的に示す側面図である 。 映像システム２を構成するヘッドマウントディスプレイ１００と映像再生 装置２００の主要部の構成を示すブロック図である。 変形例を示す概略図である。

以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ
要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形
態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を
限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎ
ず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない
。

本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが
、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・
構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以
降の記述をこれに限定して解釈してはならない。

[第１の実施の形態]
図１を参照して、第１の実施の形態に係るデータ生成装置１を説明する。このデータ生
成装置１は、撮像装置１１と、ＣＰＵ１２と、可視光撮影画像記憶部１３と、赤外撮影画
像記憶部１４と、可視光画像入力部１５と、機械学習部１６と、学習済みモデル記憶部１
７と、赤外画像生成部１８とを備える。

撮像装置１１は、撮影対象である眼Ｅを可視光及び赤外光にてそれぞれ撮影して可視光
撮影画像Ｖｊ（第１可視光撮影画像）及び赤外撮影画像Ｒｊ（第１赤外撮影画像）の対を
取得するための画像対取得部である。後述するように、可視光撮影画像と赤外撮影画像と
を同一の眼について取得し、特徴量を比較することで、赤外光で視線検出を行うヘッドマ
ウントディスプレイ等の映像システムにおいて有用なデータを収集することが可能になる
。

撮像装置１１は、一例として、可視光光源１００１と、赤外光光源１００２と、対物レ
ンズ１００３と、ダイクロイックミラー１００４と、結像レンズ１００５と、可視画像カ
メラ１００６と、結像レンズ１００７と、赤外カメラ１００８とを備える。

可視光光源１００１は、可視光撮影のための可視光を発する光源であり、例えば３６０
～７８０ｎｍの波長の全領域又はその一部の波長を成分として含む光を照射する。カラー
撮影のためには、上述の波長域の全領域又は大部分の波長成分を有する光とすることが好
ましい。波長域に関しては、目的とする撮像が可能であれば、上記波長域のうちの特定の
波長域に限定されていてもよい。一方、赤外光光源１００２は、赤外光撮影のための赤外
光を発する光源であり、例えば７８０～２５００ｎｍ程度の波長を有する光を照射する。

対物レンズ１００３は、撮影対象の眼Ｅの前に配置され、眼Ｅからの光を集光させる機
能を有する。眼Ｅから出て対物レンズ１００３で集光された光は、ダイクロイックミラー
１００４で反射又は透過して結像レンズ１００５又は１００７に入射し、可視画像カメラ
１００６又は赤外カメラ１００８に入射する。ダイクロイックミラー１００４は、赤外光
を反射し、可視光を透過させる性質を有する。

ＣＰＵ１２は、データ生成装置１における全体の制御を司る演算制御部の一例である。
ＣＰＵ１２に代えて、ＧＰＵ（Graphics Processing Unit）を採用することも可能である
。また、可視光撮影画像記憶部１３、及び赤外撮影画像記憶部１４は、撮像装置１１で撮
影された可視光撮影画像、及び赤外撮影画像を記憶する記憶部である。撮像装置１１で撮
影された同一の眼Ｅについての可視光撮影画像及び赤外撮影画像は、例えばシリアル番号
によって関連付けられて対の画像データとして保存される。関連付けの手法は、シリアル
番号に限定されるものではなく、例えば保存場所のアドレスを同一にすることにより関連
付けを行っても良い。

可視光画像入力部１５は、撮像装置１１とは別に、眼の可視光画像を入力するためのデ
ータ入力部である。可視光画像入力部１５は、眼の画像を入力する部分ではあるが、撮像
装置１１とは異なり、可視光撮影画像と赤外撮影画像との対を入力するものではなく、可
視光撮影画像のみを入力する部分である。入力された可視光撮影画像は、後述するように
赤外画像生成部１８に基づいて赤外画像を生成するための元データとされる。可視光画像
入力部１５は、例えば単にネットワークに接続されて外部から眼の画像を入力可能なイン
タフェースであってもよいし、撮像装置１１とは別のカメラ等であってもよい。

機械学習部１６は、図２に示すように、撮像装置１１により得られた可視光撮影画像Ｖ
ｊと赤外撮影画像Ｒｊとの画像対ＥＰｊ（ｊ＝１～ｎ）を、所定の画像解析手法を用いて
解析する。そして、機械学習部１６は、その解析結果に基づいて可視光撮影画像、赤外撮
影画像のそれぞれについて特徴量Ｆｖｊ、Ｆｒｊを算出し、更に２つの特徴量の差ΔＦ（
＝Ｆｖｊ－Ｆｒｊ）を算出する。機械学習部１６は、この特徴量の差ΔＦのデータを収集
し、可視光撮影画像と赤外撮影画像の特徴量の差に関する学習済みモデルを生成し、学習
済みモデル記憶部１７に記憶させる。

同一の眼Ｅから得られた可視光撮影画像Ｖｊと赤外撮影画像Ｒｊであっても、可視光と
赤外光との波長の差により、可視光撮影画像Ｖｊと赤外撮影画像Ｒｊは異なる特徴量を有
する。機械学習部１６は、この特徴量の差ΔＦを画像対ＥＰｊのそれぞれに関し収集し、
この差ΔＦに基づいて学習済みモデルを生成する。特徴量の差ΔＦは、可視光撮影画像Ｖ
ｊと赤外撮影画像Ｒｊとの関係を示す特徴量の一例である。

人間の眼は、眼球の色、瞳孔の大きさ、眼の長さ、高さ、縦横比、白目部分の色、肌の
色、睫毛の長さなどにおいて異なり、これらも特徴量に影響を与える。このため、このデ
ータ生成装置１では、撮像装置１１により少なくとも数十人程度の眼の撮像を行って可視
光撮影画像Ｖｊと赤外撮影画像Ｒｊとの対を取得し、可視光撮影画像と赤外撮影画像との
間の特徴量の差Ｆのデータを収集する。収集させた特徴量の差のデータ群は、機械学習部
１６において機械学習の対象とされる。

特徴量の算出の一例を、図３を参照して説明する。ここでは、一例として、局所画像特
徴量の算出方法として周知のＳＩＦＴ（Scaled In variance Feature Transform）を用い
て可視光撮影画像Ｖｊ、赤外撮影画像Ｒｊの特徴量を算出する場合を説明する。ＳＩＦＴ
はあくまでも一例であり、他の特徴量抽出方法を用いてもよいことは言うまでもない。

可視光撮影画像Ｖｊ、赤外撮影画像Ｒｊが得られると、まず特徴点の検出が行われる。
例えば、図３に示すように、可視光撮影画像Ｖｊにおいて、眼の瞳孔のエッジ上の特徴点
Ｐｃ１～Ｐｃ４、黒目と白目の境界上の特徴点Ｂｃ１～Ｂｃ６、及び瞼の境界上の特徴点
Ｌｃ１～Ｌｃ４などが検出される。また、赤外撮影画像Ｒｊにおいて、眼の瞳孔のエッジ
上の特徴点Ｐｉ１～Ｐｉ４、黒目と白目の境界上の特徴点Ｂｉ１～Ｂｉ６、及び瞼の境界
上の特徴点Ｌｉ１～Ｌｉ４が検出される。特徴点は、一例として原画像に対し繰り返しガ
ウシアン平滑化を行い、その差分画像を取得し、差分画像の変化の極大を検索することで
検出することができる。

特徴点が検出されたら、それぞれの特徴点の周囲の勾配情報を取得し特徴量として算出
する。そして、これらの特徴点の特徴量の集合を、それぞれの画像の特徴量Ｆｖｊ、Ｆr
ｊとして算出し、さらに両者の差ΔＦを算出する。

このようにして、複数の眼Ｅｊ（ｊ＝１～ｎ）について、可視光撮影画像Ｖｊと赤外撮
影画像Ｒｊとが得られ、それぞれについて特徴量Ｆｖｊ、Ｆｒｊ、差ΔＦのデータの集合
が得られると、これらのデータにより、どのような眼において、どのような特徴量の差Δ
Ｆが得られる傾向にあるかを示す学習済みモデルが機械学習部１６における機械学習の結
果として得られる。この学習済みモデルは、学習済みモデル記憶部１７に記憶される。

学習済みモデルは、多数の眼Ｅについて可視光撮影画像Ｖｊと赤外撮影画像Ｒｊを得て
、それぞれ特徴量を算出することで、より正確なものとなり得る。ただし、ヘッドマウン
トディスプレイの潜在的なユーザのすべての対応するためには、数千、数万のデータ対が
必要となるが、そのような多数の眼について撮像装置１１からデータ取得することは、可
能ではあるが、長い時間とコストを必要とする。

そこで、この第１の実施の形態のデータ生成装置では、図２に示すように、撮像装置１
１において複数の眼Ｅについて可視光撮影画像Ｖｊと赤外撮影画像Ｒｊの画像対ＥＰｊを
得てこれに基づいて学習済みモデルを生成した後、撮像装置１１とは別に得られた可視光
画像Ｖｏを可視光画像入力部１５から入力させる。そして、更にこの可視光撮影画像Ｖｏ
を機械学習部１６に入力させる。機械学習部１６は、この新たに入力された可視光画像Ｖ
ｏの特徴量Ｆｏを算出し、赤外画像生成部１８は、その特徴量Ｆｏと、学習済みモデル記
憶部１７に記憶された学習済みモデルとに基づいて、対応する赤外画像Ｒｏを生成する。
入力された可視光画像Ｖｏと、生成された赤外画像Ｒｏとは、撮像装置１１で撮像された
可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの画像対ＥＰｊと同様に取り扱われ、学習済み
モデルを更新（再構成）するためのデータとしても用いられる。

図４の概念図を参照して、可視光画像Ｖｏに基づいて赤外画像Ｖｏを生成する方法を説
明する。図４において、黒丸の点と白丸の点は、それぞれ、撮像装置１１により得られた
可視光撮影画像Ｖｊと赤外撮影画像Ｒｊを示している。図４の左側の図のように、複数の
可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの対のデータである画像対ＥＰｊが多数取得さ
れる。撮像装置１１で撮像された画像対ＥＰｊが数十個～数百個得られると、これに基づ
いて機械学習部１６において学習済みモデルＭ１が生成される。

その後、可視光画像Ｖｏが可視光画像入力部１５から別途得られると、機械学習部１６
は、その可視光画像Ｖｏの特徴量Ｆｏを算出するとともに、その特徴量Ｆｏと近似した特
徴量を有する可視光撮影画像Ｖｊａｄを学習済みモデルＭ１の生成に使われた画像対ＥＰ
ｊの中から抽出し、さらにこれに対応する赤外撮影画像Ｒｊａｄを抽出する。ここで、抽
出される可視光撮影画像Ｖｊａｄ、赤外撮影画像Ｒｊａｄは１組でもよいし、複数組とす
ることも可能である。ここでは、説明の簡略化のため、１つであるとして説明をする。

赤外画像生成部１８は、抽出された可視光撮影画像Ｖｊａｄと赤外撮影画像Ｒｊａｄと
の間の特徴量の差ΔＦａｄに基づき、赤外画像Ｒｏを生成する。すなわち、可視光画像Ｖ
ｏと赤外画像Ｒｏとの間の特徴量の差ΔＦｏが、上述の特徴量ΔＦａｄと同一又は近似し
た値となるように、赤外画像Ｒｏを決定する。こうして、可視光画像Ｖｏと赤外画像Ｒｏ
との組み合わせに基づき、機械学習部１６において新たな学習済みモデルＭ１’が再構成
される。このようにして生成された可視光画像Ｖｏと赤外画像Ｒｏは、それぞれ可視光撮
影画像記憶部１３及び赤外撮影画像記憶部１４に記憶される。記憶させる場合、両画像デ
ータには、両者を紐付けするためのデータ（シリアル番号等）が付加される。

以上説明したように、この第１の実施の形態のデータ生成装置によれば、複数の眼につ
いて可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの画像対ＥＰｊを取得し、この画像対ＥＰ
ｊに基づいて、可視光撮影画像Ｖｊ及び赤外撮影画像Ｒｊの関係を示す特徴量の差ΔＦを
取得する。この差ΔＦの集合に基づき、学習済みモデルが生成される。

また、この第１の実施の形態によれば、撮像装置１１の撮影により得られた画像対ＥＰ
ｊだけでなく、撮像装置１１とは別に得られた可視光画像Ｖｏを入力させ、この入力され
た可視光画像Ｖｏに対応する赤外画像Ｒｏを、得られた学習済みモデルから推定すること
ができる。このようにして得られた可視光画像Ｖｏと赤外画像Ｒｏの画像対を用いて、学
習済みモデルを再構築（補正）することができる。後述するように、生成された可視光画
像Ｖｏと赤外画像Ｒｏの画像対は、撮像された画像対ＥＰｉと同様に、ヘッドマウントデ
ィスプレイ等の映像システムにおいて、視線検出に用いられ得る。

［第２の実施の形態］
図５を参照して、第２の実施の形態に係るデータ生成装置１を説明する。図５において
、図１と同一の構成要素については同一の参照符号を付しているので、以下では重複する
説明は省略する。この第２の実施の形態のデータ生成装置１は、第１の実施の形態の構成
要素に加え、属性情報記憶部１９、及び属性情報入力部２０を更に備えている。

属性情報記憶部１９は、撮像装置１１で撮像されて可視光撮影画像記憶部１３に入力さ
れた可視光撮影画像Ｖｊについての属性情報（例えば、眼の色、肌の色、眼の幅、高さ、
角膜の曲率、病歴、その他）を記憶するための記憶部である。この属性情報は、撮像装置
１１から供給されても良いし、図示しない通信部から受領されてもよいし、入力の手法は
不問である。この属性情報は、機械学習部１６において、可視光撮影画像Ｖｊ及び赤外撮
影画像Ｒｊと共に、機械学習のための元データとして用いられる。可視光撮影画像Ｖｊだ
けでなく、属性情報も関連付けて学習データとすることにより、より撮影対象とされた眼
Ｅの特性を正確に反映した学習が可能になる。

また、この第２の実施の形態は、可視光画像入力部１５から入力される可視光画像Ｖｏ
の属性情報を入力するための属性情報入力部２０も有している。この属性情報入力部２０
から入力される属性情報は、可視光画像Ｖｏと共に、赤外画像生成部１８において、可視
光画像Ｖｏと対になる赤外画像Ｒｏを生成するために用いられる。赤外画像Ｒｏの生成に
おいて属性情報が入力データとして使用されることにより、より可視光画像Ｖｏの特徴を
反映して赤外画像Ｒｏを生成することができる。

機械学習部１６は、図６に示すように、得られた可視光撮影画像Ｖｊと赤外撮影画像Ｒ
ｊとの画像対ＥＰｊ（ｊ＝１～ｎ）を、所定の画像解析手法を用いて解析し、可視光撮影
画像、赤外撮影画像のそれぞれについて特徴量Ｆｖｊ、Ｆｒｊを算出し、更に２つの特徴
量の差ΔＦ（＝Ｆｖｊ－Ｆｒｊ）を算出する。機械学習部１６は、この特徴量の差ΔＦの
データと対応する属性情報とを関連付けて収集し、可視光撮影画像Ｖｊと赤外撮影画像Ｒ
ｊの特徴量の差、及び属性情報に関する学習済みモデルを生成し、学習済みモデル記憶部
１７に記憶させる。

また、学習済みモデルを生成した後、撮像装置１１とは別に得られた可視光画像Ｖｏを
可視光画像入力部１５から入力させるとともに、その属性情報も属性情報入力部２０から
入力させる。機械学習部１６は、この新たに入力された可視光画像Ｖｏの特徴量を算出す
るとともに、その属性情報も分析する。赤外画像生成部１８は、その特徴量、学習済みモ
デル、及び可視光画像Ｖｏの属性情報に基づいて、対応する赤外画像Ｒｏを生成する。入
力された可視光画像Ｖｏと、生成された赤外画像Ｒｏとは、撮像装置１１で撮像された可
視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの画像対ＥＰｊと同様に取り扱われ、学習済みモ
デルを更新するためのデータとしても用いられる。

以上説明したように、第２の実施の形態によれば、第１の実施の形態と同一の効果を得
ることができるとともに、更に属性情報を学習済みモデルの生成に用いることで、より眼
の特性を正確に反映して学習済みモデルを生成することができる。

[学習済みモデルの利用形態]
上述したように、上記実施の形態のデータ生成装置１で生成されたデータ（学習済みモ
デル）は、ヘッドマウントディスプレイ等の映像システム、特に視線検出装置を有する映
像システムにおいて有効に利用することができる。

図７は、映像システム２の概観を模式的に示す図である。実施の形態に係る映像システ
ム２は、ヘッドマウントディスプレイ１００と映像再生装置２００とを含む。図１に示す
ように、ヘッドマウントディスプレイ１００は、ユーザの頭部に装着して使用される遮蔽
型のヘッドマウントディスプレイであり得る。

映像再生装置２００は、ヘッドマウントディスプレイ１００が表示する映像データを生
成し、ヘッドマウントディスプレイ１００に有線又は無線通信により送信する。一例とし
て、映像再生装置２００は、据え置き型のゲーム機、携帯ゲーム機、パソコン、タブレッ
ト端末、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生するこ
とができる装置である。映像再生装置２００とヘッドマウントディスプレイ１００との無
線接続は、例えば既知のＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤
外線通信等の無線通信技術を用いて実現できる。また、ヘッドマウントディスプレイ１０
０と映像再生装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）、Ｗｉ
Ｇｉｇ（商標）、ＷＨＤＩ（商標）、又はイーサネット（商標）等の規格に則って実行さ
れる。映像再生装置２００はヘッドマウントディスプレイ１００と一体に構成されるか、
ヘッドマウントディスプレイ１００に内蔵されてもよい。

ヘッドマウントディスプレイ１００は、筐体１１０、頭部固定部１２０、及びヘッドフ
ォン１３０を備える。筐体１１０は、後述するように、ディスプレイ、伝送モジュール、
各種センサを収容する。頭部固定部１２０は、ヘッドマウントディスプレイ１００をユー
ザの頭部に装着する部材である。ヘッドフォン１３０は、映像再生装置２００が再生する
映像の音声を出力する。

図８は、筐体１１０が収容する画像提示部１４０の構成を模式的に示す斜視図であり、
図９はその側面図である。提示部１４０は、赤外光源１４１、画像表示部１４２、ホット
ミラー１４３、凸レンズ１４４、カメラ１４５、および画像出力部１４６を備える。

赤外光源１４１は、視線検出装置のための光源であって、近赤外（７８０ｎｍ～２５０
０ｎｍ程度）の波長帯域の光を照射可能な光源である。画像表示部１４２は、ユーザに提
示するための画像を表示するディスプレイである。画像表示部１４２が表示する画像は、
映像再生装置２００内図示しないＧＰＵ（Graphic Processing Unit）が生成する。画像
表示部１４２は、例えば既知の液晶ディスプレイや有機ＥＬディスプレイを用いて実現で
きる。

ホットミラー１４３は、ユーザがヘッドマウントディスプレイ１００を装着したときに
、画像表示部１４２とユーザの眼ＥＬ、ＥＲとの間に配置される。ホットミラー１４３は
、画像表示部１４２が発する可視光は透過する一方、近赤外光は反射する特性を有する。

凸レンズ１４４は、ホットミラー１４３に対して、画像表示部１４２の反対側に配置さ
れる。換言すれば、凸レンズ１４４は、ユーザがヘッドマウントディスプレイ１００を装
着したときに、ホットミラー１４３とユーザの眼ＥＬ、ＥＲとの間に配置される。凸レン
ズ１４４はホットミラー１４３を透過する画像表示のための光を集光する。

赤外光源１４１からユーザの眼ＥＬ、ＥＲに到達した赤外光は、眼ＥＬ、ＥＲで反射さ
れ、再び凸レンズ１４４の方向に向かう。凸レンズ１４４を透過した赤外光は、ホットミ
ラー１４３で反射される。カメラ１４５は逆に可視光を遮断するフィルタ（図示せず）を
備えており、ホットミラー１４３で反射された近赤外光を撮像する。すなわち、カメラ１
４５は、赤外光源１０３から照射され、ユーザの眼ＥＬ、ＥＲで反射された近赤外光を撮
像する近赤外カメラである。

画像出力部１４６は、カメラ１４５が撮像した画像を、映像再生装置２００に設けられ
た視線検出部２０３（後述）に出力する。具体的には、画像出力部１４６は、カメラ１４
５が撮像した画像を映像再生装置２００に送信する。視線検出部２０３は、眼ＥＬ、ＥＲ
と、近赤外光に起因する輝点との位置関係から、ユーザの視線方向を検出することができ
る。視線検出部２０３は、映像再生装置２００のＣＰＵ（Central Processing Unit）が
実行する視線検出プログラムによって実現される。なお、ヘッドマウントディスプレイ１
００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプ
レイ１００のＣＰＵが視線検出部を実現するプログラムを実行してもよい。

図１０は、映像システム２を構成するヘッドマウントディスプレイ１００と映像再生装
置２００の主要部の構成を示すブロック図である。
ヘッドマウントディスプレイ１００は、制御部１０１と、通信部１０２と、赤外光源１
４１と、画像表示部１４２と、カメラ１４５と、画像出力部１４６とを備えている。一方
、映像再生装置２００は、制御部２０１と、通信部２０２と、視線検出部２０３と、映像
生成部２０４と、学習済みモデル記憶部２０５とを備えている。なお、図示は省略してい
るが、ヘッドマウントディスプレイ１００は、ヘッドマウントディスプレイ１００の傾斜
方向等を検出するためのジャイロセンサ等を備えていても良い。

制御部１０１は、ヘッドマウントディスプレイ１００における各種信号の処理及び信号
の入出力等を制御する。通信部１０２と通信部２０２は、ヘッドマウントディスプレイ１
００と映像再生装置２００との間でのデータの送受信を制御する。視線検出部２０３は、
ヘッドマウントディスプレイ１００から得た信号に従い、眼ＥＬ、ＥＲの視線方向を検出
する。赤外光源１４１からの赤外光より照射された眼Ｅの画像がカメラ１４５により撮像
されると、その画像は画像出力部１４６により出力され、通信部１０２、２０２を介して
視線検出部２０３に入力される。視線検出部２０３は、眼Ｅの画像中の照射スポットの位
置等を判別することにより、視線方向を検出することができる。視線検出部２０３は、赤
外光により照射された眼Ｅの赤外画像のデータＸと、学習済みモデル記憶部２０５に記憶
された学習済みモデルに基づいて決定される算出式に従って視線方向を演算する。ここで
の学習済みモデルは、前述の実施の形態のデータ生成装置１で生成され学習済みモデル記
憶部１７に記憶される学習済みモデルと対応して生成される。データ生成装置１で生成さ
れた画像対ＥＰｊの可視光画像と赤外画像との特徴量の差のデータに基づき、赤外画像と
視線検出方向との関係を示す学習済みモデルが、外部のコンピュータ、又はヘッドマウン
トディスプレイ１００内で演算され、学習済みモデル記憶部２０５に格納される。

一例として、視線検出部２０３で演算される視線方向データＧが、カメラ１４５で得ら
れた赤外画像のデータＸにより、Ｇ＝ａ１ｆ１（Ｘ）＋ａ２ｆ２（Ｘ）＋・・・＋ｂの式
で計算される場合を考える。ただし、ａ１、ａ２、．．．、ｂは、学習済みモデルによっ
て定まる係数である。学習済みモデルが取得されることにより係数ａ１、ａ２、．．．、
ｂの値が定まり、更に赤外画像のデータＸがカメラ１４５から得られると、視線方向ベク
トルＧが定まる。

映像生成部２０４は、ジャイロセンサ（図示せず）の検出信号等に従い、画像表示部１
４２において表示すべき画像を生成する機能を有する。なお、映像生成部２０４は、ジャ
イロセンサ等の出力に加え、前述の視線検出部２０３の検出結果に従い、生成する映像を
変更してもよい。

［変形例］
図１１を参照して、実施の形態のデータ生成装置１の変形例を示す。なお、図１１にお
いて、図１の構成要素と同一又は対応する構成要素については、図１１において同一又は
対応する参照符号を付しているので、以下では重複する説明は省略する。この変形例では
、データ生成装置１が、第１データ生成装置ＭＬ１と、第２データ生成装置ＭＬ２とに分
割されており、２つの装置ＭＬ１とＭＬ２がネットワークＮＷを介して接続されている。

第１データ生成装置ＭＬ１は、画像対ＥＰｊの取得、その特徴量の取得、及び特徴量に
基づく学習済みモデルの生成を行う。第２データ生成装置ＭＬ２は、学習済みモデルに基
づいて、別の可視光画像Ｖｏに基づく赤外画像Ｒｏの生成を行う。第１データ生成装置Ｍ
Ｌ１、第２データ生成装置ＭＬ２、及び映像システム２は、ネットワークＮＷを介して接
続され、データの送受信を行う。

第１データ生成装置ＭＬ１は、撮像装置１１と、ＣＰＵ１２Ａと、可視光撮影画像記憶
部１３Ａと、赤外撮影画像記憶部１４Ａと、機械学習部１６と、学習済みモデル記憶部１
７とを備える。第１データ生成装置ＭＬ１は、撮像装置１１により撮像された可視光撮影
画像Ｖｊ及び赤外撮影画像Ｒｊの対を取得し、それぞれ可視光撮影画像記憶部１３Ａと赤
外撮影画像記憶部１４Ａに記憶させる。その後、機械学習部１６、及び学習済みモデル記
憶部１７Ａは、第１の実施の形態と同様にして、可視光撮影画像Ｖｊ及び赤外撮影画像Ｒ
ｊの特徴量の差を算出し、これに基づいて学習済みモデルを取得し、学習済みモデル記憶
部１７Ａに記憶する。

第２データ生成装置ＭＬ２は、第１データ生成装置ＭＬ１から、画像対ＥＰｊ（可視光
撮影画像Ｖｊ及び赤外撮影画像Ｒｊ）、及び上述の学習済みモデルをネットワークＮＷを
介して受信する。第２データ生成装置ＭＬ２は、ＣＰＵ１２Ｂと、可視光撮影画像記憶部
１３Ｂと、赤外撮影画像記憶部１４Ｂと、可視光画像入力部１５と、機械学習部１６と、
学習済みモデル記憶部１７Ｂと、赤外画像生成部１８とを備える。

受信された可視光撮影画像Ｖｊ及び赤外撮影画像Ｒｊは、それぞれ可視光撮影画像記憶
部１３Ｂ及び赤外撮影画像記憶部１４Ｂに格納され、学習済みモデルは学習済みモデル記
憶部１７Ｂに格納される。

その後、可視光画像入力部１５から別の可視光画像Ｖｏが入力されると、第１の実施の
形態と同様にして赤外画像Ｒｏが赤外画像生成部１８により生成され、可視光画像Ｖｏと
赤外画像Ｒｏが対の画像として格納される。学習済みモデルは、この新たに生成された画
像対に基づいて補正される。得られた学習済みモデルや画像対は、映像システム２に直接
又は間接的に提供され、視線検出の演算に利用される。

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として
提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の
形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範
囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は
、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の
範囲に含まれる。

１…データ生成装置、 ２…映像システム、 １１…撮像装置、 １２…ＣＰＵ、 １３
…可視光撮影画像記憶部、 １３…可視光撮影画像記憶部、 １４…赤外撮影画像記憶部
、 １５…可視光画像入力部、 １６…機械学習部、 １７…学習済みモデル記憶部、
１８…赤外画像生成部、 １９…属性情報記憶部、 ２０…属性情報入力部、 １００…
ヘッドマウントディスプレイ、 １０１…制御部、 １０２…通信部、 １０３…赤外光
源、 １１０…筐体、 １２０…頭部固定部、 １３０…ヘッドフォン、 １４０…画像
提示部、 １４１…赤外光源、 １４２…画像表示部、 １４３…ホットミラー、 １４
４…凸レンズ、 １４５…カメラ、 １４６…画像出力部、 ２００…映像再生装置、
２０１…制御部、 ２０２…通信部、 ２０３…視線検出部、 ２０４…映像生成部、
２０５…学習済みモデル記憶部、 １００１…可視光光源、 １００２…赤外光光源、
１００３…対物レンズ、 １００４…ダイクロイックミラー、 １００５…結像レンズ、
１００５…集光レンズ、 １００６…可視画像カメラ、 １００７…結像レンズ、 １
００８…赤外カメラ。

Claims (11)

1. 眼を可視光及び赤外光で撮影して第１可視光撮影画像及び第１赤外撮影画像の対を取得
   する画像対取得部と、
   前記第１可視光撮影画像及び前記第１赤外撮影画像の関係を示す特徴量を取得して学習
   済みモデルを生成する機械学習部と
   を備えたことを特徴とするデータ生成装置。
2. 前記第１可視光撮影画像とは別の可視光画像を入力させる可視光画像入力部と、
   前記可視光画像及び前記学習済みモデルに基づいて赤外画像を生成する赤外画像生成部
   と
   を備えた、請求項１に記載のデータ生成装置。
3. 前記機械学習部は、前記可視光画像と前記赤外画像との対に基づき、前記学習済みモデ
   ルを再構成する、請求項２記載のデータ生成装置。
4. 前記赤外画像生成部は、前記可視光画像の特徴量を取得し、前記可視光画像の特徴量と
   近似する特徴量を有する前記第１可視光撮影画像を特定し、特定された前記第１可視光撮
   影画像と対をなす前記第１赤外撮影画像との間の特徴量の差に基づいて前記赤外画像を生
   成する、請求項３に記載のデータ生成装置。
5. 前記機械学習部は、前記特徴量、並びに前記第１可視光撮影画像及び前記第１赤外撮影
   画像の属性情報に基づき前記学習済みモデルを生成する、請求項１に記載のデータ生成装
   置。
6. 前記第１可視光撮影画像とは別の可視光画像を入力させる可視光画像入力部と、
   前記可視光画像の属性情報を入力させる属性情報入力部と、
   前記可視光画像、前記属性情報及び前記学習済みモデルに基づいて赤外画像を生成する
   赤外画像生成部と
   を備えた、請求項５に記載のデータ生成装置。
7. 赤外光を照射してユーザの視線の方向を検出する視線検出部と、
   可視光で撮像された眼の可視光撮影画像の特徴量と、赤外光で撮像された同一の眼につ
   いての赤外撮影画像との特徴量とに基づいて生成される学習済みモデルを記憶する学習済
   みモデル記憶部と
   を備え、
   前記視線検出部は、前記赤外光を照射して得られた赤外画像と、前記学習済みモデルと
   に従い、前記視線の方向を検出するよう構成された、映像システム。
8. 眼を可視光及び赤外光で撮影して第１可視光撮影画像及び第１赤外撮影画像の対を取得
   するステップと、
   前記第１可視光撮影画像及び前記第１赤外撮影画像の関係を示す特徴量を取得して学習
   済みモデルを生成するステップと
   前記第１可視光撮影画像とは別の可視光画像を入力させるステップと、
   前記可視光画像及び前記学習済みモデルに基づいて赤外画像を生成するステップと、
   を備えた、データ生成方法。
9. 前記可視光画像と前記赤外画像との対に基づき、前記学習済みモデルを再構成するステ
   ップを更に備えた、請求項８に記載のデータ生成方法。
10. 前記赤外画像を生成するステップは、前記可視光画像の特徴量を取得し、前記可視光画
    像の特徴量と近似する特徴量を有する前記第１可視光撮影画像を特定し、特定された前記
    第１可視光撮影画像と対をなす前記第１赤外撮影画像との間の特徴量の差に基づいて前記
    赤外画像を生成する、請求項９に記載のデータ生成方法。
11. 前記学習済みモデルを生成するステップは、前記特徴量、並びに前記第１可視光撮影画
    像及び前記第１赤外撮影画像の属性情報に基づき前記学習済みモデルを生成する、請求項
    ８に記載のデータ生成方法。