JP2024013947A

JP2024013947A - 撮像装置、撮像装置の撮像方法およびプログラム

Info

Publication number: JP2024013947A
Application number: JP2022116420A
Authority: JP
Inventors: 健作森; Kensaku Mori; 陽介峰; Yosuke Mine
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-07-21
Filing date: 2022-07-21
Publication date: 2024-02-01
Also published as: US20240031551A1

Abstract

【課題】視線検出の周期を向上させることができるようにする。【解決手段】撮像装置は、第１の周期で、第１の眼球画像を撮像し、前記第１の眼球画像を基に第１の視線を検出する第１の視線検出手段と、前記第１の周期で、第２の眼球画像を撮像し、前記第２の眼球画像を基に第２の視線を検出する第２の視線検出手段とを有し、前記第１の眼球画像の撮像開始タイミングと前記第２の眼球画像の撮像開始タイミングは、相互に異なる。【選択図】図４

Description

本開示は、撮像装置、撮像装置の撮像方法およびプログラムに関する。

現実空間と仮想空間をリアルタイムかつシームレスに融合させる技術として、ＸＲ（ＸＲｅａｌｉｔｙまたはＥｘｔｅｎｄｅｄＲｅａｌｉｔｙ）と呼ばれる技術の１つである複合現実感、いわゆるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）技術がある。ビデオシースルー型ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）を利用したＭＲシステムでは、ＨＭＤ内蔵の撮像ユニットによって取得された現実空間画像にＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）画像を重畳した合成画像をＨＭＤ装着者が観察する。これらの画像は、左右の眼に対応してそれぞれ独立しており、ステレオ動画像による立体的なＭＲ空間をＨＭＤ装着者に提示できる。上記技術に加えて、ＨＭＤ内蔵ユニットとしてＨＭＤ装着者の眼球画像を取得し、視線方向を検出し、ＨＭＤ装着者の視線に適したＣＧ画像を生成することにより、ユーザにとってより違和感のないＭＲ空間提供が可能となる。近年、さらなる高品質なＭＲ空間実現のため、ＨＭＤ装着者に提示する合成画像のフレームレートを向上させ、向上させたフレームレートに対応する視線方向検出結果の取得性能向上が求められている。

上記技術実現のため、いくつかの技術が知られている。例えば、特許文献１には、作業用表示画面を見ているユーザの視線位置検知時、左目と右目の視線位置をそれぞれ一旦検出し、検出した視線位置結果を組み合わせ、合成することで視線検出精度を向上させる方法が開示されている。また、特許文献２には、左目と右目の瞬き検出を行い、どちらか一方の目が瞬きを行い、他方が瞬きしていないと判断される場合、装置の入力動作を実行するための確定信号として利用する方法が開示されている。

特開２０１９－６３３１０号公報特開２００２－７０５３号公報

しかしながら、さらなる高品質なＭＲ空間実現のためには、視線検出精度だけではなく、視線方向検出結果を高速に取得し、視線方向検出結果の読み出し周期の高速化も求められる。特許文献１には、複数の視線検出手段を用いて、視線検出精度を向上させる手法については述べられているが、視線方向検出結果の読み出し周期向上については触れられておらず、課題解決には至らなかった。特許文献２においても、複数の視線検出手段を用いて目の変化を捉える技術は開示されているが、視線方向検出結果の読み出し周期向上については触れられておらず、また同様に課題解決には至らなかった。

一方、視線方向検出結果の読み出し周期向上のため、高フレーム対応撮像素子を実装し、デバイス間のデータ転送帯域向上のために通信バス幅を増やす対応では、コストアップが必要である。

本開示の目的は、視線検出の周期を向上させることができるようにすることである。

撮像装置は、第１の周期で、第１の眼球画像を撮像し、前記第１の眼球画像を基に第１の視線を検出する第１の視線検出手段と、前記第１の周期で、第２の眼球画像を撮像し、前記第２の眼球画像を基に第２の視線を検出する第２の視線検出手段とを有し、前記第１の眼球画像の撮像開始タイミングと前記第２の眼球画像の撮像開始タイミングは、相互に異なる。

本開示によれば、視線検出の周期を向上させることができる。

撮像表示システムの構成例を示す図である。始線検出部の構成例を示す図である。撮像表示装置の視線検出処理を示すフローチャートである。撮像表示装置の制御動作例を示すタイムチャートである。撮像表示装置の他の制御動作例を示すタイムチャートである。

以下、図面を用いて、実施形態について説明する。なお、以下の実施形態は、特許請求の範囲を何ら限定するものではなく、実施形態で説明されている特徴の組合せの全てが必須のものとは限らない。

（第１の実施形態）
図１（ａ）および（ｂ）は、第１の実施形態による撮像表示システム１の構成例を示す図である。図１（ａ）は撮像表示システム１の構成例を示すブロック図であり、図１（ｂ）は撮像表示システム１の外観および装着例を示す図である。撮像表示システム１は、頭部装着型の撮像表示装置（以下、ＨＭＤ）１０と、画像処理装置（ＰＣＷＳ：ＰＣＷｏｒｋＳｔａｔｉｏｎ、ＰＣワークステーション）３０と、ケーブル２０を有する。画像処理装置３０は、現実空間と仮想空間が融合した複合現実（ＭＲ）空間の画像（以下、合成画像）を生成してＨＭＤ１０に提供する。ケーブル２０は、ＨＭＤ１０と画像処理装置３０を接続する。なお、ケーブル２０は、有線接続の通信経路に限定されず、無線接続の通信経路を用いてもよい。

ＨＭＤ１０の構成について説明する。ＨＭＤ１０は、撮像装置であり、制御部１００と、左目用の表示素子１１０ａと、右目用の表示素子１１０ｂと、位置姿勢センサ１２０と、左目用の背景用画像撮像素子１３０ａと、右目用の背景用画像撮像素子１３０ｂを有する。さらに、ＨＭＤ１０は、遅延部１３２ａ，１３２ｂと、左目用の位置検出用画像撮像素子１４０ａと、右目用の位置検出用画像撮像素子１４０ｂと、左目用の視線検出部１５０ａと、右目用の視線検出部１５０ｂを有する。

撮像素子１３０ａ，１３０ｂ，１４０ａ，１４０ｂは、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｄｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサなどが用いられる。撮像素子１３０ａ，１３０ｂ，１４０ａ，１４０ｂは、制御部１００からの制御信号に基づいて、設定された露光時間やセンサゲイン、露光開始タイミング等に従って、光学系を介して現実空間の撮像画像を取得する。

表示素子１１０ａおよび１１０ｂは、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔ－ＥｍｉｔｔｉｎｇＤｉｏｄｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などが用いられる。表示素子１１０ａおよび１１０ｂは、光学系を介してＨＭＤ１０の装着者（ユーザ）に対して合成画像を提示する。

撮像表示システム１は、右目用画像と左目用画像とを用いた立体画像を扱う。そのため、ＨＭＤ１０は、左目用の背景用画像撮像素子１３０ａと、右目用の背景用画像撮像素子１３０ｂと、左目用の位置検出用画像撮像素子１４０ａと、右目用の位置検出用画像撮像素子１４０ｂを有する。さらに、ＨＭＤ１０は、左目用の表示素子１１０ａと、右目用の表示素子１１０ｂと、と、左目用の視線検出部１５０ａと、右目用の視線検出部１５０ｂを有する。

背景用画像撮像素子１３０ａおよび１３０ｂは、合成画像のベースとなる背景用画像を撮像する。位置検出用画像撮像素子１４０ａおよび１４０ｂは、ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）画像を生成するための位置検出用画像を撮像する。背景用画像と位置検出用画像は、相互に、必要とされる画角や解像度、画像処理などが異なるため、別々の背景用画像撮像素子１３０ａ，１３０ｂと位置検出用画像撮像素子１４０ａ，１４０ｂが用いられる。なお、背景用画像撮像素子と位置検出用画像撮像素子は、同じ撮像素子を用いて、撮像画像から切り出しを行うことにより、背景用画像と位置検出用画像を生成してもよい。

位置姿勢センサ１２０は、ＨＭＤ１０の位置姿勢情報を検出する。遅延部１３２ａおよび１３２ｂは、それぞれ、制御部１００から入力された表示垂直同期信号を遅延することにより視線検出開始信号を生成し、視線検出開始信号を視線検出部１５０ａおよび１５０ｂに出力する。左目用の視線検出部１５０ａは、視線検出開始信号を基に、ＨＭＤ１０の装着者の左目の視線検出を実行し、その検出結果を制御部１００に出力する。右目用の視線検出部１５０ｂは、視線検出開始信号を基に、ＨＭＤ１０の装着者の右目の視線検出を実行し、その検出結果を制御部１００に出力する。

制御部１００は、撮像画像や表示画像に必要な画像処理を施すと共に、上記の全ての構成要素を制御し、画像処理装置３０と協調動作する。立体画像の撮像および表示に関する技術については、公知であるため、説明を省略する。

画像処理装置３０は、位置検出部３００と、ＣＧ生成部３１０と、合成部３２０を有する。位置検出部３００は、ＨＭＤ１０から伝送された位置検出用画像と、ＨＭＤ１０の位置姿勢情報と、視線検出部１５０ａおよび１５０ｂの視線検出結果である表示素子１１０ａおよび１１０ｂにおける表示位置を受信する。位置検出部３００は、これらの受信した情報を基に、装着者に提示する仮想空間のＣＧ画像の生成に必要となる、位置、サイズ、向きなどの情報を出力する。

ＣＧ生成部３１０は、位置検出部３００の出力に従って、所定の左目用ＣＧ画像と右目用ＣＧ画像を生成する。ＣＧ画像は、画像処理装置３０内のＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等に格納されたＣＡＤデータを基にレンダリングされる。

合成部３２０は、ＨＭＤ１０から伝送された背景用画像にＣＧ画像を重畳することで、合成画像を生成し、合成画像を表示用画像としてＨＭＤ１０に対して出力する。

次に、遅延部１３２ａおよび１３２ｂについて説明する。遅延部１３２ａおよび１３２ｂは、合成部３２０から、制御部１００を経由して、合成画像フレーム毎にフレーム先頭を示す表示垂直同期信号を受信する。表示垂直同期信号は、遅延部１３２ａおよび１３２ｂに入力される。遅延部１３２ａおよび１３２ｂは、それぞれ、制御部１００により予め設定されていた遅延量で、表示垂直同期信号を遅延することにより、視線検出開始信号を生成し、視線検出開始信号を視線検出部１５０ａおよび１５０ｂに出力する。

図２は、図１の視線検出部１５０ａの構成例を示す図である。視線検出部１５０ａは、遅延部１３２ａから視線検出開始信号を入力し、視線検出を実行し、その検出結果を制御部１００に出力する。

視線検出部１５０ａの各部について説明する。視線検出部１５０ａは、視線検出用ＣＰＵ３と、メモリ部４と、Ａ／Ｄ変換回路２０１と、照明光源駆動回路２０５と、眼球用撮像素子１７と、照明光源１３ａ～１３ｆを有する。視線検出用ＣＰＵ３は、マイクロコンピュータの中央処理装置である。視線検出用ＣＰＵ３には、Ａ／Ｄ変換回路２０１と、照明光源駆動回路２０５と、メモリ部４が接続されている。

眼球用撮像素子１７は、ＨＭＤ１０の装着者の左目の眼球画像を撮像する。Ａ／Ｄ変換回路２０１は、眼球用撮像素子１７により撮像された眼球画像をＡ／Ｄ変換し、デジタルの眼球画像を視線検出用ＣＰＵ３に出力する。視線検出用ＣＰＵ３は、眼球画像をメモリ部４に書き込む。

視線検出用ＣＰＵ３は、遅延部１３２ａから視線検出開始信号を入力すると、Ａ／Ｄ変換回路２０１と照明光源駆動回路２０５を制御して視線検出処理を開始する。視線検出用ＣＰＵ３は、Ａ／Ｄ変換回路２０１から眼球画像を取得し、視線検出に必要な眼球画像の各特徴点を所定のアルゴリズムに従って抽出し、更に各特徴点の位置から装着者の左目の視線を算出する。視線は、表示素子１１０ａに表示されている合成画像の座標値として算出される。視線検出用ＣＰＵ３は、算出した視線検出結果である視線の座標値を、制御部１００に送信する。

照明光源１３ａ～１３ｆは、一眼レフカメラ等に用いられている光源の角膜反射による反射象と瞳孔の関係から視線方向を検出するための装着者の眼球を照明するための光源である。照明光源１３ａ～１３ｆは、赤外発光ダイオードからなり、眼球用撮像素子１７に接続されたレンズユニットの周りに配置されている。

照明された眼球像と照明光源１３ａ～１３ｆの角膜反射による像は、このレンズユニットにより、ＣＭＯＳ等の光電素子列を２次元的に配した眼球用撮像素子１７上に結像される。このレンズユニットは、装着者の眼球の瞳孔と眼球用撮像素子１７を共役な結像関係に位置付けている。

視線検出用ＣＰＵ３は、眼球用撮像素子１７上に結像された眼球と照明光源１３ａ～１３ｆの角膜反射による像の位置関係から、所定のアルゴリズムを使用して、視線を検出する。つまり、視線検出用ＣＰＵ３は、視線検出アルゴリズムとして、眼球に照明光源１３ａ～１３ｆを照射し、眼球用撮像素子１７にて撮影を行って得られる眼球画像に対して、眼球画像の中から照明光源１３ａ～１３ｆの角膜反射像および瞳孔中心を検出する。視線検出用ＣＰＵ３は、角膜反射像および瞳孔中心から眼球の回転角を算出し、回転角から装着者の視線を求める。

視線検出部１５０ｂは、視線検出部１５０ａと同じ機能を持ち、内部構成も同様である。視線検出部１５０ｂは、装着者の右目の視線を検出する。視線は、表示素子１１０ｂに表示されている合成画像の座標値として算出される。

図３は、ＨＭＤ１０の撮像方法を示すフローチャートである。複数の視線検出部１５０ａおよび１５０ｂを使用し、かつ、複数の視線検出部１５０ａおよび１５０ｂへの視線検出開始信号を最適に制御することにより、視線検出結果の読み出し周期を疑似的に向上させる方法について、説明する。

まず、ステップＳ１０１では、電源ボタンが押されると、撮像表示システム１の各部が通電する。

次に、ステップＳ１０２では、制御部１００は、遅延部１３２ａおよび１３２ｂの初期の遅延量をそれぞれ設定する。遅延部１３２ａの遅延量と遅延部１３２ｂの遅延量は、相互に異なる量に設定可能である。

次に、ステップＳ１０３では、制御部１００は、画像処理装置３０の合成部３２０から、合成画像フレーム毎にフレーム先頭を示す表示垂直同期信号を受信したか否かを判定する。制御部１００は、表示垂直同期信号を受信していない場合には、ステップＳ１０３に戻り、表示垂直同期信号を受信した場合には、ステップＳ１０４に進む。

ステップＳ１０４では、制御部１００は、遅延部１３２ａおよび１３２ｂに表示垂直同期信号を出力する。遅延部１３２ａおよび１３２ｂは、それぞれ、表示垂直同期信号を入力後、ステップＳ１０２で設定された遅延量の時間経過後に、視線検出部１５０ａおよび１５０ｂのそれぞれに視線検出開始信号を出力する。

次に、ステップＳ１０５では、視線検出部１５０ａは、視線検出開始信号を受信すると、装着者の左目の視線検出処理を実行し、装着者の左目の視線を検出する。視線検出部１５０ｂは、視線検出開始信号を受信すると、装着者の右目の視線検出処理を実行し、装着者の右目の視線を検出する。

次に、ステップＳ１０６では、視線検出部１５０ａは、装着者の左目の視線検出結果を制御部１００に出力し、視線検出部１５０ｂは、装着者の右目の視線検出結果を制御部１００に出力する。その後、処理は、ステップＳ１０３に戻る。

図４は、ＨＭＤ１０の制御動作例を示すタイムチャートであり、各部に対する制御信号の関係を示す。図４の左は、合成部３２０が制御部１００を介して遅延部１３２ａおよび１３２ｂに表示垂直同期信号を送信するタイミングを示す。図４の右は、視線検出部１５０ａおよび１５０ｂが視線検出結果を制御部１００に出力するタイミングを示す。

制御部１００は、フレーム周期Ｔにて、合成部３２０から表示垂直同期信号１１５を受信する。すると、制御部１００は、遅延部１３２ａおよび１３２ｂに対して、それぞれ、表示垂直同期信号１１５ａおよび表示垂直同期信号１１５ｂを出力する。ここで、表示垂直同期信号１１５ａおよび１１５ｂの相互の遅延はないとする。

例えば、合成画像フレーム毎にフレーム先頭を示す表示垂直同期信号１１５がフレームレート６０［Ｈｚ］である。その場合、その逆数となる約１６．６７［ｍｓ］がフレーム周期Ｔとなり、１６．６７［ｍｓ］の周期にて、遅延部１３２ａおよび１３２ｂに表示垂直同期信号１１５ａおよび１１５ｂが入力される。

次に、遅延部１３２ａは、表示垂直同期信号１１５ａを入力した後、制御部１００が設定した遅延量Ｄ１に対応する時間経過後に、視線検出部１５０ａに視線検出開始信号１３５を出力する。遅延部１３２ｂは、表示垂直同期信号１１５ｂを入力した後、制御部１００が設定した遅延量Ｄ２に対応する時間経過後に、視線検出部１５０ｂに視線検出開始信号１４５を出力する。

ここで、制御部１００は、次式により、フレーム周期Ｔと遅延量Ｄ１を基に、遅延量Ｄ２を設定することができる。
Ｄ２＝（Ｔ－Ｄ１）／２

これにより、視線検出部１５０ａおよび１５０ｂの両者は、Ｔ／２の周期にて、視線検出を開始することができる。すなわち、制御部１００は、Ｔ／２の周期にて、視線検出部１５０ａおよび１５０ｂから視線検出結果１４７および１４８を入力することができる。

例えば、遅延量Ｄ１が１［ｍｓ］に設定されている場合、上記の式より、遅延量Ｄ２は、次式のように、９．３［ｍｓ］に設定される。
Ｄ２＝（１６．６７－１）／２＝９．３［ｍｓ］

これにより、制御部１００へ表示垂直同期信号１１５が入力された後、Ｄ１＝１［ｍｓ］後に、視線検出部１５０ａは、視線検出を開始する。同様に、制御部１００へ表示垂直同期信号１１５が入力された後、Ｄ２＝９．３［ｍｓ］後に、視線検出部１５０ｂは、視線検出を開始する。

視線検出部１５０ａは、視線検出開始信号１３５を入力すると、左目の視線検出処理を開始し、視線検出処理時間１３６の経過後に、左目の視線検出結果１４７を制御部１００に出力する。視線検出処理時間１３６は、視線検出部１５０ａが視線検出開始信号１３５を入力してから視線検出結果１４７を出力するまでの時間である。視線検出処理は、眼球用撮像素子１７における露光と、眼球用撮像素子１７の露光結果の読み出しと、眼球画像を使った視線検出処理を含む。

視線検出部１５０ｂは、視線検出開始信号１４５を入力すると、右目の視線検出処理を開始し、視線検出処理時間１４６の経過後に、右目の視線検出結果１４８を制御部１００に出力する。視線検出処理時間１４６は、視線検出部１５０ｂが視線検出開始信号１４５を入力してから視線検出結果１４８を出力するまでの時間である。視線検出処理は、眼球用撮像素子１７における露光と、眼球用撮像素子１７の露光結果の読み出しと、眼球画像を使った視線検出処理を含む。

視線検出部１５０ａおよび１５０ｂの内部構成は相互に同一のため、視線検出処理時間１３６および１４６は相互に同じ時間となる。

最後に、制御部１００は、視線検出部１５０ａおよび１５０ｂから、視線検出結果１４７および１４８を、Ｔ／２の周期、つまり８．３［ｍｓ］の周期で受信することができる。つまり、制御部１００は、８．３［ｍｓ］の周期で、視線検出部１５０ａから視線検出結果１４７を入力し、視線検出部１５０ｂから視線検出結果１４８を入力する。よって、制御部１００は、８．３［ｍｓ］の周期にて、視線検出結果１４７および１４８を入力するので、視線検出結果１４７および１４８の読み出し周期の向上を実現できる。

以上説明したように、ＨＭＤ１０は、複数の視線検出部１５０ａおよび１５０ｂを備え、かつ、複数の視線検出部１５０ａおよび１５０ｂへの視線検出開始信号１３５および１４５を最適に制御する。これにより、ＨＭＤ１０は、視線検出結果１４７および１４８の読み出し周期を疑似的に向上させることが可能である。

なお、本実施形態では、上記説明した通り、ＨＭＤ１０は、複数の視線検出部１５０ａおよび１５０ｂを同期させたが、これによって何ら限定されるものではない。ＨＭＤ１０は、背景用画像撮像素子１３０ａ，１３０ｂと、位置検出用画像撮像素子１４０ａ，１４０ｂと、表示素子１１０ａ，１１０ｂと、位置姿勢センサ１２０の何れかがない場合にも、適用可能である。また、各種パラメータも、撮像表示システム１の構成およびＨＭＤ１０の使用目的に応じて適宜設計可能である。

また、合成部３２０から受信する表示垂直同期信号は、背景用画像撮像素子１３０ａ，１３０ｂと、表示素子１１０ａ，１１０ｂに同期しているとしたが、非同期であってもよい。その場合でも、本実施形態のＨＭＤ１０は、視線検出結果１４７および１４８の読み出し周期の向上させるための上記の処理を同様に適用することができる。

左目用の背景用画像撮像素子１３０ａ、表示素子１１０ａ、位置検出用画像撮像素子１４０ａに対して、右目用の背景用画像撮像素子１３０ｂ、表示素子１１０ｂ、位置検出用画像撮像素子１４０ｂをあわせて遅延させるようにしてもよい。

ＨＭＤ１０は、ハーフミラーを眼前に配置し、画像処理装置３０のＣＧ生成部３１０からＣＧ画像のみを受信し、このＣＧ画像と装着者が直接観測する現実空間とをハーフミラー越しに重ね合わせて複合現実を提示する、シースルータイプと呼ばれるＭＲ技術がある。このシースルータイプのＭＲ技術においても、ＨＭＤ１０は、合成部３２０から取得していた表示垂直同期信号を、制御部１００の動作クロックを使用して新たに生成し、代替信号として使用すれば、本実施形態の上記の処理を行うことができる。その場合でも、ＨＭＤ１０は、視線検出結果１４７および１４８の読み出し周期の向上を実現することができる。この場合、表示素子１１０ａ，１１０ｂおよび背景用画像撮像素子１３０ａ，１３０ｂは不要となる。

以上のように、視線検出部１５０ａは、周期Ｔで、第１の眼球画像を撮像し、第１の眼球画像を基に第１の視線を検出する。視線検出部１５０ｂは、周期Ｔで、第２の眼球画像を撮像し、第２の眼球画像を基に第２の視線を検出する。例えば、第１の眼球画像は、左目の眼球画像であり、第２の眼球画像は、右目の眼球画像である。第１の眼球画像の撮像開始タイミングと第２の眼球画像の撮像開始タイミングは、相互に異なる。

視線検出部１５０ａは、視線検出結果１４７を出力する。視線検出部１５０ｂは、視線検出結果１４８を出力する。視線検出結果１４７の出力タイミングと視線検出結果１４８の出力タイミングは、相互に異なる。視線検出結果１４８の出力タイミングは、視線検出結果１４７の出力タイミングに対して、周期Ｔの半分の時間だけずれている。

視線検出部１５０ａは、視線検出開始信号１３５を基に処理を開始する。視線検出部１５０ｂは、視線検出開始信号１４５を基に処理を開始する。視線検出開始信号１３５の入力タイミングと視線検出開始信号１４５の入力タイミングは、相互に異なる。視線検出開始信号１４５の入力タイミングは、視線検出開始信号１３５の入力タイミングに対して、周期Ｔの半分の時間だけずれている。

遅延部１３２ｂは、視線検出開始信号１３５に対して遅延している視線検出開始信号１４５を生成する。遅延部１３２ａは、表示垂直同期信号１１５ａを遅延量Ｄ１で遅延することより視線検出開始信号１３５を生成する。遅延部１３２ｂは、表示垂直同期信号１１５ｂを遅延量Ｄ２で遅延することにより視線検出開始信号１４５を生成する。

表示素子１１０ａは、表示部であり、視線検出結果１４７に応じた画像を表示する。表示素子１１０ｂは、表示部であり、視線検出結果１４８に応じた画像を表示する。

以上、本実施形態によれば、ＨＭＤ１０は、コストアップとなる高フレーム対応の撮像素子を使用せず、デバイス間のデータ転送帯域向上のために通信バス幅を増やすことなく、視線検出結果１４７および１４８の読み出し周期を向上させることができる。ＨＭＤ１０は、複数の視線検出部１５０ａおよび１５０ｂへの視線検出開始信号１３５および１４５のタイミングを適切に制御することにより、視線検出結果１４７および１４８の読み出し周期を疑似的に向上させることができる。これにより、ＨＭＤ１０は、視線検出結果１４７および１４８の読み出し周期を向上させ、高品質な視線検出を実現することができる。ＨＭＤ１０は、合成画像が高速に動いても、高速に視線検出の追従が可能になる。

（第２の実施形態）
次に、第２の実施形態について説明する。装着者が注視する対象物までの距離を測る技術として、眼球用撮像素子１７の焦点位置を原点とし、左目の視線検出表示座標点、右目の視線検出表示座標点、眼球用撮像素子１７の焦点距離を組み合わせて、三角関数を用いて輻輳角を算出する技術がある。装着者が注視する対象物までの距離が遠方であるほど、この輻輳角が小さくなり、対象物までの位置情報として利用できる。この場合、眼球用撮像素子１７から得られる画像は、左右の視線検出部１５０ａおよび１５０ｂで同じタイミングの画像である必要がある。よって、装着者が注視する対象物までの距離を測る場合は、制御部１００は、視線検出部１５０ａおよび１５０ｂの眼球用撮像素子１７から得られる画像を同期して取得するように、各部を制御する必要がある。

第２の実施形態による撮像表示システム１の構成は、図１および図２の第１の実施形態による撮像表示システム１の構成と同じである。また、第２の実施形態による撮像表示システム１の処理は、図３の第１の実施形態による撮像表示システム１の処理と同じである。

図５は、第２の実施形態によるＨＭＤ１０の制御動作例を示すタイムチャートであり、同期した視線検出部１５０ａおよび１５０ｂの眼球用撮像素子１７から得られる画像を取得するタイミングを示す。以下、図５が図４と異なる点を説明する。

次に、遅延部１３２ａは、表示垂直同期信号１１５ａを入力した後、制御部１００が設定した遅延量Ｄ１に対応する時間経過後に、視線検出部１５０ａに視線検出開始信号１３５を出力する。遅延部１３２ｂは、表示垂直同期信号１１５ｂを入力した後、制御部１００が設定した遅延量Ｄ２に対応する時間経過後に、視線検出部１５０ｂに視線検出開始信号１４５を出力する。遅延量Ｄ１およびＤ２は、相互に同じである。すなわち、視線検出開始信号１３５および１４５の出力タイミングは、相互に同じである。

視線検出部１５０ａは、視線検出開始信号１３５を入力すると、左目の視線検出処理を開始し、視線検出処理時間１３６の経過後に、左目の視線検出結果１４７を制御部１００に出力する。視線検出処理時間１３６は、視線検出部１５０ａが視線検出開始信号１３５を入力してから視線検出結果１４７を出力するまでの時間である。

視線検出部１５０ｂは、視線検出開始信号１４５を入力すると、右目の視線検出処理を開始し、視線検出処理時間１４６の経過後に、右目の視線検出結果１４８を制御部１００に出力する。視線検出処理時間１４６は、視線検出部１５０ｂが視線検出開始信号１４５を入力してから視線検出結果１４８を出力するまでの時間である。

視線検出処理時間１３６および１４６は、相互に同じ時間となる。視線検出部１５０ａからの視線検出結果１４７と、視線検出部１５０ｂからの視線検出結果１４８は、制御部１００に同時に入力される。視線検出結果１４７および１４８が同時に入力されることで、制御部１００は、装着者が注視する対象物までの距離を測ることが可能となる。

視線検出部１５０ａおよび１５０ｂの両者は、Ｔの周期にて、視線検出を開始することができる。また、制御部１００は、Ｔの周期にて、視線検出部１５０ａおよび１５０ｂから視線検出結果１４７および１４８を入力することができる。

以上のように、視線検出部１５０ａからの視線検出結果１４７と、視線検出部１５０ｂからの視線検出結果１４８とが制御部１００に同時に入力するためには、遅延部１３２ａおよび１３２ｂは、同時に視線検出開始信号１３５および１４５を出力すればよい。これを実現するため、遅延部１３２ａおよび１３２ｂに設定する遅延量Ｄ１およびＤ２を同じ値に設定すればよい。制御部１００は、表示垂直同期信号１１５を入力すると、遅延部１３２ａおよび１３２ｂに表示垂直同期信号１１５ａおよび１１５ｂを送信することで、装着者が注視する対象物までの距離を測定することができる。

同様に、制御部１００が左目と右目の瞳孔間の距離である眼幅測定を行う場合には、遅延部１３２ａおよび１３２ｂに同じ遅延量Ｄ１およびＤ２を設定すればよい。制御部１００は、視線検出部１５０ａおよび１５０ｂの眼球用撮像素子１７から得られる左右の画像を同期して取得し、眼幅測定を行うことができる。

同様に、制御部１００が標準パターンを表示し、装着者の視線キャリブレーションを行う場合には、遅延部１３２ａおよび１３２ｂに同じ遅延量Ｄ１およびＤ２を設定すればよい。制御部１００は、視線検出部１５０ａおよび１５０ｂの眼球用撮像素子１７から得られる左右の画像を同期して取得し、標準パターンを表示し、装着者の視線キャリブレーションを行うことができる。

一方、装着者が注視する対象物までの距離が離れ、距離算出の優先度が低くなった場合、制御部１００がこれを検知し、視線検出結果の読み出し周期向上のため、遅延部１３２ａおよび１３２ｂに設定する遅延量Ｄ１およびＤ２を異ならせることができる。これにより、制御部１００は、動的に視線検出部１５０ａおよび１５０ｂの動きを変更させることも可能である。例えば、メニュー操作用ＧＵＩを表示した瞬間、制御部１００がこれを感知し、視線検出結果取得性能向上のため、遅延部１３２ａおよび１３２ｂに異なる遅延量Ｄ１およびＤ２を設定して、視線検出結果の読み出し周期を向上させる等の例にも適用可能である。ＧＵＩは、ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅである。

別の例として、ＣＧ画像のみを表示させ、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）画像を表示したい場合、制御部１００がこれを感知し、視線検出結果取得性能向上のため、遅延部１３２ａおよび１３２ｂに異なる遅延量Ｄ１およびＤ２を設定することができる。これにより、視線検出結果の読み出し周期を向上させてもよい。

また別の例として、注目する対象物の動きが遅い場合、制御部１００が対象物の動きに変化がないことを感知し、視線検出結果取得性能向上のため、遅延部１３２ａおよび１３２ｂに異なる遅延量Ｄ１およびＤ２を設定することができる。これにより、視線検出結果の読み出し周期を向上させることができる。

さらなる別の例として、フォビエイテドレンダリング等による視線追従を重要視するモードの場合には、制御部１００は、視線検出結果の読み出し周期向上のため、遅延部１３２ａおよび１３２ｂに異なる遅延量Ｄ１およびＤ２を設定することができる。これにより、視線検出結果取得速度を向上させることができる。

さらなる別の例として、制御部１００は、左目用視線検出結果の表示座標の平均値と、右目用視線検出結果の表示座標の平均値を算出する。そして、制御部１００は、左目用視線検出結果の表示座標の平均値と、右目用視線検出結果の表示座標の平均値との差が、閾値を超えた場合には、視線検出結果取得性能向上のため、遅延部１３２ａおよび１３２ｂに異なる遅延量Ｄ１およびＤ２を設定する。これにより、視線検出結果取得速度を向上させることができる。これに対し、制御部１００は、左目用視線検出結果の表示座標の平均値と、右目用視線検出結果の表示座標の平均値との差が、閾値以内である場合には、遅延部１３２ａおよび１３２ｂに同じ遅延量Ｄ１およびＤ２を設定する。これにより、視線検出部１５０ａおよび１５０ｂの眼球用撮像素子１７から得られる左右の画像を同期して取得し、視線検出の信頼度を向上させることができる。以上のように、制御部１００は、閾値を用いて、両者の切り替えを動的に行うことができる。

以上のように、視線検出部１５０ａは、周期Ｔで、第１の眼球画像を撮像し、第１の眼球画像を基に第１の視線を検出する。視線検出部１５０ｂは、周期Ｔで、第２の眼球画像を撮像し、第２の眼球画像を基に第２の視線を検出する。例えば、第１の眼球画像は、左目の眼球画像であり、第２の眼球画像は、右目の眼球画像である。第１の眼球画像の撮像開始タイミングと第２の眼球画像の撮像開始タイミングとの差は、ＨＭＤ１０の状態、ユーザ設定、状況、またはユーザ操作に応じて変更される。

制御部１００は、視線検出結果１４７と視線検出結果１４８とを基に、視差、輻輳角、もしくは眼幅を演算し、または視線キャリブレーションを行うことができる。その場合、制御部１００は、視線検出部１５０ａの第１の眼球画像の撮像開始タイミングと視線検出部１５０ｂの第２の眼球画像の撮像開始タイミングとが同じになるように制御する。

表示素子１１０ａは、視線検出結果１４７に応じた画像を表示する。表示素子１１０ｂは、視線検出結果１４８に応じた画像を表示する。制御部１００は、表示素子１１０ａと表示素子１１０ｂがユーザ操作により操作画面を表示する場合、視線検出部１５０ａの第１の眼球画像の撮像開始タイミングと視線検出部１５０ｂの第２の眼球画像の撮像開始タイミングとが異なるように制御する。

制御部１００は、視線検出結果１４７と視線検出結果１４８とを基に輻輳角を演算する。制御部１００は、輻輳角が閾値より小さい場合、視線検出部１５０ａの第１の眼球画像の撮像開始タイミングと視線検出部１５０ｂの第２の眼球画像の撮像開始タイミングとが異なるように制御する。

以上、本実施形態によれば、制御部１００は、遅延部１３２ａおよび１３２ｂの遅延量Ｄ１およびＤ２を動的に変えることによって、視線検出結果取得性能を柔軟に変更し、様々なユーザアプリケーションの要求に応じた視線検出機能を実現することが可能である。

（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上述の実施形態は、何れも本開示を実施するにあたっての具体例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されない。すなわち、本開示はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本実施形態の開示は、以下の構成、方法およびプログラムを含む。
（構成１）
第１の周期で、第１の眼球画像を撮像し、前記第１の眼球画像を基に第１の視線を検出する第１の視線検出手段と、
前記第１の周期で、第２の眼球画像を撮像し、前記第２の眼球画像を基に第２の視線を検出する第２の視線検出手段とを有し、
前記第１の眼球画像の撮像開始タイミングと前記第２の眼球画像の撮像開始タイミングは、相互に異なることを特徴とする撮像装置。
（構成２）
前記第１の視線検出手段は、前記第１の視線の検出結果を出力し、
前記第２の視線検出手段は、前記第２の視線の検出結果を出力し、
前記第１の視線の検出結果の出力タイミングと前記第２の視線の検出結果の出力タイミングは、相互に異なることを特徴とする構成１に記載の撮像装置。
（構成３）
前記第１の視線検出手段は、第１の開始信号を基に処理を開始し、
前記第２の視線検出手段は、第２の開始信号を基に処理を開始し、
前記第１の開始信号の入力タイミングと前記第２の開始信号の入力タイミングは、相互に異なることを特徴とする構成１または２に記載の撮像装置。
（構成４）
前記第２の視線の検出結果の出力タイミングは、前記第１の視線の検出結果の出力タイミングに対して、前記第１の周期の半分の時間だけずれていることを特徴とする構成２に記載の撮像装置。
（構成５）
前記第２の開始信号の入力タイミングは、前記第１の開始信号の入力タイミングに対して、前記第１の周期の半分の時間だけずれていることを特徴とする構成３に記載の撮像装置。
（構成６）
前記第１の開始信号に対して遅延している前記第２の開始信号を生成する遅延手段をさらに有することを特徴とする構成３または５に記載の撮像装置。
（構成７）
前記遅延手段は、表示垂直同期信号を第１の遅延量で遅延することより前記第１の開始信号を生成し、前記表示垂直同期信号を第２の遅延量で遅延することにより前記第２の開始信号を生成することを特徴とする構成６に記載の撮像装置。
（構成８）
前記第１の視線の検出結果に応じた第１の画像を表示する第１の表示手段と、
前記第２の視線の検出結果に応じた第２の画像を表示する第２の表示手段とをさらに有することを特徴とする構成１～７のいずれか１項に記載の撮像装置。
（構成９）
前記第１の眼球画像は、左目の眼球画像であり、
前記第２の眼球画像は、右目の眼球画像であることを特徴とする構成１～８のいずれか１項に記載の撮像装置。
（構成１０）
撮像装置であって、
第１の周期で、第１の眼球画像を撮像し、前記第１の眼球画像を基に第１の視線を検出する第１の視線検出手段と、
前記第１の周期で、第２の眼球画像を撮像し、前記第２の眼球画像を基に第２の視線を検出する第２の視線検出手段とを有し、
前記第１の眼球画像の撮像開始タイミングと前記第２の眼球画像の撮像開始タイミングとの差は、前記撮像装置の状態、ユーザ設定、状況、またはユーザ操作に応じて変更されることを特徴とする撮像装置。
（構成１１）
前記第１の視線の検出結果と前記第２の視線の検出結果とを基に、視差、輻輳角、もしくは眼幅を演算する場合、または視線キャリブレーションを行う場合、前記第１の視線検出手段の前記第１の眼球画像の撮像開始タイミングと前記第２の視線検出手段の前記第２の眼球画像の撮像開始タイミングとが同じになるように制御する制御手段をさらに有することを特徴とする構成１０に記載の撮像装置。
（構成１２）
前記第１の視線の検出結果に応じた第１の画像を表示する第１の表示手段と、
前記第２の視線の検出結果に応じた第２の画像を表示する第２の表示手段とをさらに有することを特徴とする構成１０または１１に記載の撮像装置。
（構成１３）
前記第１の表示手段と前記第２の表示手段がユーザ操作により操作画面を表示する場合、前記第１の視線検出手段の前記第１の眼球画像の撮像開始タイミングと前記第２の視線検出手段の前記第２の眼球画像の撮像開始タイミングとが異なるように制御する制御手段をさらに有することを特徴とする構成１２に記載の撮像装置。
（構成１４）
前記第１の視線の検出結果と前記第２の視線の検出結果とを基に輻輳角を演算し、前記輻輳角が第１の閾値より小さい場合、前記第１の視線検出手段の前記第１の眼球画像の撮像開始タイミングと前記第２の視線検出手段の前記第２の眼球画像の撮像開始タイミングとが異なるように制御する制御手段をさらに有することを特徴とする構成１０～１３のいずれか１項に記載の撮像装置。
（方法１）
第１の周期で、第１の眼球画像を撮像し、前記第１の眼球画像を基に第１の視線を検出する第１の視線検出ステップと、
前記第１の周期で、第２の眼球画像を撮像し、前記第２の眼球画像を基に第２の視線を検出する第２の視線検出ステップとを有し、
前記第１の眼球画像の撮像開始タイミングと前記第２の眼球画像の撮像開始タイミングは、相互に異なることを特徴とする撮像装置の撮像方法。
（方法２）
撮像装置の処理方法であって、
第１の周期で、第１の眼球画像を撮像し、前記第１の眼球画像を基に第１の視線を検出する第１の視線検出ステップと、
前記第１の周期で、第２の眼球画像を撮像し、前記第２の眼球画像を基に第２の視線を検出する第２の視線検出ステップとを有し、
前記第１の眼球画像の撮像開始タイミングと前記第２の眼球画像の撮像開始タイミングとの差は、前記撮像装置の状態、ユーザ設定、状況、またはユーザ操作に応じて変更されることを特徴とする撮像装置の撮像方法。
（プログラム１）
コンピュータを、構成１～１４のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。

１撮像表示システム、１０撮像表示装置、２０ケーブル、３０画像処理装置、１００制御部、１１０ａ，１１０ｂ表示素子、１２０位置姿勢センサ、１３０ａ，１３０ｂ背景用画像撮像素子、１３２ａ，１３２ｂ遅延部、１４０ａ，１４０ｂ位置検出用画像撮像素子、１５０ａ，１５０ｂ視線検出部

Claims

第１の周期で、第１の眼球画像を撮像し、前記第１の眼球画像を基に第１の視線を検出する第１の視線検出手段と、
前記第１の周期で、第２の眼球画像を撮像し、前記第２の眼球画像を基に第２の視線を検出する第２の視線検出手段とを有し、
前記第１の眼球画像の撮像開始タイミングと前記第２の眼球画像の撮像開始タイミングは、相互に異なることを特徴とする撮像装置。
前記第１の視線検出手段は、前記第１の視線の検出結果を出力し、
前記第２の視線検出手段は、前記第２の視線の検出結果を出力し、
前記第１の視線の検出結果の出力タイミングと前記第２の視線の検出結果の出力タイミングは、相互に異なることを特徴とする請求項１に記載の撮像装置。
前記第１の視線検出手段は、第１の開始信号を基に処理を開始し、
前記第２の視線検出手段は、第２の開始信号を基に処理を開始し、
前記第１の開始信号の入力タイミングと前記第２の開始信号の入力タイミングは、相互に異なることを特徴とする請求項１に記載の撮像装置。
前記第２の視線の検出結果の出力タイミングは、前記第１の視線の検出結果の出力タイミングに対して、前記第１の周期の半分の時間だけずれていることを特徴とする請求項２に記載の撮像装置。
前記第２の開始信号の入力タイミングは、前記第１の開始信号の入力タイミングに対して、前記第１の周期の半分の時間だけずれていることを特徴とする請求項３に記載の撮像装置。
前記第１の開始信号に対して遅延している前記第２の開始信号を生成する遅延手段をさらに有することを特徴とする請求項３に記載の撮像装置。
前記遅延手段は、表示垂直同期信号を第１の遅延量で遅延することより前記第１の開始信号を生成し、前記表示垂直同期信号を第２の遅延量で遅延することにより前記第２の開始信号を生成することを特徴とする請求項６に記載の撮像装置。
前記第１の視線の検出結果に応じた第１の画像を表示する第１の表示手段と、
前記第２の視線の検出結果に応じた第２の画像を表示する第２の表示手段とをさらに有することを特徴とする請求項１に記載の撮像装置。
前記第１の眼球画像は、左目の眼球画像であり、
前記第２の眼球画像は、右目の眼球画像であることを特徴とする請求項１に記載の撮像装置。
撮像装置であって、
第１の周期で、第１の眼球画像を撮像し、前記第１の眼球画像を基に第１の視線を検出する第１の視線検出手段と、
前記第１の周期で、第２の眼球画像を撮像し、前記第２の眼球画像を基に第２の視線を検出する第２の視線検出手段とを有し、
前記第１の眼球画像の撮像開始タイミングと前記第２の眼球画像の撮像開始タイミングとの差は、前記撮像装置の状態、ユーザ設定、状況、またはユーザ操作に応じて変更されることを特徴とする撮像装置。
前記第１の視線の検出結果と前記第２の視線の検出結果とを基に、視差、輻輳角、もしくは眼幅を演算する場合、または視線キャリブレーションを行う場合、前記第１の視線検出手段の前記第１の眼球画像の撮像開始タイミングと前記第２の視線検出手段の前記第２の眼球画像の撮像開始タイミングとが同じになるように制御する制御手段をさらに有することを特徴とする請求項１０に記載の撮像装置。
前記第１の視線の検出結果に応じた第１の画像を表示する第１の表示手段と、
前記第２の視線の検出結果に応じた第２の画像を表示する第２の表示手段とをさらに有することを特徴とする請求項１０に記載の撮像装置。
前記第１の表示手段と前記第２の表示手段がユーザ操作により操作画面を表示する場合、前記第１の視線検出手段の前記第１の眼球画像の撮像開始タイミングと前記第２の視線検出手段の前記第２の眼球画像の撮像開始タイミングとが異なるように制御する制御手段をさらに有することを特徴とする請求項１２に記載の撮像装置。
前記第１の視線の検出結果と前記第２の視線の検出結果とを基に輻輳角を演算し、前記輻輳角が第１の閾値より小さい場合、前記第１の視線検出手段の前記第１の眼球画像の撮像開始タイミングと前記第２の視線検出手段の前記第２の眼球画像の撮像開始タイミングとが異なるように制御する制御手段をさらに有することを特徴とする請求項１０に記載の撮像装置。
第１の周期で、第１の眼球画像を撮像し、前記第１の眼球画像を基に第１の視線を検出する第１の視線検出ステップと、
前記第１の周期で、第２の眼球画像を撮像し、前記第２の眼球画像を基に第２の視線を検出する第２の視線検出ステップとを有し、
前記第１の眼球画像の撮像開始タイミングと前記第２の眼球画像の撮像開始タイミングは、相互に異なることを特徴とする撮像装置の撮像方法。
撮像装置の処理方法であって、
第１の周期で、第１の眼球画像を撮像し、前記第１の眼球画像を基に第１の視線を検出する第１の視線検出ステップと、
前記第１の周期で、第２の眼球画像を撮像し、前記第２の眼球画像を基に第２の視線を検出する第２の視線検出ステップとを有し、
前記第１の眼球画像の撮像開始タイミングと前記第２の眼球画像の撮像開始タイミングとの差は、前記撮像装置の状態、ユーザ設定、状況、またはユーザ操作に応じて変更されることを特徴とする撮像装置の撮像方法。
コンピュータを、請求項１～１４のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。