JPWO2019244270A1 - 眼３次元座標取得装置及びジェスチャ操作装置 - Google Patents

Abstract

眼３次元座標取得装置（１００）は、眼２次元座標（Ｄ１４）を計算する眼２次元座標計算部（１０３）と、最大撮像画角（Ｄ１３）と眼２次元座標とから、撮像位置である第１起点から眼の位置に向かう第１の３次元ベクトル及び第１起点を起点とし第１の３次元ベクトルを方向ベクトルとする第１の直線（Ｄ１５）を計算する第１の直線計算部（１０４）と、２次元画像と眼２次元座標とから、眼の位置である第２起点から注視点の位置に向かう第２の３次元ベクトル（Ｄ１６）を計算する３次元ベクトル計算部（１０５）と、第２の３次元ベクトルの逆ベクトルであり、注視点の位置である第３起点から眼の位置に向かう第３の３次元ベクトル及び第３起点を起点とし第３の３次元ベクトルを方向ベクトルとする第２の直線（Ｄ１７）を計算する第２の直線計算部（１０６）を有し、第１の直線と第２の直線と注視点位置情報（Ｄ１２）とから眼３次元座標（Ｄ１８）を計算する。

Description

本発明は、２次元撮像部によって撮像された２次元画像に基づいて、２次元画像に含まれる眼の位置を示す眼３次元座標を取得する眼３次元座標取得装置及びこれを有するジェスチャ操作装置に関する。

近年、様々な情報機器において、操作者の身振り手振りなどのジェスチャ操作によって情報を入力するジェスチャ操作装置が使用されている。ジェスチャ操作装置の中には、操作者の身体の部位の位置を示す３次元座標を、例えば、ステレオカメラのような機器を用いて取得された３次元画像（すなわち、立体画像）から取得して操作者にとっての操作性を向上させるものが存在する（例えば、特許文献１及び２参照）。

特開２０１１−１７５６１７号公報（例えば、段落００１０〜００１３、図２） 特開２０１１−５４１１８号公報（例えば、段落００１０、図２）

しかしながら、３次元撮像部を用いて身体の部位の位置を示す３次元座標を取得する機能を備えた装置は、部品点数が多く、構造及び制御が複雑であるという課題がある。

本発明は、上記従来技術の課題を解決するためになされたものであり、２次元撮像部によって撮像された２次元画像に基づいて、２次元画像に含まれる眼の位置を示す眼３次元座標を取得することができる眼３次元座標取得装置及びこれを有するジェスチャ操作装置を提供することを目的とする。

本発明の一形態に係る眼３次元座標取得装置は、２次元撮像部によって撮像された２次元画像と注視点の位置を示す注視点位置情報とから、前記注視点を見る眼の位置を示す眼３次元座標を取得する装置であって、前記２次元画像内における前記眼の２次元位置を示す眼２次元座標を計算する眼２次元座標計算部と、前記２次元撮像部の最大撮像画角と前記眼２次元座標とから、前記２次元撮像部の撮像位置である第１起点から前記眼の位置に向かう第１の３次元ベクトルを方向ベクトルとし且つ前記第１起点を起点とする第１の直線を計算する第１の直線計算部と、前記２次元画像と前記眼２次元座標とから、前記眼の位置である第２起点から前記注視点の位置に向かう第２の３次元ベクトルを計算する３次元ベクトル計算部と、前記第２の３次元ベクトルの逆ベクトルであり、前記注視点の位置である第３起点から前記眼の位置に向かう第３の３次元ベクトルを方向ベクトルとし且つ前記第３起点を起点とする第２の直線を計算する第２の直線計算部と、前記第１の直線と前記第２の直線と前記注視点位置情報とから三角測量法を用いて前記眼３次元座標を計算する眼３次元座標計算部と、を有することを特徴とする。

本発明の他の形態に係るジェスチャ操作装置は、上記眼３次元座標取得装置と、ジェスチャ操作を含む２次元画像を撮像する撮像装置と、前記ジェスチャ操作が行われる仮想の操作面である仮想面における前記ジェスチャ操作の位置を示す仮想面内ジェスチャ座標を取得するジェスチャ座標取得部と、を有することを特徴とする。

本発明に係る眼３次元座標取得装置は、２次元撮像部が撮像する２次元画像に基づいて、２次元画像に含まれる眼の位置を示す眼３次元座標を取得することができる。また、本発明に係る眼３次元座標取得装置によれば、装置の構造及び制御を簡素化することができる。

本発明に係るジェスチャ操作装置は、眼３次元座標取得装置によって取得された眼３次元座標に基づいて、ジェスチャ操作が行われる仮想面の位置を計算するので、操作者のジェスチャ操作を正確に検出することができる。また、本発明に係るジェスチャ操作装置によれば、装置の構造及び制御を簡素化することができる。

本発明の実施の形態１に係る眼３次元座標取得装置を示すブロック図である。 実施の形態１における２次元撮像部の撮像位置、眼の位置、及び注視点の位置の例をｚｘ平面上に示す図である。 実施の形態１における２次元撮像部の撮像位置、眼の位置、及び注視点の位置の例をｘｙ平面上に示す図である。 実施の形態１における注視点としての発光素子の例を示す図である。 実施の形態１に係る眼３次元座標取得装置の眼２次元座標計算部が受信する２次元画像及び眼２次元座標計算部が出力する眼の位置の２次元座標の例を示す図である。 実施の形態１における２次元撮像部の撮像位置から眼の位置に向かう方向の３次元ベクトルのヨー成分の計算方法を示す図である。 実施の形態１における２次元撮像部の撮像位置から眼の位置に向かう方向の３次元ベクトルのピッチ成分の計算方法を示す図である。 実施の形態１における２次元撮像部の撮像位置である第１起点から眼の位置に向かう方向の第１の３次元ベクトル及び、第１の３次元ベクトルを方向ベクトルとし且つ第１起点を起点とする第１の直線の例を示す図である。 実施の形態１における眼の位置である第２起点から注視点の位置に向かう方向の第２の３次元ベクトルの例を示す図である。 実施の形態１における注視点の位置である第３起点から眼の位置に向かう方向の第３の３次元ベクトル（すなわち、第２の３次元ベクトルの逆ベクトル）及び、第３の３次元ベクトルを方向ベクトルとし且つ第３起点を起点とする第２の直線の例を示す図である。 図８に示される第１の直線と図１０に示される第２の直線を三角測量実施平面に射影することで得られた第１の射影直線と第２の射影直線を示す図である。 図１１に示される三角測量実施平面上における交点を通る法線と第１の直線及び第２の直線との交点を示す図である。 図１１に示される三角測量実施平面上における交点を通る法線と第１の直線との交点及び法線と第２の直線との交点を示す図である。 本発明の実施の形態２における注視点の提示方法の例を示す図である。 実施の形態２における注視点の提示方法の他の例を示す図である。 実施の形態２における注視点の提示方法のさらに他の例を示す図である。 本発明の実施の形態３に係るジェスチャ操作装置を示すブロック図である。 実施の形態３における３次元仮想面の例を示す概略図である。 実施の形態３における２次元仮想面の例を示す概略図である。 実施の形態３における２次元仮想面内のジェスチャ画像の例を示す概略図である。 実施の形態３における２次元仮想面内におけるジェスチャ位置を示す座標の例を示す概略図である。 本発明の実施の形態４に係るジェスチャ操作装置を示すブロック図である。 本発明の実施の形態５に係るジェスチャ操作装置を示すブロック図である。 実施の形態５に係るジェスチャ操作装置の動作を示す図である。 実施の形態１から５の変形例のハードウェア構成の例を示すブロック図である。

以下に、本発明の実施の形態に係る眼３次元座標取得装置及びこれを有するジェスチャ操作装置を、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

以下の説明では、３次元位置を示すためにｘｙｚ直交座標系であるワールド座標系を用いる。ワールド座標系において、ｘ軸は、２次元撮像部の光軸に直交する横方向の座標軸である。ｙ軸は、２次元撮像部の光軸に直交する縦方向の座標軸である。ｚ軸は、２次元撮像部の撮像位置（すなわち、２次元撮像部の撮像素子の中心位置）を通る光軸に一致する座標軸である。以下の実施の形態において、撮像位置は、ワールド座標系の原点である。

また、以下の説明では、２次元撮像部が撮像した２次元画像における２次元位置を示すＸＹ直交座標系を用いる。ＸＹ直交座標系において、Ｘ軸は、２次元画像の横方向に対応する座標軸であり、Ｙ軸は、２次元画像の縦方向に対応する座標軸である。

２次元撮像部における光学歪みが十分に小さい場合には、ワールド座標系におけるｘ軸とＸＹ直交座標系におけるＸ軸とは、互いに平行であるとみなすことができる。２次元撮像部における光学歪みが十分に小さい場合には、ワールド座標系におけるｙ軸とＸＹ直交座標系におけるＹ軸とは、互いに平行であるとみなすことができる。ただし、通常、ワールド座標系における単位長さとＸＹ直交座標系における単位長さとは一致しない。例えば、ワールド座標系における単位長さ１ｍｍに対応する、ＸＹ直交座標系における単位長さは、１画素の長さ（すなわち、互いに隣接する画素の中心位置の間隔）である。

実施の形態１．
図１は、実施の形態１に係る眼３次元座標取得装置１００を示すブロック図である。眼３次元座標取得装置１００は、２次元撮像部１０１によって撮像領域を撮像して得られた２次元画像（すなわち、２次元画像データ）Ｄ１１と注視点（「注視対象点」とも言う）の位置３１を示す注視点位置情報Ｄ１２とから、注視点を見る眼の位置をワールド座標系の３次元座標で示す眼３次元座標Ｄ１８を取得する装置である。眼は、例えば、眼３次元座標取得装置１００を有する装置の操作者（例えば、ユーザー）の眼である。注視点は、操作者が注目しやすい（すなわち、操作者の視線が向けられる）物体又は表示された画像部分などである。

図１に示されるように、眼３次元座標取得装置１００は、２次元画像Ｄ１１内における眼２次元座標Ｄ１４を計算する眼２次元座標計算部１０３と、撮像位置を起点（すなわち、第１起点）とする第１の直線ＬＶ１（すなわち、Ｄ１５）を計算する第１の直線計算部１０４と、眼の位置を起点（すなわち、第２起点）とする第２の３次元ベクトルＶ２（すなわち、Ｄ１６）を計算する３次元ベクトル計算部１０５と、注視点の位置を起点（すなわち、第３起点）とする第２の直線ＬＶ３（すなわち、Ｄ１７）を計算する第２の直線計算部１０６と、眼３次元座標Ｄ１８を計算する眼３次元座標計算部１０７とを有する。眼３次元座標取得装置１００は、２次元撮像部１０１を含んでもよい。また、眼３次元座標取得装置１００は、注視点位置情報提供部１０２を含んでもよい。

図２は、実施の形態１における２次元撮像部１０１の撮像位置１１、操作者２０の眼の位置２１、及び注視点の位置３１の例をｚｘ平面上に示す図である。図３は、２次元撮像部１０１の撮像位置１１、操作者２０の眼の位置２１、及び注視点の位置３１の例をｘｙ平面上に示す図である。２次元撮像部１０１は、撮影領域の２次元画像（すなわち、２次元画像データ）Ｄ１１を取得する。２次元撮像部１０１は、例えば、撮影領域の画像を取得する撮像素子を備えたカメラである。図２及び図３において、操作者２０は、注視点の位置３１に視線２２を向けている。

図４は、実施の形態１における注視点としての発光素子３０の例を示す図である。図４において、操作者２０は、点灯している発光素子３０の中心位置である注視点の位置３１に視線２２を向けている。発光素子３０は、例えば、予め決められた位置に配置されたＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。複数の発光素子３０を備え、その内のいずれか１つを点灯させることによって、注視点の位置３１を変更することができる。注視点位置情報提供部１０２は、注視点の位置３１を示す注視点位置情報Ｄ１２（例えば、注視点の位置３１の３次元座標）を提供する装置である。注視点位置情報提供部１０２は、注視点位置情報Ｄ１２を記憶する記憶部、又は、注視点位置情報Ｄ１２を受信する受信部などである。注視点位置情報提供部１０２は、眼３次元座標取得装置１００に注視点位置情報Ｄ１２を提供する装置、又は、眼３次元座標取得装置１００によって注視点位置情報Ｄ１２を計算可能にする情報を提供する装置であれば、どのような装置であってもよい。注視点は、ランプの中心点、回転灯の中心点、レーザーポインタによる光照射点、又は特別な手段を備えないが操作者によって注視されるということが予想される予め決められた位置などである。なお、注視点位置情報提供部１０２は、注視点としての発光素子３０を備えた装置、注視点としての発光素子３０に接続された装置であってもよい。また、図４において注視点としての発光素子３０はｘ軸上に存在しているが、発光素子３０の存在する位置はｘ軸上に限らず、空間の任意の点に存在してよい。

図５は、実施の形態１に係る眼３次元座標取得装置１００の眼２次元座標計算部１０３が受信する２次元画像Ｄ１１及び眼２次元座標計算部１０３が出力する眼の位置の眼２次元座標Ｄ１４の例を示す図である。図６は、２次元撮像部１０１の撮像位置１１から眼の位置２１に向かう方向の３次元ベクトルのヨー成分の計算方法を示す図である。図７は、２次元撮像部１０１の撮像位置１１から眼の位置２１に向かう方向の３次元ベクトルのピッチ成分の計算方法を示す図である。なお、図６には、注視点の位置３１と眼の位置２１とを結ぶ直線と眼の位置２１を通りｘ軸に垂直な直線とによって決まる角γ_Ｘとγ_Ｙも示されている。これらは、実施の形態２で説明される。

眼２次元座標計算部１０３は、２次元撮像部１０１によって取得された２次元画像Ｄ１１内における眼２次元座標Ｄ１４を検出する（すなわち、計算によって取得する）。２次元画像Ｄ１１から眼２次元座標Ｄ１４を検出するときには、例えば、ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）又はＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ）などを用いた対象物体の抽出方法を用いることができる。

図６に示されるように、２次元画像Ｄ１１内における眼２次元座標Ｄ１４のＸ座標（例えば、Ｘ方向の画素数）をＸ_ｅで表し、２次元画像Ｄ１１の横方向の総画素数の１／２の画素数をＸ_ｍａｘで表し、３次元ベクトルと撮像系の光軸であるｚ軸とがなす角度である３次元ベクトルのヨー角をα_Ｘで表し、２次元画像Ｄ１１の横方向の撮影最大画角をβ_Ｘで表す。このとき、以下の関係式が成立する。
Ｘ_ｅ：Ｘ_ｍａｘ＝ｔａｎα_Ｘ：ｔａｎβ_Ｘ
したがって、３次元ベクトルのヨー角α_Ｘは、以下の式（１）で計算できる。

図７に示されるように、２次元画像Ｄ１１内における眼２次元座標Ｄ１４のＹ座標（例えば、Ｙ方向の画素数）をＹ_ｅで表し、２次元画像Ｄ１１の縦方向の総画素数の１／２の画素数をＹ_ｍａｘで表し、３次元ベクトルと撮像系の光軸であるｚ軸とがなす角度である３次元ベクトルのピッチ角をα_Ｙで表し、２次元画像Ｄ１１の縦方向の撮影最大画角をβ_Ｙで表す。このとき、以下の関係式が成立する。
Ｙ_ｅ：Ｙ_ｍａｘ＝ｔａｎα_Ｙ：ｔａｎβ_Ｙ
したがって、３次元ベクトルのピッチ角α_Ｙは、以下の式（２）で計算できる。

なお、眼２次元座標計算部１０３は、眼の位置２１を示す眼２次元座標Ｄ１４、すなわち、座標（Ｘ_ｅ，Ｙ_ｅ）として、一方又は両方の眼に基づく眼の代表位置を用いることができる。例えば、眼２次元座標計算部１０３は、眼の代表位置として、右眼の位置、又は左眼の位置、又は両眼の位置、又は両眼の位置の平均位置などを用いることができる。眼の位置２１として一方の眼の位置のみを用いる場合には、眼２次元座標計算部１０３が一方の眼の位置のみを検出できた場合であっても、眼の位置の計算を行うことができる、すなわち、眼の位置の検出不能の頻度を減らすことができるという利点がある。眼の位置２１として、両方の眼の位置を用いる場合には、一方の眼の位置のみを使う場合よりも高精度な眼の位置の計算を行うことができるという利点がある。

図８は、実施の形態１における２次元撮像部１０１の撮像位置１１である第１起点から眼の位置２１に向かう方向の第１の３次元ベクトルＶ１を方向ベクトルとし且つ第１起点を起点とする第１の直線ＬＶ１（すなわち、Ｄ１５）の例を示す図である。第１の直線計算部１０４は、２次元撮像部１０１によって撮像された２次元画像Ｄ１１の最大撮像画角β_Ｘ及びβ_Ｙ（すなわち、Ｄ１３）と眼２次元座標計算部１０３によって取得された眼の位置２１に対応する眼２次元座標Ｄ１４とから、２次元撮像部１０１の撮像位置１１である第１起点から眼の位置２１に向かう３次元方向の情報を持つ単位ベクトルである撮像位置・眼方向３次元ベクトル、すなわち、第１の３次元ベクトルＶ１を計算し、第１の３次元ベクトルＶ１を方向ベクトルとし且つ第１起点を起点とする第１の直線ＬＶ１を計算する。

図９は、実施の形態１における眼の位置２１である第２起点から注視点の位置３１に向かう方向の第２の３次元ベクトルＶ２（すなわち、Ｄ１６）の例を示す図である。３次元ベクトル計算部１０５は、２次元画像Ｄ１１と眼２次元座標Ｄ１４とから、眼の位置２１である第２起点から注視点の位置３１に向かう３次元方向の情報を持つ単位ベクトルである眼・注視点方向３次元ベクトル、すなわち、第２の３次元ベクトルＶ２を計算する。３次元ベクトル計算部１０５は、第２の３次元ベクトルＶ２の方向を計算するためには、目尻目頭法、角膜反射法、明瞳孔法、又は暗瞳孔法などのような公知の方法を用いることができる。また、顔の向きは視線方向と強い相関があるため、顔の向きを視線方向として用いてもよい。この場合、３次元ベクトル計算部１０５は、２次元画像における操作者２０の顔全体の範囲を、カスケード検出器、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、又はディープラーニングなどの方法で検出し、検出された顔全体の範囲内の必要な顔パーツである眼、鼻、又は口の位置をＡＳＭ法又はＡＡＭ法で計算し、検出された顔全体の範囲内における顔パーツの位置の偏りに基づいて、顔の向きを計算することができる。

図１０は、実施の形態１における注視点の位置３１である第３起点から眼の位置２１に向かう方向の第３の３次元ベクトルＶ３を方向ベクトルとし且つ第３起点を起点とする第２の直線ＬＶ３（すなわち、Ｄ１７）の例を示す図である。第３の３次元ベクトルＶ３は、第２の３次元ベクトルＶ２の逆ベクトルである。第２の直線計算部１０６は、注視点の位置３１である第３起点から眼の位置２１に向かう３次元方向の情報を持つ単位ベクトルである注視点・眼方向３次元ベクトル、すなわち、第３の３次元ベクトルＶ３を計算し、第３の３次元ベクトルＶ３を方向ベクトルとし且つ第３起点を起点とする第２の直線ＬＶ３を計算する。

図１１は、図８に示される第１の直線ＬＶ１と図１０に示される第２の直線ＬＶ３を三角測量実施平面４０に射影することで得られた第１の射影直線ＰＶ１ａと第２の射影直線ＰＶ３ａならびに、第１の射影直線ＰＶ１ａと第２の射影直線ＰＶ３ａとの交点２３ａを示す図である。図１２は、図１１に示される三角測量実施平面４０上における交点２３ａを通る法線である眼存在範囲直線４１と第１の直線ＬＶ１及び第２の直線ＬＶ３との交点２３を示す図である。

眼３次元座標計算部１０７は、第１の直線ＬＶ１と第２の直線ＬＶ３と注視点位置情報Ｄ１２とから三角測量法を用いて眼３次元座標Ｄ１８を計算する。眼３次元座標Ｄ１８の計算方法の例を以下に説明する。

三角測量法では、３次元空間における直線及び３次元空間上の点を射影する任意の平面である三角測量実施平面４０を用いる。図１１及び図１２において、三角測量実施平面４０は、ｕ軸とｖ軸とを座標軸とするｕｖ直交座標系のｕｖ平面である。ｕ軸及びｖ軸は、ワールド座標系のｘ軸、ｙ軸、ｚ軸と平行ではある必要はない。しかし、ｕ軸又はｖ軸は、ｘ軸、ｙ軸、ｚ軸のいずれかと平行であってもよい。

三角測量実施平面４０は、例えば、重力方向（すなわち、鉛直方向）に直交する水平面である。三角測量実施平面４０は、２次元撮像部１０１の光軸と直交し且つ水平面に対して平行な直線と、２次元撮像部１０１の光軸とを含む平面に平行な平面であってもよい。また、三角測量実施平面４０として、他の平面を用いてもよい。

三角測量実施平面４０を定めた後、眼３次元座標計算部１０７は、図１１に示されるように、撮像位置１１から眼の位置２１に向かう第１の直線ＬＶ１を三角測量実施平面４０へ射影することで第１の射影直線ＰＶ１ａを求める。

同様に、図１１に示されるように、眼３次元座標計算部１０７は、注視点の位置３１から眼の位置２１に向かう第２の直線ＬＶ３を三角測量実施平面４０へ射影することで第２の射影直線ＰＶ３ａを求める。

ここで、図１１に示されるように、第１の射影直線ＰＶ１ａと第２の射影直線ＰＶ３ａとの交点２３ａが、眼の位置２１の三角測量実施平面４０への射影点となる。したがって、図１２に示されるように、眼３次元座標Ｄ１８は、眼の位置２１の三角測量実施平面４０への射影点（交点２３ａ）を通り、三角測量実施平面４０に垂直な直線（すなわち、法線）を眼存在範囲直線４１とすると、眼存在範囲直線４１上のいずれかの位置に決定される。

さらに、第１の直線ＬＶ１（すなわち、撮像位置１１を通り、第１の３次元ベクトルＶ１を方向ベクトルとする直線）と第２の直線ＬＶ３（すなわち、注視点の位置３１を通り、第３の３次元ベクトルＶ３を方向ベクトルとする直線）とは、理論上は、眼存在範囲直線４１上の一点である交点２３で交わる。このため、眼３次元座標計算部１０７は、交点２３の座標を眼３次元座標Ｄ１８として出力する。

図１３は、図１１に示される三角測量実施平面４０上における交点２３を通る法線である眼存在範囲直線４１と第１の直線ＬＶ１との交点２４及び眼存在範囲直線４１と第２の直線ＬＶ３との交点２５を示す図である。

実際の計算では、眼２次元座標Ｄ１４の計算誤差、第２の３次元ベクトルＶ２の計算誤差、及びコンピュータの計算上の量子化誤差若しくは丸め誤差などにより、図１３に示されるように、第１の直線ＬＶ１と眼存在範囲直線４１との交点２４と、第２の直線ＬＶ３と眼存在範囲直線４１との交点２５とが一致しないことがある。これを言い換えれば、第１の直線ＬＶ１と第２の直線ＬＶ３とが互いにねじれの位置の関係にある場合である。この場合、眼３次元座標計算部１０７は、第１の直線ＬＶ１と眼存在範囲直線４１との交点２４と、第２の直線ＬＶ３と眼存在範囲直線４１との交点２５とを結び、両端（すなわち、交点２４と２５）を含む線分、すなわち、交点２４と２５を結ぶ線分上のいずれかの点の座標である眼３次元座標Ｄ１８を出力する。眼３次元座標Ｄ１８を交点２４と２５を結ぶ線分上のどこに決めるかは、例えば、以下の方法を用いることができる。

眼３次元座標計算部１０７は、第１の直線ＬＶ１と眼存在範囲直線４１との交点２４、又は第２の直線ＬＶ３と眼存在範囲直線４１との交点２５のいずれかを眼３次元座標Ｄ１８に決めることができる。また、眼３次元座標計算部１０７は、交点２４と交点２５の中点を眼３次元座標Ｄ１８に決めてもよい。さらにまた、眼３次元座標計算部１０７は、眼２次元座標計算部１０３が両方の眼の位置を計算したときの、両方の眼の位置の信頼度を併せて計算し、両方の眼の位置の信頼度に応じて内分した内分点を眼３次元座標Ｄ１８に決めてもよい。なお、このように第１の直線ＬＶ１と第２の直線ＬＶ３とが互いにねじれの位置の関係にある場合、三角測量実施平面４０として、第１の直線ＬＶ１と第２の直線ＬＶ３との両方に直交する直線（すなわち、共通垂線）に垂直な平面を用いることで、交点２４と２５を結ぶ線分を最も短く設定することができ、眼３次元座標Ｄ１８の範囲を最も絞り込むことができる。

以上に説明したように、実施の形態１に係る眼３次元座標取得装置１００は、２次元撮像部１０１によって撮像された２次元画像Ｄ１１と注視点の位置３１を示す注視点位置情報Ｄ１２とから、注視点を見る眼の位置を示す眼３次元座標Ｄ１８を取得することができる。また、実施の形態１に係る眼３次元座標取得装置１００によれば、３次元撮像部を用いる必要がないので、装置の構造及び制御を簡素化することができる。

実施の形態２．
実施の形態２に係る眼３次元座標取得装置は、注視点の提示方法を除いて、実施の形態１に係る眼３次元座標取得装置１００と同じである。実施の形態２においては、注視点は、表示画像の一部である画像部分によって操作者に提示される。実施の形態２では、実施の形態１の説明で用いた図１から図１３を参照する。

図１４は、実施の形態２における注視点の提示方法の例を示す図である。図１４の例では、注視点は、表示装置であるＶＤＴ（Ｖｉｓｕａｌ Ｄｉｓｐｌａｙ Ｔｅｒｍｉｎａｌｓ）装置３２ａの表示画面にマーク（例えば、矢印形のポインタ）３２として表示される。マーク３２は、点灯と消灯を交互に繰り返すように点滅させてもよい。また、マーク３２を注視することを促すメッセージが表示されてもよい。この場合、注視点位置情報提供部１０２は、マーク３２の位置を示す位置情報を眼３次元座標取得装置に提供する。

図１５は、実施の形態２における注視点の提示方法の他の例を示す図である。図１５の例では、注視点は、プロジェクタ装置３３ａによってマーク（例えば、矢印形のポインタ）３３として投影される。マーク３３は、点灯と消灯を交互に繰り返すように点滅させてもよい。また、マーク３３を注視することを促すメッセージが表示されてもよい。この場合、注視点位置情報提供部１０２は、マーク３３の位置を示す位置情報を眼３次元座標取得装置に提供する。

図１６は、実施の形態２における注視点の提示方法のさらに他の例を示す図である。図１６の例では、注視点は、表示装置であるＶＤＴ装置３４ａの表示画面にマーク（例えば、矢印形のポインタ）３４として表示される。図１６の例では、ＶＤＴ装置３４ａの上部中央付近に２次元撮像部１０１が配置されている。この場合には、注視点としてのマーク３４を、２次元撮像部１０１の撮像位置１１から最も離れた位置に表示する。このように、注視点を示すマーク３４の位置を撮像位置１１から遠くすることで（図１６では、左下隅に移動することで）、三角測量における見込み角（例えば、図６におけるπ／４−α_Ｘ＋γ_Ｘ、図７におけるπ／４−α_Ｙ＋γ_Ｙ）を大きくすることができ、その結果、眼３次元座標Ｄ１８の計測精度を向上させることができる。

以上に説明したように、実施の形態２に係る眼３次元座標取得装置は、２次元撮像部１０１によって撮像された２次元画像Ｄ１１と注視点の位置３１を示す注視点位置情報Ｄ１２とから、注視点を見る眼の位置を示す眼３次元座標Ｄ１８を取得することができる。また、実施の形態１に係る眼３次元座標取得装置１００によれば、３次元撮像部を用いる必要がないので、装置の構造及び制御を簡素化することができる。

また、実施の形態２に係る眼３次元座標取得装置は、図１４のＶＤＴ装置３２ａ、図１５のプロジェクタ装置３３ａ、又は図１６のＶＤＴ装置３４ａを、装置の一部として含んでもよい。

実施の形態３．
図１７は、実施の形態３に係るジェスチャ操作装置３００を示すブロック図である。図１７に示されるように、実施の形態３に係るジェスチャ操作装置３００は、実施の形態１又は２に係る眼３次元座標取得装置１００と、操作者のジェスチャ操作を含む２次元画像を撮像する撮像装置と、ジェスチャ操作が行われる仮想の操作面である仮想面におけるジェスチャ操作の位置を示す仮想面内ジェスチャ座標Ｄ２２を取得するジェスチャ座標取得部３１０とを有する。図１７では、撮像装置は、２次元撮像部１０１であるが、２次元撮像部１０１と異なる他の２次元撮像部であってもよい。

実施の形態３に係るジェスチャ操作装置３００は、ジェスチャ操作ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）である。ジェスチャ操作装置３００は、空間における操作者の手の位置に対応した仮想面内ジェスチャ座標Ｄ２２を操作対象機器（図示せず）に送信する。操作対象機器の表示装置（図示せず）の画面上のポインタは、仮想面内ジェスチャ座標Ｄ２２に応じた位置に移動し、画面上の特定の位置に表示されたアイコンなどの操作部品のいずれかが選択される。ジェスチャ操作装置３００を、リモコン又はマウスなどのような物理的な入力装置の代わりに用いることにより、操作対象機器の容易な操作が可能になる。また、ジェスチャ操作装置３００では、操作者は空間において身体の部位（例えば、手）を動かすことで操作を行うことができ、入力操作部に手を接触させる必要がないため、衛生面で優れている。

実施の形態３に係るジェスチャ操作装置３００では、操作者の手の位置及び動きに応じた仮想面内ジェスチャ座標Ｄ２２を受信した操作対象機器の表示装置の画面におけるポインタを表示及び移動させる構成を説明する。ジェスチャ操作は、手以外の身体部位、例えば、顔、腕、身体全体、又は脚などによって行われてもよい。また、ジェスチャ操作装置３００は、ジェスチャ操作に応じて操作対象機器の表示装置の画面におけるポインタを移動させるのでなく、ジェスチャ操作が開始された座標、ジェスチャ操作を行った身体部位の種類、ジェスチャ操作における身体部位の移動の方向などに応じた内容の動作を、操作対象機器に実行させるように構成されてもよい。表示装置の画面は、例えば、ＶＤＴ装置、プロジェクタ装置、又はヘッドマウントディスプレイなどである。また、ジェスチャ操作装置３００は、表示装置を備えていない操作対象機器の操作に使用することもできる。

図１７に示されるように、ジェスチャ座標取得部３１０は、眼３次元座標取得装置１００から提供された眼３次元座標Ｄ１８に基づいて仮想面３次元座標Ｄ１９を計算する仮想面３次元座標計算部３０１と、仮想面３次元座標Ｄ１９に基づいて仮想面２次元座標Ｄ２０を計算する仮想面２次元座標計算部３０２と、２次元画像Ｄ１１から、ジェスチャ操作が行われている位置の２次元座標を示す２次元画像内ジェスチャ座標Ｄ２１を計算するジェスチャ座標計算部３０３と、仮想面２次元座標Ｄ２０と２次元画像内ジェスチャ座標Ｄ２１とから、仮想面２次元座標Ｄ２０における仮想面内ジェスチャ座標Ｄ２２を計算する仮想面内ジェスチャ座標計算部３０４とを有する。実施の形態３においては、２次元画像内ジェスチャ座標Ｄ２１は、２次元画像内における手の位置の移動範囲内の位置である。２次元画像内ジェスチャ座標Ｄ２１の計算には、ルールベースによる方法、テンプレートマッチングによる方法、又はディープラーニングを用いる方法などを使用することができる。

図１８は、実施の形態３における仮想面３７１（「仮想操作面」とも言う）の例を示す概略図である。仮想面３次元座標計算部３０１は、眼３次元座標Ｄ１８から仮想面３７１を示す座標である仮想面３次元座標Ｄ１９を計算する。仮想面３７１は、操作者２０から表示装置の画面又は操作対象機器に向かう方向に存在することが、操作性の点で望ましい。したがって、仮想面３次元座標計算部３０１は、眼３次元座標Ｄ１８である起点から予め決められた方向の３次元ベクトルＶ３０（例えば、第２の３次元ベクトルＶ２）から延在した直線上における、操作者の腕の可動範囲内の点を仮想面基準点３７２として設定し、仮想面基準点３７２を含む面を仮想面３７１として設定する。

仮想面基準点３７２は、例えば、仮想面３７１の中心である。ただし、仮想面基準点３７２は、仮想面３７１の中心以外の点であってもよい。仮想面基準点３７２は、例えば、眼の位置２１と注視点の位置３１とを結ぶ直線上の点であり、操作者による手の可動範囲は、この直線の位置からいずれかの方向にオフセットしているためである。例えば、手の可動範囲は眼の位置２１より鉛直方向の下側であるため、仮想面３７１を第２の３次元ベクトルＶ２より少し鉛直方向の下側にオフセットさせて設定することで、操作性が高まる。また、眼の位置２１として、一方の眼の位置を使用した場合は、仮想面３７１を一方の眼の位置の方向にオフセットさせることで、操作性が高まる。また、ジェスチャ操作を行う手が右手であるのか左手であるのかが予めわかっている場合は、仮想面３７１をジェスチャ操作を行う手の方向にオフセットさせることで、操作性が高まる。このように、ジェスチャ操作の仕様に応じて仮想面３７１がオフセットするような仮想面基準点３７２を設定することで、装置の操作性を高めることができる。

操作者の腕の可動範囲は、予め決められた値の範囲内である。腕の長さの平均値を７０ｃｍ程度（日本人の平均値）である場合には、眼３次元座標Ｄ１８から仮想面基準点３７２まで距離は０〜７０ｃｍの範囲内であることが妥当である。しかし、この距離が短過ぎる場合又は長すぎる場合には操作性が低下する。このため、実施の形態３では、眼３次元座標Ｄ１８から仮想面基準点３７２までの距離を、腕の長さの平均値の１／２の３５ｃｍである場合を説明する。眼３次元座標Ｄ１８と仮想面基準点３７２との距離は、操作者の腕の長さ以下の範囲内で選択可能である。

仮想面３７１は、図１８に示されるような曲面であってもよいし、又は平面であってもよい。手の可動範囲は、腕の付け根（肩関節の位置）を中心に円周状又は球面状であるため、仮想面３７１は手の可動範囲に近い曲面である場合に操作性が向上する。しかし、計算の簡便化のために、仮想面３７１を平面としてもよい。

図１９は、実施の形態３における仮想面３８１の例を示す概略図である。図２０は、実施の形態３におけるジェスチャ操作を含む２次元画像Ｄ１１の例を示す概略図である。図１９及び図２０に示されるように、仮想面２次元座標計算部３０２は、図１８に示される仮想面３７１の２次元画像Ｄ１１上への投影面である仮想面３８１の座標である仮想面２次元座標Ｄ２０を、仮想面３７１上の仮想面３次元座標Ｄ１９を用いて計算する。

図２１は、実施の形態３における仮想面３８１内におけるジェスチャ位置３９０を示す座標の例を示す概略図である。図２１に示されるように、仮想面内ジェスチャ座標計算部３０４は、仮想面２次元座標Ｄ２０と２次元画像内ジェスチャ座標Ｄ２１とから、仮想面内ジェスチャ座標Ｄ２２を計算する。図２１には、仮想面内ジェスチャ座標Ｄ２２が示す位置として、ジェスチャ操作が行われたジェスチャ領域の中心であるジェスチャ位置３９０及びジェスチャ領域の四隅３９１〜３９４が示されている。仮想面内ジェスチャ座標Ｄ２２が示す位置は、図２１の例に限定されない。

また、図２０に示されるように、一般に、仮想面３８１は２次元画像Ｄ１１に比べて狭い範囲に設定される。このため、仮想面内ジェスチャ座標Ｄ２２が、仮想面３８１の外側になる場合があり得る。このような状況は、ジェスチャ座標計算部３０３が、ジェスチャ操作が行われていない領域の座標をジェスチャ操作の座標であると誤検出した状況であると想定される。このため、仮想面内ジェスチャ座標計算部３０４は、仮想面内ジェスチャ座標Ｄ２２が、仮想面３８１の外側にある場合には、ジェスチャ操作を無効と判定してもよい。

以上に説明したように、実施の形態３に係るジェスチャ操作装置３００は、眼３次元座標取得装置１００によって取得された眼３次元座標Ｄ１８に基づいて、ジェスチャ操作が行われる仮想面３７１の位置を計算し、仮想面３７１を２次元画像Ｄ１１に投影することで仮想面３８１を設定し、仮想面３８１内におけるジェスチャ座標である仮想面内ジェスチャ座標Ｄ２２を出力する。仮想面３７１は、操作者２０の眼の位置２１から適切な位置に設定されるので、仮想面３８１も適切な位置に設定される。したがって、ジェスチャ操作を正確に検出することができる。また、ジェスチャ操作装置３００によれば、３次元撮像部を備えていないので、装置の構造及び制御を簡素化することができる。

実施の形態４．
図２２は、実施の形態４に係るジェスチャ操作装置４００を示すブロック図である。図２２において、図１７に示される構成要素と同一又は対応する構成要素には、図１７に示される符号と同じ符号が付される。実施の形態４に係るジェスチャ操作装置４００は、ジェスチャ座標取得部４１０のジェスチャ座標計算部４０３が行う処理方法の点において、実施の形態３に係るジェスチャ操作装置３００と異なる。

実施の形態３におけるジェスチャ座標計算部３０３は、２次元画像Ｄ１１の全体から、ジェスチャ操作に対応する部分、例えば、ジェスチャ操作を行う手の範囲を抽出している。しかし、このような処理には非常に大きな情報処理量が必要であり、また、情報処理量を削減すると手の範囲の抽出精度が低下する。すなわち、情報処理量と抽出精度にはトレードオフの関係がある。例えば、２次元画像Ｄ１１内の切り出し範囲であるスライディングウインドウを少しずつ移動させながら、スライディングウインドウ内の画像がジェスチャ操作の範囲に該当するかを判定する場合、スライディングウインドウの移動ステップを大きくすればジェスチャの抽出精度が低下し、スライディングウインドウの移動ステップを小さくすれば処理の繰り返し回数が増加するため、情報処理量が増加する。

そこで、実施の形態４におけるジェスチャ座標計算部４０３は、仮想面２次元座標Ｄ２０が示す範囲のみから、ジェスチャ操作を検出する。これにより、情報処理量が削減できると共に、仮想面２次元座標Ｄ２０が示す範囲から外れた領域で、ジェスチャ操作を誤検出することがない。

以上に説明したように、実施の形態４に係るジェスチャ操作装置４００は、実施の形態３で説明した効果を得ることができる。さらに、実施の形態４に係るジェスチャ操作装置４００は、誤検出の抑制と、情報処理量の削減を両立させることができる。

上記以外の点については、実施の形態４に係るジェスチャ操作装置４００は、実施の形態３に係るジェスチャ操作装置３００と同じである。

実施の形態５．
図２３は、実施の形態５に係るジェスチャ操作装置５００を示すブロック図である。図２３において、図１７に示される構成要素と同一又は対応する構成要素には、図１７に示される符号と同じ符号が付される。実施の形態５に係るジェスチャ操作装置５００は、ジェスチャ座標取得部５１０の構成の点において、実施の形態３に係るジェスチャ操作装置３００と異なる。実施の形態５に係るジェスチャ操作装置５００は、実施の形態３に係るジェスチャ操作装置３００における仮想面２次元座標計算部３０２、ジェスチャ座標計算部３０３、及び仮想面内ジェスチャ座標計算部３０４に代えて、２次元画像仮想面投影部５０２と仮想面内ジェスチャ座標計算部５０３を備えている。

実施の形態３に係るジェスチャ操作装置３００では、ジェスチャ座標計算部３０３が２次元画像Ｄ１１から２次元画像内ジェスチャ座標Ｄ２１を抽出する。しかし、ジェスチャ操作を行う操作者が撮像装置である２次元撮像部１０１の真正面から離れた位置、すなわち、光軸から離れた位置にいる場合、又は操作者が２次元撮像部１０１の法線方向と乖離した方向を向いている場合、すなわち、光軸と乖離した方向を向いているような場合には、２次元画像Ｄ１１内のジェスチャ操作が変形したジェスチャ操作として検出され、２次元画像内ジェスチャ座標Ｄ２１の正確な検出ができない状況が発生し得る。

そこで、実施の形態５に係るジェスチャ操作装置５００においては、図２３に示されるように、２次元画像仮想面投影部５０２は、２次元画像Ｄ１１と仮想面３次元座標Ｄ１９を用いて、仮想面の変形の補償を行い、その補償結果である２次元画像仮想面射影画像Ｄ５１を出力する。

図２４は、実施の形態５に係るジェスチャ操作装置５００の動作を示す図である。２次元画像Ｄ１１内の画素Ｐの座標を（Ｘ_ｐ，Ｙ_ｐ）とする。図２４に示されるように、２次元画像Ｄ１１内における画素ＰのＸ座標（例えば、Ｘ方向の画素数）をＸ_ｅで表し、２次元画像Ｄ１１の横方向の総画素数の１／２の画素数をＸ_ｍａｘで表し、３次元ベクトルＶ５１と撮像系の光軸であるｚ軸とがなす角度である３次元ベクトルのヨー角をα_Ｐで表し、２次元画像Ｄ１１の横方向の撮影最大画角をβ_Ｐで表す。このとき、以下の関係式が成立する。
Ｘ_Ｐ：Ｘ_ｍａｘ＝ｔａｎα_Ｐ：ｔａｎβ_Ｐ
したがって、３次元ベクトルのヨー角α_Ｐは、以下の式（３）で計算できる。

３次元ベクトルＶ５１のピッチ角は、式（３）と同様に計算される。

このようにして画素Ｐを通る方向ベクトルが得られたことにより、撮像位置を起点とし、起点から画素Ｐに向かう３次元ベクトルＶ５１を延在することで得られた直線（すなわち、撮像位置を通り、３次元ベクトルＶ５１を方向ベクトルとする直線）と仮想面５７１の交点が画素Ｐの投影点５７２として得られる。仮想面５７１は、実施の形態３における仮想面３７１と同様に取得される。

この投影処理を、２次元画像Ｄ１１上の画素のうちの全ての画素について行うか、又は処理量削減のため、仮想面５７１上の投影像を得るために必要な範囲内の画像について行うことにより、２次元画像仮想面射影画像Ｄ５１が得られる。この際、一般には、２次元画像Ｄ１１と仮想面５７１との画素粒度が異なるため、何らかの補間が必要になる。補間には、ニアレストネイバー法、バイリニア法、バイキュービック法、ランチョス法などのような画像処理方法を用いることができる。

また、２次元画像内Ｄ１１の画素Ｐを起点にして、仮想面５７１上の対応する座標を得ているが、逆に、仮想面５７１内の画素を起点とし、２次元画像Ｄ１１上の対応する座標を計算してもよい。

仮想面内ジェスチャ座標計算部５０３は、このようにして得られた２次元画像仮想面射影画像Ｄ５１から、仮想面内ジェスチャ座標Ｄ５２を計算する。

以上に説明したように、実施の形態５に係るジェスチャ操作装置５００は、ジェスチャの認識精度を向上させることができる。さらに、実施の形態５に係るジェスチャ操作装置５００は、誤検出の抑制と、情報処理量の削減を両立させることができる。

上記以外の点については、実施の形態５に係るジェスチャ操作装置５００は、実施の形態３に係るジェスチャ操作装置３００と同じである。

変形例．
図２５は、実施の形態１から５の変形例のハードウェア構成の例を示すブロック図である。図１に示される眼３次元座標取得装置１００は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９１と、メモリ９１に格納されたプログラムを実行する情報処理部としてのプロセッサ９２とを用いて（例えば、コンピュータにより）実現することができる。この場合には、図１における各構成部分の一部を、図２５に示されるメモリ９１と、プログラムを実行するプロセッサ９２とによって実現することができる。

また、図１７、図２２、及び図２３に示されるジェスチャ座標取得部３１０，４１０，及び５１０を、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９１と、メモリ９１に格納されたプログラムを実行する情報処理部としてのプロセッサ９２とを用いて（例えば、コンピュータにより）実現することもできる。この場合には、ジェスチャ座標取得部３１０，４１０，及び５１０の全体又は一部を、図２５に示されるメモリ９１と、プログラムを実行するプロセッサ９２とによって実現することができる。

１１ 撮像位置、 ２０ 人（操作者）、 ２１ 眼の位置、 ２２ 視線、 ２３ 第１の直線と第２の直線との交点、 ２３ａ 第１の射影直線と第２の射影直線との交点、 ２４ 交点、 ２５ 交点、 ３０ 発光素子、 ３１ 注視点の位置、 ３１ａ 注視点の位置の射影点、 ３２，３３，３４ ポインタ、 ３２ａ，３４ａ ＶＤＴ装置（表示装置）、 ３３ａ プロジェクタ装置、 ４０ 三角測量実施平面、 ４１ 眼存在範囲直線（法線）、 １００ 眼３次元座標取得装置、 １０１ ２次元撮像部、 １０２ 注視点位置情報提供部、 １０３ 眼２次元座標計算部、 １０４ 第１の直線計算部、 １０５ ３次元ベクトル計算部、 １０６ 第２の直線計算部、 １０７ 眼３次元座標計算部、 ３０１ 仮想面３次元座標計算部、 ３０２ 仮想面２次元座標計算部、 ３０３ ジェスチャ座標計算部、 ３０４ 仮想面内ジェスチャ座標計算部、 ３１０，４１０，５１０ ジェスチャ座標取得部、 ３７１ 仮想面、 ３７２ 仮想面基準点、 ３８１ 仮想面、 ５７１ 仮想面、 ５７２ 二次元画像の仮想面への投影点、 Ｄ１１ ２次元画像、 Ｄ１２ 注視点位置情報、 Ｄ１３、β_Ｘ、β_Ｙ 最大撮像画角、 Ｄ１４ 眼２次元座標、 Ｄ１５，ＬＶ１ 第１の直線、 Ｄ１６，Ｖ２ 第２の３次元ベクトル、 Ｄ１７，ＬＶ３ 第２の直線、 Ｄ１８ 眼３次元座標、 Ｄ１９ 仮想面３次元座標、 Ｄ２０ 仮想面２次元座標、 Ｄ２１ ２次元画像内ジェスチャ座標、 Ｄ２２，Ｄ４２，Ｄ５２ 仮想面内ジェスチャ座標、 ＰＶ１ａ 第１の射影直線、 ＰＶ３ａ 第２の射影直線。

Claims (15)

1. ２次元撮像部によって撮像された２次元画像と注視点の位置を示す注視点位置情報とから、前記注視点を見る眼の位置を示す眼３次元座標を取得する眼３次元座標取得装置であって、
   前記２次元画像内における前記眼の２次元位置を示す眼２次元座標を計算する眼２次元座標計算部と、
   前記２次元撮像部の最大撮像画角と前記眼２次元座標とから、前記２次元撮像部の撮像位置である第１起点から前記眼の位置に向かう第１の３次元ベクトルを方向ベクトルとし且つ前記第１起点を起点とする第１の直線を計算する第１の直線計算部と、
   前記２次元画像と前記眼２次元座標とから、前記眼の位置である第２起点から前記注視点の位置に向かう第２の３次元ベクトルを計算する３次元ベクトル計算部と、
   前記第２の３次元ベクトルの逆ベクトルであり、前記注視点の位置である第３起点から前記眼の位置に向かう第３の３次元ベクトルを方向ベクトルとし且つ前記第３起点を起点とする第２の直線を計算する第２の直線計算部と、
   前記第１の直線と前記第２の直線と前記注視点位置情報とから三角測量法を用いて前記眼３次元座標を計算する眼３次元座標計算部と、
   を有することを特徴とする眼３次元座標取得装置。
2. 前記眼３次元座標計算部は、
   任意の三角測量実施平面に前記第１の直線を射影することによって第１の射影直線を取得し、
   前記三角測量実施平面に前記第２の直線を射影することによって第２の射影直線を取得し、
   前記第１の射影直線と前記第２の射影直線との交点における前記三角測量実施平面の法線と、前記第１の直線と、前記第２の直線との交点に基づいて前記眼３次元座標を計算する
   ことを特徴とする請求項１に記載の眼３次元座標取得装置。
3. 前記眼３次元座標計算部は、
   任意の三角測量実施平面に前記第１の直線を射影することによって第１の射影直線を取得し、
   前記三角測量実施平面に前記第２の直線を射影することによって第２の射影直線を取得し、
   前記第１の射影直線と前記第２の射影直線との交点における前記三角測量実施平面の法線と、前記第１の直線との交点、又は前記第２の直線との交点とに基づいて前記眼３次元座標を計算する
   ことを特徴とする請求項１に記載の眼３次元座標取得装置。
4. 前記三角測量実施平面は、重力方向に直交する水平面に平行な平面であることを特徴とする請求項２又は３に記載の眼３次元座標取得装置。
5. 前記三角測量実施平面は、前記２次元撮像部の光軸と、重力方向に直交し且つ前記光軸と交差する直線と、を含む平面であることを特徴とする請求項２又は３に記載の眼３次元座標取得装置。
6. 前記三角測量実施平面は、前記第１の直線及び前記第２の直線と直交する直線に対して垂直な平面であることを特徴とする請求項２又は３に記載の眼３次元座標取得装置。
7. 前記注視点の位置は、発光素子の発光点の位置又はレーザ−ポインタによる光照射点の位置又は視線が向けられることが予想される予め決められた位置であることを特徴とする請求項１から６のいずれか１項に記載の眼３次元座標取得装置。
8. 前記注視点の位置は、表示装置に表示された又はプロジェクタ装置によって投射された前記注視点としての映像部分の位置であることを特徴とする請求項１から６のいずれか１項に記載の眼３次元座標取得装置。
9. 請求項１から８のいずれか１項に記載の眼３次元座標取得装置と、
   ジェスチャ操作を含む２次元画像を撮像する撮像装置と、
   前記ジェスチャ操作が行われる仮想の操作面である仮想面における前記ジェスチャ操作の位置を示す仮想面内ジェスチャ座標を取得するジェスチャ座標取得部と、
   を有することを特徴とするジェスチャ操作装置。
10. 前記撮像装置は、前記２次元撮像部であることを特徴とする請求項９に記載のジェスチャ操作装置。
11. 前記ジェスチャ座標取得部は、
    前記眼３次元座標取得装置から提供された眼３次元座標に基づいて、前記仮想面に含まれる仮想面３次元座標を計算する仮想面３次元座標計算部と、
    前記仮想面３次元座標から仮想面２次元座標を計算する仮想面２次元座標計算部と、
    を有することを特徴とする請求項９又は１０に記載のジェスチャ操作装置。
12. 前記仮想面３次元座標計算部は、前記眼３次元座標取得装置から提供された前記眼３次元座標を起点とし、前記眼３次元座標から前記第２の３次元ベクトルの方向に延在して得られた直線上であって、前記眼３次元座標から予め決められた距離の点を含む面を前記仮想面の３次元座標とすることを特徴とする請求項１１に記載のジェスチャ操作装置。
13. 前記撮像装置が撮像した２次元画像内におけるジェスチャ操作の範囲を示す２次元画像内ジェスチャ座標を計算するジェスチャ座標計算部と、
    前記仮想面２次元座標と前記２次元画像内ジェスチャ座標とから、前記仮想面内ジェスチャ座標を計算する、仮想面内ジェスチャ座標計算部と
    を有することを特徴とする請求項１１又は１２に記載のジェスチャ操作装置。
14. 前記２次元画像のうち、前記仮想面２次元座標が示す範囲からジェスチャ操作の発生した範囲の２次元画像内ジェスチャ座標を計算するジェスチャ座標計算部と、
    前記仮想面２次元座標と、前記２次元画像内ジェスチャ座標とから、前記仮想面内ジェスチャ座標を計算する、仮想面内ジェスチャ座標計算部と
    を有することを特徴とする請求項１１から１３のいずれか１項に記載のジェスチャ操作装置。
15. 前記仮想面３次元座標を用いて、前記２次元画像を前記仮想面上に投影した画像を、２次元画像仮想面投影画像として出力する２次元画像仮想面射影部と、
    前記２次元画像仮想面投影画像内から、ジェスチャ操作の発生した範囲を前記仮想面内ジェスチャ座標として計算する仮想面内ジェスチャ座標計算部と
    を有することを特徴とする請求項１１に記載のジェスチャ操作装置。

Images