JP6454984B2 - 深度画像に基づく手の位置確定方法と装置 - Google Patents

Description

本発明は全体として手の追跡と位置確定に関するもので、より具体的には深度画像（depth map）に基づく手の位置確定方法と装置に関するものである。

手の追跡と位置確定は手の動作識別システムにおいて非常に重要かつキーとなる部分である。ユーザー操作の利便性のためには、手の追跡と位置確定には、特殊な手袋、カラー標示物等の特殊装置を身に着けることを必要とすべきではない。それ以外に、手は非剛性物体で、動きが早く、変形しやすく、自分で自分を遮蔽するなどの特徴があるため、手の追跡と位置確定は非常に難しい作業である。

以前、多くの研究者が手を表す特徴として手の色彩特徴を利用して追跡と位置確定を行っていたが、この方法では容易に光線条件の影響を受けてしまう。深度画像は光線の影響がかなり小さいことが考慮され、現在は深度画像に基づく手の追跡と位置確定を行う研究者がますます増えている。但し、深度画像上の情報はかなり少ないため、どんな深度画像からも有効な情報を取り出せて手の追跡と位置確定ができるかが解決すべき問題となっている。ある研究者たちは深度閾値を使って手の候補エリアを分割し、形状特徴、エッジ特徴又はヒストグラム統計特徴を通じて当該エリアが手かどうかを調べている。しかし、手の候補エリアの位置確定が不正確であったり、又は、候補エリアの範囲外であったりすると、この方法では手の位置を確定することができない。

米国特許第7372977b2号はデプスカメラを使いリアルタイムの視覚で追跡を行う技術を公開した。当該技術では、まず深度画像から追跡目標のエッジ情報を取得した後、数学的輪郭表現モデルを使って当該追跡目標を表示し、最後に深度データに基づき追跡目標のエッジ情報と輪郭モデルをマッチングさせ、追跡位置点を探し出す。この発明では主として輪郭情報を使って手の追跡を行うため、手の輪郭についてかなりの厳密さが求められる。

「3D hand tracking using kalman filter in depth space」という論文は運動履歴画像情報を使用してリアルタイムで手の3D追跡を行う方法を提案した。当該方法では、3D深度センサーから出た画像情報に基づき、運動のクラスタリングによって、手の候補エリアを検出した後、kalmanフィルターにより手の追跡と位置確定を実現する。当該技術は手が動いている時には比較的良好に手の位置を確定し、手の追跡を行うことができるが、手が静止している場合は、ノイズの影響を受け誤追跡が生じやすい。

本発明は、深度画像（depth map）に基づく手の位置確定方法と装置を提供することを目的とする。

本発明の実施例においては、深度画像に基づいて取得した手の候補エリアの主方向を確定し、前記主方向に沿って手の先端エッジ点を探し、及び、前記各先端エッジ点に基づいて手の位置点を確定することを含む、深度画像に基づく手の位置確定方法を提供する。

本発明の他の実施例においては、深度画像に基づいて予測した手の候補エリアの主方向を確定するのに用いる主方向確定装置、前記主方向に沿って手の先端エッジ点を探すのに用いるエッジ点探索装置、及び、前記各先端エッジ点に基づいて手の位置点を確定するのに用いる位置点確定装置を含む、深度画像に基づく手の位置確定装置を提供する。

本発明実施例による深度画像に基づく手の位置確定技術は手の位置を正確に確定することができ、かつ光線条件や、手の形状の影響を受けることがない。

本発明の実施例を応用する手の追跡と位置確定技術を概念的に示した場面である。 本発明実施例の深度画像に基づく手の位置確定方法のフローチャートである。 深度画像に基づいてそれぞれ確定した候補エリアブロックと候補エリアである。 手の候補エリアの主方向の概念図である。 本発明の実施例の主方向に沿って手の先端エッジ点を探すフローチャートである。 本発明の実施例の主方向に沿って手の先端エッジ点を探すプロセス例である。 本発明の実施例の各先端エッジ点に基づいて手の位置点を確定するフローチャートである。 本発明の実施例の深度画像に基づくの位置確定装置の機能配置ブロック図を示す。 本発明の実施例の深度画像に基づく手の位置確定システムの全体ハードウェアブロック図を示す。

当業者が本発明をより良く理解できるように、以下、図面と発明を実施するための形態を組み合わせて本発明について詳しく説明する。

図1は本発明の実施例を応用する手の位置確定技術を概念的に示した場面である。図1に示すように、ユーザーが二眼カメラのようなステレオカメラの撮影範囲内に立っていて、このステレオカメラでユーザーを撮影している。ユーザーがカメラの範囲内で手を動かすと、例えばコンピュータの計算処理装置が、ステレオカメラの撮影した画像に基づいて取得した深度画像によってユーザーの手の位置情報を確定し、手の追跡を行うことができる。例えば、図1中の黒い点は手の移動軌跡を示す。

当業者ならよく知るように、深度画像は画像中の各画素の値がその場面のある一点とカメラとの距離を示す画像である。グレースケール画像とは違い、深度画像は物体の深度（距離）情報を含んでいるため、立体情報を必要とする各種応用に適している。

図2は本発明の実施例の深度画像に基づく手の位置確定方法のフローチャートである。

図2に示すように、ステップS210では、深度画像に基づいて取得した手の候補エリアの主方向を確定する。

これまでに述べたように、深度画像に基づいて手の候補エリアを取得することは本分野では既に多くの研究があり、それは本発明のキーポイントではなく、当業者は如何なる既存の適当な方式によって深度画像から手の候補エリアを取得することができる。ここでは、説明を完璧なものにするために、本実施例で使用した取得方式について簡単な説明を行うことにする。

まず、履歴情報に基づいて手の候補位置点を予測する。

手の運動には連続性があるため、このステップにおいて手の以前の運動状態と運動係数に基づいて手が現在出現する可能性のある位置を予測する。手の位置点とは手の位置を表すのに用いる点であり、例えば手の中心点や重心点等々でもよい。

このステップは例えばkalmanフィルターや粒子フィルター等、如何なる適当な点の追跡方法を用いて実現してもよい。局部的範囲では、手の動きは線運動に近似するので、最も簡単な予測方法は前のフレームでの手の位置点と手の運動速度に基づいて現在のフレーム中に手が現れる位置を予測することで、下に示すような式となる。

この中で、（S_x,t-1,S_y,t-1）は前のフレーム（t-1時刻）における手の位置点の座標であり、（S_x,t,S_y,t）は現在のフレーム（t時刻）における手の候補位置点の座標であり、Δtは連続した二つのフレーム間の時間間隔であり、運動速度（V_x,t-1,V_y,t-1）は下式により計算することができる。

この中で、（S_x,t-2,S_y,t-2）はもう一つ前のフレーム（t-2時刻）における手の位置点の座標である。

手の候補位置点を取得した後、この候補位置点と深度値情報履歴に基づいて候補エリアブロックを確定する。

候補エリアブロックは任意の形状を用いることができ、図3の(a)の長方形を例として候補エリアブロックを示す。候補エリアブロックの大きさは固定的ではなく、順応性をもっており、その目的は検出された手がなるべくその中に含まれるようにするためであるが、この候補エリアブロックは大きすぎてもいけない。大きさの固定した候補エリアブロックに対し、このように大きさが柔軟に変化することは計算の複雑さを減らすのに有効である。具体的には、画像を集める過程で、近い物は大きく遠い物は小さくなるという特徴があるため、手がカメラに近づくと、集めた画像中の手の面積は比較的大きくなり、候補エリアブロックもこれに相応して比較的大きくなるが、手がカメラから離れると、集めた画像中の手の面積は比較的小さくなり、候補エリアブロックもこれに相応して比較的小さくなる。例として、本発明では長方形を用いて候補エリアブロックを表しているが、下式によって候補エリアブロックの半径を確定すると、長方形の辺長の半分となる。

この中で、HandRadiusは候補エリアブロックの半径であり、αは常数で、その大きさは使用するカメラの固定パラメータと画像中の画素の長さに基づいて対応する被撮影物体の実際の長さによって確定する。HisDepth Valueは現在のフレームにおける手の候補位置点の参考深度値を表し、それ以前の連続したフレームの中における手の位置点の平均深度値を用いて当該HisDepth Valueとすることができ、例えば下式のように示される。

この中でDepthValue_iは第i個のフレーム中の手の位置点の実際の深度値であり、nはフレーム数である。

候補エリアブロックを確定した後、その中から候補エリアを分割する。

候補エリアブロック中には手だけでなく、深度画像中にある他の画像内容も含まれるため、その中から手の候補エリアを分割しなければならない。この分割処理は既存の各種エリア分割方法を通じて行うことができ、例えば領域成長、閾値分割等々があるが、ここでは詳細な説明は行わない。図3の(b)は分割した手の候補エリアである。

以上、簡単に深度画像に基づいて手の候補エリアを取得する方法の例を紹介した。前に述べたように、当業者は如何なる既存の適当な方法によって深度画像から手の候補エリアを取得することができる。以下、本発明実施例に基づき、前記手の候補エリアの主方向を確定するプロセスについて説明を行う。

主方向とは画像エリア中で取得することのできる最も長い線分の存在する直線方向である。図4の(a)と(b)は本発明実施例における手の候補エリアの主方向（記号Aの指し示す直線の方向）の概念図である。主方向は本分野の適当な各種方法を用いて計算することができるが、本実施例では、主成分分析法（PCA）を使って主方向を計算することとし、その中で直線の方向ベクトルA(Ax, Ay)で主方向を表示し、Ay∈[−1,1]、Ax∈[−1,1]とする。主成分分析法と直線の方向ベクトルは共に本分野では公知であり、ここでは詳細な説明は行わない。

選択可能なのは、前記で算出した主方向に調整を加えることができ、ノイズの影響を減少させる。より明確に言えば、手の動きには連続性があるため、前後二つのフレームで手の主方向の変化が速すぎるはずはなく、変化が速すぎると、往々にしてノイズの影響が大きくなるため、前記主方向に対して調整を行うことができる。

具体的には、現在、計算する主方向と一つ前のフレームの画像の手の主方向との差異値を確定し、差異値が所定の閾値より大きい場合は、その前の所定画像の手の主方向に基づいて現在、計算する前記主方向に調整を加える。

例えば、所定の閾値の取り得る例を90度とする。もちろん、当業者は経験と手の実際の動きに基づいて他の適当な角度を設定してもよい。仮にCurA(CurA.x,CurA.y)とLastA(LastA.x,LastA.y)がそれぞれ現在の手の主方向と一つ前のフレームの主方向を表すとすると、CurA(CurA.x,CurA.y)とLastA(LastA.x,LastA.y)の間の差異が90度より大きい時は、算術平均値、平方根平均値等の各種の適当な方式でCurA(CurA.x,CurA.y)に対して調整を加えることができる。算術平均値を例にすると、下式によりCurA(CurA.x,CurA.y )とLastA(LastA.x,LastA.y)の算術平均値を計算し、それを現在の主方向とすることができる。

お分かりのとおり、前の所定のフレーム（例えばmフレーム前の）画像の主方向と現在の主方向の算術平均値を計算して、現在の主方向とすることもできる。

理解しなければならないのは、前記主方向調整プロセスは選択可能なものであり、必須ではないことである。

図2に戻り、ステップS220では、前記主方向に沿って手の先端エッジ点を探す。

主方向に沿って比較的容易に手の先端エッジ点を探し出すことができ、例え前記手の候補エリアが不正確であっても（例えば、手が当該手の候補エリア内に無い）、手の先端エッジ点を探し出すことができる。以下、図5と図6の(a)-(d)を参照しながらステップS220の処理について詳細に説明する。

図5に示すように、ステップS2201で、前記主方向に垂直な第一直線を確定し、図6の(a)の記号Bのように示す。この第一直線は前記に提示された手の候補位置点を通ることが好ましく、これにより計算の効率を高めることができる。お分かりのとおり、第一直線が主方向と垂直なのは単なる一例であり、この第一直線は主方向と別の角度を為してもよい。

その後、ステップS2202で、当該第一直線の所定範囲内の幾つかの所定の点をそれぞれ始点として、前記主方向に沿って伸ばした幾つかの直線の各直線上で、前記先端エッジ点を見つける。

手の先端エッジ点は多くあり、例えば、図6の(b)に示す主方向に沿って伸ばした幾つかの直線上で、全て先端エッジ点を探し出すことができる。前記所定範囲はユーザーが経験により設定することができ、その目的はその上で先端エッジ点を見つけることのできる直線（例えば図6の(b)に示す直線）をなるべく含ませるようにするためであり、その範囲が大きすぎるということはない。一つの可能な例として、前記所定範囲は、第一直線上で前記候補エリアブロック内に位置する部分でもよい。前記幾つかの所定点は必要に応じて設定してよい。例えば、最終的に確定する手の位置点に比較的高い精度を求める場合は、比較的多数の所定点を選ばなければならず、例えば第一直線の所定範囲内の各画素を始点とし、これらの始点から出発して主方向に沿って伸ばした各直線上に先端エッジ点を見つけ、精度要求が比較的低ければ、比較的少ない所定点を選び、例えば一定の間隔を空けて前記所定範囲内の各画素から始点を選ぶことができる。

主方向に伸ばした前記各直線上で、この直線上の各画素深度値の変化の傾斜によって可能な先端エッジ点を選ぶことができる。具体的には、手の上の隣り合う二つの画素の深度変化は大きくないはずであり、もし深度変化がかなり大きければ、この二つの画素の内の一つは手の上にあるが、他の一つは手の上にない（例えば背景画像上にある）と認識することができる。このため、本実施例では、主方向に沿った前記各直線に対して、始点から順次、この直線上の隣接する二つの画素間の深度値差異を計算し、ある二つの隣接画素の深度値差異が所定の閾値より大きければ、この二つの隣接画素のうち始点に近い方の画素を先端エッジ点とする。この中で、所定閾値は当業者が経験により設定することができる。

以下、図6の(c)を参照しながらこれを説明する。例えば、直線Cについて、仮にM₀を始点とすると、最初に隣接する画素M₁とM₀の深度値差異を計算し、もしその差異が所定閾値より小さければ、この画素M₁はなお手の上にあると考えられるので、探索を継続する必要がある。その後、画素M₂とM₁の深度値差異を計算し、もしその差異が所定閾値より小さければ、この画素M₂はなお手の上にあると考えられるので、探索を継続する必要がある。この方法に従って探索を続け、深度値差異が閾値より大きい一対の隣接画素M_i-1とM_iを見つけるまで行う。この時、画素M_i-1は手の上に位置し、画素M_iは手の上にない、つまり、この二つの画素のうち始点M₀に近い画素M_i-1が手の先端エッジ点となる。直線ごとに、第一直線上の所定点を始点とし、主方向に沿って伸ばした直線上の探索を行うことによって、先端エッジ点となり得る全ての点を見つけることができ、図6の(d)に示すとおりである。

選択可能なのは、探索した先端エッジ点となり得る各点に篩い分けを行い、ノイズの影響を減少させる。より明確に言えば、ノイズの影響で、前記処理により見つけた先端エッジ点の幾つかは真正の手の先端エッジ点ではないため、下式により除去することができる。

この中で、edgepointは見つけた、まだ篩い分けしていない先端エッジ点を表し、centerpointとhandRadiusはそれぞれ一つ前のフレーム中で追跡した手の位置点と候補エリアブロックの半径を表し、dis(edgepoint,centerpoint)はedgepointとcenterpoint間の空間距離を表し、aとbは共に常数で、当業者が人体の手足の比率に基づいて経験により設定することができる。見つけた先端エッジ点と一つ前のフレームの手の位置点間の空間距離が公式（６）を満たしていない時は、この先端エッジ点をノイズエッジ点として、除去することができる。

理解しなければならないのは、前記先端エッジ点の篩い分けプロセスは選択可能なものであり、必須のものではないことである。

再び図2に戻り、ステップS230では、前記各先端エッジ点に基づいて手の位置点を確定する。以下、図7を参照しながらステップS230の処理を説明する。

図7に示すように、ステップS2301で、前記各先端エッジ点の平均値位置点を計算する。具体的には、算術平均値、平方根平均値、幾何平均値、加重平均値等の各種の方式により前記各先端エッジ点の平均値位置点を計算する。例えば、算術平均値を例にとると、下式により先端エッジ点の平均値位置点を計算することができる。

この中で、nは先端エッジ点の個数、edgepoint_i.xは第i個目の先端エッジ点のX軸座標、edgepoint_i.yは第i個目の先端エッジ点のy軸座標、(Cx,Cy )は平均値位置点の座標とする。

その後、ステップS2302で、当該平均値位置点と前述の主方向に基づいて、手の位置点を確定する。

平均値位置点を確定した後、各種の適当な方法により手の位置点を計算することができる。手の位置点が平均値位置点に向かう連結線は手の主方向におおよそ沿っているはずであることを考慮して、本実施例では平均値位置点を始点として、主方向とは反対の方向に沿って、手の位置点を確定し、下式に示すとおりである。

この中で、（handPx,handPy）は現在の手の位置点座標、handRadiusは候補エリアブロックの半径、（Ax,Ay）は手の主方向であり、cは常数とし、それは当業者が手足の比率に基づいて経験により設定することができる。

これにより、現在の手の位置を確定する。選択可能なのは、手の運動軌跡の履歴、面積の広さ、形状等の情報を利用して当該位置の正確性を検出してもよい。現在の手の位置が正確であることを確定する時は、手の位置点に基づいて手の現在の運動速度、手の現在の運動加速度、手の面積、位置点の深度値等のうち少なくとも一つを計算することができ（その計算方法は本分野では公知であり、ここで贅言を弄しない）、後に来るフレーム中の手の位置を確定するのに用いることによって、手の追跡を実現することができる。

以上、本発明実施例による深度画像に基づく手の位置確定方法を説明した。この方法では、主方向を利用して手の先端エッジ点を見つけ、先端エッジ点に基づいて手の実際の位置を確定する。この方法に従って、例え手が予測した手の候補エリア内になくても（例えば手の候補エリアが誤って腕に定められる）、手の先端エッジ点を見つけ出すことができるので、良好な適応性を有している。その他、当該方法では手の形状情報を使わないので、多種の手の形状に適しており、形態変化が多いという手の特徴を満たしている。この他、当該方法は深度図により位置を確定するので、光線の影響を受けることが少ない。

指摘に値することは、実際に、本発明実施例による深度画像に基づく手の位置確定方法は手指の位置検出にも用いることができ、特に手指が互いに離れている場合に、この方法はかなり良い効果が得られる。具体的には、手指が互いに離れている時、本発明実施例による手の位置確定方法のステップS210とS220の応用によって、各々の手指の先端エッジ点と隣接する手指の連接点（例えば、手指の分岐点）を検出することができる。続いて、適当な閾値を設定し、隣接する手指の連接点を篩い分けすることができる。その後、各手指の幾つかの先端エッジ点に対して、平均値位置点を計算し、この手指の位置とすることができる。

以下、図8を参照しながら本発明実施例による深度画像に基づく手の位置確定装置を説明する。

図8は本発明実施例による深度画像に基づく手の位置確定装置800の機能配置ブロック図を示す。

図8に示すように、手の位置確定装置800は、深度画像に基づいて予測した手の候補エリアの主方向を確定するのに用いる主方向確定装置810、前記主方向に沿って手の先端エッジ点を探すのに用いるエッジ点探索装置820、そして前記各先端エッジ点に基づいて手の位置点を確定するのに用いる位置点確定装置830を含む。

また、手の位置確定装置800は、前処理装置（図示せず）及び後処理装置（図示せず）を更に含み、前処理装置は、履歴情報に基づいて手の候補位置点を予測し、手の候補位置点と深度値情報履歴に基づいて候補エリアブロックを確定し、及び、候補エリアブロックから候補エリアを分割するために用いられる。後処理装置は、確定された手の位置点に基づいて、手の現在の運動速度、手の現在の運動加速度、手の面積、前記位置点の深度値のうち少なくとも一つを確定するために用いられる。

前述の主方向確定装置810、エッジ点探索装置820、そして位置点確定装置830並びに前処理装置及び後処理装置の具体的機能と操作は前述の図1から図7までの関連説明を参照することができ、ここでは重ねて説明をしない。

以下、図9を参照して本発明実施例による深度画像に基づく手の位置確定システム900の全体ハードウェアブロック図を説明する。図9に示すように、手の位置確定システム900は、外部から、カメラで撮影した左画像と右画像、カメラのパラメータ、深度画像、手の以前の運動パラメータ等の関係画像や情報を入力するのに用い、例えばキーボード、マウス、カメラ等々が該当する入力装置910；前述の本発明実施例による深度画像に基づく手の位置確定方法又は前述の手の位置確定装置の実施に用い、例えばコンピュータの中央処理器ないし処理能力を有する他のICチップ等々が該当する処理装置920；外部に向け、確定した位置点座標、手の運動軌跡等々、前述の手の位置確定を実施する過程で得られた結果を出力するのに用い、例えばモニター、プリンター等々が該当する出力装置930；そして揮発性、非揮発性方式で前述の手の位置確定過程に関係した、例えば深度画像、運動履歴情報、手の現在の位置点、現在の運動速度、現在の位置点の深度値等のデータを保存するのに用い、例えばランダムアクセスメモリー（RAM）、読み取り専用メモリー（ROM）、ハードディスクないし半導体メモリー等々の各種揮発性、非揮発性メモリーが該当する記憶装置940を含む。

以上、具体的な実施例と結び付けて本発明の基本原理を説明したが、指摘する必要があることは、当業者であれば、本発明の方法及び装置の全部あるいは如何なるステップあるいは部材も理解することができ、如何なるコンピュータ（処理器、メモリー媒体等を含む）あるいはコンピューター・ネットワークの中で、ハードウェア、ファームウェア、ソフトウェアあるいはそれらの組合せによって実現できることであり、これは当業者が本発明の説明を読んだ状況においては彼らの基本的なコンピュータープログラミング技能を用いて実現できることである。

このため、本発明の目的は如何なるコンピュータ上でも1つのあるいは一組のコンピュータープログラムを使うことにより実現できる。前述のコンピュータは通用している公知の装置でよい。このため、本発明の目的は前述の方法あるいは装置を実現するプログラムコードを含むプログラム製品を提供するだけで実現する。つまり、このようなプログラム製品も本発明を構成しており、このようなプログラム製品をもつ記憶媒体も本発明を構成している。当然のことながら、前記記憶媒体は公知の如何なる記憶媒体あるいは将来開発される如何なる記憶媒体であってもよい。

更に指摘すべきことは、本発明の装置と方法においては、当然のことながら、各部材あるいは各ステップは分解及び/または新たな組み合わせができることである。これらの分解及び/または新たな組み合わせは本発明と同等の効果を有する方案と見做されるべきである。かつ、前述の一連の処理ステップの実行は当然、説明の順序に従い時間順に行うことができるが、必ずしも時間順に行う必要はない。あるステップは平行してあるいは互いに独立して行うことができる。

前述の発明を実施するための形態は、本発明の保護範囲の制限となるものではない。当業者にとって明白なことは、設計要求及び他の要素によって、色々な修正、組合せ、副次的組合せ及び代替が生じ得ることである。本発明の精神及び原則中の如何なる修正、同等の入替え及び改善等は、全て本発明の保護範囲に含まれなければならない。

Claims (18)

1. 深度画像に基づく手の位置確定方法であって、
   前記深度画像に基づいて取得した前記手の候補エリアの主方向を確定し、
   前記主方向に沿って前記手の先端エッジ点を探し、及び
   前記各先端エッジ点に基づいて前記手の位置点を確定することを含み、
   前記深度画像に基づいて取得した前記手の候補エリアの主方向を確定することは、
   前記手の候補エリアの主方向を計算し、
   前記主方向と一つ前のフレームの画像の前記手の主方向との差異値を確定し、及び
   前記差異値が所定の閾値より大きい場合は、その前の所定フレームの画像の前記手の主方向に基づいて前記候補エリアの主方向に調整を加えることを含む、手の位置確定方法。
2. 履歴情報に基づいて前記手の候補位置点を予測し、
   前記候補位置点と深度値情報履歴に基づいて候補エリアブロックを確定し、及び
   前記候補エリアブロックから前記候補エリアを分割することを更に含む、請求項１に記載の手の位置確定方法。
3. 前記主方向に沿って前記手の先端エッジ点を探すことは、
   前記主方向に垂直な第一直線を確定し、及び
   前記第一直線の所定範囲内の幾つかの所定の点をそれぞれ始点として、前記主方向に沿って伸ばした幾つかの直線の各直線上で、前記先端エッジ点を見つけることを含む、請求項２に記載の手の位置確定方法。
4. 前記第一直線が前記候補位置点を通り、前記所定範囲を前記第一直線上で前記候補エリアブロック内に位置する部分とする、請求項３に記載の手の位置確定方法。
5. 前記主方向に沿って前記先端エッジ点を探すことは、
   前記始点から、当該直線上の隣接する各二つの画素間の深度値差異を計算し、前記深度値差異が所定閾値より大きい二つの隣接画素のうち前記始点から近い方の画素を先端エッジ点とすることを含む、請求項３又は４に記載の手の位置確定方法。
6. 前記主方向に沿って前記先端エッジ点を探すことは、
   前記先端エッジ点と一つ前のフレームの画像の位置点との間の空間距離を計算し、当該空間距離が所定閾値の範囲を超えている場合は、前記先端エッジ点をノイズエッジ点とすることを含む、請求項５に記載の手の位置確定方法。
7. 前記各先端エッジ点に基づいて前記手の位置点を確定することは、
   前記各先端エッジ点の平均値位置点を計算し、及び
   前記平均値位置点と前記主方向に基づいて、前記手の位置点を確定することを含む、請求項１又は２に記載の手の位置確定方法。
8. 前記手の位置点に基づいて、前記手の現在の運動速度、前記手の現在の運動加速度、前記手の面積、前記位置点の深度値のうち少なくとも一つを確定することをさらに含む、請求項１に記載の手の位置確定方法。
9. 深度画像に基づく手の位置確定装置であって、
   前記深度画像に基づいて取得した前記手の候補エリアの主方向を確定するのに用いる主方向確定装置、
   前記主方向に沿って前記手の先端エッジ点を探すのに用いるエッジ点探索装置、及び
   前記各先端エッジ点に基づいて前記手の位置点を確定するのに用いる位置点確定装置を含み、
   前記主方向確定装置は、
   前記手の候補エリアの主方向を計算し、
   前記主方向と一つ前のフレームの画像の前記手の主方向との差異値を確定し、及び
   前記差異値が所定の閾値より大きい場合は、その前の所定フレームの画像の前記手の主方向に基づいて前記候補エリアの主方向に調整を加える、手の位置確定装置。
10. 履歴情報に基づいて前記手の候補位置点を予測し、
    前記候補位置点と深度値情報履歴に基づいて候補エリアブロックを確定し、及び
    前記候補エリアブロックから前記候補エリアを分割する前処理装置を更に含む、請求項９に記載の手の位置確定装置。
11. 前記エッジ点探索装置は、
    前記主方向に垂直な第一直線を確定し、及び
    前記第一直線の所定範囲内の幾つかの所定の点をそれぞれ始点として、前記主方向に沿って伸ばした幾つかの直線の各直線上で、前記先端エッジ点を見つけることを含む、請求項１０に記載の手の位置確定装置。
12. 前記第一直線が前記候補位置点を通り、前記所定範囲を前記第一直線上で前記候補エリアブロック内に位置する部分とする、請求項１１に記載の手の位置確定装置。
13. 前記エッジ点探索装置は、
    前記始点から、当該直線上の隣接する各二つの画素間の深度値差異を計算し、前記深度値差異が所定閾値より大きい二つの隣接画素のうち前記始点から近い方の画素を先端エッジ点とすることを含む、請求項１１又は１２に記載の手の位置確定装置。
14. 前記エッジ点探索装置は、
    前記先端エッジ点と一つ前のフレームの画像の位置点との間の空間距離を計算し、当該空間距離が所定閾値の範囲を超えている場合は、前記先端エッジ点をノイズエッジ点とすることを含む、請求項１３に記載の手の位置確定装置。
15. 前記位置点確定装置は、
    前記各先端エッジ点の平均値位置点を計算し、及び
    前記平均値位置点と前記主方向に基づいて、前記手の位置点を確定することを含む、請求項９又は１０に記載の手の位置確定装置。
16. 前記手の位置点に基づいて、前記手の現在の運動速度、前記手の現在の運動加速度、前記手の面積、前記位置点の深度値のうち少なくとも一つを確定する後処理装置をさらに含む、請求項９に記載の手の位置確定装置。
17. コンピュータに、請求項１〜８の任意の１項に記載の手の位置確定方法を実行させるためのプログラム。
18. 請求項１７に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images