JP5416489B2

JP5416489B2 - 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム

Info

Publication number: JP5416489B2
Application number: JP2009144231A
Authority: JP
Inventors: 高市平賀; 佳織若林
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2009-06-17
Filing date: 2009-06-17
Publication date: 2014-02-12
Anticipated expiration: 2029-06-17
Also published as: JP2011002292A

Description

本発明は、三次元指先位置検出方法、三次元指先位置検出装置、およびプログラムに係わり、特に、２台のカメラで撮影した操作者の手指の画像から画像処理によって、操作者の指先の三次元位置を検出する技術に関する。

街頭に設置されている情報キオスク端末や、家庭電化製品などの操作対象機器の操作では、リモコンを使用して操作する、もしくは操作対象機器に備えられたボタンやタッチスクリーンにより操作するという形態が主流であるが、リモコンを用いる形態では、リモコンを紛失した場合に操作ができない、また、ボタンやタッチスクリーンを用いる形態では、不衛生なので機器に直接触れたくない、といった理由から、操作者が行うジェスチャを認識することにより操作対象機器を操作する形態が考案されてきている。
その形態は様々であり、ジェスチャとしては、首振り、頷き、眼球運動、ウインク、腕振り、指差し等、また、操作者の動きをセンシングするデバイスとしては、奥行き情報の取得が可能なデバイスや通常のビデオカメラといったバリエーションがある。
この場合、ジェスチャ認識システムを、従来の物理的な機器を代替するものという観点から捉えた場合、通常、ボタンやタッチスクリーンは指で操作されていることから、ジェスチャとして指の動きを用いる形態に妥当性があると考えられる。ここで、指の動きとは、指の曲げ伸ばし等ではなく、指先の位置の変位のことである。また、コストの観点からは、ハードウェア構成を安価に実現できる、通常のビデオカメラを用いる形態に妥当性があると考えられる。
以上の考察から、本発明では、指の動きによるジェスチャを通常のビデオカメラで撮影して認識する形態を対象とすることにした。
さて、このようなジェスチャ認識システムでは、先ずは、撮影された画像上において指先位置を検出することが必要となるが、これまでに、そのための技術がいくつか考案されている。（例えば、下記、特許文献１参照）原理としては、手指を撮影したカラー画像から、色相・明度・彩度に基づいて肌色であると判定された画素からなる領域を抽出し、その領域の形状を基に指先位置を検出するものである。

特許第３８６３８０９号明細書

しかしながら、前述の特許文献１に明記されているように、指を撮影したカラー画像から、色相・明度・彩度に基づいて肌色であると判定された画素からなる領域を抽出し、その領域の形状を基に指先位置を検出する方法では、手領域と他の肌色物体は重ならないことが必須条件であり、例えば、図１（ａ）の１０１に示すように、手指を撮影する際に背後に顔が映り込んで、図１（ｂ）に示すように、画像上において手領域に他の肌色領域に重なっている場合、検出される領域が手領域と顔領域との和集合領域１０２となるため、指先位置を正しく検出することは原理的に不可能である。
本発明が想定している、ジェスチャ認識システムを利用する場面では、一般に、操作者以外の人物が存在するので、色情報に基づいて領域を抽出する方法を用いることはできない。これに対して、図２に示すような輝度画像において、勾配をもとに推定される輪郭を利用する方法が考えられる。なお、図２は輝度画像の一部を示すものであり、２０１は撮影された指、２０２は指軸である。
しかしながら、ＱＶＧＡ等の低解像度のカメラを用いる場合、図３（ａ）に示すように、指先の輪郭３０１に対して、その法線方向が指軸２０２と同じになる輪郭区分３０２を考えると、図３（ｂ）に示すように、同区分の輪郭推定に寄与する画素３０３の数が極端に少ないため、指先先端の指軸方向の位置を正しく推定することは困難である。更に、ノイズが強い場合や手指の背後に複雑な背景が映りこむ場合には、いっそう困難となる。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、三次元指先位置検出方法および三次元指先位置検出装置において、２台のカメラで撮影した操作者の手指の画像から画像処理によって、操作者の手指の三次元位置を検出する技術を提供することにある。
また、本発明は、前述の三次元指先位置検出方法をコンピュータに実行させるためのプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
（１）第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出装置であって、前記第１の画像から、前記第１の画像上における前記操作者の指先位置である第１の位置を検出する指先位置検出手段と、前記第２の画像から、前記第２の画像上における前記操作者の指軸の位置姿勢を検出する指軸位置姿勢検出手段と、前記第１の位置と前記指軸とに基づき検出される前記第２の画像上における前記操作者の指先位置である第２の位置と、前記第１の位置とから、前記操作者の指先の三次元位置を推定する三次元指先位置推定手段とを有し、前記指軸位置姿勢検出手段は、前記第２の画像に対して、複数の指領域の正規化相関テンプレートを使用し、前記複数の指領域の正規化相関テンプレートの中から最も類似度の高い正規化相関テンプレートを選択し、当該選択した最も類似度の高い正規化相関テンプレートの基準線を前記指軸として検出し、前記複数の指領域の正規化相関テンプレートは、前記基準線とともに、高い輝度の領域と低い輝度の領域との２つの領域を有し、前記２つの領域は、２つの長方形領域であって、前記２つの長方形領域の長辺と前記基準線は互いに平行である。
（２）（１）において、前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、前記指先位置検出手段は、前記背景の色情報を用いて、前記第１の画像から、前記背景の色以外の画素からなる領域を手指領域として抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出する。

（３）（１）において、前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、前記指先位置検出手段は、背景差分を用いて、前記第１の画像から手指領域を抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出する。
（４）（１）において、前記三次元指先位置推定手段は、前記第１の位置に対応する前記第２の画像上のエピポーラ線と前記指軸との交点位置を、前記第２の位置として検出し、前記第１の位置と前記第１のカメラのレンズ中心とを結ぶ三次元空間における直線と、前記第２の位置と前記第２のカメラのレンズ中心とを結ぶ三次元空間における直線とを最短で結ぶ線分の中点を、前記操作者の指先の三次元位置として推定する。
（５）また、本発明は、前述の三次元指先位置検出装置により実行される三次元指先位置検出方法である。
（６）また、本発明は、前述の（１）ないし（５）の何れかに記載の三次元指先位置検出装置の各手段を、コンピュータに実行させるためのプログラムである。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、２台のカメラで撮影した操作者の手指の画像から画像処理によって、操作者の手指の三次元位置を容易に検出することが可能となる。

手指を撮影する際に背後に顔が映り込んだ画像と、検出された肌色領域を例示する図である。手指を撮影した輝度画像を例示する図である。指先の輪郭と、その法線方向が指軸と同じになる輪郭区分の推定に寄与する画素を例示する図である。本発明の実施例の三次元指先位置検出装置の概略構成を示すブロック図である。本発明の実施例の三次元指先位置検出装置において、カメラ、ブルーバック、および手指の配置を例示する図である。本発明の実施例の三次元指先位置検出装置の処理手順を説明するためのフローチャートである。本発明の実施例の三次元指先位置検出装置において、第１のカメラで撮影された画像、抽出された手指領域、および検出された指先位置を示す図である。本発明の実施例の三次元指先位置検出装置において、指軸の位置姿勢を検出するための濃淡画像用テンプレート群を示す図である。本発明の実施例の三次元指先位置検出装置において、テンプレートによる類似度評価を説明するための図である。本発明の実施例の三次元指先位置検出装置において、指軸の位置姿勢の定義を説明するための図である。本発明の実施例の三次元指先位置検出装置において、第２のカメラの画像上の指先位置を求める方法を説明するための図である。

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図４は、本発明の実施例の三次元指先位置検出装置の概略構成を示すブロック図である。本実施例の三次元指先位置検出装置は、第１のカメラ４０１と、第２のカメラ４０２と、指先位置検出手段４０３と、指軸位置姿勢検出手段４０４と、三次元指先位置推定手段４０５とを有する。
本実施例では、実際には、図５に示すように、第１のカメラ４０１と、第２のカメラ４０２と、ブルーバック背景５０２と、手指５０１とを配置する。
第１のカメラ４０１は、ブルーバック背景下に手指５０１を撮影できるように固定設置する。第２のカメラについては、その光軸と第１のカメラ４０１の光軸との両方を、空間中に置いたある平面に投影した際に、第１のカメラ４０１の光軸と第２のカメラ４０２の光軸を投影した線同士の成す角度がもっとも小さくなるように平面を移動し、その時の角度が９０°、即ち、投影した線同士が直交するように、第２のカメラ４０２を固定することが望ましい。
なお、図５では、ブルーバック背景５０２を使用しているが、床が肌の色と同じ色合いを含まない場合は、そのままブルーバック背景として代用できる。この場合、第１のカメラ４０１は鉛直下向きに設置することになる。

図６は、本実施例の三次元指先位置検出装置の処理手順を説明するためのフローチャートである。次に、本実施例における、操作者の指の三次元位置の検出手順について、図６を用いて説明する。
（１）ステップ６０１
このステップでは、指先位置検出手段４０３が、予め取得しておいたブルーバックの色情報を用い、図７（ａ）に示す第１のカメラ４０１で撮影した画像７０１において、ブルーバック領域７０２以外の領域を手指領域として抽出し、図７（ｂ）に示す、当該抽出した手指領域の半島突端（図７（ｂ）において上向きの半島となる部分の突端７０３）の位置を指先位置として検出する。なお、背景差分により手指領域を抽出してもよい。
（２）ステップ６０２
このステップでは、指軸位置姿勢検出手段４０４が、図８に示す濃淡画像用テンプレート（本発明の指領域の正規化相関テンプレート）群８０１を用いて、指軸の位置姿勢を検出する。
ここで、１つの濃淡画像用テンプレート８０２は、それぞれの相対位置姿勢が固定である基準線８０３と、基準位置８０４と、高い輝度の領域８０５と、低い輝度の領域８０６とから構成されており、濃淡画像用テンプレート群８０１は、基準線８０３の傾きが異なる複数枚のテンプレートから構成されている。
高い輝度の領域８０５と、低い輝度の領域８０６の領域の形状は細長いことが望ましく、また、それぞれの領域内の輝度値Ｉ_ＢおよびＩ_Ｄについては、それぞれの面積をＡ_ＢおよびＡ_Ｄとしたとき、下記（１）式に示す連立方程式を満たす値であり、正負および０の値をとる。
Ａ_Ｂ・Ｉ_Ｂ ^２＋Ａ_Ｄ・Ｉ_Ｄ ^２＝１
Ａ_Ｂ・Ｉ_Ｂ＋Ａ_Ｄ・Ｉ_Ｄ＝０・・・・・・・・・・・・・（１）
なお、高い輝度の領域８０５と、低い輝度の領域８０６のそれぞれの領域としては、前述の領域形状に一様に分布する疎領域でも良い。また、それぞれの領域内の輝度値として、一様でない値を用いても良い。

さて、指軸の位置姿勢については以下の通りである。
図９（ａ）に示すように、第２のカメラの輝度画像における全ての指軸の候補位置９０１に対して、濃淡画像用テンプレート群８０１の全てのテンプレートを適用し、正規化相関値を類似度として算出する。
例えば、図９（ｂ）に示すように、図９（ａ）の９０１で示す候補位置において、９０２で示すテンプレートを適用する場合、画像上での候補位置９０１にテンプレート９０２の基準点を合わせた際に、テンプレート９０２の高い輝度の領域および低い輝度の領域に対応する画像上での評価対象領域９０３および９０４が特定されるが、これら領域に対して、下記（２）式により、類似度Ｃを算出する。ここ類似度Ｃの値の範囲は、−１から１である。
Ｃ＝Ｅ／Ａ、但し、Ｅ＝Ｉ_Ｂ・Σ_Ｂ（ｉ−ｉ_Ａ）＋Ｉ_Ｄ・Σ_Ｄ（ｉ−ｉ_Ａ）
・・・・・・・・・・・・・・・・・・・・（２）
ここで、（２）式において、Ａは評価対象領域９０３および９０４の和領域の面積の和、ｉは輝度画像の輝度値、ｉ_Ａは評価対象領域９０３および９０４の和領域における輝度値の平均値、Σ_Ｂ（ｉ−ｉ_Ａ）およびΣ_Ｄ（ｉ−ｉ_Ａ）はそれぞれ評価対象領域９０３および９０４における各画素値ｉからｉ_Ａを引いた値の総和を表す。
そして、図１０に示すように、最も高い類似度Ｃに対応する候補位置１００１と、最も高い類似度Ｃに対応するテンプレートの基準線８０３のＸ軸１００４からの傾き１００２から、指軸１００３を求める。
なお、Ｅが一定の値の範囲にない場合には、類似度Ｃを評価しないとしても良い。また、ステップ６０１で求められた第１のカメラ４０１の画像上での指先位置に対応する、第２のカメラ４０２の画像上でのエピポーラ線を基に、候補位置の領域を絞り込むことで不要な計算を省いても良い。

（３）ステップ６０３
このステップでは、三次元指先位置推定手段４０５が、図１１に示すように、ステップ６０１で求めた第１のカメラ４０１の画像における指先位置７０３に対応する第２のカメラ４０２の画像上のエピポーラ線１１０１と、ステップ６０２で求めた指軸１００３との交点位置１１０２を、第２のカメラ４０２の画像における指先位置として求める。
（４）ステップ６０４
このステップでは、三次元指先位置推定手段４０５が、ステップ６０１で求めた第１のカメラ４０１の画像における指先位置７０３と第１のカメラ４０１のレンズ中心とを結ぶ三次元空間における直線と、ステップ６０３で求めた第２のカメラ４０２の画像における指先位置１１０２と第２のカメラ４０２のレンズ中心とを結ぶ三次元空間における直線との交点を求め、これを指先の三次元位置とする。
なお、通常は、これら三次元空間における直線は交わらないので、これら三次元空間における直線への距離の二乗和が最小となる位置を以って、指先の三次元位置としても良い。即ち、第１のカメラ４０１の画像における指先位置７０３と第１のカメラ４０１のレンズ中心とを結ぶ三次元空間における直線と、第２のカメラ４０２の画像における指先位置１１０２と第２のカメラ４０２のレンズ中心とを結ぶ三次元空間における直線とを最短で結ぶ線分の中点を、操作者の指先の三次元位置として推定する。

以上説明したように、本実施例によれば、第２のカメラ４０２で撮影した画像の輝度画像において、操作者の指の指軸の位置姿勢の検出は容易であるとともに、ブルーバック背景下で検出が容易な操作者の手指を、第１のカメラ４０１で撮影した画像から操作者の指の指先位置を併せて用いることで、指先の三次元位置を容易に検出することができる。
本実施例のジェスチャ認識技術は、街頭に設置されている情報キオスク端末や家庭電化製品などの操作対象機器の操作に応用することが可能となる。
なお、前述の説明において、本実施例の三次元指先位置検出装置における指先位置検出手段４０３と、指軸位置姿勢検出手段４０４と、三次元指先位置推定手段４０５とは、コンピュータに実行させることも可能であり、その場合に、本実施例の三次元指先位置検出装置における指先位置検出手段４０３と、指軸位置姿勢検出手段４０４と、三次元指先位置推定手段４０５の動作は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

１０１手指を撮影する際に背後に顔が映り込んだ画像の例
１０２手領域と顔領域との和集合領域
２０１撮影された指
２０２指軸
３０１指先の輪郭
３０２輪郭区分
３０３輪郭区分の輪郭推定に寄与する画素
４０１第１のカメラ
４０２第２のカメラ
４０３指先位置検出手段
４０４指軸位置姿勢検出手段
４０５三次元指先位置推定手段
５０１ブルーバック背景下に撮影される手指
５０２ブルーバック背景
７０１第１のカメラの画像
７０２ブルーバック領域
７０３半島突端の位置
８０１テンプレート群
８０２テンプレート
８０３基準線
８０４基準位置
８０５高い輝度の領域
８０６低い輝度の領域
９０１候補位置
９０２適用テンプレート
９０３，９０４評価対象領域
１００１最も高い類似度に対応する候補位置
１００２最も高い類似度に対応するテンプレートの基準線の傾き
１００３指軸
１００４Ｘ軸
１１０１第２のカメラの画像におけるエピポーラ線
１１０２第２のカメラの画像における指先の位置

Claims

第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、
第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出装置であって、
前記第１の画像から、前記第１の画像上における前記操作者の指先位置である第１の位置を検出する指先位置検出手段と、
前記第２の画像から、前記第２の画像上における前記操作者の指軸の位置姿勢を検出する指軸位置姿勢検出手段と、
前記第１の位置と前記指軸とに基づき検出される前記第２の画像上における前記操作者の指先位置である第２の位置と、前記第１の位置とから、前記操作者の指先の三次元位置を推定する三次元指先位置推定手段とを有し、
前記指軸位置姿勢検出手段は、前記第２の画像に対して、複数の指領域の正規化相関テンプレートを使用し、前記複数の指領域の正規化相関テンプレートの中から最も類似度の高い正規化相関テンプレートを選択し、当該選択した最も類似度の高い正規化相関テンプレートの基準線を前記指軸として検出し、
前記複数の指領域の正規化相関テンプレートは、前記基準線とともに、高い輝度の領域と低い輝度の領域との２つの領域を有し、
前記２つの領域は、２つの長方形領域であって、前記２つの長方形領域の長辺と前記基準線は互いに平行であることを特徴とする三次元指先位置検出装置。
前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、
前記指先位置検出手段は、前記背景の色情報を用いて、前記第１の画像から、前記背景の色以外の画素からなる領域を手指領域として抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出することを特徴とする請求項１に記載の三次元指先位置検出装置。
前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、
前記指先位置検出手段は、背景差分を用いて、前記第１の画像から手指領域を抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出することを特徴とする請求項１に記載の三次元指先位置検出装置。
前記三次元指先位置推定手段は、前記第１の位置に対応する前記第２の画像上のエピポーラ線と前記指軸との交点位置を、前記第２の位置として検出し、前記第１の位置と前記第１のカメラのレンズ中心とを結ぶ三次元空間における直線と、前記第２の位置と前記第２のカメラのレンズ中心とを結ぶ三次元空間における直線とを最短で結ぶ線分の中点を、前記操作者の指先の三次元位置として推定することを特徴とする請求項１に記載の三次元指先位置検出装置。
第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、
第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出方法であって、
前記第１の画像から、前記第１の画像上における前記操作者の指先位置である第１の位置を検出する第１のステップと、
前記第２の画像から、前記第２の画像上における前記操作者の指軸の位置姿勢を検出する第２のステップと、
前記第１の位置と前記指軸とに基づき検出される前記第２の画像上における前記操作者の指先位置である第２の位置と、前記第１の位置とから、前記操作者の指先の三次元位置を推定する第３のステップとを有し、
前記第２のステップは、前記第２の画像に対して、複数の指領域の正規化相関テンプレートを使用し、前記複数の指領域の正規化相関テンプレートの中から最も類似度の高い正規化相関テンプレートを選択し、当該選択した最も類似度の高い正規化相関テンプレートの基準線を前記指軸として検出するステップであり、
前記複数の指領域の正規化相関テンプレートは、前記基準線とともに、高い輝度の領域と低い輝度の領域との２つの領域を有し、
前記２つの領域は、２つの長方形領域であって、前記２つの長方形領域の長辺と前記基準線は互いに平行であることを特徴とする三次元指先位置検出方法。
請求項１ないし請求項４のいずれか１項に記載の三次元指先位置検出装置の各手段を、コンピュータに実行させるためのプログラム。