JP5297530B2 - 画像処理装置、及びインターフェース装置 - Google Patents

Description

本発明は、画像中に特定の物体が写っているかを識別する、画像処理装置およびインターフェース装置に関する。

撮影された画像に、検出したい特定の検出対象が写っているか否かをあらかじめ生成した識別器を用いて判定する方法がある。画像に写っている検出対象は、見る方向の微小な違いや、個々の物体の微小な差によって、見え方がさまざまに変化する。この様な差がある場合であっても検出精度を保つため、画像から特徴ベクトルを算出し、この特徴ベクトルによって識別する。

検出対象の物体が特定の色を有している場合、この色を用いる方式がある。しかしながら、色は照明の色やカメラの設定などの撮影環境によって大きく変動する。そこで、撮影された画像内の特定の領域の色が分かっている場合には、その色との相対的な色の関係を用いて、検出対象を検出する方式が提案されている。例えば特許文献１は、比較的検出しやすい顔を検出し、顔の肌色に近い色の画像領域を手の候補領域として検出を行っている。しかし、この方式では画像上で顔と似た色の対象物が存在すると、手の領域が正しく抽出されず、位置や形状が正しく求められない。

非特許文献１は、同様に顔を検出して肌色の色モデルを生成し、この色モデルを用いて算出された肌色強度の勾配方向を利用して、テンプレート照合で手を検出している。この方式では、肌色の強度を示す画像を、強度の勾配方向で分割して直接テンプレート照合しているため、手の形状の変化に伴い検出の精度が落ちてしまう場合がある。

特開２００７−１２２２１８号公報（米国特許出願公開第２００７／００９２１３４号明細書）

"Template-Based Hand Pose Recognition Using Multiple Cues" B. Stenger, Proc. ACCV, pages 551-560, January 2006.

本発明は、上記従来技術の問題点を解決するためになされたものであって、撮影環境の変化や検出対象の形状の変化に対して頑健な精度の高い検出を行うことが可能な画像処理装置及びインターフェース装置を提供することを目的とする。

本発明は、上記課題を解決するために、入力画像内の検出対象を検出する画像処理装置であって、前記入力画像から、基準色を算出するための基準画像を抽出する抽出部と、前記基準画像から基準色を求める基準色算出部と、（ａ）前記入力画像内に設定された検出ウィンドウの各画素の色と、前記基準色との、色空間における成分毎の差を算出し、（ｂ）前記検出ウィンドウ内を分割した局所領域それぞれについて、前記差に関するヒストグラムを生成し、（ｃ）前記ヒストグラムを、前記局所領域の検出ウィンドウ内の位置に応じた要素位置とする特徴ベクトルを算出する特徴ベクトル算出部と、前記特徴ベクトルに基づいて、前記検出ウィンドウ内に前記検出対象が含まれるか識別する識別部と、を具備することを特徴とする、画像処理装置及びインターフェース装置を提供する。

本発明によれば、撮影環境の変化や検出対象の形状の変化に対して頑健な精度の高い検出を行うことが可能となる。

拳上部の親指を検出する場合の基準画像と検出ウィンドウの例を示す説明図。 第１の実施形態の画像処理装置を示す図。 学習サンプルから算出した色ヒストグラムと、量子化の例を示す図。 特徴ベクトルの算出方法を説明する図。 第１の実施形態の画像処理装置の動作を示す図。 第２の実施形態の画像処理装置を示す図。 基準画像と検出ウィンドウの設定方法を説明する図。 第３の実施形態のインターフェース装置を示す図。

以下、本発明の実施形態について説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。

（第１の実施形態）
本実施形態の画像処理装置は、入力画像内で所望の検出対象の物体が存在するか否かを識別し、その結果を出力する。本実施形態では、入力画像内で指の領域を検出する方法について説明する。画像処理装置によれば、ハンドジェスチャーを検出することができる。例えば、テレビ、ＰＣに組み込むことでこれらの装置に対するコマンドをユーザのハンドジェスチャーによって操作指示をすることが出来る。例として、ＰＣに対する操作指示として、拳の移動によってマウス操作と同様のカーソルの移動を指示し、拳を握った状態から親指を立てたハンドジェスチャーを検出するとクリック操作を指示する場合について以下説明する。

図１は、入力画像から、親指を検出する場合の例を示す図である。入力画像から比較的検出しやすい拳を検出する。拳の領域を基準画像とし、基準画像の平均色（以下基準色と記載）を算出する。親指は拳の上部に撮像されることが推定されるため、検出された拳上部に順次検出ウィンドウ（１…ｎ…Ｎ）を設定して検出ウィンドウ内に親指が含まれるかを識別する。なお、基準画像は図１の例に限られず、例えば顔の中央部分を基準画像として人の手を検出する方法等であっても良い。検出ウィンドウ内を仮想的に分割した局所領域毎にヒストグラムを算出し、検出ウィンドウの特徴ベクトルを算出する。ヒストグラムや特徴ベクトルの算出方法の詳細については後述する。

図２は、本実施形態の画像処理装置１００を示す図である。
画像処理装置１００は、抽出部１と、基準色算出部２と、検出ウィンドウ設定部３と、量子化設定部４と、特徴ベクトル算出部５と、識別部６とを有する。

抽出部１は、入力された画像から基準となる色を抽出するための基準画像を抽出する。あらかじめ拳の位置が分かっている場合には、入力画像中の、既知の拳の領域を基準画像として用いることもできる。または、輝度情報を用いた既存の物体検出手法を利用して拳を検出し、検出された拳の領域を、基準画像として用いることもできる。既存の物体検出手法としては、例えば、”Discriminative Feature Co-occurrence Selection for Object Detection,” T. Mita, T. Kaneko, B. Stenger, O. Hori, IEEE T. PAMI, Vol. 30, No. 7, pages 1257-1269, July 2008などを用いる。

基準色算出部２は、抽出部１で抽出した基準画像内で、基準となる色を算出する。基準色としては、基準画像内の色の平均値、中央値、最頻値などの統計量を用いる。色空間の表色系として、三原色（ＲＧＢ）空間や、ＹＵＶ空間、ＬＡＢ空間、ＨＳＶ空間などを用いることもできる。または輝度情報を除外して用いることもできる。その場合、例えばＹＵＶ空間のＹ成分を除く、ＲＧＢ空間を輝度情報で正規化するなどの方法がある。本実施形態では、YUV空間の平均値を用いる例について説明する。以下、基準色の各成分を（Ym, Um, Vm）と記載する。

検出ウィンドウ設定部３は、親指が存在するか否かを判定するための検出ウィンドウを設定する。図１の例では、親指は拳上部に存在すると仮定して、基準画像に対して相対的に上部に存在する複数の領域それぞれを、Ｎ個の検出ウィンドウとして設定している。検出ウィンドウの設定方法には、他にもさまざまな方法がある。基準画像と検出対象との位置や大きさの相対的な関係があらかじめ推定可能な場合には、基準画像を基準として、存在可能な位置の範囲で順次検出ウィンドウの位置と大きさを変更しながら設定することもできる。また、画面全体に大きさと位置を様々に変更しながら順次検出ウィンドウを設定してもよい。

量子化設定部４は、後段の特徴ベクトル算出部５で局所領域毎の色ヒストグラムを生成する際のＭ個のビンを設定する。ヒストグラムとは度数分布図のことである。値（色ヒストグラムの場合には色）がとりうる範囲をビンと呼ばれる適当な数値範囲の領域に分ける。値がそのビンの範囲に含まれる場合はそのビンの持つ度数を例えば1増やす。なお、増える度数は1ではなく、重み付きの値であっても良い。上記の数値範囲の幅を量子化幅という。量子化設定部４は、各ビンの数値範囲を設定する（以下、量子化方法と記載）。以下、その設定方法について説明する。

ある局所領域内の画素iの色(Yi, Ui, Vi)と基準色（Ym, Um, Vm）との差は、(Yi-Ym, Ui-Um, Vi-Vm)となる。最も簡単な量子化方法は、色空間の各成分がとりうる数値範囲を均等にM分割する方法である。また、量子化方法を学習サンプルの画像から設定することも可能である。後者の方が高性能である場合が多い。以下、学習サンプル画像を利用した量子化方法について説明する。基準画像である拳中央部の基準画像と、同じ画像内に撮影されている検出対象である親指の画像との組が、学習サンプルとして多数与えられているとする。検出対象である親指が撮像された画像領域の各画素(Yi, Ui, Vi)について基準色（Ym, Um, Vm）との差(Yi-Ym, Ui-Um, Vi-Vm)を算出することができる。差 (Yi-Ym, Ui-Um, Vi-Vm)を全ての学習サンプルについて計算し、その各成分について色ヒストグラムを生成する。
図３は、拳と親指の学習サンプルから算出したＹＵＶ空間のＶ成分に関する色ヒストグラムの例と、Ｖ成分のビンの設定方法の例を示す図である。ヒストグラム頻度が閾値よりも大きい数値範囲のＶ成分をM-K等分し（M>>K）、閾値以下の領域をＫ等分する。つまり、頻度が高く存在するＶ成分の数値範囲については、量子化幅を細かく設定し、それ以外の頻度の低いＶ成分の数値範囲については量子化の幅を荒く設定する。図３は、M=7、K=2の例を示す。

特徴ベクトル算出部５は、設定された検出ウィンドウの各画素の色と、基準色算出部２が算出した基準色（Ym, Um, Vm）との、成分毎の差(Yi-Ym, Ui-Um, Vi-Vm)を算出する。成分毎の差(Yi-Ym, Ui-Um, Vi-Vm)を、量子化設定部４で設定した量子化方法に従って量子化する。検出ウィンドウ内を仮想的に分割した局所領域それぞれについて、基準色との差の色ヒストグラムを生成する。色ヒストグラムの度数を、局所領域の検出ウィンドウ内の位置に応じた要素位置とする特徴ベクトルを算出する。

図４は、色ヒストグラムから特徴ベクトルを算出する方法を説明する図である。検出ウィンドウ内の局所領域について基準色との差の色ヒストグラムを生成する。局所領域ごとのヒストグラムの頻度の合計が1となるように正規化し、これらの正規化した色ヒストグラムを局所領域の位置に応じた要素位置とする特徴ベクトルを求める。

局所領域は、図４のように検出ウィンドウ内を重なりなく均等に分割する方法が最も単純な方法である。が、Dalal, N., Triggs, B., “Histograms of Oriented Gradients for Human Detection,” IEEE Conputer Vision and Pattern Recognition, pp. 886-893, 2005のように、数個の隣接局所領域をグループ化し、グループ領域の重なりを許し、グループごとに正規化を行って特徴ベクトルを算出してもよい。

識別部６は、特徴ベクトル算出部５が求めた特徴ベクトルに基づいて、検出ウィンドウ内に検出対象である親指が存在するか否かを識別器（図示しない）によって検出する。識別器としては、K最近傍識別器、判別分析、サポート・ベクトル・マシン（ＳＶＭ）、ニューラルネットワーク等の既存の様々なものを用いることができる。これらの識別器は、いずれも学習型の識別器であり、学習サンプルが必要となる。本実施形態では、学習サンプルは、基準画像である拳中央部の基準画像から求められた基準色と、基準画像と同じ画像内で撮影された検出対象である親指の画像の組が正解学習サンプルとなる。不正解学習サンプルは、同様の基準色と、親指を含まない画像の組である。これらの学習サンプルから、特徴ベクトル算出部５が特徴ベクトルを求めた方法と同様の方法で特徴ベクトルが算出される。それぞれの識別器の学習アルゴリズムによって、識別関数を算出する。例えば線形ＳＶＭの場合、以下のように識別関数により特徴ベクトル評価し、正の値を持つとき検出ウィンドウ内に親指が存在すると判定する。以下は識別関数の例を示す式である。

Σ_i (a_i t_i x_i ^Tx) − b > 0
ここで、xは特徴ベクトル、(t_i, x_i)は学習サンプルの正解値（親指ならt_i=+1, 親指でなければt_i=-1）と特徴ベクトルの組、a_iとbは学習アルゴリズムによって決定される学習サンプルに対する係数と閾値である。

図５は、本実施形態の画像処理装置の動作を示すフローチャートである。Ｓ１では抽出部１の処理により基準画像を抽出し、つづいてＳ２において基準画像内で基準色算出部２の処理により基準色を算出する。Ｓ３において、検出ウィンドウを検出ウィンドウ設定部３の処理にしたがって１つ設定し、Ｓ４において量子化設定部４の量子化方法に従って色空間の量子化の設定を行う。Ｓ５では、特徴ベクトル算出部５は、Ｓ４で求めた量子化設定と基準色を用いて色ヒストグラムを生成し、特徴ベクトルを算出する。Ｓ６では識別部６が特徴ベクトルによって、検出ウィンドウ内に検出対象があるかを識別する。Ｓ７では、全ての検出ウィンドウについての識別処理が終わっていれば（Ｓ７，Ｙｅｓ）処理を終了し、終わっていなければ（Ｓ７，Ｎｏ）Ｓ３に戻って次の検出ウィンドウについての検出処理を行う。

図７は、検出対象と基準画像の別の例を示す図である。人の手のひら中央部分を基準画像とし、手のひらを検出対象とするなど、さまざまな応用が考えられる。この場合、図１の例とは異なり、基準画像となった領域を含む検出ウィンドウが設定される。図７の例での基準画像の抽出方法として、検出対象が存在するか否かを判別するための検出ウィンドウからみて固定の位置に基準画像を設定する。この方法は、検出対象のある部分または全体が、一様な色である場合に有効である。つまり、手のひらの様に一様な色となる部分が基準画像として選択されるように設定する。

本実施形態の画像処理装置によれば、特徴ベクトルに、基準色との相対的な色の関係が検出ウィンドウ内にどのように分布しているかの情報を用いている。そのため、高いな識別性能を得ることができる。同一画像内の色の差の情報を利用しているため、画像の撮影条件の変化に影響されにくい。また局所領域毎の色ヒストグラムを用いて、局所領域の位置に応じた要素位置とする特徴ベクトルによって、画像と色空間の両方について量子化が行われているため検出対象の姿勢や個体間の差の影響が少ない。よって、高精度な物体検出を行うことができる。

（第２の実施形態）
本実施形態の画像処理装置は、第１の実施形態で説明した基準色との色の差の特徴ベクトルに加えて、入力画像の輝度から算出した輝度勾配に関する特徴ベクトルを識別に用いる点が異なる。

図６は、本実施形態の特徴ベクトル算出部５１を示す図である。特徴ベクトル算出部５１は、特徴ベクトル算出部５と、特徴ベクトル算出部７と、統合部８を備える。特徴ベクトル算出部５は図１の特徴ベクトル算出部５と同様の処理を行う。

特徴ベクトル算出部７は、検出ウィンドウ設定部３で設定された検出ウィンドウ内の輝度情報を用いて特徴ベクトルを算出する。このような輝度情報用いる特徴ベクトルとしては、既存のさまざまなものを用いることができる。例えば、輝度勾配の方向のヒストグラムを使用するHistogram of orientated gradients(HOG)特徴量（「Dalal, N., Triggs, B., “Histograms of Oriented Gradients for Human Detection,” IEEE Conputer Vision and Pattern Recognition, pp. 886-893, 2005」参照）や、勾配方向の局所的な共起ヒストグラムを利用するCo-occurrence histogram of oriented gradients (CoHOG)特徴量（「Tomoki Watanabe, Satoshi Ito, and Kentaro Yokoi, “Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection,” Proceedings of the 3rd Pacific Rim Symposium on Advances in Image and Video Technology, Pages: 37 − 47, 2009」参照）などを用いる。

統合部８は、特徴ベクトル算出部５が求めた特徴ベクトルと、特徴ベクトル算出部７が算出した特徴ベクトルを連結し、特徴ベクトルを生成する。識別部６において、この特徴ベクトルを用いて検出ウィンドウ内に検出対象が存在するか否かを決定する。なお、特徴ベクトル算出部５１が特徴ベクトルを算出した方法と同様の方法で、学習サンプルの特徴ベクトルも算出される。

このように輝度勾配の情報を加えて用いることにより、検出対象物体の輪郭情報をさらに考慮して識別をおこなうことが可能となり、認識精度を向上させることができる。

（第３の実施形態）
図８は、本実施形態のインターフェース装置を示す図である。操作者が手形状又は手の動きによって後段に接続される制御対象装置に指示を与えるインターフェース装置である。

撮像部８１は、例えばＣＣＤビデオカメラなどの撮像装置を用いて、操作者の手を含む入力画像を撮像する。

画像処理装置１００は、第１の実施形態又は第２の実施形態の画像処理装置である。入力画像に検出対象の親指が存在するか否か及び検出対象の位置、を識別結果として送る。

制御部８２は、認識されたハンドジェスチャーの種類及び位置に基づいて制御内容を決定し、制御対象装置の制御を行う。識別結果から操作者が行ったハンドジェスチャーの種類を認識するが、ハンドジェスチャーの認識は、例えば拳の位置の時間的な履歴から移動方向を算出し、拳の移動を上下左右の方向コマンドとして認識し、拳上部に親指が検出されれば、決定コマンドと認識する。

ジェスチャーの種類に基づいて、後段に接続される制御対象機器（図示せず）の制御内容を作成し、制御対象機器の制御を行う。例えば、テレビ、ＰＣに組み込むことでこれらの装置に対するコマンドを作成する。

なお、上記の各実施形態はジェスチャー認識手法の一例として示したものであり、上記手法に限定されるものではない。

１００・・・画像処理装置
１・・・抽出部
２・・・基準色算出部
３・・・検出ウィンドウ設定部
４・・・量子化設定部
５・・・特徴ベクトル算出部
６・・・識別部
７・・・特徴ベクトル算出部
８・・・統合部
８００・・・インターフェース装置
８１・・・撮像部
８２・・・制御部

Claims (5)

1. 入力画像内の検出対象を検出する画像処理装置であって、
   前記入力画像から、基準色を算出するための基準画像を抽出する抽出部と、
   前記基準画像から基準色を求める基準色算出部と、
   （ａ）前記入力画像内に設定された検出ウィンドウの各画素の色と、前記基準色との、色空間における成分毎の差を算出し、（ｂ）前記検出ウィンドウ内を分割した局所領域それぞれについて、前記差に関するヒストグラムを生成し、（ｃ）前記ヒストグラムを、前記局所領域の検出ウィンドウ内の位置に応じた要素位置とする特徴ベクトルを算出する特徴ベクトル算出部と、
   前記特徴ベクトルに基づいて、前記検出ウィンドウ内に前記検出対象が含まれるか識別する識別部と、
   を具備することを特徴とする、画像処理装置。
   
2. 前記特徴ベクトル算出部は、前記ヒストグラムにおけるビンごとに色の量子化の幅が異なることを特徴とする請求項１記載の画像処理装置
   
3. 前記特徴ベクトル算出部は、あらかじめ前記検出対象の学習データから生成された前記色ヒストグラムに基づき、頻度が高い前記色成分の値の範囲では前記量子化の幅を細かくし、頻度が低い前記色成分の値の範囲では前記量子化の幅を荒くすることを特徴とする請求項２に記載の画像処理装置。
   
4. 前記特徴ベクトル算出部は、さらに
   （ｃ）前記局所領域の輝度の勾配方向を求め、
   （ｄ）前記勾配方向を量子化して、方向に関する勾配ヒストグラムを前記局所領域毎に生成し、
   （ｅ）前記色ヒストグラムと前記勾配ヒストグラムとを、連結し、前記局所領域の位置に応じた要素位置とする特徴ベクトルを算出する、
   ことを特徴とする、請求項３記載の画像処理装置。
   
5. 操作者が手形状又は手の動きによって制御対象装置に指示を与えるインターフェース装置において、
   画像を撮像する撮像部と、
   前記撮像部が撮像した入力画像から、基準色を算出する基準画像を抽出する抽出部と、
   前記基準画像から基準色を求める基準色算出部と、
   （ａ）前記入力画像内に設定された検出ウィンドウの各画素の色と、前記基準色との、色空間における成分毎の差を算出し、（ｂ）前記検出ウィンドウ内に設けた複数の局所領域それぞれについて、前記差に関するヒストグラムを生成し、（ｃ）前記ヒストグラムを、前記局所領域の検出ウィンドウ内の位置に応じた要素位置とする特徴ベクトルを算出する特徴ベクトル算出部と、
   前記特徴ベクトルに基づいて、前記検出ウィンドウ内に検出対象が含まれるか識別する識別部と、
   前記識別部の識別結果から、前記制御対象装置に対する指示を与える制御部と、
   を備えたことを特徴とするインターフェース装置。

Images