JP3863809B2 - 手の画像認識による入力システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータ入力のヒューマン・インターフェースに関し、特に掌の画像から立っている指を識別することにより入力することができるシステムに関する。
【０００２】
【技術的背景】
近年、コンピュータ等の発達によって、人間の周りの機械類をより利用しやすく、より役に立つものにすることが可能になった。バーチャルリアリティ、マルチメディア、ヒューマン・インターフェースなどの発明はこの動きの代表的なものである。
その中のヒューマン・インターフェースは、人間と機械の間の情報のやりとりを如何にして効率良く、理解しやすい形で行えるかを目的とする発明であり、人とコンピュータとの間で人にやさしい対話を目的とする上で、人間の動作や姿勢を機械に理解させることが非常に重要な課題である。例えば、仮想世界の構築を行うためには人体全体に対する姿勢推定が必要であるし、機械の遠隔操作を想定するなら、手指の姿勢推定が重要となる。また、各種の設備や機器にカメラを設置して利用者の行動を数値化できれば、ヒューマン・インターフェースの一助となる。
動作認識の中でも、人体の一部である手の形状を入力手段とする方法は、各種機器とのインターフェースが自然な形で実現することにつながり、非常に重要な意味を持っている。しかも、手は人の体の中でもっとも器用な部分で、その形状や動作による表現が非常に豊富である。従って、人間像の合成や人の動作の認識の中で手は極めて重要な部分である。
【０００３】
手形状を利用する手法としては、データグローブ等の物理型センサやマーカを用いる接触型の手法と画像情報から認識をおこなう非接触型の手法がある。センサーやマーカを用いる接触型の手法は数多く提案されているが、入力画像の特徴点を抽出する際の安定性が高く処理が速い反面、被観測者にとって物理的なセンサの装着に伴う煩わしさがあり、より自然なシステムを構築するためには問題がある。
それに対し、センサやマーカを用いず画像情報から認識を行う方法も数多く提案されている。画像情報より認識を行う手法には、入力画像から指などのエッジ成分や輪郭線といった特徴を抽出し、得られた成分と学習済みの３次元モデルをマッチングさせることで形状推定を行う方法がある。しかし、これらの手法は、マッチングの際の計算量が多く処理時間に問題があり、手を入力手段とする実時間上で動作するシステムを構築するには無理がある。実時間で手の重心の位置や手の方向、指の本数の認識は行えるものもあるが、これらは手の形状から得られる基本的な情報のみを認識しており、実際にどの指が伸びているのかを認識することができない。
実時間で指を認識することができるシステムもあるが、複数台のカメラを用いて特徴を抽出し認識を行っており、手をコンピュータの入力装置とする自然なマンマシン・ヒューマン・インタフェースを構築するには無理がある。
しかし、ユーザにとって自然で使いやすいヒューマン・インターフェースを構築するためには、物理センサを用いず、被観測者に負担を与えない画像情報を利用する手法の方が有用である。
【０００４】
【発明が解決しようとする課題】
本発明の目的は、センサやマーカを用いず、手の形状の画像情報から、５本の指のうちどの指が立っているかの認識を行うことにより、コンピュータ等に入力できるシステムを提供することである。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明は手の画像認識による入力システムであって、手の画像を入力する画像入力手段と、該画像入力手段からの手の画像から、手領域部分を塗りつぶした手領域抽出画像を得る手領域抽出手段と、該手領域抽出画像から、手領域細線画像を得る手領域細線画像生成手段と、前記手領域抽出画像と手領域細線画像とから、立っている指を認識して手の形状を特定する手形状認識手段とを備え、どの指が立っているかで片手で３２通りの形状を特定することを特徴とする。
前記手領域抽出手段は、前記手の画像から肌色部分を抽出して、肌色部分に平滑化処理を行い、平滑化処理後の前記肌色部分の輪郭線を追跡して輪郭線の長さが最大である座標系列の抽出を行い、抽出した輪郭線に平滑化処理を行った後、該輪郭線の内部を塗りつぶして手領域抽出画像を得ることができる。
さらに、前記輪郭線から、指の数を認識する指数認識手段を備え、該指数認識手段により、指の数が２〜４のいずれかであると認識したときに、前記手形状認識手段で手形状の特定を行い、指の数が０又は５であると認識したときは、前記手形状認識手段による処理を行わないようにすることもできる。
手形状認識手段は、前記手領域細線画像から手の方向ベクトルを求め、求めた該手の方向ベクトルに対して垂直に前記手領域抽出画像を走査して、手のラン長を求め、該ラン長により指領域を抽出し、抽出した該指領域を用いて、前記手領域細線画像から指の部分を抽出することで手の形状を認識することもできる。
手形状認識手段は、前記手の形状の認識を行うパラメータを正規化して評価するとよい。
上述に記載した機能を有する入力システムをコンピュータ・システムに構成させるプログラムやプログラムを格納した記録媒体も本発明である。
【０００６】
【発明の実施の形態】
本発明の実施形態を、図面を参照して詳細に説明する。
図１は、本発明の実施形態におけるシステム構成例を示す。手の画像認識による入力システム１００は、ＣＰＵ，ハードディスク等を内蔵するコンピュータ本体１１０，ＣＲＴ等の表示装置１２０，キーボード１１２，マウス等のポインティング・デバイス１１４等で構成される通常のコンピュータ・システムにカメラ等の画像入力装置１３０を接続したものである。画像入力装置１３０から、手の画像をコンピュータ・システム内に取り込み、画像処理を行うことができる。
また、図２は、このシステムで実行される手形状の認識処理を示すフローチャートである。以下に、このフローチャートを用いて、手形状の認識処理を説明する。
まず、１台のカメラ１３０により、システム内に手形状の画像を取得する（Ｓ２０２）。以下に説明するこの実施形態では、取得した入力画像に対して、以下のような制約条件がある。
１．入力画像はＲＧＢ表色系で表されるカラー画像である。
２．肌色領域を抽出して手領域とするため、画像中において手が最大の肌色領域であり、手領域と他の肌色物体は重ならないようにする。
３．カメラのレンズに対してなるべく掌を平行に向けるようにし、カメラのレンズに掌が向いているのか手の甲が向いているのかが分かっている。
４．手となる領域がすべて肌で表され、手首より先の領域は画像枠とは交わらない。
５．指同士は重なり合わないようにする。
６．指は伸ばしているか伸ばしていないかのいずれかの状態にあるとする。
【０００７】
これらの制約条件を満たし、かつ人間が指を用いて表現できる手形状は３２種類ある。本発明はこの３２種類全ての形状に対してどの指が伸びているかを認識する。３２種類の手形状の詳細を図３，図４（背景は黒に統一してある）に示す。図３，図４では、各手形状に対して、指の位置を２進数の位とし、指が立っている状態を１、畳んでいる状態を０としたときの２進数（括弧の中は１０進数）も示している。図３に示すように、手形状の３２種類の状態と指による２進数とは１対１の関係にある。従って、図３に示す手形状を認識できると、それに対応する２進数（１０進数）も入力できることになる。
【０００８】
入力した入力画像の例を図５に示す。図５に示すように、実際の入力画像には、背景等、手の認識に無関係のものが映っている。次に、図５に示した入力した画像から、手領域を抽出するための画像を生成する（Ｓ２０４）。この認識用の画像の生成を行う処理例のフローチャートを図６に示す。図６に示すように、手領域抽出画像の生成は、例えば以下の手順で行う。
１．ＲＧＢ表色系で表される入力画像を、ＲＢＧ表色系に対して光の影響が受けにくいＨＳＶ表色系に変換する（Ｓ３０４）。
２．ＨＳＶ表色系画像において肌色成分を抽出し（Ｓ３０６）、肌色成分とその他の成分に２値化し、２値画像を生成する（Ｓ３０８）。
３．得られた２値画像において面積が最大である領域を抽出し（Ｓ３１０）、平滑化処理として拡散・収縮を行った（Ｓ３２２）ものを手領域候補とする。
【０００９】
上の手順で得られた画像は、撮影環境などによっては情報の欠落やノイズを含んでいる場合があり、後の細線化処理において不都合が生じる場合がある。そこで手領域候補の輪郭線に対しても平滑化を行う。輪郭線の平滑化は以下の手順で行う。
１．手領域候補の輪郭線を抽出し、輪郭線の最大のものを手領域候補の輪郭線とする（Ｓ３２４）。
２．得られた手領域候補の輪郭線を線分近似パラメータεで多角形近似し、多角形近似された領域に対して塗りつぶし処理を行う（Ｓ３２６）。ここで線分近似パラメータεは手領域候補の面積に対して設定される。
３．多角形近似された領域に対して塗りつぶし処理を行って得られた図形を手領域として決定し、この画像を手領域抽出画像とする（Ｓ３２８）。
以下に各処理の詳細に付いて述べる。
【００１０】
（手領域候補の抽出：Ｓ３０２）
まず、画像中の手領域である場所を抽出するために、本発明の実施形態では肌色抽出を行う。
しかしながら、入力画像であるＲＧＢ表色系で表されるカラー画像は、色彩情報を人間が直接推定することが困難となり扱いにくい。したがって人間が感覚的に取り扱いやすい、明度、彩度、色度のような属性を持つ表色系に変換することが望ましい。このような表色系にはＨＳＶ表色系やＬ^＊ａ^＊ｂ^＊表色系など様々なものがあるが、ＨＳＶ表色系が安定して肌色抽出が行える。
そこで、本発明の実施形態では、ＲＧＢ表色系からＨＳＶ表色系に変換し、肌色抽出を行った。
【００１１】
（ＨＳＶ表色系）
ＨＳＶ表色系は、色の種類を表す色相Ｈ（hue）、色の鮮やかさを表す彩度Ｓ（saturation）、そして明るさの程度を表す明度Ｖ（value）の3つの要素からなる。変換方法は、ＲＧＢ表色系を非線形変換する。ただし、Ｒ，Ｇ，Ｂ，Ｓ，Ｖの値域は［０，１］であり、Ｈは〔０，２π〕の値を持つものとする。ＲＧＢ表色系からＨＳＶ表色系への変換方法は、例えば高木・下田監修「画像解析ハンドブック」（東京大学出版会，ｐｐ．４８５−４９１，１９９１年発行）に記載されている。
【００１２】
（手領域の抽出）
本発明では、肌色領域の閾値は
０．１１＜Ｈ＜０．２２
０．２＜Ｓ＜０．５
のように設定し、この閾値を用いて肌色を抽出する（Ｓ３０６）。手領域と背景とを分離するために２値化処理（Ｓ３０８）を行い、手領域の最大面積部を抽出する。このとき手領域の最大面積部、つまり画素数が１０００より小さいときは画像中に手領域が存在しないとし、処理を終る。なお、用いている画像は、横３２０画素・縦２４０画素の大きさであるとする。
得られた手領域最大部のシルエット画像に対して、平滑化処理として拡散・収縮処理（Ｓ３２２）を行ったものを手領域候補とする（図７参照）。拡散・収縮処理のアルゴリズムは、例えば長谷川他「画像処理の基本技法−技術入門編−」（技術評論社 １９８６年発行）を用いることができる。
【００１３】
（手領域の決定）
得られた手領域候補に対して、輪郭線追跡処理を施して輪郭線抽出画像を作成し（Ｓ３２４：図８参照）、輪郭線の長さが最大である座標系列の抽出を行う。この座標系列より、輪郭線の平滑化処理として多角形近似（Ｓ３２６）を行う。多角形近似には区分的直線近似法を用いる。
（区分的直線近似法）
区分的直線近似法とは、ある線分近似パラメータεを導入した以下の手順のアルゴリズムで実現されている（長谷川他「画像処理の基本技法−技術入門編−」（技術評論社 １９８６年発行）参照）。図９は、その動作原理を示したもので（ａ）（ｂ）（ｃ）（ｄ）という順で処理されている。
１．まず、輪郭線図形の追跡開始点Ａから追跡順に直線線分で結んでいき、その直線線分から最も離れた点Ｃを見つけ、その最大距離ｈが近似値εより大きければ、その点で２つの直線ＡＣ，直線ＣＢに分割する。最大距離ｈが近似値εより小さければ手順終了。
２．次に、分割した各々の部分線ＡＣ，ＢＣに対し、１と同様の手順を用いて分割を繰り返す。図９（ｂ）の例では、直線ＡＣで、再度最大距離ｈが近似値εより大きい点Ｄが見出されているので、直線ＡＤと直線ＤＣに分割している（図９（ｃ）参照）。
３．分割されたどの直線線分に対しても最大距離がεを越えなければ分割操作を停止し（図９（ｃ）参照）、分割点で結ばれた多角形が求める線図形として手順終了（図９（ｄ）参照）。
区分的近似法は、線分近似パラメータ値εを適当に設定することにより滑らかさの具合も調整できる。
【００１４】
しかし、手とカメラとの距離（奥行き値）によって、フレーム上での手領域面積が異なるため、一定の線分近似パラメータでは適切な近似ができない。そこで本発明の実施形態では、手領域の面積によりそれぞれの線分近似パラメータを決定し、奥行き値の影響を軽減する適切な近似ができるようにした。
本発明の実施形態で用いた近似パラメータの例を表１に示す。
【表１】

輪郭線抽出画像を区分的直線近似法を使って実現した、多角形近似画像の例を図１０に示す。
【００１５】
（手領域の決定）
得られた多角形近似画像に対して、スキャン・コンバージョンのアルゴリズムを用いて多角形近似画像の塗りつぶし処理（Ｓ３２６）をおこない、得られた画像（図１１参照）を手領域抽出画像として決定する（Ｓ３２８）。スキャン・コンバージョンは、例えば、阿部圭一「ＯＡのための図面・文書画像処理４ 図形の追跡」（画像ラボ，ｐｐ．５２−５５，１９９９）に記載されている。
（手領域細線画像の生成）
得られた手領域抽出画像を用いて手領域細線画像を生成する（図２のＳ２０６）。手領域抽出画像に対して細線化を行う。細線化のアルゴリズムは、例えば横井他「標本化された２値図形のトポロジカルな性質について」（電子通信学会論文誌（Ｄ），Ｊ５６−Ｄ，４２，ｐｐ．６６２−６６９，１９７３）に記載のものを用いた。
得られた細線化画像には、図１２に示すように指先などに小さな枝が付いている場合が多く、この後の処理に不都合が生じる。そこで枝の除去処理を行う。枝の除去を行った細線化画像を手領域細線画像とする（図１３）。
（指の本数認識：Ｓ２０８）
認識用画像を生成するとともに、伸びている指の本数を求める。手領域抽出過程で得られた輪郭線抽出画像に対して、手領域抽出で用いた線分近似パラメータとは別の値（表２参照）の線分近似パラメータεで多角形近似を行う。
【表２】

【００１６】
近似された画像は、ｎ個の点とｎ個の直線から成る多角形である。そこでｎ個の点を近似点と呼び、図１４に示す様に、近似点をｘ_０，ｘ_１，・・・，ｘ_ｉ−１，ｘ_ｉ，・・・，ｘ_ｎ−１と置いて、ベクトルｘ_ｉｘ_ｉ＋１，ベクトルｘ_ｉｘ_ｉ−１の成す角をθ_ｉとする。ここでベクトルｘ_ｉｘ_ｉ＋１＝（ａ_１，ａ_２），ベクトルｘ_ｉｘ_ｉ−１＝（ｂ_１，ｂ_２）とすると、θ_ｉは次の式で求められる。
【数１】

この式によって、多角形のすべての近似点によって成される角が求まる。ここでθ_ｉ≦６０°であるものを特徴点として抽出しその数を算出する。
しかし、上述の式を用いて内角を求めると、多角形の内角が１８０°以上のものも抽出されてしまう。これは、１８０°以上の内角θは、上述の式では３６０°−θとして計算され、実質的に多角形の内角が１８０°以上のものも抽出されてしまうことになる。
そこで、図１５に示すように、三角形△ｐ_ｉ−１ｐ_ｉｐ_ｉ＋１の符号付き面積（例えば、浅野哲夫「計算幾何学」ｐｐ．７３−７９ 朝倉書店，１９９０年参照）を用いて１８０°以上の内角を持つ頂点の検出を行い、１８０°以上の内角を持つ角を特徴点として抽出しない処理を行う。
算出された特徴点の数より指の本数の認識を行う。特徴点の個数と指の本数との対応は表３に示す。このとき指が０本と５本に認識された場合は、処理を終了する。
【表３】

指の本数認識の精度であるが、認識実験で用いた画像１５００枚に対して、認識率は約９９％である。
【００１７】
＜指領域抽出処理＞
以下に、作成された２種類の認識用画像より指領域の抽出を行い、認識に必要な画像特徴を抽出する。手領域抽出画像からは手指の太さといった手の見かけ特徴を抽出し、手領域細線画像からは手の骨格的特徴である座標特徴を抽出する。（手の方向ベクトルの決定：Ｓ２１０）
手領域細線画像（図１３参照）から手の方向ベクトルを決定する。以下に指ベクトルの抽出方法を説明する。
１．手領域抽出細線画像から端点（ｘ_ｎ０，ｙ_ｎ０）（ｎ＝０，１…，Ｎ）を求める。ここで、各端点は対応する指先に存在する。端点から分岐点または交差点までの線分Ｓｎを抽出し、指候補線分とする（図１６参照）。
２．各線分Ｓ_ｎを区分的直線近似法を用いて折れ線近似し、屈折点を（ｘ_ｎｍ，ｙ_ｎｍ）とする。但し、ｍは端点側より１，２，…とする。折れ線近似する必要のない線分では、分岐点または交差点を屈折点（ｘ_ｎ１，ｙ_ｎ１）として抽出する。また、このときの線分近似パラメータεの値を７．０とした。
３．各線分Ｓ_ｎにおいて、端点（ｘ_ｎ０，ｙ_ｎ０）と、近似された直線において端点に最も近い屈折点（ｘ_ｎｌ，ｙ_ｎ１）とを用いて各指ベクトルｖ_ｎを求める（図１７参照）。
但し、ｖ_ｎ＝（ｘ_ｎ０−ｘ_ｎ１，ｙ_ｎ０−ｙ_ｎ１）である。
４．以下の式を用いて、各指の方向ベクトルの和をとり、手の方向ベクトルｖとする（図１８参照）。ただし、Ｎは指の数である。
【数２】

本手法では、指領域抽出の際に手の方向ベクトルが必要であり、画像中の手領域全体の方向より、手首から指先の方向のベクトルの方が重要である。この手順により求められた手の方向ベクトルは、指の領域候補より求められているために、手首の曲がり具合に影響されず、手首から指先の方向を求めることができる。
（指領域の決定：Ｓ２１２）
得られた手の方向ベクトルに対して垂直に画像走査し、画像走査とともに画像中の手領域のラン長のヒストグラム（以下ラン・ヒストグラムとする）を作成する（図１９参照）。
各指の太さは、手首や掌の太さとは大きく異なる。そのため、手の方向ベクトルに対して垂直に画像を走査すると、指・手首・掌を横切ることによって定まるランの長さは、指の部分とその他の部分で大きく異なる。そこで、図２０に示す様なラン・ヒストグラムを作成して、指領域とそうでない領域とを分割するための閾値となるラン長を、判別分析法により決定することができる。判別分析法は、例えば大津展之「判別および最小２乗基準に基づく自動しきい値選定法」電子通信学会論文誌，Ｊ−６３Ｄ，ｐ．３４９，１９８０に記載されている。
【００１８】
（指領域の抽出）
判別分析法により決定された閾値を用いて、指領域を抽出する。再度、手の方向ベクトルに対して垂直に画像走査を行い、図２１に示すように、画像中の手領域のランが閾値より短い場合、それを指領域として抽出する。図２２の白い部分が抽出された指領域である。また、図２２（ａ）〜（ｄ）に示された指領域のランヒストグラムと決定された閾値を図２３（ａ）〜（ｄ）に示す。
しかし、すべての場合この判別分析法が適用されるとは限らない。判別分析法の特性上、例えば指が１本のときなどは、閾値が決定されない場合がある。その場合はランの最長の１／３より小さい領域を指領域として抽出する。
得られた指領域抽出画像より、手領域細線画像から指領域を抽出する。抽出は、指領域抽出画像と手領域細線画像の論理積をとるだけなのだが、そのとき本来の指の本数より多くの線分数が抽出されてしまう場合がある。そこで指の本数認識（Ｓ２０８）の結果を用い、指の本数と指領域線分が一致するように、指領域線分の長さが小さいものを取り除く処理を行う。得られる画像を図２４に示す。
【００１９】
＜手形状の認識＞
これまでの処理または処理過程より得られた画像より、以下の画像特徴を抽出し、認識パラメータとする。これらの認識パラメータを用いて認識関数を作成し、どの指が伸びているのかを認識する。
・指領域のランの平均長
・各指線分の長さ
・各指同士の間隔
・掌に対する指の位置情報
以下に、画像特徴から認識パラメータを抽出する過程（Ｓ２１６）を示す。
指領域のランの平均長を求めるには、抽出する画像特徴である各指線分の長さ、各指同士の間隔、掌に対する指の位置情報を数値化する時、画像中の手の大きさ、つまりカメラと手の位置により値が異なるため、正規化する必要がある。そこで正規化値を求めるため、抽出された指領域（図２２参照）に対し、図２５に示す様に、手の方向ベクトルvに垂直な画像走査を行い、指領域のランヒストグラムを作成する。得られたランヒストグラムの平均値を求め、これを指領域のランの平均長とし、正規化値Ｔとする。
【００２０】
（各指の線分の長さ）
指領域抽出細線画像において、図２６に示すように、指にあたる各線分の両端点を結ぶ直線の長さをＬ_ｎ（ｎ＝１，２，…，Ｎ）とする。これを指領域のラン平均長Ｔを用いて正規化する。正規化には次式を用い、正規化後の指の長さＦｌ_ｎ（ｎ＝１，２，…，Ｎ）を求める。
【数３】

【００２１】
（各指同士の間隔）
指同士の間隔を求める手順を以下に示す。
１．指領域抽出細線画像において、手の方向ベクトルｖを用いて、各線分の指の根本に対応する座標を検出する。
２．得られた指の根本座標を近似する直線Ａを最小２乗法により求める（図２７（ａ）参照）。
３．直線Ａに対して垂直かつ指の根本座標を通る直線Ｂ_ｎ（ｎ＝１,２，…，Ｎ）を求める（図２７（ｂ）参照）。
４．直線Ａと直線Ｂ_ｎ（ｎ＝1,２，…Ｎ）の交点Ｃ_ｎ（ｎ＝１，２，…，Ｎ）を求め、Ｃ_ｎとＣ_{ｎ＋ 1}の長さを指同士の間隔とする。
５．得られた間隔を指領域のラン平均長Ｔを用いて正規化を行う。
【００２２】
（掌に対する指の位置情報）
掌に対する指の位置情報を求める手順を以下に示す。
まず、掌の位置線分の決定するために、手領域抽出画像に対して、手の方向ベクトルｖに垂直な画像走査を行う。ラン長が最大である部分を画像走査によって検出し、その部分を掌の位置線分とする（図２８（ａ）参照）。また、得られた位置線分の両端点をそれぞれ端点Ｌ，端点Ｒとする。
（指の位置の決定）
得られた掌の位置線分に対して、指の根本座標から垂線を降ろし、掌の位置線分との交点座標を求める（図２８（ｂ）参照）。図２８（ｂ）に示される様に、指の位置情報は、交点と掌の位置線分の両端点Ｌ、Ｒからの距離により求める。また、他のパラメータ同様、指領域のランの平均長Ｔを用いて正規化を行う。
＜認識パラメータの特徴＞
認識パラメータから得られる特徴について述べ、これらの特徴を用いて認識を行う（Ｓ２１６）。
【００２３】
（各指の長さ特徴）
人間の手の構造上、各指の長さに違いがある。図２９（ａ）のように指が５本の時、図２９（ｂ）のグラフに示す様に、親指と小指はその他の指の長さに比べ短いという特徴が現れる。また、図３０のグラフは、指が５本の時の統計データを示す（但し、データ数は４７である）。統計データからも親指と小指がその他の指の長さに比べ短いということが分かる。
しかし、この関係は、図３，図４に示した手の各形状において異なるため、全ての形状のデータを分析し、指の長さ特徴として用いる必要がある。
図２９（ｂ）、図３０において、×印は正規化後の指の長さｆｌ_ｎを表し、折れ線部は同じ画像の各指の長さ関係を示している。
【００２４】
（各指同士の間隔特徴）
図３１に示すように指の組合せ方によって指同士の間隔は異なる。例えば、図３１（ａ）と図３１（ｂ）では、指の組合せ方の違いから、指の間隔特徴も異なる。そこで、前に述べた方法で、指の間隔を数値化することにより、指の組合せを限定することができ、認識に用いることができる。
（掌に対する指の位置特徴）
図３２に示すように、どの指のが伸びているかによって指の位置情報が異なる。図３２（ａ）は、端点Ｌから最左の交点の距離が小さく、端点Ｒから最右の交点の距離が大きい。この特徴より小指が伸びている確率が高く、親指または人指し指が伸びている確率が低いことが分かる。
また、図３２（ｂ）は端点Ｌから最左の交点の距離が小さく、端点Ｒからの最右の交点の距離が大きい。この特徴より小指の伸びている確率が小さく、親指または人指し指の伸びている確率が高いことが分かる。
このように、上述の様にして用いた各認識パラメータを用いて、どの指が立っているかを認識する。
【００２５】
＜どの指が立っているかの認識手順＞
具体的な認識手順の例を図３３〜図３７に示す。どの指が立っているかの認識は、指の本数認識処理（Ｓ２０８）より認識した、立っている指の本数毎に行われている。図３３には１本の指が立っている場合の認識手順、図３４には２本の指が立っている場合の認識手順、図３５，３６は３本の指が立っている場合の認識手順、図３７には４本の指が立っている場合の認識手順が示されている。
示されている手順は、条件欄に示されている条件が、満たされているか、満たされないかにより、認識結果又はどの手順にジャンプするかを示している。認識結果が示されている場合は、認識手順を終了する。これらの認識手順では、認識結果は、立っている指を図３，図４に示したような２進法で示している。右の掌をカメラに向けて、小指が左側，親指が右側に映っている画像を認識している。左手を認識する場合は、指の番号付け・左右の解釈を変えればよい。指の太さの平均を１として、手の左右端からの指の位置や指の長さを表す。
【００２６】
【発明の効果】
上述するように、各種機器に接続されたカメラの前で手の形を変えることにより、片手を認識することで３２通り、両手だと１０２４通りの指示等を、本発明の入力システムを用いて、各種機器に入力することが可能である。
【図面の簡単な説明】
【図１】実施形態のシステム構成例を示す図である。
【図２】実施形態の認識処理の例を示すフローチャートである。
【図３】実施形態のシステムで認識可能な手の形状を示す図である。
【図４】実施形態のシステムで認識可能な手の形状を示す図である。
【図５】入力画像例を示す図である。
【図６】手領域抽出画像の生成する処理例を示すフローチャートである。
【図７】手領域候補画像例を示す図である。
【図８】輪郭線抽出画像例を示す図である。
【図９】区分的直線近似法を説明する図である。
【図１０】多角形近似画像例を示す図である。
【図１１】手領域抽出画像例を示す図である。
【図１２】細線化処理後の画像例を示す図である。
【図１３】手領域細線画像例を示す図である。
【図１４】多角形近似を示す図である。
【図１５】１８０°以上の内角を持つ頂点の検出を説明する図である。
【図１６】指候補線分Ｓ_ｎを説明する図である。
【図１７】各指の方向ベクトルｖ_ｎを示す図である。
【図１８】手の方向ベクトルｖを示す図である。
【図１９】画像走査を説明する図である。
【図２０】画像走査で得られるラン・ヒストグラムを示す図である。
【図２１】ラン長のヒストグラムで指領域を抽出することを説明する図である。
【図２２】指領域抽出画像例を示す図である。
【図２３】ラン・ヒストグラムと閾値の例を示す図である。
【図２４】手領域細線画像の指領域抽出例を示す図である。
【図２５】指領域のランの平均長Ｔを説明するための図である。
【図２６】各指の長さを示す図である。
【図２７】各指の間隔を得る処理を説明する図である。
【図２８】掌に対する指の位置情報を得る処理を説明する図である。
【図２９】各指の長さの特徴を示す図である。
【図３０】各指の長さの特徴を示す他の図である。
【図３１】指同士の間隔の特徴例を示す図である。
【図３２】掌に対する指の位置特徴例を示す図である。
【図３３】立っている指が１本の場合の認識手順の例を示す図である。
【図３４】立っている指が２本の場合の認識手順の例を示す図である。
【図３５】立っている指が３本の場合の認識手順の例を示す図である。
【図３６】立っている指が３本の場合の認識手順の続きを示す図である。
【図３７】立っている指が４本の場合の認識手順の例を示す図である。

Claims (7)

1. 手の画像認識による入力システムであって、
   手の画像を入力する画像入力手段と、
   該画像入力手段からの手の画像から、手領域部分を塗りつぶした手領域抽出画像を得る手領域抽出手段と、
   該手領域抽出画像から、手領域細線画像を得る手領域細線画像生成手段と、
   前記手領域抽出画像と手領域細線画像とから、立っている指を認識して手の形状を特定する手形状認識手段と
   を備え、どの指が立っているかで片手で３２通りの形状を特定することを特徴とする手の画像認識による入力システム。
2. 請求項１に記載の入力システムにおいて、
   前記手領域抽出手段は、前記手の画像から肌色部分を抽出して、肌色部分に平滑化処理を行い、平滑化処理後の前記肌色部分の輪郭線を追跡して輪郭線の長さが最大である座標系列の抽出を行い、抽出した輪郭線に平滑化処理を行った後、該輪郭線の内部を塗りつぶして手領域抽出画像を得る
   ことを特徴とする手の画像認識による入力システム。
3. 請求項２に記載の入力システムにおいて、
   さらに、前記輪郭線から、指の数を認識する指数認識手段を備え、
   該指数認識手段により、指の数が２〜４のいずれかであると認識したときに、前記手形状認識手段で手形状の特定を行い、指の数が０又は５であると認識したときは、前記手形状認識手段による処理を行わない
   ことを特徴とする手の画像認識による入力システム。
4. 請求項１〜３のいずれかに記載の入力システムにおいて、
   手形状認識手段は、前記手領域細線画像から手の方向ベクトルを求め、求めた該手の方向ベクトルに対して垂直に前記手領域抽出画像を走査して、手のラン長を求め、該ラン長により指領域を抽出し、抽出した該指領域を用いて、前記手領域細線画像から指の部分を抽出することで手の形状を認識する
   ことを特徴とする手の画像認識による入力システム。
5. 請求項１〜４のいずれかに記載の入力システムにおいて、
   手形状認識手段は、前記手の形状の認識を行うパラメータを正規化して評価することを特徴とする手の画像認識による入力システム。
6. 請求項１〜５のいずれかに記載の入力システムをコンピュータ・システムに構成させるプログラムを格納した記録媒体。
7. 請求項１〜５のいずれかに記載の入力システムをコンピュータ・システムに構成させるプログラム。

Images