JP5287792B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP5287792B2
JP5287792B2 JP2010108794A JP2010108794A JP5287792B2 JP 5287792 B2 JP5287792 B2 JP 5287792B2 JP 2010108794 A JP2010108794 A JP 2010108794A JP 2010108794 A JP2010108794 A JP 2010108794A JP 5287792 B2 JP5287792 B2 JP 5287792B2
Authority
JP
Japan
Prior art keywords
skin
user
shape
area
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010108794A
Other languages
English (en)
Other versions
JP2011014128A (ja
Inventor
信広 西条
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010108794A priority Critical patent/JP5287792B2/ja
Publication of JP2011014128A publication Critical patent/JP2011014128A/ja
Application granted granted Critical
Publication of JP5287792B2 publication Critical patent/JP5287792B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関し、特に、例えば、ユーザを撮像して得られる撮像画像から、ユーザの手の形状等を抽出する場合に好適な情報処理装置、情報処理方法及びプログラムに関する。
近年、パーソナルコンピュータ等に対してデータを入力する入力デバイスとして、マウス、ペンタブレット、及びタッチパッドの他、ユーザのジェスチャ（動作）やポスチャ（姿勢）によりデータを入力するデータ入力技術が研究されている。
このデータ入力技術では、例えば、ユーザの手によるジェスチャやポスチャによりデータの入力を行うために、ユーザを撮像して得られる撮像画像から、ユーザの手の形状を正確に抽出する必要がある。
ユーザの手の形状を抽出するための抽出技術としては、画像のパターンマッチングを用いるパターンマッチング方法、ユーザの肌領域を抽出する肌領域抽出方法等が存在する。
パターンマッチング方法では、例えば、様々な形状やサイズの手を撮像して得られる複数の形状画像を予め学習しておき、撮像画像と最も類似する形状画像（例えば、対応する画素の画素値どうしの差の総和が最小となる形状画像）に表示された手の形状を、ユーザの手の形状として抽出する。
しかしながら、このパターンマッチング方法では、形状画像の撮像時とは異なる条件（例えば、撮像方向、照明の度合い、背景、及び撮像時の被写体の大きさ等）により、撮像画像が撮像された場合、ユーザの手の形状を正確に抽出することができないことが生じ得る。
特に、手の形状を抽出する場合において、撮像画像内の手の形状と、形状画像内の手の形状とが大きく異なるときや、撮像画像内の手が顔等と重なった状態となっているとき等には、例えば顔の形状を抽出する場合等と比較して、正確に抽出することが困難である。
また、リアルタイムに、手の形状を抽出することが求められる場合には、パターンマッチングに必要な計算量が膨大となってしまうため、支障をきたすことが多い。
次に、肌領域抽出方法では、人間の肌の色を表す肌色情報を用いて、撮像画像内の、ユーザの肌を表す肌領域が抽出される。
しかしながら、肌色情報を用いる肌領域抽出方法では、肌の色とそれに近い色との分離が難しい。また、人種によって肌の色は異なるため、すべての人種に対して肌領域を適切に抽出することができない。
そこで、昨今、波長に対する肌の反射率変化が、人種に拘らず、同様であることを用いて、撮像画像内の肌領域を抽出する分光反射率特性を使った抽出技術が提案されている（例えば、非特許文献１を参照）。
鈴木康弘等著,電学論Ｃ（近赤外マルチバンドによる肌検出手法の提案）,日本,２００７年,１２７巻４号
しかしながら、上述した従来の分光反射率特性を使った抽出技術では、例えば、撮像画像内に、肌領域として、被写体の顔と手とが存在する場合、顔と手との両方の形状を肌領域として抽出してしまい、手の形状のみを肌領域として抽出することが困難である。
本発明は、このような状況に鑑みてなされたものであり、一連の処理に要する演算量の増加を抑えつつ、ユーザを撮像して得られる撮像画像から、ユーザの正確な手の形状等を高速に抽出できるようにするものである。
本発明の一側面の情報処理装置は、ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置であって、第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射する照射手段と、前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得する取得手段と、前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段とを含み、前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位との、前記照射手段からの相対的な距離の違いから前記オブジェクトを区別して、前記形状領域を抽出する情報処理装置である。
本発明の一側面の情報処理方法は、ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置の情報処理方法であって、前記情報処理装置は、照射手段と、取得手段と、肌領域抽出手段と、形状領域抽出手段とを含み、前記照射手段が、第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射し、前記取得手段が、前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得し、前記肌領域抽出手段が、前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出し、前記形状領域抽出手段が、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出するステップを含み、前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位との、前記照射手段からの相対的な距離の違いから前記オブジェクトを区別して、前記形状領域を抽出する情報処理方法である。
本発明の一側面のプログラムは、ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置であって、第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射する照射手段を含む前記情報処理装置を制御するコンピュータを、前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得する取得手段と、前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段として機能させ、前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位との、前記照射手段からの相対的な距離の違いから前記オブジェクトを区別して、前記形状領域を抽出するプログラムである。
本発明によれば、第１の波長の光、及び第１の波長とは異なる第２の波長の光がユーザに照射され、ユーザに照射された第１の波長の光の反射光を受光して得られる第１の画像、及びユーザに照射された第２の波長の光の反射光を受光して得られる第２の画像が取得され、取得された第１及び第２の画像に基づいて、ユーザの肌を表す肌領域が抽出され、肌領域上の前記オブジェクトの形状を表す形状領域が抽出される。なお、形状領域を抽出する場合において、ユーザの身体の所定の肌の部位を表すオブジェクトと、肌領域上の形状領域以外の領域に対応するユーザの部位との、照射手段からの相対的な距離の違いからオブジェクトを区別して、形状領域が抽出される。
本発明によれば、一連の処理に要する演算量の増加を抑えつつ、ユーザの正確な手の形状等を高速に抽出できる。
情報処理システムの構成例を示すブロック図である。 情報処理装置の構成例を示すブロック図である。 人間の肌の反射特性の一例を示す図である。 第１及び第２の撮像画像の一例を示す図である。 ２値化部で生成される２値化肌画像の一例を示す図である。 肌抽出部で抽出される肌画像の一例を示す図である。 肌画像のヒストグラムの一例を示す図である。 マスク画像生成部で生成されるマスク画像の一例を示す図である。 形状抽出部により生成される抽出画像の一例を示す図である。 形状抽出処理を説明するためのフローチャートである。 FFT閾値決定処理に用いる第１の撮像画像を示す図である。 FFT閾値決定処理を説明するためのフローチャートである。 カメラの相対感度特性を示す図である。 LEDの配置方法を示す図である。 コンピュータの構成例を示すブロック図である。
以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 本実施の形態（ユーザの手の形状を抽出する例）
２． 変形例
＜１．本実施の形態＞
[情報処理システム１の構成例]
図１は、本実施の形態である情報処理システム１の構成例を示している。
この情報処理システム１は、ユーザの手を用いたジェスチャ（又はポスチャ）に応じて所定の処理を実行するものであり、情報処理装置２１、カメラ２２、及び発光装置２３により構成される。
情報処理システム１に対して所定の処理を実行させるため、ユーザは、（カメラ２２のレンズ面の前で）自身の手の形状を変化させる。
このとき、情報処理システム１では、ユーザの手の形状を認識し、その認識結果に対応して所定の処理を実行する。
なお、本実施の形態では、ユーザは、カメラ２２のレンズ面の前で手の形状を変化させるものとし、ユーザは、自身の手を、顔や胸等よりもカメラ２２のレンズ面に近い位置に出してジェスチャ（又はポスチャ）を行うものとする。
情報処理装置２１は、カメラ２２及び発光装置２３を制御する。また、情報処理装置２１は、カメラ２２の撮像により得られる撮像画像に基づいて、ユーザの手の形状を認識し、その認識結果に対応して所定の処理を実行する。
カメラ２２は、ユーザ等の被写体の撮像に用いるレンズを有しており、そのレンズの前面は、可視光を遮断する可視光カットフィルタ２２aにより覆われている。
このため、日光、或いは蛍光灯の赤外成分を除けば、カメラ２２は、発光装置２３によって被写体に照射される不可視光の反射光のみを受光し、その結果得られる撮像画像を、情報処理装置２１に供給することになる。
すなわち、例えば、カメラ２２は、発光装置２３によって被写体に照射される不可視光である第１の波長の光（例えば、870[nm]の近赤外線）の反射光のみを受光し、その結果得られる第１の撮像画像を、情報処理装置２１に供給する。
また、カメラ２２は、発光装置２３によって被写体に照射される不可視光であって、第１の波長とは異なる第２の波長の光（例えば、950[nm]の近赤外線）の反射光のみを受光し、その結果得られる第２の撮像画像を、情報処理装置２１に供給する。
発光装置２３は、第１の波長の光を発光するLED(light emitting diode)２３a1及び２３a2、並びに、第２の波長の光を発光するLED２３b1及び２３b2により構成される。
なお、以下において、LED２３a1及び２３a2を区別する必要がない場合には、LED２３a1及び２３a2を単にLED２３aという。また、LED２３b1及び２３b2を区別する必要がない場合には、LED２３b1及び２３b2を単にLED２３bという。
LED２３aとLED２３bとは、情報処理装置２１の制御にしたがって交互に発光する。
また、第１の波長の光の反射光、及び第２の波長の光の反射光それぞれにおいて、カメラ２２により受光される反射光の強度（光量）が同じになるように、LED２３aとLED２３bの出力は調整されている。
さらに、LED２３aとLED２３bとは、図１に示すように、交互に碁盤の目状に配置されており、LED２３a及び２３bの前面には、LED２３a及び２３bにより発光される光を均一に拡散させる拡散板２３cが設けられている。これにより、被写体には、第１又は第２の波長の光がむらなく照射される。
なお、発光装置２３は、LED２３aやLED２３bから発光される光が、少なくともユーザの手に確実に照射される位置に配置される。本実施の形態では、ユーザは、カメラ２２のレンズ面の前で手の形状を変化させることから、発光装置２３は、例えば、カメラ２２と近接された状態で配置される。
[情報処理装置２１の構成例]
図２は、情報処理装置２１の構成例を示している。
情報処理装置２１は、制御部４１、２値化部４２、肌抽出部４３、閾値決定部４４、マスク画像生成部４５、及び形状抽出部４６により構成される。
制御部４１は、発光装置２３を制御し、LED２３aとLED２３bとを交互に発光させる。
２値化部４２には、カメラ２２から、第１の撮像画像及び第２の撮像画像が供給される。２値化部４２は、カメラ２２から供給される第１及び第２の撮像画像に基づいて、第１の撮像画像から、ユーザの肌を表す肌領域と、肌領域以外の領域とを抽出（検出）する。
そして、２値化部４２は、抽出した肌領域を構成する画素の画素値と、肌領域以外の領域を構成する画素の画素値とがそれぞれ異なる値（例えば、０と１）に２値化された２値化肌画像を生成し、肌抽出部４３及び形状抽出部４６に供給する。
肌抽出部４３及びマスク画像生成部４５には、カメラ２２から第１の撮像画像が供給される。
肌抽出部４３は、２値化部４２から供給される２値化肌画像に基づいて、カメラ２２からの第１の撮像画像から、２値化肌画像内の肌領域に対応する領域（ユーザの肌部分が表示された領域）を抽出する。
そして、肌抽出部４３は、抽出した領域を含む肌画像を生成し、閾値決定部４４に供給する。なお、肌抽出部４３は、抽出した領域を肌画像として、閾値決定部４４に供給するようにしてもよい。
閾値決定部４４は、肌抽出部４３からの肌画像に基づいて、肌画像（を構成する画素の輝度値）のヒストグラムを作成する。そして、閾値決定部４４は、作成した肌画像のヒストグラムに基づいて、後述するマスク画像を生成するために用いられるマスク閾値を決定し、マスク画像生成部４５に供給する。
マスク画像生成部４５は、閾値決定部４４からのマスク閾値に基づいて、カメラ２２から供給される第１の撮像画像からマスク画像を生成し、形状抽出部４６に供給する。
なお、マスク画像とは、第１の撮像画像内の領域のうち、マスク閾値により特定される輝度値の範囲に含まれる輝度値の画素により構成されるマスク領域と、それ以外の領域である非マスク領域とに２値化された画像をいう。
形状抽出部４６は、マスク画像生成部４５からのマスク画像に基づいて、２値化部４２からの２値化肌画像から、マスク画像内のマスク領域に対応する領域として、例えばユーザの手の形状を表す形状領域を抽出する。
そして、形状抽出部４６は、抽出した形状領域に基づいて、手の形状を認識し、その認識結果に応じた処理を行い、その処理結果を後段に出力する。
なお、２値化部４２は、第１の撮像画像から、肌領域と、肌領域以外の領域を抽出するようにしたが、第２の撮像画像から、肌領域と、肌領域以外の領域を抽出するようにしてもよい。この場合、肌抽出部４３及びマスク画像生成部４５には、第１の撮像画像に代えて、カメラ２２から、第２の撮像画像が供給される。
そして、肌抽出部４３は、第２の撮像画像から肌画像を生成し、マスク画像生成部４５は、第２の撮像画像からマスク画像を生成することとなる。
[２値化肌画像の生成]
次に、図３乃至図５を参照して、２値化部４２が、２値化肌画像を生成する処理の詳細を説明する。
なお、図３及び図４では、カメラ２２の撮像により得られる第１の撮像画像、及び第２の撮像画像について説明する。また、図５では、第１の撮像画像、及び第２の撮像画像に基づいて、２値化部４２により生成される２値化肌画像について説明する。
図３は、波長の異なる照射光に対する人間の肌の反射特性を示している。
なお、この反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
図３において、横軸は、人間の肌に照射する光の波長を示しており、縦軸は、人間の肌に照射された光の反射率を示している。
人間の肌に照射された光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
具体的には、例えば、図３に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は63[%]であり、950[nm]の光を照射して得られる反射光の反射率は50[%]である。
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
次に、図４を参照して、カメラ２２の撮像により得られる第１及び第２の撮像画像を説明する。
図４は、ユーザに照射される870[nm]の光の反射光を受光して得られる第１の撮像画像、及びユーザに照射される950[nm]の光の反射光を受光して得られる第２の撮像画像それぞれの一例を示している。
図４Aには、ユーザの肌領域として、ユーザの顔６１及び手６２が表示されており、ユーザの肌領域以外の領域として、ユーザが着用しているシャツ６３、及び背景６４が表示された第１の撮像画像が示されている。
また、図４Bには、ユーザの肌領域として、ユーザの顔８１及び手８２が表示されており、ユーザの肌領域以外の領域として、ユーザが着用しているシャツ８３、及び背景８４が表示された第２の撮像画像が示されている。
ここで、図３において上述したように、ユーザの肌部分における反射特性では、波長が870[nm]の光の反射率は、波長が950[nm]の光の反射率よりも大きくなっている。
したがって、870[nm]の光をユーザに照射する場合、カメラ２２のレンズには、ユーザの肌部分に照射された光の反射光として、950[nm]の光を照射する場合の反射光の明るさよりも明るい光が入射される。
このため、第１の撮像画像内の、ユーザの肌領域（顔６１及び手６２）を構成する画素の輝度値は、それぞれ、第２の撮像画像内の、ユーザの肌領域（顔８１及び手８２）を構成する画素の輝度値よりも大きな値となる。
したがって、第１の撮像画像内の、ユーザの肌領域を構成する画素の輝度値から、第２の撮像画像内の、対応するユーザの肌領域を構成する画素の輝度値それぞれを差し引いて得られる差分は、正の値となる。
これに対して、ユーザの肌部分以外の部分における反射特性では、波長が870[nm]の光の反射率は、波長が950[nm]の光の反射率と変わらないか、それよりも小さくなっていることが多い。
したがって、870[nm]の光をユーザに照射する場合、カメラ２２のレンズには、ユーザの肌部分以外の部分に照射された光の反射光として、950[nm]の光を照射する場合の反射光の明るさと同じ明るさの光か、それよりも暗い光が入射される。
このため、第１の撮像画像内の、ユーザの肌領域以外の領域（シャツ６３及び背景６４）を構成する画素の輝度値は、それぞれ、第２の撮像画像内の、ユーザの肌領域以外の領域（シャツ８３及び背景８４）を構成する画素の輝度値と同じ値か、その値よりも小さい値となる。
したがって、第１の撮像画像内の、ユーザの肌部分以外の部分を構成する画素の輝度値から、第２の撮像画像内の、対応するユーザの肌部分の部分を構成する画素の輝度値それぞれを差し引いて得られる差分は、値０以下の値（正でない値）となる。
このため、２値化部４２は、第１の撮像画像と第２の撮像画像との、対応する画素の輝度値どうしの差分を算出し、算出した差分に基づいて、ユーザの肌領域と、ユーザの肌領域以外の領域とを抽出する。そして、２値化部４２は、抽出したユーザの肌領域を値１とし、抽出したユーザの肌領域以外の領域を値０とした２値化肌画像を生成する。
すなわち、例えば、２値化部４２は、算出した差分が正である場合、対応する画素をユーザの肌領域を構成する画素として抽出し、算出した差分が正でない場合、対応する画素をユーザの肌領域以外の領域を構成する画素として抽出する。
そして、２値化部４２は、ユーザの肌領域を構成する画素として抽出した画素の値を１に設定し、ユーザの肌領域以外の領域を構成する画素として抽出した画素の値を０に設定することにより、２値化肌画像を生成し、肌抽出部４３及び形状抽出部４６に供給する。
なお、ユーザの肌部分以外の部分における反射率によっては、肌部分以外の部分において算出された差分が、肌部分において算出された差分よりは小さいものの、正の値となることが生じ得る。したがって、差分が正であっても、所定の閾値未満である場合には、ユーザの肌部分以外の部分であるとして、値０を設定するように構成することが望ましい。
また、２値化部４２は、第１の撮像画像と第２の撮像画像との、対応する画素の輝度値どうしの差分絶対値を算出し、算出した差分絶対値が所定の閾値以上であるか否かに基づいて、ユーザの肌部分（肌領域）と、それ以外の部分（肌領域以外の領域）とを抽出して、２値化肌画像を生成するようにしてもよい。
これは、反射特性により、ユーザの肌部分に対応する差分絶対値は比較的大きな値となり、ユーザの肌部分以外の部分に対応する差分絶対値は比較的小さな値となることを利用している。
次に、図５は、２値化部４２により生成される２値化肌画像の一例を示している。
図５に示す２値化肌画像において、黒色で示す部分は、値１で表される肌領域を示している。この肌領域は、ユーザの顔の肌部分を示す顔領域１０１、及びユーザの手の肌部分を示す手領域１０２により構成されている。
なお、図面の都合上、図５に示す顔領域１０１には、顔の肌部分の他、眉毛や目、髪の毛等も記載しているが、実際には、顔領域１０１は、顔の肌部分のみにより構成される。
さらに、図５に示す２値化肌画像において、白色で示す部分は、値０で表される、肌領域以外の領域を示している。
２値化部４２は、生成した２値化肌画像を、肌抽出部４３及び形状抽出部４６に供給する。
肌抽出部４３は、２値化部４２からの２値化肌画像に基づいて、カメラ２２から供給される第１の撮像画像から、２値化肌画像内の顔領域１０１及び手領域１０２に対応する領域（顔６１と手６２とが表示された領域）を抽出する。そして、肌抽出部４３は、抽出した領域を含む肌画像を生成する。
[肌画像の生成]
次に、図６を参照して、肌抽出部４３が、２値化部４２からの２値化肌画像に基づいて、第１の撮像画像から肌画像を生成する処理を説明する。
図６は、肌抽出部４３により抽出される肌画像の一例を示している。図６に示す肌画像には、ユーザの顔６１及び手６２が表示されている。
なお、図面の都合上、図６に示す肌画像には、ユーザの顔６１として、顔の肌部分の他、眉毛や目、髪の毛等も記載しているが、実際には、図６に示す顔６１は、顔の肌部分のみを表している。
肌抽出部４３は、２値化部４２からの２値化肌画像と、カメラ２２からの第１の撮像画像との対応する画素の輝度値どうしを、それぞれ乗算する。
そして、肌抽出部４３は、第１の撮像画像を構成する画素のうち、その乗算結果が０でない画素により構成される領域（顔６１と手６２とが表示された領域）を抽出し、抽出した領域を含む肌画像を生成する。
これにより、第１の撮像画像内の領域のうち、２値化肌画像の顔領域１０１に対応する領域に含まれる顔６１、及び２値化肌画像の手領域１０２に対応する領域に含まれる手６２については、そのまま抽出され、２値化肌画像の肌領域以外の領域に対応する領域（図６において白色で示す）については、その輝度値が値２５５とされて、第１の撮像画像から、図６に示すような肌画像が生成される。
肌抽出部４３は、生成した肌画像を、閾値決定部４４に供給する。
閾値決定部４４は、肌抽出部４３からの肌画像に基づいて、マスク画像を生成するために用いられるマスク閾値を決定する。
[マスク閾値の決定]
次に、図７を参照して、閾値決定部４４がマスク閾値を決定する処理の詳細を説明する。
図７は、肌画像のヒストグラムの一例を示している。
図７において、横軸は、肌画像を構成する画素の輝度値を示している。また、縦軸は、横軸の輝度値に対応する画素の画素数を示している。
なお、図７のヒストグラムにおいて、本来ならば、図６の肌画像において、白色部分で表された領域を構成する画素の輝度値２５５についての画素数も表示されるが、輝度値２５５についての画素数は、マスク閾値を決定するために用いられないため、図示を省略している。
閾値決定部４４は、肌抽出部４３からの肌画像を構成する画素の輝度値について、図７に示されたようなヒストグラムを作成する。
図７のヒストグラムでは、輝度値０から輝度値５４までの間と、輝度値５５から輝度値１１０までの間に、多くの画素数が偏って表示されている。
ところで、上述したように、カメラ２２から近い位置に手が存在し、カメラ２２から遠い位置に顔や胸等が存在することを前提としている。
また、例えば、発光装置２３のLED２３a及びLED２３bは、カメラ２２に近接した状態で発光するため、カメラ２２（発光装置２３）から近い位置に存在するユーザの部位（いまの場合、手）ほど輝度値が大きくなり、カメラ２２から遠い位置に存在するユーザの部位（いまの場合、顔等）ほど輝度値が小さくなる。
したがって、カメラ２２から近い位置に存在する手の肌部分を構成する画素の輝度値は、カメラ２２から遠い位置に存在する顔の肌部分を構成する画素の輝度値よりも大きな値となる。
このため、輝度値０から輝度値５４まで輝度値は、顔６１（の領域）を構成する画素の輝度値であり、輝度値５５から輝度値１１０まで輝度値は、手６２を構成する画素の輝度値である。
閾値決定部４４は、画素数が極小となるときの輝度値（この例では輝度値５５）を下限閾値Th_Lに決定するとともに、最大の輝度値（この例では輝度値１１０）を上限閾値Th_Hに決定する。
そして、閾値決定部４４は、決定した下限閾値Th_L及び上限閾値Th_Hを、マスク閾値として、マスク画像生成部４５に供給する。
マスク画像生成部４５は、閾値決定部４４からのマスク閾値（下限閾値Th_L及び上限閾値Th_H）に基づいて、カメラ２２からの第１の撮像画像から、マスク領域と非マスク領域とを検出し、検出したマスク領域と非マスク領域とが、それぞれ異なる値に２値化されたマスク画像を生成する。
[マスク画像の生成]
次に、図８を参照して、マスク画像生成部４５が、閾値決定部４４からのマスク閾値に基づいて、マスク画像を生成する処理の詳細を説明する。
図８はマスク画像の一例を示している。図８に示すマスク画像において、黒色で示されるマスク領域１２１は、対応する第１の撮像画像内の領域において、輝度値が下限閾値Th_L以上であって、上限閾値Th_H以下である領域を示している。
また、図８に示すマスク画像において、白色で示される非マスク領域は、対応する第１の撮像画像内の領域において、下限閾値Th_L未満であるか、又は、上限閾値Th_Hよりも大きいである領域を示している。
マスク画像生成部４５は、カメラ２２からの第１の撮像画像を構成する画素の輝度値が、下限閾値Th_L以上であって、上限閾値Th_H以下である場合には、その輝度値の画素をマスク領域に含まれる画素として検出し、その輝度値を値１に変換する。
また、マスク画像生成部４５は、カメラ２２からの第１の撮像画像を構成する画素の輝度値が、下限閾値Th_L未満であるか、又は、上限閾値Th_Hよりも大きいである場合には、その輝度値の画素を非マスク領域に含まれる画素として検出し、その輝度値を値０に変換する。
これにより、マスク画像生成部４５は、値１を有する画素により構成されるマスク領域１２１（黒色で示す）と、値０を有する画素により構成される非マスク領域（白色で示す）とにより構成されるマスク画像を生成し、形状抽出部４６に供給する。
形状抽出部４６は、マスク画像生成部４５からのマスク画像に基づいて、２値化部４２からの２値化肌画像内の顔領域１０１及び手領域１０２から、マスク画像内のマスク領域１２１に対応する領域として、例えばユーザの手の形状を表す形状領域を抽出する。
[手の形状の抽出]
次に、図９を参照して、形状抽出部４６が、２値化肌画像から、ユーザの手の形状等を抽出する処理の詳細を説明する。
図９は、形状抽出部４６により抽出される形状領域を含む抽出画像の表示例を示している。
図９に示す抽出画像において、形状領域１４１は、ユーザの手の形状を表している。
形状抽出部４６は、マスク画像生成部４５からのマスク画像を構成する画素の値と、対応する、２値化部４２からの２値化肌画像を構成する画素の値とを、それぞれ乗算する。
そして、形状抽出部４６は、その乗算結果が０でない２値化肌画像内の領域、すなわち、２値化肌画像内の顔領域１０１及び手領域１０２（図５）のうち、マスク画像内のマスク領域１２１（図８）と重なる部分を、形状領域１４１として抽出する。
また、形状抽出部４６は、抽出した形状領域１４１に基づいて、ユーザの手の形状を認識し、その認識結果に応じた処理を行う。
なお、図８に示されたマスク画像内のマスク領域１２１には、ユーザの手の他、ユーザが着用しているシャツが含まれている。
しかしながら、２値化肌画像内の顔領域１０１及び手領域１０２には、ユーザが着用しているシャツは含まれないため、形状抽出部４６では、シャツの形状を表す領域を抽出することなく、手の形状のみを表す形状領域１４１を正確に抽出することができる。
[形状抽出処理の動作説明]
次に、情報処理システム１が、ユーザの手の形状等を抽出する形状抽出処理の詳細を説明する。
図１０は、形状抽出処理を説明するためのフローチャートである。なお、この形状抽出処理は、情報処理システム１の電源がオンされたときから繰り返し実行される。
以下、ユーザが、カメラ２２の前に存在するときに行われた形状抽出処理について説明する。
ステップＳ１において、制御部４１は、発光装置２３のLED２３aを制御し、第１の波長の光の発光を開始させる。なお、制御部４１は、LED２３bが発光している場合には、LED２３bの発光を停止した上で、LED２３aの発光を開始させる。
ステップＳ２において、カメラ２２は、第１の波長の光が照射されているユーザを撮像し、その結果得られる第１の撮像画像を、情報処理装置２１に供給する。
ステップＳ３において、制御部４１は、発光装置２３のLED２３aを制御し、第１の波長の光の発光を停止させ、発光装置２３のLED２３bを制御し、第２の波長の光の発光を開始させる。
ステップＳ４において、カメラ２２は、第２の波長の光が照射されているユーザを撮像し、その結果得られる第２の撮像画像を、情報処理装置２１に供給する。
ステップＳ５において、２値化部４２は、カメラ２２から供給される第１の撮像画像と第２の撮像画像との対応する画素の輝度値どうしの差分に基づいて、図５に示したような２値化肌画像を生成し、肌抽出部４３及び形状抽出部４６に供給する。
ステップＳ６において、肌抽出部４３は、２値化部４２から供給される２値化肌画像に基づいて、カメラ２２からの第１の撮像画像から、２値化肌画像内の肌領域に対応する領域（ユーザの肌部分が表示された領域）を抽出する。
そして、肌抽出部４３は、抽出した領域を含む肌画像を生成し、閾値決定部４４に供給する。
ステップＳ７において、閾値決定部４４は、肌抽出部４３からの肌画像を構成する画素の輝度値に基づいて、図７に示したような肌画像のヒストグラムを作成する。
ステップＳ８において、閾値決定部４４は、作成した肌画像のヒストグラムに基づいて、画素数が極小となるときの輝度値を下限閾値Th_Lに決定するとともに、最大の輝度値を上限閾値Th_Hに決定する。
そして、閾値決定部４４は、決定した下限閾値Th_L及び上限閾値Th_Hを、マスク閾値として、マスク画像生成部４５に供給する。
ステップＳ９において、マスク画像生成部４５は、閾値決定部４４からのマスク閾値（下限閾値Th_L及び上限閾値Th_H）に基づいて、カメラ２２からの第１の撮像画像を２値化して、図８に示したようなマスク画像を生成し、形状抽出部４６に供給する。
ステップＳ１０において、形状抽出部４６は、マスク画像生成部４５からのマスク画像に基づいて、２値化部４２からの２値化肌画像から、マスク画像内のマスク領域に対応する領域として、例えばユーザの手の形状を表す抽出領域を抽出する。
そして、形状抽出部４６は、抽出した抽出領域により手の形状を認識し、その認識結果に応じた処理を行い、その処理結果を後段に出力する。
以上で形状抽出処理は終了される。
以上説明したように、形状抽出処理では、マスク閾値に基づいて、１台のカメラ２２により撮像された第１の撮像画像からマスク画像を生成し、生成したマスク画像に基づいて、２値化肌画像から、ユーザの手の形状を抽出するようにした。
したがって、例えば、複数のカメラにより撮像された複数の撮像画像に基づいて、カメラとユーザの手等との距離を表す距離画像を生成し、その距離画像をマスク画像として用いて、ユーザの手の形状を抽出する場合と比較して、マスク画像を生成するために要する計算量を少なくすることができるとともに、より少ない部品数で、ユーザの手の形状等を抽出することが可能となる。
また、形状抽出処理では、カメラ２２からユーザの顔までの距離と、カメラ２２から手までの距離の違いに基づいて、肌部分として、顔の肌部分が含まれずに、手の肌部分のみが含まれるマスク領域１２１と、非マスク領域からなるマスク画像を生成するようにした。
このため、２値化肌画像において、抽出すべき手を含む手領域１０２と、手以外の肌部分である顔を含む顔領域１０１が重なっている場合でも、マスク領域１２１には、肌部分として、顔の肌部分は含まれずに手の肌部分のみが含まれるため、２値化肌画像から、手領域１０２のみを抽出することができる。
よって、正確に、ユーザの手の形状を抽出することが可能となる。
さらに、形状抽出処理では、LED２３a及びLED２３bから、人間には見ることができない不可視な近赤外線（の光）を発光させるようにした。
したがって、ユーザは、LED２３a及びLED２３bから発光される光を視認することができないため、LED２３a及びLED２３bから発光される光が眩しいことにより、ユーザに不愉快な思いをさせることがない。
また、情報処理システム１の発光装置２３において、LED２３a及びLED２３bの前面に拡散板２３cを設けるようにした。
このため、LED２３a及び２３bにより発光される不可視光が均一に拡散されるため、光量によるむらのない均一な光が被写体に照射される。
これにより、被写体に照射される不可視光の反射光が、光量によるむらのない均一な光としてカメラ２２により受光されるため、カメラ２２において、光量によるむらのない第１及び第２３の撮像画像を得ることができる。
したがって、情報処理システム１では、手の形状等を抽出するために、光量によるむらのない第１及び第２の撮像画像を用いるため、例えば、光量によるむらのある第１及び第２の撮像画像を用いる場合と比較して、より正確に手の形状等を抽出することが可能となる。
なお、情報処理システム１では、ユーザが手の形状を変化させる毎に、変化後の手の形状を認識することができるように、例えば、形状抽出処理を開始したときから80[ms]程度で手の形状を抽出できるように構成することが望ましい。
＜２．変形例＞
上述した形状抽出処理では、形状抽出処理が行われる毎に、ステップＳ６乃至ステップＳ８の処理により、肌画像を抽出し、抽出した肌画像のヒストグラムに基づいて、マスク閾値（下限閾値Th_L及び上限閾値Th_H）を決定するようにしたが、これに限定されない。
すなわち、例えば、形状抽出処理では、形状抽出処理が行われた場合に、以前のステップＳ６乃至ステップＳ８において決定したマスク閾値をそのまま用いるようにしてもよい。
この場合、ステップＳ６乃至ステップＳ８による処理を省略することができるため、形状抽出処理による手の形状等の抽出を迅速に行うことが可能となる。
また、形状抽出処理を行う前に、ステップＳ６乃至ステップＳ８による処理と同様の処理を行うことにより、予めマスク閾値を決定するようにしておいても、形状抽出処理において、ステップＳ６乃至ステップＳ８による処理を省略することが可能となる。
なお、形状抽出処理を行う前に、予めマスク閾値を決定する処理として、その他、例えば、ユーザの手領域を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定することが可能である。
[マスク閾値の決定方法]
次に、図１１を参照して、閾値決定部４４が、ユーザの手領域を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定するFFT（fast fourier transform、高速フーリエ変換）閾値決定処理を説明する。
図１１は、870[nm]の光が照射されているユーザを撮像して得られる第１の撮像画像の一例を示している。
なお、FFT閾値決定処理を行う場合、閾値決定部４４には、手を振っているユーザをカメラ２２により撮像して得られる、複数の第１の撮像画像が、カメラ２２から供給される。
閾値決定部４４は、複数の第１の撮像画像に対して、FFT処理を行い、一定の周波数で動いている、第１の撮像画像内の手領域を検出する。
そして、閾値決定部４４は、検出した手領域の一部である矩形領域１６１を構成する画素の輝度値の平均値ave_Lを算出する。
また、閾値決定部４４は、平均値ave_Lから調整値aを差し引いて得られる値ave_L-aを、下限閾値Th_Lに決定し、平均値ave_Lから調整値bを加算して得られる値ave_L+bを、上限閾値Th_Hに決定する。
なお、調整値a及びｂは、平均値ave_Lを調整して、下限閾値Th_L及び上限閾値Th_Hを決定するために用いられる値である。
この調整値a及びｂは、LED２３aや２３bから発光される光の強度（光量）、カメラ２２からユーザまでの距離、及びカメラ２２に用いられるCCD(charge coupled device image sensor)による光の感度に応じて算出される変数であるが、実際には、実験的に算出されることが多い。
[FFT閾値決定処理による動作説明]
次に、閾値決定部４４が、ユーザの手領域を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定するFFT閾値決定処理を説明する。
図１２は、FFT閾値決定処理を説明するためのフローチャートである。このFFT閾値決定処理は、例えば、情報処理システムの電源をオンしたときであって、形状抽出処理が行われる前に開始される。
ステップＳ３１において、制御部４１は、発光装置２３のLED２３aを制御し、第１の波長の光の発光を開始させる。
ステップＳ３２において、制御部４１は、情報処理装置２１に設けられた図示せぬディスプレイやスピーカ等を制御して、ユーザに手を振る動作の開始を指示する。
ステップＳ３３において、カメラ２２は、手を振る動作を行っているユーザを撮像し、その結果得られる複数の第１の撮像画像を、情報処理装置２１の閾値決定部４４に供給する。
ステップＳ３４において、閾値決定部４４は、複数の第１の撮像画像に対して、FFT処理を行い、一定の周波数で動いている、第１の撮像画像内の手領域を検出する。
ステップＳ３５において、閾値決定部４４は、検出した手領域の一部である矩形領域１６１を構成する画素の輝度値の平均値ave_Lを算出する。
ステップＳ３６、閾値決定部４４は、平均値ave_Lから調整値aを差し引いて得られる値ave_L-aを、下限閾値Th_Lに決定し、平均値ave_Lから調整値bを加算して得られる値ave_L+bを、上限閾値Th_Hに決定する。
以上でFFT閾値決定処理は終了される。FFT閾値決定処理では、上述したように、形状抽出処理が行われる前に、マスク閾値を決定するようにしたので、形状抽出処理において、ステップＳ６乃至ステップＳ８の処理を省略でき、より迅速に手の形状等を抽出することが可能となる。
なお、FFT閾値決定処理では、複数の第１の撮像画像に対して、FFT処理を行うことにより、第１の撮像画像内の手領域を検出し、その手領域内の画素を構成する輝度値の平均値に基づいてマスク閾値（下限閾値Th_L及び上限閾値Th_H）を決定するようにしたが、これに限定されない。
すなわち、例えば、FFT閾値決定処理では、手を振っているユーザをカメラ２２により撮像して得られる、複数の第２の撮像画像に対して、FFT処理を行うことにより、第２の撮像画像内の手領域を検出し、その手領域内の画素を構成する輝度値の平均値に基づいてマスク閾値を決定するようにしてもよい。
本実施の形態において、２値化部４２は、第１の撮像画像から、ユーザの肌領域、及びユーザの肌領域以外の領域を抽出し、抽出した肌領域、及び肌領域以外の領域により構成される２値化肌画像を、肌抽出部４３及び形状抽出部４６に供給するようにしたが、これに限定されない。
すなわち、例えば、２値化部４２は、第１の撮像画像から、ユーザの肌領域を抽出し、少なくとも、抽出した肌領域を含む２値化肌画像を、肌抽出部４３及び形状抽出部４６に供給するようにしてもよい。
この場合、肌抽出部４３は、カメラ２２からの第１の撮像画像から、２値化部４２からの２値化肌画像に含まれる肌領域に対応する領域を抽出する。また、形状抽出部４６は、２値化部４２からの２値化肌画像に含まれる肌領域から、形状領域を抽出する。
本実施の形態において、マスク画像生成部４５は、例えば第１の撮像画像から、マスク領域及び非マスク領域を検出し、検出したマスク領域及び非マスク領域により構成されるマスク画像を生成するようにしたが、これに限定されない。
すなわち、例えば、マスク画像生成部４５は、２値化肌画像から形状領域を抽出するための抽出用領域として、マスク領域のみを検出し、少なくとも、検出したマスク領域を含むマスク画像を生成するようにしてもよい。この場合、形状抽出部４６では、２値化部４２からの２値化肌画像内の肌領域のうち、マスク画像内のマスク領域に対応する領域が、形状領域として抽出される。
また、例えば、マスク画像生成部４５は、抽出用領域として、非マスク領域のみを検出し、少なくとも、検出した非マスク領域を含むマスク画像を生成するようにしてもよい。この場合、形状抽出部４６では、２値化部４２からの２値化肌画像内の肌領域のうち、マスク画像内の非マスク領域以外の領域に対応する領域が、形状領域として抽出される。
[カメラ２２、LED２３a、及びLED２３bの性能]
次に、図１３及び図１４を参照して、本出願人が、実際に形状抽出処理及びFFT閾値決定処理を行ったときの、情報処理システム１を構成するカメラ２２や発光装置２３の性能を説明する。
本出願人は、カメラ２２として、ソニー株式会社により製造されたビデオカメラを用いた。そのカメラ２２は、型番がXC-EI50であり、撮像素子として、1/2IT方式のCCDを用いている。
また、有効画素数は横×縦が768×494画素であり、レンズマウントとしてCマウント、走査方式として、525本のラインをインタレースにより走査する方式を採用している。
さらに、感度はF11(400[lx])であり、最低被写体深度は0.1[lx]である。また、カメラ２２の撮像により得られる撮像画像のS/N（signal to noise）比は60[dB]である。
さらに、カメラ２２において、カメラ２２に予め設けられたシャッタボタン（ノーマルシャッタ）によるシャッタ速度は、1/100乃至1/10000[sec]であり、カメラ２２の外部に接続されたレリーズスイッチ（外部トリガシャッタ）によるシャッタ速度は、1/4乃至1/10000[sec]である。
また、カメラ２２の外形寸法は、幅×高さ×奥行きが29×29×32[mm]であり、カメラ２２の重量は約50[g]である。さらに、カメラ２２の耐振動性は、70[G]である。
また、カメラ２２は、400[nm]の可視光領域から、1000[nm]の近赤外領域までの帯域の範囲内の感度を有する。
図１３は、カメラ２２の相対感度特性の一例を示している。
なお、図１３において、横軸は、カメラ２２のレンズに入射される波長を示しており、縦軸は、波長に対応する相対感度を示している。
また、本出願人は、発光装置２３として、図１４に示されるように、８個のLED２３a、及び８個のLED２３bを、互いに碁盤の目状に配置したものを用いた。
本出願人により実際に用いられたLED２３aとしては、870[nm]の光を発光するものを用いるとともに、LED２３bとしては、950[nm]の光を発光するものを用いた。
さらに、LED２３a及びLED２３bとして、直流順電流（絶対最大定格）が100[mA]であって、順電圧が1.6[V]であるものを用いた。
本出願人は、上述した性能のカメラ２２や、図１４に示されたように配置されたLED２３a及びLED２３bを用いて、形状抽出処理やFFT閾値決定処理を実際に行い、上述した顕著な作用効果を確認することができた。
本実施の形態では、マスク画像生成部４５は、閾値決定部４４からのマスク閾値に基づいて、カメラ２２からの第１の撮像画像から、マスク画像を生成するようにしたが、マスク画像の生成方法はこれに限定されない。
すなわち、例えば、マスク画像生成部４５は、それぞれ異なる方向を撮像する複数のカメラにより得られる撮像画像に基づいて、カメラからユーザまでの距離を表す距離画像を生成するステレオ処理を行い、その結果得られる距離画像をマスク画像として採用することが可能である。
この場合、形状抽出部４６は、マスク画像生成部４５から供給される距離画像内の、カメラから手までの距離を表す領域と、２値化部４２から供給される２値化肌画像内の顔領域１０１及び手領域１０２とが重なり合う部分を、ユーザの手の形状を表す形状領域１４１として抽出する。
また、マスク画像として、距離画像を生成する方法としては、ステレオ処理の他、赤外線等を照射したときから、ユーザに反射して戻ってくるまでの時間に基づいてユーザまでの距離を算出するレーザレンジファインダ等を用いて、ユーザの距離画像を生成することが可能である。
さらに、本実施の形態では、LED２３aにより発光される第１の波長を870[nm]とし、LED２３bにより発光される第２の波長を950[nm]としたが、波長の組合せはこれに限定されない。
すなわち、波長の組合せとしては、第１の波長における反射率と、第２の波長における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、充分に大きくなる組合せであれば、どのような組合せでもよい。具体的には、図３から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等が可能である。
なお、LED２３aから発光される光として、可視光を用いる場合には、可視光カットフィルタ２２aに代えて、LED２３aから発光される可視光のみを通過させて、カメラ２２のレンズに入射させるフィルタが用いられる。これは、LED２３bについても同様のことがいえる。
また、本実施の形態において、形状抽出処理では、LED２３a及びLED２３bを、それぞれ個別に発光させるようにしたが、LED２３a及びLED２３bを同時に発光させることにより、第１の撮像画像、及び第２の撮像画像を取得するように構成することが可能である。
すなわち、例えば、カメラ２２に代えて、カメラ２２と同様の機能を有する２台のカメラを近接させた状態で設けるようにし、２台のカメラのうち、一方のカメラの前面には、第１の波長の光のみを通過させるフィルタを設けるとともに、他方のカメラの前面には、第２の波長の光のみを通過させるフィルタを設けるように構成する。
この場合、LED２３a及びLED２３bを同時に発光させたとしても、一方のカメラには、第１の波長の光のみが入射されることから、一方のカメラにおいて、第１の撮像画像を得ることが可能となる。また、他方のカメラには、第２の波長の光のみが入射されることから、他方のカメラにおいて、第２の撮像画像を得ることが可能となる。
本実施の形態において、LED２３aの個数及びLED２３bの個数は、それぞれ、２個であるとして説明したが、それらの個数は、これに限定されない。
また、本実施の形態において、情報処理装置２１に所定の処理を実行させるために、ユーザの身体の部位を表すオブジェクトとして、手（の形状）を変化させるようにしたが、オブジェクトは手の他、例えばユーザの足等を採用することが可能である。
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
[コンピュータの構成例]
次に、図１５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１ 情報処理システム， ２１ 情報処理装置， ２２ カメラ， ２３ 発光装置， ４１ 制御部， ４２ ２値化部， ４３ 肌抽出部， ４４ 閾値決定部， ４５ マスク画像生成部， ４６ 形状抽出部

Claims (3)

  1. ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置において、
    第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射する照射手段と、
    前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得する取得手段と、
    前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、
    前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段と
    を含み、
    前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位との、前記照射手段からの相対的な距離の違いから前記オブジェクトを区別して、前記形状領域を抽出する
    情報処理装置。
  2. ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置の情報処理方法において、
    前記情報処理装置は、
    照射手段と、
    取得手段と、
    肌領域抽出手段と、
    形状領域抽出手段と
    を含み、
    前記照射手段が、第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射し、
    前記取得手段が、前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得し、
    前記肌領域抽出手段が、前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出し、
    前記形状領域抽出手段が、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する
    ステップを含み、
    前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位との、前記照射手段からの相対的な距離の違いから前記オブジェクトを区別して、前記形状領域を抽出する
    情報処理方法。
  3. ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置であって、
    第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射する照射手段を含む前記情報処理装置を制御するコンピュータを、
    前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得する取得手段と、
    前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、
    前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段と
    して機能させ、
    前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位との、前記照射手段からの相対的な距離の違いから前記オブジェクトを区別して、前記形状領域を抽出する
    プログラム。
JP2010108794A 2010-05-10 2010-05-10 情報処理装置、情報処理方法及びプログラム Expired - Fee Related JP5287792B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010108794A JP5287792B2 (ja) 2010-05-10 2010-05-10 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010108794A JP5287792B2 (ja) 2010-05-10 2010-05-10 情報処理装置、情報処理方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009154921A Division JP4548542B1 (ja) 2009-06-30 2009-06-30 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011014128A JP2011014128A (ja) 2011-01-20
JP5287792B2 true JP5287792B2 (ja) 2013-09-11

Family

ID=43592904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010108794A Expired - Fee Related JP5287792B2 (ja) 2010-05-10 2010-05-10 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5287792B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015022525A (ja) * 2013-07-19 2015-02-02 富士通株式会社 情報処理装置、被写体部位の検出方法、及びプログラム
JP6361332B2 (ja) * 2014-07-04 2018-07-25 富士通株式会社 ジェスチャ認識装置およびジェスチャ認識プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149213B2 (ja) * 2002-07-12 2008-09-10 本田技研工業株式会社 指示位置検出装置及び自律ロボット
US7224831B2 (en) * 2004-02-17 2007-05-29 Honda Motor Co. Method, apparatus and program for detecting an object
JP4442472B2 (ja) * 2005-03-07 2010-03-31 株式会社豊田中央研究所 対象物の部位判別装置

Also Published As

Publication number Publication date
JP2011014128A (ja) 2011-01-20

Similar Documents

Publication Publication Date Title
JP4548542B1 (ja) 情報処理装置、情報処理方法及びプログラム
US20210334526A1 (en) Living body detection device, living body detection method, and recording medium
JP4747065B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP5800175B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP2014078052A (ja) 認証装置および方法、並びにプログラム
WO2011062102A1 (ja) 情報処理装置、情報処理方法、プログラム、及び電子機器
US20110298909A1 (en) Image processing apparatus, image processing method, program and electronic apparatus
JP2012249917A (ja) 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
WO2019163066A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
JP5573209B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP5287792B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101146017B1 (ko) 정보 처리 장치 및 정보 처리 방법
JP7207506B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
JP2011158447A (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP2021047929A (ja) 情報処理装置
JP2012000147A (ja) 画像処理装置、画像処理方法、プログラム、及び電子装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130520

R151 Written notification of patent or utility model registration

Ref document number: 5287792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees