JP4831267B2 - 情報処理装置、情報処理方法、プログラム及び電子装置 - Google Patents
情報処理装置、情報処理方法、プログラム及び電子装置 Download PDFInfo
- Publication number
- JP4831267B2 JP4831267B2 JP2011520477A JP2011520477A JP4831267B2 JP 4831267 B2 JP4831267 B2 JP 4831267B2 JP 2011520477 A JP2011520477 A JP 2011520477A JP 2011520477 A JP2011520477 A JP 2011520477A JP 4831267 B2 JP4831267 B2 JP 4831267B2
- Authority
- JP
- Japan
- Prior art keywords
- skin
- area
- user
- light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 79
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000000605 extraction Methods 0.000 claims description 170
- 238000000034 method Methods 0.000 claims description 74
- 230000008859 change Effects 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 53
- 239000000284 extract Substances 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 22
- 230000001678 irradiating effect Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 3
- 210000003811 finger Anatomy 0.000 description 26
- 230000006870 function Effects 0.000 description 23
- 230000035945 sensitivity Effects 0.000 description 14
- 230000036544 posture Effects 0.000 description 7
- 210000004209 hair Anatomy 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010042496 Sunburn Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
本発明は、情報処理装置、情報処理方法、プログラム及び電子装置に関し、特に、例えば、ユーザを撮像して得られる撮像画像から、ユーザの手の形状等を抽出する場合に好適な情報処理装置、情報処理方法、プログラム及び電子装置に関する。
近年、パーソナルコンピュータ等に対してデータを入力する入力デバイスとして、マウス、ペンタブレット、及びタッチパッドの他、ユーザのジェスチャ(動作)やポスチャ(姿勢)によりデータを入力するデータ入力技術が研究されている。
このデータ入力技術では、例えば、ユーザの手によるジェスチャやポスチャによりデータの入力を行うために、ユーザを撮像して得られる撮像画像から、ユーザの手の形状や動きを正確に抽出する必要がある。
ユーザの手の形状を抽出するための抽出技術としては、画像のパターンマッチングを用いるパターンマッチング方法、ユーザの肌領域を抽出する肌領域抽出方法等が存在する。
パターンマッチング方法では、例えば、様々な形状やサイズの手を撮像して得られる複数の形状画像を予め学習しておき、撮像画像と最も類似する形状画像(例えば、対応する画素の画素値どうしの差の総和が最小となる形状画像)に表示された手の形状を、ユーザの手の形状として抽出する。
しかしながら、このパターンマッチング方法では、形状画像の撮像時とは異なる条件(例えば、撮像方向、照明の度合い、背景、及び撮像時の被写体の大きさ等)により、撮像画像が撮像された場合、ユーザの手の形状を正確に抽出することができないことが生じ得る。
特に、手の形状を抽出する場合において、撮像画像内の手の形状と、形状画像内の手の形状とが大きく異なるときや、撮像画像内の手が顔等と重なった状態となっているとき等には、例えば顔の形状を抽出する場合等と比較して、正確に抽出することが困難である。
また、リアルタイムに、手の形状を抽出することが求められる場合には、パターンマッチングに必要な計算量が膨大となってしまうため、支障をきたすことが多い。
次に、肌領域抽出方法では、人間の肌の色を表す肌色情報を用いて、撮像画像内の、ユーザの肌を表す肌領域が抽出される。
しかしながら、肌色情報を用いる肌領域抽出方法では、肌の色とそれに近い色との分離が難しい。また、人種によって肌の色は異なるため、すべての人種に対して肌領域を適切に抽出することができない。
そこで、昨今、波長に対する肌の反射率変化が、人種に拘らず、同様であることを用いて、撮像画像内の肌領域を抽出する分光反射率特性を使った抽出技術が提案されている(例えば、非特許文献1を参照)。
鈴木康弘等著,電学論C(近赤外マルチバンドによる肌検出手法の提案),日本,2007年,127巻4号
しかしながら、上述した従来の分光反射率特性を使った抽出技術では、例えば、撮像画像内に、肌領域として、被写体の顔と手とが存在する場合、顔と手との両方の形状を肌領域として抽出してしまい、手の形状のみを肌領域として抽出することが困難である。
本発明は、このような状況に鑑みてなされたものであり、一連の処理に要する演算量の増加を抑えつつ、ユーザを撮像して得られる撮像画像から、ユーザの正確な手の形状等を高速に抽出できるようにするものである。また、本発明は、例えば、ユーザが表示されている表示画像上の、抽出したユーザの手等の形状に対応する領域を構成する画素の輝度値等の変化に基づいて、ユーザの手等の移動を容易に検出できるようにするものである。
本発明の第1の側面における第1の情報処理装置は、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段と、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、前記第1及び第2の画像に基づいて、前記ユーザの肌が表示されている肌表示領域を含む表示画像上の前記肌表示領域から、前記ユーザの身体の所定の肌の部位を表すオブジェクトが表示されているオブジェクト領域を抽出するオブジェクト領域抽出手段と、前記表示画像上の前記オブジェクト領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化を検出する距離変化検出手段とを含む情報処理装置である。
前記表示画像上の前記オブジェクト領域を構成する画素のうち、輝度値が大きい上位nパーセントに含まれる画素により構成されている領域を、前記オブジェクトの一部分が表示されている前記部分表示領域として検出する部分表示領域検出手段をさらに設けるようにすることができる。
前記距離変化検出手段では、前記表示画像上の前記オブジェクト領域のうちの前記部分表示領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記部分表示領域に表示されている、前記オブジェクトの一部分までの相対的な距離の変化を検出することができる。
前記オブジェクト領域抽出手段では、前記表示画像上の前記肌表示領域を構成する画素の輝度値の分布に基づいて、前記肌表示領域上の前記オブジェクトの形状を表す形状領域を検出し、前記肌表示領域から、前記形状領域に対応する前記オブジェクト領域を抽出することができる。
前記距離変化検出手段では、前記表示画像上の前記オブジェクト領域を構成する画素の輝度値の平均値の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化を検出することができる。
前記第1の波長λ1、及び前記第2の波長λ2は次式の関係を満たす
λ1<λ2
630nm≦λ1≦1000nm
900nm≦λ2≦1100nm
ようにすることができる。
λ1<λ2
630nm≦λ1≦1000nm
900nm≦λ2≦1100nm
ようにすることができる。
本発明の第1の側面における第1の情報処理方法は、ユーザとの距離の変化を検出する情報処理装置の情報処理方法であって、前記情報処理装置は、照射手段と、取得手段と、オブジェクト領域抽出手段と、距離変化検出手段とを含み、前記照射手段が、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射し、前記取得手段が、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得し、前記オブジェクト領域抽出手段が、前記第1及び第2の画像に基づいて、前記ユーザの肌が表示されている肌表示領域を含む表示画像上の前記肌表示領域から、前記ユーザの身体の所定の肌の部位を表すオブジェクトが表示されているオブジェクト領域を抽出し、前記距離変化検出手段が、前記表示画像上の前記オブジェクト領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化を検出するステップを含む情報処理方法である。
本発明の第1の側面における第1のプログラムは、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段を含む情報処理装置を制御するコンピュータを、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、前記第1及び第2の画像に基づいて、前記ユーザの肌が表示されている肌表示領域を含む表示画像上の前記肌表示領域から、前記ユーザの身体の所定の肌の部位を表すオブジェクトが表示されているオブジェクト領域を抽出するオブジェクト領域抽出手段と、前記表示画像上の前記オブジェクト領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化を検出する距離変化検出手段として機能させるためのプログラムである。
本発明の第1の側面における第1の電子装置は、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段と、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、前記第1及び第2の画像に基づいて、前記ユーザの肌が表示されている肌表示領域を含む表示画像上の前記肌表示領域から、前記ユーザの身体の所定の肌の部位を表すオブジェクトが表示されているオブジェクト領域を抽出するオブジェクト領域抽出手段と、前記表示画像上の前記オブジェクト領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化を検出する距離変化検出手段と前記照射手段から前記オブジェクトまでの相対的な距離の変化が検出されたことに対応して、所定の処理を実行する実行手段とを含む電子装置である。
本発明の第1の側面によれば、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像が取得され、取得された前記第1及び第2の画像に基づいて、前記ユーザの肌が表示されている肌表示領域を含む表示画像上の前記肌表示領域から、前記ユーザの身体の所定の肌の部位を表すオブジェクトが表示されているオブジェクト領域が抽出され、前記表示画像上の前記オブジェクト領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化が検出される。
本発明の第2の側面における第2の情報処理装置は、ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置であって、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段と、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、前記第1又は第2の画像を構成する画素毎に、前記第1の波長の光と前記第2の波長の光との反射率の差異を表す差異値を算出する差異値算出手段と、前記第1又は第2の画像を構成する画素毎に算出された前記差異値が所定の閾値以上であるか否かに基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段とを含み、前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する情報処理装置である。
前記差異値算出手段では、前記第1の画像の輝度値から、前記第2の画像の輝度値を差し引いて得られる差分を正規化して得られる前記差異値を算出することができる。
前記差異値算出手段では、前記差異値として、前記第1の画像の輝度値と、前記第2の画像の輝度値との比を算出することができる。
本発明の第2の側面における第2の情報処理方法は、ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置の情報処理方法であって、前記情報処理装置は、照射手段と、取得手段と、差異値算出手段と、肌領域抽出手段と、形状領域抽出手段とを含み、前記照射手段が、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射し、前記取得手段が、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得し、前記差異値算出手段が、前記第1又は第2の画像を構成する画素毎に、前記第1の波長の光と前記第2の波長の光との反射率の差異を表す差異値を算出し、前記肌領域抽出手段が、前記第1又は第2の画像を構成する画素毎に算出された前記差異値が所定の閾値以上であるか否かに基づいて、前記ユーザの肌を表す肌領域を抽出し、前記形状領域抽出手段が、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出するステップを含み、前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する情報処理方法である。
本発明の第2の側面における第2のプログラムは、ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置であって、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段を含む情報処理装置を制御するコンピュータを、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、前記第1又は第2の画像を構成する画素毎に、前記第1の波長の光と前記第2の波長の光との反射率の差異を表す差異値を算出する差異値算出手段と、前記第1又は第2の画像を構成する画素毎に算出された前記差異値が所定の閾値以上であるか否かに基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段として機能させ、前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出するプログラムである。
本発明の第2の側面における第2の電子装置は、ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する電子装置であって、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段と、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、前記第1又は第2の画像を構成する画素毎に、前記第1の波長の光と前記第2の波長の光との反射率の差異を表す差異値を算出する差異値算出手段と、前記第1又は第2の画像を構成する画素毎に算出された前記差異値が所定の閾値以上であるか否かに基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段と、抽出された前記形状領域に応じた処理を実行する実行手段とを含み、前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する電子装置である。
本発明の第2の側面によれば、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像が取得され、取得された前記第1又は第2の画像を構成する画素毎に、前記第1の波長の光と前記第2の波長の光との反射率の差異を表す差異値が算出され、前記第1又は第2の画像を構成する画素毎に算出された前記差異値が所定の閾値以上であるか否かに基づいて、前記ユーザの肌を表す肌領域が抽出され、前記肌領域上の前記オブジェクトの形状を表す形状領域が抽出される。
本発明の第1の側面によれば、ユーザの手等の移動を容易に検出できる。また、本発明の第2の側面によれば、一連の処理に要する演算量の増加を抑えつつ、ユーザの正確な手の形状等を高速に抽出できる。
以下、発明を実施するための形態(以下、本実施の形態という)について説明する。なお、説明は以下の順序で行う。
1. 本実施の形態(ユーザの手の形状を抽出する例)
2. 変形例
1. 本実施の形態(ユーザの手の形状を抽出する例)
2. 変形例
<1.本実施の形態>
[情報処理システム1の構成例]
図1は、本実施の形態である情報処理システム1の構成例を示している。
[情報処理システム1の構成例]
図1は、本実施の形態である情報処理システム1の構成例を示している。
この情報処理システム1は、ユーザの手を用いたジェスチャ(又はポスチャ)に応じて所定の処理を実行するものであり、情報処理装置21、カメラ22、及び発光装置23により構成される。
情報処理システム1に対して所定の処理を実行させるため、ユーザは、(カメラ22のレンズ面の前で)自身の手の形状を変化させたり、手を動かしたりする。
このとき、情報処理システム1では、ユーザの手の形状や手の動きを認識し、その認識結果に対応して所定の処理を実行する。
なお、本実施の形態では、ユーザは、カメラ22のレンズ面の前で手を動かしたり手の形状を変化させるものとし、ユーザは、自身の手を、顔や胸等よりもカメラ22のレンズ面に近い位置に出してジェスチャ(又はポスチャ)を行うものとする。
情報処理装置21は、カメラ22及び発光装置23を制御する。また、情報処理装置21は、カメラ22の撮像により得られる撮像画像に基づいて、ユーザの手の形状や動きを認識し、その認識結果に対応して所定の処理を実行する。
カメラ22は、ユーザ等の被写体の撮像に用いるレンズを有しており、そのレンズの前面は、可視光を遮断する可視光カットフィルタ22aにより覆われている。
このため、日光、或いは蛍光灯の赤外成分を除けば、カメラ22は、発光装置23によって被写体に照射される不可視光の反射光のみを受光し、その結果得られる撮像画像を、情報処理装置21に供給することになる。
すなわち、例えば、カメラ22は、発光装置23によって被写体に照射される不可視光である第1の波長の光(例えば、870[nm]の近赤外線)の反射光のみを受光し、その結果得られる第1の撮像画像を、情報処理装置21に供給する。
また、カメラ22は、発光装置23によって被写体に照射される不可視光であって、第1の波長とは異なる第2の波長の光(例えば、950[nm]の近赤外線)の反射光のみを受光し、その結果得られる第2の撮像画像を、情報処理装置21に供給する。
なお、本実施の形態では、日光、或いは蛍光灯等の外光による赤外成分(例えば、870[nm]の近赤外線や950[nm]の近赤外線)の影響は、実質的に無視できる条件でカメラ22による撮像が行なわれるものとする。
一般的なカメラでは、可視光領域の方が赤外領域と比較して受光感度が高いため、可視光カットフィルタ22aを設けることにより、可視光の影響を低減することができる。このため、可視光の影響を殆ど受けることなく、発光装置23から被写体に照射した光の反射光を受光することができるので、分光反射率特性を利用した肌検出のロバスト性を向上させることが可能となる。
また、以下において、カメラ22のレンズの前面は、可視光カットフィルタ22aにより覆われているものとして説明するが、例えば、可視光による影響が実質的に無視できる状況下では、カメラ22のレンズの前面を、可視光カットフィルタ22aにより覆わないように構成するようにしてもよい。
発光装置23は、第1の波長の光を発光するLED(light emitting diode)23a1及び23a2、並びに、第2の波長の光を発光するLED23b1及び23b2により構成される。
なお、以下において、LED23a1及び23a2を区別する必要がない場合には、LED23a1及び23a2を単にLED23aという。また、LED23b1及び23b2を区別する必要がない場合には、LED23b1及び23b2を単にLED23bという。
LED23aとLED23bとは、情報処理装置21の制御にしたがって交互に発光する。
また、第1の波長の光の反射光、及び第2の波長の光の反射光それぞれにおいて、カメラ22により受光される反射光の強度(光量)が同じになるように、LED23aとLED23bの出力は調整されている。
すなわち、第1の波長の光に対するカメラ22の相対感度特性と、第2の波長の光に対するカメラ22の相対感度特性とが同一である場合、第1及び第2の波長それぞれの光における反射率が同一である物体(例えば、鏡面等)に対して、第1の波長の光を照射したときに得られる輝度値と、第2の波長の光を照射したときに得られる輝度値とを同じ値にするために、カメラ22により受光される反射光の強度(光量)が同じになるように調整される。
ところで、図18を参照して後述するように、カメラ22の相対感度特性は、通常、可視光領域から離れる程に感度が小さくなる傾向があり、例えば、870[nm]における感度と比較して、950[nm]における感度が1/2以下となる。
このため、一般的には、第1及び第2の波長それぞれの光における反射率が同一である物体に対して、第1の波長の光を照射した場合に得られる輝度値と、第2の波長の光を照射した場合に得られる輝度値とが同じになるように、LED23aとLED23bの出力は、例えば、カメラ22の相対感度特性等に応じて調整されることとなる。
さらに、LED23aとLED23bとは、図1に示すように、交互に碁盤の目状に配置されており、LED23a及び23bの前面には、LED23a及び23bにより発光される光を均一に拡散させる拡散板23cが設けられている。これにより、被写体には、第1又は第2の波長の光がむらなく照射される。
なお、LED23a及び23bのみにより、第1及び第2の波長の光がむらなく照射される場合には、LED23a及び23bの前面に、拡散板23cを設けないようにしてもよい。
また、発光装置23は、LED23aやLED23bから発光される光が、少なくともユーザの手に確実に照射される位置に配置される。本実施の形態では、ユーザは、カメラ22のレンズ面の前で手の形状を変化させることから、発光装置23は、例えば、カメラ22と近接された状態で配置される。
本実施の形態では、発光装置23は、カメラ22と近接された状態で配置されているものとして説明するが、発光装置23とカメラ22との位置関係はこれに限定されない。すなわち、カメラ22のレンズ面の前に位置するユーザの手を照射でき、その照射により得られる反射光をカメラ22により確実に受光できる位置関係であれば、どのような位置関係であってもよい。
具体的には、例えば、近接された発光装置23とカメラ22とを分離し、発光装置23を、カメラ22よりもユーザの手に近い位置に配置するようにすれば、発光装置23とカメラ22とを近接した状態で配置する場合と比較して、発光装置23とユーザの手との距離を短くできる。
この場合、発光装置23とカメラ22とを近接した状態で配置する場合と比較して、発光装置23とユーザの手との距離が短くなるため、発光装置23の消費電力を低減することが可能となる。
[情報処理装置21の構成例]
図2は、情報処理装置21の構成例を示している。
図2は、情報処理装置21の構成例を示している。
情報処理装置21は、制御部41、2値化部42、肌抽出部43、閾値決定部44、マスク画像生成部45、及び形状抽出部46により構成される。
制御部41は、発光装置23を制御し、LED23aとLED23bとを交互に発光させる。
2値化部42には、カメラ22から、第1の撮像画像及び第2の撮像画像が供給される。2値化部42は、カメラ22から供給される第1及び第2の撮像画像に基づいて、第1の撮像画像から、ユーザの肌を表す肌領域と、肌領域以外の領域とを抽出(検出)する。
なお、2値化部42は、肌領域と、肌領域以外の領域とを抽出する対象として、第1の撮像画像を採用するようにしたが、その他、例えば、後述するように、抽出する対象として、第2の撮像画像等を採用できる。
そして、2値化部42は、抽出した肌領域を構成する画素の画素値と、肌領域以外の領域を構成する画素の画素値とがそれぞれ異なる値(例えば、0と1)に2値化された2値化肌画像を生成し、肌抽出部43及び形状抽出部46に供給する。
肌抽出部43及びマスク画像生成部45には、カメラ22から第1の撮像画像が供給される。
肌抽出部43は、2値化部42から供給される2値化肌画像に基づいて、カメラ22からの第1の撮像画像から、2値化肌画像内の肌領域に対応する領域(ユーザの肌部分が表示された領域)を抽出する。
そして、肌抽出部43は、抽出した領域を含む肌画像を生成し、閾値決定部44に供給する。なお、肌抽出部43は、抽出した領域を肌画像として、閾値決定部44に供給するようにしてもよい。
閾値決定部44は、肌抽出部43からの肌画像に基づいて、肌画像(を構成する画素の輝度値)のヒストグラムを作成する。そして、閾値決定部44は、作成した肌画像のヒストグラムに基づいて、後述するマスク画像を生成するために用いられるマスク閾値を決定し、マスク画像生成部45に供給する。
なお、本実施の形態において、閾値決定部44は、マスク閾値を決定するために、肌画像を構成する画素の輝度値の分布を表すものとして、例えば、肌画像のヒストグラムを用いるようにしているが、肌画像を構成する画素の輝度値の分布を表すものであれば、肌画像のヒストグラムに限定されず、どのような情報であってもよい。
また、閾値決定部44は、図7を参照して後述するように、肌画像のヒストグラムに基づいて、肌画像を構成する画素の輝度値の最大値や極小値を算出し、マスク閾値に決定するようにしているが、これに限定されない。
すなわち、例えば、閾値決定部44は、肌画像のヒストグラムに基づいて、肌画像を構成する画素の輝度値についての平均値、分散値、最小値、最大値等を算出し、算出した平均値、分散値、最小値、最大値等を用いて、マスク閾値を決定するようにしてもよい。
マスク画像生成部45は、閾値決定部44からのマスク閾値に基づいて、カメラ22から供給される第1の撮像画像からマスク画像を生成し、形状抽出部46に供給する。
なお、マスク画像とは、第1の撮像画像内の領域のうち、マスク閾値により特定される輝度値の範囲に含まれる輝度値の画素により構成されるマスク領域と、それ以外の領域である非マスク領域とに2値化された画像をいう。
形状抽出部46は、マスク画像生成部45からのマスク画像に基づいて、2値化部42からの2値化肌画像から、マスク画像内のマスク領域に対応する領域として、例えばユーザの手の形状を表す形状領域を抽出する。
そして、形状抽出部46は、抽出した形状領域に基づいて、手の形状を認識し、その認識結果に応じた処理を行い、その処理結果を後段に出力する。
なお、2値化部42は、第1の撮像画像から、肌領域と、肌領域以外の領域を抽出するようにしたが、第2の撮像画像から、肌領域と、肌領域以外の領域を抽出するようにしてもよい。この場合、肌抽出部43及びマスク画像生成部45には、第1の撮像画像に代えて、カメラ22から、第2の撮像画像が供給される。
そして、肌抽出部43は、第2の撮像画像から肌画像を生成し、マスク画像生成部45は、第2の撮像画像からマスク画像を生成することとなる。
その他、例えば、肌抽出部43は、第1の撮像画像と、第2の撮像画像とを、所定の比率で合成して得られる新たな合成画像(例えば、第1及び第2の撮像画像それぞれの、対応する画素の輝度値の平均を、輝度値として有する合成画像(1対1の比率で合成した合成画像)等)を対象として、肌領域と、肌領域以外の領域を抽出するようにしてもよい。
すなわち、肌抽出部43は、第1又は第2の撮像画像上に表示されている被写体と同一の被写体が同一の位置に表示された表示画像であれば、肌領域と、肌領域以外の領域を抽出する対象の画像として採用することができる。
[2値化肌画像の生成]
次に、図3乃至図5を参照して、2値化部42が、2値化肌画像を生成する処理の詳細を説明する。
次に、図3乃至図5を参照して、2値化部42が、2値化肌画像を生成する処理の詳細を説明する。
なお、図3及び図4では、カメラ22の撮像により得られる第1の撮像画像、及び第2の撮像画像について説明する。また、図5では、第1の撮像画像、及び第2の撮像画像に基づいて、2値化部42により生成される2値化肌画像について説明する。
図3は、波長の異なる照射光に対する人間の肌の反射特性を示している。
なお、この反射特性は、人間の肌の色の違い(人種の違い)や状態(日焼け等)等に拘らず、一般性があるものである。
図3において、横軸は、人間の肌に照射する光の波長を示しており、縦軸は、人間の肌に照射された光の反射率を示している。
人間の肌に照射された光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
具体的には、例えば、図3に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は約63[%]であり、950[nm]の光を照射して得られる反射光の反射率は約50[%]である。
これは、人間の肌について特有のものであり、人間の肌以外の物体(例えば、頭髪や衣服等)では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。なお、図示は省略しているが、頭髪の例では、800乃至1000[nm]付近において、波長が長くなる程に反射率も緩やかに上昇する。そして、頭髪の例では、870[nm]の光を照射して得られる反射光の反射率は約6[%]であり、950[nm]の光を照射して得られる反射光の反射率は約8[%]である。
次に、図4を参照して、カメラ22の撮像により得られる第1及び第2の撮像画像を説明する。
図4は、ユーザに照射される870[nm]の光の反射光を受光して得られる第1の撮像画像、及びユーザに照射される950[nm]の光の反射光を受光して得られる第2の撮像画像それぞれの一例を示している。
図4のAには、ユーザの肌領域として、ユーザの顔61及び手62が表示されており、ユーザの肌領域以外の領域として、ユーザが着用しているシャツ63、及び背景64が表示された第1の撮像画像が示されている。
また、図4のBには、ユーザの肌領域として、ユーザの顔81及び手82が表示されており、ユーザの肌領域以外の領域として、ユーザが着用しているシャツ83、及び背景84が表示された第2の撮像画像が示されている。
ここで、図3において上述したように、ユーザの肌部分における反射特性では、波長が870[nm]の光の反射率は、波長が950[nm]の光の反射率よりも大きくなっている。
したがって、870[nm]の光をユーザに照射する場合、カメラ22のレンズには、ユーザの肌部分に照射された光の反射光として、950[nm]の光を照射する場合の反射光の明るさよりも明るい光が入射される。
このため、第1の撮像画像内の、ユーザの肌領域(顔61及び手62)を構成する画素の輝度値は、それぞれ、第2の撮像画像内の、ユーザの肌領域(顔81及び手82)を構成する画素の輝度値よりも大きな値となる。
したがって、第1の撮像画像内の、ユーザの肌領域を構成する画素の輝度値から、第2の撮像画像内の、対応するユーザの肌領域を構成する画素の輝度値それぞれを差し引いて得られる差分は、正の値となる。
これに対して、ユーザの肌部分以外の部分における反射特性では、波長が870[nm]の光の反射率は、波長が950[nm]の光の反射率と変わらないか、それよりも小さくなっていることが多い。
したがって、870[nm]の光をユーザに照射する場合、カメラ22のレンズには、ユーザの肌部分以外の部分に照射された光の反射光として、950[nm]の光を照射する場合の反射光の明るさと同じ明るさの光か、それよりも暗い光が入射される。
このため、第1の撮像画像内の、ユーザの肌領域以外の領域(シャツ63及び背景64)を構成する画素の輝度値は、それぞれ、第2の撮像画像内の、ユーザの肌領域以外の領域(シャツ83及び背景84)を構成する画素の輝度値と同じ値か、その値よりも小さい値となる。
したがって、第1の撮像画像内の、ユーザの肌部分以外の部分を構成する画素の輝度値から、第2の撮像画像内の、対応するユーザの肌部分の部分を構成する画素の輝度値それぞれを差し引いて得られる差分は、値0以下の値(正でない値)となる。
このため、2値化部42は、第1の撮像画像と第2の撮像画像との、対応する画素の輝度値どうしの差分を算出し、算出した差分に基づいて、ユーザの肌領域と、ユーザの肌領域以外の領域とを抽出する。そして、2値化部42は、抽出したユーザの肌領域を値1とし、抽出したユーザの肌領域以外の領域を値0とした2値化肌画像を生成する。
すなわち、例えば、2値化部42は、算出した差分(第1の撮像画像を構成する画素の輝度値から、対応する第2の撮像画像を構成する画素の輝度値を減じて得られる差分)が正である場合、対応する画素をユーザの肌領域を構成する画素として抽出し、算出した差分が正でない場合、対応する画素をユーザの肌領域以外の領域を構成する画素として抽出する。
そして、2値化部42は、ユーザの肌領域を構成する画素として抽出した画素の画素値を1に設定し、ユーザの肌領域以外の領域を構成する画素として抽出した画素の画素値を0に設定することにより、2値化肌画像を生成し、肌抽出部43及び形状抽出部46に供給する。
なお、ユーザの肌部分以外の部分における反射率によっては、肌部分以外の部分において算出された差分が、肌部分において算出された差分よりは小さいものの、正の値となることが生じ得る。したがって、差分が正であっても、所定の閾値未満である場合には、ユーザの肌部分以外の部分であるとして、画素値0を設定するように構成することが望ましい。
すなわち、2値化部42は、算出した差分が、予め決められた所定の閾値以上であるか否かを判定し、所定の閾値以上である場合、対応する画素をユーザの肌領域を構成する画素として抽出し、所定の閾値以上ではない場合、対応する画素をユーザの肌領域以外の領域を構成する画素として抽出するようにして、2値化肌画像を生成することが望ましい。
ここで、第1の撮像画像を構成する画素の輝度値L1と、その画素に対応する、第2の撮像画像を構成する画素の輝度値L2との差分L1-L2は、被写体における、第1の波長の光の反射率と第2の波長の光の反射率との差異に対応するものとなるので、肌領域における差分L1-L2は、理想的には、一定値C1(L1-L2=63[%]-50[%]=13)となる。
しかしながら、実際には、肌領域における輝度値L1及びL2は、発光装置23から被写体までの距離、及びカメラ22の撮像条件等に起因して変化し得るので、肌領域における差分L1-L2は、一定値C1にはならないことが生じ得る。
この場合、2値化部42は、差分L1-L2毎に異なる閾値を用いなければならず、非常に煩雑な処理となってしまう。
そこで、2値化部42は、差分L1-L2を正規化するようにして、差分L1-L2を、第1の波長の光の反射率と第2の波長の光の反射率との差異に対応した一定値C2にすることにより、複数の差分L1-L2において同一の閾値を用いるようにすることができる。
このように、例えば、2値化部42は、差分L1-L2を、輝度値L1又はL2の一方で正規化(除算)すれば、正規化後の差分(L1-L2)/L1又は(L1-L2)/L2に対して、予め用意されている同一の閾値を用いることができるので、差分L1-L2毎に異なる閾値を用意する必要がない。なお、ここでは輝度値L1又はL2の一方で正規化した例を示したが、差分を輝度値L1又はL2に関連した輝度値関連値で正規化すれば良く、例えば(L1+L2)/2や(L1+L2)で正規化しても良い。
よって、2値化部42が、閾値を予め保持しておくために内蔵しているメモリ(図示せず)の容量を少なくすることができる。また、2値化部42は、差分L1-L2に拘わらず、同一の閾値を用いるようにすれば、差分L1-L2毎に、閾値を変更する手間を省くことができるので、2値化肌画像を生成するための演算量を抑制して、より迅速に2値化肌画像を生成することが可能となる。
なお、別の方法として、2値化部42は、差分L1-L2ではなく、比L1/L2に基づいて、肌領域と非肌領域とを抽出するように構成することができる。これは、発光装置23から被写体までの距離、及びカメラ22の撮像条件等に起因して、肌領域における輝度値L1及びL2が変化したとしても、肌領域における比L1/L2(=63[%]/50[%])は一定値C3となることを利用したものである。
なお、比L1/L2を用いる場合には、比L1/L2と比較される閾値として、例えば、一定値C3-α(α>0)が採用され、2値化部42は、比L1/L2が閾値以上である場合、肌領域として抽出し、比L1/L2が閾値未満である場合、非肌領域として抽出することとなる。
また、2値化部42は、第1の撮像画像と第2の撮像画像との、対応する画素の輝度値どうしの差分絶対値を算出し、算出した差分絶対値が所定の閾値以上であるか否かに基づいて、ユーザの肌部分(肌領域)と、それ以外の部分(肌領域以外の領域)とを抽出して、2値化肌画像を生成するようにしてもよい。
これは、反射特性により、ユーザの肌部分に対応する差分絶対値は比較的大きな値となり、ユーザの肌部分以外の部分に対応する差分絶対値は比較的小さな値となることを利用している。
また、差分絶対値を用いる場合であっても、輝度値L1又はL2等により正規化することにより、いずれの差分絶対値においても、同一の閾値を用いることができるようになる。
なお、差分絶対値を用いる方法では、肌と頭髪のように、第1及び第2の波長付近での反射率の増減が逆のものを誤検出するおそれがあるので、輝度値も加味して肌領域を抽出することが望ましい。すなわち、例えば、差分絶対値を用いて抽出された肌領域のうち、輝度値L1(又は輝度値L2)の高い部分のみを、最終的な肌領域として抽出するとよい。
次に、図5は、2値化部42により生成される2値化肌画像の一例を示している。
図5に示す2値化肌画像において、黒色で示す部分は、画素値1で表される肌領域を示している。この肌領域は、ユーザの顔の肌部分を示す顔領域101、及びユーザの手の肌部分を示す手領域102により構成されている。
なお、図面の都合上、図5に示す顔領域101には、顔の肌部分の他、眉毛や目、髪の毛等も記載しているが、実際には、顔領域101は、顔の肌部分のみにより構成される。
さらに、図5に示す2値化肌画像において、白色で示す部分は、画素値0で表される、肌領域以外の領域を示している。
2値化部42は、生成した2値化肌画像を、肌抽出部43及び形状抽出部46に供給する。
肌抽出部43は、2値化部42からの2値化肌画像に基づいて、カメラ22から供給される第1の撮像画像から、2値化肌画像内の顔領域101及び手領域102に対応する領域(顔61と手62とが表示された領域)を抽出する。そして、肌抽出部43は、抽出した領域を含む肌画像を生成する。
[肌画像の生成]
次に、図6を参照して、肌抽出部43が、2値化部42からの2値化肌画像に基づいて、第1の撮像画像から肌画像を生成する処理を説明する。
次に、図6を参照して、肌抽出部43が、2値化部42からの2値化肌画像に基づいて、第1の撮像画像から肌画像を生成する処理を説明する。
図6は、肌抽出部43により抽出される肌画像の一例を示している。図6に示す肌画像には、ユーザの顔61及び手62が表示されている。
なお、図面の都合上、図6に示す肌画像には、ユーザの顔61として、顔の肌部分の他、眉毛や目、髪の毛等も記載しているが、実際には、図6に示す顔61は、顔の肌部分のみを表している。
肌抽出部43は、2値化部42からの2値化肌画像と、カメラ22からの第1の撮像画像との対応する画素の輝度値どうしを、それぞれ乗算する。
そして、肌抽出部43は、第1の撮像画像を構成する画素のうち、その乗算結果が0でない画素により構成される領域(顔61と手62とが表示された領域)を抽出し、抽出した領域を含む肌画像を生成する。
これにより、第1の撮像画像内の領域のうち、2値化肌画像の顔領域101に対応する領域に含まれる顔61、及び2値化肌画像の手領域102に対応する領域に含まれる手62については、そのまま抽出され、2値化肌画像の肌領域以外の領域に対応する領域(図6において白色で示す)については、例えば、その輝度値が値255とされて、第1の撮像画像から、図6に示すような肌画像が生成される。
肌抽出部43は、生成した肌画像を、閾値決定部44に供給する。
閾値決定部44は、肌抽出部43からの肌画像に基づいて、マスク画像を生成するために用いられるマスク閾値を決定する。
[マスク閾値の決定]
次に、図7を参照して、閾値決定部44がマスク閾値を決定する処理の詳細を説明する。
次に、図7を参照して、閾値決定部44がマスク閾値を決定する処理の詳細を説明する。
図7は、肌画像のヒストグラムの一例を示している。
図7において、横軸は、肌画像を構成する画素の輝度値を示している。また、縦軸は、横軸の輝度値に対応する画素の画素数を示している。
なお、図7のヒストグラムにおいて、本来ならば、図6の肌画像において、白色部分で表された領域を構成する画素の輝度値255についての画素数も表示されるが、輝度値255についての画素数は、マスク閾値を決定するために用いられないため、図示を省略している。
閾値決定部44は、肌抽出部43からの肌画像を構成する画素の輝度値について、図7に示されたようなヒストグラムを作成する。
図7のヒストグラムでは、輝度値0から輝度値54までの間と、輝度値55から輝度値110までの間に、多くの画素数が偏って表示されている。
ところで、上述したように、カメラ22から近い位置に手が存在し、カメラ22から遠い位置に顔や胸等が存在することを前提としている。
また、例えば、発光装置23のLED23a及びLED23bは、カメラ22に近接した状態で発光するため、カメラ22(発光装置23)から近い位置に存在するユーザの部位(いまの場合、手)ほど輝度値が大きくなり、カメラ22から遠い位置に存在するユーザの部位(いまの場合、顔等)ほど輝度値が小さくなる。
したがって、カメラ22から近い位置に存在する手の肌部分を構成する画素の輝度値は、カメラ22から遠い位置に存在する顔の肌部分を構成する画素の輝度値よりも大きな値となる。
このため、輝度値0から輝度値54までの輝度値は、顔61(の領域)を構成する画素の輝度値であり、輝度値55から輝度値110までの輝度値は、手62を構成する画素の輝度値である。
閾値決定部44は、画素数が極小となるときの輝度値(この例では輝度値55)を下限閾値Th_Lに決定するとともに、最大の輝度値(この例では輝度値110)を上限閾値Th_Hに決定する。
なお、下限閾値Th_Lは、例えば、次のようにして求めても良い。すなわち、例えば、閾値決定部44は、図7に示されたようなヒストグラムを表わす関数y=f(x)(yは画素数を表し、xは輝度値を表す)を生成する。そして、閾値決定部44は、生成した関数f(x)を1回微分して1次導関数f'(x)を生成し、1次導関数f'(x)が負の値から正の値に変化するときであって、関数f'(x)=0となるときのx(例えば、x=55)、つまり、関数f(x)が極小となるときのxを、下限閾値Th_Lに決定する。
さらに、上限閾値Th_Hを、最大の輝度値に決定したが、その他、例えば、1次導関数f'(x)が負の値から値0となるときのxの値(例えば、x=110)を、上限閾値Th_Hに決定するようにしてもよい。
ところで、上述したように、閾値決定部44は、肌画像を構成する画素の輝度値についての平均値、分散値、最小値、最大値等を用いて、マスク閾値を決定することもできる。
すなわち、例えば、閾値決定部44は、肌画像を構成する画素の輝度値についての平均値を、下限閾値Th_Lに決定するようにしてもよいし、肌画像を構成する画素の輝度値についての最大値の1/2を下限閾値Th_Lに決定するようにしてもよい。また、例えば、閾値決定部44は、肌画像を構成する画素の輝度値についての最小値と最大値との平均を、下限閾値Th_Lに決定するようにしてもよい。
さらに、閾値決定部44は、例えば分散値毎に、下限閾値Th_Lを決定するための閾値決定用関数を予め用意しておき、肌画像を構成する画素の輝度値についての分散値に対応する閾値決定用関数により、下限閾値Th_Lを決定するようにしてもよい。なお、閾値決定用関数は、例えば、肌画像を構成する画素の輝度値についての最小値や最大値等を変数として有する関数等を採用することができる。
この場合、関数f(x)を生成し、生成した関数f(x)から1次導関数f'(x)をさらに生成するようにし、その1次導関数f'(x)に基づいて下限閾値Th_Lを決定する場合と比較して、下限閾値Th_Lに決定される値を容易に算出することができるので、より迅速に下限閾値Th_Lを決定することが可能となる。
なお、閾値決定部44は、例えば、肌画像を構成する画素の輝度値についての最大値を、上限閾値Th_Hに決定するようにしているが、下限閾値Th_Lの場合と同様にして、肌画像を構成する画素の輝度値についての平均値、分散値、最小値、最大値等を用いて、上限閾値Th_Hを決定することができる。
すなわち、例えば、図6の肌画像において、顔61及び手62以外に他の肌部分が表示されているために、図7のヒストグラムにおいて、値110よりも大きな輝度値が存在することにより、輝度値55と同様に、輝度値110が極小となっている場合等には、上限閾値Th_Hを、下限閾値Th_Lと同様にして決定できる。
閾値決定部44は、決定した下限閾値Th_L及び上限閾値Th_Hを、マスク閾値として、マスク画像生成部45に供給する。
マスク画像生成部45は、閾値決定部44からのマスク閾値(下限閾値Th_L及び上限閾値Th_H)に基づいて、カメラ22からの第1の撮像画像から、マスク領域と非マスク領域とを検出し、検出したマスク領域と非マスク領域とが、それぞれ異なる値に2値化されたマスク画像を生成する。
すなわち、例えば、マスク画像生成部45は、発光装置23から近い位置に存在するために、輝度値が大きくなっているユーザの部位(いまの場合、手)に対応する領域として、下限閾値Th_L以上であって上限閾値Th_H以下の輝度値を有する画素により構成されるマスク領域を検出する。
また、例えば、マスク画像生成部45は、発光装置23から遠い位置に存在するために、輝度値が小さくなっているユーザの部位(いまの場合、顔等)に対応する領域として、下限閾値Th_L以上であって上限閾値Th_H以下の範囲に含まれない輝度値を有する画素により構成される非マスク領域を検出する。
そして、マスク画像生成部45は、検出したマスク領域と非マスク領域とが、それぞれ異なる値に2値化されたマスク画像を生成する。
[マスク画像の生成]
次に、図8を参照して、マスク画像生成部45が、閾値決定部44からのマスク閾値に基づいて、マスク画像を生成する処理の詳細を説明する。
次に、図8を参照して、マスク画像生成部45が、閾値決定部44からのマスク閾値に基づいて、マスク画像を生成する処理の詳細を説明する。
図8はマスク画像の一例を示している。図8に示すマスク画像において、黒色で示されるマスク領域121は、対応する第1の撮像画像内の領域において、輝度値が下限閾値Th_L以上であって、上限閾値Th_H以下である領域を示している。
また、図8に示すマスク画像において、白色で示される非マスク領域は、対応する第1の撮像画像内の領域において、下限閾値Th_L未満であるか、又は、上限閾値Th_Hよりも大きいである領域を示している。
マスク画像生成部45は、カメラ22からの第1の撮像画像を構成する画素の輝度値が、下限閾値Th_L以上であって、上限閾値Th_H以下である場合には、その輝度値の画素をマスク領域に含まれる画素として検出し、その輝度値を画素値1に変換する。
また、マスク画像生成部45は、カメラ22からの第1の撮像画像を構成する画素の輝度値が、下限閾値Th_L未満であるか、又は、上限閾値Th_Hよりも大きいである場合には、その輝度値の画素を非マスク領域に含まれる画素として検出し、その輝度値を画素値0に変換する。
なお、変換後の画素値は、輝度値とは異なる値であって、0又は1のいずれかとされる値を表す。
これにより、マスク画像生成部45は、値1を有する画素により構成されるマスク領域121(黒色で示す)と、値0を有する画素により構成される非マスク領域(白色で示す)とにより構成されるマスク画像を生成し、形状抽出部46に供給する。
ここで、閾値決定部44において、下限閾値Th_L及び上限閾値Th_Hを決定するようにしたが、例えば、マスク閾値として、下限閾値Th_L又は上限閾値Th_Hの一方を決定するようにしてもよい。
すなわち、例えば、カメラ22からマスク画像生成部45に供給される第1の撮像画像を構成する画素の輝度値の最大値が、人間の肌に対応する輝度値(例えば、図7の輝度値110)である場合には、閾値決定部44は、マスク閾値として、下限閾値Th_L(例えば、輝度値55)のみを決定するようにしてもよい。
この場合、マスク画像生成部45は、カメラ22からの第1の撮像画像を構成する画素の輝度値が、下限閾値Th_L以上である場合には、その輝度値の画素をマスク領域に含まれる画素として検出し、その輝度値を画素値1に変換するものとなる。また、マスク画像生成部45は、カメラ22からの第1の撮像画像を構成する画素の輝度値が、下限閾値Th_L未満である場合には、その輝度値の画素を非マスク領域に含まれる画素として検出し、その輝度値を画素値0に変換するものとなる。
なお、閾値決定部44が、マスク閾値として、上限閾値Th_Hのみを決定する場合には、例えば、手62の形状に代えて、顔61の形状を抽出するとき等が考えられる。このとき、例えば、閾値決定部44は、図7に示される輝度値55を、マスク閾値としての上限閾値Th_Hに決定することとなる。
形状抽出部46は、マスク画像生成部45からのマスク画像に基づいて、2値化部42からの2値化肌画像内の顔領域101及び手領域102から、マスク画像内のマスク領域121に対応する領域として、例えばユーザの手の形状を表す形状領域を抽出する。
すなわち、例えば、形状抽出部46は、マスク画像生成部45からのマスク画像を構成するマスク領域121及び非マスク領域に基づいて、発光装置23から近い位置に存在するために、輝度値が大きくなっているユーザの部位(いまの場合、手62)(マスク領域121に対応するユーザの部位)と、発光装置23から遠い位置に存在するために、輝度値が小さくなっているユーザの部位(いまの場合、顔61)(非マスク領域に対応するユーザの部位)との、発光装置23からの相対的な距離の違いを区別する。
そして、形状抽出部46は、区別した発光装置23からの相対的な距離の違いから、例えば、発光装置23から近い位置に存在するために、輝度値が大きくなっているユーザの部位(いまの場合、手62)を区別して、形状領域(いまの場合、手の形状を表す領域)を抽出する。
[手の形状の抽出]
次に、図9を参照して、形状抽出部46が、2値化肌画像から、ユーザの手の形状等を抽出する処理の詳細を説明する。
次に、図9を参照して、形状抽出部46が、2値化肌画像から、ユーザの手の形状等を抽出する処理の詳細を説明する。
図9は、形状抽出部46により抽出される形状領域を含む抽出画像の表示例を示している。
図9に示す抽出画像において、形状領域141は、ユーザの手の形状を表している。
形状抽出部46は、マスク画像生成部45からのマスク画像を構成する画素の値と、対応する、2値化部42からの2値化肌画像を構成する画素の値とを、それぞれ乗算する。
そして、形状抽出部46は、その乗算結果が0でない2値化肌画像内の領域、すなわち、2値化肌画像内の顔領域101及び手領域102(図5)のうち、マスク画像内のマスク領域121(図8)と重なる部分を、形状領域141として抽出する。
また、形状抽出部46は、抽出した形状領域141に基づいて、ユーザの手の形状を認識し、その認識結果に応じた処理を行う。
なお、図8に示されたマスク画像内のマスク領域121には、ユーザの手の他、ユーザが着用しているシャツが含まれている。
しかしながら、2値化肌画像内の顔領域101及び手領域102には、ユーザが着用しているシャツは含まれないため、形状抽出部46では、シャツの形状を表す領域を抽出することなく、手の形状のみを表す形状領域141を正確に抽出することができる。
[形状抽出処理の動作説明]
次に、情報処理システム1が、ユーザの手の形状等を抽出する形状抽出処理の詳細を説明する。
次に、情報処理システム1が、ユーザの手の形状等を抽出する形状抽出処理の詳細を説明する。
図10は、形状抽出処理を説明するためのフローチャートである。なお、この形状抽出処理は、情報処理システム1の電源がオンされたときから繰り返し実行される。
以下、ユーザが、カメラ22の前に存在するときに行われた形状抽出処理について説明する。
ステップS1において、制御部41は、発光装置23のLED23aを制御し、第1の波長の光の発光を開始させる。なお、制御部41は、LED23bが発光している場合には、LED23bの発光を停止した上で、LED23aの発光を開始させる。
ステップS2において、カメラ22は、第1の波長の光が照射されているユーザを撮像し、その結果得られる第1の撮像画像を、情報処理装置21に供給する。
ステップS3において、制御部41は、発光装置23のLED23aを制御し、第1の波長の光の発光を停止させ、発光装置23のLED23bを制御し、第2の波長の光の発光を開始させる。
ステップS4において、カメラ22は、第2の波長の光が照射されているユーザを撮像し、その結果得られる第2の撮像画像を、情報処理装置21に供給する。
ステップS5において、2値化部42は、カメラ22から供給される第1の撮像画像と第2の撮像画像との対応する画素の輝度値どうしの差分に基づいて、図5に示したような2値化肌画像を生成し、肌抽出部43及び形状抽出部46に供給する。
ステップS6において、肌抽出部43は、2値化部42から供給される2値化肌画像に基づいて、カメラ22からの第1の撮像画像から、2値化肌画像内の肌領域に対応する領域(ユーザの肌部分が表示された領域)を抽出する。
そして、肌抽出部43は、抽出した領域を含む肌画像を生成し、閾値決定部44に供給する。
ステップS7において、閾値決定部44は、肌抽出部43からの肌画像を構成する画素の輝度値に基づいて、図7に示したような肌画像のヒストグラムを作成する。
ステップS8において、閾値決定部44は、作成した肌画像のヒストグラムに基づいて、画素数が極小となるときの輝度値を下限閾値Th_Lに決定するとともに、最大の輝度値を上限閾値Th_Hに決定する。
そして、閾値決定部44は、決定した下限閾値Th_L及び上限閾値Th_Hを、マスク閾値として、マスク画像生成部45に供給する。
ステップS9において、マスク画像生成部45は、閾値決定部44からのマスク閾値(下限閾値Th_L及び上限閾値Th_H)に基づいて、カメラ22からの第1の撮像画像を2値化して、図8に示したようなマスク画像を生成し、形状抽出部46に供給する。
ステップS10において、形状抽出部46は、マスク画像生成部45からのマスク画像に基づいて、2値化部42からの2値化肌画像から、マスク画像内のマスク領域に対応する領域として、例えばユーザの手の形状を表す抽出領域を抽出する。
そして、形状抽出部46は、抽出した抽出領域により手の形状を認識し、その認識結果に応じた処理を行い、その処理結果を後段に出力する。
以上で形状抽出処理は終了される。
以上説明したように、形状抽出処理では、マスク閾値に基づいて、1台のカメラ22により撮像された第1の撮像画像からマスク画像を生成し、生成したマスク画像に基づいて、2値化肌画像から、ユーザの手の形状を抽出するようにした。
したがって、例えば、複数のカメラにより撮像された複数の撮像画像に基づいて、カメラとユーザの手等との距離を表す距離画像を生成し、その距離画像をマスク画像として用いて、ユーザの手の形状を抽出する場合と比較して、マスク画像を生成するために要する計算量を少なくすることができるとともに、より少ない部品数で、ユーザの手の形状等を抽出することが可能となる。
また、形状抽出処理では、カメラ22からユーザの顔までの距離と、カメラ22から手までの距離の違いに基づいて、肌部分として、顔の肌部分が含まれずに、手の肌部分のみが含まれるマスク領域121と、非マスク領域からなるマスク画像を生成するようにした。
このため、2値化肌画像において、抽出すべき手を含む手領域102と、手以外の肌部分である顔を含む顔領域101が重なっている場合でも、マスク領域121には、肌部分として、顔の肌部分は含まれずに手の肌部分のみが含まれるため、2値化肌画像から、手領域102のみを抽出することができる。
よって、正確に、ユーザの手の形状を抽出することが可能となる。
さらに、形状抽出処理では、LED23a及びLED23bから、人間には見ることができない不可視な近赤外線(の光)を発光させるようにした。
したがって、ユーザは、LED23a及びLED23bから発光される光を視認することができないため、LED23a及びLED23bから発光される光が眩しいことにより、ユーザに不愉快な思いをさせることがない。
また、情報処理システム1の発光装置23において、LED23a及びLED23bの前面に拡散板23cを設けるようにした。
このため、LED23a及び23bにより発光される不可視光が均一に拡散されるため、光量によるむらのない均一な光が被写体に照射される。
これにより、被写体に照射される不可視光の反射光が、光量によるむらのない均一な光としてカメラ22により受光されるため、カメラ22において、光量によるむらのない第1及び第2の撮像画像を得ることができる。
したがって、情報処理システム1では、手の形状等を抽出するために、光量によるむらのない第1及び第2の撮像画像を用いるため、例えば、光量によるむらのある第1及び第2の撮像画像を用いる場合と比較して、より正確に手の形状等を抽出することが可能となる。
なお、情報処理システム1では、ユーザが手の形状を変化させる毎に、変化後の手の形状を認識することができるように、例えば、形状抽出処理を開始したときから80[ms]程度で手の形状を抽出できるように構成することが望ましい。
より好適には、例えば、形状抽出処理を開始したときから80[ms]以内に手の形状を抽出するように構成することが望ましい。これは、手の形状を抽出するための処理時間が80[ms]以内であれば、ユーザが操作をしたときにストレスを殆ど感じないことが、予め行なった実験等によりわかっていることによる。
本願発明では、上述したように、例えば、差分L1-L2を算出して正規化したものを、閾値と比較するという非常に単純な処理で手の形状を抽出するようにしているため、比較的安価で低速なCPU(Central Processing Unit)を用いた場合でも、80[ms]以内の処理時間を容易に実現できる。
これに対して、従来のパターンマッチング方法を用いて肌を検出する場合には、予め学習された複数の形状画像を、それぞれ、撮像画像上の複数の領域と比較するという非常に複雑な処理を行なう必要があるため、高価で高速なCPUを用いたとしても、処理時間を80[ms]以内に収めることは困難となっている。
このように、本願発明によれば、比較的安価で低速なCPUを用いた場合でも、80[ms]以内の処理時間を容易に実現できるので、製造コストを抑えることができるとともに、ユーザにストレスを感じさせないで、手の形状を抽出する処理等を迅速に行なうことが可能となる。
以上説明した本実施の形態では、例えば、肌領域として顔61と手62とが重なっている場合であっても、手62の形状を正確に抽出できることを説明した。しかし、例えば、ユーザが半袖のシャツ等を着用している場合、ユーザの顔61と手62の他、腕等が重なっている場合も考えられる。
すなわち、例えば、肌抽出部43により、図11に示されるような、顔61及び手62の他、腕63が表示された肌画像が抽出された場合には、閾値決定部44は、図12に示されるようなヒストグラムを生成する。
次に、図12は、図11に示されるような肌画像に基づいて生成されるヒストグラムの一例を示している。
図11に示される肌画像に表示された顔61、手62及び腕63において、発光装置23から手62までの距離が1番目に近く(短く)なっており、発光装置23から腕63までの距離が2番目に近くなっており、発光装置23から顔61までの距離が3番目に近くなっている。
したがって、図11に示される肌画像のヒストグラムは、図12の最も上側に示される(実線で示される)ように、輝度値0から輝度値75まで画素が、ユーザの顔61に対応する画素であり、輝度値76から輝度値150まで画素が、ユーザの腕63に対応する画素であり、輝度値151から輝度値250の画素が、ユーザの手62に対応する画素となっている。
例えば、閾値決定部44は、図12に示されるヒストグラム(実線で示される)を表わす関数y=g(x)に基づいて、下限閾値Th_Lを決定する。
ところで、図12に示されるヒストグラムでは、顔61と手62との間に腕63があるため、腕63に対応する輝度値76乃至150におけるヒストグラムが平坦となる。このため、図7に示されるヒストグラムのように、顔61と手62とを区別するような明確な極小値(図7でいう輝度値55)が存在しない。このため、図7を参照して説明した場合と同様にして、下限閾値Th_Lを決定することができない。
そこで、閾値決定部44は、生成するヒストグラムに基づいて、そのヒストグラムの形状を判別し、判別したヒストグラムの形状に応じて、異なる方法(例えば、図7で説明した方法や、図12を参照して説明する方法等)で下限閾値Th_L等を決定するようにしている。
以下、閾値決定部44が、図12に示されるヒストグラムに基づいて、例えば下限閾値Th_L等を決定する場合について説明する。
ここで、本発明者が行なった実験によれば、顔61に対応する輝度値と、腕63に対応する輝度値との境界を表す輝度値(いまの場合、値75付近の輝度値)、及び腕63に対応する輝度値と、手62に対応する輝度値との境界を表す輝度値(いまの場合、値150付近の輝度値)は、関数g(x)の変極点、すなわち1次導関数g'(x)が極大値又は極小値となるときのxとなっていることがわかっている。
したがって、例えば、閾値決定部44は、生成した関数g(x)を1回微分して1次導関数g'(x)を生成する。閾値決定部44は、1次導関数g'(x)が極大値又は極小値であるときのx=x0、すなわち、関数g'(x)が正から負、又は負から正に変化するときのx=x0を算出する。
また、閾値決定部44は、例えば、関数g(x)が極大値となるときの2つのx1及びx2(x1<x2)を算出する(例えば、x1=53,x2=181)。そして、閾値決定部44は、1次導関数g'(x)が極大値又は極小値であるときのx=x0のうち、x=x2よりも小さなx=x0であって、x=x2に最も近い値(例えば、x2-x0が最も小さくなるときのx0)(いまの場合、輝度値150)を、下限閾値Th_Lに決定する。
さらに、例えば、閾値決定部44は、例えば、上限閾値Th_Hを、図12に示されるヒストグラムにおける輝度値の最大値(いまの場合、輝度値250)に決定する。
このように決定した下限閾値Th_L及び上限閾値Th_Hは、手62の形状を抽出する際に用いるマスク画像を生成するために用いられることとなる。
なお、閾値決定部44は、1次導関数g'(x)が極大値又は極小値であるときのx=x0のうち、x=x1よりも大きなx=x0であって、x=x1に最も近い値(例えば、x0-x1が最も小さくなるときのx0)(いまの場合、輝度値75)を、下限閾値Th_Lに決定し、上限閾値Th_Hを、図12に示されるヒストグラムにおける輝度値の最大値(いまの場合、輝度値250)に決定するようにしてもよい。
このように決定した下限閾値Th_L及び上限閾値Th_Hは、手62及び腕63により形成される形状を抽出する際に用いるマスク画像を生成するために用いられることとなる。
なお、例えば、閾値決定部44は、腕63の形状を抽出する際に用いるマスク画像を生成するための下限閾値Th_L及び上限閾値Th_Hを決定する場合には、下限閾値Th_Lを輝度値75に、上限閾値Th_Hを輝度値150にそれぞれ決定することとなる。
図11及び図12を参照して説明したようにして、下限閾値Th_L及び上限閾値Th_Hを決定するようにすれば、例えば、顔61、手62及び腕63それぞれの一部分が重なっていたとしても、例えば、手62の形状等を正確に抽出することができる。
ところで、閾値決定部44は、1次導関数g'(x)が極大値又は極小値であるときのx=x0を算出する場合、1次導関数g'(x)を微分して、2次導関数g''(x)を算出し、2次導関数g''(x)=0となるときの点xを、x=x0として算出するようにできる。これは、2次導関数g''(x)=0となるときの点xは、1次導関数g'(x)が極大値又は極小値であるときのx=x0、すなわち関数g(x)の変極点と一致することによる。
この場合、閾値決定部44は、2次導関数g''(x)=0となるときの変極点x=x0を算出するようにしたので、1次導関数g'(x)に基づいてx=x0を算出する場合と比較して、より容易にx=x0を算出できるようになる。
また、例えば、肌抽出部43が、抽出した肌画像を、形状抽出部46に供給するようにすれば、形状抽出部46は、肌抽出部43からの肌画像から、抽出した形状領域に対応する対応領域を検出し、検出した対応領域を構成する画素の輝度値の分布を表すものとして、例えば、対応領域のヒストグラムに基づいて、対応領域に表示されているもののうち、発光装置23に最も近い位置に存在するものに対応する領域のみを抽出することができる。
すなわち、例えば、肌抽出部43が、図13に示されるような肌画像を抽出した場合には、形状抽出部46は、手62の領域のうち、人差し指の指先に対応する領域のみを抽出することができる。なお、図13では、手62の人差し指の指先が、発光装置23に最も近い位置に存在している。
次に、図14は、対応領域のヒストグラムの一例を示している。
なお、図14の最も上側に示されるヒストグラム(実線で示す)では、例えば手62が表示されている対応領域を構成する画素の輝度値のみについてのヒストグラムを示している。それ以外は、図12と同様である。
例えば、肌抽出部43は、2値化部42からの2値化肌画像、及びカメラ22からの第1の撮像画像に基づいて、図13に示されたような肌画像を生成し、閾値決定部44の他、形状抽出部46に供給する。そして、形状抽出部46は、肌抽出部43からの肌画像から、抽出した形状領域に対応する対応領域を検出し、検出した対応領域を構成する画素の輝度値に基づいて、図14に示されるようなヒストグラムを生成する。形状抽出部46は、生成したヒストグラムを構成する輝度値のうち、輝度値が高くなっている範囲を、人差し指の指先を表す先端領域として、肌抽出部43からの肌画像(の対応領域)から抽出することができる。
いまの場合、ユーザの肌の各部位のうち、発光装置23と人指し指の指先との距離が最も近いものとなっている。このため、図14に示されるヒストグラムでは、人差し指の指先に対応する輝度値が最も高いものとなっている。
なお、人指し指の指先部分の面積は、比較的小さいものとなっている。したがって、図14のヒストグラムにおいて対応する部分は、図12の腕63に対応する部分と同様に、極値を有さずに平坦なものとなっている。
例えば、形状抽出部46は、ヒストグラムを構成する複数の輝度値のうち、輝度値が大きい上位n[%](例えば、n=10)の輝度値それぞれに対応する画素により構成される領域を、ユーザの人差し指の指先(先端)が表示されている先端領域として、肌抽出部43からの肌画像から抽出する。なお、n[%]は、予め行なわれる実験等により、抽出する部位等に応じて決定されているものとする。
そして、形状抽出部46は、抽出した先端領域(の形状等)に応じて、対応する処理を行なう。
ところで、発光装置23からユーザの人差し指の指先までの相対的な距離d1と、例えば、発光装置23からユーザの人差し指の付け根部分までの相対的な距離d2との比d2/d1は、発光装置23とユーザの手との距離が近い程に大きくなる。
すなわち、発光装置23とユーザの手との距離が近い程、距離d1と距離d2との差は相対的に大きなものとなる。このため、発光装置23とユーザの手との距離が比較的近い場合には、発光装置23とユーザの手との距離が遠い場合と比較して、例えば、ユーザの人差し指の指先における輝度値と、ユーザの人差し指の付け根部分における輝度値とは大きく異なる、つまり、距離による輝度値の変化が大きいものとなる。
このように、距離による輝度値の変化が大きくなる程に、図13に示されるように、人差し指の指先部分における画素は少ないものの、その画素の輝度値が、人差し指の付け根部分における画素の輝度値等と比較して十分に大きいものとなる(例えば、上位n[%]に入る輝度値となる)ヒストグラムが得られるので、比較的正確に、ユーザの人差し指の指先部分を抽出できる。
なお、上述の説明では、形状抽出部46は、肌抽出部43からの肌画像から、抽出した形状領域に対応する対応領域を検出するようにしたが、対応領域を検出する画像の対象は、これに限定されない。
すなわち、例えば、形状抽出部46には、カメラ22から第1の撮像画像が供給されるようにしておき、その第1の撮像画像を対象として、対応領域を検出するようにしてもよいし、その他、例えば、第2の撮像画像を対象とするようにしてよい。つまり、形状抽出部46は、第1又は第2の撮像画像上に表示されている被写体と同一の被写体が同一の位置に表示された表示画像であれば、どのような画像を対象としてもよい。
また、上述の説明では、肌抽出部43が、抽出した肌画像を、形状抽出部46に供給するようにしたが、形状抽出部46が、抽出した形状領域を、肌抽出部43に供給するようにして、肌抽出部43が、抽出した肌画像から、形状抽出部46からの形状領域に対応する対応領域を検出するようにして、対応領域に表示されているもののうち、発光装置23に最も近い位置に存在するものに対応する領域のみを抽出するようにしてもよい。
さらに、例えば、閾値決定部44において、肌抽出部43からの肌画像に基づいて生成したヒストグラムが、図14に示されるように、人差し指の指先に対応する輝度値が明確に現れている(例えば、図14に示されるように、人差し指の指先に対応するヒストグラムの輝度値が平坦となっている)場合には、上位n[%]の輝度値に対応する領域を、マスク領域とするためのマスク閾値を決定できる。
具体的には、例えば、閾値決定部44は、生成したヒストグラムが、図14に示されるようなヒストグラム(特に、輝度値が高い部分)となっている場合には、上位n[%]に含まれる複数の輝度値のうち、最小の輝度値を、下限閾値Th_Lに決定し、ヒストグラムを構成する複数の輝度値のうちの最大値を、上限閾値Th_Hに決定する。この場合、形状抽出部46では、2値化部42からの2値化肌画像から、ユーザの肌領域のうち、発光装置23の最も近くに存在する人差し指の指先部分の形状が抽出されることとなる。
次に、情報処理システム1は、例えば、発光装置23に近い程にユーザの肌領域の輝度値が大きくなり、発光装置23から遠い程に輝度値が小さくなることを利用して、ユーザの手の発光装置方向の動き等を認識するようにして、対応する処理を行なうことができる。
例えばユーザの手の左右上下の動き(動きに応じて変化する手の位置(x,y))に連動させて、表示装置上のポインタをxy方向に移動させて、画面上の複数のコンテンツ等の中からポインタが移動された先の1つのコンテンツを選択した後、ユーザの手の前後方向すなわち発光装置23方向(z方向)の動きに連動させて、いわゆるマウスのクリック操作すなわち決定操作を行なうことができる。しかし手をz方向に動かした場合、xy方向にも動いてしまい、所望のコンテンツを選択できないという問題が生じるが、例えば以下の方法で解決が可能である。
例えばユーザの手の左右上下の動き(動きに応じて変化する手の位置(x,y))に連動させて、表示装置上のポインタをxy方向に移動させて、画面上の複数のコンテンツ等の中からポインタが移動された先の1つのコンテンツを選択した後、ユーザの手の前後方向すなわち発光装置23方向(z方向)の動きに連動させて、いわゆるマウスのクリック操作すなわち決定操作を行なうことができる。しかし手をz方向に動かした場合、xy方向にも動いてしまい、所望のコンテンツを選択できないという問題が生じるが、例えば以下の方法で解決が可能である。
すなわち、例えば、形状抽出部46が、カメラ22の撮像により得られた第1の撮像画像から、抽出した形状領域(例えば、手の形状を表す領域)に対応する対応領域(例えば、手が表示されている領域)を抽出する。そして、形状抽出部46は、抽出した対応領域を構成する画素の輝度値に基づいて、手の位置を検出する。なお、形状抽出部46は、対応領域を抽出する対象として、第1の撮像画像の他、第2の撮像画像を採用できる。すなわち、形状抽出部46は、第1又は第2の撮像画像上に表示されている被写体と同一の被写体が同一の位置に表示された表示画像(第1及び第2の撮像画像を含む)を対象として、対応領域を抽出することができる。
次に、図15を参照して、形状抽出部46が行なう座標検出処理について説明する。
ステップS21において、情報処理装置21の制御部41乃至形状抽出部46、カメラ22、及び発光装置23は、図10を参照して説明した形状抽出処理を行う。これにより、形状抽出部46は、マスク画像生成部45からのマスク画像に基づいて、2値化部42からの2値化肌画像から、形状領域を抽出する。
ステップS22において、形状抽出部46は、抽出した形状領域に基づいて、座標(x,y)tを検出する。具体的には、例えば、形状抽出部46は、抽出した形状領域の重心(x,y)を、座標(x,y)tとして算出する。
ステップS23において、形状抽出部46は、カメラ22からの第1の撮像画像上の全領域のうち、抽出した形状領域に対応する対応領域(例えば、手が表示された領域)を検出する。なお、形状抽出部46には、カメラ22から、第1の撮像画像が供給されるものとする。
形状抽出部46は、検出した対応領域を構成する画素の輝度値に基づいて、その対応領域を構成する画素の輝度値の平均値(平均輝度値)Ytを算出する。
ステップS24において、形状抽出部46は、算出した座標(x,y)t及び平均輝度値Ytを、算出したt番目の順序に対応付けて、内蔵するメモリに記憶させる。
ステップS25において、形状抽出部46は、内蔵するメモリに記憶されている平均輝度値Y1乃至Yt-1のうち、前回のステップS24で記憶した平均輝度値Yt-1を読み出す。なお、内蔵するメモリにまだ平均輝度値Yt-1、つまり、Y1が記憶されていない場合、形状抽出部46は、ステップS25をスキップして処理をステップS26に進める。
ステップS25において、形状抽出部46は、算出した平均輝度値Ytの大小、すなわち、例えば、算出した平均輝度値Ytから、内蔵するメモリにより読み出した平均輝度値Yt-1を差し引いて得られる差分Yt-Yt-1の絶対値が所定の閾値未満であるか否かに基づいて、発光装置23から被写体までの相対的な距離が大きく変化したか否かを判定する。
なお、形状抽出部46は、差分Yt-Yt-1が正であるか否かに基づいて、発光装置23から被写体までの相対的な距離が近くなるように変化したか、遠くなるように変化したかについて判定するようにすることもできる。
ステップS25において、形状抽出部46は、発光装置23から被写体までの相対的な距離が大きく変化していないと判定した場合、処理をステップS26に進める。ステップS26では、形状抽出部46は、算出した座標(x,y)tに基づいて、図示せぬ表示装置の表示を制御する。具体的には、例えば、形状抽出部46は、表示装置の画面上に表示されたポインタを、算出した座標(x,y)tに対応する位置に移動させる。
ステップS26の処理の終了後、処理はステップS21に戻り、それ以降同様の処理が行われる。
また、ステップS25において、形状抽出部46は、発光装置23から被写体までの相対的な距離が大きく変化したと判定した場合、処理をステップS27に進める。
ステップS27において、形状抽出部46は、内蔵するメモリに記憶されている座標(x,y)t-kとして、例えば、座標(x,y)t-5に対応する、図示せぬ表示装置の画面上の位置において、いわゆるクリック動作が行なわれたものとして、そのクリック動作に基づく処理を行ない、処理はステップS21に戻り、それ以降同様の処理が行なわれる。
なお、この座標検出処理は、情報処理システム1の電源がオフされたとき等に終了される。
以上説明したように、座標検出処理では、形状抽出部46が、平均輝度値Ytに基づいて、発光装置23から被写体までの相対的な距離が大きく変化したか否かを判定するようにしたので、ユーザによるクリック動作等のジェスチャについても認識することが可能となる。
また、座標検出処理では、ユーザによるクリック動作が行われたと判定した場合、ステップS27において、形状抽出部46は、例えば座標(x,y)t-5に対応する、図示せぬ表示装置の画面上の位置において、クリック動作が行なわれたものとして、クリック動作に基づく処理を行なうようにした。
したがって、例えば、カメラ22に対して、ユーザが、クリック動作により自身の手等を近づけた場合、座標(x,y)tのうち、x又はyの少なくとも一方が変化してしまったときであっても、変化前のx及びyに基づくクリック動作が行なわれたものとして扱われるため、形状抽出部46により算出された座標(x,y)tをそのまま用いる場合と比較して、ユーザによるクリック動作をより正確に認識することが可能となる。
なお、座標検出処理では、形状領域として、手の形状を表す領域の他、手と腕とにより形成される形状を表す領域を採用するようにして、上述した処理を行なうようにしてもよい。
また、座標検出処理では、形状抽出部46が、形状領域として抽出された手の形状のうち、人差し指の指先(先端)部分のみを、図13及び図14を参照して説明したように抽出し、抽出した指先部分が表示された領域を構成する画素の輝度値についての平均輝度値Ytに基づいて、発光装置23と指先部分との相対的な距離が大きく変化したか否かを判定するようにしてもよい。
さらに、座標検出処理では、平均輝度値Ytを用いるようにしたので、形状抽出部46により抽出される、形状領域に対応する領域(例えば、手62が表示されている領域)がどのように変化しても、必ず平均輝度値Ytを算出することができる。
このため、例えば、発光装置23が存在する方向に対する、例えば手62の動き(例えば、クリック動作等)を正確に抽出することが可能となる。
なお、ステップS23では、形状抽出部46は、抽出した対応領域を構成する画素の輝度値に基づいて、その対応領域を構成する画素の輝度値の平均輝度値Ytを算出するようにしたが、その他、例えば、平均輝度値Ytに代えて、その対応領域を構成する画素の輝度値の最大値や最小値、分散値等を用いるように構成してもよい。
また、例えば、ステップS25において、形状抽出部46は、差分Yt-Yt-1の絶対値が所定の閾値未満であるか否かに基づいて、発光装置23から被写体までの相対的な距離が大きく変化したか否かを判定するようにしたが、その他、例えば、発光装置23から所定の距離において得られる平均輝度値Ysを予め用意しておき、算出された平均輝度値Ytと、予め用意された平均輝度値Ysとを比較することにより、発光装置23から所定の距離の位置を基準位置として、その基準位置からどれだけ離れたかによって、発光装置23からの相対的な距離の変化を検出するようにしてもよい。
<2.変形例>
上述した形状抽出処理では、形状抽出処理が行われる毎に、ステップS6乃至ステップS8の処理により、肌画像を抽出し、抽出した肌画像のヒストグラムに基づいて、マスク閾値(下限閾値Th_L及び上限閾値Th_H)を決定するようにしたが、これに限定されない。
上述した形状抽出処理では、形状抽出処理が行われる毎に、ステップS6乃至ステップS8の処理により、肌画像を抽出し、抽出した肌画像のヒストグラムに基づいて、マスク閾値(下限閾値Th_L及び上限閾値Th_H)を決定するようにしたが、これに限定されない。
すなわち、例えば、形状抽出処理では、形状抽出処理が行われた場合に、以前のステップS6乃至ステップS8において決定したマスク閾値をそのまま用いるようにしてもよい。
この場合、ステップS6乃至ステップS8による処理を省略することができるため、形状抽出処理による手の形状等の抽出を迅速に行うことが可能となる。
また、形状抽出処理を行う前に、ステップS6乃至ステップS8による処理と同様の処理を行うことにより、予めマスク閾値を決定するようにしておいても、形状抽出処理において、ステップS6乃至ステップS8による処理を省略することが可能となる。
なお、形状抽出処理を行う前に、予めマスク閾値を決定する処理として、その他、例えば、ユーザの手領域の一部を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定することが可能である。
[マスク閾値の決定方法]
次に、図16を参照して、閾値決定部44が、ユーザの手領域を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定するFFT(fast fourier transform、高速フーリエ変換)閾値決定処理を説明する。
次に、図16を参照して、閾値決定部44が、ユーザの手領域を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定するFFT(fast fourier transform、高速フーリエ変換)閾値決定処理を説明する。
図16は、870[nm]の光が照射されているユーザを撮像して得られる第1の撮像画像の一例を示している。
なお、FFT閾値決定処理を行う場合、閾値決定部44には、手を振っているユーザをカメラ22により撮像して得られる、複数の第1の撮像画像が、カメラ22から供給される。
閾値決定部44は、複数の第1の撮像画像に対して、FFT処理を行い、一定の周波数で動いている、第1の撮像画像内の手領域の一部を検出する。
そして、閾値決定部44は、検出した手領域の一部である矩形領域161を構成する画素の輝度値の平均値ave_Lを算出する。
また、閾値決定部44は、平均値ave_Lから調整値aを差し引いて得られる値ave_L-aを、下限閾値Th_Lに決定し、平均値ave_Lから調整値bを加算して得られる値ave_L+bを、上限閾値Th_Hに決定する。
なお、調整値a及びbは、平均値ave_Lを調整して、下限閾値Th_L及び上限閾値Th_Hを決定するために用いられる値である。
この調整値a及びbは、LED23aや23bから発光される光の強度(光量)、カメラ22からユーザまでの距離、及びカメラ22に用いられるCCD(charge coupled device image sensor)による光の感度に応じて算出される変数であるが、実際には、実験的に算出されることが多い。
[FFT閾値決定処理による動作説明]
次に、閾値決定部44が、ユーザの手領域を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定するFFT閾値決定処理を説明する。
次に、閾値決定部44が、ユーザの手領域を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定するFFT閾値決定処理を説明する。
図17は、FFT閾値決定処理を説明するためのフローチャートである。このFFT閾値決定処理は、例えば、情報処理システムの電源をオンしたときであって、形状抽出処理が行われる前に開始される。
ステップS31において、制御部41は、発光装置23のLED23aを制御し、第1の波長の光の発光を開始させる。
ステップS32において、制御部41は、情報処理装置21に設けられた図示せぬディスプレイやスピーカ等を制御して、ユーザに手を振る動作の開始を指示する。
ステップS33において、カメラ22は、手を振る動作を行っているユーザを撮像し、その結果得られる複数の第1の撮像画像を、情報処理装置21の閾値決定部44に供給する。
ステップS34において、閾値決定部44は、複数の第1の撮像画像に対して、FFT処理を行い、一定の周波数で動いている、第1の撮像画像内の手領域を検出する。
ステップS35において、閾値決定部44は、検出した手領域の一部である矩形領域161を構成する画素の輝度値の平均値ave_Lを算出する。
ステップS36、閾値決定部44は、平均値ave_Lから調整値aを差し引いて得られる値ave_L-aを、下限閾値Th_Lに決定し、平均値ave_Lから調整値bを加算して得られる値ave_L+bを、上限閾値Th_Hに決定する。
以上でFFT閾値決定処理は終了される。FFT閾値決定処理では、上述したように、形状抽出処理が行われる前に、マスク閾値を決定するようにしたので、形状抽出処理において、ステップS6乃至ステップS8の処理を省略でき、より迅速に手の形状等を抽出することが可能となる。
なお、FFT閾値決定処理では、複数の第1の撮像画像に対して、FFT処理を行うことにより、第1の撮像画像内の手領域を検出し、その手領域内の画素を構成する輝度値の平均値に基づいてマスク閾値(下限閾値Th_L及び上限閾値Th_H)を決定するようにしたが、これに限定されない。
すなわち、例えば、FFT閾値決定処理では、手を振っているユーザをカメラ22により撮像して得られる、複数の第2の撮像画像に対して、FFT処理を行うことにより、第2の撮像画像内の手領域を検出し、その手領域内の画素を構成する輝度値の平均値に基づいてマスク閾値を決定するようにしてもよい。
本実施の形態において、2値化部42は、第1の撮像画像から、ユーザの肌領域、及びユーザの肌領域以外の領域を抽出し、抽出した肌領域、及び肌領域以外の領域により構成される2値化肌画像を、肌抽出部43及び形状抽出部46に供給するようにしたが、これに限定されない。
すなわち、例えば、2値化部42は、第1の撮像画像から、ユーザの肌領域を抽出し、少なくとも、抽出した肌領域を含む2値化肌画像を、肌抽出部43及び形状抽出部46に供給するようにしてもよい。
この場合、肌抽出部43は、カメラ22からの第1の撮像画像から、2値化部42からの2値化肌画像に含まれる肌領域に対応する領域を抽出する。また、形状抽出部46は、2値化部42からの2値化肌画像に含まれる肌領域から、形状領域を抽出する。
本実施の形態において、マスク画像生成部45は、例えば第1の撮像画像から、マスク領域及び非マスク領域を検出し、検出したマスク領域及び非マスク領域により構成されるマスク画像を生成するようにしたが、これに限定されない。
すなわち、例えば、マスク画像生成部45は、2値化肌画像から形状領域を抽出するための抽出用領域として、マスク領域のみを検出し、少なくとも、検出したマスク領域を含むマスク画像を生成するようにしてもよい。この場合、形状抽出部46では、2値化部42からの2値化肌画像内の肌領域のうち、マスク画像内のマスク領域に対応する領域が、形状領域として抽出される。
また、例えば、マスク画像生成部45は、抽出用領域として、非マスク領域のみを検出し、少なくとも、検出した非マスク領域を含むマスク画像を生成するようにしてもよい。この場合、形状抽出部46では、2値化部42からの2値化肌画像内の肌領域のうち、マスク画像内の非マスク領域以外の領域に対応する領域が、形状領域として抽出される。
[カメラ22、LED23a、及びLED23bの性能]
次に、図18及び図19を参照して、本出願人が、実際に形状抽出処理及びFFT閾値決定処理を行ったときの、情報処理システム1を構成するカメラ22や発光装置23の性能を説明する。
次に、図18及び図19を参照して、本出願人が、実際に形状抽出処理及びFFT閾値決定処理を行ったときの、情報処理システム1を構成するカメラ22や発光装置23の性能を説明する。
本出願人は、カメラ22として、ソニー株式会社により製造されたビデオカメラを用いた。そのカメラ22は、型番がXC-EI50であり、撮像素子として、1/2IT方式のCCDを用いている。
また、有効画素数は横×縦が768×494画素であり、レンズマウントとしてCマウント、走査方式として、525本のラインをインタレースにより走査する方式を採用している。
さらに、感度はF11(400[lx])であり、最低被写体深度は0.1[lx]である。また、カメラ22の撮像により得られる撮像画像のS/N(signal to noise)比は60[dB]である。
さらに、カメラ22において、カメラ22に予め設けられたシャッタボタン(ノーマルシャッタ)によるシャッタ速度は、1/100乃至1/10000[sec]であり、カメラ22の外部に接続されたレリーズスイッチ(外部トリガシャッタ)によるシャッタ速度は、1/4乃至1/10000[sec]である。
また、カメラ22の外形寸法は、幅×高さ×奥行きが29×29×32[mm]であり、カメラ22の重量は約50[g]である。さらに、カメラ22の耐振動性は、70[G]である。
また、カメラ22は、400[nm]の可視光領域から、1000[nm]の近赤外領域までの帯域の範囲内の感度を有する。
図18は、カメラ22の相対感度特性の一例を示している。
なお、図18において、横軸は、カメラ22のレンズに入射される波長を示しており、縦軸は、波長に対応する相対感度を示している。
また、本出願人は、発光装置23として、図19に示されるように、8個のLED23a、及び8個のLED23bを、互いに碁盤の目状に配置したものを用いた。
本出願人により実際に用いられたLED23aとしては、870[nm]の光を発光するものを用いるとともに、LED23bとしては、950[nm]の光を発光するものを用いた。
さらに、LED23a及びLED23bとして、直流順電流(絶対最大定格)が100[mA]であって、順電圧が1.6[V]であるものを用いた。
本出願人は、上述した性能のカメラ22や、図19に示されたように配置されたLED23a及びLED23bを用いて、形状抽出処理やFFT閾値決定処理を実際に行い、上述した顕著な作用効果を確認することができた。
本実施の形態では、マスク画像生成部45は、閾値決定部44からのマスク閾値に基づいて、カメラ22からの第1の撮像画像から、マスク画像を生成するようにしたが、マスク画像の生成方法はこれに限定されない。
すなわち、例えば、マスク画像生成部45は、それぞれ異なる方向を撮像する複数のカメラにより得られる撮像画像に基づいて、カメラからユーザまでの距離を表す距離画像を生成するステレオ処理を行い、その結果得られる距離画像をマスク画像として採用することが可能である。
この場合、形状抽出部46は、マスク画像生成部45から供給される距離画像内の、カメラから手までの距離を表す領域と、2値化部42から供給される2値化肌画像内の顔領域101及び手領域102とが重なり合う部分を、ユーザの手の形状を表す形状領域141として抽出する。
また、マスク画像として、距離画像を生成する方法としては、ステレオ処理の他、赤外線等を照射したときから、ユーザに反射して戻ってくるまでの時間に基づいてユーザまでの距離を算出するレーザレンジファインダ等を用いて、ユーザの距離画像を生成することが可能である。
さらに、本実施の形態では、LED23aにより発光される第1の波長を870[nm]とし、LED23bにより発光される第2の波長を950[nm]としたが、波長の組合せはこれに限定されない。
すなわち、波長の組合せとしては、第1の波長における反射率と、第2の波長における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、充分に大きくなる組合せであれば、どのような組合せでもよい。具体的には、図3から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等が可能である。
なお、第1の波長λ1と第2の波長λ2との組合せは、例えば、以下に示す関係式を満たす組合せとすることが望ましい。
λ1<λ2
630[nm]≦λ1≦1000[nm]
900[nm]≦λ2≦1100[nm]
λ1<λ2
630[nm]≦λ1≦1000[nm]
900[nm]≦λ2≦1100[nm]
なお、LED23aから発光される光として、可視光を用いる場合には、可視光カットフィルタ22aに代えて、LED23aから発光される可視光のみを通過させて、カメラ22のレンズに入射させるフィルタが用いられる。これは、LED23bについても同様のことがいえる。
また、本実施の形態において、形状抽出処理では、LED23a及びLED23bを、それぞれ個別に発光させるようにしたが、LED23a及びLED23bを同時に発光させることにより、第1の撮像画像、及び第2の撮像画像を取得するように構成することが可能である。
すなわち、例えば、カメラ22に代えて、カメラ22と同様の機能を有する2台のカメラを近接させた状態で設けるようにし、2台のカメラのうち、一方のカメラの前面には、第1の波長の光のみを通過させるフィルタを設けるとともに、他方のカメラの前面には、第2の波長の光のみを通過させるフィルタを設けるように構成する。
この場合、LED23a及びLED23bを同時に発光させたとしても、一方のカメラには、第1の波長の光のみが入射されることから、一方のカメラにおいて、第1の撮像画像を得ることが可能となる。また、他方のカメラには、第2の波長の光のみが入射されることから、他方のカメラにおいて、第2の撮像画像を得ることが可能となる。
本実施の形態において、LED23aの個数及びLED23bの個数は、それぞれ、2個であるとして説明したが、それらの個数は、これに限定されない。
すなわち、LED23aの個数及びLED23bの個数は、ユーザ等の被写体に対して、肌検出に必要なパワー(強度)の光を一様に照射できるように、適宜決定される。
また、本実施の形態において、情報処理装置21に所定の処理を実行させるために、ユーザの身体の部位を表すオブジェクトとして、手(の形状)を変化させるようにしたが、オブジェクトは手の他、例えばユーザの足等を採用することが可能である。
さらに、本実施の形態では、画素の輝度値に基づいて、上限閾値Th_H及び下限閾値Th_Lを決定したり、いわゆるクリック動作を検出するようにしたが、例えば、輝度値に代えて、画素のRGB(Red,Green,Blue)値のうちのR値、G値、又はB値のいずれか1つを用いるようにしてもよい。
すなわち、輝度値に比例する値であれば、輝度値に代えて、どのような値を用いるようにしてもよい。
本発明は、情報処理システム1の他、図20に示されるように、カメラ22と同様の機能を有するカメラ部261、LED23aと同様の機能を有するLED部262、LED23bと同様の機能を有するLED部263、及び構図決定用の画像(いわゆるスルー画)等を表示する表示部264により構成されているモバイル機器241(例えば、デジタルカメラや携帯電話機等)に適用することができる。
モバイル機器241を用いる場合、LED部263及び264と、ユーザの手62との相対的な距離が比較的近い状態で、ポスチャやジェスチャが行われることとなる。図14を参照して上述したように、LED部263及び264と、ユーザの手62との相対的な距離が近い程、距離による輝度値の変化が大きいものとなるので、モバイル機器241を用いる場合には、例えば、ユーザの人差し指の指先部分を、比較的正確に抽出できる。
このような構成とすることにより、所謂タッチパネルのようにユーザの指が表示部に接触する必要がなく、表示部の近傍での指の動きでモバイル機器を操作できるので、表示部に指紋等の汚れが付くこともない。
またここでは人差し指の指先部分を抽出する例を挙げたが、人差し指と親指の先端がLED部263及び264に共に近い場合に両者を同時に抽出して、操作に用いることも可能である。
このような構成とすることにより、所謂タッチパネルのようにユーザの指が表示部に接触する必要がなく、表示部の近傍での指の動きでモバイル機器を操作できるので、表示部に指紋等の汚れが付くこともない。
またここでは人差し指の指先部分を抽出する例を挙げたが、人差し指と親指の先端がLED部263及び264に共に近い場合に両者を同時に抽出して、操作に用いることも可能である。
また、図21に示されるように、表示部264が設けられた面とは反対の面に、カメラ部261、LED部262及び263が設けられているモバイル機器241'を用いる場合、ユーザは、図22に示されるようにして、ポスチャやジェスチャを行なうこととなる。
モバイル機器をこのような構成にすることにより、表示部がユーザの手や指で隠れることがなくなり、操作しやすくなる。特にモバイル機器では表示部が小さいので、表示部に表示された複数のコンテンツ等から、1つを選択する場合、指が表示部上にあると選択したいコンテンツが指で隠れてしまう。これに対して、本願発明では、ユーザから見て表示部と操作する指が重ならないようにするので、操作性を向上することができる。またこのような構成とすることにより、日光等の外光の影響も軽減することもできる。
またこのようなモバイル機器では、通常のカメラが内蔵される場合が多い。このカメラとは別に肌検出用のカメラを設けても良いし、カメラは通常のカメラと共通として、肌検出を行なうモードの場合のみ、可視光カットフィルタを有効となる位置に移動させるようにしても良い。
モバイル機器をこのような構成にすることにより、表示部がユーザの手や指で隠れることがなくなり、操作しやすくなる。特にモバイル機器では表示部が小さいので、表示部に表示された複数のコンテンツ等から、1つを選択する場合、指が表示部上にあると選択したいコンテンツが指で隠れてしまう。これに対して、本願発明では、ユーザから見て表示部と操作する指が重ならないようにするので、操作性を向上することができる。またこのような構成とすることにより、日光等の外光の影響も軽減することもできる。
またこのようなモバイル機器では、通常のカメラが内蔵される場合が多い。このカメラとは別に肌検出用のカメラを設けても良いし、カメラは通常のカメラと共通として、肌検出を行なうモードの場合のみ、可視光カットフィルタを有効となる位置に移動させるようにしても良い。
図22に示される場合、モバイル機器241'のカメラ部261では、ユーザ281の手62の他、ユーザ281以外の人物301の肌も撮像されることとなるが、上述した方法を用いることにより、人物301の肌部分と、ユーザ281の手62とを区別して、手62を正確に抽出することができる。
また、本発明は、図23に示されるように、ディスプレイ321aの上側に、情報処理システム1と同様の機能を有する認識処理部341が内蔵されているテレビジョン受像機321に適用することができる。
この場合、ユーザ281は、テレビジョン受像機321のディスプレイ321aの前で、手62等の形状を変化させたり、手62等を移動させる動作を行なうことにより、テレビジョン受像機321のチャンネルや音量等を変更させる処理を、テレビジョン受像機321に実行させることができる。
またこの場合、手62をパーソナルコンピュータのマウスのように用いて操作することもできる。すなわちテレビジョン受像機の画面に表示された複数のコンテンツ等の選択肢の中から、マウスを移動させるように手を上下左右に動かして特定のものを選択し、更にマウスをクリックするように、手を前後(ユーザから見てテレビジョン受像機の方向)に動かすことで、決定の操作をすることができる。これらの操作は直感的にも理解しやすいものである。
決定する際の手の前後の動きは、ユーザの肌の部位である手の輝度値の変化に基づいて検出することができる。
すなわち、ユーザに第1の波長の光を照射したときの反射光を受光して得られる第1の画像と、第1の波長とは異なる第2の波長の光を照射したときの反射光を受光して得られる第2の画像に基づいて、ユーザの顔や手等の肌領域を抽出し、抽出した肌領域から肌領域を構成する画素の輝度値の分布に基づいてユーザの手を抽出する。更にユーザの手の領域の輝度の変化に基づいて、照射手段(発光装置23)から手までの相対的な距離の変化を検出し、検出した相対的な距離の変化すなわち手の前後方向の動きに基づいて、決定の操作を実行する。
これらの操作はパーソナルコンピュータに同様の機能を内蔵した場合にも適用できることは言うまでもない。
またこの場合、手62をパーソナルコンピュータのマウスのように用いて操作することもできる。すなわちテレビジョン受像機の画面に表示された複数のコンテンツ等の選択肢の中から、マウスを移動させるように手を上下左右に動かして特定のものを選択し、更にマウスをクリックするように、手を前後(ユーザから見てテレビジョン受像機の方向)に動かすことで、決定の操作をすることができる。これらの操作は直感的にも理解しやすいものである。
決定する際の手の前後の動きは、ユーザの肌の部位である手の輝度値の変化に基づいて検出することができる。
すなわち、ユーザに第1の波長の光を照射したときの反射光を受光して得られる第1の画像と、第1の波長とは異なる第2の波長の光を照射したときの反射光を受光して得られる第2の画像に基づいて、ユーザの顔や手等の肌領域を抽出し、抽出した肌領域から肌領域を構成する画素の輝度値の分布に基づいてユーザの手を抽出する。更にユーザの手の領域の輝度の変化に基づいて、照射手段(発光装置23)から手までの相対的な距離の変化を検出し、検出した相対的な距離の変化すなわち手の前後方向の動きに基づいて、決定の操作を実行する。
これらの操作はパーソナルコンピュータに同様の機能を内蔵した場合にも適用できることは言うまでもない。
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
[コンピュータの構成例]
次に、図24は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
次に、図24は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
CPU361は、ROM(Read Only Memory)362、又は記憶部368に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)363には、CPU361が実行するプログラムやデータ等が適宜記憶される。これらのCPU361、ROM362、及びRAM363は、バス364により相互に接続されている。
CPU361にはまた、バス364を介して入出力インタフェース365が接続されている。入出力インタフェース365には、キーボード、マウス、マイクロホン等よりなる入力部366、ディスプレイ、スピーカ等よりなる出力部367が接続されている。CPU361は、入力部366から入力される指令に対応して各種の処理を実行する。そして、CPU361は、処理の結果を出力部367に出力する。
入出力インタフェース365に接続されている記憶部368は、例えばハードディスクからなり、CPU361が実行するプログラムや各種のデータを記憶する。通信部369は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部369を介してプログラムを取得し、記憶部368に記憶してもよい。
入出力インタフェース365に接続されているドライブ370は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア371が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部368に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録(記憶)する記録媒体は、図24に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア371、又は、プログラムが一時的もしくは永続的に格納されるROM362や、記憶部368を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部369を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1 情報処理システム, 21 情報処理装置, 22 カメラ, 23 発光装置, 41 制御部, 42 2値化部, 43 肌抽出部, 44 閾値決定部, 45 マスク画像生成部, 46 形状抽出部
Claims (15)
- 第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段と、
前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、
前記第1及び第2の画像に基づいて、前記ユーザの肌が表示されている肌表示領域を含む表示画像上の前記肌表示領域から、前記ユーザの身体の所定の肌の部位を表すオブジェクトが表示されているオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記表示画像上の前記オブジェクト領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化を検出する距離変化検出手段と
を含む情報処理装置。 - 前記表示画像上の前記オブジェクト領域を構成する画素のうち、輝度値が大きい上位nパーセントに含まれる画素により構成されている領域を、前記オブジェクトの一部分が表示されている前記部分表示領域として検出する部分表示領域検出手段を
さらに含む請求項1に記載の情報処理装置。 - 前記距離変化検出手段は、前記表示画像上の前記オブジェクト領域のうちの前記部分表示領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記部分表示領域に表示されている、前記オブジェクトの一部分までの相対的な距離の変化を検出する
請求項2に記載の情報処理装置。 - 前記オブジェクト領域抽出手段は、
前記表示画像上の前記肌表示領域を構成する画素の輝度値の分布に基づいて、前記肌表示領域上の前記オブジェクトの形状を表す形状領域を検出し、
前記肌表示領域から、前記形状領域に対応する前記オブジェクト領域を抽出する
請求項1に記載の情報処理装置。 - 前記距離変化検出手段は、前記表示画像上の前記オブジェクト領域を構成する画素の輝度値の平均値の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化を検出する
請求項1に記載の情報処理装置。 - 前記第1の波長λ1、及び前記第2の波長λ2は次式の関係を満たす
λ1<λ2
630nm≦λ1≦1000nm
900nm≦λ2≦1100nm
請求項1に記載の情報処理装置。 - ユーザとの距離の変化を検出する情報処理装置の情報処理方法において、
前記情報処理装置は、
照射手段と、
取得手段と、
オブジェクト領域抽出手段と、
距離変化検出手段と
を含み、
前記照射手段が、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射し、
前記取得手段が、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得し、
前記オブジェクト領域抽出手段が、前記第1及び第2の画像に基づいて、前記ユーザの肌が表示されている肌表示領域を含む表示画像上の前記肌表示領域から、前記ユーザの身体の所定の肌の部位を表すオブジェクトが表示されているオブジェクト領域を抽出し、
前記距離変化検出手段が、前記表示画像上の前記オブジェクト領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化を検出する
ステップを含む情報処理方法。 - 第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段を含む情報処理装置を制御するコンピュータを、
前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、
前記第1及び第2の画像に基づいて、前記ユーザの肌が表示されている肌表示領域を含む表示画像上の前記肌表示領域から、前記ユーザの身体の所定の肌の部位を表すオブジェクトが表示されているオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記表示画像上の前記オブジェクト領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化を検出する距離変化検出手段と
して機能させるためのプログラム。 - 第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段と、
前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、
前記第1及び第2の画像に基づいて、前記ユーザの肌が表示されている肌表示領域を含む表示画像上の前記肌表示領域から、前記ユーザの身体の所定の肌の部位を表すオブジェクトが表示されているオブジェクト領域を抽出するオブジェクト領域抽出手段と、
前記表示画像上の前記オブジェクト領域を構成する画素の輝度値、又は前記輝度値に基づき算出される値の一方の変化に応じて、前記照射手段から前記オブジェクトまでの相対的な距離の変化を検出する距離変化検出手段と
前記照射手段から前記オブジェクトまでの相対的な距離の変化が検出されたことに対応して、所定の処理を実行する実行手段と
を含む電子装置。 - ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置において、
第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段と、
前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、
前記第1又は第2の画像を構成する画素毎に、前記第1の波長の光と前記第2の波長の光との反射率の差異を表す差異値を算出する差異値算出手段と、
前記第1又は第2の画像を構成する画素毎に算出された前記差異値が所定の閾値以上であるか否かに基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、
前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段と
を含み、
前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する
情報処理装置。 - 前記差異値算出手段は、前記第1の画像の輝度値から、前記第2の画像の輝度値を差し引いて得られる差分を正規化して得られる前記差異値を算出する
請求項10に記載の情報処理装置。 - 前記差異値算出手段は、前記差異値として、前記第1の画像の輝度値と、前記第2の画像の輝度値との比を算出する
請求項10に記載の情報処理装置。 - ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置の情報処理方法において、
前記情報処理装置は、
照射手段と、
取得手段と、
差異値算出手段と、
肌領域抽出手段と、
形状領域抽出手段と
を含み、
前記照射手段が、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射し、
前記取得手段が、前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得し、
前記差異値算出手段が、前記第1又は第2の画像を構成する画素毎に、前記第1の波長の光と前記第2の波長の光との反射率の差異を表す差異値を算出し、
前記肌領域抽出手段が、前記第1又は第2の画像を構成する画素毎に算出された前記差異値が所定の閾値以上であるか否かに基づいて、前記ユーザの肌を表す肌領域を抽出し、
前記形状領域抽出手段が、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する
ステップを含み、
前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する
情報処理方法。 - ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置であって、第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段を含む情報処理装置を制御するコンピュータを、
前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、
前記第1又は第2の画像を構成する画素毎に、前記第1の波長の光と前記第2の波長の光との反射率の差異を表す差異値を算出する差異値算出手段と、
前記第1又は第2の画像を構成する画素毎に算出された前記差異値が所定の閾値以上であるか否かに基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、
前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段と
して機能させ、
前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する
プログラム。 - ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する電子装置において、
第1の波長の光、及び前記第1の波長とは異なる第2の波長の光を前記ユーザに照射する照射手段と、
前記ユーザに照射された前記第1の波長の光の反射光を受光して得られる第1の画像、及び前記ユーザに照射された前記第2の波長の光の反射光を受光して得られる第2の画像を取得する取得手段と、
前記第1又は第2の画像を構成する画素毎に、前記第1の波長の光と前記第2の波長の光との反射率の差異を表す差異値を算出する差異値算出手段と、
前記第1又は第2の画像を構成する画素毎に算出された前記差異値が所定の閾値以上であるか否かに基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、
前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段と、
抽出された前記形状領域に応じた処理を実行する実行手段と
を含み、
前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する
電子装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011520477A JP4831267B2 (ja) | 2009-06-30 | 2010-05-24 | 情報処理装置、情報処理方法、プログラム及び電子装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009154921 | 2009-06-30 | ||
JP2009154921A JP4548542B1 (ja) | 2009-06-30 | 2009-06-30 | 情報処理装置、情報処理方法及びプログラム |
PCT/JP2010/058773 WO2011001761A1 (ja) | 2009-06-30 | 2010-05-24 | 情報処理装置、情報処理方法、プログラム及び電子装置 |
JP2011520477A JP4831267B2 (ja) | 2009-06-30 | 2010-05-24 | 情報処理装置、情報処理方法、プログラム及び電子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4831267B2 true JP4831267B2 (ja) | 2011-12-07 |
JPWO2011001761A1 JPWO2011001761A1 (ja) | 2012-12-13 |
Family
ID=42457840
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009154921A Expired - Fee Related JP4548542B1 (ja) | 2009-06-30 | 2009-06-30 | 情報処理装置、情報処理方法及びプログラム |
JP2011520477A Expired - Fee Related JP4831267B2 (ja) | 2009-06-30 | 2010-05-24 | 情報処理装置、情報処理方法、プログラム及び電子装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009154921A Expired - Fee Related JP4548542B1 (ja) | 2009-06-30 | 2009-06-30 | 情報処理装置、情報処理方法及びプログラム |
Country Status (7)
Country | Link |
---|---|
US (3) | US20110142349A1 (ja) |
EP (2) | EP2384485A1 (ja) |
JP (2) | JP4548542B1 (ja) |
KR (2) | KR20120031309A (ja) |
CN (1) | CN102138148B (ja) |
TW (1) | TW201112168A (ja) |
WO (2) | WO2011001593A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4910923B2 (ja) * | 2007-07-20 | 2012-04-04 | ソニー株式会社 | 撮像装置、撮像方法及び撮像プログラム |
JP2011039812A (ja) * | 2009-08-12 | 2011-02-24 | Sony Corp | 画像処理装置及び電子機器 |
US9754155B2 (en) * | 2009-12-18 | 2017-09-05 | Tandent Vision Science, Inc. | Method and system for generating intrinsic images using a single reflectance technique |
WO2011150386A1 (en) * | 2010-05-28 | 2011-12-01 | Qualcomm Incorporated | Dataset creation for tracking targets with dynamically changing portions |
JP2012063824A (ja) * | 2010-09-14 | 2012-03-29 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
EP2512121B1 (en) * | 2011-04-13 | 2013-06-05 | Axis AB | Illumination device |
JP2013084228A (ja) * | 2011-10-12 | 2013-05-09 | Sony Corp | 情報処理装置、情報処理方法、プログラム、及び電子機器 |
JP2013164834A (ja) | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
TWI479430B (zh) * | 2012-10-08 | 2015-04-01 | Pixart Imaging Inc | 以自然影像進行的手勢辨識方法 |
CN103777741B (zh) * | 2012-10-19 | 2017-08-01 | 原相科技股份有限公司 | 基于物件追踪的手势辨识方法及*** |
US9405376B2 (en) * | 2012-12-10 | 2016-08-02 | Invisage Technologies, Inc. | Sensors and systems for the capture of scenes and events in space and time |
JP5971108B2 (ja) | 2012-12-18 | 2016-08-17 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN103268499B (zh) * | 2013-01-23 | 2016-06-29 | 北京交通大学 | 基于多光谱成像的人体皮肤检测方法 |
US20140240477A1 (en) * | 2013-02-26 | 2014-08-28 | Qualcomm Incorporated | Multi-spectral imaging system for shadow detection and attenuation |
JP5782061B2 (ja) * | 2013-03-11 | 2015-09-24 | レノボ・シンガポール・プライベート・リミテッド | 移動物体の動作を認識する方法および携帯式コンピュータ |
KR20160117479A (ko) * | 2014-02-10 | 2016-10-10 | 애플 인크. | 광학 센서를 사용해 검출된 모션 제스처 입력 |
US10097780B2 (en) | 2014-06-05 | 2018-10-09 | Invisage Technologies, Inc. | Sensors and systems for the capture of scenes and events in space and time |
US9692968B2 (en) | 2014-07-31 | 2017-06-27 | Invisage Technologies, Inc. | Multi-mode power-efficient light and gesture sensing in image sensors |
US10736517B2 (en) * | 2014-10-09 | 2020-08-11 | Panasonic Intellectual Property Management Co., Ltd. | Non-contact blood-pressure measuring device and non-contact blood-pressure measuring method |
WO2016185916A1 (ja) * | 2015-05-20 | 2016-11-24 | コニカミノルタ株式会社 | ウェアラブル電子機器、ウェアラブル電子機器のジェスチャー検知方法およびウェアラブル電子機器のジェスチャー検知プログラム |
US10354383B2 (en) * | 2016-12-30 | 2019-07-16 | Skinio, Llc | Skin abnormality monitoring systems and methods |
JP6501806B2 (ja) | 2017-01-05 | 2019-04-17 | キヤノン株式会社 | 情報処理装置、操作検出方法、及びコンピュータプログラム |
CN107506687B (zh) * | 2017-07-17 | 2020-01-21 | Oppo广东移动通信有限公司 | 活体检测方法及相关产品 |
JP2019032395A (ja) * | 2017-08-07 | 2019-02-28 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
CN108416333B (zh) * | 2018-03-30 | 2020-01-17 | 百度在线网络技术(北京)有限公司 | 图像处理的方法和装置 |
CN109124587A (zh) * | 2018-08-14 | 2019-01-04 | 上海常仁信息科技有限公司 | 一种基于机器人的皮肤检测***和方法 |
CN109145803B (zh) * | 2018-08-14 | 2022-07-22 | 京东方科技集团股份有限公司 | 手势识别方法及装置、电子设备、计算机可读存储介质 |
CN113614487A (zh) * | 2019-03-26 | 2021-11-05 | 索尼集团公司 | 图像处理装置、图像处理方法和图像处理程序 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10150572A (ja) * | 1996-09-18 | 1998-06-02 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 |
JP2003216955A (ja) * | 2002-01-23 | 2003-07-31 | Sharp Corp | ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体 |
JP2003248829A (ja) * | 2002-02-26 | 2003-09-05 | Univ Chuo | 周期性を有する動きの検出方法および装置 |
JP2005250708A (ja) * | 2004-03-03 | 2005-09-15 | Nippon Telegr & Teleph Corp <Ntt> | 道具動作認識装置および道具動作認識方法 |
JP2006242909A (ja) * | 2005-03-07 | 2006-09-14 | Toyota Central Res & Dev Lab Inc | 対象物の部位判別装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5031049A (en) * | 1984-05-25 | 1991-07-09 | Canon Kabushiki Kaisha | Automatic object image follow-up device |
US5418574A (en) * | 1992-10-12 | 1995-05-23 | Matsushita Electric Industrial Co., Ltd. | Video signal correction apparatus which detects leading and trailing edges to define boundaries between colors and corrects for bleeding |
JPH06304142A (ja) * | 1993-04-22 | 1994-11-01 | Canon Inc | 視線検出装置 |
JP3267625B2 (ja) * | 1995-10-23 | 2002-03-18 | サイトメトリクス インコーポレイテッド | 反射画像分析の方法および装置 |
US5771033A (en) * | 1996-05-24 | 1998-06-23 | Microsoft Corporation | Method and system for dissolving an image displayed on a computer screen |
US6292576B1 (en) * | 2000-02-29 | 2001-09-18 | Digital Persona, Inc. | Method and apparatus for distinguishing a human finger from a reproduction of a fingerprint |
EP2328111B1 (en) * | 2002-05-09 | 2018-12-12 | Sony Corporation | Blood vessel authentication |
CA2563459A1 (en) * | 2003-04-18 | 2004-11-04 | Medispectra, Inc. | Systems for identifying, displaying, marking, and treating suspect regions of tissue |
JP4479194B2 (ja) * | 2003-08-29 | 2010-06-09 | 富士ゼロックス株式会社 | 動作識別装置、及び対象物の姿勢識別装置 |
US7379562B2 (en) * | 2004-03-31 | 2008-05-27 | Microsoft Corporation | Determining connectedness and offset of 3D objects relative to an interactive surface |
US7427981B2 (en) * | 2004-04-15 | 2008-09-23 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Optical device that measures distance between the device and a surface |
JP4537143B2 (ja) * | 2004-07-30 | 2010-09-01 | キヤノン株式会社 | 画像処理装置及びその方法、撮像装置、プログラム |
US7469060B2 (en) * | 2004-11-12 | 2008-12-23 | Honeywell International Inc. | Infrared face detection and recognition system |
US20070140553A1 (en) * | 2005-12-19 | 2007-06-21 | Olympus Corporation | Dental colorimetry apparatus |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
JP2008182360A (ja) * | 2007-01-23 | 2008-08-07 | Funai Electric Co Ltd | 皮膚領域検出撮像装置 |
US20080304736A1 (en) * | 2007-02-20 | 2008-12-11 | Masahiro Nakagawa | Method of estimating a visual evaluation value of skin beauty |
JP4853414B2 (ja) * | 2007-07-18 | 2012-01-11 | ソニー株式会社 | 撮像装置、画像処理装置およびプログラム |
JP5156365B2 (ja) | 2007-12-27 | 2013-03-06 | ライオン株式会社 | プラスチックボトル |
US8174611B2 (en) * | 2009-03-26 | 2012-05-08 | Texas Instruments Incorporated | Digital image segmentation using flash |
-
2009
- 2009-06-30 JP JP2009154921A patent/JP4548542B1/ja not_active Expired - Fee Related
-
2010
- 2010-05-21 WO PCT/JP2010/003427 patent/WO2011001593A1/en active Application Filing
- 2010-05-21 KR KR1020127004619A patent/KR20120031309A/ko not_active Application Discontinuation
- 2010-05-21 US US13/058,948 patent/US20110142349A1/en not_active Abandoned
- 2010-05-21 EP EP10727145A patent/EP2384485A1/en not_active Ceased
- 2010-05-21 CN CN2010800024260A patent/CN102138148B/zh not_active Expired - Fee Related
- 2010-05-24 KR KR1020117004443A patent/KR20120039498A/ko not_active Application Discontinuation
- 2010-05-24 WO PCT/JP2010/058773 patent/WO2011001761A1/ja active Application Filing
- 2010-05-24 TW TW099116526A patent/TW201112168A/zh unknown
- 2010-05-24 EP EP10793932A patent/EP2378759A4/en not_active Ceased
- 2010-05-24 US US13/059,422 patent/US8107706B2/en not_active Expired - Fee Related
- 2010-05-24 JP JP2011520477A patent/JP4831267B2/ja not_active Expired - Fee Related
-
2011
- 2011-04-18 US US13/089,047 patent/US8285054B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10150572A (ja) * | 1996-09-18 | 1998-06-02 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 |
JP2003216955A (ja) * | 2002-01-23 | 2003-07-31 | Sharp Corp | ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体 |
JP2003248829A (ja) * | 2002-02-26 | 2003-09-05 | Univ Chuo | 周期性を有する動きの検出方法および装置 |
JP2005250708A (ja) * | 2004-03-03 | 2005-09-15 | Nippon Telegr & Teleph Corp <Ntt> | 道具動作認識装置および道具動作認識方法 |
JP2006242909A (ja) * | 2005-03-07 | 2006-09-14 | Toyota Central Res & Dev Lab Inc | 対象物の部位判別装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20120039498A (ko) | 2012-04-25 |
EP2378759A1 (en) | 2011-10-19 |
CN102138148B (zh) | 2013-07-24 |
US20110216941A1 (en) | 2011-09-08 |
EP2384485A1 (en) | 2011-11-09 |
JPWO2011001761A1 (ja) | 2012-12-13 |
US20110142349A1 (en) | 2011-06-16 |
KR20120031309A (ko) | 2012-04-02 |
US20110194774A1 (en) | 2011-08-11 |
US8285054B2 (en) | 2012-10-09 |
JP2014064047A (ja) | 2014-04-10 |
CN102138148A (zh) | 2011-07-27 |
EP2378759A4 (en) | 2012-11-07 |
JP4548542B1 (ja) | 2010-09-22 |
WO2011001761A1 (ja) | 2011-01-06 |
WO2011001593A1 (en) | 2011-01-06 |
TW201112168A (en) | 2011-04-01 |
US8107706B2 (en) | 2012-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4831267B2 (ja) | 情報処理装置、情報処理方法、プログラム及び電子装置 | |
US10699155B2 (en) | Enhanced contrast for object detection and characterization by optical imaging based on differences between images | |
JP6847124B2 (ja) | ミラーコンポーネント用の適応照明システム、及び適応照明システムを制御する方法 | |
JP4831259B1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
JP5800175B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び電子機器 | |
US20110298909A1 (en) | Image processing apparatus, image processing method, program and electronic apparatus | |
WO2011062102A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び電子機器 | |
JP5879562B2 (ja) | カメラ付きミラー装置、ミラー付き什器 | |
US10936900B2 (en) | Color identification using infrared imaging | |
US8805006B2 (en) | Information processing device configured to detect a subject from an image and extract a feature point from the subject, information processing method, program and electronic apparatus | |
JP5573209B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び電子機器 | |
US9684828B2 (en) | Electronic device and eye region detection method in electronic device | |
JP5287792B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN114463793A (zh) | 摄影装置、认证装置及生物体摄影方法 | |
KR101146017B1 (ko) | 정보 처리 장치 및 정보 처리 방법 | |
JPWO2019077863A1 (ja) | 識別装置及び電子機器 | |
WO2020240989A1 (ja) | 撮像装置、撮像制御方法および撮像制御プログラム | |
JP2011158447A (ja) | 画像処理装置、画像処理方法、プログラム、及び電子機器 | |
JP2011118465A (ja) | 位置検出装置、撮像装置、位置検出方法、位置検出プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110905 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140930 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |