JP5545481B2

JP5545481B2 - 画像処理装置、画像処理方法、および電子装置

Info

Publication number: JP5545481B2
Application number: JP2010158867A
Authority: JP
Inventors: 武俊関根
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-01-29
Filing date: 2010-07-13
Publication date: 2014-07-09
Anticipated expiration: 2030-07-13
Also published as: US20120307034A1; JP2011176789A; CN102713567A; TW201202681A; WO2011093034A1

Description

本発明は、画像処理装置、画像処理方法、および電子装置に関し、特に、撮影した画像に基づいて、例えば人の手等の肌が露出している部分を検出できるようにした画像処理装置、画像処理方法、および電子装置に関する。

従来、人物を撮像して得られる撮像画像上から、顔や手などのように肌が露出している領域（以下、肌領域と称する）を検出する肌検出技術が存在する（例えば、特許文献１参照）。

この肌検出技術では、波長λ１の光を出力するLED(light emitting diode)によって照射された状態の被写体（人物）を撮像した第１の画像と、波長λ１とは異なる波長λ２の光を出力するLEDによって照射された状態の被写体を撮像した第２の画像とを取得する。そして、第１の画像と第２の画像との輝度の差分が所定に閾値よりも大きな領域を肌領域として検出する。

なお、波長λ１，λ２は、人間の肌の反射特性に依存して決定される。すなわち、人の肌に照射したときの反射率が異なり、かつ、人の肌以外（例えば、髪の毛、衣服など）に照射したときの反射率がほぼ等しいものに決定されている。具体的には、例えば、波長λ１は870nm、波長λ２は950nmとされている。

上述したように、肌検出技術では、波長λ１が照射された状態の第１の画像と、波長λ２が照射された状態の第２の画像との差分を算出するので、照射光源であるLED以外の外光の影響によって第１および第２の画像の画素値が飽和してしまうと不都合である。そこで、従来、外光が第１および第２の画像に影響しないように外光の入射を制限しつつ、波長λ１，λ２の光を透過させる光学フィルタを、集光レンズや撮像素子などからなる撮像部の前面に設けるようになされている。

この光学フィルタの分光特性は、LEDの波長λ１，λ２に依存して変更する必要があり、光学フィルタの分光特性が変更されれば、第１および第２の画像にも影響が及ぶこととなって両画像の輝度にも変化が生じることになる。仮に第１および第２の画像の輝度が小さくなれば、撮像部による輝度増幅のゲインを上げることができ、輝度増幅のゲインを上げることができれば、LEDの光量を下げることができる。

特開２００６−４７０６７号公報

上述したように、光学フィルタの分光特性は、LEDの波長λ１，λ２、輝度増幅のゲイン、LEDの光量などと相互に関連しており、光学フィルタの最適な分光特性を一意に決定することは困難である。

実際、従来の肌検出技術において、光学フィルタを設けることは提案されているものの単に、可視光をカットすること、波長λ１，λ２の光を透過させることなどが記載されているに過ぎず、光学フィルタの最適な分光特性については言及されていない。

本発明はこのような状況に鑑みてなされたものであり、異なる複数の波長の光を用いた肌検出技術において、外光の撮像部への入射を抑制する光学フィルタの最適な分光特性と照射光の最適な波長λ１，λ２を提案するとともに、当該光学フィルタおよび照射光源を備えることにより、照射光源の出力を抑制できるようにするものである。

本発明の第１の側面である画像処理装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置において、第１の波長の光を被写体に照射する第１の照射手段と、第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、前記第１の波長よりも短波長の第３の波長を基準として、前記第３の波長よりも短波長側の光を吸収し、前記第３の波長よりも長波長側の光を透過する入射制限手段と、前記第１の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、前記第１および第２の画像に基づいて前記肌領域を検出する検出手段とを含み、前記第１の波長λ１、前記第２の波長λ２、および前記第３の波長λcutは次式の関係を満たす。
λ１−７０nm≦λcut≦λ１−３０nm
λ１＋４０nm＜λ２

前記第１の波長λ１、および前記第２の波長λ２は次式の関係を満たすようにすることができる。
８００nm＜λ１＜１０００nm
９００nm＜λ２＜１１００nm

本発明の第１の側面である画像処理方法は、第１の波長の光を被写体に照射する第１の照射手段と、第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、前記第１の波長よりも短波長の第３の波長を基準として、前記第３の波長よりも短波長側の光を吸収し、前記第３の波長よりも長波長側の光を透過する入射制限手段と、入射される前記被写体からの反射光に基づいて画像を生成する生成手段と、生成された前記画像に基づいて肌領域を検出する検出手段とを備える画像処理装置の画像処理方法において、前記第１の照射手段による、第１の波長の光を被写体に照射する第１の照射ステップと、前記生成手段による、前記第１の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第１の画像を生成する第１の生成ステップと、前記第２の照射手段による、第２の波長の光を被写体に照射する第２の照射ステップと、前記生成手段による、前記第２の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第２の画像を生成する第２の生成ステップと、前記検出手段による、前記第１および第２の画像に基づいて前記肌領域を検出する検出ステップとを含み、前記第１の波長λ１、前記第２の波長λ２、および前記第３の波長λcutは次式の関係を満たす。
λ１−７０nm≦λcut≦λ１−３０nm
λ１＋４０nm＜λ２

本発明の第１の側面においては、第１の波長の光が被写体に照射されているときに入射制限手段を介して入射される被写体からの反射光に基づいて第１の画像が生成され、第２の波長の光が被写体に照射されているときに入射制限手段を介して入射される被写体からの反射光に基づいて第２の画像が生成され、第１および第２の画像に基づいて肌領域が検出される。

本発明の第２の側面である電子装置は、第１の波長の光を被写体に照射する第１の照射手段と、第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、前記第１の波長よりも短波長の第３の波長を基準として、前記第３の波長よりも短波長側の光を吸収し、前記第３の波長よりも長波長側の光を透過する入射制限手段と、前記第１の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、前記第１および第２の画像に基づいて肌領域を検出する検出手段と、検出された肌領域の変化に応じて所定の処理を実行する動作制御手段とを含み、前記第１の波長λ１、前記第２の波長λ２、および前記第３の波長λcutは次式の関係を満たす。
λ１−７０nm≦λcut≦λ１−３０nm
λ１＋４０nm＜λ２

本発明の第２の側面においては、第１の波長の光が被写体に照射されているときに入射制限手段を介して入射される被写体からの反射光に基づいて第１の画像が生成され、第２の波長の光が被写体に照射されているときに入射制限手段を介して入射される被写体からの反射光に基づいて第２の画像が生成され、第１および第２の画像に基づいて肌領域が検出され、検出された肌領域の変化に応じて所定の処理が実行される。

本発明によれば、光学フィルタの分光特性、および照射光の波長を最適化することできる。また、本発明によれば、照射光源の出力を抑制することができる。

本発明を適用した検出装置の構成例を示すブロック図である。人の肌の反射特性を示す図である。撮像部の分光感度特性を示す図である。外光の分光特性を示す図である。波長λ１，λ２の各組み合わせに対する反射率差検出信号（相対値）Ｓを示す図である。波長λ１と吸収端波長λcutの各組み合わせに対する波長λ１の光の放射照度（相対値）Ｉ１の必要最小限の値を示す図である。使用環境温度を変動させたときの、波長λ１と吸収端波長λcutの各組み合わせに対する反射率差検出信号（相対値）Ｓの変動幅を示す図である。

以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜１．実施の形態＞
［検出装置の構成例］
図１は、本発明の一実施の形態である検出装置の構成例を示している。この検出装置１０は、撮像した画像から検出対象物２０となる人の肌領域（例えば、顔、手など）を検出するものである。また、光学フィルタの光学特性と、照射光の波長を最適化することにより、外光の影響を抑止するとともに、照射光源の光量を低減できるようにするものである。

検出装置１０は、制御部１１、LED制御部１２、LED１３−１および１３−２、光学フィルタ１４、撮像部１５、撮像制御部１６、並びに画像処理部１７から構成される。

制御部１１は、検出装置１０の各部の動作を統括して制御する。LED制御部１２は、制御部１１からの制御に従い、LED１３−１および１３−２の点灯タイミング、消灯タイミング、出力レベルを制御する。LED１３−１は、LED制御部１２の制御に従い、発光スペクトル半値半幅約50nm、発光スペクトルのピーク波長がλ１である光（以下、波長λ１の光と称する）を発光する。LED１３−２は、LED制御部１２の制御に従い、発光スペクトル半値半幅約50nm、発光スペクトルのピーク波長がλ２である光（以下、波長λ２の光と称する）を発光する。なお、詳細は後述するが、波長λ１の値は800nmから1000nm、波長λ１よりも長波長側の波長λ２の値は900nmから1100nmとされる。

光学フィルタ１４は、撮像部１５に入射する光を制限するよう撮像部１５の前面に設けられており、その光学特性として所定の波長（以下、吸収端波長λcutと称する）よりも短波長側の光を吸収し、吸収端波長λcutよりも長波長側の光を透過するようになされている。なお、吸収端波長λcutの値についても後で詳述する。

撮像部１５は、集光レンズと、CCD、CMOSなどの撮像素子とを内蔵しており、撮像制御部１６からの制御に従い、光学フィルタ１４を透過してきた光（被写体からの反射光）を受光して画像を生成する。なお、LED１３−１が波長λ１の光を発光しているときに生成される画像を第１の画像とし、LED１３−２が波長λ２の光を発光しているときに生成される画像を第２の画像とする。

撮像制御部１６は、制御部１１からの制御に従い、撮像部１５の撮像タイミング、輝度増幅のゲインなどを制御する。また、撮像制御部１６は、撮像部１５により生成された第１および第２の画像を画像処理部１７に出力する。

画像処理部１７は、第１の画像および第２の画像に基づいて、被写体の肌領域を検出する。

［検出装置の動作］
初めに、LED１３−１により波長λ１の光を被写体に照射する。この照射光は外光とともに被写体により反射され、光学フィルタ１４によって波長λcutよりも短波長が吸収された後に撮像部１５に入射される。撮像部１５は、入射された光を光電変換することにより第１の画像を生成する。

次に、LED１３−２により波長λ２の光を被写体に照射する。この照射光は外光とともに被写体により反射され、光学フィルタ１４を介して撮像部１５に入射される。撮像部１５は、入射された光を光電変換することにより第２の画像を生成する。生成された第１の画像および第２の画像は画像処理部１７に供給される。

画像処理部１７は、第１の画像と第２の画像との対応する画素の輝度Ｙ１，Ｙ２の差分である反射率差検出信号Ｓ＝Ｙ１−Ｙ２を算出し、反射率差検出信号Ｓを所定の閾値と比較することにより２値化し、２値の一方の領域を肌領域として検出する。

［光学フィルタの光学特性（吸収端波長λcut）、並びにLEDの波長λ１およびλ２の最適化］

初めに、光学フィルタの光学特性（吸収端波長λcut）、並びにLEDの波長λ１およびλ２を最適化するに際しての想定を示す。

図２は、検出対象物２０となる人の肌領域に対して想定されている反射特性を示している。同図に示すように、人の肌領域は波長960nm付近に極小値が存在することが知られている。

図３は、撮像部１５に内蔵された撮像素子に対して推定される分光感度特性を示している。図４は、光学フィルタに入射し得る外光の分光特性を示している。

上述したように、第１の画像と第２の画像の対応する画素の輝度をＹ１，Ｙ２とした場合、反射率差検出信号ＳはＳ＝Ｙ１−Ｙ２であり、肌領域における波長λ１の光に対する反射率は、波長λ２の光に対する反射率よりも大きいので、反射率差分信号Ｓは正の値となる。ただし、反射率差検出信号Ｓは、画像処理部１７において発生し得るノイズよりも対してある程度大きい必要があるので、第１の画像と第２の画像の対応する画素の輝度Ｙ１，Ｙ２もある程度の大きさが必要となる。

LED１３−１およびLED１３−２による被写体上における放射照度をそれぞれＩ１，Ｉ２とすると、上述したように第１の画像と第２の画像の対応する画素の輝度Ｙ１，Ｙ２もある程度の大きさを得るためには、放射照度Ｉ１，Ｉ２も所定以上の値が必要である。

また、第１の画像と第２の画像の対応する画素の輝度Ｙ１，Ｙ２は、撮像部１５における輝度増幅のゲインにも比例し、波長λ１，λ２にも依存する。

撮像部１５における輝度増幅のゲインは、外光下で被写体を撮像した場合に白とび（輝度の飽和）が発生しないように設定される必要があり、これは光学フィルタ１４の光学特性（吸収端波長λcut）に依存してその上限が決められる。

このようにして、LED１３−１の波長λ１、LED１３−２の波長λ２、光学フィルタ１４の吸収端波長λcutから、LED１３−１の放射照度Ｉ１、LED１３−２の放射照度Ｉ２の必要最小限の値と反射率差検出信号Ｓが決められる。

さらに、LED１３−１の波長λ１、LED１３−２の波長λ２は、所定の分布特性を有し、かつ、使用環境温度の変動による変動幅を有することを配慮すると、これらの最適値は次の条件式（１）のように定義することができる。
λ１＋４０≦λ２
λ１−７０≦λcut≦λ１−３０
（１）

上記した関係を満たすように波長λ１，λ２、吸収端波長λcutを選択することにより、反射率差検出信号Ｓをノイズよりも大きな値に保つことができ、LED１３−１，１３−２の放射照度Ｉ１，Ｉ２を必要最小限に保つことができる。

図５は、図２乃至図４に示された想定の下で、吸収端波長λcutを800nmに固定した状態で、波長λ１，λ２の組み合わせを変化させたときの反射率差検出信号（相対値）Ｓを示している。この反射率差検出信号（相対値）Ｓは大きいことが望ましい（具体的には５以上であることが望ましい）。

図６は、図２乃至図４に示された想定の下で、波長λ２を940nmまたは970nmとした状態で、波長λ１と吸収端波長λcutの組み合わせを変化させたときの、LED１３−１による波長λ１の光の放射照度（相対値）Ｉ１の必要最小限の値を示している。なお、LED１３−２による波長λ２の光の放射照度（相対値）Ｉ２の必要最小限の値については、放射照度（相対値）Ｉ１と相関があるので、その値の記載は省略する。この放射照度（相対値）Ｉ１の必要最小限の値は小さいことが望ましい（具体的には、２よりも小さいことが望ましい）。

図７Ａは、図２乃至図４に示された想定の下で、波長λ２を940nmに固定した状態で、使用環境温度を０℃から７５℃まで変動させたときの、波長λ１と吸収端波長λcutの様々な組み合わせに対する反射率差検出信号（相対値）Ｓの変動幅（室温における反射率差検出信号（相対値）Ｓに対する百分率）を示している。この値は小さいことが望ましい（具体的には、２００％よりも小さいことが望ましい）。

同様に、図７Ｂは、図２乃至図４に示された想定の下で、波長λ２を970nmに固定した状態で、使用環境温度を０℃から７５℃）まで変動させたときの、波長λ１と吸収端波長λcutの様々な組み合わせに対する反射率差検出信号（相対値）Ｓの変動幅（室温２５℃における反射率差検出信号（相対値）Ｓに対する百分率）を示している。この値は小さいことが望ましい（具体的には、２００％よりも小さいことが望ましい）。

なお、図５乃至図７に示された結果については、望ましいものについては星印＊を付し、望ましくないもの（図５乃至図７の３種類の評価指標のうち、ひとつでも望ましくない結果となるもの）についてはバツ印(x)を付して示している。

図５乃至図７の結果から明らかなように、図５乃至図７において望ましいものとして星印＊が付けられた組み合わせは全て上述した条件式（１）を満たしている。反対に、図５乃至図７において望ましくないものとしてバツ印(x)が付けられた組み合わせで条件式（１）を満たしているものはない。

したがって、上述した条件式（１）は、図５乃至図７に示された３種類の評価指標が望ましい結果を示すための必要十分条件にほぼ等しいとみなすことができる。

なお、人の肌の反射特性は若干の個体差があり、外光の分光特性についてもその環境に応じて図２または図４に示されたものと異なる場合がある。しかしながら、そのような場合においても、上述した条件式（１）が、図５乃至図７に示された３種類の評価指標が望ましい結果を示すための必要十分条件となることを確認済みである。

以上説明したように、条件式（１）を満たすように、LED１３−１の波長λ１、LED１３−２の波長λ２、および光学フィルタ１４の吸収端波長λcutを設定することにより、LED１３−１，１３−２の放射照度を必要最小限まで低減することができる。

ところで、一般的な光学フィルタは、通常、基板上に薄膜構造を形成したものや、光を吸収する素材を混合して作成された樹脂板などが用いられるが、本実施の形態に用いられる光学フィルタ１４の構造や素材については、これらに限定されるものではない。すなわち、上述した要件を満たすように一定の波長域の光を遮断する機能を有していれさえすればよい。

例えば、撮像部１５に含まれるレンズ等の光学部品の表面上に、薄膜として光学フィルタ１４を形成するようにしてもよい。また例えば、被写体から撮像部１５に至る経路中にミラーを含む場合には、当該ミラー上に薄膜として光学フィルタ１４を形成してもよい。

さらに、光学フィルタ１４は、カメラユニットとしての撮像部１５に内包されていてもよく、反対にカメラユニットと分離していてもよい。

光学フィルタ１４が有するべき一定の波長域を遮断する機能は、複数の材料を薄膜上に積層するように形成して、ある波長域の光を反射または吸収することで実現されるが、他の方法を用いてもよい。例えば、ある波長域の光を吸収する素材を混合した樹脂を用いてもよい。または、撮像素子の分光感度が、光学フィルタ１４でカットされる波長域において低い傾向を持つように撮像素子を選択してもよい。さらに、これらの手段を複数組み合わせてもよい。

本発明を適用した検出装置は、例えば、テレビジョン受像機などの任意の電子装置に内蔵させることができる。当該電子装置においては、検出された被写体の手などの動きに応じ、所定の処理を実行するようにすることができる。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０検出装置，１１制御部，１２ LED制御部，１３ LED，１４光学フィルタ，１５撮像部，１６撮像制御部，１７画像処理部

Claims

画像上から人間の肌を表す肌領域を検出する画像処理装置において、
第１の波長の光を被写体に照射する第１の照射手段と、
第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、
前記第１の波長よりも短波長の第３の波長を基準として、前記第３の波長よりも短波長側の光を吸収し、前記第３の波長よりも長波長側の光を透過する入射制限手段と、
前記第１の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、
前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
を含み、
前記第１の波長λ１、前記第２の波長λ２、および前記第３の波長λcutは次式の関係を満たす
λ１−７０nm≦λcut≦λ１−３０nm
λ１＋４０nm＜λ２
画像処理装置。
前記第１の波長λ１、および前記第２の波長λ２は次式の関係を満たす
８００nm＜λ１＜１０００nm
９００nm＜λ２＜１１００nm
請求項１に記載の画像処理装置。
第１の波長の光を被写体に照射する第１の照射手段と、
第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、
前記第１の波長よりも短波長の第３の波長を基準として、前記第３の波長よりも短波長側の光を吸収し、前記第３の波長よりも長波長側の光を透過する入射制限手段と、
入射される前記被写体からの反射光に基づいて画像を生成する生成手段と、
生成された前記画像に基づいて肌領域を検出する検出手段と
を備える画像処理装置の画像処理方法において、
前記第１の照射手段による、第１の波長の光を被写体に照射する第１の照射ステップと、
前記生成手段による、前記第１の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第１の画像を生成する第１の生成ステップと、
前記第２の照射手段による、第２の波長の光を被写体に照射する第２の照射ステップと、
前記生成手段による、前記第２の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第２の画像を生成する第２の生成ステップと、
前記検出手段による、前記第１および第２の画像に基づいて前記肌領域を検出する検出ステップと
を含み、
前記第１の波長λ１、前記第２の波長λ２、および前記第３の波長λcutは次式の関係を満たす
λ１−７０nm≦λcut≦λ１−３０nm
λ１＋４０nm＜λ２
画像処理方法。
第１の波長の光を被写体に照射する第１の照射手段と、
第１の波長よりも長波長の第２の光を前記被写体に照射する第２の照射手段と、
前記第１の波長よりも短波長の第３の波長を基準として、前記第３の波長よりも短波長側の光を吸収し、前記第３の波長よりも長波長側の光を透過する入射制限手段と、
前記第１の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに前記入射制限手段を介して入射される前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、
前記第１および第２の画像に基づいて肌領域を検出する検出手段と、
検出された肌領域の変化に応じて所定の処理を実行する動作制御手段と
を含み、
前記第１の波長λ１、前記第２の波長λ２、および前記第３の波長λcutは次式の関係を満たす
λ１−７０nm≦λcut≦λ１−３０nm
λ１＋４０nm＜λ２
電子装置。