JP2014067193A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】簡易な構成で画像の領域分割を行う。
【解決手段】画像処理装置において、パターン光を投影する投影手段と、パターン光が投影された被写体を撮像し撮像画像を取得する撮像手段と、撮像画像に対し、複数の部分領域を設定する部分領域設定手段と、複数の部分領域において、パターン光の散乱の度合いを示す特徴量を算出する算出手段と、複数の部分領域の各々に対して算出手段で算出された特徴量に基づき、撮像画像を領域分割する領域分割手段と、を含む。
【選択図】図１

Description

本発明は、画像の領域分割技術に関するものである。

画像処理において、撮影した画像から所望の領域のみを抽出する領域分割技術の需要は大きい。例えば、ジェスチャ認識や姿勢推定、顔認識、手形状認識システムなど人物を検出対象とした画像認識技術において、特定の物性をもつ肌領域の検出は重要な技術である。そして、手や顔など普段露出している肌領域を検出することができれば、簡易に人体検出・姿勢推定などに活用できることが期待できる。

ところで、肌領域は、近赤外光波長域の光に対して、内部散乱係数が高く、吸収度も高いため、物性値として領域分割する方法が採用されている。入力画像の色成分（ＲＧＢなど）を使わずに、物性値で抽出する手法（例えば、特許文献１）は、人種によるあるいは日焼けによる肌色の特性などと無関係なため、キャリブレーションが不要な利点がある。

また、画像から肌領域（例えば”手”の領域）を抽出し領域分割する方法として、異なる複数の波長による撮像画像の差分利用する方法や偏光フィルタを用いた画像を利用する方法が知られている。例えば、特許文献１では、２波長の吸収特性の異なる赤外線光源の吸光度の差を用いて肌領域を検出する方法が、特許文献２では、可視光・赤外光画像間の差分を用いて肌領域を検出する方法が提案されている。また、特許文献３では、偏光フィルタからの画像を用いた手法が提案されている。

特開２００９−３１００４号公報 特開２００４−２０７９５３号公報 特開２００５−３４３５５号公報

しかしながら、これらの以上説明した技術では次に示すような問題点があった。すなわち、物性に起因する光学特性の違いを利用するために複数の波長の情報を用いる方法では、複数波長の光源または可視光（ＲＧＢ）＋赤外光（ＩＲ）など複数の撮影装置が必要となり、装置が大型化・高消費電力化することになる。特に距離画像を撮像する装置（米マイクロソフト社のＫｉｎｅｃｔ（登録商標）など）と併用する場合、従来搭載する装置に加えて皮膚領域検出用の照明装置を設置する必要があり、電力消費や設置スペースなどの点で問題があった。

本発明は、上述の問題点に鑑みなされたものであり、簡易な構成で、画像の領域分割を行う技術を提供することを目的としている。

上述の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。すなわち、画像処理装置において、パターン光を投影する投影手段と、前記パターン光が投影された被写体を撮像し撮像画像を取得する撮像手段と、前記撮像画像に対し、複数の部分領域を設定する部分領域設定手段と、前記複数の部分領域において、前記パターン光の散乱の度合いを示す特徴量を算出する算出手段と、前記複数の部分領域の各々に対して前記算出手段で算出された特徴量に基づき、前記撮像画像を領域分割する領域分割手段と、を含む。

本発明によれば、簡易な構成で、画像の領域分割を行うことのできる技術を提供することができる。

第１実施形態に係る画像処理装置の機能構成を示す図である。 投影する投影パターンと撮像により得られる撮像画像の一例を示す図である。 第１実施形態における部分領域設定部の構成を示す図である。 内部散乱係数による撮像画像の差異を説明する図である。 Ｋｉｎｅｃｔ（登録商標）による撮像画像の例を示す図である。 第２実施形態における処理フローチャートである。 撮像画像及び図６の各ステップによる処理後の画像を例示的に示す図である。 第２実施形態の領域統合装置の機能構成を示す図である。 変形例におけるパターン・テンプレートの例を示す図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、パターン光を被写体に投影し、当該被写体を撮像して得られる撮像画像に対し領域分割処理を行う画像処理装置１００を例に挙げて以下に説明する。

＜装置構成＞
図１は、第１実施形態に係る画像処理装置１００の機能構成を示す図である。画像処理装置１００は、パターン光投影部１１０、撮像部１２０、部分領域設定部１３０、内部散乱量評価部１４０、領域分割部１５０、および距離計測部１６０を含む。

パターン光投影部１１０は、距離計測を行うために必要なパターンを投影する。図２は、投影する投影パターンと撮像により得られる撮像画像の一例を示す図である。以下の説明では、図２に示す投影パターン１１１をプロジェクタで投影する場合を想定する。なお、図２に示す投影パターンについては特開２０１１−１８５８７２号公報に詳述されている。なお、投影パターンは投影パターン１１１に限定されるものではなく、部分領域内に非投影領域と投影領域が存在するために十分な空間周波数を有するパターンであれば矩形、円形、点などを利用する様々なパターンが利用可能である。

なお、投影パターンの投影に使用するプロジェクタは、被写体１８０までの距離に依存せずパターンのフォーカスが合うレーザプロジェクタが望ましい。もちろん、非レーザのプロジェクタであっても距離計測部１６０からの距離画像１６１を元にして距離に応じて光学系を補正するよう構成してもよい。

撮像部１２０は、パターン光投影部１１０より投影され、被写体１８０にあたって反射したパターン光を撮像画像１２１として取得する。ここでは、可視光のパターン光を用いることを想定するが、後述するように赤外光のパターン光を利用することも出来る。赤外光を利用した場合、人間には不可視の投影パターン１１１および撮像画像１２１を使用できることになる。撮像画像１２１には、投影パターン１１１が被写体１８０に当たり反射した被写体画像１８１が含まれる。

距離計測部１６０は、撮像画像１２１（被写体１８０によって歪曲された投影パターン１１１）に対し、画素単位で距離推定を行い、その後、距離画像１６１として出力する。なお、ここでは、距離計測部１６０は、歪曲された投影パターン１１１を示す各画素に対し、例えば三角測量の原理に基づき撮像部１２０から被写体までの距離を推定することを想定する。ただし、パターン光投影部１１０から被写体までの距離を推定する構成としても良い。

部分領域設定部１３０は、撮像により得られた撮像画像１２１から処理対象とする部分領域（注目領域）を設定し抽出する。より具体的には、投影パターン１１１の投影領域と非投影領域との双方が含まれるように部分領域を設定する。部分領域設定部１３０による部分領域の設定の詳細については、図３を参照して後述する。

例えば、撮像画像１２１において、部分領域２０１や部分領域２０２が設定され抽出される。ここで、部分領域２０１は内部散乱係数の低い領域を示し、部分領域２０２は内部散乱係数の高い領域を示す。なお、部分領域２０２は被写体画像１８１（被写体１８０に投影され反射したパターン光）の領域に対応する。

内部散乱量評価部１４０は、部分領域設定部１３０により抽出された部分領域に対し、内部散乱量評価値を導出する。特に、以下の説明では、内部散乱量評価部１４０は、各部分領域に対して内部散乱量評価値１４１を算出し内部散乱評価画像として生成し出力するものとして説明する。

＜部分領域の設定＞
パターン光投影部１１０が、並行投影可能なパターン投影装置である場合は、撮像画像１２１における投影パターンの空間周波数（空間分解能）は、パターン光投影部１１０からの距離に関わらず一定の空間周波数（空間分解能）となる。そのため、部分領域をサイズ又は形状を固定的に設定しても良い。

しかしながら、パターン光投影部１１０が点光源のパターン投影装置である場合、撮像画像１２１における投影パターンの空間周波数（空間分解能）は、パターン光投影部１１０からの距離に応じて変化することになる。そこで、ここでは、投影パターンの空間周波数（空間分解能）を一定にすべく、パターン光投影部１１０からの距離に応じて、部分領域のサイズ又は形状を変更する例について説明する。

図３は、第１実施形態における部分領域設定部の構成を示す図である。ここでは、部分領域設定部１３０は、距離計測部１６０にて計測した距離情報を用いて部分領域を設定する。

部分領域設定部１３０は、対象画素抽出部３１０、対象画素距離計測部３２０、部分領域サイズ設定部３３０、および部分領域形状設定部３４０を含む。

対象画素抽出部３１０は、注目画素座標３１１を決定する。ここでは、撮像画像１２１内の全画素を走査するため、反復（iteration）処理によって順次注目画素座標３１１を決定する。対象画素距離計測部３２０は、距離計測部１６０から供給される距離画像１６１に基づいて、指定された画素座標に対応する距離情報を取得する。例えば、注目画素座標３１１が指定された場合、注目画素に対応する距離情報３２１を取得する。

部分領域サイズ設定部３３０は、距離情報３２１に応じて領域サイズ３３１を設定する。詳細については後述するが、例えば、部分領域内に投影パターン１１１の投影領域と非投影領域との双方が含まれるような矩形形状の領域サイズ３３１が設定される。

部分領域形状設定部３４０は、矩形形状の領域サイズ３３１の一部をマスクし部分領域１３１を設定する。例えば、矩形形状の領域サイズ３３１に含まれている画素のうち、注目画素に対応する距離と大きく異なる距離を有する画素をマスクすることで、部分領域１３１を設定する。

＜内部散乱量の評価に基づく領域分割＞
第１実施形態においては、内部散乱量評価部１４０（算出手段）は、内部散乱量の評価値を、対象画素の周辺領域内の輝度分布のばらつき具合により算出する。

図４は、内部散乱係数による撮像画像の差異を説明する図である。部分領域２０１は、内部散乱が小さい物体の部分領域を例示的に示している、部分領域２０１においては、被写体１８０に投影された投影パターン光は物体表面で反射する。そのため、部分領域２０１においては、投影パターン１１１が投影されていない領域の画素値（輝度値）の変化はほぼ０となる。

一方、部分領域２０２は、内部散乱が大きい物体の部分領域を例示的に示している。部分領域２０２においては、被写体１８０に投影された投影パターン光の一部は物体の内部に入り込む。そのため、部分領域２０２においては、輝度の最大値は減少する。さらに、物体の内部入り込んだ光は、内部散乱により一部が表面に戻ってくる。そのため、部分領域２０２においては、投影パターン１１１が投影されていない領域の画素値（輝度値）は上昇する。つまり、部分領域２０２内の輝度値の空間的ばらつき（標準偏差や分散）が大きくなる。

ここでは その値を評価するために部分領域内の輝度値の相対的なばらつきの度合いを表す変動係数ＣＶを以下のように定義し、内部散乱量の評価値として用いる。

ＣＶ＝σ／μ
ここで、σは部分領域に含まれる複数の画素の輝度の標準偏差であり、μは部分領域に含まれる複数の画素の輝度の平均である。

つまり、同一距離であれば輝度値の総量がほぼ同じであるため、内部散乱が小さい物体の部分領域２０１の輝度値の平均と内部散乱が大きい物体の部分領域２０２の輝度値の平均はほぼ同じ値となることが期待される。そのため、平均μで除算することにより標準偏差σを正規化しているのである。また、パターン光が当たっている部分の輝度値の最大値（ＭＡＸ値）で除算し正規化するよう構成しても良い。もちろん、正規化は必須の処理では無く、内部散乱量の評価値として輝度値の標準偏差や分散をそのまま用いるよう構成しても良い。

なお、内部散乱量の評価値は、部分領域内の輝度値のばらつき（ボケ）の量を評価可能な物理量であれば他の指標を使用してもよい。例えば、投影パターン１１１の空間周波数が十分高い場合や、被写体１８０の内部散乱係数が十分大きい場合には、上述した内部散乱により非投影領域の輝度も有意に変化する。そこで、部分領域に含まれる画素の輝度値の最小値（ＭＩＮ値）を内部散乱量の評価値としても用いてもよい。

さらに、例えば、パターン光がレーザ光による点光源（スポット光源）の集合であった場合、ＭＡＸ値の存在する画素から所定距離だけ離れた画素の輝度値を内部散乱量の評価値として用いてもよい。例えば、ＭＡＸ値の存在する画素から所定距離だけ離れた画素までの画素値の変動軌跡や傾きα（図４）を内部散乱量の評価値としてもよい。

領域分割部１５０は、内部散乱量評価部１４０により導出された内部散乱量を特徴量ベクトルとして画像領域分割を行い、領域分割結果を示す分割領域情報１５１を出力する。領域分割の具体的手法としては、公知の任意の領域分割手法が利用可能である。例えば、Ｇｒａｐｈ−Ｃｕｔｓや平均値シフト法が利用可能である。なお、Ｇｒａｐｈ−Ｃｕｔｓについては”Y. Boykov, O. Veksler, R. Zabih, "Fast Approximate Energy Minimization via Graph Cuts", IEEE T. PAMI 23(11):1222-1239, 2001”に詳述されている。そして、平均値シフト法については”D. Comaniciu and P. Meer, "Mean shift analysis and applications", in IEEE Int' Conf. Comp. Vis, 1999, pp. 1197-1203”に詳述されている。

なお、領域分割を行うための特徴量ベクトルとして、上述の変動係数ＣＶに加え、内部散乱量評価部１４０にて算出したＭＡＸ値や平均値などの部分領域の代表値を利用することで、被写体１８０の特性（光の吸収特性など）をより好適に反映することが可能である。また、領域分割を行うための特徴量ベクトルとして、各画素の距離情報３２２を更に利用することで、距離に応じた領域分割を行うことも可能となる。

以上説明したとおり第１実施形態によれば、パターン光が投影された被写体１８０を撮像して得られる撮像画像１２１に関して、パターン光の内部散乱量を各部分領域に対して評価する。そして、各部分領域に対する内部散乱量の評価に基づいて領域分割を行うことにより、例えば、人物画像における皮膚（肌）露出領域（顔、手など）を好適に領域分割することが可能となる。

（第２実施形態）
第２実施形態では、投影パターン１１１として米マイクロソフト社の製品であるＫｉｎｅｃｔ（登録商標）などで使用されるレーザ点光源パターンを使用する例について説明する。なお、Ｋｉｎｅｃｔ（登録商標）のパターン光投影については、特開２０１１−１８５８７２号公報や”J. Garcia, Z. Zalevsky, P. Garcia-Martinez, C. Ferrieira, M. Teicher and Y. Beiderman, "Projection of speckle patterns for 3D sensing", Journal of Physics : Conference Series, Vol.139, No.1, pp.012026, 2008”に詳述されている。

図５は、Ｋｉｎｅｃｔ（登録商標）を用いて赤外線レーザ点パターンを投影し、赤外線領域に感度を持つカメラによって撮影した際に得られる撮像画像の一例を示す図である。

第１実施形態において説明したように、皮膚（肌）露出領域（顔、手など）は、内部散乱が比較的大きく、その他の領域（服など）は内部散乱が発生しないかあっても非常に小さい。そのため、図５においては、腕領域５１０は内部散乱が小さい領域となっており、腕領域５１０に投影された投影パターン１１１では内部散乱が発生せずパターンの当たっている部分と当たっていない部分のコントラストが大きい。一方、手の領域は皮膚が露出した領域であるため、パターン光の内部散乱が大きく、その結果、ぼやけて（にじんで）いることがわかる。

＜ＭＡＸ値画像と標準偏差画像とに基づく領域分割＞
図６は、第２実施形態における画像処理装置５００（領域分割部１５０）の処理フローチャートである。また、図７は、撮像画像６１０、及び、図６の各ステップによる処理後の画像を例示的に示す図である。

ステップＳ１では、パターン光投影部１１０により被写体（人物）に対して赤外線パターン光を投影し、撮像部１２０は撮像画像６１０を取得する。上述のように、第２実施形態においては赤外線レーザによる点パターン光を投影している。ただし、部分領域の範囲内に投影領域と非投影領域が存在していればどのようなパターンを用いても構わない。すなわち、第１実施形態のような線分パターンや、矩形や円などの領域パターンを用いることも可能である。

ステップＳ２では、部分領域設定部１３０は、画像処理に使用する畳込みカーネルのサイズを決定する。ここでは点群パターンを投影するため、距離に応じて３×３画素〜７×７画素など複数の矩形カーネルを設定する。第１実施形態と同様、点光源投影装置の場合、被写体までの距離が離れるに従って投影される複数の点間の距離が増大する（空間分解能が低下する）ため、カーネルのサイズを距離に応じて変更するとよい。ここでは、３ｍ程度の場合で５×５画素のカーネルサイズを設定する。

ステップＳ３では、内部散乱量評価部１４０は、ＭＡＸ値フィルタによって、Ｓ２で設定されたカーネル内の画素の最大輝度値を導出する。これにより、パターン光が当たっている領域の画像である最大輝度画像６２０が取得される。なお、被写体までの距離に応じて輝度は変化する。そのため、各画素に対する距離情報を用いて、画素毎に輝度値を正規化する処理を施してもよい。

ステップＳ４では、領域分割部１５０は、最大輝度画像６２０において、所定の輝度閾値（第１閾値）を超える輝度値を有する領域を、当該所定の輝度閾値による２値化処理によって分割する。なお、当該所定の輝度閾値を、各画素に対する距離情報を用いて画素ごとに適応的に変化させてもよい。

ステップＳ５では、領域分割部１５０は、Ｓ４で得られた２値化画像に対し穴埋め処理を行う。つまり、ここでは、投影パターンに点群を使用しており、観測される画像は一様な輝度分布にならない。そこで、例えば、ダイレーション（Dilation）処理とエロージョン（Erosion）処理を繰り返すことで孤立点除去や穴埋めを行う。なお、矩形カーネル内に常時パターン光が当たっている画素が存在していれば近傍の矩形カーネルもＭＡＸ値が代入されるため穴埋め処理と同等の効果を得ることが可能である。

なお、Ｓ３〜Ｓ５ではＭＡＸ値フィルタを使用するとして説明を行ったが、代わりに距離情報を用いるよう構成しても良い。更に、距離画像に対して背景差分処理やフレーム間差分処理を施して被写体（人体）領域を抽出し、閾値によって２値化した領域情報を２値化最大輝度画像６３０の代わりに使用してもよい。

ステップＳ６では、内部散乱量評価部１４０は、標準偏差フィルタによって、Ｓ２で設定されたカーネル内の画素の輝度値の標準偏差を導出する。なお、第１実施形態と同様の変動係数ＣＶを導出するよう構成しても良い。

第１実施形態でも説明したように、矩形カーネル内に投影領域と非投影領域が存在する場合、内部散乱が小さい物体では矩形カーネル内の輝度値の標準偏差σは小さくなる。一方、内部散乱が大きい物体では、パターン光の当たらない領域にも輝度が発生するためにカーネル内の輝度値の標準偏差は増大する。そのため、標準偏差画像６４０における手領域６４１は腕領域とほぼ同一距離に存在しているにも関わらず内部散乱係数が異なるために標準偏差の値が異なる。対して最大輝度画像６２０における手領域６２１は腕領域と比較してほぼ同等の輝度値となっている。

ステップＳ７では、領域分割部１５０は、標準偏差画像６４０において、所定の標準偏差閾値（第２閾値）を超える標準偏差を有する領域を、当該所定の標準偏差閾値による２値化処理によって分割する。なお、当該所定の標準偏差閾値を、各画素に対する距離情報を用いて画素ごとに適応的に変化させてもよい。

ステップＳ８では、領域分割部１５０は、Ｓ４で得られた２値化画像に対し穴埋め処理を行う。つまり、ここでは、投影パターンに点群を使用しており、観測される画像は一様な輝度分布にならない。そこで、Ｓ５と同様、ダイレーション（Dilation）処理とエロージョン（Erosion）処理を繰り返すことで孤立点除去や穴埋めを行う。そして、ステップＳ９では、領域分割部１５０は、Ｓ８で得られた穴埋め後の２値化画像の輝度反転処理を行う。

ステップＳ１０では、Ｓ５により得られた２値化画像及びＳ９により得られた２値化画像について画素毎の論理積（ＡＮＤ）を算出し、２値化画像を導出する。すなわち、２値化最大ＭＡＸフィルタによる領域情報である２値化最大輝度画像６３０と、標準偏差フィルタによる領域情報である２値化標準偏差画像６５０を画素ごとに論理積をとることで、肌領域のみを抽出するのである。

このようにして、図７の領域情報６６０に示すような皮膚（肌）露出領域が得られることになる。しかしながら、領域情報６６０において、顔領域６６１に対して領域の欠損が発生していることが分かる。これは、主に、穴埋め処理の限界や、被写体１８０の後方散乱係数特性の変動や、画像不良（露出調整による白飛びなど）が主な原因となっている。

このような顔領域６６１に対して領域の欠損を補償するため、以下では複数の手法を組み合わせて領域統合する例について説明する。

＜装置構成＞
図８は、第２実施形態に係る画像処理装置５００の機能構成を示す図である。図１の構成に加え、領域統合処理を行うための機能部が追加されている。領域統合部７００を加えた構成図を示す。領域統合部７００は、領域分割部１５０の入力に加えて、距離計測部１６０からの距離画像１６１を利用するよう構成されている。

候補領域選択部７１０は、顔領域の候補となる候補領域７１１を設定する。具体的には、領域分割部１５０が出力した分割領域情報１５１の各画素値のうち、内部散乱が大きい領域で囲まれた穴領域を候補領域７１１として設定する。

領域統合部７００は、分割領域情報１５１に対応する距離画像１６１に基づいて、内部散乱が大きい領域の画素に対応する距離情報を取得する。領域統合部７００は、また、候補領域７１１に含まれる欠損領域に対応する画素の距離情報を更に取得する。そして、候補領域７１１に含まれる欠損領域に対応する画素のうち、内部散乱が大きい領域の画素に対応する距離との差が閾値内にある欠損領域の画素については領域統合を行い、統合領域情報７０１として出力する。このように構成することにより、好適に顔領域６６１に対する領域欠損の補償を行うことが可能となる。

一方、領域統合部７００を、更に、顔認識部７３０からの顔領域情報７３１を利用するよう構成してもよい。

ＲＧＢ撮像部７２０は、撮像部１２０と同一視点となるＲＧＢ画像７２１を取得する。例えば、”Multiple View Geometry in Computer Vision Second Edition, Richard Hartley and Andrew Zisserman, Cambridge University Press, March 2004”に提案される手法を用いてＲＧＢ画像を取得するとよい。

顔認識部７３０は、ＲＧＢ画像７２１における顔領域を抽出する。例えば、”Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001”に提案される手法を用いて顔領域を抽出するとよい。ここでは、顔認識部７３０では、矩形や楕円領域として抽出した顔領域情報７３１を出力し、領域統合部７００に入力する。

領域統合部７００は、顔領域として抽出された領域の画素のうち、分割領域情報１５１とほぼ同一の距離を有する画素を領域統合し統合領域情報７０１として出力することで、同一の特徴を有する領域をより好適に統合することが可能となる。

以上説明したとおり第２実施形態によれば、距離画像１６１による各画素に対応する距離情報の類似性を利用し領域統合処理を行うことで、人物画像における皮膚（肌）露出領域（顔、手など）を好適に領域分割することが可能となる。

（変形例）
変形例では、部分領域設定部１３０および内部散乱量評価部１４０をパターンのテンプレートを利用する形態について説明する。特に、変形例では、投影パターンが既知であることを利用して、部分領域設定部１３０において投影パターンから抽出可能なテンプレートを作成する。そして、内部散乱量評価部１４０でテンプレート検出によって抽出された領域同士を比較することで内部散乱量評価値１４１を算出する例について説明する。

図９は、パターン・テンプレートの例を示す図である。テンプレートは、投影パターン１１１から抽出される。ここでは、投影パターン１１１は、線分を用いたパターンを使用している。変形例においては、３つのテンプレート８０１、８０２、８０３を抽出している。なお、パターン光の投影領域及び非投影領域が混在し、空間的に頻発する特徴領域をテンプレートとして選定すると好適である。

部分領域設定部１３０は、上述のテンプレートを用いて、撮像画像１２１に対してテンプレートマッチングを用いて撮像画像中からテンプレートと一致する領域を部分領域１３１として設定する。

内部散乱量評価部１４０は、同一テンプレートから検出された複数の部分領域に対して、部分領域間の投影領域と非投影領域との差を比較することで内部散乱量を評価する。例えば、第１実施形態で使用した内部散乱量の評価手法以外にも部分領域内のコントラストを評価することで内部散乱量を評価することが可能である。

図４を参照して説明したように、内部散乱が小さい領域の部分領域での空間輝度分布（輝度ヒストグラム）においては、投影領域に集中した分布を示す。一方、内部散乱が大きい領域の部分領域での空間輝度分布においては、非投影領域に投影パターンの光線が散乱する。そのため、投影領域の周りに広がった輝度分布が得られ、投影領域での輝度が低くなる。そのため、ある閾値を設定して閾値以上のヒストグラムを示す輝度値の数を比較することで、内部散乱量を評価することが可能となる。

ここでは、線分を用いた投影パターンについて述べたが、点群の投影パターンを用いる場合は、ひとつまたは複数の点を含む領域をテンプレートとして利用するとよい。また、矩形など面形状を用いた投影パターンの場合は、コーナー点など検出可能な領域を含むテンプレートや、特徴点を使用することで、部分領域を生成することが可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. パターン光を投影する投影手段と、
   前記パターン光が投影された被写体を撮像し撮像画像を取得する撮像手段と、
   前記撮像画像に対し、複数の部分領域を設定する部分領域設定手段と、
   前記複数の部分領域において、前記パターン光の散乱の度合いを示す特徴量を算出する算出手段と、
   前記複数の部分領域の各々に対して前記算出手段で算出された特徴量に基づき、前記撮像画像を領域分割する領域分割手段と、
   を含むことを特徴とする画像処理装置。
2. 前記撮像手段又は前記投影手段からの前記被写体までの距離を計測する距離計測手段を更に含み、
   前記領域分割手段は、前記複数の部分領域の各々に対して前記算出手段で算出された特徴量と、前記距離計測手段で計測された前記被写体までの距離と、に基づいて、前記撮像画像を領域分割することを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、前記距離計測手段で計測された前記被写体までの距離に基づいて、前記複数の部分領域の各々に対する特徴量を正規化することを特徴とする請求項２に記載の画像処理装置。
4. 前記距離計測手段で計測された前記被写体までの距離に基づいて、前記領域分割手段による前記撮像画像の領域分割結果を補正する補正手段を更に含むことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記複数の部分領域は、それぞれが前記パターン光の投影領域及び非投影領域の双方を含むように設定されることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記算出手段は、前記特徴量として、それぞれの部分領域内に含まれる画素の輝度値の標準偏差、分散、最大値、最小値のうち、少なくとも１つを算出することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 前記算出手段は、前記特徴量として、それぞれの部分領域内に含まれる画素の輝度値の最大値及び標準偏差を算出するよう構成され、
   前記領域分割手段は、前記複数の部分領域のうち、輝度値の最大値が所定の第１閾値を超えかつ標準偏差が所定の第２閾値を超える部分領域を人物の肌領域として領域分割する
   ことを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. 前記パターン光は赤外光を利用して投影されることを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
9. パターン光を投影する投影工程と、
   前記パターン光が投影された被写体を撮像し撮像画像を取得する撮像工程と、
   前記撮像画像に対し、複数の部分領域を設定する部分領域設定工程と、
   前記複数の部分領域において、前記パターン光の散乱の度合いを示す特徴量を算出する算出工程と、
   前記複数の部分領域の各々に対して前記算出工程で算出された特徴量に基づき、前記撮像画像を領域分割する領域分割工程と、
   を含むことを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至８の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。