JP2008015641A - 人体領域抽出方法および装置並びにプログラム - Google Patents

Abstract

【課題】一般的な画像中の人体領域を自動的に抽出するとともに、抽出性能を向上させる。
【解決手段】画像中の顔領域Ｆを検出し、検出された顔領域Ｆの位置情報から人体領域が含まれるであろう候補領域Ｃを決定し、その候補領域を構成する各単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域Ｅとして決定し、その推測領域Ｅ中の人体領域Ｈｕを抽出し、推測領域Ｅ中の輪郭周辺領域に人体領域Ｈｕが存在しないと判断されるまで、推測領域Ｅを拡張更新し、拡張更新された推測領域Ｅ中の人体領域を抽出することを繰り返し行う。
【選択図】図１

Description

本発明は、画像中の人体領域を抽出する人体領域抽出方法および装置並びにそのためのプログラムに関するものである。

画像の分類、自動トリミングおよび電子アルバムの作成などの画像編集のためには、画像における人体領域の抽出とポーズの認識が期待されている。画像中の人体領域を背景と分離して抽出する技術としては、たとえば特許文献１に示されているように、予め定めた特定の背景を用いて人物を撮影し、画像中の人体領域をその特定の背景との色の違いを利用して抜き取ることにより背景から分離する方法が知られている。

上述した特定の背景設定を必要とする方法のみならず、非特許文献１では、画像中の人体領域と背景の一部の情報をあらかじめ手動で与えることにより、任意の背景を有する画像中の人体領域を背景から分離する方法が提案されている。この人体領域と背景の一部をあらかじめ指定する方法は、主にインタラクティブな切抜きの場合に多く使われている。

また、非特許文献２では、全体の画像に対して領域分割処理を行い、分割された各部分領域の形状、色、テクスチャ等の特徴に基づいてその部分領域が人物領域の一部であるかどうかを判断し、人物領域の一部であると判断された部分領域の集合を人体領域として自動的に抽出する手法が提案されている。
特開２００５−３３９３６３号公報 Yuri Y. Boykov, Marie-Pierre Jolly, "Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images" Proc. IEEE Int. Conf. on Computer Vision, 2001 Greg Mori, Xiaofeng Ren, Alexei A.Efros and Jitendra Malik, "Recovering Human Body Configurations: Combining Segmentation and Recognition", CVPR 2004

しかしながら、全体の画像に対して領域分割処理を行い、その分割された各部分領域の特徴に基づいて人体領域を抽出する非特許文献２において提案されている手法では、領域分割処理による分割の程度が人体抽出に適切でない場合、たとえば分割された部分領域が小さ過ぎて人体領域の一部であるかどうかを精度よく判断できない場合、分割された部分領域が大き過ぎて人体領域と背景領域との双方を含んでしまう場合等には、人体領域を正しく抽出できないという問題がある。この方法では、領域分割の程度により人体領域の抽出精度が強く影響を受けることになる。

本発明は、上記事情に鑑み、一般的な画像中の人体領域を自動的に抽出するとともに、その抽出性能をより向上させる人体領域抽出方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の人体領域抽出方法は、画像中の人体領域を抽出する方法であって、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれるであろう候補領域を決定し、決定された候補領域を構成する２画素以上の大きさの各単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定し、決定された推測領域中の人体領域を抽出することを特徴とするものである。

上記方法においては、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断し、この輪郭周辺領域に抽出された人体領域が存在しないと判断されるまで、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断することを繰り返し行うことが望ましい。

本発明の人体領域抽出装置は、画像中の人体領域を抽出する装置であって、画像中の顔または顔部品を検出する顔検出手段と、検出された顔または顔部品の位置情報から人体領域が含まれるであろう候補領域を決定する候補領域決定手段と、決定された候補領域を構成する２画素以上の大きさの各単位領域が人体領域を含むか否かを判断する単位領域判断手段と、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定する推測領域決定手段と、決定された推測領域中の人体領域を抽出する人体領域抽出手段とを備えたことを特徴とするものである。

上記装置においては、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断する人体領域存在判断手段をさらに備え、推測領域決定手段、人体領域抽出手段および人体領域存在判断手段が、人体領域存在判断手段が輪郭周辺領域に抽出された人体領域が存在しないと判断するまで、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かの判断することを繰り返し行うものであることが望ましい。

また、単位領域判断手段は、単位領域のそれぞれに対応させて設けられた、対応する単位領域が人体領域を含むか否かを判別する複数の判別器を備えたものであってもよい。

また、候補領域決定手段は、複数の候補領域を決定するものであり、単位領域判断手段は、決定された複数の候補領域の各々について該候補領域を構成する２画素以上の大きさの各単位領域が人体領域を含むか否かを判断するもの であり、推測領域決定手段は、各候補領域毎に人体領域を含むと判断された単位領域の集合を推測領域候補として決定し、決定された各推測領域候補の中から最適な推測領域候補を選定し、この選定された推測領域候補を人体領域が含まれると推測される推測領域として決定するものであってもよい。

また、人体領域抽出手段は、推測領域の画像データおよび推測領域の外側に位置する外部領域の画像データから推測領域中の各画素の評価値を算出し、その評価値に基づいて人体領域を抽出することができる。

また、人体領域抽出手段は、画像中の肌色情報をさらに用いて、人体領域を抽出することができる。

本発明の人体領域抽出プログラムは、画像中の人体領域を抽出するプログラムであって、コンピュータに、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれるであろう候補領域を決定し、決定された候補領域を構成する２画素以上の大きさの各単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定し、決定された推測領域中の人体領域を抽出することを実行させるためのものである。

また、上記プログラムにおいては、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断し、この輪郭周辺領域に抽出された人体領域が存在しないと判断されるまで、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断することを繰り返し行うことをコンピュータに実行させることができる。

なお、候補領域の決定は、顔または顔部品の位置情報のみから決定してもよいし、位置情報とさらに他の情報、たとえば顔の場合位置情報と大きさ情報から決定するようにしてもよい。

また、「輪郭周辺領域」とは、推測領域内における該推測領域の輪郭から一定範囲内の領域を意味し、輪郭を含む一定範囲内の領域、輪郭を含まない一定範囲内の領域、または輪郭のみのいずれであってもよい。

本発明の人体領域抽出方法および装置並びにプログラムによれば、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれるであろう候補領域を決定し、決定された候補領域を構成する２画素以上の大きさの各単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定し、決定された推測領域中の人体領域を抽出することにより、一般的な画像中の人体領域を精度よく自動抽出することができる。

すなわち、人体領域を抽出する１つの方法として、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報に基づいて人体領域が含まれると推測される推測領域を決定し、この推測領域から人体領域を抽出する方法が考えられるが、この場合、推測領域は人体領域をより多く含むとともに背景領域をなるべく含まない領域であることが、人体領域を高精度に抽出する上で望ましい。しかるに、本発明では、顔または顔部品の位置情報からまず、人体領域が含まれるであろう候補領域を決定し、この候補領域を構成する多数の単位領域について人体領域を含むか否かを判断し、含むと判断された単位領域の集合を推測領域として決定しているので、人体領域をより多く含むとともに背景領域をなるべく含まない推測領域を決定することができ、その結果推測領域から人体領域を高精度で抽出することが出来る。

本発明の人体領域抽出方法および装置並びにプログラムにおいて、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断し、この輪郭周辺領域に抽出された人体領域が存在しないと判断されるまで、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断することを繰り返し行うようにすれば、人体領域が推測領域に収まらなかった場合であっても、その人体領域抽出結果に基づいて拡張更新された推測領域に収めることが可能となり、全体の人体領域を確実に抽出することができる。

また、単位領域判断手段が、単位領域のそれぞれに対応させて設けられた、対応する単位領域が人体領域を含むか否かを判別する複数の判別器を備えたものでる場合、精度良く効率的に判断を行うことができる。

また、候補領域決定手段が、複数の候補領域を決定するものであり、単位領域判断手段が、決定された複数の候補領域の各々について該候補領域を構成する２画素以上の大きさの各単位領域が人体領域を含むか否かを判断するものであり、推測領域決定手段が、各候補領域毎に人体領域を含むと判断された単位領域の集合を推測領域候補として決定し、決定された各推測領域候補の中から最適な推測領域候補を選定し、選定された推測領域候補を人体領域が含まれると推測される推測領域として決定するものである場合、さまざまな大きさや姿勢を有する人体領域に対して適切な推測領域を決定することができ、人体領域の抽出処理の精度を向上させることができる。

また、人体領域の抽出が、推測領域の画像データおよび推測領域の外側に位置する外部領域の画像データから推測領域中の各画素の評価値を算出し、その評価値に基づいて行なうものである場合、人体領域を多く含む推測領域の画像データおよび背景領域を多く含む推測領域の外側に位置する外部領域の画像データを用いることにより、推測領域の各画素が人体領域を示す画素であるかそれとも背景領域を示す画素であるかを適切に評価することができ、高精度で人体領域の抽出を行なうことができる。

また、人体領域の抽出が、画像中の肌色情報をさらに用いて行なうものである場合には、人体領域の抽出性能をより向上させることができる。

以下、図面を参照して本発明の人体領域抽出装置の実施の形態について説明する。なお、図１に示す本発明の一実施形態である人体領域抽出装置は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。

本実施形態の人体領域抽出装置は、一般的な画像Ｐ中の人体領域を自動的に抽出するものであって、画像Ｐ中の顔部品の一つである両目Ｆを検出する顔検出手段１０と、検出された両目Ｆの位置情報から人体領域が含まれるであろう複数の候補領域Ｃ（Ｃｎ、ｎ＝１〜Ｋ）を決定する候補領域決定手段２０と、決定された複数の候補領域Ｃｎの各々について該候補領域を構成するｗ×ｈ画素の大きさの各単位領域Ｂ_ｉｊ（ｉ＝１〜Ｍ、ｊ＝１〜Ｎ）が人体領域を含むか否かを判断する単位領域判断手段３０と、各候補領域Ｃｎ毎に人体領域を含むと判断された単位領域Ｂ_ｉｊの集合を推測領域候補Ｅｎとして決定し、決定された各推測領域候補Ｅｎの中から最適な推測領域候補を選定し、選定された推測領域候補を人体領域が含まれると推測される推測領域Ｅとして決定する推測領域決定手段４０と、決定された推測領域Ｅ中の人体領域Ｈｕを抽出する人体領域抽出手段５０と、推測領域Ｅ中の輪郭周辺領域に抽出された人体領域Ｈｕの少なくとも一部が存在するか否かを判断する人体領域存在判断手段６０とを備えている。

また、人体領域存在判断手段６０が推測領域Ｅ中の輪郭周辺領域に抽出された人体領域Ｈｕの少なくとも一部の領域が存在すると判断したとき、推測領域決定手段４０が、輪郭周辺領域に存在する人体領域Ｈｕの近傍かつ推測領域Ｅの外側に存在する近傍外側領域を含むように推測領域Ｅを拡張更新し、人体領域抽出手段５０が、拡張更新された推測領域Ｅ中の人体領域Ｈｕを抽出するように構成されている。

顔検出手段１０は、画像Ｐ中の顔部品の一つである両目Ｆを検出するものであって、たとえば、特開２００６−１３９３６９号公報に記載されているように、顔または目等の検出対象が既知である複数のサンプル画像における各画素の特徴量、すなわち画像上の各画素における濃度が変化する方向および変化の大きさを予め学習することにより、検出対象であるか否かを識別する識別器を特徴量に対応させて取得し、対象画像上に該識別器を走査させることにより検出対象を検出する公知の技術を用いて顔画像を検出し、顔画像から両目の位置Ｆｒ、Ｆｌを検出する。

候補領域決定手段２０は、顔検出手段１０において検出された両目Ｆの位置情報から、人体領域が含まれるであろう複数の候補領域Ｃ１〜Ｃｋを決定するものである。まず、図２に示すように、検出された両目Ｆｒ、Ｆｌ間の距離Ｌｅを求め、両目間の中心位置から垂直に下方へ１．５Ｌｅ離れた位置を首の中心位置Ｎとする。次に、１．２Ｌｅ〜１．８Ｌｅの範囲内で複数（ｋ個）の値を任意に選択し、選択したそれぞれの値を首の幅として想定する。そして、その定めた各首の幅が拡大または縮小後の画像上において一定長さ（たとえば後述する単位領域Ｂ_ｉｊの水平方向の幅）となるように画像Ｐを拡大または縮小し、図３に示すように、拡大または縮小された解像度の異なる複数の画像Ｐｎ（ｎ＝1〜ｋ）を生成する。その後、生成した複数の画像Ｐｎの各々において、首の中心位置Ｎを基準とする所定の大きさの矩形の領域（Ｎ・ｗ×Ｍ・ｈ画素）を候補領域Ｃｎとして決定する。決定された複数の候補領域Ｃｎはそれぞれ絶対的な大きさは同一であるが、拡大または縮小後の画像に対する相対的な大きさは互いに異なる。

単位領域判断手段３０は、たとえばジェントルアダブースト（Gentle AdaBoost）のアルゴリズムを用いて、候補領域決定手段２０において決定された各候補領域Ｃｎを構成するＮ×Ｍ個の矩形の単位領域Ｂ_ｉｊ（ｉ＝１〜Ｍ、ｊ＝１〜Ｎ）のそれぞれが人体領域を含むか否かを判断する機能を有しており、図４に示すように、各単位領域Ｂ_ｉｊのそれぞれに対応させて設けられた、対応する単位領域が人体領域を含むか否かを判別するＭ×Ｎ個の単位領域判別器Ｆ_ｉｊを備えている。なお、各単位領域判別器Ｆ_ｉｊは複数の弱判別器ｆ_１ ^ｉｊ〜ｆ_ｍ ^ｉｊ（ｍ：弱判別器の個数）を備え、各弱判別器ｆ_１ ^ｉｊ〜ｆ_ｍ ^ｉｊは単位領域Ｂ_ｉｊからそれぞれ異なる特徴量ｘを抽出し、この特徴量ｘを用いて単位領域Ｂ_ｉｊが人体領域を含むか否かの判別を行う機能を有する。そして、各単位領域判別器Ｆ_ｉｊは弱判別器ｆ_１ ^ｉｊ〜ｆ_ｍ ^ｉｊにおける判別結果を用いて単位領域Ｂ_ｉｊが人体領域を含むか否かの最終的な判断を行うようになっている。

具体的には、各弱判別器ｆ_１ ^ｉｊ〜ｆ_ｍ ^ｉｊは、単位領域Ｂ_ｉｊ内の各画素におけるＨ（Hue、色相）、Ｓ（Saturation、彩度）、Ｌ（Lightness、明度）の値からそれぞれの合計値Ｈ_ｉｊ、Ｓ_ｉｊ、Ｌ_ｉｊを求める。その後、その単位領域Ｂ_ｉｊにおけるＨ_ｉｊ、Ｓ_ｉｊ、Ｌ_ｉｊと候補領域Ｃｎ内の他の単位領域Ｂ_ｕｖ（ｕ＝１〜Ｍ、ｖ＝１〜Ｎ、ｕ≠ｉ、ｖ≠ｊ）におけるＨ_ｕｖ、Ｓ_ｕｖ、Ｌ_ｕｖとの差分を求め、求められた全ての差分を構成要素とする差分リストＤ_ｉｊを作成する。ここで、差分リストＤ_ｉｊは、単位領域Ｂ_ｉｊと、該単位領域Ｂ_ｉｊを除く候補領域Ｃ_ｎ内の（Ｍ×Ｎ―１）個の他の単位領域とのＨ、ＳおよびＬの値の差分、すなわち、３×（Ｍ×Ｎ―１）個の差分を構成要素として有するようになる。そして、求められた差分リストＤ_ｉｊの各差分または所定の複数の差分の組み合わせを単位領域Ｂ_ｉｊの特徴量ｘとする。なお、各弱判別器ｆ_１ ^ｉｊ〜ｆ_ｍ ^ｉｊは差分リストＤ_ｉｊからそれぞれ異なる１個以上の差分の組み合わせを特徴量ｘとして抽出し、この特徴量ｘを用いて単位領域Ｂ_ｉｊが人体領域Ｈｕを含むか否かの判別を行う。

なお、各弱判別器ｆ_１ ^ｉｊ〜ｆ_ｍ ^ｉｊがそれぞれ特徴量ｘを抽出する場合について例示しているが、差分リストＤ_ｉｊについて上述した特徴量ｘを予め抽出しておき、各弱判別器ｆ_１ ^ｉｊ〜ｆ_ｍ ^ｉｊに入力するようにしてもよい。

さらに、単位領域判断手段３０は単位領域Ｂ_ｉｊが人体領域を含むか否かを他の単位領域とのＨ、Ｓ、Ｌの値の差分を用いて判断する場合について例示しているが、特開２００６−０５８９５９号公報に記載された画像判定方法やJohn R.Smith, Shih-FuChang, Tools and Techniques for Color Image Retrieval, IS&T/SPIE Proceedings Vol.2670, Storage and Retrieval for Image and Video Databasesに記載された画像の特徴解析方法等の公知の方法を用いて判断するようにしてもよい。

各弱判別器ｆ_１ ^ｉｊ〜ｆ_ｍ ^ｉｊは図５に示すような特徴量−スコア特性を有しており、この特性に基づいて特徴量ｘの値に応じたスコアｆ_１ ^ｉｊ（ｘ）〜ｆ_ｍ ^ｉｊ（ｘ）を出力する。そして、各弱判別器の判定スコアの総和が設定しきい値以上であるか否かを判断し、設定しきい値以上であるときに単位領域Ｂ_ｉｊが人体領域を含むと判別する。

次に、ジェントルアダブースト（Gentle AdaBoost）のアルゴリズムに従って複数の弱判別器ｆ_ｎ ^ｉｊ（ｎ＝1〜ｍ）を逐次生成し、単位領域Ｂ_ｉｊが人体領域を含むか否かを判断する単位領域判別器Ｆ_ｉｊを構成する方法について説明する。

まず、人体領域が既知である複数の画像から学習サンプル（Ｘｒ，Ｙｒ）（ｒ：サンプルの個数）を用意する。具体的には、各画像中の人体領域における首の幅が一定長さ（たとえば単位領域Ｂ_ｉｊの水平方向の幅）となるように全体画像を拡大または縮小し、その首の中心位置を基準とする所定の大きさ（Ｎ・ｗ×Ｍ・ｈ画素）の矩形の部分画像を抽出する。抽出された部分画像は所定の大きさ（ｗ×ｈ画素）のＮ×Ｍ個の矩形の単位領域Ｂ_ｉｊ（ｉ＝１〜Ｍ、ｊ＝１〜Ｎ）に分割でき、各部分画像における単位領域Ｂ_ｉｊを学習サンプルのデータＸｒとし、各学習サンプルのデータＸｒが人体領域を含む領域であるか否かを示すラベルＹ（Ｙ∈{−１，１}）を決定する。Ｙｒ＝−１は、学習サンプルが背景領域Ｂとしてラベリングされている場合を示し、Ｙｒ＝１は、学習サンプルが人体領域Ｈｕとしてラベリングされていることを示す。

次に、全学習サンプルの重みＷ^ｔ（ｒ）を一様に設定し、下記式（１）に示す重み付き二乗誤差ｅ_ｔを最小にする弱判別器ｆ_ｎ ^ｉｊを生成する。ここで、学習サンプルの重みＷ^ｔ（ｒ）は、繰り返し回数ｔ回目の学習サンプルＸｒの重みを示す。

次いで、この弱判別器ｆ_ｎ ^ｉｊを使用して、繰り返し処理ｔ回目の各学習サンプルの重みＷ^ｔ（ｒ）を下記式（２）により更新する。

そして、所定回数（＝Ｔ回）の処理を繰り返し、生成された弱判別器全てを組み合わせた単位領域判別器Ｆ_ｉｊが学習データセットを所望の性能で判別できるようになるまで、弱判別器の生成を繰り返す。

単位領域判別器Ｆ_ｉｊは、全ての弱判別器の判別結果の総和の符号、すなわち下記式（３）に示す単位領域判別器Ｆ_ｉｊのスコアが正か負かを判断することで、単位領域が人体領域Ｈｕを含むか否かの判別することができる。

なお、ここでは、単位領域判断手段３０がジェントルアダブースティングアルゴリズムを用いて単位領域判別器Ｆ_ｉｊを取得する場合について例示しているが、それに代えてニューラルネットワーク等他の機械学習の手法を用いることもできる。

推測領域決定手段４０は、図６に示すように各候補領域Ｃｎ毎に単位領域判断手段３０において人体領域を含む領域であると判断された単位領域の集合を推測領域候補Ｅｎとして決定し、決定された各推測領域候補Ｅ１〜Ｅｋの中から最適な推測領域候補を選定し、選定された推測領域候補を人体領域が含まれると推測される推測領域Ｅとして決定するものである。具体的には、各推測領域候補Ｅｎ毎に、その推測領域候補Ｅｎ内の全ての単位領域において求められた上記式（３）に示す単位領域判別器Ｆ_ｉｊのスコアを合計し、そのスコアの合計が最も高い推測領域候補を選定し、選定された推測領域候補を人体領域が含まれると推測される推測領域Ｅとして決定するようになっている。

なお、ここでは、単位領域判別器Ｆ_ｉｊのスコアはその単位領域が人体領域を含む領域である確からしさを示す指数として用いることが可能であり、その合計が最も高い推測領域は人体領域を最も確実に含むものであると解釈できるため、単位領域判別器Ｆ_ｉｊのスコアの合計が最も高い推測領域候補を推測領域Ｅとして決定するようにしているが、それに代えて人体領域を含む領域であると判断された単位領域の数がもっとも多い推測領域候補を推測領域Ｅとして決定することもできる。

人体領域抽出手段５０は、推測領域決定手段４０において決定された推測領域Ｅの画像データおよび推測領域Ｅの外側に位置する外部領域Ｂの画像データから推測領域Ｅ中の各画素の評価値を算出し、その評価値に基づいて人体領域Ｈｕを抽出するものである。なお、以下に説明する実施の形態では、この評価値として尤度を用いている。

まず、推測領域Ｅおよび推測領域Ｅの外側に位置する外部領域Ｂにおいて、各領域Ｅ、Ｂの画素の集合をOrchard, M.T., and Bouman, C.A. Color Quantization of Images. IEEE Transactions on Signal Processing, Vol. 39, No.12, pp. 2677-2690, 1991に記載された色クラスタリング法を用いてそれぞれ８つの集合に分割する。

上記の色クラスタリング法は、分割するクラスタ（画素の集合）Ｙ_ｎの色（色ベクトル）の変動が最大となる方向を求め、その方向に垂直かつクラスタＹ_ｎの色の平均値（平均ベクトル）を通る面を切断面とし、その切断面でクラスタＹ_ｎを２つのクラスタＹ_２ｎ、Ｙ_２ｎ+1に分割するものであり、この方法によれば、全体のさまざまな色空間を有する画素の集合を同一または類似する色空間を有する複数の部分集合に分割することができる。

次に、上記の方法により得られた各領域Ｅ、Ｂにおける８つの画素の集合の各々に対してＲ（Red、赤）、Ｇ（Green、緑）、Ｂ（Blue、青）のガウス分布の平均ベクトルｕ_ｒｇｂ、ガウス分布の分散共分散行列Σ等を算出し、以下の式（４）から、各領域Ｅ，ＢにおけるＲＧＢ色空間のＧＭＭモデル（Gaussian Mixture Model）Ｇを求める。ここで、人体領域を多く含む領域と推測される推測領域Ｅから求められるＧＭＭモデルＧを人体領域モデルＧ_Ｈとし、背景領域を多く含む推測領域Ｅの外側に位置する外部領域Ｂから得られたＧＭＭモデルＧを背景領域モデルＧ_Ｂとする。

ここで、ｉはガウス分布の混合数（画素の集合の数）、λは分布の混合重み、ｕはＲ、Ｇ、Ｂのガウス分布の平均ベクトル、Σはガウス分布の分散共分散行列、ｄは特徴ベクトルの次元数である。

図７（ａ）は人体領域モデルＧ_ＨにおけるＲ、Ｇを示すグラフであり、図７（ｂ）は背景領域モデルＧ_ＢにおけるＲ、Ｇを示すグラフである。各々のグラフは８つの楕円状のガウシアン分布から形成されており、人体領域モデルＧ_Ｈおよび背景領域モデルＧ_Ｂが互いに異なる確率密度を有することが分かる。

そして、以上の人体領域モデルＧ_Ｈと背景領域モデルＧ_Ｂに基づいて、Yuri Y. Boykov, Marie-Pierre Jolly, “Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images”, Proc. IEEE Int. Conf. on Computer Vision, 2001およびCarsten Rother, Vladimir Kolmogorov, Andrew Blake, “GrabCut-Interactive Foreground Extraction using Iterated Graph Cuts”, ACM Transactions on Graphics(SIGGRAPH’04) 2004に記載された領域分割方法を用いて、推測領域Ｅを人体領域Ｈｕと背景領域Ｂとに分割する。

上記の領域分割方法では、まず、図８（ａ）に示すように、画像中の各画素を表すノードと、各画素が取り得るラベル（本実施の形態では、人体領域Ｈｕまたは背景領域Ｂ）を表すノードＳ、Ｔと、隣接する画素のノード同士をつなぐｎ−ｌｉｎｋと、各画素を表すノードと人体領域を表すノードＳまたは背景領域を表すノードＴとをつなぐｔ−ｌｉｎｋとから構成されるグラフを作成する。ここで、ｎ−ｌｉｎｋは、隣接する画素が同一領域の画素である確からしさ、すなわち尤度（コスト）をリンクの太さで表すものであり、その尤度（コスト）はそれらの隣接する画素間の距離および色ベクトルの差に基づいて求めることができる。また、ｔ−ｌｉｎｋは、各画素が人体領域に含まれる画素である尤度（コスト）および背景領域に含まれる画素である尤度（コスト）を表すものであり、その尤度（コスト）は各画素の色ベクトルが人体領域モデルＧ_Ｈまたは背景領域モデルＧ_Ｂの確率密度関数に対応する確率を算出することにより、求めることができる。

そして、人体領域および背景領域は互いに排他的な領域であり、図８（ｂ）に示すように、各画素を表すノードと人体領域を表すノードＳまたは背景領域を表すノードＴとをつなぐ２つのｔ−ｌｉｎｋのうち片方を切断するとともに、異なるラベルを有する隣接する画素のノード同士をつなぐｎ−ｌｉｎｋを切断することにより、推測領域Ｅを人体領域Ｈｕと背景領域Ｂとに分割する。ここで、切断する全てのｔ−ｌｉｎｋおよびｎ−ｌｉｎｋのコストの合計が最小になるようにすることにより、最適な領域分割をすることが可能であり、人体領域Ｈｕを効率よく抽出することができる。

さらに、人体領域抽出手段５０は、推測領域Ｅ中の各画素において、各画素のＲ、Ｇ、Ｂ（０〜２５５）の値が以下の式（５）に示す条件式を満たすとき、肌色領域を示す画素であると判断し、肌色領域であると判断された各画素を表すノードと人体領域を表すノードＳとをつなぐｔ−ｌｉｎｋの値を高くなるように更新する処理を行なう。その処理により、肌色領域に含まれる画素が人体領域を表す画素である尤度（コスト）を高めることができるため、人体領域の抽出に人体固有の肌色情報を利用することにより、人体領域の抽出性能をより向上させることが可能である。

人体領域存在判断手段６０は、推測領域Ｅ中の輪郭周辺領域に、人体領域抽出手段５０において抽出された人体領域Ｈｕの少なくとも一部が存在するか否かを判断するものであり、図９に示すように、推測領域Ｅ中の該推測領域Ｅの輪郭Ｌから一定範囲内の領域である輪郭周辺領域Ｑと、抽出された人体領域Ｈｕとが重なる領域Ｑ_Ｈが存在するか否かを調べることにより、輪郭周辺領域Ｑに人体領域Ｈｕの少なくとも一部が存在するか否かを判断する。

上述した人体領域存在判断手段６０においては、輪郭周辺領域Ｑに人体領域Ｈｕが存在しないと判断された場合、これにより人体領域抽出を終了するようになっている。しかし、輪郭周辺領域Ｑに人体領域Ｈｕの少なくとも一部が存在すると判断された場合、推測領域決定手段４０は、輪郭周辺領域Ｑと人体領域Ｈｕとが重なる領域Ｑ_Ｈから一定範囲内の領域のうち推測領域Ｅの外側に存在する領域を近傍外側領域Ｒ_Ｎとし、近傍外側領域Ｒ_Ｎを含むように推測領域Ｅを拡張更新するようになっている。その後、人体領域抽出手段５０により、拡張更新された推測領域Ｅ中の人体領域Ｈｕが再度抽出され、人体領域存在判断手段６０により、拡張更新された推測領域Ｅにおける輪郭周辺領域Ｑに抽出された人体領域Ｈｕの少なくとも一部が存在するか否かを再度判断するようになっている。

以上の推測領域決定手段４０による推測領域Ｅの拡張更新処理、人体領域抽出手段５０による拡張更新された推測領域Ｅ中の人体領域Ｈｕの抽出処理および人体領域存在判断手段６０による輪郭周辺領域Ｑに人体領域Ｈｕの少なくとも一部が存在するか否かを判断する処理は、人体領域存在判断手段６０が輪郭周辺領域Ｑに人体領域Ｈｕが存在しないと判断するまで繰り返し行われる。

図１０は推測領域Ｅを拡張更新しながら、人体領域Ｈｕを繰り返して抽出する処理の一例を示した図であり、図１０（ａ）は、１回目の推測領域Ｅおよびその推測領域Ｅから抽出された人体領域Ｈｕを示す図であり、図１０（ｂ）は、図１０（ａ）における一回目の人体領域抽出結果に基づいて拡張更新された２回目の推測領域Ｅおよびその拡張更新された推測領域Ｅから抽出された人体領域Ｈｕを示す図であり、図１０（ｃ）は、最終推測領域Ｅおよびその推測領域Ｅから抽出された人体領域Ｈｕを示す図である。

以下、図１１の本発明の人体領域抽出方法の一実施の形態を示すフローチャートを参照して、人体領域抽出方法について説明する。まず、顔検出手段１０において、全体画像Ｐの中から顔部品の一つである両目Ｆが検出される（ステップＳＴ１）。その後、候補領域決定手段２０により、検出された両目Ｆの位置情報から人体領域が含まれるであろう複数の候補領域Ｃｎ（ｎ＝１〜Ｋ）が決定される（ステップＳＴ２）。そして、単位領域判断手段３０により、決定された複数の候補領域Ｃｎの各々に対して該候補領域を構成する各単位領域が人体領域を含むか否かが判断される。（ステップＳＴ３）。次に、推測領域決定手段４０により、各候補領域Ｃｎ毎に人体領域を含むと判断された単位領域の集合が推測領域候補Ｅｎとして決定され、決定された各推測領域候補Ｅｎの中から最適な推測領域候補が選定され、選定された推測領域候補が推測領域Ｅとして決定される（ステップＳＴ４）。そして、人体領域抽出手段５０により、決定された推測領域Ｅ中の人体領域Ｈｕが抽出される（ステップＳＴ５）。そして、人体領域存在判断手段６０により、推測領域中の輪郭周辺領域に抽出された人体領域Ｈｕの少なくとも一部が存在するか否かが判断される（ステップＳＴ６）。そして、人体領域Ｈｕの少なくとも一部が存在すると判断されたとき、輪郭周辺領域に存在する人体領域Ｈｕの近傍かつ推測領域Ｅの外側に存在する近傍外側領域を含むように推測領域Ｅが拡張更新される（ステップＳＴ７）。続いて、ステップＳ５へ戻り、更新された推測領域Ｅ中の人体領域が抽出される。以上のステップＳＴ５からＳＴ７を繰り返して、輪郭周辺領域に抽出された人体領域Ｈｕが存在しないと判断されたところで、人体領域抽出を終了する。

上記実施の形態によれば、画像Ｐ中の顔部品の一つである両目Ｆを検出し、検出された両目Ｆの位置情報から人体領域が含まれるであろう候補領域Ｃを決定し、決定された候補領域に対して該候補領域Ｃを構成する各単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を推測領域Ｅとして決定し、決定された推測領域Ｅ中の人体領域Ｈｕを抽出することにより、一般的な画像中の人体領域を精度よく自動抽出することができる。

また、推測領域Ｅ中の輪郭周辺領域に抽出された人体領域Ｈｕの少なくとも一部が存在するか否かを判断し、輪郭周辺領域に抽出された人体領域Ｈｕが存在しないと判断されるまで、輪郭周辺領域に存在する人体領域Ｈｕの近傍かつ推測領域Ｅの外側に存在する近傍外側領域を含むように推測領域Ｅを拡張更新し、拡張更新された推測領域Ｅ中の人体領域Ｈｕを抽出することを繰り返し行うことにより、人体領域が推測領域Ｅに収まらなかった場合であっても、人体領域抽出結果に基づいて拡張更新した推測領域Ｅに人体領域を収めることが可能となり、全体の人体領域を確実に抽出することができる。

また、上記実施の形態では、検出された両目Ｆの位置情報から人体領域が含まれるであろう複数の候補領域Ｃｎを決定し、決定された複数の候補領域Ｃｎの各々に対して該候補領域を構成する各単位領域が人体領域を含むか否かを判断し、各候補領域Ｃｎ毎に人体領域を含むと判断された単位領域の集合を推測領域候補Ｅｎとして決定し、決定された各推測領域候補Ｅｎの中から最適な推測領域候補を選定し、選定された推測領域候補が推測領域Ｅとして決定されるようにしており、さまざまな大きさや姿勢を有する人体領域に対して適切な推測領域を決定することができ、人体領域の抽出処理の精度を向上させることができる。

本発明は上記実施の形態に限定されない。たとえば、上記実施の形態では、候補領域決定手段２０が、顔検出手段１０において検出された両目Ｆの位置情報から人体領域が含まれるであろう候補領域Ｃを決定するようにしているが、顔検出手段１０は、両目の他、鼻、口等の他の顔部品または顔の位置を検出するものであってもよい。そして、候補領域決定手段２０は、顔検出手段１０において検出された顔または顔部品の位置情報のみから推測領域Ｅを決定してもよいし、位置情報とさらに他の情報、たとえば顔の場合位置情報と大きさ情報から候補領域Ｃを決定するようにしてもよい。

たとえば、顔検出手段１０において検出された顔の位置のみから候補領域Ｃを決定する場合、顔の中心位置を基準位置とする、予め設定しておいた形状および大きさの1個以上の領域を候補領域Ｃとして決定することができる。また、顔検出手段１０において検出された顔の位置情報および大きさ情報から候補領域Ｃを決定する場合、顔の中心位置を基準位置とする、顔の大きさに比例する大きさの候補領域Ｃを決定することができる。

なお、候補領域Ｃは、人体領域を充分含む領域であればよく、矩形、円形、楕円形等、種々の形状および任意の大きさの領域とすることができる。

また、上記実施の形態では、候補領域決定手段２０において、人体領域が含まれるであろう複数の候補領域Ｃ（Ｃｎ、ｎ＝１〜Ｋ）を決定し、この複数の候補領域Ｃｎの各々について該候補領域を構成する多数の単位領域が人体領域を含むか否かを判断し、推測領域決定手段４０において各候補領域毎に人体領域を含むと判断された単位領域の集合を推測領域候補として決定し、この各推測領域候補の中から最適な推測領域候補を推測領域として決定するようにしているが、単一の候補領域Ｃを決定し、この候補領域Ｃを構成する多数の単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を推測領域Ｅとして決定するようにしてもよい。

また、人体領域抽出手段５０において、推測領域Ｅの画像データおよび推測領域Ｅの外側に位置する外部領域Ｂの画像データから推測領域Ｅ中の各画素の評価値を算出し、その評価値に基づいて人体領域Ｈｕを抽出する際、推測領域Ｅの画像データおよび推測領域Ｅの外側に位置する外部領域Ｂの画像データは、それぞれの領域内の全ての画像データであってもよいし、領域内の一部の画像データであってもよい。

また、人体領域抽出手段５０において、上記の式（５）に示す条件式を用いて推測領域Ｅ中の各画素が肌色領域を示す画素であるか否かを判断するようにしているが、画像Ｐ中の人体固有の肌色情報に基づいて肌色領域を示す画素か否かを判断するようにしてもよい。たとえば、上記の式（５）の条件式を満たすと判断された画像Ｐ等の所定の領域中の各画素の集合から、上記の式（４）に示すＧＭＭモデルＧを画像Ｐ中の人体固有の肌色情報を含む確率密度関数として作成し、作成したＧＭＭモデルに基づいて推測領域Ｅ中の各画素が肌色領域を示す画素であるか否かを再度判断することができる。

また、上記実施の形態では、人体領域存在判断手段６０において、輪郭周辺領域Ｑと抽出された人体領域Ｈｕとが重なる領域Ｑ_Ｈが存在するか否かを判断し、存在すると判断された場合、推測領域決定手段４０が、領域Ｑ_Ｈから一定範囲内の領域のうち推測領域Ｅの外部に相当する近傍外側領域Ｒ_Ｎが含まれるように推測領域Ｅを拡張更新するようになっているが、以下に説明する方法または他の方法により、推測領域中の輪郭周辺領域に人体領域の少なくとも一部が存在するか否かを判断し、推測領域Ｅを拡張更新するようにしてもよい。

具体的には、図１２に示すように、推測領域Ｅの輪郭Ｌ上の所定の点を始点Ｌｓとし、輪郭Ｌ上の各画素を始点Ｌｓ から時計方向または反時方向に順次注目画素Ｌｐとし、各画素Ｌｐにおいて、その画素Ｌｐから一定範囲内の領域のうち推測領域Ｅの内側に相当する領域Ｑｐに、人体領域Ｈｕが存在するか否かを調べることにより、輪郭周辺領域に人体領域Ｈｕの少なくとも一部が存在するか否かを判断する。そして、存在すると判断された場合、その画素Ｌｐの位置を以下に説明する方法により更新する。図１３（ａ）に示すように、まず、位置を更新すると決定された画素Ｌｐ_ｍを輪郭Ｌ上で挟むように隣接する画素Ｌｐ_ｍ−１、Ｌｐ_ｍ＋１を通る直線Ｓａと、その直線から画素Ｌｐ_ｍを通る外法線Ｓｂを求め、直線Ｓａおよび外法線Ｓｂの交点をＯとする。そして、画素Ｌｐ_ｍの位置を点Ｏから一定距離λ（λは輪郭線を一回成長させるための増量）にある外法線Ｓｂ上の点Ｌｐ_ｍ′に更新する。その後、図１３（ｂ）に示すように、推測領域Ｅの輪郭Ｌを更新された点Ｌｐ_ｍ′を通るように更新し、更新された輪郭Ｌで囲まれる領域を推測領域Ｅとして更新することにより、推測領域Ｅを拡張更新する。

また、人体領域存在判断手段６０において、推測領域Ｅ中の輪郭周辺領域に人体領域Ｈｕの少なくとも一部が存在すると判断したとき、推測領域Ｅの拡張更新処理および拡張更新された推測領域Ｅ中の人体領域の抽出処理等を行うようにしているが、推測領域Ｅ中の輪郭周辺領域に人体領域Ｈｕが存在する箇所が所定数以上であると判断したとき、推測領域Ｅの拡張更新処理および拡張更新された推測領域Ｅ中の人体領域の抽出処理を行うようにしてもよい。

また、上記実施の形態において、輪郭周辺領域に人体領域Ｈｕが存在しないと判断されるまで、推測領域Ｅの拡張更新処理および拡張更新された推測領域Ｅ中の人体領域の抽出処理を繰り返し行うようにしているが、推測領域Ｅの拡張更新処理および拡張更新された推測領域Ｅ中の人体領域の抽出処理を行なう最大回数を予め設定し、設定された１回以上の所定回数以内で人体領域抽出処理を終了するようにしてもよい。

本発明の人体領域抽出装置の一実施の形態を示すブロック図 図１の候補領域決定手段により候補領域Ｃを決定する一方法を説明するための図 図１の候補領域決定手段により決定された複数の候補領域Ｃｎを示す図 図１の人体領域抽出装置における単位領域判断手段の一例を示すブロック図 図４の弱判別器が有する特徴量−スコア特性の一例を示すグラフ 図１の推測領域決定手段により推測領域Ｅを決定する一方法を説明するための図 （ａ）は人体領域モデルＧ_ＨにおけるＲ、Ｇを示すグラフ、（ｂ）は背景領域モデルＧ_ＢにおけるＲ、Ｇを示すグラフ 推測領域Ｅを人体領域と背景領域とに分割する一方法を説明するための図 図１の判断手段および推測領域決定手段による判断処理と推測領域拡張更新処理の一方法を説明するための図 （ａ）は１回目の推測領域Ｅおよび抽出された人体領域Ｈｕを示す図、（ｂ）は２回目の推測領域Ｅおよび人体領域Ｈｕを示す図、（ｃ）は最終推測領域Ｅおよび人体領域Ｈｕを示す図 本発明の人体領域抽出方法の一実施の形態を示すフローチャート 判断手段および推測領域決定手段による判断処理と推測領域拡張更新処理の一方法を説明するための図 推測領域決定手段により推測領域を拡張更新する一方法を示す図

符号の説明

１０ 顔検出手段
２０ 推測領域決定手段
３０ 単位領域判断手段
４０ 推測領域決定手段
５０ 人体領域抽出手段
６０ 人体領域存在判断手段
Ｐ 画像
Ｆ 両目（顔または顔部品）
Ｃ 候補領域
Ｅ 推測領域
Ｈｕ 人体領域
Ｂ 背景領域
Ｂ_ｉｊ 単位領域
Ｆ_ｉｊ 単位領域判別器
Ｌ 推測領域の輪郭
Ｑ 輪郭周辺領域
Ｒ_Ｎ 近傍外側領域

Claims (10)

1. 画像中の人体領域を抽出する方法であって、
   画像中の顔または顔部品を検出し、
   検出された顔または顔部品の位置情報から前記人体領域が含まれるであろう候補領域を決定し、
   決定された候補領域を構成する２画素以上の大きさの各単位領域が人体領域を含むか否かを判断し、
   人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定し、
   決定された推測領域中の人体領域を抽出する
   ことを特徴とする人体領域抽出方法。
2. 前記推測領域中の輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かを判断し、
   前記輪郭周辺領域に前記抽出された人体領域が存在しないと判断されるまで、前記輪郭周辺領域に存在する人体領域の近傍かつ前記推測領域の外側に存在する近傍外側領域を含むように前記推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、前記輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かを判断することを繰り返し行う
   ことを特徴とする請求項１記載の人体領域抽出方法。
3. 画像中の人体領域を抽出する装置であって、
   前記画像中の顔または顔部品を検出する顔検出手段と、
   検出された顔または顔部品の位置情報から前記人体領域が含まれるであろう候補領域を決定する候補領域決定手段と、
   決定された候補領域を構成する２画素以上の大きさの各単位領域が人体領域を含むか否かを判断する単位領域判断手段と、
   人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定する推測領域決定手段と、
   決定された推測領域中の人体領域を抽出する人体領域抽出手段と
   を備えたことを特徴とする人体領域抽出装置。
4. 前記推測領域中の輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かを判断する人体領域存在判断手段をさらに備え、
   前記推測領域決定手段、前記人体領域抽出手段および前記人体領域存在判断手段が、前記人体領域存在判断手段が前記輪郭周辺領域に前記抽出された人体領域が存在しないと判断するまで、前記輪郭周辺領域に存在する人体領域の近傍かつ前記推測領域の外側に存在する近傍外側領域を含むように前記推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、前記輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かを判断することを繰り返し行うものである
   ことを特徴とする請求項３記載の人体領域抽出装置。
5. 前記単位領域判断手段が、前記単位領域のそれぞれに対応させて設けられた、対応する単位領域が人体領域を含むか否かを判別する複数の判別器を備えていることを特徴とする請求項３または請求項４記載の人体領域抽出装置。
6. 前記候補領域決定手段が、複数の候補領域を決定するものであり、
   前記単位領域判断手段が、前記決定された複数の候補領域の各々について該候補領域を構成する２画素以上の大きさの各単位領域が人体領域を含むか否かを判断するものであり、
   前記推測領域決定手段が、前記各候補領域毎に人体領域を含むと判断された単位領域の集合を推測領域候補として決定し、決定された各推測領域候補の中から最適な推測領域候補を選定し、該選定された推測領域候補を前記推測領域として決定する
   ものであることを特徴とする請求項３から５のいずれか１項記載の人体領域抽出装置。
7. 前記人体領域抽出手段が、前記推測領域の画像データおよび該推測領域の外側に位置する外部領域の画像データから前記推測領域中の各画素の評価値を算出し、その評価値に基づいて人体領域を抽出するものであることを特徴とする請求項３から６のいずれか１項記載の人体領域抽出装置。
8. 前記人体領域抽出手段が、前記画像中の肌色情報をさらに用いて、人体領域を抽出するものであることを特徴とする請求項７記載の人体領域抽出装置。
9. 画像中の人体領域を抽出するプログラムであって、
   コンピュータに、
   画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から前記人体領域が含まれるであろう候補領域を決定し、決定された候補領域を構成する２画素以上の大きさの各単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定し、決定された推測領域中の人体領域を抽出する
   ことを実行させるためのプログラム。
10. 前記推測領域中の輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かを判断し、前記輪郭周辺領域に前記抽出された人体領域が存在しないと判断されるまで、前記輪郭周辺領域に存在する人体領域の近傍かつ前記推測領域の外側に存在する近傍外側領域を含むように前記推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、前記輪郭周辺領域に前記抽出された人体領域の少なくとも一部が存在するか否かを判断することを繰り返し行う
    ことをコンピュータに実行させるための請求項９記載の人体領域抽出プログラム。

Images