JP4597391B2 - 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 - Google Patents
顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4597391B2 JP4597391B2 JP2001013818A JP2001013818A JP4597391B2 JP 4597391 B2 JP4597391 B2 JP 4597391B2 JP 2001013818 A JP2001013818 A JP 2001013818A JP 2001013818 A JP2001013818 A JP 2001013818A JP 4597391 B2 JP4597391 B2 JP 4597391B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- area
- skin color
- contour
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、カラー画像から人の顔領域を検出する顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
自律移動型ロボットの開発において、人間の識別や表情の認識を行うために画像中から顔領域を自動的に抽出することは重要な課題の一つである。例えば、テンプレートマッチング法は従来から知られている顔領域の抽出方法の一つである。この方法は、事前に準備したさまざまな種類の顔領域だけの画像をテンプレートとして、処理対象である画像中の顔画像とのマッチングを濃淡値を用いて行い、マッチング度の最も高いテンプレートを選択するものである。また、その他の方法として固有顔と呼ばれる特徴ベクトルを用いたEigenface法、色情報を用いた肌色領域のクラスタリング法などが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述したようなテンプレートマッチング法等の従来手法には次のような問題点がある。同じ画像中でも撮影されたカメラからの距離によって人物の顔の大きさが異なる場合や、動画像において人物が移動することによって各フレームにおける同一人物の顔の大きさが変化してしまう場合には、同じ人物の顔であっても同一のテンプレートで抽出することができない。したがって、あらゆる場合を想定して人物の顔領域を検出できるようにするためには、さまざまな大きさや種類の顔に対応した膨大な枚数のテンプレート等を事前に準備しなければならない。
【０００４】
また、テンプレートマッチング法では、テンプレート数を増大することによって計算コストが増大してしまうという欠点が生じてしまう。自律移動型ロボットの顔領域認識手法には、実用的な処理時間内で複数の顔を同時に探索して追跡する必要があるので、テンプレートマッチング法のような探索時間が必要となる手法を適用することは好ましくない。
さらに、色情報を用いるクラスタリング法を顔領域の検出に用いる場合、照明の変化や背景に肌色部分が存在すると肌色領域である顔領域を有効に抽出することができないといった問題が生じてしまう。
【０００５】
この発明は、このような事情を考慮してなされたものであり、テンプレートマッチング法のように膨大な枚数のテンプレートをあらかじめ記憶させておく必要がなく、高速に顔領域を検出することができる顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、撮像装置で取得されたカラー画像から肌色領域を抽出する抽出手段と、顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する顔領域特定手段とを有し、前記輪郭モデル生成手段は、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、前記評価値を算出すべき領域として設定する探索領域設定手段をさらに有することを特徴とする。
【０００８】
請求項３に記載の発明は、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出装置であって、前記カラー画像から肌色領域を抽出する抽出手段と、前記顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する顔領域特定手段と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、前記評価値を算出すべき領域として設定する探索領域設定手段と、前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する追跡手段とを有し、前記一のフレームのカラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１ないし３のいずれかの項に記載の発明において、前記抽出手段は、前記カラー画像の色相成分を利用することを特徴とする。
【００１０】
請求項５に記載の発明は、請求項１ないし４のいずれかの項に記載の発明において、前記距離画像は、互いに対応付けられた２台の撮像装置から取得された２枚の画像で構成されるステレオ画像を立体視することによって得られる奥行き情報を利用して作成されることを特徴とする。
【００１２】
請求項６に記載の発明は、撮像装置で取得されたカラー画像から肌色領域を抽出する第１の過程と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の過程と、顔領域の輪郭を与える輪郭モデルを生成する第３の過程と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の過程とを有し、前記第２の過程では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする。
【００１３】
請求項７に記載の発明は、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出方法であって、前記カラー画像から肌色領域を抽出する第１の過程と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の過程と、前記顔領域の輪郭を与える輪郭モデルを生成する第３の過程と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の過程と、前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する第５の過程とを有し、前記第３の過程では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする。
【００１５】
請求項８に記載の発明は、撮像装置で取得されたカラー画像から肌色領域を抽出する第１の手順と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順とをコンピュータに実行させ、前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させるプログラムを記録したことを特徴とする。
【００１６】
請求項９に記載の発明は、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出方法であって、前記カラー画像から肌色領域を抽出する第１の手順と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、前記顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順と、前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する第５の手順とをコンピュータに実行させ、前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させるプログラムを記録したことを特徴とする。
【００１８】
請求項１０に記載の発明は、撮像装置で取得されたカラー画像から肌色領域を抽出する第１の手順と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順とをコンピュータに実行させ、前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させることを特徴とする。
【００１９】
請求項１１に記載の発明は、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出方法であって、前記カラー画像から肌色領域を抽出する第１の手順と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、前記顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順と、前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する第５の手順とをコンピュータに実行させ、前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させることを特徴とする。
【００２１】
【発明の実施の形態】
以下、図面を参照して、この発明の一実施形態について説明する。図１は、この発明の一実施形態による顔領域検出装置の構成を示すブロック図である。
図１において、１１はステレオ画像入力手段であり、互いに対応付けられた２台のＣＣＤカメラ等の撮像装置によってカラーのステレオ画像を取得し、顔領域検出装置に入力するための手段である。１２は距離画像生成手段であり、ステレオ画像入力手段１１で入力された同一シーンを撮影した２枚のステレオ画像を立体視することによって被写体の画像情報として奥行き情報を獲得する。そして、それらの奥行き情報をステレオ画像のうちの一方のカラー画像に対応させた距離画像を生成するための手段である。
【００２２】
１３は肌色領域抽出手段であり、ＲＧＢ座標で取得したカラー画像をＨＬＳ座標に色座標変換して、色相成分等を用いて肌色に相当する領域だけを抽出することによって肌色領域とそれ以外の領域とからなる肌色領域画像を作成する手段である。
１４はエッジ抽出手段であり、肌色領域抽出手段１３で抽出された肌色領域の輪郭部分をエッジとして抽出してエッジ画像を作成する手段である。
【００２３】
１５は輪郭モデル決定手段であり、距離画像生成手段１２で生成した距離画像内の領域であって、対象とする肌色領域に対応した領域の奥行き情報を利用して決定する大きさをもった顔領域の輪郭モデルを生成するための手段である。尚、本実施形態では八角形の形状をした枠で表現された輪郭モデルを使用する。
１６は探索領域設定手段であり、距離画像生成手段１２で生成された距離画像を利用してあらかじめ指定された距離情報を有する被写体の領域だけを抽出し、その領域を含んだ矩形領域を顔領域を検出するための探索領域とする手段である。
【００２４】
１７はマッチング手段であり、輪郭モデル決定手段１５で決定された輪郭モデルとエッジ抽出手段１４で抽出された肌色領域の輪郭画素との一致画素数、並びに輪郭モデルに囲まれた領域内に含まれる肌色領域抽出手段１３で抽出された肌色領域内の肌色画素数とをパラメータとした相関値を計算する手段である。尚、この計算は探索領域設定手段１６で決定された探索領域内に限定される。
１８は顔領域判定手段であり、マッチング手段１７で計算された２種類の画素数に基づいて設定される相関値が、あらかじめ設定されたしきい値よりも大きい場合であって、かつ探索領域内で最大である場合の肌色領域を顔領域と判定する手段である。
【００２５】
次に、図面を参照して、同実施形態の動作について説明する。
図２は、上述した実施形態における顔領域検出手順を説明するためのフローチャートである。
まず、互いに対応付けられた２台のＣＣＤカメラ等の撮像装置であるステレオ画像入力手段１１によってカラーのステレオ画像を取得する（ステップＳ１１）。図３は、人物の顔を含むシーンのステレオ画像のうちの１枚のカラー画像の概要を示す図である。図３において、３は３人の人物３１、３２、３３を屋内で撮影したシーンのカラー画像である。
【００２６】
そして、距離画像生成手段１２によってステレオ画像を立体視することによって奥行き情報を有する距離画像を生成する（ステップＳ１２）。距離画像を作成する場合には２枚のモノクロ画像でもよい。図４は、図３のカラー画像３に対応した奥行き情報を有する距離画像の概要を示す図であり、これを４とする。距離画像４においては、カメラから近い部分は明るく、カメラから遠くなるほど暗くなるようにして距離が表現されている。すなわち、カメラに近く、ほぼ同じ距離に位置する人物３１、３２、３３はほぼ同じ濃淡値の明るさで表現される。尚、本実施形態ではカメラから近い部分は白色、遠い部分は斜線で表示している。
【００２７】
次に、肌色領域抽出手段１３でステレオ画像の一方のカラー画像３から肌色領域を抽出することによって顔領域を含んだ肌色領域画像を作成する（ステップＳ１３）。
ここでステップＳ１３で肌色領域画像を作成する手順について図５を用いて詳細に説明する。図５は、図２におけるステップＳ１３における肌色領域画像の作成手順を説明するためのフローチャートである。
まず、入力されたカラー画像をＲＧＢ座標からＨＬＳ色座標に色座標変換する（ステップＳ１３１）。これによって、赤色、緑色、青色成分で表現されていた各画素の値を色相成分等で取り出すことができる。
そして、色相成分等からあらかじめ肌色画素とみなす範囲の大きさをもつ画素を設定しておき肌色画素として抽出し、その肌色画素の集合を肌色領域とする（ステップＳ１３２）。
【００２８】
次に、肌色領域とそれ以外の領域に分ける二値化処理を行う（ステップＳ１３３）。
さらに、二値化された画像において肌色領域に相当する部分に対して領域の膨張処理と収縮処理を行う（ステップＳ１３４）。
そして、その画像内に含まれる各領域の中からある一定数以上の画素数を有しない領域は顔領域ではなくノイズであるとみなして除去するノイズ除去処理を行う（ステップＳ１３５）。これによって二値の肌色領域画像を作成することができる。図６は、上述した手順において作成された肌色領域画像の概要を示す図であり、これを６とする。図６において、６１〜６５は肌色領域である。
【００２９】
そして、肌色領域画像の各肌色領域の輪郭だけをエッジとして抽出したエッジ画像を作成する（ステップＳ１３６）。図７は、エッジ画像の概要を示す図であり、これを７とする。図７において、７１〜７５は図６の肌色領域６１〜６５の輪郭部分に相当するエッジである。
【００３０】
さらに、あらかじめ設定された範囲内の距離情報を有する距離画像内の領域を含んだ矩形領域を探索領域設定手段１６によって求め、その領域を輪郭モデルを用いてマッチングを行うための探索領域とする（ステップＳ１４）。本実施形態では、カメラからの距離が５メートル以内の奥行き情報を有する領域だけを距離画像４から求めて、その領域を含む矩形領域を一つの探索領域とする。
図８は、距離画像４から作成した探索領域を説明するための図である。図８において、符号８の点線で示される部分が探索領域の境界であり、その内側が探索領域である。この際、５メートル以内の領域が同一画像の中で離れて存在する場合には２つ以上の探索領域が作成される可能性がある。尚、カメラからの距離は本装置を適用する環境等の条件に応じて適宜設定することができる。
【００３１】
そして、２つ以上の探索領域が設定された場合は１つの探索領域を指定して（ステップＳ１５）、１つの探索領域しか設定されなければその探索領域について以下の処理を行う。
ステップＳ１３で作成した肌色領域画像６上にステップＳ１５で指定された探索領域８を適用し、その探索領域内に存在する各肌色領域から、顔領域の検出処理を行う一の肌色領域を指定する（ステップＳ１６）。
例えば、本実施形態において図６の肌色領域６１が指定された場合について考える。そこで、指定された肌色領域６１に対応する距離画像内の領域の奥行き情報に基づいて、カメラから５メートル以内であるといった有効範囲内の肌色領域であるかどうかを判定する（ステップＳ１７）。
そして、判定結果がＹＥＳであればステップＳ１８に進み、ＮＯであれば検出すべき顔領域ではないと判断してステップＳ１６に戻り、別の肌色領域を対象としてステップＳ１７の処理を行う。本実施形態ではＹＥＳと判断されてステップＳ１８に進む。
【００３２】
ステップＳ１８では、対象となっている肌色領域６１に対応する距離画像内の奥行き情報に基づいて、輪郭モデル決定手段１５によってその奥行き情報に対応した大きさの八角形の輪郭モデルを生成する。図９は、図６で生成された肌色領域画像６上に適用された探索領域８と輪郭モデルを説明するための図である。
図９において、９１は肌色領域６１に基づいて輪郭モデル決定手段１５で決定された輪郭モデルである。そして、探索領域８内においてステップＳ１８で作成された輪郭モデル９１を１画素ずつ走査させながら肌色領域とのマッチングを行う。
【００３３】
また、図１０は図７で生成されたエッジ画像７上に適用された探索領域８と輪郭モデル９１を説明するための図である。そして、探索領域８内において輪郭モデル９１を１画素ずつ走査させながら各肌色領域の輪郭であるエッジとのマッチングを行う（ステップＳ１９）。
このマッチングでは、作成された輪郭モデルと肌色領域の輪郭画素であるエッジとの一致画素数、並びに輪郭モデルに囲まれた肌色画素数を計算する。そして、一致画素数と肌色画素数をパラメータとした相関値を顔領域かどうかを判定するための評価値とする（ステップＳ２０）。
【００３４】
本実施形態では、次のようにして評価値を求める。まず、図９に示すように肌色領域画像６上に適用された輪郭モデル９１に囲まれた肌色画素数を計算し、これをＭ１とする。次に、輪郭モデル９１で囲まれる領域内の全画素数を計算し、これをＭ２とする。そして、Ｍ１をＭ２で除算して得られた値をＭ３とする。
また、図１０に示すようにエッジ画像７上に適用された輪郭モデル９１と一致するエッジ画素を計算し、これをＮ１とする。次に、輪郭モデルを構成する画素数を計算し、これをＮ２とする。そして、Ｎ１をＮ２で除算して得られた値をＮ３とする。
そして、Ｍ３、Ｎ３のそれぞれの値に対してあらかじめ指定された重み係数を乗算し、さらに両者を加算した値を評価値Ｚとする。
【００３５】
この計算を探索領域８内において実施し、評価値Ｚが探索領域８内で最大かつしきい値以上であった場合に、対象としている肌色領域は顔領域であると判定する。また、それ以外の場合は顔領域ではないと判定する（ステップＳ２１）。
尚、評価値Ｚを求める基礎となったＭ３、Ｎ３についてもそれぞれしきい値を設定しておき、両者が共にしきい値以上の場合に評価値Ｚを求めるようにしてもよい。このように本実施形態においては、輪郭モデル９１に基づいて肌色領域６１は顔領域であると判定される。
【００３６】
以上の処理が終了すると次にステップＳ２２に進む。ステップＳ２２において、同一探索領域内に他の肌色領域が存在する場合（ＹＥＳ）、ステップＳ１６に戻って当該肌色領域について上述した手順で顔領域検出のための処理を実行する（ステップＳ２２）。また、他の肌色領域が存在しない場合（ＮＯ）、当該探索領域における顔領域はすべて検出されたのでステップＳ２３に進む。
【００３７】
ステップＳ２３において、本実施形態では探索領域８内に肌色領域６１の他に肌色領域６２〜６５が存在するのでＹＥＳと判断され、上述した手順と同様にして、肌色領域６２〜６５について顔領域であるかどうかが判定される。その結果、肌色領域６１、６２、６３の３つの領域が顔領域と判定され、肌色領域６４、６５については、評価値Ｚが小さくなるので顔領域とは判定されない。
このようにして、図１１に示されるように、一の画像においてすべての顔領域を検出することができる。
【００３８】
次に、ステップＳ２３では、同一画像内に他の探索領域が存在するかどうかを判断する。
そして、他の探索領域が存在する場合（ＹＥＳ）、ステップＳ１５に戻って同様の処理を行う。また、他の探索領域が存在しない場合（ＮＯ）、当該画像内のすべての顔領域が検出されたので終了する。本実施形態では、他の探索領域がないので終了する。
【００３９】
次に、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において顔領域を追跡する処理手順について説明する。図１２は、連続フレームにおいて顔領域を追跡する手順を説明するためのフローチャートである。
顔領域の追跡に関する処理は、まず上述した手順に基づいて一のフレームにおける顔領域を検出する（ステップＳ３１）。そして、連続する次のフレームにおいて、探索領域を設定する（ステップＳ３２）。このとき、設定する探索領域の位置は前フレームで設定した位置に基づいて前位置と同位置またはその近傍に設定される。
【００４０】
次フレームの画像に探索領域が設定されると、前フレームで決定された輪郭モデルを使用して、図２のステップＳ１９に示される処理手順と同様にして肌色画素数等が計算されて評価値が算出される（ステップＳ３３）。
次に、その評価値が当該探索領域内で最大であって、かつ一定のしきい値以上であるかどうかを判断する（ステップＳ３４）。
そして、判断結果がＹＥＳであれば、その位置が顔領域であるとみなしてステップＳ３５へ進む。また、判断結果がＮＯであれば、その輪郭モデルに対応する顔領域は当該探索領域内にはすでにないとして終了する。
【００４１】
また、ステップＳ３５では、さらに次フレームで追跡するかどうかを判断する。そして、判断結果がＹＥＳならば、ステップＳ３２に戻って次フレームにおける追跡処理を実行する。また、判断結果がＮＯならば、顔領域を追跡しないとして終了する。
【００４２】
尚、上述した実施形態では、ＣＣＤカメラ等の撮像装置を用いて撮影したカラーのステレオ画像を直接入力する方法について示したが、あらかじめ撮影して保存されていた画像ファイルを入力して同様の手順で顔領域を検出することもできる。
また、輪郭モデル内の肌色画素数を計算する代わりに、色ヒストグラム計算を用いてもよい。
【００４３】
さらに、上述した実施形態においては、輪郭モデルとして八角形のフレームのモデルを使用したが、楕円やその他多角形等の形状をしたモデルを使用してもよい。
さらにまた、輪郭モデルの縦横比を変化させることによって、個人差のある顔形状に対してより細かなマッチング処理を行うことができる。
さらにまた、実際の顔の輪郭に近い形状の輪郭モデルを使用することにより、正確な顔の位置の特定も可能になる。
【００４４】
尚、本実施形態においては、２次元であるカラー画像だけでなく距離画像を使用しているので、輪郭モデルを用いて肌色領域画像６やエッジ画像７とのマッチングを行うのではなく、距離画像と３次元の顔モデルによるマッチングを行うことも可能である。
【００４５】
また、顔領域の初期探索と追跡を同時に行うことによって、顔領域を追跡しながら新たに出現した顔領域にの検出も行うことができる。あるいは、しきい値を変化させることによって、容易に環境の変動に対応することもできる。
さらにまた、過去に使用した探索領域８や輪郭モデルの大きさ等の履歴を記録しておくことで、連続画像の途中で画面外に出ていった顔領域や間違えて検出された顔領域で必要がないものを効率的に削除することもできる。
【００４６】
なお、図１における各処理手段の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより顔領域の検出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００４７】
また、「コンピュータ読み取り可能な記録媒体」とは、フロッピーディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４９】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、撮像装置で取得されたカラー画像から肌色領域を抽出する抽出手段と、顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、輪郭モデルと肌色領域の輪郭画素とが一致した画素の数と、輪郭モデルに囲まれた領域内に含まれる肌色領域内の画素の数とをパラメータとした評価値の高さに応じて顔領域を特定する顔領域特定手段とを有し、輪郭モデル生成手段は、カラー画像の奥行き情報を有する距離画像を用い、肌色領域の奥行き情報に対応した大きさの輪郭モデルを生成するので、テンプレートマッチング法のように膨大な枚数のテンプレートをあらかじめ記憶させておく必要がなく、高速に顔領域を検出することができる。
【００５０】
請求項２に記載の発明によれば、距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する探索領域設定手段をさらに有するので、顔領域の検出にかかる処理速度をより向上することができる。
【００５１】
請求項３に記載の発明によれば、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において顔領域を追跡する顔領域検出装置であって、カラー画像から肌色領域を抽出する抽出手段と、顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、輪郭モデルと肌色領域の輪郭画素とが一致した画素の数と、輪郭モデルに囲まれた領域内に含まれる肌色領域内の画素の数とをパラメータとした評価値の高さに応じて顔領域を特定する顔領域特定手段と、距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する探索領域設定手段と、一のフレームに設定された評価値を算出すべき領域の位置を反映させて、次フレームでの評価値を算出すべき領域の位置を設定する追跡手段とを有し、一のフレームのカラー画像の奥行き情報を有する距離画像を用い、肌色領域の奥行き情報に対応した大きさの輪郭モデルを生成するので、連続するフレームから複数の顔領域を効率よく追跡することができ、自律移動ロボットの目の部分等に用いて好適である。さらに、次フレーム以降における顔領域の追跡に奥行き情報を有する距離画像を使用する必要もない。
【００５２】
請求項４に記載の発明によれば、抽出手段は、カラー画像の色相成分等を利用することを特徴とする。色相成分を利用することにより、通常のＲＧＢの値により肌色を識別するよりも、ロバストな肌色の検出が可能となる。
【００５３】
請求項５に記載の発明によれば、距離画像は、互いに対応付けられた２台の撮像装置から取得された２枚の画像で構成されるステレオ画像を立体視することによって得られる奥行き情報を利用して作成されることを特徴とするので、カラー画像と距離情報とを同時に取得することができ、距離画像作成のためにカメラ以外の特殊な装置を用いる必要がない。
【００５４】
本願発明によれば、顔領域特定手段は、輪郭モデルと肌色領域の輪郭画素とが一致した画素の数と、輪郭モデルに囲まれた領域内に含まれる肌色領域内の画素の数とをパラメータとした評価値の高さに応じて顔領域を特定することを特徴とするので、輪郭モデルと肌色領域とのマッチングを２つのパラメータによって評価することができ、高い信頼性で人の顔領域を検出することができる。
【図面の簡単な説明】
【図１】 この発明の一実施形態による顔領域検出装置の構成を示すブロック図である。
【図２】 上述した実施形態における顔領域検出手順を説明するためのフローチャートである。
【図３】 人物の顔を含むシーンのステレオ画像のうちの１枚のカラー画像３の概要を示す図である。
【図４】 カラー画像３に対応した奥行き情報を有する距離画像４の概要を示す図である。
【図５】 図２のステップＳ１３における肌色領域画像６の作成手順を説明するためのフローチャートである。
【図６】 上述した実施形態において作成された肌色領域画像６の概要を示す図である。
【図７】 肌色領域画像６から作成されたエッジ画像の概要を示す図である。
【図８】 距離画像４の奥行き情報を利用して作成した探索領域８を説明するための図である。
【図９】 肌色領域画像６上に適用される探索領域８と輪郭モデルを説明するための図である。
【図１０】 エッジ画像上に適用される探索領域８と輪郭モデルを説明するための図である。
【図１１】 一の画像におけるすべての顔領域を検出した結果を説明するための図である。
【図１２】 連続フレームにおいて顔領域を追跡する手順を説明するためのフローチャートである。
【符号の説明】
３ カラー画像
４ 距離画像
６ 肌色領域画像
７ エッジ画像
８ 探索領域
１１ ステレオ画像入力手段
１２ 距離画像生成手段
１３ 肌色領域抽出手段
１４ エッジ抽出手段
１５ 輪郭モデル決定手段
１６ 探索領域設定手段
１７ マッチング手段
１８ 顔領域判定手段
９１、９２、９３ 輪郭モデル
【発明の属する技術分野】
この発明は、カラー画像から人の顔領域を検出する顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
自律移動型ロボットの開発において、人間の識別や表情の認識を行うために画像中から顔領域を自動的に抽出することは重要な課題の一つである。例えば、テンプレートマッチング法は従来から知られている顔領域の抽出方法の一つである。この方法は、事前に準備したさまざまな種類の顔領域だけの画像をテンプレートとして、処理対象である画像中の顔画像とのマッチングを濃淡値を用いて行い、マッチング度の最も高いテンプレートを選択するものである。また、その他の方法として固有顔と呼ばれる特徴ベクトルを用いたEigenface法、色情報を用いた肌色領域のクラスタリング法などが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述したようなテンプレートマッチング法等の従来手法には次のような問題点がある。同じ画像中でも撮影されたカメラからの距離によって人物の顔の大きさが異なる場合や、動画像において人物が移動することによって各フレームにおける同一人物の顔の大きさが変化してしまう場合には、同じ人物の顔であっても同一のテンプレートで抽出することができない。したがって、あらゆる場合を想定して人物の顔領域を検出できるようにするためには、さまざまな大きさや種類の顔に対応した膨大な枚数のテンプレート等を事前に準備しなければならない。
【０００４】
また、テンプレートマッチング法では、テンプレート数を増大することによって計算コストが増大してしまうという欠点が生じてしまう。自律移動型ロボットの顔領域認識手法には、実用的な処理時間内で複数の顔を同時に探索して追跡する必要があるので、テンプレートマッチング法のような探索時間が必要となる手法を適用することは好ましくない。
さらに、色情報を用いるクラスタリング法を顔領域の検出に用いる場合、照明の変化や背景に肌色部分が存在すると肌色領域である顔領域を有効に抽出することができないといった問題が生じてしまう。
【０００５】
この発明は、このような事情を考慮してなされたものであり、テンプレートマッチング法のように膨大な枚数のテンプレートをあらかじめ記憶させておく必要がなく、高速に顔領域を検出することができる顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、撮像装置で取得されたカラー画像から肌色領域を抽出する抽出手段と、顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する顔領域特定手段とを有し、前記輪郭モデル生成手段は、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、前記評価値を算出すべき領域として設定する探索領域設定手段をさらに有することを特徴とする。
【０００８】
請求項３に記載の発明は、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出装置であって、前記カラー画像から肌色領域を抽出する抽出手段と、前記顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する顔領域特定手段と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、前記評価値を算出すべき領域として設定する探索領域設定手段と、前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する追跡手段とを有し、前記一のフレームのカラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１ないし３のいずれかの項に記載の発明において、前記抽出手段は、前記カラー画像の色相成分を利用することを特徴とする。
【００１０】
請求項５に記載の発明は、請求項１ないし４のいずれかの項に記載の発明において、前記距離画像は、互いに対応付けられた２台の撮像装置から取得された２枚の画像で構成されるステレオ画像を立体視することによって得られる奥行き情報を利用して作成されることを特徴とする。
【００１２】
請求項６に記載の発明は、撮像装置で取得されたカラー画像から肌色領域を抽出する第１の過程と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の過程と、顔領域の輪郭を与える輪郭モデルを生成する第３の過程と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の過程とを有し、前記第２の過程では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする。
【００１３】
請求項７に記載の発明は、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出方法であって、前記カラー画像から肌色領域を抽出する第１の過程と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の過程と、前記顔領域の輪郭を与える輪郭モデルを生成する第３の過程と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の過程と、前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する第５の過程とを有し、前記第３の過程では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする。
【００１５】
請求項８に記載の発明は、撮像装置で取得されたカラー画像から肌色領域を抽出する第１の手順と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順とをコンピュータに実行させ、前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させるプログラムを記録したことを特徴とする。
【００１６】
請求項９に記載の発明は、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出方法であって、前記カラー画像から肌色領域を抽出する第１の手順と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、前記顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順と、前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する第５の手順とをコンピュータに実行させ、前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させるプログラムを記録したことを特徴とする。
【００１８】
請求項１０に記載の発明は、撮像装置で取得されたカラー画像から肌色領域を抽出する第１の手順と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順とをコンピュータに実行させ、前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させることを特徴とする。
【００１９】
請求項１１に記載の発明は、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出方法であって、前記カラー画像から肌色領域を抽出する第１の手順と、前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、前記顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順と、前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する第５の手順とをコンピュータに実行させ、前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させることを特徴とする。
【００２１】
【発明の実施の形態】
以下、図面を参照して、この発明の一実施形態について説明する。図１は、この発明の一実施形態による顔領域検出装置の構成を示すブロック図である。
図１において、１１はステレオ画像入力手段であり、互いに対応付けられた２台のＣＣＤカメラ等の撮像装置によってカラーのステレオ画像を取得し、顔領域検出装置に入力するための手段である。１２は距離画像生成手段であり、ステレオ画像入力手段１１で入力された同一シーンを撮影した２枚のステレオ画像を立体視することによって被写体の画像情報として奥行き情報を獲得する。そして、それらの奥行き情報をステレオ画像のうちの一方のカラー画像に対応させた距離画像を生成するための手段である。
【００２２】
１３は肌色領域抽出手段であり、ＲＧＢ座標で取得したカラー画像をＨＬＳ座標に色座標変換して、色相成分等を用いて肌色に相当する領域だけを抽出することによって肌色領域とそれ以外の領域とからなる肌色領域画像を作成する手段である。
１４はエッジ抽出手段であり、肌色領域抽出手段１３で抽出された肌色領域の輪郭部分をエッジとして抽出してエッジ画像を作成する手段である。
【００２３】
１５は輪郭モデル決定手段であり、距離画像生成手段１２で生成した距離画像内の領域であって、対象とする肌色領域に対応した領域の奥行き情報を利用して決定する大きさをもった顔領域の輪郭モデルを生成するための手段である。尚、本実施形態では八角形の形状をした枠で表現された輪郭モデルを使用する。
１６は探索領域設定手段であり、距離画像生成手段１２で生成された距離画像を利用してあらかじめ指定された距離情報を有する被写体の領域だけを抽出し、その領域を含んだ矩形領域を顔領域を検出するための探索領域とする手段である。
【００２４】
１７はマッチング手段であり、輪郭モデル決定手段１５で決定された輪郭モデルとエッジ抽出手段１４で抽出された肌色領域の輪郭画素との一致画素数、並びに輪郭モデルに囲まれた領域内に含まれる肌色領域抽出手段１３で抽出された肌色領域内の肌色画素数とをパラメータとした相関値を計算する手段である。尚、この計算は探索領域設定手段１６で決定された探索領域内に限定される。
１８は顔領域判定手段であり、マッチング手段１７で計算された２種類の画素数に基づいて設定される相関値が、あらかじめ設定されたしきい値よりも大きい場合であって、かつ探索領域内で最大である場合の肌色領域を顔領域と判定する手段である。
【００２５】
次に、図面を参照して、同実施形態の動作について説明する。
図２は、上述した実施形態における顔領域検出手順を説明するためのフローチャートである。
まず、互いに対応付けられた２台のＣＣＤカメラ等の撮像装置であるステレオ画像入力手段１１によってカラーのステレオ画像を取得する（ステップＳ１１）。図３は、人物の顔を含むシーンのステレオ画像のうちの１枚のカラー画像の概要を示す図である。図３において、３は３人の人物３１、３２、３３を屋内で撮影したシーンのカラー画像である。
【００２６】
そして、距離画像生成手段１２によってステレオ画像を立体視することによって奥行き情報を有する距離画像を生成する（ステップＳ１２）。距離画像を作成する場合には２枚のモノクロ画像でもよい。図４は、図３のカラー画像３に対応した奥行き情報を有する距離画像の概要を示す図であり、これを４とする。距離画像４においては、カメラから近い部分は明るく、カメラから遠くなるほど暗くなるようにして距離が表現されている。すなわち、カメラに近く、ほぼ同じ距離に位置する人物３１、３２、３３はほぼ同じ濃淡値の明るさで表現される。尚、本実施形態ではカメラから近い部分は白色、遠い部分は斜線で表示している。
【００２７】
次に、肌色領域抽出手段１３でステレオ画像の一方のカラー画像３から肌色領域を抽出することによって顔領域を含んだ肌色領域画像を作成する（ステップＳ１３）。
ここでステップＳ１３で肌色領域画像を作成する手順について図５を用いて詳細に説明する。図５は、図２におけるステップＳ１３における肌色領域画像の作成手順を説明するためのフローチャートである。
まず、入力されたカラー画像をＲＧＢ座標からＨＬＳ色座標に色座標変換する（ステップＳ１３１）。これによって、赤色、緑色、青色成分で表現されていた各画素の値を色相成分等で取り出すことができる。
そして、色相成分等からあらかじめ肌色画素とみなす範囲の大きさをもつ画素を設定しておき肌色画素として抽出し、その肌色画素の集合を肌色領域とする（ステップＳ１３２）。
【００２８】
次に、肌色領域とそれ以外の領域に分ける二値化処理を行う（ステップＳ１３３）。
さらに、二値化された画像において肌色領域に相当する部分に対して領域の膨張処理と収縮処理を行う（ステップＳ１３４）。
そして、その画像内に含まれる各領域の中からある一定数以上の画素数を有しない領域は顔領域ではなくノイズであるとみなして除去するノイズ除去処理を行う（ステップＳ１３５）。これによって二値の肌色領域画像を作成することができる。図６は、上述した手順において作成された肌色領域画像の概要を示す図であり、これを６とする。図６において、６１〜６５は肌色領域である。
【００２９】
そして、肌色領域画像の各肌色領域の輪郭だけをエッジとして抽出したエッジ画像を作成する（ステップＳ１３６）。図７は、エッジ画像の概要を示す図であり、これを７とする。図７において、７１〜７５は図６の肌色領域６１〜６５の輪郭部分に相当するエッジである。
【００３０】
さらに、あらかじめ設定された範囲内の距離情報を有する距離画像内の領域を含んだ矩形領域を探索領域設定手段１６によって求め、その領域を輪郭モデルを用いてマッチングを行うための探索領域とする（ステップＳ１４）。本実施形態では、カメラからの距離が５メートル以内の奥行き情報を有する領域だけを距離画像４から求めて、その領域を含む矩形領域を一つの探索領域とする。
図８は、距離画像４から作成した探索領域を説明するための図である。図８において、符号８の点線で示される部分が探索領域の境界であり、その内側が探索領域である。この際、５メートル以内の領域が同一画像の中で離れて存在する場合には２つ以上の探索領域が作成される可能性がある。尚、カメラからの距離は本装置を適用する環境等の条件に応じて適宜設定することができる。
【００３１】
そして、２つ以上の探索領域が設定された場合は１つの探索領域を指定して（ステップＳ１５）、１つの探索領域しか設定されなければその探索領域について以下の処理を行う。
ステップＳ１３で作成した肌色領域画像６上にステップＳ１５で指定された探索領域８を適用し、その探索領域内に存在する各肌色領域から、顔領域の検出処理を行う一の肌色領域を指定する（ステップＳ１６）。
例えば、本実施形態において図６の肌色領域６１が指定された場合について考える。そこで、指定された肌色領域６１に対応する距離画像内の領域の奥行き情報に基づいて、カメラから５メートル以内であるといった有効範囲内の肌色領域であるかどうかを判定する（ステップＳ１７）。
そして、判定結果がＹＥＳであればステップＳ１８に進み、ＮＯであれば検出すべき顔領域ではないと判断してステップＳ１６に戻り、別の肌色領域を対象としてステップＳ１７の処理を行う。本実施形態ではＹＥＳと判断されてステップＳ１８に進む。
【００３２】
ステップＳ１８では、対象となっている肌色領域６１に対応する距離画像内の奥行き情報に基づいて、輪郭モデル決定手段１５によってその奥行き情報に対応した大きさの八角形の輪郭モデルを生成する。図９は、図６で生成された肌色領域画像６上に適用された探索領域８と輪郭モデルを説明するための図である。
図９において、９１は肌色領域６１に基づいて輪郭モデル決定手段１５で決定された輪郭モデルである。そして、探索領域８内においてステップＳ１８で作成された輪郭モデル９１を１画素ずつ走査させながら肌色領域とのマッチングを行う。
【００３３】
また、図１０は図７で生成されたエッジ画像７上に適用された探索領域８と輪郭モデル９１を説明するための図である。そして、探索領域８内において輪郭モデル９１を１画素ずつ走査させながら各肌色領域の輪郭であるエッジとのマッチングを行う（ステップＳ１９）。
このマッチングでは、作成された輪郭モデルと肌色領域の輪郭画素であるエッジとの一致画素数、並びに輪郭モデルに囲まれた肌色画素数を計算する。そして、一致画素数と肌色画素数をパラメータとした相関値を顔領域かどうかを判定するための評価値とする（ステップＳ２０）。
【００３４】
本実施形態では、次のようにして評価値を求める。まず、図９に示すように肌色領域画像６上に適用された輪郭モデル９１に囲まれた肌色画素数を計算し、これをＭ１とする。次に、輪郭モデル９１で囲まれる領域内の全画素数を計算し、これをＭ２とする。そして、Ｍ１をＭ２で除算して得られた値をＭ３とする。
また、図１０に示すようにエッジ画像７上に適用された輪郭モデル９１と一致するエッジ画素を計算し、これをＮ１とする。次に、輪郭モデルを構成する画素数を計算し、これをＮ２とする。そして、Ｎ１をＮ２で除算して得られた値をＮ３とする。
そして、Ｍ３、Ｎ３のそれぞれの値に対してあらかじめ指定された重み係数を乗算し、さらに両者を加算した値を評価値Ｚとする。
【００３５】
この計算を探索領域８内において実施し、評価値Ｚが探索領域８内で最大かつしきい値以上であった場合に、対象としている肌色領域は顔領域であると判定する。また、それ以外の場合は顔領域ではないと判定する（ステップＳ２１）。
尚、評価値Ｚを求める基礎となったＭ３、Ｎ３についてもそれぞれしきい値を設定しておき、両者が共にしきい値以上の場合に評価値Ｚを求めるようにしてもよい。このように本実施形態においては、輪郭モデル９１に基づいて肌色領域６１は顔領域であると判定される。
【００３６】
以上の処理が終了すると次にステップＳ２２に進む。ステップＳ２２において、同一探索領域内に他の肌色領域が存在する場合（ＹＥＳ）、ステップＳ１６に戻って当該肌色領域について上述した手順で顔領域検出のための処理を実行する（ステップＳ２２）。また、他の肌色領域が存在しない場合（ＮＯ）、当該探索領域における顔領域はすべて検出されたのでステップＳ２３に進む。
【００３７】
ステップＳ２３において、本実施形態では探索領域８内に肌色領域６１の他に肌色領域６２〜６５が存在するのでＹＥＳと判断され、上述した手順と同様にして、肌色領域６２〜６５について顔領域であるかどうかが判定される。その結果、肌色領域６１、６２、６３の３つの領域が顔領域と判定され、肌色領域６４、６５については、評価値Ｚが小さくなるので顔領域とは判定されない。
このようにして、図１１に示されるように、一の画像においてすべての顔領域を検出することができる。
【００３８】
次に、ステップＳ２３では、同一画像内に他の探索領域が存在するかどうかを判断する。
そして、他の探索領域が存在する場合（ＹＥＳ）、ステップＳ１５に戻って同様の処理を行う。また、他の探索領域が存在しない場合（ＮＯ）、当該画像内のすべての顔領域が検出されたので終了する。本実施形態では、他の探索領域がないので終了する。
【００３９】
次に、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において顔領域を追跡する処理手順について説明する。図１２は、連続フレームにおいて顔領域を追跡する手順を説明するためのフローチャートである。
顔領域の追跡に関する処理は、まず上述した手順に基づいて一のフレームにおける顔領域を検出する（ステップＳ３１）。そして、連続する次のフレームにおいて、探索領域を設定する（ステップＳ３２）。このとき、設定する探索領域の位置は前フレームで設定した位置に基づいて前位置と同位置またはその近傍に設定される。
【００４０】
次フレームの画像に探索領域が設定されると、前フレームで決定された輪郭モデルを使用して、図２のステップＳ１９に示される処理手順と同様にして肌色画素数等が計算されて評価値が算出される（ステップＳ３３）。
次に、その評価値が当該探索領域内で最大であって、かつ一定のしきい値以上であるかどうかを判断する（ステップＳ３４）。
そして、判断結果がＹＥＳであれば、その位置が顔領域であるとみなしてステップＳ３５へ進む。また、判断結果がＮＯであれば、その輪郭モデルに対応する顔領域は当該探索領域内にはすでにないとして終了する。
【００４１】
また、ステップＳ３５では、さらに次フレームで追跡するかどうかを判断する。そして、判断結果がＹＥＳならば、ステップＳ３２に戻って次フレームにおける追跡処理を実行する。また、判断結果がＮＯならば、顔領域を追跡しないとして終了する。
【００４２】
尚、上述した実施形態では、ＣＣＤカメラ等の撮像装置を用いて撮影したカラーのステレオ画像を直接入力する方法について示したが、あらかじめ撮影して保存されていた画像ファイルを入力して同様の手順で顔領域を検出することもできる。
また、輪郭モデル内の肌色画素数を計算する代わりに、色ヒストグラム計算を用いてもよい。
【００４３】
さらに、上述した実施形態においては、輪郭モデルとして八角形のフレームのモデルを使用したが、楕円やその他多角形等の形状をしたモデルを使用してもよい。
さらにまた、輪郭モデルの縦横比を変化させることによって、個人差のある顔形状に対してより細かなマッチング処理を行うことができる。
さらにまた、実際の顔の輪郭に近い形状の輪郭モデルを使用することにより、正確な顔の位置の特定も可能になる。
【００４４】
尚、本実施形態においては、２次元であるカラー画像だけでなく距離画像を使用しているので、輪郭モデルを用いて肌色領域画像６やエッジ画像７とのマッチングを行うのではなく、距離画像と３次元の顔モデルによるマッチングを行うことも可能である。
【００４５】
また、顔領域の初期探索と追跡を同時に行うことによって、顔領域を追跡しながら新たに出現した顔領域にの検出も行うことができる。あるいは、しきい値を変化させることによって、容易に環境の変動に対応することもできる。
さらにまた、過去に使用した探索領域８や輪郭モデルの大きさ等の履歴を記録しておくことで、連続画像の途中で画面外に出ていった顔領域や間違えて検出された顔領域で必要がないものを効率的に削除することもできる。
【００４６】
なお、図１における各処理手段の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより顔領域の検出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００４７】
また、「コンピュータ読み取り可能な記録媒体」とは、フロッピーディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４９】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、撮像装置で取得されたカラー画像から肌色領域を抽出する抽出手段と、顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、輪郭モデルと肌色領域の輪郭画素とが一致した画素の数と、輪郭モデルに囲まれた領域内に含まれる肌色領域内の画素の数とをパラメータとした評価値の高さに応じて顔領域を特定する顔領域特定手段とを有し、輪郭モデル生成手段は、カラー画像の奥行き情報を有する距離画像を用い、肌色領域の奥行き情報に対応した大きさの輪郭モデルを生成するので、テンプレートマッチング法のように膨大な枚数のテンプレートをあらかじめ記憶させておく必要がなく、高速に顔領域を検出することができる。
【００５０】
請求項２に記載の発明によれば、距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する探索領域設定手段をさらに有するので、顔領域の検出にかかる処理速度をより向上することができる。
【００５１】
請求項３に記載の発明によれば、連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において顔領域を追跡する顔領域検出装置であって、カラー画像から肌色領域を抽出する抽出手段と、顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、輪郭モデルと肌色領域の輪郭画素とが一致した画素の数と、輪郭モデルに囲まれた領域内に含まれる肌色領域内の画素の数とをパラメータとした評価値の高さに応じて顔領域を特定する顔領域特定手段と、距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する探索領域設定手段と、一のフレームに設定された評価値を算出すべき領域の位置を反映させて、次フレームでの評価値を算出すべき領域の位置を設定する追跡手段とを有し、一のフレームのカラー画像の奥行き情報を有する距離画像を用い、肌色領域の奥行き情報に対応した大きさの輪郭モデルを生成するので、連続するフレームから複数の顔領域を効率よく追跡することができ、自律移動ロボットの目の部分等に用いて好適である。さらに、次フレーム以降における顔領域の追跡に奥行き情報を有する距離画像を使用する必要もない。
【００５２】
請求項４に記載の発明によれば、抽出手段は、カラー画像の色相成分等を利用することを特徴とする。色相成分を利用することにより、通常のＲＧＢの値により肌色を識別するよりも、ロバストな肌色の検出が可能となる。
【００５３】
請求項５に記載の発明によれば、距離画像は、互いに対応付けられた２台の撮像装置から取得された２枚の画像で構成されるステレオ画像を立体視することによって得られる奥行き情報を利用して作成されることを特徴とするので、カラー画像と距離情報とを同時に取得することができ、距離画像作成のためにカメラ以外の特殊な装置を用いる必要がない。
【００５４】
本願発明によれば、顔領域特定手段は、輪郭モデルと肌色領域の輪郭画素とが一致した画素の数と、輪郭モデルに囲まれた領域内に含まれる肌色領域内の画素の数とをパラメータとした評価値の高さに応じて顔領域を特定することを特徴とするので、輪郭モデルと肌色領域とのマッチングを２つのパラメータによって評価することができ、高い信頼性で人の顔領域を検出することができる。
【図面の簡単な説明】
【図１】 この発明の一実施形態による顔領域検出装置の構成を示すブロック図である。
【図２】 上述した実施形態における顔領域検出手順を説明するためのフローチャートである。
【図３】 人物の顔を含むシーンのステレオ画像のうちの１枚のカラー画像３の概要を示す図である。
【図４】 カラー画像３に対応した奥行き情報を有する距離画像４の概要を示す図である。
【図５】 図２のステップＳ１３における肌色領域画像６の作成手順を説明するためのフローチャートである。
【図６】 上述した実施形態において作成された肌色領域画像６の概要を示す図である。
【図７】 肌色領域画像６から作成されたエッジ画像の概要を示す図である。
【図８】 距離画像４の奥行き情報を利用して作成した探索領域８を説明するための図である。
【図９】 肌色領域画像６上に適用される探索領域８と輪郭モデルを説明するための図である。
【図１０】 エッジ画像上に適用される探索領域８と輪郭モデルを説明するための図である。
【図１１】 一の画像におけるすべての顔領域を検出した結果を説明するための図である。
【図１２】 連続フレームにおいて顔領域を追跡する手順を説明するためのフローチャートである。
【符号の説明】
３ カラー画像
４ 距離画像
６ 肌色領域画像
７ エッジ画像
８ 探索領域
１１ ステレオ画像入力手段
１２ 距離画像生成手段
１３ 肌色領域抽出手段
１４ エッジ抽出手段
１５ 輪郭モデル決定手段
１６ 探索領域設定手段
１７ マッチング手段
１８ 顔領域判定手段
９１、９２、９３ 輪郭モデル
Claims (11)
- 撮像装置で取得されたカラー画像から肌色領域を抽出する抽出手段と、
顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、
前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する顔領域特定手段と
を有し、
前記輪郭モデル生成手段は、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする顔領域検出装置。 - 前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、前記評価値を算出すべき領域として設定する探索領域設定手段をさらに有することを特徴とする請求項１に記載の顔領域検出装置。
- 連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出装置であって、
前記カラー画像から肌色領域を抽出する抽出手段と、
前記顔領域の輪郭を与える輪郭モデルを生成する輪郭モデル生成手段と、
前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する顔領域特定手段と、
前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、前記評価値を算出すべき領域として設定する探索領域設定手段と、
前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する追跡手段と
を有し、
前記一のフレームのカラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする顔領域検出装置。 - 前記抽出手段は、前記カラー画像の色相成分を利用することを特徴とする請求項１ないし３のいずれかの項に記載の顔領域検出装置。
- 前記距離画像は、互いに対応付けられた２台の撮像装置から取得された２枚の画像で構成されるステレオ画像を立体視することによって得られる奥行き情報を利用して作成されることを特徴とする請求項１ないし４のいずれかの項に記載の顔領域検出装置。
- 撮像装置で取得されたカラー画像から肌色領域を抽出する第１の過程と、
前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の過程と、
顔領域の輪郭を与える輪郭モデルを生成する第３の過程と、
前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の過程と
を有し、
前記第３の過程では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする顔領域検出方法。 - 連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出方法であって、
前記カラー画像から肌色領域を抽出する第１の過程と、
前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の過程と、
前記顔領域の輪郭を与える輪郭モデルを生成する第３の過程と、
前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の過程と、
前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する第５の過程と
を有し、
前記第３の過程では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成することを特徴とする顔領域検出方法。 - 撮像装置で取得されたカラー画像から肌色領域を抽出する第１の手順と、
前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、
顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、
前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順と
をコンピュータに実行させ、
前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出方法であって、
前記カラー画像から肌色領域を抽出する第１の手順と、
前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、
前記顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、
前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順と、
前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する第５の手順と
をコンピュータに実行させ、
前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 撮像装置で取得されたカラー画像から肌色領域を抽出する第１の手順と、
前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、
顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、
前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順と
をコンピュータに実行させ、
前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させるためのプログラム。 - 連続するシーンのカラー画像の一のフレームから顔領域を検出し、次フレーム以降において該顔領域を追跡する顔領域検出方法であって、
前記カラー画像から肌色領域を抽出する第１の手順と、
前記距離画像内の領域であってあらかじめ指定された距離内の被写体を含む領域を、評価値を算出すべき領域として設定する第２の手順と、
前記顔領域の輪郭を与える輪郭モデルを生成する第３の手順と、
前記輪郭モデルと前記肌色領域の輪郭画素とが一致した画素の数と、前記輪郭モデルに囲まれた領域内に含まれる前記肌色領域内の画素の数とをパラメータとした評価値の高さに応じて前記顔領域を特定する第４の手順と、
前記一のフレームに設定された前記評価値を算出すべき領域の位置を反映させて、次フレームでの前記評価値を算出すべき領域の位置を設定する第５の手順と
をコンピュータに実行させ、
前記第３の手順では、前記カラー画像の奥行き情報を有する距離画像を用い、前記肌色領域の奥行き情報に対応した大きさの前記輪郭モデルを生成する手順を前記コンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001013818A JP4597391B2 (ja) | 2001-01-22 | 2001-01-22 | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001013818A JP4597391B2 (ja) | 2001-01-22 | 2001-01-22 | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002216129A JP2002216129A (ja) | 2002-08-02 |
| JP4597391B2 true JP4597391B2 (ja) | 2010-12-15 |
Family
ID=18880606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001013818A Expired - Fee Related JP4597391B2 (ja) | 2001-01-22 | 2001-01-22 | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4597391B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7873448B2 (en) | 2002-12-10 | 2011-01-18 | Honda Motor Co., Ltd. | Robot navigation system avoiding obstacles and setting areas as movable according to circular distance from points on surface of obstacles |
| EP3190546A3 (en) * | 2003-06-12 | 2017-10-04 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
| JP4272538B2 (ja) * | 2004-01-05 | 2009-06-03 | 本田技研工業株式会社 | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
| JP4272539B2 (ja) * | 2004-01-05 | 2009-06-03 | 本田技研工業株式会社 | 移動物体検出装置、移動物体検出方法、および移動物体検出プログラム |
| JP4611675B2 (ja) | 2004-06-30 | 2011-01-12 | 本田技研工業株式会社 | 顧客応対ロボット |
| JP4459735B2 (ja) | 2004-06-30 | 2010-04-28 | 本田技研工業株式会社 | 商品説明ロボット |
| JP4745724B2 (ja) * | 2005-06-08 | 2011-08-10 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| JP4478093B2 (ja) | 2005-10-17 | 2010-06-09 | 富士フイルム株式会社 | 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法 |
| JP5041458B2 (ja) * | 2006-02-09 | 2012-10-03 | 本田技研工業株式会社 | 三次元物体を検出する装置 |
| WO2008056777A1 (fr) * | 2006-11-10 | 2008-05-15 | Konica Minolta Holdings, Inc. | Système d'authentification et procédé d'authentification |
| JP5047658B2 (ja) * | 2007-03-20 | 2012-10-10 | 株式会社日立製作所 | カメラ装置 |
| KR100882139B1 (ko) | 2007-09-12 | 2009-02-06 | 전자부품연구원 | 얼굴 검출 방법 |
| JP2009141475A (ja) * | 2007-12-04 | 2009-06-25 | Nikon Corp | カメラ |
| KR100930722B1 (ko) | 2007-12-28 | 2009-12-09 | 주식회사 케이티 | 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체 |
| JP5073700B2 (ja) * | 2009-03-24 | 2012-11-14 | 富士重工業株式会社 | 物体検出装置 |
| KR101269175B1 (ko) | 2011-03-31 | 2013-05-31 | 경북대학교 산학협력단 | 영역 검출 방법 및 이를 적용한 영역 검출 장치 |
| JP5679456B2 (ja) * | 2011-12-05 | 2015-03-04 | サクサ株式会社 | 人検出装置、人検出方法及び人検出プログラム |
| CN103208005A (zh) * | 2012-01-13 | 2013-07-17 | 富士通株式会社 | 对象识别方法和对象识别设备 |
| KR101545408B1 (ko) | 2013-12-11 | 2015-08-19 | 한국 한의학 연구원 | 측면 윤곽선 검출 방법 및 측면 윤곽선 검출 장치 |
| CN104376551A (zh) * | 2014-08-25 | 2015-02-25 | 浙江工业大学 | 一种融合区域生长和边缘检测的彩色图像分割方法 |
| KR101741758B1 (ko) * | 2016-01-21 | 2017-05-30 | 광운대학교 산학협력단 | 가려짐에 강인한 깊이정보 사용 캠쉬프트 기반의 실시간 얼굴추적 방법 |
| CN107481186B (zh) * | 2017-08-24 | 2020-12-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| KR102113591B1 (ko) | 2017-09-12 | 2020-05-22 | 선전 구딕스 테크놀로지 컴퍼니, 리미티드 | 얼굴 검출 활성화 방법, 얼굴 검출 활성화 장치 및 전자 장치 |
| WO2019071489A1 (zh) * | 2017-10-11 | 2019-04-18 | 深圳传音通讯有限公司 | 一种基于智能终端的拍照测温方法及拍照测温*** |
| CN111223111B (zh) * | 2020-01-03 | 2023-04-25 | 歌尔光学科技有限公司 | 深度图像轮廓生成方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0863597A (ja) * | 1994-08-22 | 1996-03-08 | Konica Corp | 顔抽出方法 |
| JPH10161743A (ja) * | 1996-11-28 | 1998-06-19 | Matsushita Electric Ind Co Ltd | 移動物体走行制御装置 |
| JP2000076454A (ja) * | 1998-08-31 | 2000-03-14 | Minolta Co Ltd | ３次元形状データ処理装置 |
| JP2000099691A (ja) * | 1998-09-18 | 2000-04-07 | Toshiba Corp | 人物撮影装置 |
| JP2000163600A (ja) * | 1998-11-18 | 2000-06-16 | Sintec Co Ltd | 顔の撮影／認識方法とその装置 |
-
2001
- 2001-01-22 JP JP2001013818A patent/JP4597391B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0863597A (ja) * | 1994-08-22 | 1996-03-08 | Konica Corp | 顔抽出方法 |
| JPH10161743A (ja) * | 1996-11-28 | 1998-06-19 | Matsushita Electric Ind Co Ltd | 移動物体走行制御装置 |
| JP2000076454A (ja) * | 1998-08-31 | 2000-03-14 | Minolta Co Ltd | ３次元形状データ処理装置 |
| JP2000099691A (ja) * | 1998-09-18 | 2000-04-07 | Toshiba Corp | 人物撮影装置 |
| JP2000163600A (ja) * | 1998-11-18 | 2000-06-16 | Sintec Co Ltd | 顔の撮影／認識方法とその装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002216129A (ja) | 2002-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| JP3753722B2 (ja) | 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置 | |
| WO2019128508A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US8331619B2 (en) | Image processing apparatus and image processing method | |
| JP6125188B2 (ja) | 映像処理方法及び装置 | |
| JP5837508B2 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
| US6404900B1 (en) | Method for robust human face tracking in presence of multiple persons | |
| JP5538909B2 (ja) | 検出装置およびその方法 | |
| JP5715833B2 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
| KR101538935B1 (ko) | 깊이 차이를 이용한 얼굴 구성요소의 자동 분류 방법 | |
| JP6587435B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
| KR20200063292A (ko) | 얼굴 영상 기반의 감정 인식 시스템 및 방법 | |
| KR101362631B1 (ko) | 머리 인식 방법 | |
| KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
| JP2004086891A (ja) | デジタル画像におけるオブジェクト検出方法 | |
| EP2616993A1 (en) | Smile detection systems and methods | |
| CN110264493A (zh) | 一种针对运动状态下的多目标对象追踪方法和装置 | |
| KR102198360B1 (ko) | 얼굴 영상 기반의 시선 추적 시스템 및 방법 | |
| US11315360B2 (en) | Live facial recognition system and method | |
| JP2006343859A (ja) | 画像処理装置及び画像処理方法 | |
| JP4348028B2 (ja) | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム | |
| KR20100121817A (ko) | 눈의 영역을 추적하는 방법 | |
| JP2000268161A (ja) | 実時間表情検出装置 | |
| JP5217917B2 (ja) | 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム | |
| JP4789526B2 (ja) | 画像処理装置、画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100922 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |