JP2009110486A - 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法 - Google Patents

画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法 Download PDF

Info

Publication number
JP2009110486A
JP2009110486A JP2007285022A JP2007285022A JP2009110486A JP 2009110486 A JP2009110486 A JP 2009110486A JP 2007285022 A JP2007285022 A JP 2007285022A JP 2007285022 A JP2007285022 A JP 2007285022A JP 2009110486 A JP2009110486 A JP 2009110486A
Authority
JP
Japan
Prior art keywords
image data
face
rectangular area
image
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007285022A
Other languages
English (en)
Inventor
Yoshihiro Suzuki
義弘 鈴木
Kyoko Fukuda
京子 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007285022A priority Critical patent/JP2009110486A/ja
Priority to US12/290,317 priority patent/US8340367B2/en
Publication of JP2009110486A publication Critical patent/JP2009110486A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】撮像された画像の中の顔をより正確に検出する。
【解決手段】顔候補データベースから読み出された矩形領域Ｆ３１の顔候補画像データに対して、水平および垂直方向にそれぞれ幅Ｍだけ距離を持たせた同一判定枠Ｆ３０を設け、重複すると判定された矩形領域画像データが同一判定枠Ｆ３０内に含まれるか否かを判定する。重複すると判定された矩形領域Ｆ３２の画像データが同一判定枠Ｆ３０内に含まれる場合には、矩形領域Ｆ３２の画像データが矩形領域Ｆ３１の顔候補画像データと同一の顔に対する矩形領域画像データであると判定する。一方、重複すると判定された矩形領域Ｆ３３の画像データが同一判定枠Ｆ３０内に含まれない場合には、矩形領域Ｆ３３の画像データが矩形領域Ｆ３１の顔候補画像データと同一の顔に対する矩形領域画像データではない、または、確度値の低い矩形領域画像データであると判定する。
【選択図】図９

Description

この発明は、画像の中から顔領域を検出する画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法に関する。
近年、静止画像の撮影を主とするディジタルスチルカメラや動画像の撮影を主とするディジタルビデオカメラには、撮影対象となる人物の顔を検出し、検出結果をＡＦ（Auto Focus）やＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）の制御に用いたり、撮影画像の肌色の色合いの調整を行ったりする機能が搭載されてきている。
このような機能を正確に利用するためには、顔の検出率が高いことに加えて、顔の位置および大きさを正確に検出する必要がある。顔の位置や大きさが正確に検出できない場合には、検出された部分に背景の一部などの顔以外の画像が写りこんでしまい、顔以外の部分の画像がＡＦやＡＥ、ＡＷＢ、色合い調整の制御パラメータの算出に影響を及ぼしてしまうためである。
例えば、下記の特許文献１には、顔らしさを示す確度値に基づき、対象物が顔であるか否かを判断する方法が記載されている。
特開２００５−１５７６７９号公報
また、下記の特許文献２には、画像を段階的に縮小させて走査を行い、画像の中から顔の位置およびサイズを検索する方法が記載されている。
特開２００４−３０６２９号公報
特許文献１および特許文献２では、例えば図４に示すように、撮像された画像の左上の端から右下の端まで、所定サイズの矩形領域を水平方向にΔｘ、垂直方向にΔｙだけ移動させて走査することにより、顔の位置を求める。また、例えば図３に示すように、撮像された画像を所定の縮小率Δｒ毎に段階的に縮小させた縮小画像を生成し、生成された縮小画像に対して走査を繰り返すことにより、顔のサイズを求める。
そして、所定サイズの矩形領域内の全ての画素の中から、予め学習によって定められた２点の画素の輝度値の差分を全て算出し、算出結果に基づき顔らしさを示す確度値をそれぞれ求める。矩形領域の画像の確度値には、対象物が顔であるか否かを判断するための閾値が予め設けられており、算出された確度値が閾値以上であれば、対象物が顔であると判断し、閾値よりも低ければ、対象物が顔でないと判断する。
例えば、図５に示すように、画像に対して水平方向に走査した場合、矩形領域の画像の確度値は、実際の顔のＸ座標に近いほど高く、実際の顔のＸ座標から遠ざかるに従って低くなる。この例において、矩形領域Ｆ２，Ｆ３およびＦ４の確度値は、予め設定された閾値以上であるため、顔であると判断される。また、矩形領域Ｆ１およびＦ５の確度値は、閾値よりも低いため、顔でないと判断される。
また、例えば、図６に示すように、画像に対して垂直方向に走査した場合、矩形領域の画像の確度値は、実際の顔のＹ座標に近いほど高く、実際の顔のＹ座標から遠ざかるに従って低くなる。この例において、矩形領域Ｆ１２，Ｆ１３およびＦ１４の確度値は、閾値以上であるため、顔であると判断される。また、矩形領域Ｆ１１およびＦ１５の確度値が閾値よりも低いため、顔でないと判断される。
さらに、例えば、図７に示すように画像を縮小した場合、矩形領域の画像の確度値は、実際の顔のサイズに近いほど高く、実際の顔のサイズから遠ざかるに従って低くなる。この例では、矩形領域Ｆ２２，Ｆ２３，Ｆ２４およびＦ２５の確度値は、閾値以上であるため、顔であると判断される。また、矩形領域Ｆ２１の確度値は、閾値よりも低いため、顔でないと判断される。
このように、画像の中から顔を検索し、対象物が顔であるか否かを判断する方法では、画像を走査することによって、同一の顔に対して確度値が異なる顔が複数個検出されることになるため、検出された顔の中から正しい顔を抽出する必要がある。正しい顔を抽出する方法としては、例えば、検出された複数の顔の中から確度値が一番高いものを選択する方法が用いられる。
しかしながら、上述の特許文献１および特許文献２に記載の方法では、画像に対して矩形領域を走査する際に、離散的に走査することになるため、検出された顔の中で最も確度値の高いものが実際の顔の位置およびサイズであるとは限らない。
例えば、検出された顔の中で最も確度値の高いものを検出結果とする場合、図５に示す例では、矩形領域Ｆ３の顔が抽出され、図６に示す例では、矩形領域Ｆ１３の顔が抽出される。また、図７に示す例では、矩形領域Ｆ２３の顔が抽出される。ここで抽出された顔は、画像の中で最も確度値の高いもの、すなわち、確度値を示すグラフの頂点における顔ではないため、実際の顔の位置およびサイズと異なる。したがって、実際の顔の位置およびサイズと検出結果の顔の位置およびサイズとの差が誤差となるという問題点があった。
この問題点を解決する方法としては、走査の際に移動する移動量ΔｘおよびΔｙを限りなく０に近づけるとともに、画像を縮小する際の縮小率Δｒを限りなく等倍に近づけ、ほぼ連続的な走査を行う方法が考えられるが、連続的な走査を行うと、顔を検出するための処理の回数が大幅に増加してしまい、処理に時間を要してしまう。
また、この問題を解決するための別の方法として、検出された顔の位置およびサイズの平均をとったものを検出結果とする方法が考えられる。しかしながら、例えば、検出された顔のうち、閾値付近のものは確度値が低く、顔の位置およびサイズの信頼性が低いため、閾値付近の確度値が低い画像を平均化する要素に含めてしまうと、実際の顔の位置およびサイズとの誤差が大きくなってしまうおそれがある。
さらに、特許文献１および特許文献２に記載の方法では、確度値の大きさに基づき顔であるか否かを判断するようにしているため、人物同士が寄り添って顔を近づけている場合など、複数の人物の顔が隣接している場合に、検出された複数の人物の顔が同一人物の顔であると判断され、異なる人物の顔を検出結果としてしまう場合がある。
例えば、図１３に示すように、２人の人物ａおよび人物ｂが寄り添って顔を近づけている場合について考える。このような画像から顔を検出する場合には、隣接する２人の人物ａおよび人物ｂの顔の近辺に複数の顔を検出し、検出された顔の確度値を比較して最も確度値が高い顔を検出結果として抽出する。この例では、人物ａの顔の検出結果を示す矩形領域Ｆ６１と人物ｂの顔の検出結果を示す矩形領域Ｆ６２とを比較し、確度値の高い矩形領域Ｆ６２の画像を人物ａの顔の検出結果として抽出してしまう。すなわち、隣の人物ｂの顔を人物ａの顔として検出してしまうことになる。
このように、従来は、複数の人物の顔が隣接している場合に、隣接する人物の顔を誤って検出してしまうという問題点があった。
したがって、この発明の目的は、撮像された画像の中の顔領域をより正確に検出することができる画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法を提供することにある。
上述した課題を解決するために、第１の発明は、入力された画像データのサイズを変換する画像変換部と、
サイズ変換された画像データを記憶し、サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出す画像メモリと、
切り出された矩形領域画像データから顔領域を検出する顔検出処理部と
を有し、
画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、
顔検出処理部は、
矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、
矩形領域画像データが顔領域を含むと判定された場合に、画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、同一判定枠を基準として矩形領域画像データが同一判定枠内に含まれるか否かを判定する同一判定処理を行う
ことを特徴とする画像処理装置である。
また、第２の発明は、入力された画像データのサイズを変換する画像変換ステップと、
サイズ変換された画像データを画像メモリに記憶し、サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出す走査ステップと、
切り出された矩形領域画像データから顔領域を検出する顔検出処理ステップと
を有し、
画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、
顔検出処理ステップは、
矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、
矩形領域画像データが顔領域を含むと判定された場合に、画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、同一判定枠を基準として矩形領域画像データが同一判定枠内に含まれるか否かを判定する同一判定処理を行う
ことを特徴とする画像処理方法である。
また、第３の発明は、入力された画像データのサイズを変換する画像変換ステップと、
サイズ変換された画像データを画像メモリに記憶し、サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出す走査ステップと、
切り出された矩形領域画像データから顔領域を検出する顔検出処理ステップと
を有し、
画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、
顔検出処理ステップは、
矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、
矩形領域画像データが顔領域を含むと判定された場合に、画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、同一判定枠を基準として矩形領域画像データが同一判定枠内に含まれるか否かを判定する同一判定処理を行う画像処理方法をコンピュータ装置に実行させる
ことを特徴とする画像処理プログラムである。
また、第４の発明は、被写体からの光を撮像して取得された撮像信号を出力する撮像部と、
撮像部から出力された撮像信号に対して信号処理を施し画像データとして出力するカメラ信号処理部と、
画像データに対して顔検出処理を施す顔検出部と
を備え、
顔検出部は、
画像データのサイズを変換する画像変換部と、
サイズ変換された画像データを記憶し、サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出す画像メモリと、
切り出された矩形領域画像データから顔領域を検出する顔検出処理部と
を有し、
画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、
顔検出処理部は、
矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、
矩形領域画像データが顔領域を含むと判定された場合に、画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、同一判定枠を基準として矩形領域画像データが同一判定枠内に含まれるか否かを判定する同一判定処理を行う
ことを特徴とする撮像装置である。
また、第５の発明は、
被写体からの光を撮像して取得された撮像信号を出力する撮像ステップと、
撮像部から出力された撮像信号に対して信号処理を施し画像データとして出力するカメラ信号処理ステップと、
画像データに対して顔検出処理を施す顔検出ステップと
を備え、
顔検出ステップは、
画像データのサイズを変換する画像変換ステップと、
サイズ変換された画像データを画像メモリに記憶し、サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出す走査ステップと、
切り出された矩形領域画像データから顔領域を検出する顔検出処理ステップと
を有し、
画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、
顔検出処理ステップは、
矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、
矩形領域画像データが顔領域を含むと判定された場合に、画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、同一判定枠を基準として矩形領域画像データが同一判定枠内に含まれるか否かを判定する同一判定処理を行う
ことを特徴とする撮像装置の制御方法である。
上述したように、第１、第２および第３の発明では、入力された画像データのサイズを変換し、サイズ変換された画像データを画像メモリに記憶し、サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出し、切り出された矩形領域画像データから顔領域を検出する顔検出処理を行い、画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、顔検出処理において、矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、矩形領域画像データが顔領域を含むと判定された場合に、画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、同一判定枠を基準として矩形領域画像データが同一判定枠内に含まれるか否かを判定する同一判定処理を行うようにしているため、隣接する顔と判定対象の顔とを識別することができる。
また、第４および第５の発明では、被写体からの光を撮像して取得された撮像信号を出力し、撮像部から出力された撮像信号に対して信号処理を施し画像データとして出力し、画像データに対して顔検出処理を施し、顔検出処理において、画像データのサイズを変換し、サイズ変換された画像データを画像メモリに記憶し、サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出し、切り出された矩形領域画像データから顔領域を検出する顔検出処理を行い、画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、顔検出処理において、矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、矩形領域画像データが顔領域を含むと判定された場合に、画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、同一判定枠を基準として矩形領域画像データが同一判定枠内に含まれるか否かを判定する同一判定処理を行うようにしているため、隣接する顔と判定対象の顔とを識別することができる。
この発明は、顔判定処理によって顔領域を含むと判定された矩形領域画像データに対して、画像メモリに記憶された顔候補画像データとの同一判定処理を行うようにしているため、隣接する顔と判定対象の顔とを識別することによって誤検出を防ぎ、より正確に判定対象の顔を検出することができるという効果がある。
以下、この発明の実施の一形態について、図面を参照して説明する。図１は、この発明の実施の一形態による撮像装置１の一例の構成を示す。撮像装置１は、画像バス１０、光学ブロック１１、信号変換部１２、カメラ信号処理部１３、顔検出部１４、表示処理部１５、画像信号処理部１６、記憶部１７、表示部１８、画像ＲＡＭ（Random Access Memory）１９、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２およびＲＡＭ２３を備える。
光学ブロック１１は、内部に、被写体を撮像するためのレンズ群、絞り調整機構、フォーカス調整機構、ズーム機構、シャッター機構およびフラッシュ機構などを備え、後述するＣＰＵ２１からの制御信号に応じてズーム制御、シャッター制御および露出制御などの制御が行われる。
信号変換部１２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子により構成され、その結像面に、光学ブロック１１を通じた像が結像される。この信号変換器１２は、例えば、シャッター操作に応じてＣＰＵ２１から供給される画像取り込みタイミング信号を受けて、結像面に結像されている被写体像を撮像信号に変換し、カメラ信号処理部１３に供給する。
カメラ信号処理部１３は、ＣＰＵ２１からの制御信号に基づき、信号変換部１２から出力された撮像信号に対して各種の信号処理を施す。具体的には、例えば、信号変換部１２からの撮像信号に対して、ガンマ補正やＡＧＣ（Auto Gain Control）などの処理を行うとともに、撮像信号をディジタル信号としての映像信号に変換する処理を行う。また、カメラ信号処理部１３は、ＣＰＵ２１からの制御信号に基づき、この映像信号に対してホワイトバランス制御や露出補正制御などをさらに行う。
顔検出部１４は、カメラ信号処理部１３から出力された画像データを画像ＲＡＭ１９を介して受け取り、受け取った画像データの中から人物の顔が存在する領域を検出し、その検出結果をＣＰＵ２１に供給する。なお、顔検出部１４の構成や、顔検出部１４における顔検出処理の詳細については、後述する。
表示処理部１５は、カメラ信号処理部１３および後述する画像信号処理部１６から出力された画像データを画像ＲＡＭ１９を介して受け取り、例えば表示に適した解像度の画像に変換して、表示部１８に供給する。表示部１８は、撮像装置１におけるビューファインダとして用いられるとともに、記憶部１７から再生された画像のモニタとして用いられる。表示部１８としては、例えばＬＣＤ（Liquid Crystal Display）を用いることができる。
画像信号処理部１６は、カメラ信号処理部１３から出力された画像データを画像ＲＡＭ１９を介して受け取り、この画像データを圧縮符号化して、動画像あるいは静止画像のデータファイルとして記憶部１７に出力する。また、画像信号処理部１６は、後述する記憶部１７から読み出された画像データファイルを復号し、画像ＲＡＭ１９を介して表示処理部１５に供給する。なお、例えば、動画像の符号化方式としては、ＭＰＥＧ（Moving Picture Experts Group）方式、静止画像の符号化方式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式を適用することができる。
記憶部１７は、画像信号処理部１６により符号化されて生成された画像ファイルを記憶する。記憶部１７としては、例えば、磁気テープや光ディスクなどの可搬型記録媒体のドライブ装置、あるいはＨＤＤ（Hard Disc Drive）などを用いることができる。この記憶部１７は、記憶された画像データファイルを画像信号処理部１６に読み出すことの他に、その画像データファイルに付随した情報をＣＰＵ２１に供給する。
画像ＲＡＭ１９は、カメラ信号処理部１３、顔検出部１４、表示処理部１５および画像信号処理部１６に対して画像バス１０を介して接続されている。画像ＲＡＭ１９は、接続されたこれらの処理ブロックにより共有され、各ブロック間では、画像ＲＡＭ１９を介して画像データが受け渡される。なお、この例では、これらの処理ブロックは、画像ＲＡＭ１９を介して画像データを受け渡すものとして説明しているが、これはこの例に限られず、例えば、顔検出部１４および表示処理部１５は、カメラ信号処理部１３および画像信号処理部１６からの出力画像データを、画像バス１０を介さずに直接受け取ることができるようにしてもよい。
ＣＰＵ２１は、ＲＯＭ２２に予め格納されたプログラムに従い、ＲＡＭ２３をワークメモリとして、この撮像装置１全体を制御する。例えば、ＣＰＵ２１は、撮像装置１の各部とコマンドやデータのやりとりを行い、それぞれを制御する。また、ＣＰＵ２１は、図示されない操作部に対する操作に応じた制御信号や撮像信号などに基づき、光学ブロック１１のフォーカス、絞り、ズームなどを制御するための制御信号を生成し、光学ブロック１１に供給する。
図２は、顔検出部１４の一例の構成を示す。顔検出部１４は、画像変換部としてのスケーリング部３１、画像メモリ３２、顔検出処理部としての顔検出コア３３、コントローラ３４を備える。スケーリング部３１は、画像ＲＡＭ１９から画像バス１０を介して読み出した画像データのサイズ（水平方向および垂直方向の各画素数）を、顔検出コア３３における顔検出処理に適するように拡大または縮小するスケーリング処理を行い、画像メモリ３２に供給する。
画像メモリ３２は、スケーリング部３１によってサイズ変換された画像データを一時的に保持する。そして、コントローラ３４の制御に基づき、画像データの中から指示された位置における所定サイズの矩形領域の画像データを切り出す走査処理を行い、顔検出コア３３に供給する。
顔検出コア３３は、画像メモリ３２から供給された矩形領域画像データに対して顔検出処理を施す。顔検出コア３３では、顔検出処理として、顔判定処理、重複判定処理、同一判定処理、検出確度判定処理および検出結果補正処理の各処理を行う。なお、顔検出コア３３における各処理の詳細については、後述する。コントローラ３４は、ＣＰＵ２１の制御に基づき、スケーリング部３１に対する画像データの縮小率（または拡大率）の指示や、画像メモリ３２に対する書き込みまたは読み出しのメモリアドレスの指示など、顔検出部１４の各部を制御する。
このような構成による撮像装置１における一例の動作について、概略的に説明する。先ず、画像の記録時には、被写体からの光が光学ブロック１１を介して撮像素子に入射され、光電変換により電気信号に変換された撮像信号が、順次カメラ信号処理部１３に供給され、ディジタル変換や画質補正処理などが施される。各種処理が施された画像データは、画像バス１０を介して画像ＲＡＭ１９に一旦記憶される。
表示処理部１５は、カメラ信号処理部１３からの画像データを画像ＲＡＭ１９を介して受け取り、表示用の画像信号を生成して表示部１８に供給する。これにより、現在撮像中の画像が表示部１８に表示され、撮影者は、この画像を視認して画角を確認することができる。
また、画像信号処理部１６は、カメラ信号処理部１３から出力された画像データを画像ＲＡＭ１９を介して順次受け取り、例えばＭＰＥＧ方式を用いて圧縮符号化処理を施して動画像ファイルを生成し、記憶部１７に記録する。
また、図示しない操作部に設けられたシャッターボタンの押下などに応じて、カメラ信号処理部１３からの１フレーム分の画像データが、画像信号処理部１６において、例えばＪＰＥＧ方式により圧縮符号化されることで、静止画像ファイルを記憶部１７に記録することもできる。
さらに、画像の再生時には、記憶部１７に記憶された画像ファイルが画像信号処理部１６に読み出されて復号され、表示処理部１５に供給されて表示用の信号に変換される。これにより、動画像または静止画像を表示部１８に再生表示することができる。
ところで、上述のような画像の記録時において、顔検出部１４は、カメラ信号処理部１３からの出力画像データを画像ＲＡＭ１９を介して受け取り、顔の検出処理を実行する。顔検出部１４での顔の検出結果は、ＣＰＵ２１に供給される。
ＣＰＵ２１は、例えば、検出結果に基づきＡＥ、ＡＦ、ホワイトバランス調整などの制御を行う。例えば、検出された顔の明るさや色を最適にするように絞り量やホワイトバランスゲインを調整する、あるいは、検出された顔にフォーカスを合わせるといった制御を行うことができる。
なお、顔検出部１４は、記憶部１７内の画像ファイルの再生時において、画像信号処理部１６により復号された画像データを画像ＲＡＭ１９を介して受け取り、顔の検出処理を実行してもよい。この場合の各処理ブロックによる顔の検出処理としては、画像の記録時と同様に行うことが可能である。
次に、この発明の実施の一形態による顔検出方法について説明する。顔検出部１４における顔検出処理では、画像データ内の顔をより正確に検出するため、顔検出部１４に入力された画像データのサイズを変更した画像データを生成するスケーリング処理、画像データに対して走査を行い所定サイズの画像データを切り出す走査処理、切り出された画像データが顔領域を含むか否かを判定する顔判定処理、顔領域を含むと判定された画像データが顔の候補である画像データと重複するか否かを判定する重複判定処理、重複すると判定された画像データが顔の候補である画像データと同一であるか否かを判定する同一判定処理、顔の候補である複数の画像データおよび同一であると判定された画像データのうち、より顔の領域に近いと判断される複数の画像データを選択する検出確度判定処理、選択された画像データの位置およびサイズの平均を算出する検出結果補正処理といった各種処理が行われる。
顔検出の際に行われる各処理について、以下の順序で詳細に説明する。
（１）スケーリング処理
（２）走査処理
（３）顔判定処理
（４）重複判定処理
（５）同一判定処理
（６）検出確度判定処理
（７）検出結果補正処理
（１）スケーリング処理
スケーリング処理では、撮像された画像データを所定の縮小率（または拡大率）で縮小（または拡大）した画像データを生成する。なお、以下では、スケーリング処理によって画像データを縮小させた場合について説明する。
例えば、画像ＲＡＭ１９を介して顔検出部１４に画像データが入力されると、スケーリング部３１は、図３に示すように、画像データに対して縮小率Δｒだけ縮小させた縮小画像データを生成する。生成された縮小画像データは、画像メモリ３２に記憶される。また、スケーリング部３１は、画像ＲＡＭ１９を介して顔検出部１４に入力された画像データに対して、別の縮小率で縮小させた縮小画像データを生成したり、上述の縮小画像データに対して、さらに所定の縮小率Δｒで縮小させた縮小画像データを生成することもできる。
（２）走査処理
走査処理では、縮小画像データに対して所定サイズの矩形領域を水平方向および垂直方向に所定量だけ移動させながら走査し、矩形領域の画像データを切り出す。
画像メモリ３２は、コントローラ３４の制御に基づき、スケーリング処理によって得られた縮小画像データに対して、図４に示すように、所定サイズの矩形領域を左上の端から水平方向に移動量Δｘだけ移動させ、縮小画像データの右端に到達すると、左端に戻るとともに、垂直方向に移動量Δｙだけ位置を変更し、水平方向に走査する。この動作を繰り返して縮小画像データの右下端まで走査を行い、矩形領域画像データを順次切り出す。走査によって切り出された矩形領域画像データは、顔検出コア３３に供給される。
なお、走査処理の際に走査される矩形領域のサイズは、画像データのサイズによらず、常に同一のサイズとする。顔検出部１４に入力された画像データのサイズを変更し、サイズが変更された画像データに対して所定サイズの矩形領域を走査させることで矩形領域内で検出される顔のサイズが変わるため、実際の顔のサイズを検出することができる。
（３）顔判定処理
顔判定処理では、走査処理によって切り出した矩形領域画像データにおける所定の画素に対して所定の演算処理を施し、矩形領域画像データが顔領域を含むか否かを判定する。
走査処理によって縮小画像データから矩形領域画像データが切り出されると、顔検出コア３３は、画像メモリ３２から供給された矩形領域画像データ内の画素のうち、予め学習によって定められた２点の画素における輝度値の差分を算出する。また、学習によって定められた他の２点の画素における輝度値の差分を同様に算出し、算出されたこれらの輝度値の差分に基づき、矩形領域画像データにおける顔らしさを示す確度値を決定する。そして、この確度値に対して所定の閾値を設定し、確度値が閾値以上であれば、矩形領域画像データが顔領域を含むと判定し、確度値が閾値よりも低ければ、矩形領域画像データが顔領域を含まないと判定する。
このように、縮小画像データを走査することによって得られる矩形領域画像データに対して顔判定処理を行うことにより、確度値に応じて縮小画像データ中の顔の位置を求めることができる。
図５は、縮小画像データに対して水平方向に走査した場合における矩形領域画像データの確度値を示すグラフである。また、図６は、画像データに対して垂直方向に走査した場合における矩形領域画像データの確度値を示すグラフである。矩形領域画像データの確度値は、図５および図６に示すように、矩形領域が実際の人物の顔の位置に近づくに従って高くなり、確度値が閾値以上となる矩形領域画像データが顔領域を含むと判定し、閾値よりも低い矩形領域画像データが顔領域を含まないと判定する。
例えば、縮小画像データに対して水平方向に走査した場合には、図５に示すように、矩形領域Ｆ２，Ｆ３およびＦ４の矩形領域画像データにおける確度値が閾値以上であるため、矩形領域画像データが顔領域を含むと判定し、矩形領域Ｆ１およびＦ５の矩形領域画像データにおける確度値が閾値より低いため、矩形領域画像データが顔領域を含まないと判定する。そして、この例では、走査処理によって得られた矩形領域画像データのうち、矩形領域Ｆ３の矩形領域画像データにおける確度値が最も高いため、矩形領域Ｆ３の矩形領域画像データが実際の顔の位置に最も近いことが判断できる。
また、例えば、縮小画像データに対して垂直方向に走査した場合には、図６に示すように、矩形領域Ｆ１２，Ｆ１３およびＦ１４の矩形領域画像データにおける確度値が閾値以上であるため、矩形領域画像データが顔領域を含むと判定し、矩形領域Ｆ１１およびＦ１５の矩形領域画像データにおける確度値が閾値より低いため、矩形領域画像データが顔領域を含まないと判定する。そして、この例では、走査処理によって得られた矩形領域画像データのうち、矩形領域Ｆ１３の矩形領域画像データにおける確度値が最も高いため、矩形領域Ｆ１３の矩形領域画像データが実際の顔の位置に最も近いことが判断できる。
また、スケーリング処理において縮小画像に対してさらに縮小率Δｒで縮小された縮小画像について、同様の顔判定処理を順次行うことにより、画像データ中の顔のサイズを求めることができる。
図７は、画像データを所定の縮小率で段階的に縮小した場合における矩形領域画像データの確度値を示すグラフである。矩形領域画像データの確度値は、図７に示すように、矩形領域のサイズが人物の顔のサイズに近づくに従って高くなり、確度値が閾値以上となる矩形領域画像データが顔領域を含むと判定し、閾値よりも低い矩形領域画像データが顔領域を含まないと判定する。
例えば、スケーリング処理によって画像データを段階的に縮小した場合には、図７に示すように、矩形領域Ｆ２２，Ｆ２３，Ｆ２４およびＦ２５の矩形領域画像データにおける確度値が閾値以上であるため、矩形領域画像データが顔領域を含むと判定し、矩形領域Ｆ２１の矩形領域画像データにおける確度値が閾値より低いため、矩形領域画像データが顔領域を含まないと判定する。そして、この例では、スケーリング処理によって得られた縮小画像データのうち、矩形領域Ｆ２３の矩形領域画像データにおける確度値が最も高いため、矩形領域Ｆ２３の矩形領域画像データが実際の顔のサイズに最も近いことが判断できる。
なお、確度値を示すグラフのピークの値は、人物の顔の条件によって異なり、例えば、髪型やメガネの有無、人物の顔に照射される光の強さなどによって異なる。
ところで、背景技術の項でも説明したように、走査処理において矩形領域の水平方向の移動量Δｘおよび垂直方向の移動量Δｙを限りなく０に近づけるとともに、縮小率Δｒを限りなく等倍に近づけ、ほぼ連続的に走査することにより、顔の位置およびサイズの検出精度を高くすることができる。しかしながら、このように連続的に走査すると、顔判定処理の回数が大幅に増加してしまい、顔判定処理に要する時間が膨大なものとなってしまう。そこで、この発明の実施の一形態では、１つの画像データに対して必要とされる顔判定処理の時間および顔検出の精度に見合うように、顔判定処理の回数が適切な回数となるように、離散的な走査を行うようにする。
ここで、この発明の実施の一形態では、スケーリング処理によって生成された所定の縮小画像に対して走査処理を行い、切り出された矩形領域画像データについて顔判定処理を順次行う。そして、矩形領域画像データが顔領域を含むと判定される毎に、この矩形領域画像データに対して次の処理である重複判定処理を行う。矩形領域画像データが顔領域を含まないと判定された場合には、走査処理によって次の矩形領域画像データを切り出し、同様に顔判定処理を行う。
所定の縮小画像における全ての矩形領域画像データに対して顔判定処理が完了すると、スケーリング処理によって次の縮小画像データを生成し、生成された縮小画像データに対して走査処理を行い、切り出された矩形領域画像データについて顔判定処理を順次行う。このようにして、スケーリング処理および走査処理を、予め決められた回数だけ行うまで繰り返し、新たに切り出された矩形領域画像データに対する顔判定処理を行う。
（４）重複判定処理
重複判定処理では、顔検出部１４に入力された画像データ内の顔の候補である矩形領域画像データ（以下、顔候補画像データと適宜称する）が記憶された顔候補データベースを用い、顔領域を含むと判定された矩形領域画像データと顔候補データベースに記憶された顔候補画像データとが重複しているか否かを判定する。
顔候補データベースについて説明する。顔候補データベースは、画像メモリ３２に設けられており、図８に示すように、顔判定処理において顔領域を含むと判定された複数の顔候補、この例ではｎ個の顔候補に対する矩形領域画像データである顔候補画像データが記憶されている。
また、顔候補データベースには、１つの顔候補に対して、顔判定処理において決定された確度値が上位のデータである複数の顔候補画像データが記憶されている。この例では、１つの顔候補に対して、確度値が上位の３つの顔候補画像データがそれぞれ記憶されている。
それぞれの顔候補画像データには、画像データの位置情報、サイズ情報、ならびに、顔候補画像データの確度値が関連付けられている。位置情報としては、例えば、矩形領域の左上の画素における水平方向および垂直方向の座標（Ｘ座標およびＹ座標）を縮小率Δｒを用いて撮像された画像データ上の座標へ変換したものが記憶されている。サイズ情報としては、例えば、矩形領域の水平方向および垂直方向の各画素数を縮小率Δｒを用いて撮像された画像データ上の画素数へ変換したものが記憶されている。
例えば、顔候補１に対しては、Ｘ座標がＸ１１、Ｙ座標がＹ１１、サイズがＳ１１、確度値が確度値１１である顔候補画像データＰ１１と、Ｘ座標がＸ１２、Ｙ座標がＹ１２、サイズがＳ１２、確度値が確度値１２である顔候補画像データＰ１２と、Ｘ座標がＸ１３、Ｙ座標がＹ１３、サイズがＳ１３、確度値が確度値１３である顔候補画像データＰ１３とが記憶されている。なお、この例では、顔候補画像データＰ１１、Ｐ１２、Ｐ１３の順に確度値が高いものとする。
顔判定処理により、縮小画像データから切り出した矩形領域画像データが顔領域を含むと判定されると、顔候補データベースに記録されている所定の顔に対する顔候補画像データのうち、最も確度値の高い顔候補画像データ、この例では、顔候補１に対する顔候補画像データＰ１１を読み出す。そして、顔であると判定された矩形領域画像データと顔候補データベースから読み出された顔候補画像データＰ１１との重なり度合いを比較し、２つの画像データが重複しているか否かを判定する。
例えば、顔領域を含むと判定された矩形領域画像データと顔候補データベースから読み出された顔候補画像データとが重なる面積に対して閾値を設け、重なる面積が閾値以上、例えば３３％以上であれば、顔領域を含むと判定された矩形領域画像データと顔候補データベースから読み出された顔候補画像データとが重複していると判定し、重なる面積が閾値未満、例えば３３％未満であれば、重複していないと判定する。
顔領域を含むと判定された矩形領域画像データと顔候補データベースから読み出された顔候補画像データとが重複していないと判定された場合には、顔候補データベースから、次の顔に対する顔候補画像データのうち最も確度値の高い顔候補画像データ、この例では、顔候補２に対する顔候補画像データＰ２１を読み出し、重複する面積に基づいて同様に重複判定処理を行う。
以下、顔候補データベースに記憶されている全ての種類の顔候補画像データとの重複を判定した結果、どの顔候補画像データとも重複していない場合には、顔領域を含むと判定された矩形領域画像データを新たな顔候補に対する顔候補画像データとして、顔候補データベースに記憶する。
入力された画像データのサイズを変更しながら矩形領域を走査させて人物の顔を検出する場合には、実際の顔の周囲に確度値の異なる多数の矩形領域画像データが検出される。これは、顔判定処理の際に、矩形領域画像データの確度値に対して閾値を設け、確度値が閾値以上となる矩形領域画像データを顔であると判定するようにしており、確度値に対して幅を持たせているためである。
したがって、このように検出された多数の矩形領域画像データの中から正しい顔を検出する必要がある。この重複判定処理では、人物の顔に対して検出された多数の矩形領域画像データの中から最も正しい顔に近い矩形領域画像データを検出することを目的としている。
（５）同一判定処理
同一判定処理では、顔候補データベースに記憶された顔候補画像データと重複していると判定された矩形領域画像データが、顔候補データベースに記憶された顔候補画像データと同一の画像データであるか否かを判定する。
重複判定処理により、顔領域を含むと判定された矩形領域画像データが顔候補データベースに記憶された所定の顔候補画像データと重複していると判定されると、重複判定処理の際に重複していると判定された顔候補画像データを顔候補データベースから読み出す。そして、図９Ａに示すように、読み出された矩形領域Ｆ３１の顔候補画像データに対して、水平方向および垂直方向にそれぞれ幅Ｍだけ距離を持たせた同一判定枠Ｆ３０を設け、重複していると判定された矩形領域画像データがこの同一判定枠Ｆ３０内に含まれるか否かを判定する。
例えば、図９Ｂに示すように、重複していると判定された矩形領域Ｆ３２の矩形領域画像データがこの同一判定枠Ｆ３０内に含まれる場合には、重複していると判定された矩形領域Ｆ３２の矩形領域画像データが矩形領域Ｆ３１の顔候補画像データと同一の顔に対する矩形領域画像データであると判定する。
一方、例えば、図９Ｃに示すように、重複していると判定された矩形領域Ｆ３３の矩形領域画像データが同一判定枠Ｆ３０内に含まれない場合には、矩形領域Ｆ３３の矩形領域画像データが矩形領域Ｆ３１の顔候補画像データと同一の顔に対する矩形領域画像データではない、または、確度値の低い矩形領域画像データであると判定する。
なお、同一判定枠Ｆ３０の幅Ｍは、顔検出部１４の感度に応じて可変とすることができる。例えば、顔検出部１４による顔の検出精度が高い場合には、幅Ｍを広く設定し、検出精度が低い場合には、幅Ｍを狭く設定する。これは、顔検出部１４による顔の検出精度が高い場合は、顔判定処理において隣接する顔と判定対象の顔とを識別する能力が高いためである。また、顔検出部１４による顔の検出精度が低い場合は、隣接する顔と判定対象の顔とを識別する能力が低いため、幅Ｍを狭くすることにより識別する範囲を狭め、誤検出を防止する。
ところで、人物の顔に対する確度値を示すグラフのピークの値は、実際の顔の位置およびサイズを示している。例えば、図１０に示すように、２人の人物ａおよび人物ｂが寄り添って顔を近づけている場合などでは、人物ａおよび人物ｂの顔の位置およびサイズが異なる。そのため、それぞれの人物の顔に対する確度値を示すグラフのピークが重なることはない。
このことから、同一判定処理では、同一判定枠を用いて検出結果をグラフのピーク付近に絞ることにより、例えば人物ａの顔を検出する際に人物ｂの顔が誤って検出されてしまうというように、隣接する別の人物の顔が誤って検出されてしまうということを防止する。
（６）検出確度判定処理
検出確度判定処理では、顔候補データベースに記憶された所定の顔候補に対する顔候補画像データと、これらの画像データと同一であると判定された矩形領域画像データの中から、確度値がより高い画像データ、すなわち、実際の顔により近い矩形領域画像データを選択する。
顔候補データベースに記録されている所定の顔に対する確度値の高い上位３つの顔候補画像データを全て読み出し、この確度値の高い上位３つの顔候補画像データと、同一判定処理において同一の顔であると判定された矩形領域画像データとの４つの矩形領域画像データから、確度値の高い上位３つの矩形領域画像データを選択する。選択された３つの矩形領域画像データは、所定の顔に対する新たな顔候補画像データとして顔候補データベースに書き戻され、選択されなかった残りの１つの矩形領域画像データは、破棄される。
（７）検出結果補正処理
検出結果補正処理では、顔候補データベースに記録されている所定の顔に対する確度値の高い上位３つの顔候補画像データに基づき、実際の顔の領域に近い領域を検出する。
顔検出部１４に入力された画像データを矩形領域で走査する場合の水平方向の移動量Δｘおよび垂直方向の移動量Δｙを限りなく０に近づけるとともに、画像データの縮小率Δｒを限りなく等倍に近づけた場合、水平方向、垂直方向および縮小率に対する検出結果は、図５、図６および図７に示すように、それぞれの確度値のグラフにおけるピークを中心として軸対称に現れる。すなわち、実際の顔の位置およびサイズを示す確度値のグラフにおけるピークの位置およびサイズは、全ての検出結果の平均であると考えられる。
したがって、確度値の高い上位３つの矩形領域画像データの位置およびサイズの平均を算出することにより、離散的な検出結果であっても、より実際の顔に近い位置およびサイズを求めることができる。
例えば、図１１Ａに示すように、矩形領域Ｆ５１，Ｆ５２およびＦ５３の矩形領域画像データが、所定の顔に対する確度値の高い上位３つの顔候補画像データとして顔候補データベースに記憶されている場合には、これらの顔候補画像データを顔候補データベースから読み出し、それぞれの顔候補画像データに関連付けられた位置情報およびサイズ情報に基づき水平方向の位置、垂直方向の位置およびサイズの平均を算出する。そして、図１１Ｂに示すように、算出された水平方向の位置、垂直方向の位置およびサイズの平均に基づく矩形領域Ｆ５４が実際の顔の領域に近い領域として検出される。
矩形領域Ｆ５１，Ｆ５２およびＦ５３における水平方向の位置をそれぞれＸＦ５１，ＸＦ５２，ＸＦ５３とすると、検出結果の矩形領域Ｆ５４の水平方向の位置ＸＦ５４は、数式（１）に基づき算出される。
ＸＦ５４＝（ＸＦ５１＋ＸＦ５２＋ＸＦ５３）／３ ・・・（１）
また、矩形領域Ｆ５１，Ｆ５２およびＦ５３における垂直方向の位置をそれぞれＹＦ５１，ＹＦ５２，ＹＦ５３とすると、検出結果の矩形領域Ｆ５４の垂直方向の位置ＹＦ５４は、数式（２）に基づき算出される。
ＹＦ５４＝（ＹＦ５１＋ＹＦ５２＋ＹＦ５３）／３ ・・・（２）
さらに、矩形領域Ｆ５１，Ｆ５２およびＦ５３のサイズをそれぞれＳＦ５１，ＳＦ５２，ＳＦ５３とすると、検出結果の矩形領域Ｆ５４のサイズＳＦ５４は、数式（３）に基づき算出される。
ＳＦ５４＝（ＳＦ５１＋ＳＦ５２＋ＳＦ５３）／３ ・・・（３）
このように、検出結果補正処理では、顔候補データベースに記憶されている所定の顔に対する確度値の高い上位３つの顔候補画像データに関連付けられた位置情報およびサイズ情報に基づき、所定の顔の矩形領域の水平方向の位置、垂直方向の位置およびサイズの平均を算出することにより、実際の顔の領域により近い領域を検出することができる。
なお、この３つの顔候補画像データから実際の顔の位置およびサイズの平均を算出する処理は、顔候補データベースに記憶された全ての顔候補に対して行う。こうすることにより、入力された画像データ内で検出された複数の顔について、実際の顔の領域により近い領域を検出することができる。
次に、顔検出部１４における顔検出処理の流れについて、図１２に示すフローチャートを参照して説明する。ステップＳ１において、撮像された画像データが画像ＲＡＭ１９を介して顔検出部１４に入力され、ステップＳ２において、顔検出部１４に入力された画像データに対してスケーリング処理が行われ、画像データを所定の縮小率Δｒで縮小した縮小画像データが生成される。生成された縮小画像データは、画像メモリ３２に記憶される。
ステップＳ３では、縮小画像データに対して走査処理が行われ、画像メモリ３２に記憶された縮小画像データに対して走査を行い、左上の端から右下の端に向かって水平方向にΔｘ、垂直方向にΔｙだけ所定サイズの矩形領域を移動させることによって矩形領域画像データが切り出される。
ステップＳ４では、走査処理によって切り出された矩形領域画像データに対して顔判定処理が行われ、矩形領域画像データに対して所定の演算処理が施され、矩形領域画像データが顔領域を含むか否かが判定される。ステップＳ５において、矩形領域画像データが顔領域を含むと判定された場合には、処理がステップＳ６に移行する。
ステップＳ６では、顔判定処理において顔領域を含むと判定された矩形領域画像データと、顔候補データベースに記憶された全ての顔候補に対する顔候補画像データとの重複判定処理が行われたか否かが判断される。全ての顔候補に対する顔候補画像データとの重複判定処理が行われていないと判断された場合には、処理がステップＳ７に移行する。
ステップＳ７では、顔判定処理において顔領域を含むと判定された矩形領域画像データに対して重複判定処理が行われ、顔であると判定された矩形領域画像データと顔候補データベースに記憶された顔候補画像データとが重複しているか否かが判定される。ステップＳ８において、顔であると判定された矩形領域画像データが顔候補データベースに記憶された顔候補画像データと重複していると判定された場合には、処理がステップＳ９に移行する。
一方、ステップＳ８において、顔領域を含むと判定された矩形領域画像データが記憶された顔候補画像データと重複していないと判定された場合には、処理がステップＳ６に戻り、顔であると判定された矩形領域画像データと顔候補データベースに記憶された次の顔候補画像データとの重複判定処理が行われる。
ステップＳ９では、顔候補データベースに記憶された顔候補画像データと重複していると判定された矩形領域画像データに対して同一判定処理が行われ、重複していると判定された矩形領域画像データが、顔候補データベースに記憶された顔候補画像データと同一の画像データであるか否かが判定される。ステップＳ１０において、同一判定処理によって、記憶された顔候補画像データと重複していると判定された矩形領域画像データが、記憶された顔候補画像データと同一であると判定された場合には、処理がステップＳ１１に移行する。
ステップＳ１１では、顔候補データベースに記憶された顔候補画像データと同一であると判定された矩形領域画像データに対して検出確度判定処理が行われ、顔候補データベースに記憶された所定の顔候補に対する全ての顔候補画像データ、および顔候補データベースに記憶された所定の顔候補に対する顔候補画像データと同一であると判定された矩形領域画像データのうち、確度値が上位の所定数の画像データが選択される。ステップＳ１２では、選択された所定数の画像データが新たな顔候補画像データとして顔候補データベースに上書きされる。
一方、ステップＳ６において、顔判定処理において顔領域を含むと判定された矩形領域画像データと顔候補データベースに記憶された全ての顔候補画像データとの重複判定処理が行われたと判断された場合には、処理がステップＳ１７に移行し、顔領域を含むと判定された矩形領域画像データが新たな顔候補に対する顔候補画像データとして顔候補データベースに記憶される。
また、ステップＳ５において、走査処理によって切り出された矩形領域画像データが顔領域を含まないと判定された場合、および、ステップＳ１０において、顔候補データベースに記憶された顔候補画像データと重複していると判定された画像が、顔候補データベースに記憶された顔候補画像データと同一ではないと判定された場合には、処理がステップＳ１３に移行する。
ステップＳ１３では、スケーリング処理で生成された縮小画像データの全ての領域を矩形領域によって走査したか否かが判断される。縮小画像データ全ての領域を走査したと判断された場合には、処理がステップＳ１４に移行する。
一方、ステップＳ１３において、スケーリング処理で生成された拡大または縮小された画像に対して、全ての矩形領域を走査していないと判断された場合には、処理がステップＳ３に戻って走査処理が行われ、走査によって得られた次の矩形領域画像データに対して、上述の各ステップにおける処理が行われる。
ステップＳ１４では、設定された全てのサイズの画像データについて処理したか否かが判断される。全てのサイズの画像データについて処理したと判断された場合には、処理がステップＳ１５に移行する。一方、全てのサイズの画像データについて処理していないと判断された場合には、処理がステップＳ２に戻り、次に拡大または縮小された画像データに対して、上述の各ステップにおける処理が行われる。
ステップＳ１５では、顔候補データベースに記憶された、確度値が上位の複数の顔候補画像データに対して検出結果補正処理が施され、数式（１）、数式（２）および数式（３）に基づき顔の位置およびサイズの平均が算出される。そして、ステップＳ１６において、検出結果として得られた顔の位置およびサイズに関する情報がＣＰＵ２１に出力され、一連の処理が終了する。
このように、この発明の実施の一形態では、所定の顔に対して検出された矩形領域画像データの中から、所定の顔に対する確度値の高い複数の矩形領域画像データのみを記憶させておき、これらの矩形領域画像データの位置およびサイズの平均を算出し、算出結果に基づき顔の領域を検出するようにしているため、実際の顔の領域により近い領域を顔として検出することができる。
また、この実施の一形態では、確度値を示すグラフのピーク付近、すなわち実際の顔の位置およびサイズに近い位置で検出した画像データを顔候補の画像データとするようにしているため、隣接する別の顔などが誤って検出されてしまうことを防ぎ、顔検出の誤差を小さくすることができる。
以上、この発明の実施の一形態について説明したが、この発明は、上述したこの発明の実施の一形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、１つの顔候補に対して記憶されている顔候補画像データの数は、３つに限られず、画像メモリ３２の記憶容量に応じて増減させてもよい。
この発明の実施の一形態による撮像装置の一例の構成を示すブロック図である。 顔検出部の一例の構成を示すブロック図である。 スケーリング処理について説明するための略線図である。 走査処理について説明するための略線図である。 画像データに対して水平方向に走査した場合における矩形領域画像データの確度値について説明するための略線図である。 画像データに対して垂直方向に走査した場合における矩形領域画像データの確度値について説明するための略線図である。 画像データを所定の縮小率で段階的に縮小した場合における矩形領域画像データの確度値について説明するための略線図である。 顔候補データベースの一例を示す略線図である。 同一判定処理について説明するための略線図である。 顔が隣接する場合における顔の検出方法について説明するための略線図である。 検出結果補正処理について説明するための略線図である。 顔検出部における顔検出処理の流れを説明するためのフローチャートである。 顔が隣接する場合における顔の検出方法について説明するための略線図である。
符号の説明
１ 撮像装置
１０ 画像バス
１１ 光学ブロック
１２ 信号変換部
１３ カメラ信号処理部
１４ 顔検出部
１５ 表示処理部
１６ 画像信号処理部
１７ 記憶部
１８ 表示部
１９ 画像メモリ
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
３１ スケーリング部
３２ 画像メモリ
３３ 顔検出コア
３４ コントローラ

Claims (12)

  1. 入力された画像データのサイズを変換する画像変換部と、
    上記サイズ変換された画像データを記憶し、該サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出す画像メモリと、
    切り出された上記矩形領域画像データから顔領域を検出する顔検出処理部と
    を有し、
    上記画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、
    上記顔検出処理部は、
    上記矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、
    上記矩形領域画像データが顔領域を含むと判定された場合に、上記画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、該同一判定枠を基準として上記矩形領域画像データが上記同一判定枠内に含まれるか否かを判定する同一判定処理を行う
    ことを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置において、
    上記顔検出処理部は、
    上記画像メモリに記憶された上記所定の顔候補に対する顔候補画像データと、上記矩形領域画像データとを比較し、それぞれの画像データが所定の面積比率で重複するか否かを判定する重複判定処理を行い、
    重複すると判定された場合に上記矩形領域画像データに対して上記同一判定処理をさらに行う
    ことを特徴とする画像処理装置。
  3. 請求項２に記載の画像処理装置において、
    上記顔検出処理部は、
    上記重複判定処理において上記所定の顔候補に対する顔候補画像データと上記矩形領域画像データとが重複していないと判定された場合に、次の顔候補に対する顔候補画像データと上記矩形領域画像データとが重複しているか否かを判定する
    ことを特徴とする画像処理装置。
  4. 請求項３に記載の画像処理装置において、
    上記顔検出処理部は、
    上記重複判定処理において全ての顔候補に対する顔候補画像データと上記矩形領域画像データとが重複していないと判定された場合に、上記矩形領域画像データを新たな顔候補に対する顔候補画像データとして、上記画像メモリに記憶する
    ことを特徴とする画像処理装置。
  5. 請求項１に記載の画像処理装置において、
    上記顔候補画像データの位置情報、サイズ情報および顔らしさを示す確度値が上記顔候補画像データに対して関連付けられて上記画像メモリに記憶されている
    ことを特徴とする画像処理装置。
  6. 請求項５に記載の画像処理装置において、
    上記顔検出処理部は、
    上記同一判定処理において上記矩形領域画像データが上記同一判定枠内に含まれていると判定された場合に、上記画像メモリに記憶された上記所定の顔候補についての上記複数の顔候補画像データと上記矩形領域画像データとの中から、上記顔らしさを示す確度値が上位である所定数の画像データを選択する検出確度判定処理を行い、
    上記選択された所定数の画像データを上記所定の顔候補についての新たな顔候補画像データとして上記画像メモリに記憶する
    ことを特徴とする画像処理装置。
  7. 請求項６に記載の画像処理装置において、
    上記検出確度判定処理では、上記画像メモリに記憶された上記所定の顔候補についての上記複数の顔候補画像データと上記矩形領域画像データとの中から、上記確度値が上位である３つの画像データを選択する
    ことを特徴とする画像処理装置。
  8. 請求項６に記載の画像処理装置において、
    上記顔検出処理部は、
    上記画像メモリに記憶された上記複数の顔候補画像データの位置情報およびサイズ情報に基づき、上記複数の顔候補画像データの位置およびサイズの平均を算出する検出結果補正処理を行う
    ことを特徴とする画像処理装置。
  9. 入力された画像データのサイズを変換する画像変換ステップと、
    上記サイズ変換された画像データを画像メモリに記憶し、該サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出す走査ステップと、
    切り出された上記矩形領域画像データから顔領域を検出する顔検出処理ステップと
    を有し、
    上記画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、
    上記顔検出処理ステップは、
    上記矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、
    上記矩形領域画像データが顔領域を含むと判定された場合に、上記画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、該同一判定枠を基準として上記矩形領域画像データが上記同一判定枠内に含まれるか否かを判定する同一判定処理を行う
    ことを特徴とする画像処理方法。
  10. 入力された画像データのサイズを変換する画像変換ステップと、
    上記サイズ変換された画像データを画像メモリに記憶し、該サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出す走査ステップと、
    切り出された上記矩形領域画像データから顔領域を検出する顔検出処理ステップと
    を有し、
    上記画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、
    上記顔検出処理ステップは、
    上記矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、
    上記矩形領域画像データが顔領域を含むと判定された場合に、上記画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、該同一判定枠を基準として上記矩形領域画像データが上記同一判定枠内に含まれるか否かを判定する同一判定処理を行う画像処理方法をコンピュータ装置に実行させる
    ことを特徴とする画像処理プログラム。
  11. 被写体からの光を撮像して取得された撮像信号を出力する撮像部と、
    上記撮像部から出力された上記撮像信号に対して信号処理を施し画像データとして出力するカメラ信号処理部と、
    上記画像データに対して顔検出処理を施す顔検出部と
    を備え、
    上記顔検出部は、
    上記画像データのサイズを変換する画像変換部と、
    上記サイズ変換された画像データを記憶し、該サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出す画像メモリと、
    切り出された上記矩形領域画像データから顔領域を検出する顔検出処理部と
    を有し、
    上記画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、
    上記顔検出処理部は、
    上記矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、
    上記矩形領域画像データが顔領域を含むと判定された場合に、上記画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、該同一判定枠を基準として上記矩形領域画像データが上記同一判定枠内に含まれるか否かを判定する同一判定処理を行う
    ことを特徴とする撮像装置。
  12. 被写体からの光を撮像して取得された撮像信号を出力する撮像ステップと、
    上記撮像部から出力された上記撮像信号に対して信号処理を施し画像データとして出力するカメラ信号処理ステップと、
    上記画像データに対して顔検出処理を施す顔検出ステップと
    を備え、
    上記顔検出ステップは、
    上記画像データのサイズを変換する画像変換ステップと、
    上記サイズ変換された画像データを画像メモリに記憶し、該サイズ変換された画像データに対して所定サイズの矩形領域を移動させて走査処理を行い、矩形領域画像データを順次切り出す走査ステップと、
    切り出された上記矩形領域画像データから顔領域を検出する顔検出処理ステップと
    を有し、
    上記画像メモリには、複数の顔候補についての顔領域を含む複数の顔候補画像データがそれぞれ記憶され、
    上記顔検出処理ステップは、
    上記矩形領域画像データが顔領域を含むか否かを判定する顔判定処理を行い、
    上記矩形領域画像データが顔領域を含むと判定された場合に、上記画像メモリに記憶された所定の顔候補に対する顔候補画像データに対して水平方向および垂直方向に所定幅を加えた同一判定枠を設定し、該同一判定枠を基準として上記矩形領域画像データが上記同一判定枠内に含まれるか否かを判定する同一判定処理を行う
    ことを特徴とする撮像装置の制御方法。
JP2007285022A 2007-11-01 2007-11-01 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法 Pending JP2009110486A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007285022A JP2009110486A (ja) 2007-11-01 2007-11-01 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法
US12/290,317 US8340367B2 (en) 2007-11-01 2008-10-29 Image processing apparatus, image processing method, image processing program, image capturing apparatus, and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007285022A JP2009110486A (ja) 2007-11-01 2007-11-01 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法

Publications (1)

Publication Number Publication Date
JP2009110486A true JP2009110486A (ja) 2009-05-21

Family

ID=40588138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007285022A Pending JP2009110486A (ja) 2007-11-01 2007-11-01 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法

Country Status (2)

Country Link
US (1) US8340367B2 (ja)
JP (1) JP2009110486A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098980A (ja) * 2010-11-04 2012-05-24 Seiko Epson Corp 画像処理方法および画像処理装置
JP2012109896A (ja) * 2010-11-19 2012-06-07 Seiko Epson Corp 画像処理装置および画像処理方法
JP2013008154A (ja) * 2011-06-23 2013-01-10 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2013062688A (ja) * 2011-09-13 2013-04-04 Canon Inc 画像処理装置、画像処理方法
WO2014192182A1 (ja) * 2013-05-31 2014-12-04 富士ゼロックス株式会社 画像処理装置、プログラム、記憶媒体及び画像処理方法
JP2019185616A (ja) * 2018-04-16 2019-10-24 Kddi株式会社 画像抽出装置、画像抽出方法及び画像抽出プログラム
JP7419993B2 (ja) 2020-07-02 2024-01-23 コニカミノルタ株式会社 信頼度推定プログラム、信頼度推定方法、および信頼度推定装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110486A (ja) * 2007-11-01 2009-05-21 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法
JP2011090569A (ja) * 2009-10-23 2011-05-06 Sony Corp 画像処理装置および画像処理方法
CN103563350B (zh) * 2011-05-31 2016-09-28 松下知识产权经营株式会社 图像处理装置、图像处理方法以及数码相机
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US20130108119A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US8811747B2 (en) * 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US20130108170A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US9008436B2 (en) * 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
CN103310181B (zh) * 2012-03-07 2016-08-03 华晶科技股份有限公司 人脸辨识***及其人脸辨识方法
TWI488128B (zh) * 2012-03-07 2015-06-11 Altek Corp 人臉辨識系統及其人臉辨識方法
US20130335587A1 (en) * 2012-06-14 2013-12-19 Sony Mobile Communications, Inc. Terminal device and image capturing method
CN109002776B (zh) * 2018-06-29 2021-06-15 金蝶软件（中国）有限公司 人脸识别方法、***、计算机设备和计算机可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3436473B2 (ja) * 1997-06-20 2003-08-11 シャープ株式会社 画像処理装置
JP4329398B2 (ja) 2002-05-10 2009-09-09 ソニー株式会社 顔検出装置及び方法、並びにプログラム及び記録媒体
US7469072B2 (en) * 2003-07-18 2008-12-23 Canon Kabushiki Kaisha Image processing apparatus and method
JP4517633B2 (ja) 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
KR100559471B1 (ko) * 2003-12-17 2006-03-10 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법
KR100668303B1 (ko) * 2004-08-04 2007-01-12 삼성전자주식회사 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법
US7522768B2 (en) * 2005-09-09 2009-04-21 Hewlett-Packard Development Company, L.P. Capture and systematic use of expert color analysis
JP4540661B2 (ja) * 2006-02-28 2010-09-08 三洋電機株式会社 物体検出装置
JP4808578B2 (ja) * 2006-09-22 2011-11-02 富士フイルム株式会社 デジタルカメラおよびその制御方法
US7693301B2 (en) * 2006-10-11 2010-04-06 Arcsoft, Inc. Known face guided imaging method
JP2009110486A (ja) * 2007-11-01 2009-05-21 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098980A (ja) * 2010-11-04 2012-05-24 Seiko Epson Corp 画像処理方法および画像処理装置
JP2012109896A (ja) * 2010-11-19 2012-06-07 Seiko Epson Corp 画像処理装置および画像処理方法
JP2013008154A (ja) * 2011-06-23 2013-01-10 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2013062688A (ja) * 2011-09-13 2013-04-04 Canon Inc 画像処理装置、画像処理方法
WO2014192182A1 (ja) * 2013-05-31 2014-12-04 富士ゼロックス株式会社 画像処理装置、プログラム、記憶媒体及び画像処理方法
JP2014235033A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
US9858662B2 (en) 2013-05-31 2018-01-02 Fuji Xerox Co., Ltd. Image processing device, computer storage medium, and method for detecting and displaying nucleated target cells
JP2019185616A (ja) * 2018-04-16 2019-10-24 Kddi株式会社 画像抽出装置、画像抽出方法及び画像抽出プログラム
JP7073179B2 (ja) 2018-04-16 2022-05-23 Kddi株式会社 画像抽出装置、画像抽出方法及び画像抽出プログラム
JP7419993B2 (ja) 2020-07-02 2024-01-23 コニカミノルタ株式会社 信頼度推定プログラム、信頼度推定方法、および信頼度推定装置

Also Published As

Publication number Publication date
US8340367B2 (en) 2012-12-25
US20090116705A1 (en) 2009-05-07

Similar Documents

Publication Publication Date Title
JP2009110486A (ja) 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法
US9456135B2 (en) Image synthesizing apparatus, image synthesizing method, and image synthesizing program
JP4735742B2 (ja) 撮像装置、ストロボ画像生成方法、および、プログラム
US8629915B2 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
JP4218712B2 (ja) 顔検出装置、撮像装置および顔検出方法
JP4912117B2 (ja) 追跡機能付き撮像装置
JP5760324B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体
JP2006211139A (ja) 撮像装置
TW201316760A (zh) 攝像裝置、及其之控制方法
JP2009193421A (ja) 画像処理装置、カメラ装置、画像処理方法、およびプログラム
JP2006293782A (ja) 画像処理装置及び画像処理プログラム
JP2008176152A (ja) 撮像装置
CN102006485B (zh) 图像处理装置及图像处理方法
JP2016019249A (ja) 表示制御装置
JP2012034069A (ja) 画像処理装置、および画像処理プログラム
JP2008211534A (ja) 顔検知装置
US9710897B2 (en) Image processing apparatus, image processing method, and recording medium
JP2005266223A (ja) カメラ装置およびプログラム
JP6592881B2 (ja) 面検出方法、面検出装置、及び撮像装置
JP2020086216A (ja) 撮像制御装置、撮像装置及び撮像制御プログラム
JP5024033B2 (ja) 被写対象追跡装置、被写対象追跡プログラム及び被写対象追跡方法
JP7458723B2 (ja) 画像処理装置、撮像装置、制御方法、およびプログラム
JP7020387B2 (ja) 撮像制御装置、撮像装置及び撮像制御プログラム
JP2011253099A (ja) 焦点検出装置
JP2009130840A (ja) 撮像装置及びその制御方法及びプログラム