JP2007233247A - 焦点調節量決定装置、方法、およびプログラム、ならびに撮像装置 - Google Patents

焦点調節量決定装置、方法、およびプログラム、ならびに撮像装置 Download PDF

Info

Publication number
JP2007233247A
JP2007233247A JP2006057757A JP2006057757A JP2007233247A JP 2007233247 A JP2007233247 A JP 2007233247A JP 2006057757 A JP2006057757 A JP 2006057757A JP 2006057757 A JP2006057757 A JP 2006057757A JP 2007233247 A JP2007233247 A JP 2007233247A
Authority
JP
Japan
Prior art keywords
image
sharpness
parameter
adjustment amount
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006057757A
Other languages
English (en)
Inventor
Wataru Ito
渡 伊藤
Yuanzhong Li
元中 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006057757A priority Critical patent/JP2007233247A/ja
Priority to US11/712,388 priority patent/US7756408B2/en
Publication of JP2007233247A publication Critical patent/JP2007233247A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

【課題】人物の顔等の被写体中の所定の構造物に対してより高い精度で合焦するように撮像光学系の焦点の調節量を決定する
【解決手段】ＡＦ処理部６２において、パラメータ取得部６２ｂが、顔検出部６２ａによって検出された画像Ｐ0中の顔部分Ｐ0fを、異なるシャープネス度合の下で人間の顔部分が表された複数のサンプル画像に基づいてＡＡＭ等の統計的手法によって生成されたモデルＭに適応させることによって、顔部分Ｐ0fにおけるシャープネス度合を表す主成分に対する重みづけパラメータλsの値を求め、調節量決定部６２ｃが、取得されたパラメータλsの値に応じた撮像光学系の焦点の調節量ｆを決定する。
【選択図】図５

Description

本発明は、撮像装置のオートフォーカス機構における撮像光学系の焦点の調節量を決定する装置、方法、および撮像装置の演算処理ハードウェアにこの方法を実行させるプログラム、ならびにこの装置を備えた撮像装置に関するものである。
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、フォーカスレンズを所定の被写体に合焦するように合焦動作させるオートフォーカス（以下「ＡＦ」と表記する）機構が広く用いられている。この種のＡＦ機構としては、撮像装置から被写体に赤外線を照射し、被写体で反射して撮像装置に戻ってきた赤外線の角度を検出することによって被写体までの距離を測定して、測定された距離の位置にある物体に合焦するようにフォーカスレンズの位置を設定するようにしたもの（アクティブ方式）や、撮像装置の撮像手段が出力する画像信号を処理して合焦状態を検出し、最良の合焦状態が得られる位置にフォーカスレンズを設定するようにしたもの（パッシブ方式）が知られている。
上記パッシブ方式のＡＦ機構としては、像の横ズレ量から合焦状態を判別するようにした位相検出方式と、像のコントラストから合焦状態を判別するようにしたコントラスト検出方式が広く知られている。このコントラスト検出方式のＡＦ機構は、フォーカスレンズを合焦のための動作範囲内（例えば、至近側から無限遠側まで）でステップ駆動により移動させ、ステップ駆動されるごとに撮像手段から画像データを取得し、取得された画像データの焦点評価値（コントラスト値）の極大値に対応する位置にフォーカスレンズを設定するようにしたものである。
ところで、人物の撮影を行う際には、主要被写体となる人物の顔に合焦することが好ましいが、距離の測定や合焦状態の判別の対象となるＡＦエリアが撮影画面の中央に固定されている従来のＡＦ制御方式では、例えば、主要被写体となる２人の人物が画面の中央部をはさんで存在する場合、画面中央のＡＦエリアに入っている背景領域に合焦してしまい、いわゆる「中抜け」となり、２人の人物にピントが合っていない画像となってしまう。
そこで、このような「中抜け」を防止するために、上記のパッシブ方式のＡＦ機構において、撮像手段から出力された画像信号から人物を示す肌色領域を検出し、検出された肌色領域をＡＦエリアとして、該ＡＦエリアにおいて最良の合焦状態が得られる位置にフォーカスレンズを設定する方法や（例えば、特許文献１）、撮影画面内の画像から特徴部位を抽出し、抽出された特徴部位のうちから顔を識別し、識別された顔の大きさが所定値以上の場合にその顔を含む領域をＡＦエリアとして、コントラスト検出方式による焦点評価値の算出を行う方法（例えば、特許文献２）が知られている。
特開平１１−１４６４０５号公報 特開２００４−３１７６９９号公報
しかしながら、特許文献１記載の方法では、画像中の肌色領域を人物の領域として固定的に判断しているので、顔以外の肌色領域にピントが合ってしまう可能性がある。また、特許文献２記載の方法では、人物の顔を識別してはいるものの、ＡＦエリア自体には顔以外の領域が含まれるため、その領域のコントラストが大きいと、その領域で焦点評価値が極大となり、その領域に合焦してしまい、人物の顔にはピントが合っていないこともありうる。
本発明は、上記事情を鑑みてなされたものであり、人物の顔等の被写体中の所定の構造物に対してより高い精度で合焦するように撮像光学系の焦点の調節量を決定することを可能にする装置、方法、およびプログラム、ならびに撮像装置を提供することを目的とする。
本発明の焦点調節量決定方法は、被写体からの光が撮像光学系を通過して撮像素子からなる結像面上に結像することによって結像面に生じた被写体の像をデジタル変換して得られる画像データを入力として、被写体中の所定の構造物を検出し、異なるシャープネス度合で前記構造物が表された複数の画像を表す画像データに対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて統計的特徴量に対する重みづけをする重みづけパラメータとによって前記構造物を表現するモデルに、先に検出された前記構造物を適応させることによって、検出された前記構造物におけるシャープネス度合を表す統計的特徴量に対する重みづけを表すシャープネスパラメータを取得し、取得されたシャープネスパラメータの値に応じて、被写体の像が前記構造物に合焦したものとなるように、撮像光学系の焦点の調節量を決定するようにしたことを特徴とする。
また、本発明の焦点調節量決定装置は、上記の方法を実現するものである。すなわち、被写体からの光が撮像光学系を通過して撮像素子からなる結像面上に結像することによって結像面に生じた被写体の像をデジタル変換して得られる画像データを入力として、被写体中の所定の構造物を検出する検出手段と、異なるシャープネス度合で前記構造物が表された複数の画像を表す画像データに対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて統計的特徴量に対する重みづけをする重みづけパラメータとによって前記構造物を表現するモデルに、検出手段によって検出された前記構造物を適応させることによって、検出された前記構造物におけるシャープネス度合を表す統計的特徴量に対する重みづけを表すシャープネスパラメータを取得するパラメータ取得手段と、パラメータ取得手段によって取得されたシャープネスパラメータの値に応じて、被写体の像が前記構造物に合焦したものとなるように、撮像光学系の焦点の調節量を決定する調節量決定手段とを設けたことを特徴とする。
また、本発明の撮像装置は、上記の焦点調節量決定装置を内蔵したものである。すなわち、撮像光学系と、撮像光学系が被写体の像を結像させる結像面を構成する撮像素子と、結像面に生じた被写体の像をデジタル変換する変換手段と、上記の焦点調節量決定装置と、焦点調節量決定装置によって決定された調節量に応じて撮像光学系の焦点を調節する手段とを設けたことを特徴とするものである。
さらに、本発明の焦点調節量決定プログラムは、上記の撮像装置において演算処理を行うハードウェアを上記の焦点調節量決定装置として機能させるためのものである。すなわち、撮像光学系と、撮像光学系が被写体の像を結像させる結像面を構成する撮像素子と、結像面に生じた被写体の像をデジタル変換する変換手段と、撮像光学系の焦点を調節する手段とを有する撮像装置において演算処理を行うハードウェアを、変換手段によって得られた画像データを入力として、被写体中の所定の構造物を検出する検出手段と、異なるシャープネス度合で前記構造物が表された複数の画像を表す画像データに対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて統計的特徴量に対する重みづけをする重みづけパラメータとによって前記構造物を表現するモデルに、検出手段によって検出された前記構造物を適応させることによって、検出された前記構造物におけるシャープネス度合を表す統計的特徴量に対する重みづけを表すシャープネスパラメータを取得するパラメータ取得手段と、パラメータ取得手段によって取得されたシャープネスパラメータの値に応じて、被写体の像が前記構造物に合焦したものとなるように、撮像光学系の焦点の調節量を決定する調節量決定手段として機能させることを特徴とする。
ここで、「所定の構造物」は、モデル化に適したもの、すなわち、その構造物の画像中における形状や輝度の変動が一定の範囲に収まるもの、特に、統計処理を行うことによって形状や輝度についての説明力のより高い統計的特徴量が得られるものであることが好ましい。また、画像中の主題部分であることが好ましい。具体例としては人間の顔が挙げられる。
本発明における「（所定の）構造物を表現するモデル」の具体的実現手法としては、ＡＡＭ(Active Appearance Models)の手法を利用することが考えられる。ＡＡＭは、モデルに基づいて画像の内容の解釈を試みるアプローチの１つであり、例えば、顔を解釈の対象とする場合、学習対象となる複数の画像中の顔部分の形状や、形状を正規化した後の輝度の情報に対して主成分分析を行うことによって顔の数学モデルを生成し、新たな入力画像中の顔部分を、数学モデルにおける各主成分と各主成分に対する重みづけパラメータで表現し、顔画像を再構成する手法である（Ｔ．Ｆ．クーツ(Cootes), Ｇ．Ｊ．エドワーズ(Edwards), Ｃ．Ｊ．テイラー(Taylor)、「動的見えモデル(Active Appearance Models)」、第５回計算機視覚欧州会議報(In Proc. 5th European Conference on Computer Vision)、ドイツ、シュプリンガー(Springer)、1998年、vol.2、p.p.484-498；以下、参考文献１とする）。

「シャープネス度合」とは、画像の鮮鋭さの程度を意味する。具体的には、輪郭が強調された状態からピンボケ状態までのあらゆる段階が考えられる。
「異なるシャープネス度合で所定の構造物が表された画像」は、異なるシャープネス度合で所定の構造物を実際に撮影することによって得られた画像であってもよいし、特定のシャープネス度合で撮影された画像に基づくシミュレーションによって生成された画像であってもよい。
「所定の統計処理」としては、所定の構造物を、その構造物を表す画素の数よりも少ない次元数の統計的特徴量に圧縮して表すことができる次元圧縮処理が好ましい。具体例としては主成分分析等の多変量解析手法が考えられる。また、「所定の統計処理」として主成分分析を行った場合、「統計的特徴量」とは、主成分分析によって得られる複数の主成分を意味する。なお、所定の統計処理が主成分分析である場合を例にすると、上位の主成分ほど説明力が高く、下位主成分ほど説明力が低いという意味になる。
「統計的特徴量」には、少なくともその構造物の輝度に基づく情報が表現されている必要がある。シャープネス度合は、輝度の分布によって画像中に表現されるものだからである。
また、「シャープネス度合を表す統計的特徴量」は、１つの統計的特徴量であってもよいし、複数の統計的特徴量であってもよい。
「その構造物を表現するモデルに、検出された前記構造物を適応させる」とは、検出された構造物をモデルによって表現するための演算処理等を意味する。具体的には、上記のＡＡＭの手法を用いた場合を例にすると、数学モデルにおける各主成分に対する重みづけパラメータの値を求めることを意味する。
また、本発明におけるモデルを所定の構造物の属性毎に複数準備しておき、それら複数のモデルから１つのモデルを選択し、選択されたモデルに、検出された前記構造物を適応させることによって、シャープネスパラメータを取得するようにしてもよい。
ここで、「属性」とは、例えば、所定の構造物が人間の顔の場合、性別や年齢、人種等が考えられる。また、個人を特定する情報であってもよい。この場合には、属性毎のモデルは個人毎のモデルを意味する。さらに、ＧＰＳ情報を受信するようにし、受信されたＧＰＳ情報、すなわち撮影地点の国等の地域を表す情報から人種を推定するようにしてもよい。
「取得されたシャープネスパラメータの値に応じて、被写体の像が前記構造物に合焦したものとなるように、撮像光学系の焦点の調節量を決定する」処理は、シャープネスパラメータの値と撮像光学系の焦点の調節量との対応関係を表す情報を記憶しておき、記憶された前記対応関係を表す情報に基づいて、前記のモデルへの適応処理によって取得されたシャープネスパラメータの値に対応する調節量を取得するようにしてもよい。また、コントラスト検出方式を応用して、所定のステップ幅で撮像光学系の焦点の位置を順次移動させ、１ステップの移動毎にその焦点の位置での撮影によって得られる画像の画像データを取得し、その画像中の前記構造物を検出し、検出された構造物を前記モデルに適応させることによって、検出された構造物におけるシャープネスパラメータを取得し、撮像光学系の焦点の位置が、シャープネスパラメータの値が最適値（前記構造物のシャープネスが最も好ましいときのシャープネスパラメータの値）となったときの焦点の位置と一致するように、前記調節量を決定するようにしてもよい。
本発明の焦点調節量決定装置、方法、およびプログラム、ならびに撮像装置によれば、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量とその統計的特徴量に対する重みづけパラメータとによって画像中の所定の構造物を表現するモデルに、入力画像から検出された前記構造物を適応させることによって、その入力画像中の前記構造物におけるシャープネスパラメータを取得し、取得されたシャープネスパラメータの値に応じて、被写体の像が前記構造物に合焦したものとなるように、撮像光学系の焦点の調節量を決定するので、オートフォーカス制御において、前記構造物以外の領域のシャープネスの影響が排除され、前記構造物のシャープネスのみに基づいた前記構造物に対するより高い精度での合焦状態が得られ、決定された調節量に応じて調節された撮像光学系の焦点の下で撮像を行うことによって、被写体中の前記構造物がより好ましい状態で表された画像が得られる。
また、シャープネスパラメータの値と撮像光学系の焦点の調節量との対応関係を表す情報を記憶しておき、記憶された前記対応関係を表す情報に基づいて、前記のモデルへの適応処理によって取得されたシャープネスパラメータの値に対応する調節量を取得するようにした場合には、従来のコントラスト検出方式のように、撮像光学系の焦点の位置を順次移動させながら各焦点の位置での撮像によって画像を取得する必要がなくなる。したがって、撮像光学系の移動のための消費電力や処理時間を節約することが可能になる。
また、本発明におけるモデルを所定の構造物の属性毎に複数準備しておき、それら複数のモデルから１つのモデルを選択し、選択されたモデルに、検出された前記構造物を適応させることによって、シャープネスパラメータを取得するようにした場合、主要被写体である前記構造物を、より適切なモデルに適応させることが可能になるため、処理精度が向上し、より高品質の画像が得られる。
以下、図面を参照して本発明の実施の形態について説明する。なお、以下の実施の形態では、本発明の焦点調節量決定装置を備えたデジタルスチルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、デジタルビデオカメラ、デジタルカメラ付き携帯電話、デジタルカメラ付きＰＤＡ等、電子撮像機能を備えた他の電子機器に対しても適用可能である。
図１および２は、デジタルカメラの一例を示すものであり、それぞれ背面側および前面側から見た外観図である。図１に示すように、デジタルカメラ１の本体１０の背面には、撮影者による操作のためのインターフェースとして、動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６が設けられ、さらに撮影のためのファインダ１７および撮影並びに再生のためのモニタ１８が設けられている。また本体１０の上面には、シャッタボタン１９が設けられている。
動作モードスイッチ１１は、静止画撮影モード、動画撮影モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。
メニュー／ＯＫボタン１２は、押下される毎に撮影モード、フラッシュ発光モード、記録画素数や感度等の設定を行うための各種メニューをモニタ１８に表示させたり、モニタ１８に表示されたメニューに基づく選択・設定を行ったりするためのボタンである。
ズーム／上下レバー１３は、上下方向に倒すことによって、撮影時には望遠／広角の調整が行われ、各種設定時にはモニタ１８に表示されるメニュー画面中のカーソルが上下に移動して表示される。
左右ボタン１４は、各種設定時にモニタ１８に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。
Ｂａｃｋ（戻る）ボタン１５は、押下されることによって各種設定操作を中止し、モニタ１８に１つ前の画面を表示するためのボタンである。
表示切替ボタン１６は、押下することによってモニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。
以上説明した各ボタンおよびレバーの操作によって設定された内容は、モニタ１８中の表示や、ファインダ１７内のランプ、スライドレバーの位置等によって確認可能となっている。
また、ファインダ１７は、ユーザが被写体を撮影する際に構図やピントを合わせるために覗くためのものである。ファインダ１７から見える被写体像は、本体１０の前面にあるファインダ窓２３を介して映し出される。
モニタ１８には、撮影の際に被写体確認用のスルー画が表示される。これにより、モニタ１８は電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。
シャッタボタン１９は、半押しと全押しの２段階の状態変化があり、半押しは、本撮影の撮影条件設定処理のトリガとなり、全押しは、本撮影の実行のトリガとなる。
さらに、図２に示すように、本体１０の前面には、撮影レンズ（撮像光学系）２０、レンズカバー２１、電源スイッチ２２、ファインダ窓２３、フラッシュライト２４およびセルフタイマーランプ２５が設けられ、側面にはメディアスロット２６が設けられている。
撮影レンズ２０は、被写体像を所定の結像面上（本体１０内部にあるＣＣＤ）に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。
レンズカバー２１は、デジタルカメラ１の電源がオフ状態の時、再生モードであるとき等に撮影レンズ２０の表面を覆い、汚れやゴミ等から撮影レンズ２０を保護するものである。
電源スイッチ２２は、デジタルカメラ１の電源のオン／オフを切り替えるためのスイッチである。
フラッシュライト２４は、シャッタボタン１９が押下され、本体１０の内部にあるシャッタが開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。
セルフタイマーランプ２５は、セルフタイマーによって撮影する際に、シャッタの開閉タイミングを被写体に知らせるためものである。
メディアスロット２６は、メモリカード等の外部記録メディア７０が充填されるための充填口であり、外部記録メディア７０が充填されると、データの読み取り／書き込みが行われる。
図３は、デジタルカメラ１の主要な機能構成を示すブロック図である。デジタルカメラ１の操作系として、前述の動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６、シャッタボタン１９および電源スイッチ２２と、これらのスイッチ、ボタン、レバー類の操作内容を動作制御部７５に伝えるための操作系インターフェース７４が設けられている。
また、撮影レンズ２０を構成するものとして、フォーカスレンズ２０ａおよびズームレンズ２０ｂが設けられている。これらのレンズは、各々、モータとモータドライバからなるフォーカスレンズ駆動部５１およびズームレンズ駆動部５２によって駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部５１は、ＡＦ処理部６２によって求められる焦点調節量データに基づいてフォーカスレンズ２０ａを駆動したり、コントラスト検出方式のＡＦ制御を行う場合には、フォーカスレンズ２０ａを所定のステップ幅で駆動したりする。ズームレンズ駆動部５２は、ズーム／上下レバー１３の操作量データに基づいてズームレンズ２０ｂの駆動を制御する。
絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ（自動露出）処理部６３から出力される絞り値データに基づいて絞り５４の絞り径の調整を行う。
シャッタ５６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部５７によって駆動される。シャッタ駆動部５７は、シャッタボタン１９の押下信号と、ＡＥ処理部６３から出力されるシャッタ速度データとに応じてシャッタ５６の開閉の制御を行う。
上記光学系の後方には、撮影素子であるＣＣＤ５８を有している。ＣＣＤ５８は、多数の受光素子が２次元状に配列されてなる光電面を有しており、光学系を通過した被写体光が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ（不図示）と、ＲＧＢ各色のフィルタが規則的に配列されてなるカラーフィルタアレイ（不図示）とが配置されている。ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロック信号および水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつシリアルのアナログ画像データとして出力する。各画素における電荷の蓄積時間（即ち露出時間）は、ＣＣＤ制御部５９から与えられる電子シャッタ駆動信号によって決定される。
ＣＣＤ５８が出力するアナログ画像データは、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、アナログ画像信号のノイズ除去を行う相関２重サンプリング回路（ＣＤＳ）と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）と、アナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。そしてデジタル画像データは、画素毎にＲＧＢの濃度値を持つＣＣＤ−ＲＡＷデータである。
タイミングジェネレータ７２は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部５７、ＣＣＤ制御部５９、アナログ信号処理部６０に入力されて、シャッタボタン１９の操作と、シャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、アナログ信号処理６０の処理の同期が取られる。
フラッシュ制御部７３は、フラッシュ発光モードの設定や測光情報等に基づいてフラッシュライト２４の発光動作を制御する。
画像入力コントローラ６１は、上記アナログ信号処理部６０から入力されたＣＣＤ−ＲＡＷデータをＲＡＭ６８に書き込む。
ＲＡＭ６８は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）から構成されている。
表示インターフェース７１は、ＲＡＭ６８に格納された画像データをモニタ１８に表示させるためのものであり、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換してモニタ１８に出力する。デジタルスチルカメラ１の動作モードが撮影モードに設定されている場合には、一定間隔でのＣＣＤ５８からの電荷の読出しに基づくスルー画がモニタ１８に出力され、再生モードに設定されている場合には、外部記録メディア７０に記録されている画像が出力される。
ＡＦ処理部６２、ＡＥ処理部６３、およびＡＷＢ処理部６４は、プレ画像に基づいて撮影条件を決定する。プレ画像とは、シャッタボタン１９が半押しされることによって発生する半押し信号を検出した動作制御部７５がＣＣＤ５８にプレ撮影を実行させた結果、ＲＡＭ６８に格納された画像データに基づいた画像である。なお、シャッタボタン１９が半押しされていない状態であっても、ＣＣＤ５８からの電荷の読出しを所定の時間間隔で行い、アナログ信号処理部６０でデジタル化された画像データに基づいて処理を行うようにしてもよく、この画像データはスルー画と同じものであってもよいし、異なるタイミングで読出しを行うことによって得られたものであってもよい。
ＡＦ処理部６２は、本発明の焦点調節量決定装置に相当する部分であり、プレ画像に基づいてフォーカスレンズ２０ａの駆動量（焦点調節量）を決定する。詳細については、後述する。
ＡＥ処理部６３は、上記プレ画像に基づいて被写体輝度を測定し、所定のプログラム線図に基づいて絞り値やシャッタ速度等を決定し、絞り値データやシャッタ速度データを出力する。
ＡＷＢ処理部６４は、本画像のホワイトバランスの自動調整を行う。この本画像とは、シャッタボタン１９が全押しされることによって本撮影の実行が指示され、ＣＣＤ５８からアナログ画像データが取り込まれ、アナログ信号処理部６０、画像入力コントローラ６１経由でＲＡＭ６８に格納された画像データに基づいた画像である。本画像の画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定（ファイン、ノーマル等の設定）により、記録画素数を変更することができる。一方、スルー画やプレ画像の画素数は本画像より少なくてもよく、例えば、本画像の１／１６程度の画素数で取り込まれてもよい。
画像処理部６５は、本画像の画像データに対してガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理を施すと共に、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。
圧縮／伸長処理部６６は、画像処理部６５によって画質補正等の処理が行われた画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆ等のデータ形式に基づいて付帯情報が付加される。またこの圧縮／伸長処理部６６は、再生モードにおいては、外部記録メディア７０から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示インターフェース７１に出力され、表示インターフェース７１は画像データに基づいた画像をモニタ１８に表示させる。
メディアインターフェース６９は、図２におけるメディアスロット２６を含み、外部記録メディア７０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。
動作制御部７５は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部の動作を制御する。
データバス７６は、画像入力コントローラ６１、各種処理部６２〜６７、ＲＡＭ６８、各種インターフェース６９、７１、および動作制御部７５に接続されており、このデータバス７６を介して各種信号、データの送受信が行われる。
ＲＯＭ６７には、各種の処理・制御プログラムや参照データ等が記憶されている。
なお、図３の機能構成のデジタルスチルカメラ１への物理的な実装形態については、様々な形態が考えられる。例えば、アナログ信号処理部６０とタイミングジェネレータ７２を１つのチップセットとすることや、画像入力コントローラ６１、ＡＦ処理部６２、ＡＥ処理部６３、ＡＷＢ処理部６４、画像処理部６５、圧縮／伸長処理部６６、メディアインターフェース６９、表示インターフェース７１を１つのチップセットとすること、これらに動作制御部７５や操作系インターフェース７４もあわせて１つのチップセットとすること等が考えられる。また、各チップセットにＲＯＭやＲＡＭを内蔵させてもよい。さらに、ＡＦ処理部６２、ＡＥ処理部６３、ＡＷＢ処理部６４、画像処理部６５、圧縮／伸長処理部６６等で行われるデータ処理についても、その処理に特化したハードウェア回路として実装してもよいし、各処理を行わせるためのプログラムを汎用的なチップ上で実行させることによってソフトウェア的に実装してもよい。
次に、ユーザによる操作に応じたデジタルカメラ１の動作の流れについて、図４のフローチャートを用いて説明する。ユーザによる電源スイッチ２２をＯＮにする操作の後、動作制御部７５は、動作モードスイッチ１１の設定にしたがって、動作モードが撮影モードであるか再生モードであるか判別する（ステップＳ１）。再生モードの場合（ステップＳ１；再生）、画像の再生処理が行われる（ステップＳ１２）。この再生処理は、メディア制御部６９が外部記録メディア７０に記憶された画像ファイルを読み出し、画像データをＲＡＭ６８に一旦格納し、格納された画像データに基づいた画像をモニタ１８に表示させるための処理である。再生処理が終了したら、動作制御部７５はデジタルカメラ１の電源スイッチ２２によってオフ操作がなされたか否かを判別し（ステップＳ１０）、オフ操作がなされていたら（ステップＳ１０；ＹＥＳ）、デジタルカメラ１の電源をオフし、処理を終了する。
一方、ステップＳ１において動作モードが撮影モードであると判別された場合（ステップＳ１；撮影）、スルー画の表示が行われる（ステップＳ２）。具体的には、ＣＣＤ５８からの電荷の読出しによって出力されるアナログ画像データが、アナログ信号処理部６０でのＣＤＳ，ＡＧＣ，ＡＤＣの各処理によってＣＣＤ−ＲＡＷデータにデジタル変換され、ＣＣＤ−ＲＡＷデータが画像入力コントローラ６１によってＲＡＭ６８に格納され、格納されたＣＣＤ−ＲＡＷデータが表示インターフェース７１によってコンポジット信号に変換され、モニタ１８に出力される。スルー画の場合には、この一連の処理が所定の時間間隔で行われることによって表示される画像が更新され、動画的な表示となる。
動作制御部７５はシャッタボタン１９が半押しされたか否かを監視しており（ステップＳ３）、半押しがされていない場合（ステップＳ３；ＮＯ）、動作制御部７５はスルー画の表示（ステップＳ２）とシャッタボタン１９の半押しの検出（ステップＳ３）を繰り返す。
ユーザが、モニタ１８に表示されるスルー画を見ながら、またはファインダ１７を覗きながら、撮影レンズ２０を被写体に向け、必要に応じてズーム／上下レバー１３を操作してズームレンズ２０ｂを移動させ、撮影画角を決定し、シャッタボタン１９を半押しすると、動作制御部７５において半押しが検出され（ステップＳ３；ＹＥＳ）、プレ画像の取得の指示が出される。
この指示に応じて、スルー画用の電荷の読出しとは関係なく、ＣＣＤ５８では電荷の読出しが行われ、出力されたアナログ画像データが、アナログ信号処理部６０でのＣＤＳ，ＡＧＣ，ＡＤＣの各処理によってＣＣＤ−ＲＡＷデータにデジタル変換され、ＣＣＤ−ＲＡＷデータが画像入力コントローラ６１によってＲＡＭ６８に格納される。このＣＣＤ−ＲＡＷデータによる画像がプレ画像である（ステップＳ４）。
次に露出決定処理が行われる（ステップＳ５）。具体的には、ＡＥ処理部６３が、取得されたプレ画像に基づいて被写体輝度を測定し、予めＲＯＭ６７に記憶されているプログラム線図を表す参照データに基づいて、露出、すなわち絞り値やシャッタ速度を決定し、絞り値データやシャッタ速度データを出力し、さらに、動作制御部７５の指示に応じて、出力された絞り値データに基づいて、絞り駆動部５５によって絞りの口径が調整される。また、被写体輝度の測定結果によっては、シャッタボタン１９の全押しによる本撮影の際にフラッシュライト２４が発光するように設定される。
続いて焦点調節処理が行われる（ステップＳ６）。具体的には、ＡＦ処理部６２がフォーカスレンズ２０ａの駆動量ｆと駆動方向ｄを決定し、フォーカスレンズ駆動部５１が駆動量ｆと駆動方向ｄに基づいてフォーカスレンズ２０ａを光軸方向に駆動する。この処理の詳細については、本発明の第１、第２の実施形態として後に説明する。
動作制御部７５では、シャッタボタン１９の半押しが解除されたか否かが判別される（ステップＳ７）。半押しが解除された場合には（ステップＳ７；ＹＥＳ）再びスルー画の表示が行われる（ステップＳ２）。半押しが解除されていない場合は（ステップＳ７；ＮＯ）、シャッタボタン１９が全押しされたか否かの判別が繰り返される（ステップＳ８）。全押しされた場合は（ステップＳ８；ＹＥＳ）動作制御部７５が撮影処理の実行を指示する（ステップＳ９）。この指示に応じて、タイミングジェネレータ７２がタイミング信号を適宜発生させ、この信号によってシャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、アナログ信号処理６０の処理の同期が取られる。シャッタ駆動部５７は、シャッタ５７を閉じた後、ＡＥ処理部６３で求められたシャッタ速度に応じてシャッタ５７を再度開く。そして、ＣＣＤ５８制御部５９によって、シャッタが開いていた間にＣＣＤ５８に蓄積された電荷の読出しが行われ、ＣＣＤ５８の光電面に結像された被写体像を表すアナログ画像データが出力される。出力されたアナログ画像データは、アナログ信号処理部６０でのＣＤＳ，ＡＧＣ，ＡＤＣの各処理によってＣＣＤ−ＲＡＷデータにデジタル変換され、ＣＣＤ−ＲＡＷデータが画像入力コントローラ６１によってＲＡＭ６８に格納される。さらに、ＲＡＭ６８に格納されたＣＣＤ−ＲＡＷデータによる画像に対して、所定のセットアップ条件に基づき、ＡＷＢ処理部６４が公知のホワイトバランスの調整処理を行い、さらに、画像処理部６５がガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理と、ＹＣデータへの変換処理を行う。
撮影処理が終了すると、動作制御部７５は撮影画像のモニタ１８への表示を指示するとともに、圧縮／伸張処理部６６に上記の処理・変換後の画像データの圧縮処理を行わせ、圧縮後の画像データに撮影条件等の付帯情報を付加してＥｘｉｆ形式の画像ファイルを生成させ、メディアインターフェース６９経由で外部記録メディア７０への画像ファイルの記録を行わせる（ステップＳ１０）。そして動作制御部７５は電源スイッチ２２によってオフ操作がなされたか否かを判別し（ステップＳ１１）、オフ操作がなされていたら（ステップＳ１１；ＹＥＳ）、デジタルカメラ１の電源をオフし、処理を終了する。オフ操作がなされていなかったら（ステップＳ１１；ＮＯ）、動作モードの判別処理（ステップＳ１）に戻る。
図５は、ＡＦ処理部６２で行われる焦点調節量決定処理（図４のステップＳ６）のうち、人物撮影モードの際の本発明の第１の実施形態となる処理における機能構成とデータの流れを模式的に示したブロック図である。図に示したように、この焦点調節量決定処理は、入力画像中の顔部分を検出する顔検出部６２ａと、異なるシャープネス度合の下で人間の顔部分が表された複数のサンプル画像に基づいてＡＡＭ（前記の参考文献１参照）の手法によって生成された数学モデルＭに、検出された顔部分を適応させることによって、数学モデルＭのシャープネス度合を表す主成分に対して、検出された顔部分に応じた重みづけをするシャープネスパラメータλsを取得するパラメータ取得部６２ｂと、シャープネスパラメータλsの値と顔部分Ｐ0fに合焦した画像を得るために必要なフォーカスレンズ２０ａの駆動量ｆとの対応関係を表す参照テーブルＴに基づいて、プレ画像Ｐ0から顔検出部６２ａによって検出された顔部分Ｐ0fを、パラメータ取得部６２ｂが数学モデルＭに適応させることによって取得したシャープネスパラメータの値λs(0)に対応する駆動量ｆを取得する調節量決定部６２ｃと、フォーカスレンズ駆動部５１がフォーカスレンズ２０ａを現在の位置から所定量だけ至近側に駆動した後に取得された駆動方向決定用画像Ｐ1から顔検出部６２ａによって検出された顔部分Ｐ1fを、パラメータ取得部６２ｂが数学モデルＭに適応させることによって取得したシャープネスパラメータの値λs(1)と、上記のシャープネスパラメータの値λS(0)とを比較することによって、フォーカスレンズ２０ａの駆動方向ｄを決定する駆動方向決定部６２ｆとによって実現される。
顔検出部６２ａは、公知の顔検出手法によって入力画像から顔部分を検出する。例えば、特開２００５−１０８１９５号公報（参考文献２）に記載の方法を適用して、入力画像の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第１の特徴量を、複数の第１の識別器（後述）に入力することによって入力画像中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第２の特徴量を、第２の識別器（後述）に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分として検出することが考えられる。ここで、第１／第２の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第１／第２の特徴量を入力とする、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。
この他、特表２００４−５２７８６３号公報（参考文献３）に記載の固有顔表現と画像自体との相関スコアを用いる方法や、知識ベース、特徴抽出、肌色検出，テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を適用することができる。
数学モデルＭは、図６のフローチャートに基づいて生成されたものであり、デジタルスチルカメラ１の出荷時点でＲＯＭ６７に予め記憶されている。以下では、この数学モデルＭの生成過程について説明する。
まず、サンプルとなる異なるシャープネス度合の下における人間の顔部分が表された複数の顔画像（サンプル画像）の各々に対して、図７に示すように、顔形状を表す特徴点を設定する（ステップ#1）。ここでは、特徴点の数は１２２箇所とする（ただし、図７では簡潔に表現するため６０箇所しか表していない）。各特徴点は、例えば、１番目の特徴点は左目の左端、３８番目の特徴点は眉の間の中央というように、顔のどの部位を示すものであるかが予め定められている。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定するようにしてもよいし、自動的に設定後、必要に応じて手作業で修正するようにしてもよい。
次に、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する（ステップ#2)。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。
さらに、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う（ステップ#3)。その結果、任意の顔形状は次式（１）によって近似することができる。
ここで、Ｓは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル（ｘ1,ｙ1,・・・,ｘ122，ｙ122）であり、Ｓ0は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、ｐiは主成分分析によって得られた顔形状についての第ｉ主成分を表す固有ベクトル、ｂiは各固有ベクトルｐiに対する重みづけ係数を表す。図８は、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ1、ｐ2に対する重みづけ係数ｂ1、ｂ2の値を変化させた場合の顔形状の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔形状を上式（１）で表した場合における重みづけ係数ｂ1、ｂ2の値の標準偏差sdに基づいて、-3sdから+3sdまでの間であり、各主成分についての３つの顔形状の中央のものは平均値の場合である。この例では、主成分分析の結果、第１主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数ｂ1を変化させることによって、細長い顔（-3sd）から丸顔（+3sd）まで顔形状が変化することがわかる。同様に、第２主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数ｂ2を変化させることによって、口が開いた状態で顎の長い顔（-3sd）から口が閉じられた状態で顎が短い顔（+3sd）まで顔の形状が変化することがわかる。なお、ｉの値が小さいほど、形状に対する説明力が高い、すなわち、顔形状への寄与が大きいことを意味する。
次に、各サンプル画像をステップ#2で得られた平均顔形状に変換（ワーピング）する（ステップ#4）。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出し、そのシフト量に基づいて、式（２）から（５）の２次元５次多項式により各サンプル画像の画素毎の平均顔形状へのシフト量を算出し、各サンプル画像を画素毎に平均顔形状へワーピングする。
ここで、ｘ，ｙは各サンプル画像中の各特徴点の座標、ｘ′，ｙ′はワーピングされる平均顔形状上の座標、Δｘ，Δｙは平均形状へのシフト量、ｎは次数、ａij，ｂijは係数である。なお、多項式近似の係数は最小自乗法を用いて求める。このとき、ワーピング後の座標が整数ではなく小数点以下を含む位置に移動する画素については、４近傍から１次近似で画素値を求める。つまり、ワーピング後の座標を囲む４つの画素に対して、ワーピング後の座標から各画素の座標までの距離に比例して画素値をそれぞれ分配するようにする。図９は、２つのサンプル画像について、各々の画像中の顔形状を平均顔形状に変換した状態を表したものである。
さらに、平均顔形状に変換後のサンプル画像毎の各画素の輝度を変数として主成分分析を行う（ステップ#5)。その結果、任意の顔画像の平均顔形状下での輝度は次式（６）によって近似することができる。
ここで、Ａは平均顔形状下での各画素の輝度を並べて表現される輝度ベクトル（ａ1,・・・,ａm）（ａは輝度、１からｍは各画素を識別する添え字、ｍは平均顔形状での総画素数）であり、また、Ａ0は平均顔形状における各サンプル画像の画素毎の輝度の平均値を並べて表現される平均顔輝度ベクトル、ｑiは主成分分析によって得られた顔輝度についての第ｉ主成分を表す固有ベクトル、λiは各固有ベクトルｑiに対する重みづけ係数を表す。なお、主成分の順位ｉの値が小さいほど、輝度に対する説明力が高い、すなわち、輝度への寄与が大きいことを意味する。
図１０は、主成分分析によって得られた主成分のうち第ｉ1、第ｉ2の主成分を表す固有ベクトルｑi1、ｑi2に対する重みづけ係数λi1、λi2の値を変化させた場合の顔の画素値の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔の画素値を上式（６）で表した場合における重みづけ係数λi1、λi2の値の標準偏差sdに基づいて、-3sdから+3sdまでの間であり、各主成分についての３つの顔画像の中央のものは平均値の場合である。この例では、主成分分析の結果、第ｉ1主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λi1を変化させることによって、ヒゲの濃い顔（-3sd）からヒゲのない顔（+3sd）まで変化することがわかる。同様に、第ｉ2主成分としてはシャープネスに寄与する成分が抽出されており、この成分に対する重みづけ係数がシャープネスパラメータλsである。このシャープネスパラメータλsを変化させることによって、輪郭が強調された顔（-3sd）からピンボケの顔（+3sd）まで変化することがわかる。なお、各主成分がどのような要素に寄与しているかは人間の解釈によって決定される。また、シャープネスに寄与する主成分が必ずしも第１主成分として抽出されている必要はない。さらに、シャープネス度合が１つの主成分のみによって表現される必要はなく、複数の主成分がシャープネス度合を説明することもありうる。
以上のステップ#1から#5までの処理によって、顔の数学モデルＭが生成される。すなわち、この数学モデルＭは、顔形状を表す複数の固有ベクトルｐiと、平均顔形状下での顔の画素値を表す固有ベクトルｑiによって表現されるものであり、各固有ベクトルの合計数が、顔画像を形成する画素数よりも大幅に少ない、次元圧縮されたものとなっている。なお、上記参考文献１記載の実施例では、約10,000画素により形成される顔画像に対して122の特徴点を設定して上記の処理を行うことによって、顔形状についての23の固有ベクトルと顔の画素値についての114の固有ベクトルで表される顔画像の数学モデルが生成され、各固有ベクトルに対する重みづけ係数を変化させることによって、約90％の顔形状や画素値のバリエーションを表現できることが示されている。
パラメータ取得部６２ｂは、入力画像中の顔部分を数学モデルＭに適応させる処理を行う。具体的には、上記式（１）（６）の上位の主成分の固有ベクトルｐi、ｑiに対する重みづけ係数ｂi、λiから順に係数の値を変化させながら、上記式（１）（６）に基づいて画像を再構成し、再構成された画像と入力画像中の顔部分との差異が最小となる時の重みづけ係数ｂi、λiを求める（詳細は、参考文献３等参照）。これによりシャープネスパラメータλsの値が決定される。なお、重みづけ係数ｂi、λiの値は、モデル生成時のサンプル画像を上記（１）（６）で表したときのｂi、λiの分布の標準偏差sdに基づき、例えば-3sdから+3sdまでの範囲の値のみを許容し、その範囲を超える場合には、上記の分布における平均値を設定するようにすることが好ましい。これにより、モデルの誤適応を回避することができる。
参照テーブルＴは、予め実験的、統計的に求めておいたシャープネスパラメータλsとフォーカスレンズ２０ａの駆動量ｆの対応関係を定義したものである。すなわち、シャープネスパラメータλsのとりうる値毎に、入力画像中の顔部分に合焦した状態の画像を撮影するにはフォーカスレンズ２０ａをどれだけ駆動させればよいかを実験的、統計的に求め、シャープネスパラメータλsの値毎にその駆動量ｆを対応づけたものである。
調節量決定部６２ｃは、参照テーブルＴを参照し、パラメータ取得部６２ｂが取得したシャープネスパラメータλsの値に対応するフォーカスレンズ２０ａの駆動量ｆを取得する。
なお、参照テーブルＴを用いずに、シャープネスパラメータλsを入力として駆動量ｆを出力する関数を定義し、調節量決定部６２ｃがその関数に基づいて駆動量ｆを求めるようにしてもよい。
また、上記の説明では、シャープネスを表す主成分が１つ、すなわちシャープネスパラメータが１つだけであることを前提としたが、複数の主成分の組合せによってシャープネスが表されている場合には、参照テーブルＴにおいて、これら複数の主成分に対する重みづけ係数の値の組合せ毎に駆動量ｆの値を定義しておいてもよいし、次式（７）のように、各重みづけ係数の線形結合として新たな１つのシャープネスパラメータＣを求め、このパラメータＣの値毎に駆動量ｆを定義しておいてもよいし（αiは、重みづけ係数λiに対応する主成分のシャープネス度合に対する寄与度を表す係数）、
各重みづけ係数の値の組合せと新たなパラメータＣの値を対応づける高次元の参照テーブルによって求めるようにしてもよい。さらに、各重みづけ係数λ1，λ2，・・・，λJを入力として、駆動量ｆを出力する関数を定義しておいてもよい。
駆動方向決定部６２ｆは、プレ画像Ｐ0取得時のシャープネスパラメータの値λS(0)とフォーカスレンズ２０ａを所定量だけ至近側に駆動した後の駆動方向決定用画像Ｐ1取得時のシャープネスパラメータの値λS(1)とに基づき、フォーカスレンズ２０ａの至近側への駆動によって顔部分のシャープネスがより好ましくなったかどうかを判定する。具体的には、シャープネスパラメータの値λS(0)とλS(1)の各々について、予め実験的・統計的に求めておいたシャープネスパラメータの最適値λS0との差（各々△Sλ(0)、△λS(1)）を求め、△λS(0)≧△λS(1)であれば顔部分のシャープネスがより好ましくなったと判定する。なお、シャープネスパラメータの最適値λS0がシャープネスパラメータのとりうる値の最大値または最小値である場合には、シャープネスパラメータの値λS(0)とλS(1)の大小関係によって顔部分のシャープネスがより好ましくなったかどうかを判定できる。そして、フォーカスレンズ２０ａの至近側への駆動によって顔部分のシャープネスがより好ましくなったと判定された場合には、フォーカスレンズ２０ａの駆動方向ｄを「至近側」に決定し、その逆の場合には、駆動方向ｄを「望遠側」に決定する。
次に、本発明の第１の実施形態となる焦点調節量決定処理を含む焦点調節処理（図４のステップＳ６）について図１１のフローチャートに沿って説明を行う。まず、ＡＦ処理部６２が、撮影モードが人物撮影モードに設定されているかどうかの判別を行う（ステップＳ6.01）。ここで撮影モードが風景撮影モードやオート撮影モード等の人物撮影モード以外の場合には（ステップＳ6.01；人物以外）、公知のコントラスト検出方式によって、フォーカスレンズ２０ａの位置が決定され、その位置にフォーカスレンズ２０ａを移動させるための駆動量ｆが算出される（ステップＳ6.13）。一方、撮影モードが人物撮影モードの場合には（ステップＳ6.01；人物）、顔検出部６２ａによってプレ画像Ｐ0から顔部分Ｐ0fが検出される（ステップＳ6.02）。プレ画像Ｐ0から顔部分が検出されなかった場合には（ステップＳ6.03；ＮＯ）モニタ１８にその旨の警告表示が出され、ユーザによる撮影モードの変更か、撮影画角の変更が促される（ステップＳ6.14）。顔部分Ｐ0fが検出された場合には（ステップＳ6.03；ＹＥＳ）、パラメータ取得部６２ｂが、数学モデルＭに、検出された顔部分Ｐ0fを適応させることによって、顔部分Ｐ0fのシャープネスパラメータの値λs(0)を求め（ステップＳ6.04）、調節量決定部６２ｃが、参照テーブルＴに基づいて、パラメータ取得部６２ｂによって取得されたパラメータの値λs(0)に対応する駆動量ｆを取得する（ステップＳ6.05）。ここで、動作制御部７５の指示に応じて、フォーカスレンズ駆動部５１がフォーカスレンズ２０ａを至近側に所定の量だけ駆動し（ステップＳ6.06）、その位置にあるフォーカスレンズ２０ａを通過してＣＣＤ５８の光電面に結像された被写体像を表す駆動方向決定用画像Ｐ1が取得される（ステップＳ6.07）。具体的には、ＣＣＤ５８では電荷の読出しが行われ、その位置にあるフォーカスレンズ２０ａを通過してＣＣＤ５８の光電面に結像された被写体像を表すアナログ画像データが出力される。出力されたアナログ画像データは、アナログ信号処理部６０でのＣＤＳ，ＡＧＣ，ＡＤＣの各処理によってＣＣＤ−ＲＡＷデータにデジタル変換され、ＣＣＤ−ＲＡＷデータが画像入力コントローラ６１によってＲＡＭ６８に格納される。このＣＣＤ−ＲＡＷデータによる画像が駆動方向決定用画像Ｐ1である。次に、ステップＳ6.02からＳ6.04と同様にして、顔検出部６２ａによって駆動方向決定用画像Ｐ1から顔部分Ｐ1fが検出され（ステップＳ6.08）、顔部分Ｐ1fが検出された場合には（ステップＳ6.09；ＹＥＳ）、パラメータ取得部６２ｂが、数学モデルＭに、検出された顔部分Ｐ1fを適応させることによって、顔部分Ｐ1fのシャープネスパラメータの値λs(1)を求める（ステップＳ6.10）。なお、顔部分Ｐ1fが検出されなかった場合には（ステップＳ6.09；ＮＯ）、ステップＳ6.14と同様にしてモニタ１８にその旨の警告表示が出され、ユーザによる撮影モードの変更か、撮影画角の変更が促される（ステップＳ6.15）。駆動方向決定部６２ｆは、パラメータ取得部６２ｂによって求められたシャープネスパラメータの値λs(0)とλs(1)とから、フォーカスレンズ２０ａの至近側への駆動（ステップＳ6.06）によって顔部分のシャープネスが向上したかどうか判定し、駆動方向ｄを決定する（ステップＳ6.11）。そして、フォーカスレンズ駆動部５１が駆動量ｆと駆動方向ｄとに基づいてフォーカスレンズ２０ａを合焦位置まで駆動する（ステップＳ6.12）。具体的には、決定された駆動方向ｄが「至近側」の場合には、駆動量ｆからステップＳ6.06での駆動量を差し引いた分だけフォーカスレンズ２０ａを至近側に駆動し、決定された駆動方向ｄが「望遠側」の場合には、駆動量ｆにステップＳ6.06での駆動量を加算した分だけフォーカスレンズ２０ａを望遠側に駆動する。
以上のように、本発明の第１の実施形態では、デジタルスチルカメラ１の撮影モードが人物撮影モードに設定されている場合に、ＡＦ処理部６２において、パラメータ取得部６２ｂが、顔検出部６２ａによって検出されたプレ画像Ｐ0中の顔部分Ｐ0fを、異なるシャープネス度合の下で人間の顔部分が表された複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させることによって、顔部分Ｐ0fのシャープネスパラメータの値λs(0)を求め、調節量決定部６２ｃが、取得されたパラメータの値λs(0)に応じたフォーカスレンズ２０ａの駆動量ｆを取得し、取得された駆動量ｆと、駆動方向決定部６２ｆによって決定された駆動方向ｄとに基づいて、フォーカスレンズ駆動部５１がフォーカスレンズ２０ａを駆動するので、オートフォーカス制御において、主要被写体である人物の顔以外の領域のシャープネスの影響が排除され、顔部分Ｐ0fのシャープネスのみに基づいた顔部分Ｐ0fに対するより高い精度での合焦状態が得られ、決定された調節量ｆに応じて調節された撮像レンズ２０の焦点の下で撮像を行うことによって、人物の顔がより好ましい状態で表された画像が得られる。
また、調節量決定部６２ｃが、シャープネスパラメータλsの値とフォーカスレンズ２０ａの駆動量ｆとの対応関係を表す参照テーブルＴに基づいて、パラメータ取得部６２ｂによって取得されたパラメータλsの値に対応する駆動量ｆを取得するので、従来のコントラスト検出方式のように、フォーカスレンズの位置を順次移動させながら各位置での撮像によって画像を取得する必要がなくなる。したがって、フォーカスレンズの移動のための消費電力や処理時間を節約することが可能になる。
なお、上記のステップＳ6.07におけるフォーカスレンズ２０ａの駆動量を調節量決定部６２ｃ求めた駆動量ｆと一致させてもよい。そうすると、駆動方向決定部６２ｆにおいて駆動方向が「至近側」に決定された場合には（ステップＳ6.11）、ステップＳ6.12でのフォーカスレンズ２０ａの駆動量が0になる。また、上記のステップＳ6.07におけるフォーカスレンズ２０ａの駆動方向は「望遠側」としてもよく、さらに、プレ画像Ｐ0取得時のフォーカスレンズ２０ａの位置に応じて「至近側」とするか「望遠側」とするかを決定するようにしてもよい。
図１２は、ＡＦ処理部６２で行われる焦点調節量決定処理（図４のステップＳ６）のうち、人物撮影モードの際の本発明の第２の実施形態となる処理における機能構成とデータの流れを模式的に示したブロック図である。図に示したように、この焦点調節量決定処理は、所定のステップ幅でフォーカスレンズ２０ａを順次駆動し、各ステップの駆動毎に、ＣＣＤ５８で電荷の読出しを行い、アナログ信号処理部６０、画像入力コントローラ６１での一連の処理を経てＲＡＭ６８に格納された画像データによって表される画像Ｐ0(1)、Ｐ0(2)、Ｐ0(3)、・・・を順次入力として顔検出処理を行い、各々、顔部分Ｐ0f(1)、Ｐ0f(2)、Ｐ0f(3)、・・・を検出する顔検出部６２ａと、顔部分Ｐ0f(1)、Ｐ0f(2)、Ｐ0f(3)、・・・の各々について数学モデルＭへの適応を行って、各顔部分に応じたシャープネスパラメータの値λS(1)、λS(2)、λS(3)、・・・を求めるパラメータ取得部６２ｂと、シャープネスパラメータの値λS(1)、λS(2)、λS(3)、・・・のうち、顔部分のシャープネスとして最も好ましいもの（λS(N)とする）を選択し、フォーカスレンズ２０ａを、上記ステップ駆動の終了位置からシャープネスパラメータの値λS(N)に対応する画像Ｐ0(N)が得られた時の位置まで移動させるための駆動量ｆ(N)を求める調節量決定部６２ｄとによって実現される。なお、この実施形態では、フォーカスレンズ２０ａの駆動方向ｄは、上記ステップ駆動の終了位置から初期位置に向かう向きとなる。
上記の構成のうち、顔検出部６２ａとパラメータ取得部６２ｂで行われる処理の詳細については、第１の実施形態と同様である。
調節量決定部６２ｄは、シャープネスパラメータの値λS(1)、λS(2)、λS(3)、・・・のうち、予め実験的・統計的に求めておいたシャープネスパラメータの最適値λS0との差が最小となるもの（λS(N)とする）を顔部分のシャープネスが最も好ましいものとして選択し、フォーカスレンズ２０ａを、上記ステップ駆動の終了位置からシャープネスパラメータの値λS(N)に対応する画像Ｐ0(N)が得られた時の位置まで移動させるための駆動量ｆ(N)を求める。
次に、本発明の第２の実施形態となる焦点調節量決定処理を含む焦点調節処理（図４のステップＳ６）について図１３のフローチャートに沿って説明を行う。まず、ＡＦ処理部６２が、撮影モードが人物撮影モードに設定されているかどうかの判別を行う（ステップＳ6.21）。ここで撮影モードが風景撮影モードやオート撮影モード等の人物撮影モード以外の場合には（ステップＳ6.21；人物以外）、公知のコントラスト検出方式によって、フォーカスレンズ２０ａの位置が決定され、その位置にフォーカスレンズ２０ａを移動させるための駆動量ｆが算出される（ステップＳ6.33）。一方、撮影モードが人物撮影モードの場合には（ステップＳ6.21；人物）、フォーカスレンズ駆動部５１がフォーカスレンズ２０ａを初期位置（例えば最至近側）に駆動する（ステップＳ6.22）。そして、その位置にあるフォーカスレンズ２０ａを通過してＣＣＤ５８の光電面に結像された被写体像を表すＡＦ用画像Ｐ0(1)が取得される（ステップＳ6.23）。具体的には、ＣＣＤ５８では電荷の読出しが行われ、その位置にあるフォーカスレンズ２０ａを通過してＣＣＤ５８の光電面に結像された被写体像を表すアナログ画像データが出力される。出力されたアナログ画像データは、アナログ信号処理部６０でのＣＤＳ，ＡＧＣ，ＡＤＣの各処理によってＣＣＤ−ＲＡＷデータにデジタル変換され、ＣＣＤ−ＲＡＷデータが画像入力コントローラ６１によってＲＡＭ６８に格納される。このＣＣＤ−ＲＡＷデータによる画像がＡＦ用画像Ｐ0(1)である。次に、顔検出部６２ａによってＡＦ用画像Ｐ0(1)から顔部分Ｐ0f(1)が検出される（ステップＳ6.24）。顔部分Ｐ0fが検出された場合には（ステップＳ6.25；ＹＥＳ）、パラメータ取得部６２ｂが、数学モデルＭに、検出された顔部分Ｐ0f(1)を適応させることによって、顔部分Ｐ0f(1)のシャープネスパラメータの値λs(1)を求める（ステップＳ6.26）。なお、ＡＦ用画像Ｐ0(1)から顔部分が検出されなかった場合には（ステップＳ6.25；ＮＯ）このパラメータ取得部６２ｂの処理はスキップされる。次に、フォーカスレンズ２０ａの位置が駆動終了位置（例えば最望遠側）かどうかの判別が行われる（ステップＳ6.27）。現時点ではフォーカスレンズ２０ａは初期位置にあり、駆動終了位置ではないので（ステップＳ6.27；ＮＯ）、フォーカスレンズ駆動部５１がフォーカスレンズ２０ａを次の位置にステップ駆動し（ステップＳ6.31）、上記と同様に、ＡＦ用画像Ｐ0(2)の取得（ステップＳ6.23）、顔部分Ｐ0f(2)の検出（ステップＳ6.24）、シャープネスパラメータ値λs(2)の取得（ステップＳ6.25）を行う。以下、フォーカスレンズ２０ａが駆動終了位置に達するまで、同様の処理を繰り返し（ステップＳ6.23からＳ6.27、Ｓ6.31）、フォーカスレンズ２０ａの各位置におけるシャープネスパラメータの値λS(1)、λS(2)、λS(3)、・・・を取得する。フォーカスレンズ２０ａの位置が駆動終了位置に達したら（ステップＳ6.27；ＹＥＳ）、ここまでの処理で１度でも顔部分が検出されたかどうか、すなわちシャープネスパラメータが求まったかどうかが判別される（ステップＳ6.28）。１度も顔部分が検出されなかった場合には（ステップＳ6.28；ＮＯ）、モニタ１８にその旨の警告表示が出され、ユーザによる撮影モードの変更か、撮影画角の変更が促される（ステップＳ6.32）。１度でも顔部分が検出された場合には（ステップＳ6.28；ＹＥＳ）、調節量決定部６２ｄが、パラメータ取得部６２ｂで求められたシャープネスパラメータの値λS(1)、λS(2)、λS(3)、・・・のうち、顔部分のシャープネスとして最も好ましいもの（λS(N)とする）を選択し、シャープネスパラメータの値λS(N)に対応する画像Ｐ0(N)が得られた時のフォーカスレンズ２０ａの位置を合焦位置に決定し、駆動終了位置からその位置までフォーカスレンズ２０ａを移動させるための駆動量ｆ(N)を求める（ステップＳ6.19）。そして、動作制御部７５の指示に応じて、フォーカスレンズ駆動部５１が駆動量ｆ(N)に基づいてフォーカスレンズ２０ａをステップ駆動の初期位置に向かって駆動する（ステップＳ6.30）。
以上のように、本発明の第２の実施形態では、デジタルスチルカメラ１の撮影モードが人物撮影モードに設定されている場合に、ＡＦ処理部６２において、フォーカスレンズ駆動部５１が所定の駆動ステップ幅でフォーカスレンズ２０ａの位置を順次移動させ、顔検出部６２ａが１ステップの移動毎にその焦点の位置での画像を表す画像データＰ0(i)（i=1,2,・・・）を取得し、その画像中の顔部分Ｐ0f(i)を検出し、パラメータ取得部６２ｂが顔部分Ｐ0f(i)を数学モデルＭに適応させることによって、検出された顔部分Ｐ0f(i)におけるシャープネスパラメータλS(i)を取得し、調節量決定部６２ｄがシャープネスパラメータの値λS(1)、λS(2)、・・・、λS(i)、・・・のうち、顔部分のシャープネスとして最も好ましいものλS(N)を選択し、シャープネスパラメータの値λS(N)に対応する画像Ｐ0(N)が得られた時のフォーカスレンズ２０ａの位置までフォーカスレンズ２０ａを移動させるための駆動量ｆ(N)を求めるので、第１の実施形態と同様に、オートフォーカス制御において、主要被写体である人物の顔以外の領域のシャープネスの影響が排除され、顔部分Ｐ0fのシャープネスのみに基づいた顔部分Ｐ0fに対するより高い精度での合焦状態が得られ、決定された調節量ｆ(N)に応じて調節された撮像レンズ２０の焦点の下で撮像を行うことによって、人物の顔がより好ましい状態で表された画像が得られる。
なお、上記の実施形態では、顔検出処理（ステップＳ6.14）をフォーカスレンズ２０ａの各位置で行っているが、被写体が静止していることを前提とする人物撮影モードでは、最初に顔が検出されるまでは顔検出処理を行い、検出後は顔検出処理を省略し、次のフォーカスレンズ２０ａの位置で取得されたＡＦ用画像における最初に検出された顔部分の位置に対応する位置を顔部分としてシャープネスパラメータ取得処理（ステップＳ6.16）を行うようにしてもよい。これにより処理の効率化、処理時間の短縮が図られる。また、この場合、被写体が動いたり、撮影画角が変わったりすると、最初に検出された顔部分の位置に顔が存在しなくなってしまうおそれがあるが、その場合には、シャープネスパラメータ取得処理における数学モデルＭへの適応の際に、パラメータ値が所定の許容範囲を超えてしまうことから、このような場合をエラーとしてユーザに警告を行うことも可能である。
上記の２つの実施形態では、顔形状と輝度についての別個の重みづけ係数ｂi、λiによって、個別の顔画像を表現していたが、顔形状と輝度のバリエーションには相関性があることから、重みづけ係数ｂi、λiを結合して得られるベクトル（ｂ1,ｂ2,・・・,ｂi,・・・,λ1,λ2,・・・,λi,・・・）に対してさらに主成分分析を行うことにより、次式（８）（９）に示したように、顔形状と輝度の画素値の両方を制御する新しいアピアランスパラメータｃを得ることができる。
ここで、アピアランスパラメータｃとベクトルＱSによって平均顔形状からの形状の変動分が表現され、アピアランスパラメータｃとベクトルＱAによって顔の画素値の平均からの輝度の変動分要素が表現される。
このモデルを用いた場合には、パラメータ取得部３２は、アピアランスパラメータｃの値を変化させながら、上記式（１０）に基づいて平均顔形状下での顔の画素値を求め、さらに、上記式（９）に基づいて平均顔形状からの変換を行うことによって、顔画像を再構成し、再構成された画像と顔部分Ｐ0f′との差異が最小となる時のアピアランスパラメータｃを求めることになる。
上記の２つの実施形態では、数学モデルＭを１種類のみＲＯＭ６７に記憶させていたが、人種別、年齢別、性別等の属性別に複数の数学モデルＭi（i=1,2,・・・）を生成して記憶させておいてもよい。図１４は、第１の実施形態の数学モデルＭを複数化した場合の焦点調節量決定処理の詳細を表すブロック図である。図に示したように、複数の数学モデル数学モデルＭi（i=1,2,・・・）と、その複数の数学モデルＭiから１つのモデルＭkを選択するモデル選択部６２ｅとを有している点で、第１の実施形態（図５）とは異なる。
ここで、複数の数学モデルＭiは、例えば、同じ人種、年代、性別等を有する被写体のサンプル画像のみから前述の方法（図６参照）に基づいて各々生成されたものである。なお、各モデルの属性は、複数の属性の組合せであってもよいし、１つの属性であってもよく、これはモデル化を行ったときのサンプル画像の属性に依存する。
モデル選択部６２ｅは、ユーザがモニタ１８の表示を確認しながらメニュー／ＯＫボタン１２等の各種ボタンを適宜操作して、人物撮影モードの詳細を設定するためのモデル選択メニューを選択した場合に、モニタ１８にＲＯＭ６７に記憶されているモデルの一覧を表示させる。この一覧では、例えば「モデルＭ1：黄色人種・２０代、男性」というように、各モデルＭi（i=1,2,・・・）を特徴づける属性を表す文字情報が表示される。文字情報の代わりにまたは追加でアイコンを表示するようにしてもよい。そして、モデル選択部６２ｅは、ユーザのズーム／上下レバー１３や左右ボタン１４等の操作による所望のモデルＭKの選択を受け付ける。なお、撮影場所のＧＰＳ情報があれば、そのＧＰＳ情報に対応する国や地域を特定することができるので、撮影された被写体の人種をある程度推定することができることに着目し、人種別の数学モデルＭi（i=1,2,・・・）と、ＧＰＳ情報を人種情報に関連づける参照テーブルＴ2とをＲＯＭ６７に記憶させておき、ＧＰＳ情報を取得する取得手段をさらに設け、人物撮影モードが選択されたときに取得手段がＧＰＳ情報を取得し、モデル選択部６２ｅが、参照テーブルＴ2にアクセスして、取得手段によって取得されたＧＰＳ情報に対応する人種情報を取得し、その人種情報に対応する数学モデルＭkを自動的に選択するようにしてもよい。そして、パラメータ取得部６３ｂは、選択された数学モデルＭkに入力画像中の顔部分を適応させる。
このように、複数の属性に応じた数学モデルＭiを予め用意しておき、モデル選択部３５が、複数の数学モデルＭiから１つのモデルを選択するようにした場合、数学モデルＭKには選択された属性の違いに起因する顔形状や輝度のバリエーションを説明する固有ベクトルが排除された数学モデルに入力画像中の顔部分を適応させることによりモデルへの適応精度が向上し、より精度の高いシャープネスパラメータが得られ、焦点調節量の決定精度も向上し、より高品質の画像が得られる。
なお、処理精度の向上の観点からは、属性別の数学モデルをさらに特化させ、被写体の個人別の数学モデルを構築しておくことが好ましい。
また、上記の実施形態では、数学モデルは予めデジタルスチルカメラ１にインストールされているものとしているが、人種別の数学モデルを予め準備しておき、そのカメラの出荷先の国や地域によって、インストールする数学モデルを変えることも処理精度の向上の観点からは好ましい。
さらに、この数学モデルを生成する機能をデジタルスチルカメラ１に実装するようにしてもよい。具体的には、図６のフローチャートに基づいて説明した処理を行わせるプログラムをＲＯＭ６７に記憶させておき、そのプログラムを実行する処理部をさらに設ければよい。また、デジタルスチルカメラ１の出荷時にはデフォルトの数学モデルをＲＡＭ６７に記憶させておき、そのカメラ１での撮影によって得られた画像を用いて、その数学モデルをカスタマイズ（変更）できるようにしたり、デフォルトの数学モデルとは異なる新たなモデルを生成するようにしたりすることも考えられる。これは、前記のように個人別のモデルを生成する場合に特に有効である。
デジタルカメラの背面図 デジタルカメラの前面図 デジタルカメラの機能ブロック図 ユーザによる操作に応じたデジタルカメラの動作の流れを説明するためのフローチャート 本発明の第１の実施形態となる焦点調節量決定処理における機能構成とデータの流れを模式的に示したブロック図 本発明における顔画像の数学モデルを生成する処理の流れを表すフローチャート 顔の特徴点の設定例を表す図 顔形状に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔形状の変化の様子を模式的に表した図 サンプル画像中の顔形状を平均顔形状に変換し、平均顔形状下での輝度の様子を表した図 顔輝度に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔輝度の変化の様子を模式的に表した図 本発明の第１の実施形態となる焦点調節処理の流れを表すフローチャート 本発明の第２の実施形態となる焦点調節量決定処理における機能構成とデータの流れを模式的に示したブロック図 本発明の第２の実施形態となる焦点調節処理の流れを表すフローチャート 本発明の第１の実施形態の変形例となるとなる焦点調節量決定処理における機能構成とデータの流れを模式的に示したブロック図
符号の説明
１ デジタルカメラ
１１ 動作モードスイッチ
１２ メニューボタン
１３ ズーム／上下レバー
１４ 左右ボタン
１５ ＢＡＣＫ（戻る）ボタン
１６ 表示切替ボタン
１７ ファインダ
１８ モニタ
１９ シャッタボタン
２０ 撮像レンズ
２０ａ フォーカスレンズ
２０ｂ ズームレンズ
２１ レンズカバー
２２ 電源スイッチ
２３ ファインダ窓
２４ フラッシュライト
２５ セルフタイマーランプ
２６ メディアスロット
５１ フォーカスレンズ駆動部
５２ ズームレンズ駆動部
５４ 絞り
５５ 絞り駆動部
５６ シャッタ
５７ シャッタ駆動部
５８ ＣＣＤ
５９ ＣＣＤ駆動部
６０ アナログ信号処理部
６１ 画像入力コントローラ
６２ ＡＦ処理部
６２ａ 顔検出部
６２ｂ パラメータ取得部
６２ｃ、６２ｄ 調節量決定部
６２ｅ モデル選択部
６２ｆ 駆動方向決定部
６３ ＡＥ処理部
６４ ＡＷＢ処理部
６５ 画像処理部
６６ 圧縮／伸長処理部
６７ ＲＯＭ
６８ ＲＡＭ
６９ メディアインターフェース
７０ 外部記録メディア
７１ 表示インターフェース
７２ タイミングジェネレータ
７３ フラッシュ制御部
７４ 操作系インターフェース
７５ 動作制御部
７６ データバス

Claims (7)

  1. 被写体からの光が撮像光学系を通過して撮像素子からなる結像面上に結像することによって該結像面に生じた該被写体の像をデジタル変換して得られる画像データを入力として、該被写体中の所定の構造物を検出する検出手段と、
    異なるシャープネス度合で前記構造物が表された複数の画像を表す画像データに対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって前記構造物を表現するモデルに、前記検出手段によって検出された前記構造物を適応させることによって、前記検出された前記構造物における前記シャープネス度合を表す統計的特徴量に対する重みづけを表すシャープネスパラメータを取得するパラメータ取得手段と、
    該パラメータ取得手段によって取得された前記シャープネスパラメータの値に応じて、前記被写体の像が前記構造物に合焦したものとなるように、前記撮像光学系の焦点の調節量を決定する調節量決定手段とを備えたことを特徴とする焦点調節量決定装置。
  2. 前記調節量決定手段が、
    前記シャープネスパラメータの値と前記撮像光学系の焦点の調節量との対応関係を表す情報を記憶する記憶部と、
    該記憶部に記憶された前記対応関係を表す情報に基づいて、前記パラメータ取得手段によって取得された前記シャープネスパラメータの値に対応する前記調節量を取得する調節量取得部とからなるものであることを特徴とする請求項１記載の焦点調節量決定装置。
  3. 前記所定の構造物の属性毎に該構造物が表現された複数の前記モデルから１つの前記モデルを選択する選択手段をさらに備え、
    前記パラメータ取得手段が、選択された前記モデルに前記構造物を適応させることによって、前記シャープネスパラメータを取得するものであることを特徴とする請求項１または２記載の画像処理装置。
  4. 前記構造物が人間の顔であることを特徴とする請求項１から３のいずれか１項に記載の焦点調節量決定装置。
  5. 撮像光学系と、
    前記撮像光学系が被写体の像を結像させる結像面を構成する撮像素子と、
    該結像面に生じた前記被写体の像をデジタル変換する変換手段と、
    請求項１から４のいずれか１項に記載の焦点調節量決定装置と、
    該焦点調節量決定装置によって決定された調節量に応じて、該撮像光学系の焦点を調節する手段とを備えたことを特徴とする撮像装置。
  6. 被写体からの光が撮像光学系を通過して撮像素子からなる結像面上に結像することによって該結像面に生じた該被写体の像をデジタル変換して得られる画像データを入力として、該被写体中の所定の構造物を検出し、
    異なるシャープネス度合で前記構造物が表された複数の画像を表す画像データに対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって前記構造物を表現するモデルに、前記検出された前記構造物を適応させることによって、前記検出された前記構造物における前記シャープネス度合を表す統計的特徴量に対する重みづけを表すシャープネスパラメータを取得し、
    前記取得された前記シャープネスパラメータの値に応じて、前記被写体の像が前記構造物に合焦したものとなるように、前記撮像光学系の焦点の調節量を決定することを特徴とする焦点調節量決定方法。
  7. 撮像光学系と、該撮像光学系が被写体の像を結像させる結像面を構成する撮像素子と、該結像面に生じた前記被写体の像をデジタル変換する変換手段と、該撮像光学系の焦点を調節する手段とを有する撮像装置において演算処理を行うハードウェアを、
    前記変換手段によって得られた画像データを入力として、該被写体中の所定の構造物を検出する検出手段と、
    異なるシャープネス度合で前記構造物が表された複数の画像を表す画像データに対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって前記構造物を表現するモデルに、前記検出手段によって検出された前記構造物を適応させることによって、前記検出された前記構造物における前記シャープネス度合を表す統計的特徴量に対する重みづけを表すシャープネスパラメータを取得するパラメータ取得手段と、
    該パラメータ取得手段によって取得された前記シャープネスパラメータの値に応じて、前記被写体の像が前記構造物に合焦したものとなるように、前記撮像光学系の焦点の調節量を決定する調節量決定手段として機能させることを特徴とする焦点調節量決定プログラム。
JP2006057757A 2006-03-03 2006-03-03 焦点調節量決定装置、方法、およびプログラム、ならびに撮像装置 Withdrawn JP2007233247A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006057757A JP2007233247A (ja) 2006-03-03 2006-03-03 焦点調節量決定装置、方法、およびプログラム、ならびに撮像装置
US11/712,388 US7756408B2 (en) 2006-03-03 2007-03-01 Focus control amount determination apparatus, method, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006057757A JP2007233247A (ja) 2006-03-03 2006-03-03 焦点調節量決定装置、方法、およびプログラム、ならびに撮像装置

Publications (1)

Publication Number Publication Date
JP2007233247A true JP2007233247A (ja) 2007-09-13

Family

ID=38471593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006057757A Withdrawn JP2007233247A (ja) 2006-03-03 2006-03-03 焦点調節量決定装置、方法、およびプログラム、ならびに撮像装置

Country Status (2)

Country Link
US (1) US7756408B2 (ja)
JP (1) JP2007233247A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072298A (ja) * 2008-09-18 2010-04-02 Nikon Corp プログラム、カメラおよび画像の合焦度算出方法
WO2012114464A1 (ja) * 2011-02-23 2012-08-30 富士通株式会社 撮像装置、プログラム及び撮像支援方法
CN109145720A (zh) * 2018-07-06 2019-01-04 阿里巴巴集团控股有限公司 一种人脸识别方法和装置
US11437000B2 (en) 2017-05-19 2022-09-06 Semiconductor Energy Laboratory Co., Ltd. Machine learning method, machine learning system, and display system
US11563903B2 (en) 2017-02-22 2023-01-24 Omron Corporation Optical sensor, learning apparatus, and image processing system for selection and setting light-receving elements

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4906034B2 (ja) * 2005-05-16 2012-03-28 富士フイルム株式会社 撮影装置および方法並びにプログラム
WO2007007876A1 (ja) * 2005-07-14 2007-01-18 Sony Corporation 再生装置、再生方法
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム
JP5098259B2 (ja) * 2006-09-04 2012-12-12 株式会社ニコン カメラ
US20080278589A1 (en) * 2007-05-11 2008-11-13 Karl Ola Thorn Methods for identifying a target subject to automatically focus a digital camera and related systems, and computer program products
US8634673B1 (en) * 2008-11-10 2014-01-21 Marvell International Ltd. Method and apparatus for automatically tuning a parameter of an image enhancement algorithm based on an attribute of an original image
US8417046B1 (en) 2008-11-10 2013-04-09 Marvell International Ltd. Shadow and highlight image enhancement
JP5247522B2 (ja) * 2009-02-18 2013-07-24 パナソニック株式会社 撮像装置
US8509527B1 (en) 2010-06-23 2013-08-13 Marvell International Ltd. Intensity based pixel quantization
US8958636B1 (en) 2010-07-28 2015-02-17 Marvell International Ltd. Configurable color trapping
CN103026170B (zh) * 2010-08-06 2015-04-01 松下电器产业株式会社 摄像装置以及摄像方法
US20150077582A1 (en) * 2013-09-13 2015-03-19 Texas Instruments Incorporated Method and system for adapting a device for enhancement of images
US10878503B2 (en) * 2014-08-07 2020-12-29 Ameriprise Financial, Inc. System and method of determining portfolio complexity
CN107664899B (zh) * 2017-10-19 2020-07-07 广东顺德工业设计研究院(广东顺德创新设计研究院) 自动对焦的方法、装置以及***
CN110971813B (zh) * 2018-09-30 2021-12-10 北京微播视界科技有限公司 一种对焦方法、装置、电子设备及存储介质
CN114040111B (zh) * 2021-11-25 2023-07-28 广州市锐博生物科技有限公司 测序仪成像对焦方法及装置、设备、存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3502978B2 (ja) 1992-01-13 2004-03-02 三菱電機株式会社 映像信号処理装置
JP2004317699A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP4906034B2 (ja) * 2005-05-16 2012-03-28 富士フイルム株式会社 撮影装置および方法並びにプログラム
JP2007311861A (ja) * 2006-05-16 2007-11-29 Fujifilm Corp 撮影装置及び方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072298A (ja) * 2008-09-18 2010-04-02 Nikon Corp プログラム、カメラおよび画像の合焦度算出方法
WO2012114464A1 (ja) * 2011-02-23 2012-08-30 富士通株式会社 撮像装置、プログラム及び撮像支援方法
JP5626444B2 (ja) * 2011-02-23 2014-11-19 富士通株式会社 撮像装置、プログラム及び撮像支援方法
US11563903B2 (en) 2017-02-22 2023-01-24 Omron Corporation Optical sensor, learning apparatus, and image processing system for selection and setting light-receving elements
US11437000B2 (en) 2017-05-19 2022-09-06 Semiconductor Energy Laboratory Co., Ltd. Machine learning method, machine learning system, and display system
TWI793126B (zh) * 2017-05-19 2023-02-21 日商半導體能源硏究所股份有限公司 機器學習方法及機器學習系統
CN109145720A (zh) * 2018-07-06 2019-01-04 阿里巴巴集团控股有限公司 一种人脸识别方法和装置

Also Published As

Publication number Publication date
US7756408B2 (en) 2010-07-13
US20070206939A1 (en) 2007-09-06

Similar Documents

Publication Publication Date Title
JP2007233247A (ja) 焦点調節量決定装置、方法、およびプログラム、ならびに撮像装置
JP5394296B2 (ja) 撮像装置及び画像処理方法
JP4819001B2 (ja) 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
US8284264B2 (en) Imaging apparatus, method, and program
TWI393434B (zh) 攝像裝置及程式儲存記憶媒體
US20100123816A1 (en) Method and apparatus for generating a thumbnail of a moving picture
US8350918B2 (en) Image capturing apparatus and control method therefor
US9055212B2 (en) Imaging system, image processing method, and image processing program recording medium using framing information to capture image actually intended by user
JP5180349B2 (ja) 撮影装置および方法並びにプログラム
US7493036B2 (en) Imaging device
KR20150078275A (ko) 움직이는 피사체 촬영 장치 및 방법
KR20120025341A (ko) 디지털 촬영 장치 및 이의 제어 방법
JP4818999B2 (ja) 撮影装置および方法並びにプログラム
JP5027580B2 (ja) 撮影装置および方法並びにプログラム
KR101795600B1 (ko) 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체
KR101630304B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP4767904B2 (ja) 撮像装置及び撮像方法
KR101630307B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP4750063B2 (ja) 撮像装置および撮像方法
JP2007208355A (ja) 撮影装置および方法並びにプログラム
JP2008028956A (ja) 撮像装置、および、撮像装置における対象物検出用画像信号の生成方法
JP5030883B2 (ja) ディジタル・スチル・カメラおよびその制御方法
JP5181687B2 (ja) 電子カメラ
JP4823964B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090512