JP2008193411A - 撮影制御装置、撮影装置、及び撮影制御方法 - Google Patents

撮影制御装置、撮影装置、及び撮影制御方法 Download PDF

Info

Publication number
JP2008193411A
JP2008193411A JP2007025837A JP2007025837A JP2008193411A JP 2008193411 A JP2008193411 A JP 2008193411A JP 2007025837 A JP2007025837 A JP 2007025837A JP 2007025837 A JP2007025837 A JP 2007025837A JP 2008193411 A JP2008193411 A JP 2008193411A
Authority
JP
Japan
Prior art keywords
evaluation value
imaging
face
photographing
stability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007025837A
Other languages
English (en)
Other versions
JP4898475B2 (ja
Inventor
Takashi Misawa
岳志 三沢
Masahiko Sugimoto
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007025837A priority Critical patent/JP4898475B2/ja
Priority to US11/963,398 priority patent/US8150208B2/en
Priority to KR1020080002480A priority patent/KR100960034B1/ko
Priority to CN2008100044540A priority patent/CN101257580B/zh
Publication of JP2008193411A publication Critical patent/JP2008193411A/ja
Application granted granted Critical
Publication of JP4898475B2 publication Critical patent/JP4898475B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮影操作の習熟度に関わらず、被写体を最適な撮影状態で確実に撮影する。
【解決手段】顔検出部18は、撮像部14によって撮像された画像データに基づいて、顔評価値を算出し、顔評価値が顔判定値以上であると判定された時に顔を検出する。また、この顔検出部18は、顔を検出した時に、顔評価値を安定度判定部23に出力する。安定度判定部23は、顔評価値を逐次取得して、この顔評価値が所定時間(または所定撮像回数)連続して、所定変動範囲内の値であるか否かを判定して、この安定度判定結果をシステムコントローラ11に出力する。システムコントローラ11は、安定度判定部23によって、顔評価値が所定時間(または所定撮像回数)連続して所定変動範囲内の値であると判定された時に、撮像部14を制御して撮影を開始する。
【選択図】図2

Description

本発明は、被写体像を撮像して得られた画像データを記録する撮影装置に関し、特に、撮影の開始を自動制御する撮影制御装置、撮影装置及び撮影制御方法に関する。
従来、被写体像を光電変換によって撮像し、この撮像によって得られた画像データを記録する撮影装置(例えば、デジタルカメラ)が実用化され、一般に販売されている。このようなデジタルカメラは、被写体を最適な条件で撮影するために様々な機能を備えている。
例えば、画像データに基づいて人物の顔を検出する顔検出機能を備え、顔を検出した時に、その検出領域に対応する枠をスルー画に重ねて表示するとともに、この検出領域に対応する画像データに基づいて、自動焦点調節(以下、AFと称する)制御、及び自動露出(以下、AEと称する)制御を行うデジタルカメラが知られている(例えば、特許文献1参照)。このデジタルカメラでは、通常のAF制御やAE制御では撮影が困難な場合でも、適切な焦点及び露出で撮影を行うことができる。
また、フォーカスレンズを移動させながら被写体を撮像し、各レンズ位置の画像データに基づいて顔を検出するとともに、この顔の特徴量を示す顔評価値を算出して、この顔評価値が最大となる位置にフォーカスレンズを移動させて撮影を行うデジタルカメラが知られている(例えば、特許文献2参照)。
また、フォーカスブラケット撮影によって、フォーカス位置の異なる複数の画像データを取得し、これらの複数の画像データの中から最も合焦評価値の高い画像データを記録画像として自動選択して記録するデジタルカメラが知られている(例えば、特許文献3及び特許文献4参照)。
また、撮影を開始する前に、被写体の中から人物部分を抽出するとともに、抽出した人物部分を解析しながらその人物の撮影状態を予め決められている評価方法に基づいて評価して、撮影状態が悪いと評価された時に、その人物の連続撮影を行うデジタルカメラが知られている(例えば、特許文献5参照)。
特開2005−286940号公報 特開2005−284203号公報 特開2004―135029号公報 特開2005−045600号公報 特開2005−045601号公報
上記特許文献1及び2に記載のデジタルカメラでは、最適な撮影条件で被写体を撮影して、画像データを記録することができる。また、上記特許文献3及び4に記載のデジタルカメラでは、複数の画像データから焦点が良好なものが自動選択されて記録するため、同様に最適な撮影条件の画像データを記録することができる。しかしながら、被写体の状況は時間とともに変化するため、撮影者が意図する状態の被写体が撮影できるか否かは、撮影操作の習熟度に依存するという問題があった。さらに、上記特許文献5に記載のデジタルカメラは、撮影しようとする人物の撮影状態が悪いと評価された時に連続撮影を行うが、連続撮影したとしても、撮影間隔や撮影回数等により、人物の撮影状態が良いと評価される画像が必ず撮影できるとは限らないという問題があった。
本発明は、このような事情に鑑みてなされたもので、撮影操作の習熟度に関わらず、被写体を最適な撮影状態で確実に撮影することが可能な撮影装置及び撮影制御方法を提供することを目的とする。
本発明の撮影制御装置は、被写体像を光電変換によって撮像する撮像手段から得られた画像データに基づいて、前記被写体像に含まれる特定対象物の特徴量を示す対象物評価値を算出し、前記対象物評価値に基づいて前記特定対象物を検出する対象物検出手段と、前記対象物検出手段によって前記特定対象物が検出され、前記対象物評価値が、所定時間または所定撮像回数連続して所定変動範囲内の値となったか否かを判定する安定度判定手段とを備え、前記安定度判定手段によって、前記対象物評価値が前記所定時間または前記所定撮像回数連続して前記所定変動範囲内の値になったと判定された場合、前記撮像手段を制御して、記録のための撮影を自動的に開始させることを特徴とするものである。
本発明の撮影装置は、被写体像を光電変換によって撮像する撮像手段を備え、この撮像手段によって得られた画像データを記録する撮影装置であり、前記画像データに基づいて、前記被写体像に含まれる特定対象物の特徴量を示す対象物評価値を算出して、前記対象物評価値に基づいて前記特定対象物を検出する対象物検出手段と、前記対象物検出手段によって前記特定対象物が検出され、前記対象物評価値が、所定時間または所定撮像回数連続して所定変動範囲内の値になったか否かを判定する第1安定度判定手段と、前記第1安定度判定手段によって、前記対象物評価値が前記所定時間または前記所定撮像回数連続して前記所定変動範囲内の値になったと判定された場合に、前記撮像手段を制御して記録のための撮影を自動的に開始させる制御手段とを備えていることを特徴とするものである。
また、前記特定対象物は人物の顔であり、前記対象物評価値は、前記顔らしさを示す特徴量であることが好ましく、顔の動きが安定した時に撮影を開始する。
さらに、前記対象物検出手段によって、前記特定対象物が前記被写体像内に複数検出された時に、複数の特定対象物の対象物評価値の中から1つを選択する評価値選択手段をさらに備え、前記第1安定度判定手段は、前記対象物選択手段によって選択された前記対象評価値に基づいて判定を行うことが好ましい。また、優先条件を設定する優先条件設定手段をさらに備え、前記評価値選択手段は、前記優先条件に基づいて、前記複数の対象物評価値の中から1つを選択することを特徴とするものである。
さらに、前記対象物検出手段によって、前記特定対象物が前記被写体像内に複数検出された時に、前記各対象物評価値に対する前記第1安定度判定手段の複数の安定度判定結果の中から1つの前記安定度判定結果を選択する判定結果選択手段をさらに備え、前記制御手段は、前記判定結果選択手段によって選択された前記安定度判別結果に基づいて、撮影開始を制御することが好ましい。
また、前記対象物検出手段によって、前記特定対象物が前記被写体像内に複数検出された時に、前記各対象物評価値に対する前記第1安定度判定手段の複数の安定度判定結果の論理積を算出する論理積回路を備え、前記制御手段は、前記論理積が前記安定度判定結果の全てが安定であることを示している場合に、前記撮像手段を制御して、撮影を自動的に開始させることが好ましい。
さらに、前記対象物検出手段によって、前記特定対象物が前記被写体像内に複数検出された時に、前記各対象物評価値に対して重み付け係数を乗算して合算する重み付け演算手段をさらに備え、前記第1安定度判定手段は、前記重み付け演算手段によって算出された前記対象物評価値に基づいて判定することが好ましい。
また、前記画像データに基づいて、合焦度合を示す焦点評価値を検出する焦点検出手段と、前記焦点評価値が所定時間または所定撮像回数、所定変動範囲内の値になったか否かを判定する第2安定度判定手段とを備え、前記制御手段は、前記第1及び前記第2安定度判定手段の判定結果に基づいて、撮影の開始を制御することが好ましい。
さらに、前記画像データに基づいて、前記被写体像内での被写体の動き度合を示す動き評価値を検出する動き検出手段と、前記動き評価値が所定時間または所定撮像回数、所定変動範囲内の値になったか否かを判定する第3安定度判定手段とを備え、前記制御手段は、前記第1及び前記第3安定度判定手段の判定結果に基づいて、撮影の開始を制御することが好ましい。
また、前記画像データに基づいて、前記被写体の輝度を示す輝度評価値を検出する輝度検出手段と、前記動き評価値が所定時間または所定撮像回数、所定変動範囲内の値になったか否かを判定する第4安定度判定手段とを備え、前記制御手段は、前記第1及び前記第4安定度判定手段の判定結果に基づいて、撮影の開始を制御することが好ましい。
さらに、前記画像データに基づいて、前記被写体の色調を示す色調評価値を検出する色調検出手段と、前記色調評価値が所定時間または所定撮像回数、所定変動範囲内の値になったか否かを判定する第5安定度判定手段とを備え、前記制御手段は、前記第1及び前記第5安定度判定手段の判定結果に基づいて、撮影の開始を制御することが好ましい。
また、前記所定時間、前記所定撮像回数、及び前記所定変動範囲の少なくとも1つを設定する判定条件設定手段をさらに備え、前記第1〜第5安定度判定手段は、前記判定条件設定手段によって入力された前記所定時間、前記所定撮像回数、及び前記所定変動範囲に基づいて、前記各評価値の安定度を判定することが好ましい。
さらに、撮影指示を入力する撮影指示入力手段を備え、前記撮影指示入力手段による撮影指示の入力があった時に、前記制御手段により撮影を開始させることが好ましい。また、前記撮影指示入力手段は半押し操作と全押し操作とが行われるレリーズスイッチを有し、前記制御手段は、前記半押し操作時に、前記第1安定度判定手段を制御して前記対象物評価値の判定処理を開始させ、前記全押し操作時に、前記第1安定度判定手段の判定結果に基づいて撮影を開始することが好ましい。
さらに、撮影を自動的に開始する自動撮影モードと、前記撮影指示の入力のみに基づいて撮影を開始する通常撮影モードとの2つの撮影モードを有し、前記自動撮影モードに設定されている場合、前記第1安定度判定手段の判定結果に基づいて撮影を自動的に開始することが好ましい。
また、前記制御手段は、撮影開始後に、前記対象物評価値が前記所定時間または前記所定撮像回数連続して前記所定変動範囲外の値になった場合、撮影を終了または中断することが好ましい。
さらに、前記対象物検出手段は、男性、女性、特定年齢層の人、笑っている人、泣いている人、悲しんでいる人、怒っている人、困っている人、あくびをしている人、眠っている人、起きている人、特定の国に居住している人、複数の国を含む地域に居住している人、及び特定の民族の人の少なくとも1つの特徴を含む顔を検出することが好ましい。
また、本発明の撮影制御装置は、被写体像を光電変換によって撮像する撮像手段から得られた画像データに基づいて、前記被写体像に含まれる特定対象物の特徴量を示す対象物評価値を算出して、前記対象物評価値に基づいて前記対象物を検出し、前記特定対象物が検出され、前記対象物評価値が、所定時間または所定撮像回数連続して所定変動範囲内の値になったか否かを判定し、前記対象物評価値が前記所定時間または前記所定撮像回数連続して前記所定変動範囲内の値になったと判定された場合、前記撮像手段を制御して記録のための撮影を自動的に開始させることを特徴とするものである。
本発明によれば、被写体像に含まれる特定対象物が検出され、対象物評価値が、所定時間または所定撮像回数連続して所定変動範囲内の値となった場合、自動的に撮影を開始するので、被写体の動きや変化に対応した最適なタイミングで撮影を開始することができる。従って、撮影操作の習熟度に関わらず、被写体を最適な状態で撮影することができる。
また、特定対象物が人物の顔である場合、顔らしさを示す特徴量である対象物評価値が安定した場合に撮影が開始されるため、顔の動きが安定した状態の撮影画像を得ることができる。
複数の顔が検出された時に、複数の対象物評価値の中から1つが選択され、安定度判定手段が、この対象物評価値に基づいて判定を行うので、撮影したい人以外の影響を受けずに撮影を開始することができる。また、予め設定される優先条件に基づいて、複数の対象物評価値の中から1つが選択されるので、撮影したい人が確実に選択されるため、被写体をより最適な撮影状態で撮影することができる。
また、複数の顔が検出された時に、複数の安定度判定結果の中から1つが選択されて、この安定度判別結果に基づいて撮影の開始が制御されるので、安定度の高い特定対象物を優先させたり、安定度の低い特定対象物を優勢させたりすることが可能であり、撮影開始のタイミングの自由度が向上する。
さらに、複数の顔が検出された時に、複数の安定度判定結果の論理積を算出し、この論理積が安定度判定結果の全てが安定していると判定された時に、撮影が開始されるので、全ての特定対象物が安定している時に撮影を開始することができるので、ベストショットが得られる可能性が向上する。
また、複数の顔が検出された時に、複数の対象物評価値に対して重み付け係数を乗算して合算した値に基づいて安定度判定が行われるので、全ての特定対象物が平均して安定している時に撮影を開始できるので、ベストショットが得られる可能性が向上する。
対象物評価値と焦点評価値との両方が安定している時に撮影を開始するので、焦点も安定した状態の画像を得ることができる。また、対象物評価値と動き評価値との両方が安定している時に撮影を開始するので、被写体の動きが少なく、且つ手振れの少ない状態の画像を得ることができる。さらに、対象物評価値と、輝度評価値または色調評価値との両方が安定している時に撮影を開始するので、特定対象物に当たる照明が安定した状態の画像を得ることができる。
判定条件設定手段によって、前記所定時間、前記所定撮像回数、及び前記所定変動範囲の少なくとも1つの判定条件を設定することが可能であり、特定対象物が動きの多い被写体の場合と動きの少ない被写体の場合とで、判定条件を変更することによって撮影の自由度を向上させることができる。
また、自動撮影モードと、通常撮影モードとの2つの撮影モードを有しているので、適宜撮影モードを変更して撮影を行うことが可能である。
さらに、対象物評価値が所定時間または所定撮像回数連続して所定変動範囲外の値になった場合、撮影を終了または中断するので、撮影不適と判断される画像が撮影されることを少なくできる。また、動画撮影の場合には、鑑賞に適した動画のみを記録することが可能である。
最初に、図1を参照して、第1の実施形態であるデジタルカメラ(撮影装置)10の電気的構成を説明する。デジタルカメラ10は、システムコントローラ11と、操作部12と、通信部13と、撮像部14と、画像処理部15と、表示部16と、画像記録再生部17と、顔検出部18と、焦点検出部19と、動き検出部20と、輝度検出部21と、色調検出部22と、安定度判定部(第1安定度判定手段)23とを備えて構成されている。なお、本発明の撮影制御装置は、顔検出部18と、安定度判定部23と、システムコントローラ11とで構成される。
システムコントローラ11は、カメラ内の各部を制御する制御手段である。また、操作部12は、撮影者によって操作される各種操作ボタン等で構成されている。この操作部12は、撮影者によって操作された時に、撮影者の操作に対応する操作信号をシステムコントローラ11に出力する。システムコントローラ11は、この操作信号を取得した時に、各部を制御して操作信号に対応する処理を実行する。
この操作部12は、例えば、撮影指示を入力するための撮影指示入力手段であるレリーズボタン12aと、判定条件設定部12bと、優先条件設定部12cとを備えている。このレリーズボタン12aは、半押し操作された時にONにされるスイッチS1と、全押し操作された時にONにされるスイッチS2とを有している。システムコントローラ11は、スイッチS1からON信号を取得した時に、撮影準備処理(例えば、AF制御処理、AE制御処理)を行ったり、後述する安定度判定処理を開始させたりする。また、スイッチS2からON信号を取得した場合、システムコントローラ11は、各部を制御して撮影処理を実行する。判定条件設定部(変動範囲設定部)12bは、撮影者によって操作され、後述する安定度判定処理に使用される判定条件パラメータ(判定時間、撮像回数、変動範囲)が入力される。
また、通信部13は、例えば、USBケーブルを介して外部周辺機器(例えば、パーソナルコンピュータ)と通信を行う通信手段である。なお、この通信部13の通信方式は、前述したような有線通信に限らず、無線通信(例えば、赤外線通信、無線LAN)でも良い。また通信プロトコルも必要に応じて選択可能である。通信部13は、外部に情報を送信できる他、外部からの情報を受信することが出来る。また、通信部13によって、外部から操作信号が取得された場合も同様に、システムコントローラ11は、各部を制御して操作信号に対応する処理を実行する。
撮像部14は、例えば、撮影レンズ、絞り、及び固体撮像素子(例えば、CCDイメージセンサや、CMOSイメージセンサ等)を備えて構成されている。外部から被写体光が撮像部14に入射すると、撮影レンズ及び絞りを透過した被写体光が、固体撮像素子の結像面に入射する。固体撮像素子は、光電変換によって被写体像を画像データに変換する。なお、必要に応じて、低照度時等に補助光として用いるストロボ装置や照明装置を撮像部14に設けても良い。
画像処理部15は、撮像部14から出力される画像データを取得して、ノイズ除去処理や、増幅処理や、デジタル変換処理等を画像データに対して施した後、この画像データに対して各種画像処理を施す。この各種画像処理とは、例えば、オフセット補正処理、ホワイトバランス処理、カラーマトリクス処理、階調変換処理、デモザイク処理、及び輪郭強調処理等である。画像処理部15は、各種画像処理を画像データに施した後、この画像データをシステムコントローラ11に出力する。なお、この画像処理部15は、画像データに対して圧縮処理や伸張処理を施す機能も有している。
画像処理部15は、撮影者の要求する出力画像データの形態や撮影モード等に応じて、画像データに対して前述の各種画像処理のいずれかを施す。また、この画像処理部15は、必要に応じて画像データを顔検出部18、焦点検出部19、動き検出部20、輝度検出部21、及び色調検出部22に出力する。
前述の撮影モードとは、静止画撮影モード、動画撮影モード等であり、これらの各撮影モードは、さらに複数のモードを有している。例えば、静止画撮影モード及び動画撮影モードの各々は、通常撮影モードと自動撮影モードとを有している。これらの撮影モードは、操作部12を操作することによって適宜変更される。自動撮影開始モードでは、レリーズボタン12aが半押し操作された時に、撮像部14によって取得された画像データに基づいて、対象物評価値(例えば、顔顔評価値)の判定処理が開始され、レリーズボタン12aが全押し操作された時に、この顔評価値が所定範囲内の値に所定時間(所定撮像回数)入ったか否かの判定結果に基づいて撮影が開始される。
前述の画像処理部15には、レリーズボタン12aが操作される前(スルー画表示時)に、本撮影時よりも低解像度の画像データが一定時間毎に逐次入力される。画像処理部15は、この画像データに対して各種画像処理を施してシステムコントローラ11に出力する。表示部16は、例えば、LCDであり、システムコントローラ11は、この画像データに基づいて表示部16を制御してスルー画を表示させる。
また、レリーズボタン12aが全押しされて、本撮影処理が実行される場合、高解像度の画像データが画像処理部15に入力される。画像処理部15は、この画像データに対して各種画像処理及び圧縮処理を施してシステムコントローラ11に出力する。システムコントローラ11は、画像記録再生部17を制御して、画像データを記録媒体24に記憶させる。この画像記録時には、画像以外の情報、例えば、音声データや、撮影日時情報や、撮影条件情報等を画像データに付加して記録しても良い。なお、この記録媒体24は、メモリカード等の着脱自在に装填される記録メディアでも良いし、内蔵メモリでも良いし、これら両方に記録しても良い。
再生モードでは、システムコントローラ11が、画像記録再生部17を制御して画像データを読み出して、さらに、画像処理部15を制御して画像データに対して伸張処理を施す。その後、システムコントローラ11が、表示部16に画像を表示して再生を行う。また、再生モードでは、表示部16に画像を表示せずに、通信部13を介して外部周辺機器に画像データを送信して、外部周辺機器の表示部に画像を表示させても良い。
顔検出部18は、レリーズボタン12aが半押し操作された時に、画像データ内の特定対象物を検出する特定対象部検出手段であり、特定対象物として、例えば、人物の顔を検出する。この顔検出部18は、撮像部14によって撮像され各種画像処理が施された画像データに基づいて、目、鼻、口等の特徴点をパターン認識することによって、対象物評価値として、顔らしさを示す顔評価値を算出して、この顔評価値が所定値(顔判定値)以上である場合に、顔を検出する。この「顔らしさ」とは、顔を特徴付ける特徴量である。なお、顔検出方法としては、例えば、前述した各特徴点をベクトル化して、特徴点ベクトルを近似検出して顔検出を行う特徴点ベクトル近似法や、エッジ検出または形状パターン検出による顔検出方法や、色相検出または肌色検出による顔領域検出法等の公知の方法(例えば、特開2005−286940号公報に記載の方法)を利用することができる。
顔検出部18は、人物の顔を検出した時に、顔評価値(対象物評価値)を安定度判定部23に出力する。また、この顔検出部18が、顔の領域を示す情報(例えば、顔を囲む枠)をシステムコントローラ11に出力しても良い。この場合、これらの情報は、画像記録や画像表示に利用される。例えば、スルー画表示時に、被写体の顔部分を囲む枠を重ねて表示することによって、撮影者が被写体の顔が検出されていることを認識することができる。
次に、図2を参照して、特徴点ベクトル近似法を利用して被写体の顔を検出する場合の顔検出部18の電気的構成について説明する。顔検出部18は、パラメータ検出処理部31a,31bと、ベクトル合成処理部32と、判定処理部33と、辞書部34とを備えて構成されている。
システムコントローラ11から顔検出部18に画像データが入力されると、パラメータ検出処理部31a,31bが検出位置を移動させながら、それぞれ異なるパラメータを検出する。なお、ここでは、簡単に説明するために、パラメータ検出処理部を2個しか図示していないが、実際には検出するパラメータの数だけ並列に並べて設けられる。なお、プログラムに基づいて処理を実行するパラメータ検出処理部を用いる場合には、1つのパラメータ検出処理部で行うことも可能である。
ベクトル合成処理部32は、各パラメータを合成してベクトルを生成する。例えば、パラメータが8種類ある場合には、8次元のベクトルが合成される。判定処理部33は、合成されたベクトルと、辞書に記憶されたリファレンスベクトルとを比較評価して、顔らしさを示す顔評価値(対象物評価値)を算出し、顔評価値が顔判定値以上であると判定された時に顔を検出する。また、この顔検出部18は、顔を検出した時に、顔評価値を安定度判定部23に出力する。なお、リファレンスベクトルは顔の特徴に応じて複数記憶されていることが望ましい。リファレンスベクトルが複数ある場合には、最も高い評価値を判定に利用することが好ましい。
安定度判定部23は、顔評価値を逐次取得して、この顔評価値が所定時間(または所定撮像回数)連続して、所定変動範囲内の値であるか否かを判定して、この安定度判定結果を出力部35に出力する。また、前述の所定時間、所定撮像回数、及び所定変動範囲の判定条件パラメータは、撮影者が判定条件設定部12bを操作することによって適宜設定変更可能にされており、安定度判定部23は、撮影者によって前述の判定条件パラメータのいずれかが設定された場合には、このパラメータに基づいて判定を行う。
また、前述の顔検出部18は、顔位置を出力部35に出力する。その後、出力部35によって、この安定度判定結果及び顔位置がシステムコントローラ11に入力される。システムコントローラ11は、安定度判定結果に基づいて、撮影の開始を制御する撮影制御手段である。システムコントローラ11は、所定時間(または所定撮像回数)連続して、顔評価値が所定変動範囲内の値であると判定された場合、撮像部14やその他のブロックを制御して本撮影を開始させる。
また、前述の顔検出結果は、AF制御や、AE制御や、自動色調調節(以下、AWBと称する)制御等に用いられる。また、顔検出結果をAF制御、AE制御、AWB制御の補正などに用いることもができる。さらに、システムコントローラ11が、画像記録再生部17を制御して、画像データとともに顔検出結果を記録媒体24に記録しても良い。
焦点検出部19は、レリーズボタン12aが半押し制御された時に、撮像部14によって取得された画像データに基づいて、被写体の焦点位置を特定するための焦点評価値を検出する。この焦点検出の具体的な方法としては、画像データを複数のブロックに分割し、分割されたブロックごとにフィルタ処理を行う。フィルタ処理は、光学系の特性によって、低周波通過フィルタ、帯域通過フィルタなどを用いる。焦点検出部は、フィルタ処理後の各ブロックの画像データを積分することによって、各ブロックの焦点評価値を計算することができる。なお、焦点検出方法としては、前述の方法以外に、コントラストを検出する等の方法でも良く、同様の結果を得ることができる。この焦点検出結果は、AF処理等に用いられる。
動き検出部20は、撮像部14によって撮像された画像データに基づいて、被写体の動きを特定するための動き評価値を検出する。動き検出の具体的な方法としては、画像データから特徴点を抽出し、抽出した特徴点の画像上の位置が、時間経過に伴って変化する様子を示す動きベクトルを検出する。なお、前述の方法以外にも、時間経過ごとに画像の差分を求め、差分のコントラスト変化を動きとして検出する方法もある。動き検出部20の検出結果は、AWBの精度を上げるために用いることができる他、顔検出部18の精度向上のためにも用いることができる。
輝度検出部21は、レリーズボタン12aが半押し制御された時に、撮像部14によって撮像された画像データに基づいて、被写体輝度を特定するための輝度評価値を検出する。輝度検出の具体的な方法としては、画像データを複数のブロックに分割し、各ブロックの輝度を積算することによって、各ブロックの輝度評価値を計算することができる。なお、画像全体の輝度評価値が必要であれば、各ブロックの輝度評価値に、各ブロックに対応する重み付け係数を乗算した値を合計することで算出することができる。この輝度検出部21の検出結果はAEに用いることができる他、AF、AWB、顔検出の精度を向上させるために用いることができる。
色調検出部22は、レリーズボタン12aが半押し制御された時に、撮像部14によって撮像された画像データに基づいて、被写体の色調を特定するための色調評価値を検出する。色調評価値検出の具体的な方法としては、画像をRGBの各色毎に積分し、それぞれの積分値そのものを色調評価値として用いる。また、Gに対するRの比(R/G)と、Gに対するBの比(B/G)とを色調評価値として使用しても良い。さらに、輝度検出部21と同様に、画像を複数のブロックに分割し、各ブロックの色調評価値を算出しても良い。この色調検出部の検出結果は、AWBに用いることができる他、顔検出部の精度向上のためにも利用される。
上記構成のデジタルカメラ10では、撮影者によってレリーズボタン12aが全押し操作された時に、撮影処理が実行される。例えば、静止画撮影を行う場合、レリーズボタン12aが押し込まれている(ON)間、静止画撮影処理を連続して行って、連写が行われる。また、直ぐにレリーズボタン12aが戻された時は、連写が行われずに1枚の撮影(単写)となる。動画撮影を行う場合、レリーズボタン12aが全押しされた時に、動画撮影が開始され、レリーズボタン12aがもう1度全押しされた時に撮影停止となる。
次に、図3〜図5を参照して、顔検出部18及び安定度判定部23の動作を説明する。顔検出部18に、撮像部14によって撮像された画像データが入力されると、顔検出部18は、この画像データに基づいて、顔評価値及び顔位置を検出する。
この検出結果は、図3に示すように、画像データが表す画像40とともに、枠41として表示部30に表示される。また、人物を撮影する場合、被写体である人物は動くため、顔の位置や、向きや、表情等が時間とともに変化する。例えば、図3に示すように、時間t1〜t7の間で顔の向きや表情が変化する。以下の説明において、顔の向きの安定度を判定して、この判定結果に基づいて撮影を開始する場合を例に説明を行うが、これに限るものではなく、被写体である人物の目瞑りがあるか否かを検出して、目瞑りがない状態の時に撮影を開始するようにしても良い。この場合、記念写真で3人の人物を撮影する時に、3人に目瞑りがない状態で撮影を行うことができる。
このため、図4に示すように、顔検出部18によって検出される顔評価値は、時間(t1〜t7)とともに変化する。なお、図4に示すグラフにおいて、横軸は時間、縦軸は顔評価値を示している。このグラフに示すように、撮像部14から画像データが間欠的に出力されるため、顔検出結果(顔評価値)も間欠的に出力される。このため、顔評価値は離散的となる。
このグラフは、これらの離散的な顔評価値(Lt1〜Lt7)を直線で結んだものである。なお、複数チャンネルの出力を持ったMOS型イメージセンサを用いると、画像を間欠的に取得しつつ、別のチャンネル出力から画像の任意の一部分をより短い時間間隔で出力することが可能であり、この結果を用いるとより連続的な判断が可能になる。
このグラフから分かるように、人物が顔を横に向けていて顔評価値が低い状態Lt1から、人物が徐々に顔を正面に向けると顔評価値が上がる。判定処理部33は、顔評価値が所定値(顔判定値)Lb以上の値である顔評価値Lt3になった時に顔と判定する。
また、安定度判定部23は、判定処理部33によって顔と判定された時の顔評価値Lt3を基準評価値として、顔評価値の安定度を判定する。例えば、安定度判定部23は、Lt3の上下に対して評価値安定度Aの安定度判定領域(Lt3−A〜Lt3+A)を設定し、Lt3±Aの安定度判定領域内に、顔評価値が所定時間(または所定撮像回数)入るか否かに基づいて安定度の判定を行う。撮影者が安定度判定領域を設定する場合、評価値安定度Aを指定する。
例えば、顔検出部18に対して、画像データが間欠的に入力される場合、画像データが入力される間隔を時間Tとして、3T期間安定度判定領域に顔評価値が入れば、顔評価値が所定値以上でかつ安定していると判断する。システムコントローラ11は、顔評価値が安定していると判定された時に、撮影処理を開始する。なお、図4のグラフにおいて、所定値とはLt3−Aであり、これは顔と判定される顔評価値(顔判定値)よりも値が下がっているが、1度顔として判定された場合は顔判定値を下げて判断しても良いと考えられるからである。
なお、前述の安定度判定処理の説明において、顔評価値のみによって安定度判定を行う場合について説明を行ったが、顔の検出位置を利用して、位置が変わらなければ顔評価値の安定度判定領域の下限を下げる等の総合的な判定を行うことが好ましい。
また、安定度判定値の下限Lt3−Aと、顔と判定される顔判定値Lbとを比較し、大きい値を新たな安定度判定領域の下限として設定しても良い。このように、顔が所定時間安定して検出されたことを確認してから撮影を開始することによって、シャッタチャンスをより的確に捉えることが可能になる。
さらに、顔評価値が安定度判定領域に、所定時間入らなくなったら、撮影を終了もしくは中断しても良い。この場合、撮影不適と判断される画像を撮影することを少なくできるという効果がある。撮影時間と同じ時間が鑑賞に必要な動画の場合は、より有効であると考えられる他、通常の撮影でも、例えば、主要被写体の人物の顔がはっきり確認できる期間シャッタを切り続けるようなことが可能になる。
次に、図5を参照して、安定レベル値を導入して、前述の判定を行う場合について説明する。安定レベル値は、顔評価値が顔判定値Lbを超えた場合に、顔スコア値Lstが積算され、それを3T期間、すなわち3回積算したものである。つまり、顔評価値が、顔判定値Lbを超えた回数を3T期間数えているのと等価であり、顔評価値が3T期間安定していた場合、安定度判定部23が、顔評価値が安定したと判定する。この場合も同様に、顔評価値が安定したと判定された時に、各部を制御して撮影処理を開始する。この場合、所定期間内で、顔と判定された回数を利用して撮影を開始することができるため、シャッタチャンスを逃すことが少なくなる。
なお、上記説明において、顔評価値が顔と判定される値を超えた場合に一定値を加算したが、顔評価値が顔と判定される値を超えた場合に顔評価値そのものを加算する方法もある。この場合、より厳密に顔の検出状況を利用して撮影を開始することができる。
次に、図6のフローチャートを参照して、顔評価値が所定撮像回数内で所定変動範囲内の値となった時に撮影を開始する場合の撮影処理を説明する。撮影者が操作部12を操作して、自動撮影開始モードに設定された場合、最初に、システムコントローラ11は、安定度判定部23の初期化、すなわち、係数i及びカウンタtcの初期化(i=0,tc=0)を行う(ステップS10)。
その後、システムコントローラ11は、撮影指示を取得したか否かを判定する(ステップS11)。この判定は、レリーズボタン12aからスイッチS1のON信号を取得したか否かに基づいて行われる。なお、この判定は、レリーズボタン12a以外の操作部12の操作によって取得された撮影指示や、通信部13を介して外部から取得した撮影指示でも良い。
撮影指示を取得していないと判定された場合、ステップS10の処理に戻って同様の処理を繰り返し行う。また、撮影指示を取得したと判定された場合、撮像部14によって得られた画像データ(スルー画用の画像データ)が画像処理部15によって各種画像処理が施された後、顔検出部18が、この画像データを取得して、被写体像に含まれる特定対象としての顔の検出、及び顔評価値の取得を行う(ステップS12)。なお、この時、撮影準備処理(例えば、AF制御処理、AE制御処理)が実行される。
次に、ステップS12にて取得された顔評価値が、顔として判定できる下限の顔評価値である顔判定値以上であるか否かを判定する(ステップS13)。顔評価値が顔判定値より小さいと判定された場合、ステップS10の処理に戻って同様の処理を繰り返して行う。
また、顔評価値が顔判定値以上であると判定された場合、顔評価値を顔安定度基準値に代入する(ステップS14)。システムコントローラ11は、カウンタtcに1を加算(tc=tc+1)する(ステップS15)。次に、システムコントローラ11は、撮影指示を所得したか否かを判定する(ステップS16)。この判定は、レリーズボタン12aからスイッチS2のON信号を取得したか否かに基づいて行われる。撮影指示を取得していないと判定された場合、ステップS10の処理に戻って同様の処理を繰り返し行う。
撮影指示を取得したと判定された場合、顔検出部18は、顔検出及び顔評価値の取得を行う(ステップS17)。次に、安定度判定部23は、ステップS17にて取得された顔評価値が、顔を検出した初期の顔評価値である顔安定度基準値Lt3に対して、安定度判定領域内の値であるか否かを判定、すなわち、顔評価値から顔安定度基準値を減算して、この減算結果の絶対値が顔評価値安定度A以下であるか否かを判定する(ステップS18)。なお、この顔評価値安定度Aは、自動設定された値でも良いし、撮影者によって設定された値でも良い。
減算結果の絶対値が顔評価安定度Aより大きい場合、安定度判定領域外であるとしてステップS16の処理に戻って同様の処理を繰り返し行う。また、減算結果の絶対値が顔評価値安定度A以下である場合、安定度判定領域内であるとして、ステップS19の処理に進む。
ステップS19では、安定度判定部23は、カウンタtc=2であるか否かを判定する。カウンタtcが2でないと判定された場合、ステップS15の処理に戻って同様の処理を繰り返し行う。また、カウンタtcが2であると判定された場合、特定対象物が顔として判定され、さらに2回連続して顔評価値が安定度判定領域に入った判断して、ステップS20の処理に進み、システムコントローラ11が、撮像部14を制御して本露光を実行させて、撮像によって得られた画像データを表示部16に表示させた後、この画像データをこの記録媒体24に記録する。
上記撮影開始処理の説明において、顔評価値が安定度判定領域に3回入ったか否かを判定して、撮影の開始を制御する場合を例に説明を行ったが、安定度判定領域に入った回数は3回に限らず、適宜設定可能であり、例えば、2回でも良いし、4回以上でも良い。また、顔評価値が安定度判定領域内に入った回数に基づいて、撮影の開始を制御する場合を例に説明を行ったが、顔評価値が安定度判定領域に所定時間入ったか否かに基づいて、撮影の開始を制御しても良い。この場合も、略同様の制御方法であるので詳しい説明を省略する。
また、顔評価値が安定度判定領域に所定撮像回数または所定時間入らなかった場合、撮影を終了しても良い。このように、撮影の開始及び終了を制御することによって、顔評価値が安定度判定領域内に所定時間または所定撮像回数入った時の画像のみを撮影することが可能である。
次に、図7のフローチャートを参照して、安定レベル値を用いて顔評価値の安定度を判定して、撮影開始処理を行う場合について説明する。なお、前述の説明では、レリーズボタン12aが半押し操作された時に、安定度判定を行う場合について説明したが、以下の説明では、レリーズボタン12aが全押し操作された時に、安定度判定を行う場合について説明する。
自動撮影開始モードに設定された場合、最初に、システムコントローラ11は、顔スコア値Lti及び係数iの初期化(Lti=0,i=0)を行う(ステップS30)。次に、係数iに1を加算(i=i+1)する(ステップS31)。その後、システムコントローラ11は、撮影指示を取得したか否かを判定する(ステップS32)。なお、この判定は、レリーズボタン12aからスイッチS2のON信号を取得したか否かに基づいて行われる。
撮影指示を取得していないと判定された場合、ステップS30の処理に戻って同様の処理を繰り返し行う。また、撮影指示を取得したと判定された場合、顔検出部18が、画像データを取得して、顔検出及び顔評価値の取得を行う(ステップS33)。
次に、ステップS33にて取得された顔評価値が顔判定値以上であるか否かを判定する(ステップS34)。顔評価値が顔判定値より小さいと判定された場合、顔スコア値Ltiに0を代入して、ステップS31の処理に戻って同様の処理を繰り返して行う。
また、顔評価値が顔判定値以上であると判定された場合、顔スコア値Ltiに顔スコア標準値Lstを代入する(ステップS35)。さらに、Lti−2〜Ltiの積算値を安定レベル値に代入する(ステップS36)。その後、安定レベル値が安定度判定値以上か否かを判定する(ステップS37)。
安定レベル値が、安定度判定値よりも小さいと判定された場合、ステップS31の処理に戻って同様に処理を繰り返し行う。また、安定レベル値が安定度判定値以上であると判定された場合、ステップS38の処理に進み、システムコントローラ11が、各部を制御して撮影を実行して、撮影処理を終了する。
次に、図8を参照して、顔評価値が顔判定値以上であるか否かの判定処理を1回のみ行う場合の撮影処理について説明する。自動撮影開始モードに設定された場合、最初に、システムコントローラ11は、係数i及びカウンタtcの初期化(i=0,tc=0)を行う(ステップS40)。
その後、システムコントローラ11が、撮影指示を取得したか否かを判定する(ステップS41)。この判定は、レリーズボタン12aからスイッチS1のON信号を取得したか否かに基づいて行われる。撮影指示を取得していないと判定された場合、ステップS40の処理に戻って同様の処理を繰り返し行う。また、撮影指示を取得したと判定された場合、顔検出部18が、画像データを取得して、顔検出及び顔評価値の取得を行う(ステップS42)。
次に、ステップS42にて取得された顔評価値が顔判定値以上であるか否かを判定する(ステップS43)。顔評価値が顔判定値より小さいと判定された場合、ステップS40の処理に戻って同様の処理を繰り返して行う。
また、顔評価値が顔判定値以上であると判定された場合、顔評価値をti‐2〜ti期間積算した値を安定レベル値に代入する(ステップS44)。さらに、システムコントローラ11は、係数iに1を加算(i=i+1)する(ステップS45)。
その後、システムコントローラ11は、撮影指示を所得したか否かを判定する(ステップS46)。この判定は、レリーズボタン12aからスイッチS2のON信号を取得したか否かに基づいて行われる。撮影指示を取得していないと判定された場合、ステップS40の処理に戻って同様の処理を繰り返し行う。
撮影指示を取得したと判定された場合、顔検出及び顔評価値の取得を行う(ステップS47)。次に、顔評価値をti−2〜ti期間積算した値を安定レベル値に代入する(ステップ48)。さらに、安定レベル値が安定度判定値以上か否かを判定する(ステップS49)。安定レベル値が安定度判定値より小さいと判定された場合、ステップS49の処理に戻って同様の処理を繰り返し行う。
また、安定レベル値が安定度判定値以上であると判定された場合、カウンタtcの値に1を加算(tc=tc+1)する(ステップS50)。その後、カウンタtcの値が2であるか否かを判定する(ステップS51)。カウンタtcの値が2ではないと判定された場合、ステップS45の処理に戻って同様の処理を繰り返し行う。
また、カウンタtcの値が2であると判定された場合、システムコントローラが、各部を制御して撮影を実行して、撮影処理を終了する。
次に、第2の実施形態として、図9に示すように、画像45内に被写体として2人の人物が含まれ、2つの顔を検出する場合について説明する。最初に、図10に示すように、2つの顔検出部46a,46bを設け、さらに、これらの顔検出部46a,46bと安定度判定部23との間に切替部(評価値選択手段)47を設けた場合について説明する。なお、2つの顔検出部46a,46bは、顔検出部18と同様のものであり、詳しい説明を省略する。この場合、2つの顔検出46a,46bによって、2つの顔の顔評価値LX,LYが別々に検出される。その後、この検出によって得られた2つの顔評価値LX,LYが、切替部47によって選択的に安定度判定部23に出力される。この場合、撮影開始制御は、一方の顔評価値の安定度に基づいて行われる。なお、この切替部47は、優先条件設定部12cによって設定された優先条件に基づいて、評価値の選択を行う。
このように、2つの顔の検出を並行して行って、どちらか一方の顔評価値が安定度判定部23に出力される場合、選択する顔を適宜変更可能であるという利点がある。また、撮影者が、検出結果(顔評価値)を参照して選択できるようにしても良いし、自動的に判定されても良い。なお、自動的に判定される場合の判定基準は、適宜設定できることが好ましい。
また、図11に示すように、安定度判定部として、LX安定度判定部48a及びLY安定度判定部48bを設け、さらに、2つの安定度判定部48a,48bの出力側に、切替部(判定結果選択手段)49を設けても良い。なお、LX安定度判定部48a及びLY安定度判定部48bは、前述の安定度判定部23と同様のものであり、詳しい説明を省略する。この場合、各顔検出部46a,46bから出力される各顔評価値LX,LYが、LX安定度判定部48a及びLY安定度判定部48bの各々に入力される。さらに、これらの安定度判定部48a,48bからの出力が、切替部49によって適宜選択されて出力される。このため、システムコントローラ11は、2つの安定度判定結果のうち一方に基づいて撮影開始を制御する。
この場合、安定度判定した顔のいずれか一方を選択して、撮影開始の判断を行うため、例えば、撮影者が主要被写体と考えている人(顔)が、安定しているのにも関わらず、一緒に写したい人が不安定であった時に、その不安定な人の安定度判定に基づいて撮影を開始することによって、ベストショットを撮れる確率が向上する。
次に、図12を参照して、2つの顔評価値LX,LYに対して安定度判定を別々に行って、これらの安定度判定結果のand(論理積)に基づいて撮影開始を制御する場合について説明する。この場合、前述の切替部49の代わりにand回路(論理積回路)50を設け、顔検出及び安定度判定を2つの顔に対して別々に行って、and回路50が2つの安定度判定結果の論理積を算出して、この値をシステムコントローラ11に出力する。
このように、2つの安定度判定結果の論理積を出力する場合、2つの顔が共に安定した時に撮影を開始することができる。このため、2人の主要被写体を撮影する場合、2人の顔が共に安定している状態で撮影を開始することができる。例えば、被写体として子供が2人いる場合や、親と子供の場合や、男女のツーショットの場合等において、ベストショットで撮影できる確率が向上する。
次に、図13を参照して、2つの顔検出部46a,46bの各々から出力される顔評価値LX,LYに対して、重み付けを行って合計した値を安定度判定処理部23に出力する場合について説明する。この場合、2つの顔検出部46a,46bと安定度判定部23との間に、重み付け演算部51を設ければ良い。この重み付け演算部51は、各顔評価値LX,LYに対して重み付け係数を乗算して合計して、この値を安定度判定部23に出力する。
このように、2つの顔評価値LX,LYに対して重み付けを行う場合、撮影者が操作部12を操作して、2人の被写体の重み付けを決定して、撮影者が主要被写体と考えている人の顔の安定度が優先されて撮影が開始される。このため、2人の被写体がいても、撮影者が主要被写体と考えている人をベストショットで撮影できる確率が向上する。
なお、上記ブロック図(図10〜図13)の説明において、2つの顔を検出する場合を例に説明を行ったが、3つ以上の顔を検出しても良い。この場合、顔検出部や安定度判定部を検出数に応じて設ければ良い。
顔検出部及び安定度判定部として複数のブロックを設ける場合について説明したが、これらは1つでも良い。この場合、1つのブロックをタイムシェアリングして使用しても良いし、一部の処理をシステムコントローラ11で行っても良い。
次に、図14のフローチャートを参照して、2つの顔検出部46a,46bによって検出された顔評価値LX,LYを安定度判定部23に選択的に出力させる場合の撮影開始処理を説明する。撮像部14によって得られた画像データが2つの顔検出部46a,46bに入力されると、各顔検出部46a,46bによって、顔評価値LX,LYが検出され、これらが顔判定値以上の場合、これらが顔であると判定されて顔が検出される(ステップS60)。
その後、システムコントローラ11は、顔が2つ以上検出されたか否かを判定する(ステップS61)。顔が2つ以上ではない(顔が1つである)と判定された場合、システムコントローラ11が切替部47を制御して、この1つの顔評価値を安定度判定処理部23に出力させる(ステップS62)。その後、ステップS66の処理に進む。
また、顔が2つ以上あると判定された場合、システムコントローラ11は、優先条件設定部12cによって優先条件が設定されているか否かを判定する(ステップS63)。この判定は、撮影者によって指定された優先条件があるか否かに基づいて行われる。
優先条件が設定されていないと判定された場合、システムコントローラ11は、切替部47を制御して、顔評価値の高い方を安定度判定部23に出力させる(ステップS64)。また、優先条件が設定されていると判定された場合、システムコントローラ11は、優先条件に合致する方の顔評価値を安定度判定部23に出力させる(ステップS65)。その後、ステップS66の処理に進む。
ステップS66では、安定度判定部23が、顔評価値が所定期間(回数)安定しているか否かを判定する。顔評価値が安定していないと判定された場合、ステップS60の処理に戻って、同様の処理を繰り返し行う。また、顔評価値が安定していると判定された場合、システムコントローラ11が、各部を制御して撮影を実行する(ステップS68)。これにより、撮影処理が終了する。
次に、図15のフローチャートを参照して、LX安定度判定部48a及びLY安定度判定部48bを設け、これらの安定度判定結果を選択的に出力させる場合の撮影処理について説明する。
画像データが各顔検出部46a,46bに入力されると、各顔検出部46a,46bによって、顔評価値LX,LYが検出され、これらが顔判定値以上の場合、これらが顔であると判定されて顔が検出される(ステップS70)。
LX安定度判定部48aは、顔評価値LXを取得して安定度判定を行い、LY安定度判定部48bは、顔評価値LYを取得して安定度判定を行う(ステップS71)。システムコントローラ11は、顔が2つ以上検出されたか否かを判定する(ステップS62)。
顔が2つ以上ではないと判定された場合、システムコントローラ11が、切替部49を制御して、安定度判定部48a,48bの一方から安定度判定結果を出力させる(ステップS73)。その後、ステップS77の処理に進む。
顔が2つ以上あると判定された場合、システムコントローラ11は、優先条件が設定されているか否かを判定する(ステップS74)。この判定は、撮影者によって指定された優先条件があるか否かに基づいて行われる。
優先条件が設定されていないと判定された場合、システムコントローラ11は、切替部43を制御して、安定度判定部48a,48bの一方から安定度の低い方の安定度判定結果を出力させる(ステップS75)。その後、ステップS77の処理に進む。
また、優先条件が設定されていると判定された場合、システムコントローラ11は、優先条件に合致する方の安定度判定結果を出力させる(ステップS76)。その後、ステップS77の処理に進む。
ステップS77では、システムコントローラ11は、安定度判定結果が安定か否かを判定する。安定度判定結果が安定でない場合、ステップS70の処理に戻って、同様の処理を繰り返し行う。また、安定度判定結果が安定である場合、システムコントローラ11が、各部を制御して撮影を実行する(ステップS78)。これにより、撮影処理が終了する。
次に、図16のフローチャートを参照して、2つの顔評価値LX,LYに対して安定度判定を別々に行って、これらの安定度判定結果の論理積に基づいて撮影開始を制御する場合について説明する。なお、ステップS80,S81の処理は、図15のフローチャートのステップS70,S71の処理と同様なので詳しい説明を省略する。
ステップ82では、and回路50が、LX安定度判定部48a,LY安定度判定部48bから各安定度判定結果を取得し、これらの判定結果の論理積を算出して、システムコントローラ11に出力する。
システムコントローラ11は、安定度判定結果が安定か否かを判定する(ステップS83)。安定度判定結果が安定でない場合、ステップS80の処理に戻って、同様の処理を繰り返し行う。また、安定度判定結果が安定である場合、システムコントローラ11が、各部を制御して撮影を開始させる(ステップS84)。これにより、撮影処理が終了する。
次に、図17のフローチャートを参照して、2つの顔評価値LX,LYに対して重み付けを行って安定度判定を行う場合の撮影処理について説明する。
画像データが各顔検出部46a,46bに入力されると、各顔検出部46a,46bによって、顔評価値LX,LYが検出され、これらが顔判定値以上の場合、これらが顔であると判定されて顔が検出される(ステップS90)。
システムコントローラ11は、重み付け係数が撮影者によって設定されているか否かを判定する(ステップS91)。重み付け係数が撮影者によって設定されていないと判定された場合、重み付け演算部51が、重み付け係数を自動的に設定して、この重み付け係数に基づいて顔評価値に重み付け演算を施す(ステップS92)。その後、ステップS94の処理に進む。
また、重み付け係数が撮影者によって設定されていると判定された場合、重み付け演算部51が、撮影者によって設定された重み付け係数に基づいて顔評価値に重み付け演算を施す(ステップS93)。その後、ステップS94の処理に進む。
ステップS94では、重み付け演算部51が、重み付け演算が施された顔評価値を安定度判定部23に出力する。安定度判定部23は、この顔評価値に基づいて、顔評価値が安定しているか否かを判定する(ステップS95)。安定していないと判定された場合、ステップS90の処理に戻って、同様の処理が繰り返し行われる。
また、安定していると判定された場合、システムコントローラ11が、各部を制御して撮影を実行する(ステップS96)。これにより、撮影処理が終了する。
上記第1及び第2の実施形態において、顔評価値の安定度に基づいて、撮影の開始を制御する場合について説明を行ったが、これに限るものではなく、他の評価値の安定度と組み合わせて判断することによって、被写体がより安定した時に撮影を開始することができる。
次に、第3の実施形態として他の評価値の安定度と組み合わせて、撮影開始を制御する場合について説明する。最初に、図18を参照して、顔評価値と焦点評価値とを組み合わせて、撮影開始を制御する場合について説明を行う。この顔評価値と焦点評価値とを組み合わせる場合、LX安定度判定部48aと、FX安定度判定部(第2安定度判定手段)48cとを設け、さらに、これらの安定度判定部48a,48cの安定度判定結果の論理積を算出するand回路60を設ける。
LX安定度判定部48aには、顔検出部18から顔評価値LXが入力され、顔評価値LXの安定度を判定して、この判定結果をand回路60に出力する。また、FX安定度判定部48cには、焦点検出部19から焦点評価値FXが入力され、この焦点評価値FXの安定度を判定して、この判定結果をand回路60に出力する。このFX安定度判定部48cは、安定度判定部23と同様に、この焦点評価値FXが所定時間(または所定撮像回数)連続して、所定変動範囲内の値であるか否かを判定する。なお、判定条件パラメータは、安定度判定部23と同様に、撮影者が判定条件設定部12bを操作することによって適宜設定変更可能にされている。
and回路60は、各々から安定度判定結果を取得して、これらの安定度判定結果のand(論理積)を出力する。システムコントローラ11は、この論理積の値を取得し、この論理積の値に基づいて撮影開始を制御する。
前述のように、焦点評価値FXの安定度と組み合わせて撮影開始制御を行う場合、「焦点評価値FXが安定する」=「被写体の位置が安定する」ということであり、被写体の位置が安定し、かつ顔評価値が安定した時に撮影が開始される。このため、被写体の位置及び顔評価値が安定した画像を得ることができる。この場合、被写体である人物が顔を揺らしている場合でも、顔の動きが安定した状態の時に撮影を行うことができる。
なお、焦点評価値FXは、撮影画像の全体に対する評価値でも良いし、撮影画像の一部の部分的な評価値でも良いし、顔の位置に対応する評価値でも良い。画像全体に対する焦点評価値を利用する場合、画面全体の位置が安定しており、かつ顔評価値の安定した画像を得ることができる。また、顔位置での焦点評価値を利用する場合、顔位置が安定しており、かつ顔評価値も安定した画像を得ることができる。また、画像全体及び顔位置での2つの焦点評価値を利用し、両方の数値の安定度が高い時に撮影を開始させても良い。
なお、前述の説明において、焦点検出部の焦点評価値FXを利用する場合を例に説明を行ったが、これに限るものではなく、撮影開始制御を行うための専用の焦点評価値検出部を設けても良い。
次に、図19を参照して、顔評価値LXと動き評価値MXとを組み合わせて、撮影開始を制御する場合について説明を行う。この場合、LX安定度判定部48aと、MX安定度判定部(第3安定度判定手段)48dと、これらの安定度判定結果の論理積を算出するand回路61とを設ける。
MX安定度判定部48dには、動き検出部20から動き評価値MXが入力され、動き評価値MXの安定度を判定して、この判定結果をand回路61に出力する。このMX安定度判定部48dは、安定度判定部23と同様に、この動き評価値MXが所定時間(または所定撮像回数)連続して、所定変動範囲内の値であるか否かによって判定を行う。なお、判定条件パラメータも、安定度判定部23と同様に、撮影者が判定条件設定部12bを操作することによって適宜設定変更可能にされている。and回路61は、各安定度判定結果を取得して、これらの安定度判定結果のand(論理積)を出力する。システムコントローラ11は、この論理積の値を取得し、この論理積の値に基づいて撮影開始を制御する。
前述のように、動き評価値MXの安定度と組み合わせて撮影開始制御を行う場合、「動き評価値MXが安定する」=「被写体の動きが少なく安定している」ということであり、被写体の動きが少なく安定し、かつ顔評価値の安定した画像を撮影することが可能である。この場合、手振れの少ない画像を撮影できる確率を上げることができる。
また、動き評価値MXは、撮影画像の全体に対する評価値でも良いし、撮影画像の一部の部分的な評価値でも良いし、顔の位置に対応する評価値でも良い。画像全体に対する動き評価値の場合、画面全体の動きが安定しており、かつ顔評価値の安定した画像を得ることができる。
また、顔位置の動き評価値を利用する場合、顔の位置が安定しており、かつ顔評価値も安定した画像を得ることが可能である。この場合、動き検出する際に、顔検出によって得られた顔位置を利用することが可能であり、手振れ補正機能を持たない撮影装置でも実現可能である。
次に、図20を参照して、顔評価値と輝度評価値とを組み合わせて、撮影開始を制御する場合について説明を行う。この場合、LX安定度判定部48aと、EX安定度判定部(第4安定度判定手段)48eと、これらの安定度判定結果の論理積を算出and回路62とを設ける。
EX安定度判定部48eには、輝度検出部21から輝度評価値EXが入力され、この輝度評価値EXの安定度を判定して、この判定結果をand回路62に出力する。このEX安定度判定部48eは、安定度判定部23と同様に、この輝度評価値EXが所定時間(または所定撮像回数)連続して、所定変動範囲内の値であるか否かを判定する。なお、判定条件パラメータは、安定度判定部23と同様に、撮影者が判定条件設定部12bを操作することによって適宜設定変更可能にされている。and回路62は、各安定度判定結果を取得して、これらの安定度判定結果のand(論理積)を出力する。システムコントローラ11は、この論理積の値を取得し、この論理積の値に基づいて撮影開始を制御する。
前述のように、輝度評価値EXの安定度と組み合わせて撮影開始制御を行う場合、「輝度評価値EXが安定する」=「被写体の照明条件が安定する」ということであり、被写体の照明が安定しており、かつ顔評価値の安定した画像を撮影することが可能である。
また、輝度評価値EXは、撮影画像の全体に対する評価値でも良いし、撮影画像の一部の部分的な評価値でも良いし、顔の位置に対応する評価値でも良い。画像全体に対する輝度評価値の場合、画面全体の照明が安定しており、かつ顔評価値の安定した画像を得ることができる。
また、顔位置の輝度評価値を利用する場合、顔位置の照明が安定しており、かつ顔評価値も安定した画像を得ることが可能である。また、これらの輝度評価値のいずれか一方が安定した時に、撮影を開始することによって、自動露出の精度を高くできるという利点もある。このように、輝度評価値を利用する場合、背景中で車が通って、背景が変わる場合でも、背景が安定した状態で撮影を行うことができる。
次に、図21を参照して、顔評価値と色調評価値とを組み合わせて、撮影開始を制御する場合について説明を行う。この場合、LX安定度判定部48aと、CX安定度判定部(第5安定度判定手段)48fと、これらの安定度判定結果の論理積を出力するand回路63とを設ける。
CX安定度判定部48fには、色調検出部22から色調評価値CXが入力され、色調評価値CXの安定度を判定して、この判定結果をand回路63に出力する。このCX安定度判定部48fは、安定度判定部23と同様に、この色調評価値CXが所定時間(または所定撮像回数)連続して、所定変動範囲内の値であるか否かを判定する。なお、判定条件パラメータは、安定度判定部23と同様に、撮影者が判定条件設定部12bを操作することによって適宜設定変更可能にされている。and回路63は、各安定度判定結果のand(論理積)を算出して出力する。システムコントローラ11は、この論理積の値を取得し、この論理積の値に基づいて撮影開始を制御する。
前述のように、色調評価値CXの安定度と組み合わせて撮影開始制御を行う場合、「色調評価値CXが安定する」=「被写体の色調すなわち照明条件が安定する」ということであり、被写体の色調が安定しており、かつ顔評価値の安定した画像を撮影することが可能である。
また、色調評価値CXは、撮影画像の全体に対する評価値でも良いし、撮影画像の一部の部分的な評価値でも良いし、顔の位置に対応する評価値でも良い。画像全体に対する色調評価値の場合、画面全体の照明が安定しており、かつ顔評価値の安定した画像を得ることができる。また、顔位置の色調評価値を利用する場合、顔位置の照明が安定しており、かつ顔評価値も安定した画像を得ることが可能である。また、これらの色調評価値のいずれか一方が安定した時に、撮影を開始することによって、自動色調調節の精度を高くできるという利点もある。
上記ブロック図(図18〜図21)の説明において、安定度判定部として2つのブロックを設ける場合について説明したが、これらは1つでも良い。この場合、1つのブロックをタイムシェアリングして使用しても良いし、一部の処理をシステムコントローラ11で行っても良い。
また、上記第3の実施形態において、顔評価値LXと、焦点評価値FX、動き評価値MX、輝度評価値EX、及び色調評価値CXのいずれか1つの評価値とを組み合わせて、2つの評価値が安定した時に撮影を開始する場合を例に説明を行ったが、これに限るものではなく、顔評価値LXと、焦点評価値FX、動き評価値MX、輝度評価値EX、及び色調評価値CXのうち2つ以上の評価値とを組み合わせて、全ての評価値が安定した時に撮影を開始しても良い。
上記実施形態の説明において、単に被写体の顔を検出して、顔評価値が安定した時に撮影を開始する場合を例に説明したが、これに限るものではない。例えば、被写体の性別を撮影者に選択させ、この選択によって特定された性別の顔検出と、その顔評価値の安定度を判定して、撮影を開始しても良い。この場合、撮影者によって、例えば、女性が選択されると、女性の顔が検出され、この顔評価値が安定した時に撮影を開始されるので、被写体の中の女性へのシャッタチャンスを増やして、女性の自然な表情が撮影された画像を得ることができる。
また、性別を撮影者に選択させるのではなく、特定の年齢層を選択させて、この選択によって特定された年齢層の顔を検出と、その顔評価値の安定度を判定して撮影を開始しても良い。この場合、特定の年齢層の被写体に対してシャッタチャンスを増加させることが可能である。例えば、低年齢層が選択された場合、低年齢層の被写体(子供)の顔を検出して、この顔評価値が安定した時に撮影が開始されるため、被写体の中の子供へのシャッタチャンスが増して、子供の自然な表情が撮影された画像を得ることができる。
さらに、特定の表情を撮影者に選択させて、この選択によって特定された表情の顔を検出し、その顔評価値の安定度を判定して撮影を開始しても良い。この場合、特定の表情をした被写体へのシャッタチャンスを増すことができる。例えば、表情として笑顔が選択された場合には、被写体の中の笑った人の顔を上手く撮影することができる。なお、特定の表情としては、笑顔の他に、例えば、泣き顔、悲しそうな表情、怒っている表情、困っている表情等が選択される。
また、特定の動作を撮影者に選択させて、この選択によって特定された動作を行った顔を検出し、その顔評価値の安定度を判定して撮影を開始しても良い。この場合、特定の動作を行った被写体へのシャッタチャンスを増やすことができる。例えば、特定の動作として、あくびが選択された場合、あくびをした顔を検出して安定した時に撮影して、被写体の中のあくびをした人の顔を上手く撮影することができる。
なお、特定の動作としては、あくびをしている人に限らず、眠っている人や、起きている人等が選択されても良く、子供の寝顔を撮影した場合には、眠っている人を選択すれば良い。さらに、被写体の中の誰かがあくびをしたら撮影を中止するような用途にも使用可能である。
さらに、1つの国を撮影者に選択させ、その国の人が顔の特徴によって検出できれば、顔評価値が安定した時に撮影を行っても良い。また、複数の国を撮影者に選択させても良い。この場合、複数の国とは、アジアやヨーロッパ等の国の集合体である。さらに、撮影者に国を選択させるのではなく、民族を撮影者に選択させても良い。例えば、民族として、モンゴロイド系の黄色人種等の顔を検出する辞書を設ければ良い。この場合、家族が、黄色人種だけであれば、家族旅行で東欧に行って、この機能をONにしておけば現地の人を検出してしまう可能性が少なくし、さらに、家族だけを検出する辞書を登録しておくことによって、さらに精度を向上させることができる。
前述したように、特定の性別、特定の年齢層、特定の表情、特定の動作、特定の人種(特定の国の人)を検出する場合、これらに対応するパターン画像を辞書部34に予め登録しておき、これらのパターン画像を参照してパターン認識により検出すれば良い。
なお、上記実施形態において、被写体が動くことを前提として説明したが、被写体が動かない場合でも被写体に変化が生じる場合であれば良い。被写体の変化の一例としては、例えば、夜間屋外撮影で車の走行によりヘッドライトによる照明が被写体シーンに影響を与え、人物の顔の照明状態が変化し、影が発生したり、肌色濃度が変化したりしてしまう場合である。
さらに、上記実施形態において、撮像部を撮像装置本体内に設けた場合を例に説明したが、これに限るものではなく、撮像部が撮像装置本体の外部に設けても良い。この場合、通信部によって、撮像部との間で画像データ等のデータを送受信すれば良い。
また、上記実施形態において、デジタルカメラを例に説明を行ったが、これに限るものではなく、例えば、カメラ付き携帯電話や、デジタルビデオカメラ等でも良い。
さらに、上記実施形態において、静止画像の撮影をする場合を例に説明を行ったが、これに限るものではなく、単写、連写、動画の撮影開始制御のいずれにも本発明を適用可能である。
デジタルカメラの電気的構成を示すブロック図である。 顔検出部の電気的構成を示すブロック図である。 人物の顔が時間とともに向きや位置が変化する様子を示す説明図である。 顔評価値の時間変化を示すグラフである。 安定レベル値の時間変化を示すグラフである。 撮影処理を説明するフローチャートであり、顔評価値が安定度判定領域内の値に所定撮像回数なったか否かに基づいて安定度を判定する場合を示している。 撮影処理を説明するフローチャートであり、安定レベル値に基づいて安定度を判定する場合を示している。 撮影処理を説明するフローチャートであり、顔検出を1回のみ行う場合を示している。 被写体として2人の人物が含まれている画像を示す説明図である。 顔検出部を2つ設けて、顔評価値を選択的に出力する場合のブロック図である。 安定度判定部を2つ設けて、安定度判定結果を選択的に出力する場合のブロック図である。 2つの安定度判定結果の論理積を出力する場合のブロック図である。 2つの顔評価値に対して重み付け演算を行う場合のブロック図である。 顔評価値を選択的に出力する場合の撮影処理を説明するフローチャートである。 安定度判定結果を選択的に出力する場合の撮影処理を説明するフローチャートである。 2つの安定度判定結果の論理積を出力する場合の撮影処理を説明するフローチャートである。 2つの顔評価値に対して重み付け演算を行う場合の撮影処理を説明するフローチャートである。 顔評価値と焦点評価値とを組み合わせて撮影処理を行う場合のブロック図である。 顔評価値と動き評価値とを組み合わせて撮影処理を行う場合のブロック図である。 顔評価値と輝度評価値とを組み合わせて撮影処理を行う場合のブロック図である。 顔評価値と色調評価値とを組み合わせて撮影処理を行う場合のブロック図である。
符号の説明
10 デジタルカメラ
11 システムコントローラ
12 操作部
12a レリーズボタン
12b 判定条件設定部
12c 優先条件設定部
14 撮像部
18,46a,46b 顔検出部
19 焦点検出部
20 動き検出部
21 輝度検出部
22 色調検出部
23 安定度判定部
47,49 切替部
48a LX安定度判定部
48b LY安定度判定部
48c FX安定度判定部
48d MX安定度判定部
48e EX安定度判定部
48f CX安定度判定部
50,60,61,62,63 and回路
51 重み付け演算部

Claims (19)

  1. 被写体像を光電変換によって撮像する撮像手段から得られた画像データに基づいて、前記被写体像に含まれる特定対象物の特徴量を示す対象物評価値を算出し、前記対象物評価値に基づいて前記特定対象物を検出する対象物検出手段と、
    前記対象物検出手段によって前記特定対象物が検出され、前記対象物評価値が、所定時間または所定撮像回数連続して所定変動範囲内の値となったか否かを判定する安定度判定手段とを備え、
    前記安定度判定手段によって、前記対象物評価値が前記所定時間または前記所定撮像回数連続して前記所定変動範囲内の値になったと判定された場合、前記撮像手段を制御して記録のための撮影を自動的に開始させることを特徴とする撮影制御装置。
  2. 被写体像を光電変換によって撮像する撮像手段を備え、この撮像手段によって得られた画像データを記録する撮影装置において、
    前記画像データに基づいて、前記被写体像に含まれる特定対象物の特徴量を示す対象物評価値を算出して、前記対象物評価値に基づいて前記特定対象物を検出する対象物検出手段と、
    前記対象物検出手段によって前記特定対象物が検出され、前記対象物評価値が、所定時間または所定撮像回数連続して所定変動範囲内の値になったか否かを判定する第1安定度判定手段と、
    前記第1安定度判定手段によって、前記対象物評価値が前記所定時間または前記所定撮像回数連続して前記所定変動範囲内の値になったと判定された場合に、前記撮像手段を制御して記録するための撮影を自動的に開始させる制御手段とを備えていることを特徴とする撮影装置。
  3. 前記特定対象物は人物の顔であり、前記対象物評価値は、前記顔らしさを示す特徴量であることを特徴とする請求項2に記載の撮影装置。
  4. 前記対象物検出手段によって、前記特定対象物が前記被写体像内に複数検出された時に、複数の特定対象物の対象物評価値の中から1つを選択する評価値選択手段をさらに備え、
    前記第1安定度判定手段は、前記対象物選択手段によって選択された前記対象評価値に基づいて判定を行うことを特徴とする請求項2または3に記載の撮影装置。
  5. 優先条件を設定する優先条件設定手段をさらに備え、前記評価値選択手段は、前記優先条件に基づいて、前記複数の対象物評価値の中から1つを選択することを特徴とする請求項4に記載の撮影装置。
  6. 前記対象物検出手段によって、前記特定対象物が前記被写体像内に複数検出された時に、前記各対象物評価値に対する前記第1安定度判定手段の複数の安定度判定結果の中から1つの前記安定度判定結果を選択する判定結果選択手段をさらに備え、
    前記制御手段は、前記判定結果選択手段によって選択された前記安定度判別結果に基づいて、撮影開始を制御することを特徴とする請求項2ないし5のいずれか1項に記載の撮影装置。
  7. 前記対象物検出手段によって、前記特定対象物が前記被写体像内に複数検出された時に、前記各対象物評価値に対する前記第1安定度判定手段の複数の安定度判定結果の論理積を算出する論理積回路を備え、
    前記制御手段は、前記論理積が前記安定度判定結果の全てが安定であることを示している場合に、前記撮像手段を制御して撮影を自動的に開始させることを特徴とする請求項2ないし6のいずれか1項に記載の撮影装置。
  8. 前記対象物検出手段によって、前記特定対象物が前記被写体像内に複数検出された時に、前記各対象物評価値に対して重み付け係数を乗算して合算する重み付け演算手段をさらに備え、
    前記第1安定度判定手段は、前記重み付け演算手段によって算出された前記対象物評価値に基づいて判定することを特徴とする請求項2ないし7のいずれか1項に記載の撮影装置。
  9. 前記画像データに基づいて、合焦度合を示す焦点評価値を検出する焦点検出手段と、
    前記焦点評価値が所定時間または所定撮像回数、所定変動範囲内の値になったか否かを判定する第2安定度判定手段とを備え、
    前記制御手段は、前記第1及び前記第2安定度判定手段の判定結果に基づいて、撮影の開始を制御することを特徴とする請求項2ないし8のいずれか1項に記載の撮影装置。
  10. 前記画像データに基づいて、前記被写体像内での被写体の動き度合を示す動き評価値を検出する動き検出手段と、
    前記動き評価値が所定時間または所定撮像回数、所定変動範囲内の値になったか否かを判定する第3安定度判定手段とを備え、
    前記制御手段は、前記第1及び前記第3安定度判定手段の判定結果に基づいて、撮影の開始を制御することを特徴とする請求項2ないし9のいずれか1項に記載の撮影装置。
  11. 前記画像データに基づいて、前記被写体の輝度を示す輝度評価値を検出する輝度検出手段と、
    前記動き評価値が所定時間または所定撮像回数、所定変動範囲内の値になったか否かを判定する第4安定度判定手段とを備え、
    前記制御手段は、前記第1及び前記第4安定度判定手段の判定結果に基づいて、撮影の開始を制御することを特徴とする請求項2ないし10のいずれか1項に記載の撮影装置。
  12. 前記画像データに基づいて、前記被写体の色調を示す色調評価値を検出する色調検出手段と、
    前記色調評価値が所定時間または所定撮像回数、所定変動範囲内の値になったか否かを判定する第5安定度判定手段とを備え、
    前記制御手段は、前記第1及び前記第5安定度判定手段の判定結果に基づいて、撮影の開始を制御することを特徴とする請求項2ないし11のいずれか1項に記載の撮影装置。
  13. 前記所定時間、前記所定撮像回数、及び前記所定変動範囲の少なくとも1つを設定する判定条件設定手段をさらに備え、
    前記第1〜第5安定度判定手段は、前記判定条件設定手段によって入力された前記所定時間、前記所定撮像回数、及び前記所定変動範囲に基づいて、前記各評価値の安定度を判定することを特徴とする請求項1ないし12のいずれか1項に記載の撮影装置。
  14. 撮影指示を入力する撮影指示入力手段を備え、
    前記撮影指示入力手段による撮影指示の入力があった時に、前記制御手段により撮影を開始させることを特徴とする請求項2ないし13のいずれか1項に記載の撮影装置。
  15. 前記撮影指示入力手段は半押し操作と全押し操作とが行われるレリーズスイッチを有し、前記制御手段は、前記半押し操作時に、前記第1安定度判定手段を制御して前記対象物評価値の判定処理を開始させ、前記全押し操作時に、前記第1安定度判定手段の判定結果に基づいて撮影を開始することを特徴とする請求項14に記載の撮影装置。
  16. 撮影を自動的に開始する自動撮影モードと、前記撮影指示の入力のみに基づいて撮影を開始する通常撮影モードとの2つの撮影モードを有し、前記自動撮影モードに設定されている場合、前記第1安定度判定手段の判定結果に基づいて撮影を自動的に開始することを特徴とする請求項2ないし15のいずれか1項に記載の撮影装置。
  17. 前記制御手段は、撮影開始後に、前記対象物評価値が前記所定時間または前記所定撮像回数連続して前記所定変動範囲外の値になった場合、撮影を終了または中断することを特徴とする請求項2ないし16のいずれか1項に記載の撮影装置。
  18. 前記対象物検出手段は、男性、女性、特定年齢層の人、笑っている人、泣いている人、悲しんでいる人、怒っている人、困っている人、あくびをしている人、眠っている人、起きている人、特定の国に居住している人、複数の国を含む地域に居住している人、及び特定の民族の人の少なくとも1つの特徴を含む顔を検出することを特徴とする請求項3ないし17のいずれか1項に記載の撮影装置。
  19. 被写体像を光電変換によって撮像する撮像手段から得られた画像データに基づいて、前記被写体像に含まれる特定対象物の特徴量を示す対象物評価値を算出して、前記対象物評価値に基づいて前記対象物を検出し、
    前記特定対象物が検出され、前記対象物評価値が、所定時間または所定撮像回数連続して所定変動範囲内の値になったか否かを判定し、
    前記対象物評価値が前記所定時間または前記所定撮像回数連続して前記所定変動範囲内の値になったと判定された場合、前記撮像手段を制御して記録のための撮影を自動的に開始させることを特徴とする撮影制御方法。
JP2007025837A 2007-02-05 2007-02-05 撮影制御装置、撮影装置、及び撮影制御方法 Expired - Fee Related JP4898475B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007025837A JP4898475B2 (ja) 2007-02-05 2007-02-05 撮影制御装置、撮影装置、及び撮影制御方法
US11/963,398 US8150208B2 (en) 2007-02-05 2007-12-21 Image pickup apparatus having stability checker for specific object feature value, and program and method for control of image pickup including checking stability of specific object feature value
KR1020080002480A KR100960034B1 (ko) 2007-02-05 2008-01-09 촬상 장치, 및 촬상 제어용 장치와 방법
CN2008100044540A CN101257580B (zh) 2007-02-05 2008-01-30 图像拾取设备和控制图像拾取的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007025837A JP4898475B2 (ja) 2007-02-05 2007-02-05 撮影制御装置、撮影装置、及び撮影制御方法

Publications (2)

Publication Number Publication Date
JP2008193411A true JP2008193411A (ja) 2008-08-21
JP4898475B2 JP4898475B2 (ja) 2012-03-14

Family

ID=39676201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007025837A Expired - Fee Related JP4898475B2 (ja) 2007-02-05 2007-02-05 撮影制御装置、撮影装置、及び撮影制御方法

Country Status (4)

Country Link
US (1) US8150208B2 (ja)
JP (1) JP4898475B2 (ja)
KR (1) KR100960034B1 (ja)
CN (1) CN101257580B (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074735A (ja) * 2008-09-22 2010-04-02 Sony Corp 操作入力装置、操作入力方法、プログラム
JP2010101951A (ja) * 2008-10-21 2010-05-06 Ricoh Co Ltd 撮像装置
JP2010102041A (ja) * 2008-10-22 2010-05-06 Canon Inc 自動合焦装置および自動合焦方法、ならびに、撮像装置
JP2010166259A (ja) * 2009-01-14 2010-07-29 Sony Corp 撮像装置、撮像方法及び撮像プログラム。
JP2010166212A (ja) * 2009-01-14 2010-07-29 Canon Inc 動画像処理装置、動画像処理方法、プログラム及び記憶媒体
JP2010191530A (ja) * 2009-02-16 2010-09-02 Fujifilm Corp 国籍判定装置、方法およびプログラム
JP2010199883A (ja) * 2009-02-24 2010-09-09 Nikon Corp デジタルカメラ
JP2010239503A (ja) * 2009-03-31 2010-10-21 Fujitsu Ltd 撮影装置、撮影制御方法、撮影制御プログラム及び携帯端末装置
JP2011030030A (ja) * 2009-07-27 2011-02-10 Canon Inc 記録装置及び記録方法
JP2011077754A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp カメラ及びカメラの記録方法
JP2013055456A (ja) * 2011-09-02 2013-03-21 Nikon Corp 電子カメラ、画像処理装置、および画像処理プログラム
JP2013128183A (ja) * 2011-12-16 2013-06-27 Samsung Electronics Co Ltd 撮像装置及び撮像方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4898475B2 (ja) * 2007-02-05 2012-03-14 富士フイルム株式会社 撮影制御装置、撮影装置、及び撮影制御方法
JP4902562B2 (ja) * 2007-02-07 2012-03-21 パナソニック株式会社 撮像装置、画像処理装置、制御方法およびプログラム
KR100795160B1 (ko) * 2007-03-22 2008-01-16 주식회사 아트닉스 얼굴영역검출장치 및 검출방법
JP4881199B2 (ja) * 2007-03-23 2012-02-22 富士フイルム株式会社 画像評価装置および方法並びにプログラム
EP2179581B1 (en) * 2007-08-10 2015-11-11 Canon Kabushiki Kaisha Image-pickup apparatus and control method therof
JP4986175B2 (ja) * 2007-12-28 2012-07-25 カシオ計算機株式会社 撮像装置及びプログラム
KR20100055946A (ko) * 2008-11-18 2010-05-27 삼성전자주식회사 동영상 썸네일 생성 방법 및 장치
JP5247480B2 (ja) * 2009-01-13 2013-07-24 キヤノン株式会社 オブジェクト識別装置及びオブジェクト識別方法
WO2011025234A2 (en) * 2009-08-24 2011-03-03 Samsung Electronics Co., Ltd. Method for transmitting image and image pickup apparatus applying the same
JP5431083B2 (ja) * 2009-09-16 2014-03-05 オリンパスイメージング株式会社 撮影装置および撮影装置の制御方法
JP2011107899A (ja) * 2009-11-16 2011-06-02 Sony Corp 情報処理装置、設定変更方法及び設定変更プログラム
CN102714691B (zh) * 2009-12-18 2016-04-27 松下电器(美国)知识产权公司 信息显示装置、显示控制用集成电路、显示控制程序及显示控制方法
JP5521786B2 (ja) * 2010-05-31 2014-06-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
TWI428836B (zh) * 2010-10-20 2014-03-01 Htc Corp 影像擷取方法及系統,及其電腦程式產品
US9053356B2 (en) * 2010-10-22 2015-06-09 Nec Solution Innovators, Ltd. Attribute determining method, attribute determining apparatus, program, recording medium, and attribute determining system
CN102457673A (zh) * 2010-10-26 2012-05-16 宏达国际电子股份有限公司 影像撷取方法及***
US9049364B2 (en) * 2012-02-13 2015-06-02 Htc Corporation Focus adjusting method and image capture device thereof
KR101231469B1 (ko) 2012-02-23 2013-02-07 인텔 코오퍼레이션 이미지 처리 지원 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP2015097301A (ja) * 2012-03-09 2015-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN103268479A (zh) * 2013-05-29 2013-08-28 电子科技大学 全天候疲劳驾驶检测方法
KR102158751B1 (ko) * 2014-03-18 2020-09-22 에스케이플래닛 주식회사 사용자 장치, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
JP6331785B2 (ja) * 2014-07-08 2018-05-30 日本電気株式会社 物体追跡装置、物体追跡方法および物体追跡プログラム
JP6322099B2 (ja) * 2014-09-12 2018-05-09 キヤノン株式会社 画像処理装置、及び、画像処理方法
DE102015001124B3 (de) * 2015-01-29 2016-05-19 Jan Kechel Automatisiertes Erzeugen von Beleuchtungs-Mustern in Kamera-Blitz-Systemen durch Steuerung der Blitzrichtung
CN105072331A (zh) * 2015-07-20 2015-11-18 魅族科技(中国)有限公司 一种拍照方法及终端
TWI585394B (zh) * 2015-12-09 2017-06-01 由田新技股份有限公司 動態式自動追焦系統
CN107122697B (zh) * 2016-02-24 2020-12-18 北京小米移动软件有限公司 照片的自动获取方法及装置、电子设备
CN106385542A (zh) * 2016-10-11 2017-02-08 广东欧珀移动通信有限公司 一种拍照对焦的方法、装置及移动终端
CN107580251B (zh) * 2017-09-15 2018-09-21 南京陶特思软件科技有限公司 信息输入方式自适应选择***
CN108170750A (zh) * 2017-12-21 2018-06-15 深圳英飞拓科技股份有限公司 一种人脸数据库更新方法、***及终端设备
CN108712605A (zh) * 2018-05-04 2018-10-26 努比亚技术有限公司 一种拍摄方法、终端及计算机可读存储介质
CN110956061B (zh) * 2018-09-27 2024-04-16 北京市商汤科技开发有限公司 动作识别方法及装置、驾驶员状态分析方法及装置
CN114088934B (zh) * 2021-11-12 2024-06-21 洪子健 一种劳保手套的质量智能测定方法及***
CN114397929B (zh) * 2022-01-18 2023-03-31 中山东菱威力电器有限公司 一种可以改善冲洗水初始温度的智能马桶盖控制***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056415A (ja) * 2002-07-19 2004-02-19 Sony Corp 撮影装置、撮影・記録装置、撮影・記録・配信装置、撮影方法、撮影・記録方法、及び、撮影・記録・配信方法
JP2004294498A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006005662A (ja) * 2004-06-17 2006-01-05 Nikon Corp 電子カメラ、及び電子カメラシステム
JP2006254358A (ja) * 2005-03-14 2006-09-21 Omron Corp 撮像装置およびタイマー撮影方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1178467C (zh) * 1998-04-16 2004-12-01 三星电子株式会社 自动跟踪运动目标的方法和装置
JP2001078160A (ja) * 1999-09-02 2001-03-23 Matsushita Electric Ind Co Ltd テレビ電話装置及び撮像方法
JP2004135029A (ja) 2002-10-10 2004-04-30 Fuji Photo Film Co Ltd デジタルカメラ
JP4247041B2 (ja) * 2003-04-01 2009-04-02 本田技研工業株式会社 顔識別システム
JP2005045601A (ja) 2003-07-23 2005-02-17 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2005045600A (ja) 2003-07-23 2005-02-17 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2005099164A (ja) * 2003-09-22 2005-04-14 Fuji Photo Film Co Ltd 自動撮影システム
JP2005197914A (ja) * 2004-01-06 2005-07-21 Fuji Photo Film Co Ltd 顔画像認識装置及びそれを備えたデジタルカメラ
JP4589646B2 (ja) 2004-03-31 2010-12-01 富士フイルム株式会社 ディジタル・スチル・カメラおよびその制御方法
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ,画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP4130641B2 (ja) 2004-03-31 2008-08-06 富士フイルム株式会社 ディジタル・スチル・カメラおよびその制御方法
US7394943B2 (en) * 2004-06-30 2008-07-01 Applera Corporation Methods, software, and apparatus for focusing an optical system using computer image analysis
JP2006109352A (ja) * 2004-10-08 2006-04-20 Sharp Corp カメラ付き通信端末装置、カメラ付き通信端末装置の制御方法、及びコンピュータプログラム
JP4096950B2 (ja) 2005-02-24 2008-06-04 船井電機株式会社 撮像装置および自動撮影方法
JP4898475B2 (ja) * 2007-02-05 2012-03-14 富士フイルム株式会社 撮影制御装置、撮影装置、及び撮影制御方法
JP4894661B2 (ja) * 2007-07-24 2012-03-14 株式会社ニコン 撮像装置
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
US8111874B2 (en) * 2007-12-04 2012-02-07 Mediatek Inc. Method and apparatus for image capturing
JP4645707B2 (ja) * 2008-09-01 2011-03-09 ソニー株式会社 コンテンツデータ処理装置
US8289438B2 (en) * 2008-09-24 2012-10-16 Apple Inc. Using distance/proximity information when applying a point spread function in a portable media device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056415A (ja) * 2002-07-19 2004-02-19 Sony Corp 撮影装置、撮影・記録装置、撮影・記録・配信装置、撮影方法、撮影・記録方法、及び、撮影・記録・配信方法
JP2004294498A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006005662A (ja) * 2004-06-17 2006-01-05 Nikon Corp 電子カメラ、及び電子カメラシステム
JP2006254358A (ja) * 2005-03-14 2006-09-21 Omron Corp 撮像装置およびタイマー撮影方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074735A (ja) * 2008-09-22 2010-04-02 Sony Corp 操作入力装置、操作入力方法、プログラム
JP4561914B2 (ja) * 2008-09-22 2010-10-13 ソニー株式会社 操作入力装置、操作入力方法、プログラム
JP2010101951A (ja) * 2008-10-21 2010-05-06 Ricoh Co Ltd 撮像装置
JP2010102041A (ja) * 2008-10-22 2010-05-06 Canon Inc 自動合焦装置および自動合焦方法、ならびに、撮像装置
US9277112B2 (en) 2008-10-22 2016-03-01 Canon Kabushiki Kaisha Auto focusing apparatus and auto focusing method, and image sensing apparatus
US8285108B2 (en) 2009-01-14 2012-10-09 Sony Corporation Image-capture device, image-capture method, and image-capture program
JP2010166259A (ja) * 2009-01-14 2010-07-29 Sony Corp 撮像装置、撮像方法及び撮像プログラム。
JP2010166212A (ja) * 2009-01-14 2010-07-29 Canon Inc 動画像処理装置、動画像処理方法、プログラム及び記憶媒体
JP2010191530A (ja) * 2009-02-16 2010-09-02 Fujifilm Corp 国籍判定装置、方法およびプログラム
JP2010199883A (ja) * 2009-02-24 2010-09-09 Nikon Corp デジタルカメラ
JP2010239503A (ja) * 2009-03-31 2010-10-21 Fujitsu Ltd 撮影装置、撮影制御方法、撮影制御プログラム及び携帯端末装置
JP2011030030A (ja) * 2009-07-27 2011-02-10 Canon Inc 記録装置及び記録方法
JP2011077754A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp カメラ及びカメラの記録方法
JP2013055456A (ja) * 2011-09-02 2013-03-21 Nikon Corp 電子カメラ、画像処理装置、および画像処理プログラム
JP2013128183A (ja) * 2011-12-16 2013-06-27 Samsung Electronics Co Ltd 撮像装置及び撮像方法

Also Published As

Publication number Publication date
CN101257580A (zh) 2008-09-03
CN101257580B (zh) 2010-06-02
US8150208B2 (en) 2012-04-03
KR100960034B1 (ko) 2010-05-28
JP4898475B2 (ja) 2012-03-14
US20080187185A1 (en) 2008-08-07
KR20080073207A (ko) 2008-08-08

Similar Documents

Publication Publication Date Title
JP4898475B2 (ja) 撮影制御装置、撮影装置、及び撮影制御方法
KR101342477B1 (ko) 동영상을 촬영하는 촬상 장치, 및 촬상 처리 방법
CN101854484B (zh) 图像选择装置、图像选择方法
US8570422B2 (en) Apparatus, method, and recording medium containing program for photographing
US8111315B2 (en) Imaging device and imaging control method that detects and displays composition information
JP4829186B2 (ja) 撮像装置
TWI444041B (zh) 影像處理裝置、影像處理方法及記錄媒體
KR100924685B1 (ko) 촬상 장치 및 그 제어 방법
US20130329029A1 (en) Digital camera system
JP4787180B2 (ja) 撮影装置及び撮影方法
US7961228B2 (en) Imaging apparatus and method for controlling exposure by determining backlight situations and detecting a face
US20080273097A1 (en) Image capturing device, image capturing method and controlling program
JP2009100448A (ja) 撮影装置及び撮影方法
JP2009089077A (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP2010213090A (ja) 撮像装置、撮像方法、及び撮像プログラム
JP5048614B2 (ja) 撮影装置及び方法
JP2011182252A (ja) 撮像装置および画像撮影方法
JP4623299B2 (ja) 撮像装置および撮像方法
JP2010068190A (ja) デジタルカメラ、画像処理装置およびデジタルカメラシステム
JP2009290260A (ja) 撮影装置およびその制御方法並びにプログラム
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP2013062711A (ja) 撮影装置、撮影画像処理方法、およびプログラム
JP2009252069A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5728882B2 (ja) 撮像装置、撮影枚数表示方法
US8073319B2 (en) Photographing method and photographing apparatus based on face detection and photography conditions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111226

R150 Certificate of patent or registration of utility model

Ref document number: 4898475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees