JP5423305B2 - 画像評価装置及びカメラ - Google Patents

画像評価装置及びカメラ Download PDF

Info

Publication number
JP5423305B2
JP5423305B2 JP2009237106A JP2009237106A JP5423305B2 JP 5423305 B2 JP5423305 B2 JP 5423305B2 JP 2009237106 A JP2009237106 A JP 2009237106A JP 2009237106 A JP2009237106 A JP 2009237106A JP 5423305 B2 JP5423305 B2 JP 5423305B2
Authority
JP
Japan
Prior art keywords
image
evaluation
images
frequency
frequency distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009237106A
Other languages
English (en)
Other versions
JP2010119097A (ja
Inventor
宏 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009237106A priority Critical patent/JP5423305B2/ja
Priority to US12/588,398 priority patent/US8929655B2/en
Publication of JP2010119097A publication Critical patent/JP2010119097A/ja
Priority to US14/104,595 priority patent/US9565332B2/en
Application granted granted Critical
Publication of JP5423305B2 publication Critical patent/JP5423305B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/418External card to be used in combination with the client device, e.g. for conditional access
    • H04N21/4184External card to be used in combination with the client device, e.g. for conditional access providing storage capabilities, e.g. memory stick
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、カメラにより撮影した画像を評価する画像評価装置、及びこの画像評価装置を備えたカメラに関する。
従来、撮影した画像を解析して自動評価し、好ましい画像を自動選択するようにした画像評価装置が知られている(例えば、特許文献1参照)。
特開2000−259833号公報
従来の自動評価では、例えば、顔の特徴に注目して画像を選択する等、画像全体の評価を行っていない。そのため、必ずしも総合的に良い画像が選択されるものではなかった。このような現状において、総合的に良い画像を評価できるようにすることが望まれている。
本発明の課題は、総合的に良い画像を評価することができる画像評価装置及びカメラを提供することにある。
請求項1に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記記憶手段は、複数の前記画像が撮像されたときの、各画像におけるデフォーカス量を前記画像と共に記憶しており、前記画像評価手段は、前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる前記デフォーカス量の変化状態の度数分布を算出し、前記デフォーカス量の変化状態の度数分布を、前記特徴量として評価することを特徴とする。
請求項2に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記記憶手段は、複数の前記画像が撮像されたときの、各画像におけるデフォーカス量を前記画像と共に記憶しており、前記画像評価手段は、前記記憶手段に記憶している複数の前記画像から、前記撮影画面内に設定された複数の焦点検出位置で検出されたデフォーカス量の変化に基づいて、前記被写体の前記撮影画面内における相対移動状態を算出し、前記相対移動状態を前記特徴量として評価することを特徴とする。
請求項3に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記画像評価手段は、前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を形成する、閾値度数以上の度数をもつピーク度数の個数を算出し、前記ピーク度数の個数に基づいて、前記評価を行なうことを特徴とする。
請求項4に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記画像評価手段は、前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を形成する、閾値度数以上の度数をもつピーク度数の個数を算出し、当該ピーク度数の個数に基づいて、前記評価を行うと共に、前記動きベクトルの度数分布を形成する、閾値度数以上の度数をもつピーク度数の個数が変化してから所定時間内に撮像された画像に対する評価を、その他の画像に対する評価よりも相対的に高くすることを特徴とする。
請求項5に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記画像評価手段は、前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を特徴量として算出すると共に、前記動きベクトルの度数分布と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布との類似性に基づいて、前記評価を行うことを特徴とする。
請求項6に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記画像評価手段は、前記画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布における分散度を前記特徴量とし、前記動きベクトルの度数分布における分散度と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布における分散度との類似性に基づいて、前記評価を行うことを特徴とする。
請求項7に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記画像評価手段は、前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を算出すると共に、閾値度数以上の度数量をもつピーク度数で形成される、前記動きベクトルの度数分布を抽出し、前記動きベクトルの度数分布に含まれる前記ピーク度数の度数量の変化量と、前記度数量の変化量の評価基準とに基づいて、前記評価を行うことを特徴とする。
請求項8に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記画像評価手段は、1つの画像に対して、互いに異なる複数の評価手法を用いて評価する機構を備え、前記評価の対象となった複数の前記画像において、同一の評価手法による評価が他の評価手法の評価よりも高い画像が予め決められた複数枚連続している場合は、同一の前記評価手法による評価を、他の前記評価手法による評価よりも高くして、複数の前記画像に対する評価を行うことを特徴とする。
請求項9に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記画像評価手段は、1つの画像に対して、互いに異なる複数の評価手法を用いて評価する機構を備え、前記評価の対象となった複数の前記画像に対して、他の評価手法よりも高評価を与えている評価手法で、且つ複数の前記評価手法の中で、複数の前記画像に対して高評価を与えている割合が最も多い評価手法による評価を、他の前記評価手法による評価よりも相対的に高くして、複数の前記画像に対する評価を行うことを特徴とする。
請求項10に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、前記記憶手段に記憶した複数の画像の評価結果の中に、補正を要する評価項目が存在する場合は、前記評価項目に基づいて前記カメラで撮像する際の条件が補正されるように制御する撮像条件補正手段を備えること、を特徴とする。
請求項11に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、少なくとも前記記憶手段に記憶した画像、及び前記画像に関する補正情報を表示する表示手段と、前記記憶手段に記憶した画像の評価結果を分析して、前記画像の評価結果をより高めるための補正情報を抽出する補正情報抽出手段と、を備え、前記画像評価手段は、前記記憶手段に記憶した画像と、前記補正情報抽出手段により抽出された前記画像の補正情報とを前記表示手段に表示させること、を特徴とする。
請求項12に記載の画像評価装置は、請求項に記載の画像評価装置において、前記画像評価手段は、前記画像の中央付近の領域における前記動きベクトルの度数分布と、前記中央付近の領域において好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布との類似性に基づいて、前記評価を行うことを特徴とする。
請求項13に記載の画像評価装置は、請求項に記載の画像評価装置において、前記画像評価手段は、前記画像の中央付近にあり、且つ背景でない領域と色が似ていて、当該領域と前記色の連続性を有する領域について前記動きベクトルの度数分布を前記特徴量として算出することを特徴とする。
請求項14に記載の画像評価装置は、請求項5、12又は13のいずれか一項に記載の画像評価装置において、前記画像評価手段は、前記動きベクトルの度数分布に含まれる、撮影画面の動き成分を除去することを特徴とする。
請求項15に記載の画像評価装置は、請求項5、12乃至14のいずれか一項に記載の画像評価装置において、前記画像評価手段は、前記動きベクトルの度数分布と前記動きベクトルのモデル度数分布とをそれぞれ2次元のグラフに変換すると共に、当該2次元のグラフの展開領域を複数の分割領域に分割し、2次元のグラフに変換した前記動きベクトルの度数分布及び前記好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布について、対応する前記分割領域毎に度数差の絶対値を算出し、当該絶対値の和を前記類似性とすることを特徴とする。
請求項16に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記画像評価手段は、 前記画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布における分散度を前記特徴量とし、複数の前記画像から算出した前記動きベクトルの度数分布の中から、閾値度数以上の度数量をもつピーク度数に基づいて形成される前記動きベクトルの度数分布を抽出し、当該動きベクトルの度数分布における分散度と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布における分散度との類似性に基づいて、前記評価を行うことを特徴とする。
請求項17に記載の画像評価装置は、請求項5、7、12乃至16のいずれか一項に記載の画像評価装置において、前記画像評価手段は、前記評価の対象となった画像のうち、ユーザにより選択された画像の動きベクトルの度数分布の傾向に基づいて、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布を更新することを特徴とする。
請求項18に記載の画像評価装置は、カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、を備え、前記画像評価手段は、前記画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布における分散度を前記特徴量とし、前記動きベクトルの度数分布における分散度と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布における分散度との類似性に基づいて、前記評価を行うと共に、前記評価の対象となった画像のうち、ユーザにより選択された画像の動きベクトルの度数分布における分散度の傾向に基づいて、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布における分散度を更新することを特徴とする。
請求項19に記載の画像評価装置は、請求項16に記載の画像評価装置において、前記画像評価手段は、前記評価の対象となった画像のうち、ユーザにより選択された画像の動きベクトルの度数分布に含まれるピーク度数の度数量に基づいて、前記評価基準として設定された動きベクトルのモデル度数分布を定義する際に使用される、当該モデル度数分布に含まれるピーク度数の度数量を更新することを特徴とする。
請求項20に記載の画像評価装置は、請求項に記載の画像評価装置において、前記画像評価手段は、前記評価の対象となった画像のうち、ユーザにより選択された画像の動きベクトルの度数分布に含まれるピーク度数の度数量に基づいて、閾値度数以上の度数量をもつピーク度数で形成される、前記動きベクトルの度数分布を抽出する際の前記閾値度数を更新することを特徴とする。
請求項21に記載の画像評価装置は、請求項又は20に記載の画像評価装置において、前記画像評価手段は、前記評価の対象となった画像のうち、ユーザにより選択された画像の動きベクトルの度数分布に含まれる前記ピーク度数の度数量の変化量に基づいて、前記評価基準を更新することを特徴とする。
請求項22に記載の画像評価装置は、撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
前記記憶手段は、前記撮像手段により撮像される際のデフォーカス量を、前記複数フレームの画像と共に記憶しており、前記画像評価手段は、前記記憶手段に記憶されている前記複数フレームの画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる前記デフォーカス量の変化状態の度数分布を算出し、前記デフォーカス量の変化状態の度数分布を前記特徴量として評価することを特徴とする。
請求項23に記載の画像評価装置は、撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、前記記憶手段は、前記撮像手段により撮像される際のデフォーカス量を、前記複数フレームの画像と共に記憶しており、前記画像評価手段は、前記記憶手段に記憶されている前記複数フレームの画像から、複数の焦点検出位置で検出された前記デフォーカス量の変化に基づいて、前記被写体の撮影画面内における相対移動状態を算出し、前記相対移動状態を前記特徴量として評価することを特徴とする。
請求項24に記載の画像評価装置は、撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
前記画像評価手段は、前記記憶手段に記憶されている前記複数フレームの画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を形成する、閾値度数以上の度数をもつピーク度数の個数を算出し、前記ピーク度数の個数に基づいて、前記評価を行なうことを特徴とする。
請求項25に記載の画像評価装置は、撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
前記画像評価手段は、前記記憶手段に記憶されている前記複数フレームの画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を特徴量として算出すると共に、前記動きベクトルの度数分布と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布との類似性に基づいて、前記評価を行うことを特徴とする。
請求項26に記載の画像評価装置は、撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、前記画像評価手段は、前記画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布における分散度を前記特徴量とし、前記動きベクトルの度数分布における分散度と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布における分散度との類似性に基づいて、前記評価を行うことを特徴とする。
請求項27に記載の画像評価装置は、撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、前記画像評価手段は、前記記憶手段に記憶されている前記複数フレームの画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を算出すると共に、閾値度数以上の度数量をもつピーク度数で形成される、前記動きベクトルの度数分布を抽出し、前記動きベクトルの度数分布に含まれる前記ピーク度数の度数量の変化量と、前記度数量の変化量の評価基準とに基づいて、前記評価を行うことを特徴とする。
請求項28に記載の画像評価装置は、撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、前記画像評価手段は、1つの画像に対して、互いに異なる複数の評価手法を用いて評価する機構を備え、前記評価の対象となった複数の前記画像において、同一の評価手法による評価が他の評価手法の評価よりも高い画像が予め決められた複数枚連続している場合は、同一の前記評価手法による評価を、他の前記評価手法による評価よりも高くして、複数の前記画像に対する評価を行うことを特徴とする。
請求項29に記載の画像評価装置は、撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、前記画像評価手段は、1つの画像に対して、互いに異なる複数の評価手法を用いて評価する機構を備え、前記評価の対象となった複数の前記画像に対して、他の評価手法よりも高評価を与えている評価手法で、且つ複数の前記評価手法の中で、複数の前記画像に対して高評価を与えている割合が最も多い評価手法による評価を、他の前記評価手法による評価よりも相対的に高くして、複数の前記画像に対する評価を行うことを特徴とする。
請求項30に記載の画像評価装置は、撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段と、記記憶手段に記憶されている前記複数フレームの画像の評価結果の中に、補正を要す評価項目が存在する場合は、前記評価項目に基づいて前記撮像手段で撮像する際の条件が補正されるように制御する撮像条件補正手段を備えることを特徴とする。
請求項31に記載の画像評価装置は、撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段と、少なくとも前記記憶手段に記憶されている前記画像、及び前記画像に関する補正情報を表示する表示手段と、前記記憶手段に記憶した画像の評価結果を分析して、前記画像の評価結果をより高めるための補正情報を抽出する補正情報抽出手段と、を備え、前記画像評価手段は、前記記憶手段に記憶されている前記画像と、前記補正情報抽出手段により抽出された前記画像の補正情報とを前記表示手段に表示させること、を特徴とする画像評価装置。
請求項32に記載のカメラは、請求項1乃至31のいずれか一項に記載の前記画像評価装置を備える。
本発明に係わる画像評価装置及びカメラによれば、総合的に良い画像を自動評価することができる。
実施形態1に係わるカメラの機能的な構成を示すブロック図である。 実施形態1において画像の撮影から記憶までの処理手順を示すフローチャートである。 (a)、(b)は動きベクトルの変化を説明するための概念図である。 (a)、(b)は動きベクトルのヒストグラムを示す概念図である。 デフォーカスのヒストグラムを示す概念図である。 デフォーカス量の変化を説明するための概念図である。 光軸方向における被写体の相対的な位置の時間変化を示すグラフ図である。 (a)、(b)は被写体の動きベクトルの変化を説明するための概念図である。 動きベクトルのヒストグラムの変化を説明するための概念図である。 動きベクトルの度数分布に含まれるピーク度数の個数の変化を説明するためのグラフ図である。 撮像した画像における動きベクトルのヒストグラムを説明するための概念図である。 (a)、(b)は図10のヒストグラムを2次元化した場合の概念図である。 (a)はモデル画像における動きベクトルのモデル度数分布を示すヒストグラムである。(b)は撮像した画像における動きベクトルの度数分布を示すヒストグラムである。 (a)は図13(a)に示すヒストグラムを2次元のグラフに変換した場合の概念図である。(b)は図13(b)に示すヒストグラムを2次元のグラフに変換した場合の概念図である。 (a)〜(c)はモデル画像の度数分布を用いた評価において高い評価となった画像の例を示す説明図である。 (a)、(b)は、モデル画像の度数分布を用いた評価において高い評価となった画像の例を示す説明図である。 (a)は撮像した画像における動きベクトルの度数分布とその分散度を示す概念図である。(b)はモデル画像におけるモデル度数分布とその分散度を示す概念図である。 (a)、(b)はカメラが連続して撮像した画像における動きベクトルの度数分布を示すヒストグラムである。 (a)はモデル画像における動きベクトルのモデル度数分布を示すヒストグラムである。(b)はユーザにより選像された画像における動きベクトルの度数分布を示すヒストグラムである。(c)は更新されたモデル画像における動きベクトルのモデル度数分布を示すヒストグラムである。 (a)はモデル画像における動きベクトルのモデル度数分布を示すヒストグラムの概念図である。(b)はユーザにより選像された画像における動きベクトルの度数分布を示すヒストグラムの概念図である。(c)は分散度が更新されたモデル画像における動きベクトルのモデル度数分布を示すヒストグラムの概念図である。 (a)はモデル画像における動きベクトルのモデル度数分布を示すヒストグラムの概念図である。(b)はユーザにより選像された画像における動きベクトルの度数分布を示すヒストグラムの概念図である。(c)はピーク度数が更新されたモデル画像における動きベクトルのモデル度数分布を示すヒストグラムの概念図である。 撮像した画像とその評価結果を示す概念図である。 撮像した画像とその評価結果を示す概念図である。 実施形態1においてユーザにより選択された画像に基づいて評価手法の重み付けを変更する場合の処理手順を示すフローチャートである。 表示パネルに表示される画像評価画面の一例を示す概念図である。 実施形態2に係わるカメラの機能的な構成を示すブロック図である。 実施形態2のカメラにおいて画像の撮影から記憶までの処理手順を示すフローチャートである。
以下、図面を参照して、本発明に係わる画像評価装置及びカメラの実施形態について説明する。本実施形態では、本発明に係わる画像評価装置を備えたカメラについて説明する。実施形態1は、本発明に係わる画像評価装置を、レンズ交換式カメラに適用した例を示す。
以下の説明において、「閾値」とは、各種の判定を行う際に用いられる基準値である。閾値はカメラに固有な値として予め決められた値である。閾値は、固定値であってもよい。また閾値は、自動又はユーザ設定により変更される変動値であってもよい。
1. 実施形態1
1.1 カメラ1の構成
図1は、実施形態1に係わるカメラの機能的な構成を示すブロック図である。本実施形態1のカメラ1は、カメラボディ2と、レンズ鏡筒3とを備える。カメラ1は、カメラボディ2にレンズ鏡筒3が着脱可能なレンズ交換式カメラとして構成されている。
カメラボディ2は、光学系の構成部品として、メインミラー4、サブミラー5、シャッタ6、撮像センサ7、ファインダスクリーン8、ペンタプリズム9、測光用レンズ10、測光センサ11、接眼レンズ12を備える。
被写体光は、レンズ鏡筒3の撮影レンズ13を通過して入射する。被写体光の一部(以下、メインミラー光という)は、メインミラー4で上方に反射される。メインミラー光は、ファインダスクリーン8上に結像される。ファインダスクリーン8上に結像されたメインミラー光は、ペンタプリズム9、接眼レンズ12を経てユーザ(撮影者)に目視される。
また、ファインダスクリーン8で結像されたメインミラー光は、ペンタプリズム9、測光用レンズ10を経て測光センサ11にも導かれる。
測光センサ11は、CCD又はCMOS等のカラーイメージセンサにより構成される。測光センサ11は、被写体像を複数の領域に分割して測光する。測光センサ11は、ユーザが不図示のレリーズボタンを半押しすると動作を開始する。測光センサ11は、ファインダスクリーン8上に結像している画面の像を画像情報として検出する。測光センサ11で検出された画像情報は、ボディ側マイコン21へ送信される。
なお、本実施形態では、測光センサ11で検出される画面の像を「画像情報」という。また、後述する画像処理部24作成される画像データを「画像」という。測光センサ11で検出される画像情報は、本来は露出演算に用いる測光情報や色情報を取得するためのものである。
メインミラー4は、中心付近にハーフミラーを備える。このハーフミラーを通過した被写体光(以下、ハーフミラー光という)は、メインミラー4の裏側に設けられたサブミラー5で反射される。そして、ハーフミラー光は、カメラボディ2の底部に設置された焦点検出部22へ導かれる。メインミラー4及びサブミラー5は、不図示のミラー駆動機構により上下方向に駆動される。ミラー駆動機構は、ボディ側マイコン21により制御される。
ユーザがレリーズボタンを全押しすると、ミラー駆動機構により、メインミラー4がサブミラー5と共に上方に跳ね上げられる(ミラーアップ)。続いて、シャッタ6が開くと、被写体光は撮像センサ7の受光面に上で結像される。撮像センサ7は、フォトダイオード及びCCD又はCMOS等で構成される。撮像センサ7は、撮影レンズにより結像された被写体像を受光面で受光し、電気信号(画像信号)に変換して画像処理部24へ出力する。この後、ミラー駆動機構により、メインミラー4はサブミラー5と共に下方に戻される(ミラーダウン)。
本実施形態における撮像センサ7は、所定の時間間隔において、後述する撮影フレーム内の被写体の1フレーム分の画像を連続的に複数フレーム撮像する撮像手段として機能する。
また、カメラボディ2は、制御系の構成部品として、ボディ側マイコン21、焦点検出部22、シャッタ制御部23、画像処理部24、バッファ25、I/F(インターフェース)部26、表示パネル28、及び不図示の操作部を備える。
ボディ側マイコン21は、レンズ鏡筒3を含めたカメラ1全体の動作を制御する。ボディ側マイコン21は、マイクロプロセッサにより構成される。ボディ側マイコン21は、焦点検出部22から送信されたデフォーカス情報(量)に基づいてレンズ駆動量を演算する。そして、ボディ側マイコン21は、後述するレンズ側マイコン18にレンズ駆動量を送信する。
また、ボディ側マイコン21は、撮像センサ7からの画像信号と、レンズ側マイコン18内に保持されている撮影レンズ13の開放F値、焦点距離等のレンズ情報、撮像センサ7の設定感度情報等に基づいて適正露出値を演算する。そして、ボディ側マイコン21は、演算した適正露出値に基づいて決定した絞り値をレンズ側マイコン18へ送信する。また、ボディ側マイコン21は、演算した適正露出値に基づいて決定したシャッタスピードをシャッタ制御部23へ送信する。
本実施形態のカメラ1では、レリーズボタンの半押し中に所定の時間間隔、具体的には、フレームレート30fps(1秒間に30フレーム)で測光センサ11による画像情報の検出、及び焦点検出部22によるデフォーカス情報の検出を行う。これらの情報は、バッファ25に順次記憶される。
また、ボディ側マイコン21は、不図示のレリーズボタンが全押しされると、メインミラー4とサブミラー5の跳ね上げを行う。また、ボディ側マイコン21は、シャッタ制御部23を駆動してシャッタ6を開閉する。
本実施形態におけるボディ側マイコン21は、上記の処理以外にも、後述する画像評価手段、撮影条件補正手段、及び補正情報抽出手段としての処理を実行する。
焦点検出部22は、入射した被写体光に基づいて、デフォーカス情報を検出する。デフォーカス情報は、例えば位相差検出方式を用いて検出することができる。本実施形態における焦点検出部22は、画面内の複数の測距エリアに対する被写体の合焦位置を検出し、そのときのデフォーカス量をデフォーカス情報としてボディ側マイコン21へ送信する。なお、焦点調節は、通常は、複数の測距エリアのうちの1つ(又は複数)の測距エリアで検出されたデフォーカス情報に基づいて行われる。ただし、その他の測距エリアも検出したデフォーカス情報をボディ側マイコン21へ出力している。
シャッタ制御部23は、シャッタ6の開閉を制御する。シャッタ制御部23は、ボディ側マイコン21により制御される。
画像処理部24は、撮像センサ7から出力された画像信号に対し、ノイズ除去、A/D変換、色補間処理、サイズ変更、符号化等の処理を必要に応じて行い、各フレームの画像データ(画像)を作成する。
バッファ25は、画像処理部24で作成された画像や、動きベクトルの度数分布を示すヒストグラムを記憶する一時記憶手段である。バッファ25は、画像を記憶する撮影画像記憶エリアと、動きベクトルの度数分布を示すヒストグラムを記憶するヒストグラム記憶エリアとを備える。本実施形態におけるバッファ25は、撮像手段である撮像センサ7で撮像した画像を記憶する記憶手段として機能する。
記憶部26は、カメラ1の電源をオフしても記憶内容を保持する記憶手段である。記憶部26には、各種の設定情報が記憶されるほか、後述するモデル画像における動きベクトルのモデル度数分布等が記憶される。
I/F部27は、バッファ25に記憶されている画像をメモリカード20に記録する機能と、メモリカード20に記録されている画像を読み出す機能とを備える、書き込み/読み出し装置である。I/F部27の不図示のメモリカードスロットには、メモリカード20が着脱可能に装着される。
表示パネル28は、カラー液晶パネルで構成される。表示パネル28は、カメラボディ2の背面に設置される。表示パネル28には、撮影中の画像又はバッファ25に記憶している画像のほか、画像に関する各種の情報が表示される。本実施形態における表示パネル28は、バッファ25に記憶された画像、及びこの画像に関する補正情報を表示する表示手段として機能する。
カメラ1は、不図示の操作部を備える。この操作部は、ユーザの操作を取得する入力取得手段である。操作部は、上述したレリーズボタン、各種のダイアル、ボタン、レバー等で構成される。
次に、レンズ鏡筒3について説明する。レンズ鏡筒3は、撮影レンズ13、絞りユニット14、レンズ駆動部15、距離検出部16、絞り制御部17、レンズ側マイコン18を備える。
撮影レンズ13は、入射した被写体光を屈折させて、射出側となる撮像センサ7の受光面に被写体像を結像する光学部材である。撮影レンズ13は、レンズ駆動部15により光軸方向に駆動される。この駆動により焦点調節が行われる。焦点調節が行われると、カメラ1と被写体との間の距離を示す距離情報が、距離検出部16により検出される。
絞りユニット14は、レンズ側マイコン18により設定された絞り値に応じて不図示の絞り羽根を駆動する。絞り羽根の駆動により、被写体光の通過領域が形成される。絞りユニット14は、絞り制御部17により駆動される。
レンズ側マイコン18は、レンズ駆動と絞り値を制御する。レンズ側マイコン18は、マイクロプロセッサにより構成される。レンズ側マイコン18は、距離検出部16から、撮影レンズ13が駆動されたときの距離情報を取得してボディ側マイコン21へ送信する。レンズ側マイコン18は、ボディ側マイコン21から送信されたレンズ駆動量に基づいてレンズ駆動部15を制御する。また、レンズ側マイコン18は、ボディ側マイコン21から送信された絞り値に基づいて絞り制御部17を制御する。
ボディ側マイコン21とレンズ側マイコン18との間での信号のやり取りは、カメラボディ2とレンズ鏡筒3との間に設置された接続部19を介して行われる。この接続部19は、レンズ鏡筒3とカメラボディ2のそれぞれのマウント部に設けられている。接続部19は、カメラボディ2にレンズ鏡筒3が装着されたときに接触して電気的に導通する電気接点である。
1.2 撮像の手順及び動作について
次に、上記のように構成された実施形態1のカメラ1において、画像の撮影から記憶までの一連の処理手順を図2のフローチャートを参照しながら説明する。図2に示すフローチャートの処理は、ボディ側マイコン21により実行される。このフローチャートに基づく処理は、ユーザが不図示の設定画面で画像評価モードの項目を選択し、不図示のレリーズボタンを半押しすることでスタートする。
ステップS101において、測光センサ11は、ファインダスクリーン8上に結像している画面の像を画像情報として取得する。測光センサ11は、取得した画像情報を、バッファ25の撮影画像記憶エリアに記憶する。測光センサ11は、例えば、フレームレート30fpsで画像情報を取得する。
なお、カメラ1がライブビュー機能を備えている場合は、撮像センサ7で撮像されたライブビュー画面の画像データ(画像)をバッファ25の撮影画像記憶エリアに記憶してもよい。
ステップS102において、焦点検出部22は、画面内の複数の測距エリアに対するデフォーカス情報を取得する。そして、焦点検出部22は、取得したデフォーカス情報をボディ側マイコン21へ送信する。
ステップS103において、ボディ側マイコン21は、ステップS101で取得した画像情報を用いて、以下のような測光演算(1)、動きベクトル演算(2)、及び主要被写***置推定のための前処理演算(3)を行う。
測光演算(1)において、ボディ側マイコン21は、一画面分の画像情報を複数のブロック(分割領域)に分割する。そして、ボディ側マイコン21は、分割した画像情報の出力値と、測光センサゲイン及び露光時間とから、被写体の輝度情報(輝度値)を算出する。
動きベクトル演算(2)において、ボディ側マイコン21は、例えば30fpsのフレームレートで取得した画像情報について、前回取得した画像情報と、今回取得した画像情報とのフレーム間での相関値を検出する。図3(a)、(b)は、動きベクトルの変化を説明するための概念図である。図示のように、画面(撮影フレーム)101は、複数のブロックに分割されている。動きベクトルの演算において、ボディ側マイコン21は、図3(a)に示す前回取得したフレーム中の画像が、図3(b)に示す今回取得したフレーム中のどの位置に移動したかをパターンマッチングの手法により調べる。これにより、ボディ側マイコン21は、被写体の動きベクトルをブロック毎に取得する。
パターンマッチングにおいて、ボディ側マイコン21は、分割されたブロック毎に、特定のパターンと合う又はどのくらい似ているかを調べる。特定のパターンと合う又は似ているほど相関値が大きくなる。動きベクトルは、ブロック毎の情報として検出される。なお、動きベクトルは、パターンマッチング以外の手法で求めたものであってもよいし、パターンマッチングを含め複数の手法を組み合わせて求めたものであってもよい。
主要被写***置推定の前処理演算(3)において、ボディ側マイコン21は、画像情報として取得した画像の中から、人物の顔と推定される位置を検出する。この顔位置検出には、顔の共通的な特徴をもつ複数のパターン画像を記憶したデータベースを用いる。ボディ側マイコン21は、対象となる画像の中から、データベースに記憶しているパターン画像と似ている部分をパターンマッチングの手法により求める。パターン画像と似ている部分があるときは、その部分を顔と推定する。パターンマッチングにより顔と推定された部分の領域が、顔検出領域情報として、後述する主要被写***置推定演算に用いられる。なお、領域とは、1又は複数のブロックから特定される範囲をいう。
なお、この場合も、顔検出はパターンマッチング以外の手法で求めたものであってもよいし、パターンマッチングを含め複数の手法を組み合わせて求めたものであってもよい。その場合は、各手法で得られた値に点数付けし、最も点数の高い部分を主要被写体とする等の判定方法が考えられる。
また、主要被写***置推定の前処理演算(3)としては、上述した顔検出領域情報を取得する以外にも、画像情報の中から色の分布情報を求める手法を用いることができる。この手法は、画像情報の画素毎、或いは分割したブロック毎に、色毎の出力比R/G、B/Gの値を検出すると共に、この値を画面周辺で検出し、画面内のブロック毎に画面周辺で検出した値に近いか否かを判別する手法である。この手法によると、画面内に、画面周辺と大きく異なる色の領域が存在すれば、その領域は背景とは異なる被写体であるため、主要被写体である可能性が高いと判断される。この領域に関する情報を色分布情報として、後述する主要被写***置推定演算に用いることができる。
ステップS104において、ボディ側マイコン21は、焦点検出部22から送信されたデフォーカス情報を焦点検出情報として演算する。また、ボディ側マイコン21は、所定周期で取得しているデフォーカス情報から演算した焦点検出情報を元に、焦点検出点を選択する。すなわち、ボディ側マイコン21は、前回取得した被写体の奥行き方向位置に最も近い奥行き方向位置を示す焦点検出点を、今回取得したデフォーカス情報から演算した焦点検出情報の中から選択する。
これにより、ボディ側マイコン21は、撮影している被写体を捉え続け、今回取得したフレーム中において、被写体が画面内、平面方向のどこに分布しているかの情報を得ることができる。このときに、1周期の間に撮影レンズ13の距離環(ピントリング)を駆動していれば、ボディ側マイコン21は、その周方向の移動量に従ってデフォーカス情報を補正し、仮想的な空間上の被写体の奥行き方向位置を補正する。
また、ボディ側マイコン21は、被写体が動いていることがデフォーカス情報から推定される場合は、前回と今回の焦点検出の周期の間に被写体が移動した量を補正して、被写体の奥行き方向の位置を得る。
ステップS105において、ボディ側マイコン21は、画像評価手段としての処理を行う。この処理において、ボディ側マイコン21は、バッファ25の撮影画像記憶エリアに記憶している画像情報を、複数フレームの画像を撮像した際に撮影フレーム内で時系列に変化する特徴量に基づいて評価する。具体的には、ボディ側マイコン21は、バッファ25に記憶している画像情報について、ステップS103で求めた動きベクトルの度数分布を算出し、この度数分布を特徴量として評価する。
次に、動きベクトルの度数分布を具体例により説明する。図4は、撮像された画像の動きベクトルの度数分布を示すヒストグラムである。図4(a)、(b)において、2つの横軸は、画面上のX,Y方向における動きベクトルのレベルを示す動きベクトル量(階級)を表わし、縦軸は、度数を表している。以下の説明において、動きベクトルの度数が多く集中している円錐形状の部分を、「動きベクトルの度数分布に含まれるピーク度数」又は「ピーク度数」という。
図4(a)は、自動車レースにおける動きベクトルの度数分布を示すヒストグラムである。自動車レースにおいて、被写体が1台の自動車であれば、ピーク度数の個数が少ないほど画面上に被写体となる自動車が大きく映っていると推測される。したがって、この場合はピーク度数の個数が少ない画像ほど評価の高い画像となり、多くの点数が加算される。
また、同じスポーツであっても、撮影シーンがサッカーであれば、異なる評価となる。図4(b)は、サッカーにおける動きベクトルの度数分布を示すヒストグラムである。サッカーのような多人数で行うスポーツであれば、ピーク度数の個数が多いほど画面上に多くの選手が存在しており、躍動感のあるシーンであると推測される。したがって、ボディ側マイコン21は、ピーク度数の個数が多い画像の評価を高くして、多くの点数を加算する。
このように、画像の評価基準は撮影シーン等に応じて異なる。このため、例えば、設定された撮影シーンに応じて評価基準を変更したり、ユーザ設定により評価基準を変更したりすることで、ユーザの意図に合った評価を行うことができる。なお、評価手法は上記の例に限らず、他の評価手法を採用してもよい。他の評価手法については後に説明する。
ボディ側マイコン21は、1フレームの画像について、図4に示すような動きベクトルのヒストグラムを作成する。そして、ボディ側マイコン21は、そのピーク度数の個数に応じて画像に評価結果となる点数を加算する。ボディ側マイコン21は、作成したヒストグラムを、画像情報と関連付けてバッファ25のヒストグラム記憶エリアに記憶する。撮影した画像とその評価結果は、後述するように、バッファ25の撮影画像記憶エリアに記憶される。
また、望遠レンズやマイクロレンズ使用時には、被写体をクローズアップで撮ることが多いと考えられる。このため、ボディ側マイコン21は、望遠レンズやマイクロレンズ使用時には、ピーク度数の個数が少ない画像の評価を高くし、多くの点を加算する。また、中望遠〜広角レンズ使用時には、被写体を広範囲に撮ることが多いと考えられる。このため、ボディ側マイコン21は、中望遠〜広角レンズ使用時には、ピーク度数の個数が多い画像の評価を高くし、多くの点を加算する。このように、評価基準を装着されたレンズの焦点距離に応じて自動的に切り替えるようにしてもよい。撮影レンズの焦点距離に応じて評価基準を切り替えるようにした場合は、その都度のユーザ設定が不要となる。このため、カメラの操作性を向上させることができる。
なお、画面内に分布する動きベクトルにより、所定個数以上の多数のピークが生成された場合には、閾値未満のピーク値ついては評価の対象としないようにしてもよい。これにより、画像の評価処理を高速化することができる。
また、ボディ側マイコン21は、画像評価手段の処理として、バッファ25に記憶している画像情報を、ステップS104で求めたデフォーカス情報を特徴量として評価してもよい。この場合、ボディ側マイコン21は、デフォーカスのヒストグラムを作成する。図5は、デフォーカスのヒストグラムを示す概念図である。図5において、横軸(X軸)がデフォーカス量のフレーム間差分(Df差)を表わし、縦軸(Y軸)が度数を表わす。ボディ側マイコン21は、フレーム間において、ブロック毎にデフォーカス量の差分を求め、その差分をヒストグラムとして生成する。
ボディ側マイコン21は、上記のようなデフォーカスのヒストグラムを作成し、そのピーク度数の個数に応じて画像に評価結果となる点数を加算する。デフォーカス情報を特徴量とした場合、画面内で変化の起こっている画像が良い画像であるとすると、ヒストグラムのピークが多くある画像に多くの点数が加算される。また、閾値以上のピークを有する画像に点数を加算してもよい。
なお、各画像のデフォーカス情報は、画像ファイル(例えば、exifフォーマットの画像ファイル)に画像情報と共に記憶される。この画像ファイルは、メモリカード20に記憶される。
また、動きベクトルとデフォーカス情報とを組み合わせた特徴量を用いて評価することもできる。例えば、動きベクトルのそれぞれのピークにおけるデフォーカス量を調べる、又はデフォーカス量のそれぞれのピークにおける動きベクトルを調べるというものである。或いは総合評価として、それぞれの評価結果に重み付けをして点数の平均をとり、この点数を評価結果としてもよい。これにより、更にきめ細かい評価を行うことができる。
ボディ側マイコン21は、対象となる画像について評価を行った後、画像評価手段の処理として、評価を行った画像に、その画像の評価結果を付加情報として付加してバッファ25の撮影画像記憶エリアに記憶する。
ステップS106において、ボディ側マイコン21は、画像評価手段の処理として、ステップS105で評価を行った画像について、主要被写***置推定演算を行う。本実施形態では、顔検出領域情報の検出を行っている。具体的には、ボディ側マイコン21は、対象となる画像の画面を複数のブロックに分割し、当該画像とステップS103で求めた顔検出領域情報とを比較する。そして、ボディ側マイコン21は、顔画像が検出された領域に所定の点数を加算する。
本実施形態では、主要被写***置推定演算として、ステップS103で求めた顔検出領域情報を用いた例について説明した。しかしながら、主要被写***置推定演算には他のパラメータを用いることもできる。例えば、ステップS103で求めた動きベクトルを用いた場合は、主要被写体がある可能性の高い領域(例えば、ユーザが指定している測距エリア、及びその近傍の領域、或いはユーザ指定がない場合にはフレーム内の中央近傍の領域等)に所定の点数を加算する。また、ステップS103で説明した色分布情報を用いた場合は、同様に、主要被写体がある可能性の高い領域に所定の点数を加算する。更に、ステップS104で求めた焦点検出情報を用いた場合は、捉えている被写体と奥行き方向の位置が近い被写体が分布する領域に所定の点数を加算する。
また、主要被写***置推定演算では、上記のような各演算項目を複数組み合わせてもよい。その場合、各項目の寄与度は、項目毎に加算する点数の大きさを適切に設定することで調整することができる。
ステップS107において、ボディ側マイコン21は、ステップS106で求めた主要被写体の位置と、ステップS103で算出した輝度情報とに基づいて、主要被写体の輝度を考慮した露出演算を行う。ボディ側マイコン21は、露出演算により求めた適正露出値に基づいて、絞り値とシャッタスピードを決定する。そして、ボディ側マイコン21は、絞り値をレンズ側マイコン18へ送信し、シャッタスピードをシャッタ制御部23へ送信する。レンズ側マイコン18は、ボディ側マイコン21から送信された絞り値に基づいて絞り制御部17を制御して絞り調節を行う。シャッタ制御部23は、ボディ側マイコン21から送信されたシャッタスピードに基づいてシャッタ6を制御する。これにより、シャッタ6が開閉される。
また、ボディ側マイコン21は、ステップS104で求めたデフォーカス情報から、主要被写体に対応するデフォーカス情報を選択すると共に、これを元に撮影レンズ13のレンズ駆動量を演算し、レンズ側マイコン18へ送信する。レンズ側マイコン18は、ボディ側マイコン21から送信されたレンズ駆動量に基づいてレンズ駆動部15を制御し、距離環を駆動して撮影レンズ13の焦点調節を行う。
ステップS108において、ボディ側マイコン21は、画像評価手段の処理として、バッファ25に記憶している画像情報を、動きベクトルやデフォーカス量等の特徴量と、ステップS106で求めた主要被写体の位置とに基づいて評価する。
このステップS108では、ステップS105において、動きベクトルやデフォーカス量等を特徴量として評価したときの点数と、後述する主要被写体の位置に基づいて評価したときの点数とを合計することにより、撮影した画像の総合的な評価を行う。
主要被写体の位置に基づく評価としては、例えば、以下のようなピント・ブレの評価、ホワイトバランスの評価、露出の評価等の項目がある。ボディ側マイコン21は、これらのうちの少なくとも1つの項目について評価を実施して点数を加算する。ボディ側マイコン21は、複数の項目について評価を行った場合は、各項目の点数の合計又は平均値を求める。
ボディ側マイコン21は、ピント・ブレの評価において、撮影した画像に微分フィルタを施してエッジを検出する。そして、ボディ側マイコン21は、エッジの幅が太さいか細いかを半値幅から検出し、所定値より細い部分はピントが合っていると判定する。これにより、ボディ側マイコン21は、ステップS106で求めた主要被写体の位置にピントが合っている部分が含まれるか否かを判定する。ボディ側マイコン21は、ステップS106で求めた主要被写体の位置にピントが合っている部分が含まれていればピントは良好と判定して、所定の点数を加算する。
また、ボディ側マイコン21は、ステップS102で取得したデフォーカス情報から、主要被写体の位置よりも無限側に被写体が分布している領域と、至近側に被写体が分布している領域とを特定することができる。ボディ側マイコン21は、ピントの合っている部分が主要被写体の位置より無限側に分布していれば、その画像は後ピンであると判定する。また、ボディ側マイコン21は、ピントの合っている部分が主要被写体の位置より至近側に分布していれば、その画像は前ピンと判定する。
一方、ピントの合っている部分がどこにもなく、エッジの太さが画面内で似通っている場合は、ブレにより像がぼけている可能性が高い。この場合、ボディ側マイコン21は、ブレが生じていると判定する。
このように、ピントが後ピン又は前ピンである場合や、ブレがある場合には点数は加算されない。
ホワイトバランスを評価する場合、ボディ側マイコン21は、まず、顔と推定された主要被写体の位置において色座標を計算する。そして、ボディ側マイコン21は、計算した色座標が、人物の顔として期待される(好ましいと考えられる)色座標の範囲内に入っているかを判断する。ボディ側マイコン21は、主要被写体の色座標が、期待される色座標の範囲内に入っていれば、ホワイトバランスは人物に対して問題ないと判断し、所定の点数を加算する。
露出の評価は、以下の項目について行う。ボディ側マイコン21は、顔と推定された主要被写体の位置において黒つぶれ、又は白とびしていないかを判定する。また、ボディ側マイコン21は、画面全体に対して黒つぶれ、白とび領域を求め、これらの割合が所定値よりも低いかを判定する。また、ボディ側マイコン21は、主要被写体の位置において、好ましい顔の濃度範囲内にあるかを判定する。ボディ側マイコン21は、これらの判定をすべて肯定で満たした場合には、露出は問題ないとみなして、所定の点数を加算する。
なお、複数の項目を評価対象とした場合、各項目の寄与率は各項目に加算する点数を適宜に設定することで調整することができる。また、寄与率は、ユーザが何を重視するかを不図示の設定画面で個別に設定できるようにしてもよい。この場合、ボディ側マイコン21は、設定画面を通じて設定された条件にしたがって項目毎の点数に差をつけることにより、各項目の付与率を調整する。
ボディ側マイコン21は、上記のような主要被写体の位置に基づいて評価したときの点数と、先にステップS105で動きベクトルやデフォーカス量等を特徴量として評価したときの点数とを合計値又は平均値を算出することにより、撮影した画像の総合的な評価を行う。
ステップS109において、ボディ側マイコン21は、不図示のレリーズボタンが全押しされたかどうかを判断する。ステップS019の判定で、全押しされていなければ、ステップS115へ進む。また、全押しされていれば、ステップS110に進む。ステップS110において、ボディ側マイコン21は、メインミラー4をサブミラー5と共にミラーアップする。
ステップS111において、ボディ側マイコン21は、シャッタ制御部23を駆動してシャッタ6を開閉し、撮像センサ7で画像を撮像(露光)する。撮像センサ7で撮像された画像は画像信号として画像処理部24へ出力される。
ステップS112において、ボディ側マイコン21は、不図示のミラー駆動機構を制御して、メインミラー4をサブミラー5と共にミラーダウンさせる。これにより、メインミラー4及びサブミラー5は、図1に示す位置に復帰する。
ステップS113において、ボディ側マイコン21は、レリーズボタンが全押しされる直前のステップS108で得た評価結果を、レリーズボタンが全押しされた直後に撮影した画像の評価結果とする。そして、ボディ側マイコン21は、この評価結果を付加情報として画像に付加する。ステップS114において、ボディ側マイコン21は、撮影した画像とその評価結果とをバッファ25の撮影画像記憶エリアに記憶する。
バッファ25は、レリーズボタン半押し中に測光センサ11で取得した画像情報と、その画像情報による画像の評価結果と、ヒストグラムに関する情報とをそれぞれ所定エリアに記憶する。ボディ側マイコン21は、レリーズボタンが全押しされたとき(又は全押しされている間)に撮影した画像とその評価結果を、バッファ25の撮影画像記憶エリアに記憶する。その後、ボディ側マイコン21は、測光センサ11で取得した画像情報等の各種情報をバッファ25の所定エリアから削除する。
ステップS115において、ボディ側マイコン21は、レリーズボタンが全押し中かどうかを判定する。ステップS115の判定で全押し中でなければ、本フローチャートの処理を終了する。一方、ステップS115の判定で全押し中であれば、ステップS101へリターンする。
カメラ1は、レリーズボタンが全押しされている間、ステップS101〜S114の処理を繰り返し実行する。レリーズボタンが全押しされている間は、所定の撮影タイミング(例えば2〜9コマ/秒)で画像を連続して撮像する。ボディ側マイコン21は、レリーズボタンが全押しされている間に撮像された画像をすべてバッファ25に記録せず、自ら選択した画像のみをバッファ25に記憶する。
すなわち、ボディ側マイコン21は、画像評価手段の処理として、バッファ25の撮影画像記憶エリアに記憶している複数の画像(撮像センサ7で撮像された画像)の中から、評価結果の点数が所定閾値以上の画像を少なくとも1つ選択する。そして、その画像とその評価結果とをバッファ25の撮影画像記憶エリアに残す。更に、その他の画像とその評価結果をバッファ25から削除する。このような処理を行うことにより、バッファ25の記憶エリアを有効利用することができる。
なお、撮像したすべての画像をバッファ25に記憶してもよい。また、すべての画像を評価するのではなく、例えば5フレーム毎に画像を抽出して評価を行ってもよい。
上述した画像の選択と記憶は、図2のステップS116に引き続いて実行される。ただし、ステップS114において、撮影した画像とその評価結果をバッファ25の撮影画像記憶エリアに記憶する際に、評価結果の点数に基づいて記憶するか否かを選択してもよい。
1.3 他の評価手法について
上記実施形態では、動きベクトルの度数分布を算出し、この度数分布を特徴量として画像を評価する例について説明した。本発明の評価手法はこの例に限らず、以下の実施形態に示すような評価手法を採用することができる。
1.3.1 デフォーカス量の変化による評価
図6は、デフォーカス量の変化を説明するための概念図である。図7は、光軸方向における被写体の相対的な位置の時間変化を示すグラフ図である。自動車レース等の移動する被写体を撮影する場合は、画面内の測距エリアで検出されたデフォーカス情報の時間変化を観測する。図6に示すように、画面(撮影フレーム)101の中央付近には、フォーカスゾーン102が表示される。このフォーカスゾーン102の中には、不図示の複数の測距エリアが配置されている。
先に説明したように、通常の焦点調節は、複数の測距エリアのうちの1つ(又は複数)の測距エリアで検出されたデフォーカス情報に基づいて行われる。ただし、その他の測距エリアについても、検出したデフォーカス情報をボディ側マイコン21へ出力している。本実施形態では、焦点調節に係わる測距エリアを含めたすべての測距エリアにおいて、光軸方向に移動する主要被写体のデフォーカス量を検出する。ボディ側マイコン21は、フレーム間におけるデフォーカス量の差分をフレームレート(1/30秒)で割り、フレーム間における主要被写体の速度変化率(相対的移動状態)を算出する。主要被写体がカメラ1に向かって高速で移動しているときには、図7に示すように、主要被写体の相対的な位置の時間変化は大きくなる。すなわち、時間経過と共に主要被写体の速度変化率は大きくなる。
ボディ側マイコン21は、連続して撮影された各画像の速度変化率を算出し、この速度変化量を特徴量として評価を行う。自動車レースでは、主要被写体である自動車が高速で接近しているときに撮影された画像が、動きのある良い画像であると推測される。したがって、ボディ側マイコン21は、主要被写体の速度変化率の最も高い画像の評価を高くし、多くの点数を加算する。
また、速度変化率に、構図による要件を加えてもよい。すなわち、主要被写体が画面101の全体において閾値以上の大きさがあり、且つ主要被写体が画面101の中央付近にあるという要件を加えて評価を行ってもよい。主要被写体の位置や大きさは、1.2の項目で説明した主用被写***置推定の手法により特定することができる。また、フォーカスゾーン102内においてデフォーカス情報を検出している測距エリアの位置に基づいて、主要被写体の位置や大きさを特定してもよい。速度変化率に、構図による要件を加えて評価を行った場合は、主要被写体の高速で接近していて、更に主要被写体が画面の中央付近で且つ大きく写っている画像の評価を高くすることができる。
1.3.2 ピーク度数の個数の変化による評価
図8(a)、(b)は、被写体の動きベクトルの変化を説明するための概念図である。図9は、動きベクトルのヒストグラムの変化を説明するための概念図である。図10は、動きベクトルの度数分布に含まれるピーク度数の個数の変化を説明するためのグラフ図である。
この評価手法では、画面内で生じる動きベクトルの度数分布に含まれるピーク度数の個数を観察し、ピーク度数の個数が変化してから一定時間内に撮像された画像の評価を、他の画像の評価よりも相対的に高くしている。ピーク度数の個数は、画面内において、異なる動きをしている被写体の数と考えられる。ピーク度数の個数がある時点で変化した場合は、被写体に何らかの変化が生じたと推定される。被写体に変化が生じるということは、そのタイミング以降、しばらくは動きのある良いシーンである確率が高いと考えられる。したがって、ボディ側マイコン21は、ピーク度数の個数が変化してから一定時間内に撮像された画像の評価を高くし、点数を加算する。なお、ノイズ等により発生する小さなピーク度数は、フィルタでカットする。
ボディ側マイコン21は、図8に示すように、複数のブロックに分割した画面101について、各ブロックのフレーム間で生じる動きベクトルの度数分布を演算する。そして、ボディ側マイコン21は、その度数分布に含まれるピーク度数の中から、閾値度数以上の度数をもつピーク度数を抽出する。更に、ボディ側マイコン21は、抽出したピーク度数の個数を算出すると共に、画像毎に、ピーク度数の個数の時系列的な変化を観察する。
例えば、図8(a)に示すように、打者がバットを構えている状態から、図8(b)に示すように、バットを振り始めたとする。すると、図9に示すように、連続する画像において、動きベクトルの度数分布を示すヒストグラムは、ピーク度数の個数が急激に変化する。したがって、このような変化が現れてから、しばらくは動きのある良いシーンである確率が高くなる。このため、ボディ側マイコン21は、図10に示すように、変化が現れてから一定時間(図中、期間A)内に撮像された画像の評価を他の画像よりも高くし、点数を加算する。
なお、本実施形態の評価手法を、評価の対象となる画像を抽出するために用いてもよい。すなわち、ボディ側マイコン21は、上述した変化が現れてから一定時間内に撮像された複数の画像を抽出する。そして、ボディ側マイコン21は、抽出した画像の中で、動きベクトルのヒストグラムにおいてピーク度数の個数が最も多い画像、或いは最も大きなピーク度数を含む画像に点数を加算する。この例以外にも、本実施形態の評価手法を、他の評価手法と組み合わせて用いることができる。
1.3.3 モデル画像のヒストグラムを用いた評価(1)
図11は、撮像した画像における動きベクトルのヒストグラムを説明するための概念図である。図12(a)、(b)は、図10のヒストグラムを2次元化した場合の概念図である。なお、動きベクトルのヒストグラムは、図4や図9に示すように、3次元の図として表わしている。しかしながら、必要に応じて、動きベクトルのヒストグラムを、図12に示すように、2次元の図として表わす。ヒストグラムの説明を容易にするためである。
本実施形態の評価手法では、撮像した画像の動きベクトルの度数分布と、好ましい画像(以下、モデル画像という)の評価基準として予め設定された動きベクトルのモデル度数分布との類似性に基づいて評価を行う。
まず、ボディ側マイコン21は、複数のブロックに分割した画面について、各ブロックのフレーム間で生じる動きベクトルの度数分布を演算し、動きベクトルの度数分布を示すヒストグラムを作成する。ここでは、図11に示すような動きベクトルの度数分布を示すヒストグラムが作成されたとする。この動きベクトルの度数分布を示すヒストグラムには、手振れ等のカメラ1の動き成分が含まれている場合がある。そこで、ボディ側マイコン21は、図12に示すように、ヒストグラムの原点を移動する処理を行う。
図12(a)は、原点移動前の動きベクトルの度数分布を示すヒストグラムである。画面内において、主要被写体が中央付近にあると仮定すると、X方向の座標軸上に現れる、閾値度数以上のピーク度数Aは、カメラ1の動き成分と考えられる。この例では、X方向における手振れ成分と考えられる。そこで、図12(b)に示すように、ヒストグラムの原点を、X方向の座標軸上に存在するピーク度数Aの中心に移動する。図12(b)において、破線は移動前のY方向の座標軸を表わす。
カメラ1の動き成分は、フレーム間で変動するため、図12(b)に二点鎖線の円で示すように、ピーク度数Aの位置もフレーム間で変位する。被写体の特徴を表わすピーク度数B〜Dにもカメラ1の動き成分が重畳してフレーム間で変動するが、ピーク度数Aが原点になるようにヒストグラム分布の座標の原点を移動すると、カメラ1の動き成分が除去されて、ヒストグラム分布上で被写体の動きを浮かび上がらせて表現できる。したがって、ボディ側マイコン21は、図12(b)に示すように、ピーク度数B〜Dを含む動きベクトルの度数分布を、撮像した画像の動きベクトルの度数分布として特定する。このように、動きベクトルのヒストグラムについて、原点を移動する処理を行うことにより、カメラ1の動き成分、すなわち、撮影画面の動き成分を除去することができる。撮影画面の動き成分を除去することで、より正確な評価を行うことが可能となる。
なお、図11には示していないが、Y方向の座標軸上に現れるピーク度数についても、カメラ1の動き成分、すなわちY方向における手振れ成分と考えられる。X方向の座標軸上に閾値度数以上のピーク度数が現れていない場合に、Y方向の座標軸上に閾値度数以上のピーク度数が現れているときは、上記のような原点を移動する処理を行うことにより、撮影画面の動き成分を除去することができる。
ボディ側マイコン21は、撮像した画像における動きベクトルの度数分布と、モデル画像における動きベクトルのモデル度数分布とを比較し、その類似性に基づいて画像を評価する。ボディ側マイコン21は、連続して撮像された各画像について類似性を判断する。ボディ側マイコン21は、モデル画像における動きベクトルのモデル度数分布と類似性の高い度数分布をもつ画像の評価を高くし、多くの点を加算する。なお、モデル画像における動きベクトルのモデル度数分布は、記憶部26に、予め複数記憶されている。ボディ側マイコン21は、記憶部26に記憶されているモデル画像における動きベクトルのモデル度数分布をすべて又は一部を読み出し、撮影した画像における動きベクトルの度数分布と近似するモデル画像における動きベクトルのモデル度数分布を選択して、画像の評価を行う。また、撮影シーンに応じたモデル画像における動きベクトルのモデル度数分布を読み出して、画像の評価に用いるようにしてもよい。
なお、モデル画像は、主に動きが予測可能な様々な動体を撮影したときのベストショット画像である。そのベストショット画像における動きベクトルの度数分布が、モデル画像における動きベクトルのモデル度数分布である。モデル画像における動きベクトルのモデル度数分布は、撮影シーンに応じて複数用意されている。ただし、モデル画像における動きベクトルのモデル度数分布は、すべての撮影シーンに対応するものではない。一般的な撮影において、最も多く撮影されると予想される撮影シーンについて用意されていればよい。
例えば、野球では、バッターが打つ瞬間、投手がボールを投げる瞬間等である。サッカーであれば、プレーヤーがボールをシュートする瞬間、ヘディングの瞬間等である。或いは、スキーのジャンプ種目ではジャンパーが飛行している間、スピードスケートではスケーターが直線路を走行している間である。更に、モータスポーツでは、自動車やモータバイクがコーナーを走行している間である。
また、モデル画像における動きベクトルのモデル度数分布は、すべてを記憶部26に記憶しておく必要はない。モデル画像における動きベクトルのモデル度数分布は、必要に応じてカメラ1に取り込み可能である。例えば、インターネットや無線LAN等の通信媒体、或いはメモリカード等の記録媒体を介して、カメラ1に取り込むことができる。どのようなモデル度数分布を取り込むかは、ユーザの操作により適宜に設定可能である。
1.3.4 類似性を判断する手法の具体例
次に、撮像した画像における動きベクトルの度数分布と、モデル画像における動きベクトルのモデル度数分布との類似性を判断する手法について説明する。
図13(a)は、モデル画像における動きベクトルのモデル度数分布を示すヒストグラムである。図13(b)は、撮像した画像における動きベクトルの度数分布を示すヒストグラムである。図14(a)は、図13(a)に示すヒストグラムを2次元のグラフに変換した場合の概念図である。図14(b)は、図13(b)に示すヒストグラムを2次元のグラフに変換した場合の概念図である。
ボディ側マイコン21は、図14(a)、(b)に示すように、2次元のグラフの展開領域を、複数のブロックに分割する。ボディ側マイコン21は、モデル画像における動きベクトルのモデル度数分布を示すヒストグラムについては、図14(a)に示すように、展開領域をK1〜K16のブロックに分割する。モデル画像における動きベクトルのモデル度数分布を示すヒストグラムでは、ブロックK8、K10、K16の位置にピーク度数が現れている。
ボディ側マイコン21は、撮像した画像における動きベクトルの度数分布を示すヒストグラムについては、図14(b)に示すように、展開領域をM1〜M16のブロックに分割する。撮像した画像の度数分布を示すヒストグラムでは、ブロックM8、M10、M16の位置にピーク度数が現れている。ボディ側マイコン21は、それぞれの度数分布に含まれる3つのピーク度数について類似度を判断する。なお、図14(a)、(b)において、各ブロックの大きさ、及び座標軸上の位置は同じである。したがって、ブロックK8はM8に、ブロックK10はM10に、ブロックK16はM16にそれぞれ対応する。また、ブロック番号に付加された数値は、そのブロックのピーク度数における度数量を示す。
ボディ側マイコン21は、対応するブロック毎に度数差の絶対値を算出する。各ピーク度数の度数量を図13に示す。例えば、図13(a)のブロックK16に存在するピーク度数の度数量は「8」である。一方、図13(b)のブロックM16(ブロックK16に対応する)に存在するピーク度数の度数量は「15」である。この場合の度数差は「7」となる。なお、対応するブロックにそれぞれピーク度数が存在しない場合は、一方のブロックに存在するピーク度数の度数量がそのまま度数差となる。例えば、図13(b)のブロックM16にピーク度数が存在しなければ、ブロックK16とM16の度数差は「8」となる。
ボディ側マイコン21は、ピーク度数が現れている各ブロックの度数差を算出する。そして、度数差の絶対値の総和Σを求める。総和Σは、│(Kn−Mn)│で求められる。「Kn」は、ブロックK8、K10、K16に存在するピーク度数の度数量の合計である。「Mn」は、ブロックM8、M10、M16に存在するピーク度数の度数量の合計である。図13に示す例において、総和Σは、│(18−23)│=5となる。この総和Σが類似性を判断する際の指標となる。
図13(a)、(b)のヒストグラムを比較したときに、ピーク度数の度数量が同じであれば、度数差はゼロとなる。一方、ピーク度数の度数量が異なる場合、度数差はプラス又はマイナスの値が算出される。ピーク度数の度数量が異なるほど、度数差は大きくなる。したがって、総和Σが低いほど類似性が高く、総和Σが高いほど類似性が低いことになる。
ボディ側マイコン21は、総和Σと、予め設定された基準値とを比較することで類似性を判断する。基準値は段階的に設定される。一例として、総和Σ<20であれば評価を「高」、20≦総和Σ≦50であれば評価を「中」、50<総和Σであれば評価を「低」とする。基準値は更に細かく設定してもよい。また、自動又はユーザ設定により変更されるようにしてもよい。
上述した類似性の判断において、複数の画像が高い評価を得た場合、更にその中から1つの画像を選択する処理を加えてもよい。以下、2つの具体例について説明する。
1.3.5 画像選択の具体例(1)
図15(a)〜(c)は、モデル画像の度数分布を用いた評価において高い評価となった画像の例を示す説明図である。図15(a)〜(c)に示す各画像には、画面101に主要被写体である自動車104が同じ大きさ、同じ撮影アングルで記録されている。モデル画像の度数分布を用いた評価において、図15(a)〜(c)に示す3つの画像は、いずれも高い評価となっている。この場合、ボディ側マイコン21は、画面101の中央付近に、所定の大きさをもつ領域を設定する。図15では、画面101の約30パーセント程度の大きさをもつ領域103を画面101の中央付近に設定した例を示す。
次に、ボディ側マイコン21は、撮像した画像(画面101の画像)における動きベクトルの度数分布に基づいて、領域103内の画像における動きベクトルの度数分布を算出する。また、ボディ側マイコン21は、予め記憶しているモデル画像における動きベクトルのモデル度数分布に基づいて、領域103内におけるモデル画像における動きベクトルのモデル度数分布を算出する。
そして、ボディ側マイコン21は、領域103内の画像における動きベクトルの度数分布と、領域103内におけるモデル画像における動きベクトルのモデル度数分布とを比較し、その類似性に基づいて画像を評価する。すなわち、ボディ側マイコン21は、モデル画像における動きベクトルのモデル度数分布と類似性の高い度数分布をもつ画像の評価を高くし、多くの点数を加算する。図15に示す例では、(b)の画像における動きベクトルの度数分布が、領域103内におけるモデル画像における動きベクトルのモデル度数分布と類似性の高い度数分布となる。このため、ボディ側マイコン21は、図15(b)の画像の評価を高くし、多くの点数を加算する。
なお、ボディ側マイコン21は、上記評価において、予め記憶部26に記憶しているモデル画像における動きベクトルのモデル度数分布を用いてもよい。これは、画面101の中央付近の領域103内において、好ましい画像として想定されたモデル画像を設定したときのモデル度数分布である。
本実施形態によれば、主要被写体の画面内での大きさや撮影アングルが同じでも、主要被写体が画面の中央付近に存在する画像をより高く評価することができる。
1.3.6 画像選択の具体例(2)
図16(a)、(b)は、モデル画像の度数分布を用いた評価において高い評価となった画像の例を示す説明図である。図16(a)、(b)に示す各画像は、画面101に、主要被写体であるスケーターが同じ位置に、ほぼ同じ大きさで記録されている。図16(a)、(b)において、左側の図は撮像された画像を示し、右側の図は分割された画面内におけるメインブロック及びサブブロックの位置を示している。左右の図において、画面101は同じ割合で分割されている。
ボディ側マイコン21は、各画像について、画面101を複数のブロックに分割する。そして、各画像について、画面101の中央付近にあり、且つ背景でないブロック(以下、メインブロックという)を特定する。次に、ボディ側マイコン21は、メインブロックと色が似ていて、且つ色の連続性を有するブロック(以下、サブブロックという)を特定する。
図16では、メインブロックとして、ブロックAが特定される。ブロックAは、本例では3つのブロックで構成される。図16(a)では、サブブロックとしてA1が特定される。図16(b)では、サブブロックとしてA1〜A5が特定される。
次に、ボディ側マイコン21は、撮像した画像(画面101の画像)における動きベクトルの度数分布に基づいて、各画像のサブブロックの画像における動きベクトルの度数分布を算出する。図16(a)の画像では、サブブロックA1の画像における動きベクトルの度数分布を算出する。図16(b)の画像では、サブブロックA1〜A5の画像における動きベクトルの度数分布を算出する。
ボディ側マイコン21は、記憶部26から、サブブロックにおけるモデル画像における動きベクトルのモデル度数分布を読み出す。サブブロックにおけるモデル画像における動きベクトルのモデル度数分布とは、好ましい画像として想定されたモデル画像において、メインブロックと色が似ていて、且つ色の連続性を有するサブブロックのモデル画像(以下、サブブロックモデル画像という)における動きベクトルのモデル度数分布である。
そして、ボディ側マイコン21は、図16(a)、(b)各画像のサブロックにおける動きベクトルの度数分布と、サブブロックモデル画像における動きベクトルのモデル度数分布とを比較し、その類似性に基づいて画像を評価する。この評価においても、サブブロックモデル画像における動きベクトルのモデル度数分布と類似性の高い度数分布を有する画像が評価の高い画像となる。
スポーツ写真において、主要被写体となる人物が画面の中央付近に位置していると仮定すると、メインブロックは人物の胴体、サブブロックは人物の手足に相当すると考えられる。そして、スポーツ写真において、人物の手足が大きく動いている瞬間が良いシーンであるとすると、メインブロックと連続しているサブブロックが多く、且つサブブロックが画面の周囲に広がっているほど良いシーンとなる。本実施形態において、サブブロックモデル画像における動きベクトルのモデル度数分布は、上記のように人物の手足が大きく動いている瞬間を捉えた画像におけるサブロックの数や配置に基づいて設定されたものである。
したがって、図16(a)、(b)の2つの画像のサブロックにおける動きベクトルの度数分布と、サブブロックモデル画像における動きベクトルのモデル度数分布とを比較すると、主要被写体であるスケーターが大きく手足を伸ばしている図16(b)の画像における動きベクトルの度数分布が、サブブロックモデル画像における動きベクトルのモデル度数分布と類似性の高い度数分布となる。このため、ボディ側マイコン21は、図16(a)の画像よりも、図16(b)の画像の評価を高くし、多くの点数を加算する。
本実施形態によれば、主要被写体の画面内での大きさや撮影アングルが同じでも、主要被写体の動きが大きい画像をより高く評価することができる。すなわち、主要被写体の動きが大きいほど、サブブロックにおける動きベクトルの度数分布にも特徴的な変化が現れる。このため、サブブロックモデル画像における動きベクトルのモデル度数分布を用いて評価を行うことにより、主要被写体が同じ位置に、ほぼ同じ大きさで記録されている画像であっても、主要被写体の動きがより大きな画像の評価を高くすることができる。
なお、ボディ側マイコン21は、予め記憶しているモデル画像における動きベクトルのモデル度数分布に基づいて、サブブロックモデル画像における動きベクトルのモデル度数分布を算出してもよい。また、メインブロックとなるブロックの数は3つに限定されない。メインブロックとなるブロックの数は、1つでもよいし、4つ以上でもよい。メインブロックとなるブロックの数は、画面101の分割数や主要被写体の大きさにより異なる。
1.3.7 モデル画像のヒストグラムを用いた評価(2)
図17(a)は、撮像した画像における動きベクトルの度数分布とその分散度を示す概念図である。図17(b)は、モデル画像におけるモデル度数分布とその分散度を示す概念図である。本実施形態の評価手法では、撮像した画像における動きベクトルの度数分布の分散度と、モデル画像における度数分布の分散度との類似性に基づいて評価を行う。
まず、ボディ側マイコン21は、撮影した画像における動きベクトルの度数分布を演算し、動きベクトルの度数分布を示すヒストグラムを作成する。ここでは、図17(a)に示すような動きベクトルの度数分布を示すヒストグラムが作成されたとする。図17(a)には、画像の特徴を示す5つのピーク度数(実線の円)が現れている。
次に、ボディ側マイコン21は、ヒストグラムに含まれる5つのピーク度数の平均となるピーク度数(以下、平均ピーク度数という)を算出する。図17(a)において、符号Aが付された破線の円が平均ピーク度数を示している。
次に、ボディ側マイコン21は、5つのピーク度数のぞれぞれと、平均ピーク度数Aとの差分を算出する。差分とは、平均ピーク度数Aから各ピーク度数までの距離をいう。更に、ボディ側マイコン21は、5つのピーク度数と平均ピーク度数との差分を合計する。この合計値が、撮像した画像における動きベクトルの度数分布の分散度となる。この分散度が高いほど、画面内において、複数の被写体が様々な方向に、様々な速さで動いていることになる。
次に、ボディ側マイコン21は、記憶部26から、モデル画像における動きベクトルのモデル度数分布の分散度を読み出す。これは、好ましい画像として想定されたモデル画像における分散度である。モデル画像についても、ピーク度数と平均ピーク度数との差分を算出することで分散度を求めている。
そして、ボディ側マイコン21は、撮像した画像における動きベクトルの度数分布の分散度と、モデル画像における動きベクトルの度数分布の分散度とを比較し、その類似性を判断する。ボディ側マイコン21は、モデル画像における動きベクトルのモデル度数分布の分散度と類似性の高い分散度をもつ画像の評価を高くし、多くの点数を加算する。ボディ側マイコン21は、例えば、モデル画像における分散度を100としたときに、撮像した画像の分散度が80パーセント以上あれば、類似性が高いと判断する。
本実施形態によれば、ピーク度数の数が同じであっても、複数の被写体が様々な方向に、様々な速さで動いている画像をより高く評価することができる。
なお、ボディ側マイコン21は、予め記憶しているモデル画像における動きベクトルのモデル度数分布に基づいて、モデル画像における分散度を算出してもよい。
また、ボディ側マイコン21は、撮像した画像における動きベクトルの度数分布の分散度が閾値以上であるときは、その画像を高く評価してもよい。この場合は、モデル画像における分散度との類似性を判断する必要がない。このため、ボディ側マイコン21の処理を高速化することができ、また処理負担を軽減することができる。
また、ボディ側マイコン21は、撮像した画像のピーク度数から平均ピーク度数Aを算出する際に、閾値度数以上の度数量をもつピーク度数のみを抽出してもよい。この場合、ボディ側マイコン21は、閾値度数以上の度数量をもつピーク度数から平均ピーク度数Aを算出し、更に分散度を算出する。
1.3.8 ピーク度数の度数量の変化量による評価
図18(a)、(b)は、カメラ1が連続して撮像した画像における動きベクトルの度数分布を示すヒストグラムである。カメラ1は、(a)、(b)の順に画像を撮像している。本実施形態の評価手法では、撮像した画像における動きベクトルの度数分布を算出し、その度数分布に含まれるピーク度数の度数量の変化量に基づいて画像の評価を行う。
まず、ボディ側マイコン21は、カメラ1が連続して撮像した画像における動きベクトルの度数分布を演算し、動きベクトルの度数分布を示すヒストグラムを作成する。ここでは、図18(a)、(b)に示すような動きベクトルの度数分布を示すヒストグラムが作成されたとする。図18(a)、(b)に示すヒストグラムには、それぞれ画像の特徴を示す5つのピーク度数A〜Eが現れている。ボディ側マイコン21は、図18(a)、(b)に示すヒストグラムから、閾値度数以上の度数量をもつピーク度数で形成される動きベクトルの度数分布を抽出する。
図18(a)において、5つのピーク度数A〜Eのうち、ピーク度数A,C,Dは、閾値度数th以上の度数をもつ。また、ピーク度数B,Eは、閾値度数th未満の度数をもつ。ボディ側マイコン21は、閾値度数th以上の度数をもつ、ピーク度数A,C,Dで形成される動きベクトルの度数分布を抽出する。次に、ボディ側マイコン21は、ピーク度数A,C,Dの度数量の時系列的な変化を観察する。そして、ボディ側マイコン21は、ピーク度数A,C,Dの度数量の変化量と、予め設定された評価基準値とに基づいて、画像の評価を行う。評価基準値とは、閾値度数th以上の度数をもつピーク度数における、度数量の時系列的な変化量を判定するための値である。
図18(a)に示すピーク度数A,C,Dの度数量が、図18(b)に示すように増加方向に変化したとする。ボディ側マイコン21は、3つのピーク度数A,C,Dについて、度数量の変化量の平均値(以下、平均変化量Δaveという)を算出する。次に、ボディ側マイコン21は、算出した平均変化量Δaveと評価基準値Δthとを比較する。そして、ボディ側マイコン21は、平均変化量Δaveが評価基準値Δthを超えた場合は、その画像の評価を高くして、多くの点数を加算する。
なお、ボディ側間コン21は、3つのピーク度数A,C,Dのうちの少なくとも1つのピーク度数における度数量の変化量が評価基準値Δthを超えた場合に、その画像の評価を高くするようにしてもよい。また、3つのピーク度数A,C,Dについて、増加した変化量の合計値を算出し、この合計値が評価基準値(合計値比較用の評価基準値)を超えた場合に、その画像の評価を高くしてもよい。
本実施形態によれば、例えば、被写体が同じように動いていても、被写体の大きさが急激に大きくなったような画像(高速で接近してくるような被写体を撮影している状況において、画面内に占める被写体の面積が大きい画像)をより高く評価することができる。また、これにより、例えば同じような動きをする被写体が急激に増加したような画像(同じような動きをする被写体の個数が増えることで、同じような動きをする被写体の画面内での総面積が増加したような画像)をより高く評価することができる。
1.4 評価基準の学習機能
1.4.1 モデル画像の度数分布を更新
1.3.3の実施形態では、好ましい画像(モデル画像)の評価基準として予め設定された動きベクトルのモデル度数分布を用いた画像の評価について説明した。このモデル画像の動きベクトルのモデル度数分布は、ユーザにより選択された画像に基づいて更新してもよい。
ボディ側マイコン21は、ユーザが不図示の操作部を介して画像再生の操作を行うと、バッファ25に記憶している複数の画像を表示パネル28に表示する。これらの画像には、評価結果が付加されている。ボディ側マイコン21は、ユーザが不図示の操作部を操作するのに応じて、バッファ25に記憶している複数の画像を表示パネル28に順に表示する。ユーザが表示パネル28に所望の画像が表示されているときに、不図示の操作部を介して選択の操作を行うと、その画像がユーザにより選択された画像となる。ボディ側マイコン21は、ユーザにより選択された画像とその評価結果を、バッファ25に残す。また、ボディ側マイコン21は、選択されなかった画像とその評価結果を必要に応じてバッファ25から削除する。以下、モデル画像の動きベクトルのモデル度数分布を、ユーザにより選択された画像に基づいて更新する学習機能について説明する。
図19(a)は、モデル画像における動きベクトルのモデル度数分布を示すヒストグラムである。図19(b)は、ユーザにより選像された画像における動きベクトルの度数分布を示すヒストグラムである。図19(c)は、更新されたモデル画像における動きベクトルのモデル度数分布を示すヒストグラムである。なお、図19の各図に示した「K10」、「M8」等の符号は、図14に示した展開領域のブロック番号を示す。また、ブロック番号に付加された数値は、そのブロックのピーク度数における度数量を示す。
ボディ側マイコン21は、ユーザにより選択された画像における動きベクトルの度数分布の傾向に基づいて、モデル画像における動きベクトルのモデル度数分布を更新する。ユーザにより選択された画像における動きベクトルの度数分布の傾向を、モデル画像における動きベクトルのモデル度数分布に反映させるかは、適宜に設定することができる。ボディ側マイコン21は、各ピーク度数について、更新度数量=k・A+(1−k)・Bとして演算を行う。kは、係数である。Aは、ユーザにより選択された画像におけるピーク度数の度数量である。Bは、モデル画像におけるピーク度数の度数量である。
一例として、k=0.3とする。図19(a)のヒストグラムに示す、ブロック番号K8のピーク度数における度数量は、5×0.7=3.5となる。図19(b)のヒストグラムに示す、ブロック番号M8のピーク度数における度数量は、3×0.3=0.9となる。したがって、ブロック番号K8のピーク度数における更新度数量は、図19(c)のヒストグラムに示すように、3.5+0.9=4.4となる。ブロック番号K16についても同様に演算を行うと、図19(c)のヒストグラムに示すように、ピーク度数の更新度数量は10.1となる。ブロック番号K10については、更新前と同じ度数量となる。
ボディ側マイコン21は、モデル画像の動きベクトルのモデル度数分布を、ユーザにより選択された画像に基づいて更新する。ボディ側マイコン21は、更新したモデル画像の動きベクトルのモデル度数分布を記憶部26に記憶する。このとき、更新前のモデル画像の動きベクトルのモデル度数分布を残してもよいし、上書き(削除)してもよい。
本実施形態では、ユーザにより選択された画像に基づいて、モデル画像の動きベクトルのモデル度数分布を更新するようにしている。本実施形態によれば、モデル画像の動きベクトルのモデル度数分布を用いた画像の評価において、ユーザの嗜好に合った画像の評価を高めることができる。
なお、係数kは適宜に設定することができる。係数kを小さくした場合は、モデル画像の動きベクトルのモデル度数分布の特徴を、更新度数量に大きく反映させることができる。係数kを大きくした場合は、ユーザにより選択された画像の動きベクトルの度数分布の特徴を、更新度数量に大きく反映させることができる。係数kを0.5とした場合は、それぞれの度数分布の特徴を平均的に更新度数量に反映させることができる。
ユーザの選択した画像が複数ある場合、ボディ側マイコン21は、ユーザにより選択された各画像における動きベクトルの度数分布の各ピーク度数の度数量をすべて加算して、その平均値(以下、平均度数量という)を算出する。そして、ボディ側マイコン21は、平均度数量に基づいて更新度数量を算出する。
また、ユーザの選択した画像が複数ある場合は、画像毎に、モデル画像における動きベクトルのモデル度数分布を更新するようにしてもよい。例えば、スキージャンプの選手が空中を飛行している画像(飛行中)をモデル画像とした動きベクトルのモデル度数分布が記憶部26に記憶されているとする。また、ユーザが、複数の画像の中から、「ジャンプする瞬間」、「飛行中」、「着地直前」の3つの画像を選択したとする。この場合、ボディ側マイコン21は、モデル画像(飛行中)における動きベクトルのモデル度数分布を、3つのそれぞれの画像における動きベクトルの度数分布に基づいて更新する。これにより、3つのそれぞれの画像における動きベクトルの度数分布に基づいて更新された、モデル画像における動きベクトルのモデル度数分布が3つ作成される。
これら3つのモデル画像における動きベクトルのモデル度数分布は、基本となるモデル画像(飛行中)における動きベクトルのモデル度数分布と共に記憶部26に記憶される。このように、基本となるモデル画像(飛行中)における動きベクトルのモデル度数分布を更新して得た、新たなモデル画像における動きベクトルのモデル度数分布は、ユーザーカスタマイズ1〜3として作成される。
1.4.2 分散度の更新
1.3.7の実施形態では、モデル画像における度数分布の分散度に基づく画像の評価について説明した。このモデル画像における度数分布の分散度は、ユーザにより選択された画像に基づいて更新してもよい。
図20(a)は、モデル画像における動きベクトルのモデル度数分布を示すヒストグラムの概念図である。図20(b)は、ユーザにより選像された画像における動きベクトルの度数分布を示すヒストグラムの概念図である。図20(c)は、分散度が更新されたモデル画像における動きベクトルのモデル度数分布を示すヒストグラムの概念図である。図20の各図は、説明を容易にするため、それぞれのヒストグラムに含まれるピーク度数の分散度を、分散の輪郭線により模式的に表わしている。
ボディ側マイコン21は、ユーザにより選択された画像における動きベクトルの度数分布の分散度に基づいて、好ましい画像(モデル画像)の評価基準として予め設定された動きベクトルのモデル度数分布の分散度を更新する。ユーザにより選択された画像における動きベクトルの度数分布の分散度を、モデル画像における動きベクトルのモデル度数分布の分散度にどのように反映させるかは、適宜に設定することができる。例えば、1.4.1の実施形態と同様に、それぞれの分散度と係数とからなる関係式を用いてもよい。
本実施形態では、上記2つの分散度の中間となる分散度を算出した例について説明する。すなわち、ボディ側マイコン21は、図20(a)に示すモデル画像の分散度と、図20(b)に示す選択された画像の分散度の中間となる分散度を算出する。これにより、ボディ側マイコン21は、図20(c)に示すような、分散度が更新されたモデル画像の分散度を得る。ボディ側マイコン21は、分散度が更新されたモデル画像の動きベクトルのモデル度数分布を記憶部26に記憶する。このとき、更新前のモデル画像の動きベクトルのモデル度数分布を残してもよいし、上書き(削除)してもよい。
本実施形態では、モデル画像における度数分布の分散度を、ユーザにより選択された画像に基づいて更新するようにしている。本実施形態によれば、モデル画像の動きベクトルのモデル度数分布の分散度を用いた画像の評価において、ユーザの嗜好に合った画像の評価を高めることができる。
1.4.3 モデル画像における度数量の更新(1)
1.3.7の実施形態において、モデル画像における動きベクトルの度数分布に含まれるピーク度数の度数量は、ユーザにより選択された画像に基づいて更新してもよい。
図21(a)は、モデル画像における動きベクトルのモデル度数分布を示すヒストグラムの概念図である。図21(b)は、ユーザにより選像された画像における動きベクトルの度数分布を示すヒストグラムの概念図である。図21(c)は、ピーク度数が更新されたモデル画像における動きベクトルのモデル度数分布を示すヒストグラムの概念図である。図21の各図は、それぞれの度数分布において、最も外側に分散しているピーク度数を概念的に示している。
ボディ側マイコン21は、ユーザにより選択された画像における動きベクトルの度数分布に含まれるピーク度数の度数量に基づいて、モデル画像における動きベクトルのモデル度数分布を定義する際に使用される、このモデル度数分布に含まれるピーク度数の度数量を更新する。
カメラ1には、図21(a)に示すようなモデル画像における動きベクトルのモデル度数分布を示すヒストグラムが記憶部26に記憶されている。一方、ボディ側マイコン21は、ユーザにより選択された画像における動きベクトルの度数分布に基づいて、閾値度数以上の度数量をもつピーク度数を抽出する。これにより、ボディ側マイコン21は、図21(b)に示すような、閾値度数以上の度数量をもつピーク度数で形成される動きベクトルの度数分布を作成する。次に、ボディ側マイコン21は、図21(b)に示す度数分布の中から、最も度数量の小さなピーク度数を抽出する。図21(b)では、ピーク度数Aの度数量Pyが最も度数量が小さいピーク度数である。
ボディ側マイコン21は、図21(b)に示す、ユーザにより選択された画像における動きベクトルの度数分布に含まれるピーク度数Aの度数量Pyに基づいて、モデル画像における動きベクトルのモデル度数分布に含まれるすべてのピーク度数の度数量を更新する。なお、ピーク度数Aの度数量Pyを、モデル画像におけるすべてのピーク度数の度数量にどのように反映させて更新するかは、適宜に設定することができる。例えば、1.4.1の実施形態と同様に、更新度数量=k・A+(1−k)・Bの式を用いてもよい。
ボディ側マイコン21は、図21(c)に示すように、すべてのピーク度数の度数量が更新されたモデル画像における動きベクトルのモデル度数分布を作成する。ボディ側マイコン21は、更新したモデル画像の動きベクトルのモデル度数分布を記憶部26に記憶する。このとき、更新前のモデル画像の動きベクトルのモデル度数分布を残してもよいし、上書き(削除)してもよい。
本実施形態では、ユーザにより選択された画像における動きベクトルの度数分布に含まれるピーク度数の度数量に基づいて、モデル画像における動きベクトルのモデル度数分布に含まれるピーク度数の度数量を更新するようにしている。本実施形態によれば、モデル画像の動きベクトルのモデル度数分布を用いた画像の評価において、ユーザの嗜好に合った画像の評価を高めることができる。
1.4.4 閾値度数の更新
1.3.8の実施形態において、ユーザにより選択された画像の動きベクトルの度数分布に含まれるピーク度数の度数量に基づいて、閾値度数を更新するようにしてもよい。
例えば、ユーザにより選択された画像の動きベクトルの度数分布に含まれるピーク度数において、最も小さい度数量をh1とする。これに対して、予め設定されている閾値度数thが、th>h1となる度数量をもつとする。この場合、ボディ側マイコン21は、新たな閾値度数th´を、th´=th+h1/2として算出する。これにより、閾値度数th´は、thとh1との中間の度数量となる。ボディ側マイコン21は、新たな閾値度数th´を、更新した閾値度数thとして記憶部26に記憶する。
図18(a)において、ピーク度数Eの度数量h2が、更新前の閾値度数th未満で、且つthに近似していたとする。更新により閾値度数thが引き下げられると、ピーク度数Eの度数量は、更新後の閾値度数th以上となる。このため、ピーク度数Eは、ピーク度数A,C,Dと共に抽出される。
なお、予め設定されている閾値度数thを、ユーザにより選択された画像の動きベクトルの度数分布に含まれるピーク度数において、最も大きな度数量に基づいて更新してもよい。
本実施形態によれば、ユーザにより選択された画像の動きベクトルの度数分布に含まれるピーク度数を抽出する際に、ユーザの嗜好する画像の特徴を反映した抽出を行うことができる。
また、1.3.8の実施形態において、ユーザにより選択された画像の動きベクトルの度数分布に含まれるピーク度数の度数量の変化量に基づいて、評価基準値Δthを更新するようにしてもよい。例えば、ユーザにより選択された画像の動きベクトルの度数分布に含まれるピーク度数の度数量の平均変化量Δaveにおいて、新たな評価基準値Δth´を、Δth´=Δave+Δth/2として算出する。これにより、評価基準値Δth´は、ΔaveとΔthとの中間の値となる。ボディ側マイコン21は、新たな評価基準値Δth´を、更新した評価基準値Δthとして記憶部26に記憶する。
上記のような評価基準値Δthの更新が行われると、画像の評価は次のようになる。すなわち、ユーザにより選択された画像における度数量の平均変化量Δaveが、更新前の評価基準値Δthよりも小さい場合は、更新後の評価基準値Δthは引き下げられる。この場合、被写体の動きが急峻でない画像であっても、その画像は高く評価される。また、ユーザにより選択された画像における度数量の平均変化量Δaveが、更新前の評価基準値Δthよりも大きい場合は、更新後の評価基準値Δthは引き上げられる。この場合、被写体の動きがより急峻な画像ほど高く評価される。
本実施形態によれば、度数量の時系列的な変化量を判定する際に使用される評価基準値Δthが、ユーザにより選択された画像における度数量の平均変化量Δaveに基づいて更新されるので、ユーザの嗜好する画像の特徴を反映した評価を行うことができる。
1.5 評価手法の学習について
1.5.1 評価手法の自動学習(1)
本実施形態では、評価結果の連続性に基づいて評価手法の重み付けを変更する場合について説明する。
本実施形態のボディ側マイコン21は、1つの画像に対して、互いに異なる評価手法A,B,Cを用いて評価を行う。すなわち、ボディ側マイコン21は、1つの画像を評価手法A,B,Cで評価し、評価手法ごとの評価結果を付加情報として画像に付加する。ボディ側マイコン21は、評価結果を付加した画像を、バッファ25に記憶する。
ボディ側マイコン21は、例えば、バッファ25に記憶している画像をメモリカード20に記憶する際に、評価手法A,B,Cにより再評価を実行する。図22は、撮像した画像とその評価結果を示す概念図である。初期設定において、各評価手法の重み付けはすべて「1」とする。
図22に示すように、連続する画像2、画像3、画像4の3枚は、いずれも評価手法Aによる評価結果が、他の評価手法B,Cによる評価結果よりも高い。この場合、ボディ側マイコン21は、評価手法Aの重み付けを、「1.5」に増やす。この例では、重み付けの値を50パーセント増加させている。他の評価手法B,Cの重み付けは「1」のままとする。これにより、画像4以降の評価においては、評価手法Aによる評価結果が、他の評価手法B,Cによる評価結果よりも高くなるように評価に反映される。
なお、画像4以降の評価において、再び連続する3枚の画像について、同一の評価手法による評価結果が、他の評価手法により評価結果よりも高いケースが発生した場合、ボディ側マイコン21は、その評価手法の重み付けを増やす。そして、以後の画像の評価を行う。また、最初に現れた連続する3枚(又は数枚)の画像において、同一の評価手法による評価結果が、他の評価手法により評価結果よりも高い場合に評価手法の重み付けを変更し、それ以後は評価手法の重み付けを変更しないようにしてもよい。
本実施形態では、同一の評価手法による評価結果が他の評価手法による評価結果よりも高い画像(以下、特定画像という)が3枚連続した場合において、評価手法の重み付けを増やすようにしている。しかし、特定画像が連続する枚数は3枚に限らず、任意に設定することができる。
本実施形態によれば、複数の連続する画像に対して高い評価を与えている、より好ましい評価手法による評価を、以後の画像に対する評価に反映させることができる。
1.5.2 評価手法の自動学習(2)
本実施形態では、複数の評価手法により評価を行う際に、高い評価結果を与えた割合に基づいて評価手法の重み付けを変更する場合について説明する。
本実施形態のボディ側マイコン21は、1つの画像に対して、互いに異なる評価手法A,B,Cを用いて評価を行う。すなわち、ボディ側マイコン21は、1つの画像を評価手法A,B,Cで評価し、評価手法ごとの評価結果を付加情報として画像に付加する。ボディ側マイコン21は、評価結果を付加した画像を、バッファ25に記憶する。
ボディ側マイコン21は、例えば、バッファ25に記憶している画像をメモリカード20に記憶する際に、評価手法A,B,Cにより再評価を実行する。図23は、撮像した画像とその評価結果を示す概念図である。初期設定において、各評価手法の重み付けはすべて「1」とする。
図23に示すように、5枚の画像1〜5において、評価手法Bは、画像1、画像3、画像4において、いずれも他の評価手法A,Cよりも高い評価を与えている。しかも、高い評価を与えている割合、すなわち高い評価を与えている画像の枚数が、他の評価手法A,Cによりも多い。この場合、ボディ側マイコン21は、評価手法Bの重み付けを、「1.5」に増やす。この例では、重み付けの値を50パーセント増加させている。他の評価手法A,Cの重み付けは「1」のままとする。これにより、画像5以降の評価においては、評価手法Bによる評価結果が、他の評価手法A,Cによる評価結果よりも高くなるように評価に反映される。この後、再び5枚の画像について同様の評価を行い、評価手法の重み付けを変更する。
本実施形態においては、高い評価を与えている評価手法の判断を5枚の画像について行っているが、これに限らず、任意に設定することができる。また、以下のような処理を行ってもよい。ボディ側マイコン21は、全体の数パーセント〜数十パーセントの枚数に相当する画像をバッファ25から読み出す。ボディ側マイコン21は、これらの画像の中から、他の評価手法よりも高い評価を与えていて、且つ高い評価を与えている割合が最も多い評価手法を抽出する。ボディ側マイコン21は、抽出した評価手法の重み付けを変更する。
本実施形態によれば、多くの画像に対して高い評価を与えている、より好ましい評価手法による評価を、以後の画像に対する評価に反映させることができる。
1.5.3 ユーザの選択した画像に基づく評価手法の学習
本実施形態では、複数の評価手法により評価を行う際に、ユーザにより選択された画像に基づいて、評価手法の重み付けを変更する場合について説明する。
本実施形態のボディ側マイコン21は、1.5.1の実施形態と同様に、1つの画像に対して、互いに異なる評価手法A,B,Cを用いて評価を行う。すなわち、1つの画像は、3つの評価手法によりそれぞれ評価され、評価手法ごとの評価結果、及び合計の評価結果が付加情報として付加される。
ボディ側マイコン21は、評価結果を付加した画像をバッファ25に記憶する。ボディ側マイコン21は、ユーザが不図示の操作部を介して画像再生の操作を行うと、バッファ25に記憶している複数の画像を表示パネル28に表示する。これらの画像には、評価結果が付加されている。ボディ側マイコン21は、バッファ25に記憶している複数の画像を順に読み出して、表示パネル28に一定時間だけ表示する(ユーザが不図示の操作部を操作するのに応じて、バッファ25に記憶している複数の画像を表示パネル28に順に表示するようにしてもよい)。
ユーザが表示パネル28に画像が表示されているときに、不図示の操作部を介して選択の操作を行うと、その画像がユーザにより選択された画像となる。ボディ側マイコン21は、ユーザにより選択指示された画像(以下、選択画像という)と、その評価結果を、メモリカード20に記憶する。ボディ側マイコン21は、選択画像に対して高い評価を与えた評価手法の重み付けを増やす。
ボディ側マイコン21は、選択画像の枚数が所定枚数(本実施形態では10枚)に達した以後は、残りの画像を、重み付けを変更した評価手法A,B,Cにより再評価する。ボディ側マイコン21は、再評価した画像のうち、高い評価を与えた画像を選択的に表示パネル28に表示する。すなわち、ユーザにより選択された画像の枚数が10枚に達した以後は、低い評価を与えた画像は表示パネル28に表示されなくなる。この後も、表示パネル28に表示した画像に対してユーザが選択の操作を行うと、ボディ側マイコン21は、選択画像と、その評価結果を、メモリカード20に記憶する。また、ボディ側マイコン21は、選択画像に対して高い評価を与えた評価手法の重み付けを増やす。以後、ボディ側マイコン21は、バッファ25に記憶している画像がなくなるまで上記の処理を繰り返し実行する。
次に、ユーザにより選択された画像に基づいて、評価手法の重み付けを変更する場合の処理手順を図24に示すフローチャートを参照しながら説明する。図24に示すフローチャートの処理は、ボディ側マイコン21により実行される。本実施形態では、評価手法Aの重み付けをW1、評価手法Bの重み付けをW2、評価手法Cの重み付けをW3とする。初期設定において、3つの評価手法の重み付けは、いずれも「1」とする。画像1枚ごとの合計の評価結果Eは下記の式(1)で表わされる。
E=W1×(評価手法A)+W2×(評価手法B)W3×(評価手法C)・・・(1)
ステップS201において、ボディ側マイコン21は、バッファ25から読み出す画像番号nを1とする。ステップS202において、ボディ側マイコン21は、バッファ25から画像番号nの画像を読み出す。ステップS203において、ボディ側マイコン21は、読み出した画像を表示パネル28に表示する。このとき、ボディ側マイコン21は、不図示のタイマーによる計時を開始する。
ステップS204において、ボディ側マイコン21は、不図示の操作部を介して、ユーザ操作を取得する。ここでは、ユーザ操作として、画像の選択指示が行われるものとする。ステップS205において、ボディ側マイコン21は、不図示のタイマーによる計時が所定時間を経過したかどうかを判定する。ボディ側マイコン21は、ステップS205の判定でNOであれば、ステップS203へリターンする。ボディ側マイコン21は、ステップS205の判定でYESであれば、ステップS206へ進む。
ステップS206において、ボディ側マイコン21は、ユーザによる画像の選択指示が有るかどうかを判定する。ボディ側マイコン21は、ステップS206の判定でNOであれば、ステップS207へ進む。ステップS207において、ボディ側マイコン21は、画像番号nをn+1とし、ステップS202へリターンする。ボディ側マイコン21は、ステップS206の判定でYESであれば、ステップS208へ進む。
ステップS208において、ボディ側マイコン21は、選択画像に対して高い評価を与えた評価手法が有るかどうかを判定する。ボディ側マイコン21は、ステップS208の判定でYESであれば、ステップS209へ進む。ステップS209において、ボディ側マイコン21は、選択画像に対して高い評価を与えた評価手法の重み付けを変更する。ステップS210において、ボディ側マイコン21は、重み付けを変更した式(1)に従って、残り画像を再評価する。
ステップS211において、ボディ側マイコン21は、選択画像と、その評価結果をメモリカード20に記憶する。ステップS212において、ボディ側マイコン21は、バッファ25に残り画像が有るかどうかを判定する。ステップS212の判定でYESであれば、ボディ側マイコン21は、ステップS213へ進む。ステップS213において、ボディ側マイコン21は、選択画像の枚数が10枚以上かどうかを判定する。
ステップS213の判定でNOであれば、ボディ側マイコン21は、ステップS207へ進む。すなわち、選択画像が10枚に達していない場合、ボディ側マイコン21は、バッファ25から次の画像を読み出す。ステップS213の判定でYESであれば、ボディ側マイコン21は、ステップS214へ進む。
ステップS214において、ボディ側マイコン21は、バッファ25に記憶されている画像を順に検索して、評価の高い画像を読み出す。ボディ側マイコン21は、画像に付加されている評価結果を参照し、合計の評価結果が所定の点数以上の画像を読み出す。ステップS214に続いて、ボディ側マイコン21は、ステップS203へ進む。これにより、選択画像の枚数が10枚以上となった以後は、評価の高い画像のみが表示パネル28に表示される。
ステップS212の判定でNOであれば、ボディ側マイコン21は、ステップS215に進む。ステップS215おいて、ボディ側マイコン21は、画像番号nを0(ゼロ)とし、本フローチャートの処理を終了する。
なお、上記フローチャートの処理において、選択画像の枚数に係わらず、バッファ25に記憶しているすべての画像を順に読み出して表示パネル28に表示するようにしてもよい。
本実施形態では、ユーザの選択した画像に基づいて、評価手法の重み付けを変更し、残りの画像を再評価するようにしている。本実施形態によれば、表示する画像が所定枚数を過ぎてからは、徐々にユーザの嗜好に合った画像を表示することができる。このため、撮影した画像を再生したときに、ユーザは画像の選別を短時間で行うことができる。また、以後の撮影において、ユーザの嗜好に合った画像の評価を高くすることができる。
1.6 評価結果のフィードバックについて
ボディ側マイコン21は、撮影した画像の評価結果を、その後の撮影に役立つようにユーザにフィードバックする。以下、2つの実施形態について説明する。
1.6.1 撮影条件の自動補正
本実施形態は、例えば、レリーズボタンを押し続けて、連続して複数枚の画像を撮影する場合に、途中から撮影条件を自動的に補正する処理を行うものである。このために、ボディ側マイコン21は、撮影条件補正手段の処理として、バッファ25に記憶した複数の画像の評価結果の中に補正を要する評価項目が存在する場合に、この評価項目に基づいて、撮像センサ7で撮像する際の条件を補正する処理を実行する。ここで、撮像する際の条件とは、絞り値やシャッタスピード等の露出条件、焦点調節、撮影感度等の各種条件が含まれる。
例えば、連続撮影中の最初の10枚における評価結果において、露出が適正な範囲にないとする。ボディ側マイコン21は、露出の評価項目の点数が低い場合には、11枚目以降の撮影において、絞り値やシャッタスピード等の露出条件を適宜に変更して、適正露出となるように補正する。これにより、例えば、50枚の連続撮影が行われた場合、前半の10枚については露出が適正でなくても、後半の40枚については、適正露出の画像が得られる。このような補正は、例えば10枚毎というように、連続撮影中に繰り返し実行してもよい。
本実施形態では、露出条件を変える場合について説明したが、焦点調節、撮影感度等を補正してもよいし、複数の条件を同時に補正してもよい。また、このような撮影条件の補正は、レリーズボタンの1回押しで複数枚を連続撮影するモードに適用することもできる。
1.6.2 好ましい設定や操作等の提案
本実施形態は、画像の評価結果に基づいて、ユーザに対し最適な画像を撮影するための設定や操作等を提案するものである。このために、ボディ側マイコン21は、補正情報抽出手段の処理として、バッファ25に記憶している画像の評価結果を分析して、その画像の評価結果をより高めるための補正情報を抽出する処理を実行する。次に、ボディ側マイコン21は、この補正情報を表示パネル28に表示する処理を実行する。ここで、補正情報は、1又は複数の情報からなり、文字や記号によるメッセージ表示、バーグラフ表示、グラフィック表示等のほか、音声等も含まれる。
図25は、表示パネル28に表示される画像評価画面の一例を示す概念図である。この表示パネル28上には、常時は絞り値、シャッタスピード、撮影モード等が表示される。また、ユーザが設定画面上のメニューで画像評価モードの項目を選択することで、図25に示すような画面が表示される。以下、各表示エリアの表示内容について説明する。
画像表示エリア41は、評価の対象となる画像を表示するエリアである。画像表示エリア41のスポット枠41aは、主要被写体として推定された部分を示している。スポット枠41aで示された領域は、サブ表示エリア42に拡大画像として表示される。これにより、ユーザはどの部分が主要被写体として推定されたかを把握することができる。
ヒストグラム表示エリア43は、撮影した画像におけるカラー階調の度数分布を示すヒストグラムの表示エリアである。このエリアの下側には、主要被写体として推定された部分のヒストグラム内での位置を示すインジケータ43aが表示される。これにより、ユーザは撮影した画像の色合いの分布や色の偏り等を確認することができる。
アシスト情報表示エリア44は、例えば、画像にブレが生じている場合に、シャッタスピードを速くしたり、撮影感度を上げる、或いは手振れ補正モードを設定したりする等の提案をメッセージ表示するエリアである。これにより、ユーザは最適な画像を撮影するための具体的な操作や設定についての情報を得ることができる。なお、アシスト情報表示エリア44には、具体的な数値を用いたメッセージ、例えば「感度をISO800に上げて」等を表示してもよい。
評価結果表示エリア45は、画像表示エリア41に表示されている画像の評価結果を表示するエリアである。上述したように、評価した画像にはそれぞれの評価項目に応じた点数が加算される。ここでは点数ではなく、例えばA〜Eの5段階の表示を行っている。このような表示を行うことにより、ユーザに対して画像の評価結果をより理解しやすい形で提供することができる。なお、評価結果の点数を、100点を満点とするポイントに換算して表示してもよい。
露出条件表示エリア46は、露出補正値やホワイトバランスの補正値を表示するエリアである。撮影した画像の露出に関する評価結果が低い場合、例えば白とび領域が多ければ、アンダー側に露出補正するための推奨補正値を露出補正エリア46aに表示する。また、黒つぶれ領域が多ければ、オーバー側に露出補正するための推奨補正値を露出補正エリア46aに表示する。また、顔位置でのホワイトバランスの値が適正な範囲から外れている場合は、その値を適正な範囲に収めるため、ホワイトバランス補正エリア46bに推奨補正値を表示する。これによりユーザは、露出補正のために必要な補正値を具体的な数値により知ることができる。
焦点位置表示エリア47は、主要被写体の位置における合焦状態を示すエリアである。ここでは、図2のステップS108のピントの評価において、後ピンや前ピンと判断された場合は、オートフォーカスの合焦位置を前又は後ろ寄りに微調整するよう提案する表示を行う。図25では、調節値と調節方向(前方プラス、後方マイナス)を表示した例を示している。これにより、ユーザはピントの悪い原因を理解することができると共に、どの程度の調整をすればよいかを知ることができる。
上記実施形態のほかにも、例えば、ピント・ブレ評価をしたエッジ部分を画像表示エリア41にピーキング表示して、ユーザがピント・ブレの状態を一目で分かるようにしてもよい。また、顔部分についての色座標をサブ表示エリア42等に表示して、ホワイトバランスの状態が視覚的に分かるようにしてもよい。
更に、露出補正において、白とびや黒つぶれの評価では適正であっても、主要被写体の露出が不適切な場合がある。そのときは、アシスト情報表示エリア44に、階調制御の設定を変化させる提案表示を行うようにしてもよい。
なお、以上説明した実施形態において、図25に示す画像評価画面は、最適な画像を撮影するための設定や操作を提案するものである。このため、実際の設定や操作は別途、設定画面等を通じて行う。例えば、オートフォーカスの合焦位置の調節は、オートフォーカス微調節の設定画面を選択して設定、登録する。
実施形態1に係わるカメラ1は、以下の効果を有する。なお、実施形態1に係わるカメラ1は、以下に示す効果以外にも、実施形態中に記載した各種の効果を有する。
(1)バッファ25に記憶している画像情報を、複数フレームの画像を撮像した際に撮影フレーム内で時系列に変化する特徴量に基づいて評価するようにしている。このため、顔等の画像の部分的な特徴に注目して画像を評価する手法に比べて、画像全体を総合的に評価することができる。この結果、より良い画像の評価を行うことができる。
(2)バッファ25に記憶している画像情報を、撮影した画像を複数のブロックに分割したときの各ブロックのフレーム間で生じる動きベクトルを特徴量として評価するようにしたので、とくに動きのある被写体を撮影した場合に有効な評価を行うことができる。
(3)また、バッファ25に記憶している画像情報を、撮影した画像を複数のブロックに分割したときの各ブロックのフレーム間で生じるデフォーカス量を特徴量として評価するようにしてもよい。この場合は、とくにピントを優先した画像を撮影したい場合に有効な評価を行うことができる。
(4)バッファ25に記憶している画像情報を、動きベクトルやデフォーカス量等の特徴量と主要被写体の位置とに基づいて評価するようにしている。このため、更に総合的な評価を行うことができる。この場合は、とくに被写体として人物を撮影したい場合に、より有効な評価を行うことができる。
(5)ボディ側マイコン21が評価した画像に評価結果を付加情報として付加してバッファ25に記憶するようにしている。このため、撮影時だけでなく、撮影後にも評価結果を参照することができる。
(6)バッファ25に記憶している複数の画像の中から、評価結果の点数が所定閾値以上の画像を少なくとも1つ選択し、その画像と評価結果をバッファ25に残し、その他の画像と評価結果をバッファ25から削除するようにしたときは、不要な画像のデータを削減することができるので、バッファ25の記憶エリアを有効利用することができる。
(7)バッファ25に記憶した複数の画像の評価結果の中に補正を要する評価項目が存在するときに、この評価項目に基づいて撮像センサ7で撮像する際の条件を補正するようにしたときは、評価の低い画像を少なくすることができる。とくに、1度に複数枚の画像を連写するような場合には、評価の低い画像が多数撮影されるのを防ぐことができる。
(8)バッファ25に記憶している画像の評価結果を分析して、その画像の評価結果をより高めるための補正情報を抽出し、この補正情報を表示パネル28に表示するようにしたときは、ユーザに対して、より良い画像を撮影するための提案を行うことができる。このように、評価結果をユーザにフィードバックするだけでなく、より良い画像を撮影するためのヒントやアドバイスを提案することによって、ユーザは更に評価の高い画像を撮影することが可能となる。
次に、実施形態2として、本発明に係わる画像評価装置をカメラボディにレンズが内蔵又は一体化されたカメラに適用した例について説明する。なお、以下の説明において、実施形態1と同等部分については、同一符号を付して説明する。
2.実施形態2
2.1 カメラ1Aの構成
図26は実施形態2に係わるカメラの機能的な構成を示すブロック図である。図26に示すカメラ1Aでは、焦点調節や測光、露出に関する各部の動作を1つのマイコン29で制御している。また、撮像センサ7は測光(露光)だけでなく、焦点検出、電子シャッタとしての機能を備えている。したがって、本実施形態におけるマイコン29は、図1の焦点検出部22、シャッタ制御部23としての機能を備えている。
2.2 撮像の手順及び動作について
次に、上記のように構成された実施形態2のカメラ1Aにおいて、画像の撮影から記憶までの一連の処理手順を図27のフローチャートを参照しながら説明する。図27に示すフローチャートの処理は、マイコン29により実行される。このフローチャートに基づく処理は、ユーザが不図示の設定画面で画像評価モードの項目を選択したうえで、不図示のレリーズボタンが半押しされたときからスタートする。以下の説明において、実施形態1と同じ処理については、実施形態1の対応するステップ番号を示して、重複した説明を省略する。
ステップS301において、マイコン29は、撮像センサ7で画像を撮像(露光)する。ここで撮像された画像は画像信号として画像処理部24へ出力される。
ステップS302〜ステップS305におけるマイコン29の処理は、図2のステップS103〜ステップS106の処理と同じである。
ステップS306において、マイコン29は、ステップS305で求めた主要被写体の位置を用い、ステップS302で算出した輝度情報と合わせて、主要被写体の輝度を考慮した露出演算を行う。マイコン29は、露出演算により求めた適正露出値に基づいて、絞り値とシャッタスピードを決定する。そして、マイコン29は、絞り値に基づいて絞り制御部17を制御して絞り調節を行う。また、マイコン29は、シャッタスピードに基づいて撮像センサ7での露光量を調節する。
ステップS307、ステップS308、ステップS309におけるマイコン29の処理は、図2のステップS108、ステップS113、ステップS114の処理と同じである。
ステップS310において、マイコン29は、不図示のレリーズボタンが全押しされたかどうかを判定する。ステップS310の判定でNOであれば、マイコン29は、ステップS312へ進む。また、ステップS310の判定でYESであれば、マイコン29は、ステップS311へ進む。ステップS311において、マイコン29は、バッファ25に記憶している画像をメモリカード20に記録する。
カメラ1Aは、レリーズボタンが半押しされてから全押しされるまでの間、指定された枚数の画像を記録する撮影モードを備える。本フローチャートは、この撮影モードが選択された場合の処理を示す。この撮影モードでは、レリーズボタンが半押しされている間も連続して画像が記録されるので、バッファ25の記憶容量を確保する必要がある。このため、マイコン29は、バッファ25に記憶された画像が所定枚数を超えるときは、記録した時間が古い画像から順にバッファ25から消去する。これにより、バッファ25には常に所定枚数の画像が記録される。そして、マイコン29は、レリーズボタンが全押しされたときは、全押し前の数コマの画像と、全押し後の所定枚数の画像とを、バッファ25に記憶する。マイコン29は、レリーズボタンの全押しが解除された場合は、バッファ25に記憶している画像をメモリカード20に記憶する。
ステップS312において、マイコン29は、レリーズボタンが半押し中かどうかを判定する。ステップS312の判定でNOであれば、本フローチャートの処理を終了する。一方、ステップS312の判定でYES(ここでは全押しを含む)であれば、マイコン29は、ステップS301へリターンする。
実施形態2に係わるカメラ1Aは、実施形態1と同様の効果を有する。また、実施形態1で説明した評価手法や学習機能等も、同様に適用することができる。ただし、一眼レフカメラとの構造的な違いにより処理の順番や内容は一部相違する。
[変形形態]
以上説明した実施形態に限定されることなく、本発明は以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
実施形態1では、レリーズボタンの半押し中に画像の評価を行うようにしている。これに対し、レリーズボタンの半押し中は画像の評価に必要な各種演算のみを行い、レリーズボタンが全押しされた後に、バッファ25に記憶している画像について評価を行うようにしてもよい。
実施形態1では、レンズ鏡筒3の内部にレンズ駆動部15を備えた構成を示している。これに対し、カメラボディ2にレンズ駆動部15を備えた構成としてもよい。この場合は、レンズ駆動部15の駆動力を、不図示のカップリングを介して撮影レンズ13に伝達する。また、レンズ側マイコン18の制御をボディ側マイコン21で実行してもよい。
また更に、動きベクトルのヒストグラム分布上におけるピーク度数の、ヒストグラム分布座標上における位置のうち、原点(各ヒストグラム分布のうち、手振れなどカメラ本体の動き成分を除去したヒストグラム分布の原点)から最も離間した位置のピーク度数と、その原点との間の絶対的な距離(長さ)が、他の画像に比して相対的に大きい画像の評価を高めるようにしてもよい。これにより、画面内の被写体が急激に変化(移動や変形等)をしたときの画像の評価を高めることができる。図面を用いて具体的に説明すると、例えば、図18(a)において、原点から最も離れたピーク度数はピーク度数Cであるので、この画像における絶対距離は原点とピーク度数Cとを直線で結んだ長さになる。そして、不図示ではあるが、この図18(a)に示したピーク度数Cよりも原点からの距離が遠い位置にピーク度数を有するヒストグラム分布を形成する画像があった場合には、その画像の評価を相対的に高めに評価することになる。
本発明に係わる画像評価装置をパーソナルコンピュータに搭載してもよい。このパーソナルコンピュータは、画像を表示するモニタ装置のほか、画像ファイルをメモリカードや通信回線を介して入力するI/F部を備える。
なお、実施形態1、2及び変形形態は、適宜に組み合わせて用いることもできるが、ここでは詳細な説明を省略する。また、本発明は、上記各実施形態に限定されない。
1,1A:カメラ、2:カメラボディ、3:レンズ筺体、7:撮像センサ、13:撮像レンズ、14:絞りユニット、15:レンズ駆動部、距離検出部16、17:絞り制御部、18:レンズ側マイコン、20:メモリカード、21:ボディ側マイコン、22:焦点検出部、23:シャッタ制御部、24:画像処理部、25:バッファ、26:記憶部、27:I/F部、28:表示パネル、29:マイコン

Claims (32)

  1. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記記憶手段は、複数の前記画像が撮像されたときの、各画像におけるデフォーカス量を前記画像と共に記憶しており、
    前記画像評価手段は、
    前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる前記デフォーカス量の変化状態の度数分布を算出し、前記デフォーカス量の変化状態の度数分布を、前記特徴量として評価することを特徴とする画像評価装置。
  2. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記記憶手段は、複数の前記画像が撮像されたときの、各画像におけるデフォーカス量を前記画像と共に記憶しており、
    前記画像評価手段は、
    前記記憶手段に記憶している複数の前記画像から、前記撮影画面内に設定された複数の焦点検出位置で検出されたデフォーカス量の変化に基づいて、前記被写体の前記撮影画面内における相対移動状態を算出し、前記相対移動状態を前記特徴量として評価することを特徴とする画像評価装置。
  3. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記画像評価手段は、
    前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を形成する、閾値度数以上の度数をもつピーク度数の個数を算出し、前記ピーク度数の個数に基づいて、前記評価を行なうことを特徴とする画像評価装置。
  4. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記画像評価手段は、
    前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を形成する、閾値度数以上の度数をもつピーク度数の個数を算出し、当該ピーク度数の個数に基づいて、前記評価を行うと共に、
    前記動きベクトルの度数分布を形成する、閾値度数以上の度数をもつピーク度数の個数が変化してから所定時間内に撮像された画像に対する評価を、その他の画像に対する評価よりも相対的に高くすることを特徴とする画像評価装置。
  5. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記画像評価手段は、
    前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を特徴量として算出すると共に、前記動きベクトルの度数分布と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布との類似性に基づいて、前記評価を行うことを特徴とする画像評価装置。
  6. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記画像評価手段は、
    前記画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布における分散度を前記特徴量とし、
    前記動きベクトルの度数分布における分散度と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布における分散度との類似性に基づいて、前記評価を行うことを特徴とする画像評価装置。
  7. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記画像評価手段は、
    前記記憶手段に記憶している複数の前記画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を算出すると共に、閾値度数以上の度数量をもつピーク度数で形成される、前記動きベクトルの度数分布を抽出し、前記動きベクトルの度数分布に含まれる前記ピーク度数の度数量の変化量と、前記度数量の変化量の評価基準とに基づいて、前記評価を行うことを特徴とする画像評価装置。
  8. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記画像評価手段は、1つの画像に対して、互いに異なる複数の評価手法を用いて評価する機構を備え、
    前記評価の対象となった複数の前記画像において、同一の評価手法による評価が他の評価手法の評価よりも高い画像が予め決められた複数枚連続している場合は、同一の前記評価手法による評価を、他の前記評価手法による評価よりも高くして、複数の前記画像に対する評価を行うことを特徴とする画像評価装置。
  9. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記画像評価手段は、1つの画像に対して、互いに異なる複数の評価手法を用いて評価する機構を備え、
    前記評価の対象となった複数の前記画像に対して、他の評価手法よりも高評価を与えている評価手法で、且つ複数の前記評価手法の中で、複数の前記画像に対して高評価を与えている割合が最も多い評価手法による評価を、他の前記評価手法による評価よりも相対的に高くして、複数の前記画像に対する評価を行うことを特徴とする画像評価装置。
  10. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    前記記憶手段に記憶した複数の画像の評価結果の中に、補正を要する評価項目が存在する場合は、前記評価項目に基づいて前記カメラで撮像する際の条件が補正されるように制御する撮像条件補正手段を備えること、
    を特徴とする画像評価装置。
  11. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    少なくとも前記記憶手段に記憶した画像、及び前記画像に関する補正情報を表示する表示手段と、
    前記記憶手段に記憶した画像の評価結果を分析して、前記画像の評価結果をより高めるための補正情報を抽出する補正情報抽出手段と、
    を備え、
    前記画像評価手段は、
    前記記憶手段に記憶した画像と、前記補正情報抽出手段により抽出された前記画像の補正情報とを前記表示手段に表示させること、
    を特徴とする画像評価装置。
  12. 請求項に記載の画像評価装置において、
    前記画像評価手段は、
    前記画像の中央付近の領域における前記動きベクトルの度数分布と、前記中央付近の領域において好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布との類似性に基づいて、前記評価を行うことを特徴とする画像評価装置。
  13. 請求項に記載の画像評価装置において、
    前記画像評価手段は、
    前記画像の中央付近にあり、且つ背景でない領域と色が似ていて、当該領域と前記色の連続性を有する領域について前記動きベクトルの度数分布を前記特徴量として算出することを特徴とする画像評価装置。
  14. 請求項5、12又は13のいずれか一項に記載の画像評価装置において、
    前記画像評価手段は、
    前記動きベクトルの度数分布に含まれる、撮影画面の動き成分を除去することを特徴とする画像評価装置。
  15. 請求項5、12乃至14のいずれか一項に記載の画像評価装置において、
    前記画像評価手段は、
    前記動きベクトルの度数分布と前記動きベクトルのモデル度数分布とをそれぞれ2次元のグラフに変換すると共に、当該2次元のグラフの展開領域を複数の分割領域に分割し、2次元のグラフに変換した前記動きベクトルの度数分布及び前記好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布について、対応する前記分割領域毎に度数差の絶対値を算出し、当該絶対値の和を前記類似性とすることを特徴とする画像評価装置。
  16. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記画像評価手段は、
    前記画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布における分散度を前記特徴量とし、
    複数の前記画像から算出した前記動きベクトルの度数分布の中から、閾値度数以上の度数量をもつピーク度数に基づいて形成される前記動きベクトルの度数分布を抽出し、当該動きベクトルの度数分布における分散度と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布における分散度との類似性に基づいて、前記評価を行うことを特徴とする画像評価装置。
  17. 請求項5、7、12乃至16のいずれか一項に記載の画像評価装置において、
    前記画像評価手段は、
    前記評価の対象となった画像のうち、ユーザにより選択された画像の動きベクトルの度数分布の傾向に基づいて、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布を更新することを特徴とする画像評価装置。
  18. カメラの撮影画面内の被写体を、前記カメラの撮像手段が所定時間間隔で連続的に複数フレーム撮像したときの複数の画像を記憶する記憶手段と、
    前記記憶手段に記憶している複数の画像を、複数の前記画像を撮像した際に前記撮影画面内で前記被写体が時系列的に変化している状態を示す特徴量に基づいて評価する画像評価手段と、
    を備え、
    前記画像評価手段は、
    前記画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布における分散度を前記特徴量とし、
    前記動きベクトルの度数分布における分散度と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布における分散度との類似性に基づいて、前記評価を行うと共に、
    前記評価の対象となった画像のうち、ユーザにより選択された画像の動きベクトルの度数分布における分散度の傾向に基づいて、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布における分散度を更新することを特徴とする画像評価装置。
  19. 請求項16に記載の画像評価装置において、
    前記画像評価手段は、
    前記評価の対象となった画像のうち、ユーザにより選択された画像の動きベクトルの度数分布に含まれるピーク度数の度数量に基づいて、前記評価基準として設定された動きベクトルのモデル度数分布を定義する際に使用される、当該モデル度数分布に含まれるピーク度数の度数量を更新することを特徴とする画像評価装置。
  20. 請求項に記載の画像評価装置において、
    前記画像評価手段は、
    前記評価の対象となった画像のうち、ユーザにより選択された画像の動きベクトルの度数分布に含まれるピーク度数の度数量に基づいて、閾値度数以上の度数量をもつピーク度数で形成される、前記動きベクトルの度数分布を抽出する際の前記閾値度数を更新することを特徴とする画像評価装置。
  21. 請求項又は20に記載の画像評価装置において、
    前記画像評価手段は、
    前記評価の対象となった画像のうち、ユーザにより選択された画像の動きベクトルの度数分布に含まれる前記ピーク度数の度数量の変化量に基づいて、前記評価基準を更新することを特徴とする画像評価装置。
  22. 撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、
    被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
    前記記憶手段は、前記撮像手段により撮像される際のデフォーカス量を、前記複数フレームの画像と共に記憶しており、
    前記画像評価手段は、前記記憶手段に記憶されている前記複数フレームの画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる前記デフォーカス量の変化状態の度数分布を算出し、前記デフォーカス量の変化状態の度数分布を前記特徴量として評価することを特徴とする画像評価装置。
  23. 撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、
    被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
    前記記憶手段は、前記撮像手段により撮像される際のデフォーカス量を、前記複数フレームの画像と共に記憶しており、
    前記画像評価手段は、前記記憶手段に記憶されている前記複数フレームの画像から、複数の焦点検出位置で検出された前記デフォーカス量の変化に基づいて、前記被写体の撮影画面内における相対移動状態を算出し、前記相対移動状態を前記特徴量として評価することを特徴とする画像評価装置。
  24. 撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、
    被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
    前記画像評価手段は、前記記憶手段に記憶されている前記複数フレームの画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を形成する、閾値度数以上の度数をもつピーク度数の個数を算出し、前記ピーク度数の個数に基づいて、前記評価を行なうことを特徴とする画像評価装置。
  25. 撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、
    被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
    前記画像評価手段は、前記記憶手段に記憶されている前記複数フレームの画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を特徴量として算出すると共に、前記動きベクトルの度数分布と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布との類似性に基づいて、前記評価を行うことを特徴とする画像評価装置。
  26. 撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、
    被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
    前記画像評価手段は、前記画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布における分散度を前記特徴量とし、前記動きベクトルの度数分布における分散度と、好ましい画像の評価基準として予め設定されている動きベクトルのモデル度数分布における分散度との類似性に基づいて、前記評価を行うことを特徴とする画像評価装置。
  27. 撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、
    被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
    前記画像評価手段は、前記記憶手段に記憶されている前記複数フレームの画像から、各画像を複数の分割領域に分割したときの各分割領域のフレーム間で生じる動きベクトルの度数分布を算出すると共に、閾値度数以上の度数量をもつピーク度数で形成される、前記動きベクトルの度数分布を抽出し、前記動きベクトルの度数分布に含まれる前記ピーク度数の度数量の変化量と、前記度数量の変化量の評価基準とに基づいて、前記評価を行うことを特徴とする画像評価装置。
  28. 撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、
    被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
    前記画像評価手段は、1つの画像に対して、互いに異なる複数の評価手法を用いて評価する機構を備え、
    前記評価の対象となった複数の前記画像において、同一の評価手法による評価が他の評価手法の評価よりも高い画像が予め決められた複数枚連続している場合は、同一の前記評価手法による評価を、他の前記評価手法による評価よりも高くして、複数の前記画像に対する評価を行うことを特徴とする画像評価装置。
  29. 撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、
    被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段とを備え、
    前記画像評価手段は、1つの画像に対して、互いに異なる複数の評価手法を用いて評価する機構を備え、
    前記評価の対象となった複数の前記画像に対して、他の評価手法よりも高評価を与えている評価手法で、且つ複数の前記評価手法の中で、複数の前記画像に対して高評価を与えている割合が最も多い評価手法による評価を、他の前記評価手法による評価よりも相対的に高くして、複数の前記画像に対する評価を行うことを特徴とする画像評価装置。
  30. 撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、
    被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段と、
    前記記憶手段に記憶されている前記複数フレームの画像の評価結果の中に、補正を要する評価項目が存在する場合は、前記評価項目に基づいて前記撮像手段で撮像する際の条件が補正されるように制御する撮像条件補正手段を備えることを特徴とする画像評価装置。
  31. 撮像手段により撮像された複数フレームの画像を記憶する記憶手段と、
    被写体が時系列的に変化している状態を示す特徴量に基づいて、前記記憶手段に記憶されている前記複数フレームの画像を評価する画像評価手段と、
    少なくとも前記記憶手段に記憶されている前記画像、及び前記画像に関する補正情報を表示する表示手段と、
    前記記憶手段に記憶した画像の評価結果を分析して、前記画像の評価結果をより高めるための補正情報を抽出する補正情報抽出手段と、
    を備え、
    前記画像評価手段は、
    前記記憶手段に記憶されている前記画像と、前記補正情報抽出手段により抽出された前記画像の補正情報とを前記表示手段に表示させること、を特徴とする画像評価装置。
  32. 請求項1乃至31のいずれか一項に記載の前記画像評価装置を備えるカメラ。
JP2009237106A 2008-10-16 2009-10-14 画像評価装置及びカメラ Active JP5423305B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009237106A JP5423305B2 (ja) 2008-10-16 2009-10-14 画像評価装置及びカメラ
US12/588,398 US8929655B2 (en) 2008-10-16 2009-10-14 Image evaluation apparatus and camera
US14/104,595 US9565332B2 (en) 2008-10-16 2013-12-12 Image evaluation apparatus and camera

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008267499 2008-10-16
JP2008267499 2008-10-16
JP2009237106A JP5423305B2 (ja) 2008-10-16 2009-10-14 画像評価装置及びカメラ

Publications (2)

Publication Number Publication Date
JP2010119097A JP2010119097A (ja) 2010-05-27
JP5423305B2 true JP5423305B2 (ja) 2014-02-19

Family

ID=42240044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009237106A Active JP5423305B2 (ja) 2008-10-16 2009-10-14 画像評価装置及びカメラ

Country Status (2)

Country Link
US (2) US8929655B2 (ja)
JP (1) JP5423305B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5494963B2 (ja) * 2009-11-09 2014-05-21 株式会社リコー カメラシステム
JP5631106B2 (ja) 2010-08-18 2014-11-26 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム、並びに撮像装置
JP2012065128A (ja) * 2010-09-16 2012-03-29 Nikon Corp 画像評価装置及び画像評価プログラム
US20130308829A1 (en) * 2011-01-24 2013-11-21 Adc Technology Inc. Still image extraction apparatus
US8724854B2 (en) * 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization
JP5665655B2 (ja) * 2011-05-24 2015-02-04 株式会社日立製作所 画像処理装置及び方法
JP5858658B2 (ja) * 2011-06-20 2016-02-10 キヤノン株式会社 撮像装置
JP5868053B2 (ja) 2011-07-23 2016-02-24 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
JP2013054430A (ja) * 2011-09-01 2013-03-21 Nikon Corp 画像評価装置、撮像装置およびプログラム
JP2013115668A (ja) 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8872898B2 (en) * 2011-12-14 2014-10-28 Ebay Inc. Mobile device capture and display of multiple-angle imagery of physical objects
US9300907B2 (en) * 2012-07-25 2016-03-29 Unify Gmbh & Co. Kg Method for handling interference during the transmission of a chronological succession of digital images
JP6137847B2 (ja) * 2013-01-28 2017-05-31 オリンパス株式会社 撮像装置及び撮像装置の制御方法
US20150023230A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated Dual sim dual active subscriber identification module with a single transmit chain and dual or single receive chain
JP6286944B2 (ja) * 2013-08-28 2018-03-07 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、およびプログラム
JP6448334B2 (ja) * 2014-12-02 2019-01-09 キヤノン株式会社 表示制御装置及び表示制御装置の制御方法
JP6465705B2 (ja) * 2015-03-16 2019-02-06 キヤノン株式会社 動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置
JP6446329B2 (ja) * 2015-06-03 2018-12-26 株式会社日立製作所 カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法
JP6210106B2 (ja) * 2015-11-18 2017-10-11 カシオ計算機株式会社 撮影装置、画像評価方法及びプログラム
CN110910340A (zh) * 2018-08-28 2020-03-24 奥林巴斯株式会社 注解装置和注解方法
US10824923B1 (en) * 2019-01-23 2020-11-03 Facebook Technologies, Llc System and method for improving localization and object tracking
US11367169B2 (en) * 2019-04-26 2022-06-21 Lg Electronics Inc. Method for processing picture of automatic driving vehicle
CN111064935B (zh) * 2019-12-30 2022-01-18 中祖建设安装工程有限公司 一种智慧工地人员姿态检测方法及***
CN117041531B (zh) * 2023-09-04 2024-03-15 无锡维凯科技有限公司 一种基于图像质量评估的手机摄像头聚焦检测方法和***

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3226020B2 (ja) * 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
US6389168B2 (en) * 1998-10-13 2002-05-14 Hewlett Packard Co Object-based parsing and indexing of compressed video streams
JP2000209468A (ja) * 1999-01-18 2000-07-28 Nikon Corp 評価表示機能を有する電子カメラ、およびプログラムを記録した記録媒体
JP4377472B2 (ja) 1999-03-08 2009-12-02 株式会社東芝 顔画像処理装置
US7327891B2 (en) * 2001-07-17 2008-02-05 Yesvideo, Inc. Automatic selection of a visual image or images from a collection of visual images, based on an evaluation of the quality of the visual images
JP4639043B2 (ja) * 2003-11-28 2011-02-23 ソニー株式会社 動画像編集装置及び動画像編集方法
JP2005277981A (ja) 2004-03-26 2005-10-06 Seiko Epson Corp 画像処理のための対象画像の選択
JP4636887B2 (ja) * 2005-01-11 2011-02-23 キヤノン株式会社 光学機器
JP2008165700A (ja) 2007-01-05 2008-07-17 Seiko Epson Corp 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム
JP4826485B2 (ja) * 2007-01-25 2011-11-30 ソニー株式会社 画像保存装置、画像保存方法

Also Published As

Publication number Publication date
US20140098262A1 (en) 2014-04-10
US20100149361A1 (en) 2010-06-17
JP2010119097A (ja) 2010-05-27
US9565332B2 (en) 2017-02-07
US8929655B2 (en) 2015-01-06

Similar Documents

Publication Publication Date Title
JP5423305B2 (ja) 画像評価装置及びカメラ
JP4196714B2 (ja) デジタルカメラ
KR100924685B1 (ko) 촬상 장치 및 그 제어 방법
US8538252B2 (en) Camera
KR100839772B1 (ko) 대상 결정 장치 및 촬상 장치
JP5394296B2 (ja) 撮像装置及び画像処理方法
JP4582423B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
US8106995B2 (en) Image-taking method and apparatus
US7973833B2 (en) System for and method of taking image and computer program
KR20070014058A (ko) 촬상 장치 및 촬상 방법
JP2004320286A (ja) デジタルカメラ
JP2004317699A (ja) デジタルカメラ
JP2007324965A (ja) デジタルカメラ、撮影制御方法および画像出力システム
US20040252223A1 (en) Image pickup device, image pickup system and image pickup method
US7796163B2 (en) System for and method of taking image based on objective body in a taken image
JP5144724B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2004320285A (ja) デジタルカメラ
CN108471503A (zh) 摄像设备及其控制方法
US20210158537A1 (en) Object tracking apparatus and control method thereof
JP4567538B2 (ja) 露出量算出システムならびにその制御方法およびその制御プログラム
JP2009252069A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US11523047B2 (en) Imaging device, imaging method, and program
JP2022023643A (ja) 視線位置処理装置、撮像装置、学習装置、視線位置処理方法、学習方法、及びプログラム
US20220272271A1 (en) Image pickup apparatus capable of keeping focus on subject even when moving direction of subject changes in time series, control method for image pickup apparatus, and storage medium
JP2012065128A (ja) 画像評価装置及び画像評価プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5423305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250