JP2004294621A

JP2004294621A - Imaging apparatus

Info

Publication number: JP2004294621A
Application number: JP2003084799A
Authority: JP
Inventors: Shinichi Fujii; 真一藤井
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2003-03-26
Filing date: 2003-03-26
Publication date: 2004-10-21

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of precisely detecting an object moving. <P>SOLUTION: An image is inputted to a movement quantity detection part 40 at intervals of 1/30 second through an A/D converter 22. At the movement quantity detection part 40, a plurality of 1st lateral movement evaluation areas including 22 mutually adjacent longitudinally long divided areas are set for a specified image and a plurality of 2nd lateral movement evaluation areas including 22 mutually adjacent longitudinally long divided areas are set for images succeeding to the specified image with time. A luminance value of each longitudinally long divided area is calculated, and absolute values of differences in luminance value between corresponding longitudinally long divided area of each combination of 1st and 2nd lateral movement evaluation areas are summed up to obtain a lateral movement-luminance evaluation value. The relative position relation of evaluation areas in the combination of 1st and 2nd lateral movement evaluation areas having the minimum evaluation value is detected as a lateral subject movement quantity. A longitudinal object movement quantity is also detected in a similar method. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置に関する。
【０００２】
【従来の技術】
従来、デジタルカメラ等の撮像装置におけるオートフォーカス（自動合焦）技術として、画像のある領域に着目し、その領域からコントラスト等の評価値を求めることにより、被写体の合焦度合いを評価するものが知られている。この場合、撮影レンズを段階的に駆動して、評価値が最大になるレンズ位置を検出することにより、被写体像が合焦状態となるレンズ位置を特定してオートフォーカスを行うように構成される。このような技術では、被写体の合焦状態を正確に評価するために、撮影レンズの駆動に伴う変化度合いが比較的大きい評価値を用いることが望まれる。
【０００３】
また、オートフォーカスを行う場合、手ぶれや被写体ぶれ等によってオートフォーカスの動作中に被写体が画像平面内で移動する場合がある。このため従来は、時間的に連続する画像平面内を複数の領域に分割して、時間経過に伴う各領域の評価値の変化を検知することにより、被写体の移動を検出することも行われている（例えば、特許文献１）。このようなオートフォーカス用の評価値を用いた移動検出では、画像平面内における被写体の移動を正確に検出するために、被写体の移動を評価するための画像間に、被写体の移動以外の要因による画像変化は少ないことが望まれる。
【０００４】
このような技術に関する先行技術文献としては、以下のようなものがある。
【０００５】
【特許文献１】
特開２０００−１８８７１３号公報
【０００６】
【発明が解決しようとする課題】
しかし、上述した移動検出では、オートフォーカス用の評価値を用いて画像平面内における被写体の移動を検出するように構成されるため、被写体の移動を評価するための画像間に撮影レンズの駆動が行われることとなり、デフォーカス量の異なる画像で被写体の移動検出を行うことになる。このため、従来の移動検出では、被写体の移動以外の要因としてデフォーカス量の変化による大きな評価値変化が生ずることとなり、被写体の移動を誤検出する可能性が高いという問題がある。
【０００７】
そこで、本発明は上記課題に鑑みてなされたものであり、被写体の移動を精度良く検出することが可能な撮像装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するために、請求項１の発明は、撮像装置であって、時間的に連続する第１と第２の画像とを取得する撮像手段と、前記第１画像に対して第１評価領域を設定するとともに、前記第２の画像に対して第２評価領域を設定する設定手段と、前記第１評価領域についての輝度値と、前記第２評価領域についての輝度値とに基づいて輝度評価値を算出する算出手段と、前記輝度評価値に基づいて被写体の移動量を検出する検出手段とを備えることを特徴とする。
【０００９】
また、請求項２の発明は、請求項１に記載の撮像装置であって、前記算出手段が、前記第１評価領域を複数に分割した第１分割領域毎についての輝度値と、前記第２評価領域を複数に分割した第２分割領域毎についての輝度値とに基づいて前記輝度評価値を算出することを特徴とする。
【００１０】
また、請求項３の発明は、請求項２に記載の撮像装置であって、前記算出手段が、前記第１評価領域と前記第２評価領域との組合せ毎について、前記第１分割領域毎についての輝度値と、各前記第１分割領域と対応する前記第２分割領域毎についての輝度値との差分の絶対値の総和を前記輝度評価値として算出することを特徴とする撮像装置。
【００１１】
また、請求項４の発明は、請求項１から請求項３のいずれかに記載の撮像装置であって、前記移動量に基づいて、前記撮像手段によって取得される画像に対して設定される合焦評価領域を移動させる移動手段をさらに備えることを特徴とする。
【００１２】
また、請求項５の発明は、請求項１から請求項４のいずれかに記載の撮像装置であって、前記撮像手段によって取得される画像とともに前記被写体の位置を示す位置表示を表示する表示手段と、前記移動量に基づいて、前記画像に対する前記位置表示の位置を変更する変更手段とをさらに備えることを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００１４】
＜（１）第１実施形態＞
＜撮像装置１の機能構成＞
図１は本発明の第１実施形態に係る撮像装置（デジタルカメラ）１の内部構成を示すブロック図である。図１に示すように、撮像装置１は、主に、撮影レンズ１１、撮影機能部３、ＡＦ評価値算出部３０、移動量検出部４０、レンズ駆動部５０、操作部６０、及びカメラ制御部７０を備えて構成される。
【００１５】
撮影レンズ１１は、被写体に係る光学像をＣＣＤ撮像素子２１上に結像させるものである。撮影レンズ１１には光軸方向に沿って駆動可能なレンズ系が含まれている。そして、当該レンズ系を光軸方向に駆動することにより、ＣＣＤ撮像素子２１に結像される被写体像の合焦状態を実現することができるように構成されている。
【００１６】
ＣＣＤ撮像素子（以下、「ＣＣＤ」と略称する）２１は、２５６０×１９２０画素を有し、撮影レンズ１１により結像された被写体の光像を、Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。ここでは、ＣＣＤ２１に対して被写体の光像を結像させて光電変換による電荷信号を蓄積させる処理（以下、「撮像処理」と称する）が行われ、ＣＣＤ２１から順次電荷信号（画像信号）が読み出されて、出力される。そして、ＣＣＤ２１から出力される画像信号（画像）がＡ／Ｄ変換器２２に与えられる。
【００１７】
また、ＣＣＤ２１の駆動方式（読み出しモード）には、ドラフトモード、及び本撮影モードの２つのモードがある。
【００１８】
ドラフトモードは、画像を取得してメモリカード９などに記憶する撮影（以下、「本撮影」と称する）前に、プレビュー用となるライブビュー表示用の画像を生成するための読み出しモードであり、所謂ライブビュー表示時に適用される。一般的にＣＣＤ２１からの信号読み出しは水平ライン毎に行われる。このため、ドラフトモードにおいては、水平方向２５６０画素、垂直方向１９２０画素を有するＣＣＤ２１から水平ライン毎の画素信号を読み出す際、８ライン中１ラインを読み出すようにＣＣＤ２１が駆動される。つまり、ドラフトモード時には、１９２０の水平ラインが１／８間引きされた状態で読み出されるのである。この結果、ドラフトモード時にＣＣＤ２１から出力される画像は、２５６０×２４０の画素で構成されることになる。
【００１９】
また、本撮影モードはフレーム全体、すなわち２５６０×１９２０の全画素を読み出し対象として画像信号を読み出すモードである。そしてタイミングジェネレータ２７はこれらの読み出しモードのうち指定されるモードについてＣＣＤ２１の駆動タイミングを制御する。
【００２０】
タイミングジェネレータ２７は、ＣＣＤ２１の駆動を制御するための各種のタイミングパルスを生成するものであり、カメラ制御部７０から送信される基準クロックに基づきＣＣＤ２１の駆動制御信号を生成する。このタイミングジェネレータ２７は、例えば積分開始／終了（露出開始／終了）のタイミング信号、各画素の受光信号の読出制御信号（水平同期信号，垂直同期信号，転送信号等）等のクロック信号を生成し、ＣＣＤ２１に出力する。
【００２１】
そして、ＣＣＤ２１から出力される画像信号はＡ／Ｄ変換器２２に与えられる。例えば、本撮影前にライブビュー表示を行う状態（以下、「ライブビュー表示状態」と称する）においては、タイミングジェネレータ２７からの駆動制御信号に基づいて、ＣＣＤ２１から１／３０秒毎にＡ／Ｄ変換器２２に対して画像信号（２５６０×２４０画素）が入力される。つまり、ＣＣＤ２１が、時間的に連続する画像（フレーム）を１／３０秒毎に取得する。
【００２２】
Ａ／Ｄ変換器２２は、ＣＣＤ２１から出力される画像信号（アナログ信号）を例えば１画素あたり１０ビットのデジタル信号（デジタルデータ）に変換するものである。本撮影時には、Ａ／Ｄ変換器２２から出力される画像信号（画像データ）は、画像処理部２３のみに送信される。一方、ライブビュー表示状態では、本撮影前に行われるＡＦ動作を実行する状態（以下、「ＡＦ実行状態」と称する）において、Ａ／Ｄ変換器２２から出力される画像データ（画像）は、画像処理部２３に送信されるとともに、ＡＦ評価値算出部３０、及び移動量検出部４０にも送信される。
【００２３】
画像処理部２３は、画像データに対してホワイトバランス（ＷＢ）の調整、γ補正、色補間等の画像処理を施す部位である。そして、画像処理部２３から出力される画像データは、解像度変換部２４へと導かれる。
【００２４】
解像度変換部２４は、ＣＣＤ２１から得られ、Ａ／Ｄ変換器２２でデジタルデータ化された画像データに対して所定の解像度変換を行う部位である。例えば、ライブビュー表示状態では、ＣＣＤ２１から入力される画像データに対して、解像度変換部２４が所定の解像度変換を施す。その結果、解像度変換部２４が、液晶表示部１６の表示画素数（３２０×２４０個）に適合した画像サイズの画像データを生成する。つまり、ライブビュー表示状態では、ＣＣＤ２１において垂直方向について１／８間引きされた２５６０×２４０個の画素を有する画像に対し、解像度変換部２４が、水平方向について１／８間引きを行い、３２０×２４０個の画素を有するライブビュー画像を生成する。なお、本撮影時には、解像度変換部２４は解像度変換処理を行うことなく、画像処理部２３から得られる画像データ（２５６０×１９２０画素）をそのまま画像圧縮部２６に出力する。
【００２５】
画像メモリ２５は、ＣＣＤ２１で取得され、上記の画像処理が施された画像データを一時的に記憶するメモリである。画像メモリ２５は、少なくとも数フレーム分の記憶容量を有している。すなわち、画像メモリ２５は、ＣＣＤ２１の画素数に対応する２５６０×１９２０個の画素分の画素データを数フレーム分記憶可能な記憶容量を少なくとも有し、各画素データが対応する画素位置に記憶されるようになっている。
【００２６】
画像圧縮部２６は、本撮影によって得られる画像（２５６０×１９２０画素）に対して所定の圧縮方法による画像圧縮処理を施す。そして、画像圧縮の施された画像データ（記録画像）が画像圧縮部２６から出力され、メモリカード９に記憶される。
【００２７】
液晶表示部１６は、一般的な液晶ディスプレイなどで構成され、３２０×２４０個の表示画素を有する。ライブビュー表示状態では、解像度変換部２４から毎秒３０フレーム分入力されるライブビュー画像が、液晶表示部１６に順次表示される。また、本撮影時には、撮影直後に撮影された画像に係るアフタービュー画像が、液晶表示部１６に表示される。
【００２８】
ＡＦ評価値算出部３０は、ＡＦ実行状態において、Ａ／Ｄ変換器２２から入力される画像信号（画像）を取得して、一般的なコントラスト方式（山登り方式）のＡＦ動作と同様に、撮影レンズ１１の合焦状態に関する評価値（以下、「ＡＦ評価値」と称する）を算出するものであり、算出されたＡＦ評価値を示すデータをカメラ制御部７０に送信する。ＡＦ評価値の算出方法については後述する。
【００２９】
移動量検出部４０は、Ａ／Ｄ変換器２２から入力される画像信号（画像）を取得して、時間的に連続する画像（フレーム）間における輝度値の変化に基づいて、被写体の移動量（被写体移動量）を検出するものであり、検出された被写体移動量を示すデータをカメラ制御部７０に送信する。
【００３０】
操作部６０は、撮像装置１の各種設定を行う為の各種ボタン、及びシャッタースタートボタン（以下、「シャッターボタン」と略称する）６１等を備えて構成され、操作者による各種ボタンやシャッターボタン６１の操作に基づいた信号をカメラ制御部７０に送信する。
【００３１】
シャッターボタン６１は、半押し状態（以下、これを「Ｓ１状態」と称する）と押し込んだ状態（以下、これを「Ｓ２状態」と称する）とが検出可能な２段階スイッチになっている。ライブビュー表示状態でシャッターボタン６１をＳ１状態にすると、ＡＦ実行状態に移行し、ＡＦ動作のためのレンズ駆動を開始して、ＡＦ動作等を含む本撮影前の準備動作（以下、「撮影準備動作」と称する）を行う。
【００３２】
このＡＦ動作の初期においては、まず撮影レンズ１１を合焦位置へ駆動させるための一般的なコントラスト方式のＡＦ動作（所謂、「ワンショットＡＦ動作」）が行われ、その後、シャッターボタン６１がＳ２状態となるまで、被写体に対する合焦状態を保持し続けるＡＦ動作（所謂、「コンティニュアスＡＦ動作」）が行われる。そして、シャッターボタン６１をＳ２状態にすると、ＡＦ動作を停止して撮影レンズ１１の位置を固定し、ＣＣＤ２１で取得され画像処理が施された画像データが画像圧縮部２６でデータ圧縮され、生成された画像データがメモリカード９に記憶される。
【００３３】
カメラ制御部７０は、主にＣＰＵ、ＲＯＭ、及びＲＡＭ等を備えて構成され、撮像装置１内の各部を統括制御するものであり、ＣＰＵが所定のプログラムを実行することにより種々の演算や制御等を実現する。
【００３４】
例えば、カメラ制御部７０は、ＡＦ動作を制御する機能を有し、タイミングジェネレータ２７と連繋して、ＡＦ動作時に、レンズ駆動部５０を制御することで撮影レンズ１１のレンズ位置を段階的に駆動させるとともに、各レンズ位置でＣＣＤ２１によって画像を取得させるように制御する。このとき、カメラ制御部７０は、ＡＦ評価値算出部３０において各レンズ位置で取得される画像に対して設定されるＡＦ評価エリア（後述）についてＡＦ評価値を算出させるように制御する。そして、ここで算出されたＡＦ評価値に基づいて撮影レンズ１１の合焦位置を検出して、レンズ駆動部５０を介して撮影レンズ１１を合焦位置へ駆動させるように制御する。ワンショットＡＦ動作、及びコンティニュアスＡＦ動作を含むＡＦ動作についてはさらに後述する。
【００３５】
また、カメラ制御部７０は、移動量検出部４０から入力される被写体移動量を示すデータに基づいて、ＡＦ評価値算出部３０において画像に対して設定されるＡＦ評価エリアの位置を変更するように制御する。つまり、操作者によりシャッターボタン６１が半押しされてＳ１状態となった後、シャッターボタン６１が全押しされてＳ２状態となるまで、被写体の移動に合わせてＡＦ評価エリアの位置を変更させつつ、コンティニュアスＡＦ動作が行われる。即ち、ここでは、被写体を追尾しつつ合焦状態を実現し続ける動作（以下、「被写体追尾ＡＦ動作」と称する）が行われる。ＡＦ評価エリアの位置の変更についてもさらに後述する。
【００３６】
レンズ駆動部５０は、カメラ制御部７０からの指令に応じて撮影レンズ１１を光軸に沿って前後に駆動させるための駆動手段であり、ＣＣＤ２１に結像される被写体像の合焦状態を変化させるものである。
【００３７】
＜ＡＦ動作について＞
上述したように、ライブビュー表示状態で、操作者がシャッターボタン６１を半押しすることでＳ１状態となった場合は、初めに、ワンショットＡＦ動作を行い、撮影レンズ１１を合焦位置へと駆動する。その後、被写体を追尾しつつ合焦状態を実現し続ける被写体追尾ＡＦ動作が行われる。
【００３８】
以下、ワンショットＡＦ動作、及び被写体追尾ＡＦ動作について説明する。
【００３９】
＜ワンショットＡＦ動作＞
図２は、ワンショットＡＦ動作において画像Ｇに対して設定されるＡＦ評価エリアを例示する図である。なお、図２では、ＣＣＤ２１における画素の位置との対応を分かり易くするために、ＣＣＤ２１において１／８間引きされた方向である垂直方向に画像Ｇを８倍拡大して示している。また、図２以降では、画像に対する水平方向と垂直方向の関係を明確にするために必要に応じてＸ、Ｙの２軸を付している。
【００４０】
図２に示すように、ワンショットＡＦ動作において、ＡＦ評価値算出部３０は、Ａ／Ｄ変換器２２から１／３０秒毎に順次連続して入力される画像Ｇの中央付近に対して、ＡＦ評価値を算出するための対象となるエリア（ＡＦ評価エリア）ＡＥを設定する。
【００４１】
ＡＦ評価値算出部３０は、Ａ／Ｄ変換器２２から入力される２５６０×２４０個の画素を有する画像Ｇのうち、中央部付近の３８４×２８個の画素を有するＡＦ評価エリアＡＥに相当する画像データを取得する。そして、一般的なコントラスト方式のＡＦ動作において実施されるものと同様に、撮影レンズ１１を駆動させつつ、ＡＦ評価エリアＡＥ内の画像データを複数取得する。そして、ＡＦ評価値算出部３０は、取得されたＡＦ評価エリアＡＥ内の画像（画像データ）に基づいて撮影レンズ１１の合焦状態に関する評価値（ＡＦ評価値）を求める。このＡＦ評価値は、一般的なコントラスト方式のＡＦ動作において求められるものと同様に、ＡＦ評価エリアＡＥ内のコントラスト値の総和として求められる。
【００４２】
図３は、ワンショットＡＦ動作の動作フローを例示するフローチャートである。このワンショットＡＦ動作の動作フローはカメラ制御部７０によって制御される。まず、ライブビュー表示状態において、操作者がシャッターボタン６１を半押しすることでＳ１状態となると、ワンショットＡＦ動作が開始して、ステップＳ１に進む。
【００４３】
ステップＳ１では、撮影レンズ１１を初期位置から微小駆動させて、駆動方向を決定し、ステップＳ２に進む。ここでは、撮影レンズ１１を初期位置から微小駆動させて、ＡＦ評価エリアＡＥについて算出されるＡＦ評価値が増大する撮影レンズ１１の駆動方向をステップＳ２における駆動方向として決定する。
【００４４】
ステップＳ２では、ステップＳ１において決定した駆動方向について一般的な山登りＡＦ動作を行い、ステップＳ３に進む。ここでは、ステップＳ２において決定した駆動方向に所定のピッチで撮影レンズ１１を駆動させつつ、画像を取得して、ＡＦ評価エリアＡＥ内の画像データに基づいてＡＦ評価値を算出し、ＡＦ評価値が減少し始めるまで撮影レンズ１１の駆動を続ける。つまり、ＡＦ評価値が減少し始めたら、撮影レンズ１１の駆動を停止する。
【００４５】
ステップＳ３では、撮影レンズ１１の合焦位置を算出して、ステップＳ４に進む。ここでは、ステップＳ２で算出されるＡＦ評価値の最大値Ｙｎとその前後のＡＦ評価値Ｙｎ−１，Ｙｎ＋１と、それらのＡＦ評価値Ｙｎ−１，Ｙｎ，Ｙｎ＋１に対応する撮影レンズ１１のレンズ位置とを用いて、２次補間近似計算（２次曲線近似による計算）によってＡＦ評価値が最大となる撮影レンズ１１のレンズ位置を合焦位置として算出する。
【００４６】
ステップＳ４では、ステップＳ３で算出された合焦位置まで撮影レンズ１１を駆動させ、そして、ワンショットＡＦ動作が終了する。
【００４７】
なお、本発明では、上記ワンショットＡＦ動作後も常時ＡＦ動作を継続するコンティニュアスＡＦ動作が引き続き行われる。
【００４８】
＜被写体追尾ＡＦ動作＞
＜被写体移動量の検出＞
移動量検出部４０では、ワンショットＡＦ動作終了後、Ａ／Ｄ変換器２２から時間的に連続して入力される画像について、輝度値の変化を評価することで、被写体移動量を検出する。
【００４９】
図４から図７は、移動量検出部４０において時間的に連続して取得される第１と第２の画像Ｇ１，Ｇ２に対してそれぞれ設定される輝度値の算出エリア（以下、「輝度評価エリア」と称する）ＳＥ１，ＳＥ２を例示する図である。なお、図４から図７でも、図２と同様に、ＣＣＤ２１における画素の位置との対応を分かり易くするために、ＣＣＤ２１において１／８間引きされた方向である垂直方向に輝度評価エリアＳＥ１，ＳＥ２を８倍拡大して示している。
【００５０】
ここでは、図４から図７に示すように、輝度評価エリアＳＥ１，ＳＥ２はＡＦ評価エリアＡＥと同じ位置、同じサイズ（３８４×２８画素）に設定される。そして、図４から図７に示すように、移動量検出部４０において、輝度評価エリアＳＥ１，ＳＥ２は、それぞれ、同等な形状及びサイズを有する２４個の縦長の短冊状の形状をしたエリア（以下、「縦長分割エリア」と称する）Ａ１〜Ａ２４，Ｂ１〜Ｂ２４（１６×２８画素）と、同等な形状及びサイズを有する１４個の横長の短冊状の形状をしたエリア（以下、「横長分割エリア」と称する）Ｃ１〜Ｃ１４，Ｄ１〜Ｄ１４（３８４×２画素）とに分割される。
【００５１】
なお、縦長分割エリアＡ１〜Ａ２４，Ｂ１〜Ｂ２４は、横方向（Ｘ方向）への被写体移動量を検出するためのエリアであり、横長分割エリアＣ１〜Ｃ１４，Ｄ１〜Ｄ１４は、縦方向（Ｙ方向）への被写体移動量を検出するためのエリアである。
【００５２】
以下、移動量検出部４０における被写体移動量の検出について、縦と横方向への被写体移動量の検出に分節して、具体的に説明する。
【００５３】
＜横方向への被写体移動量検出＞
まず、移動量検出部４０は、輝度評価エリアＳＥ１内において、互いに隣接し合う２２個の縦長分割エリアを含むエリア（以下、「第１横移動評価エリア」とも称する）を複数設定するとともに、輝度評価エリアＳＥ２内において、互いに隣接し合う２２個の縦長分割エリアを含むエリア（以下、「第２横移動評価エリア」とも称する）を複数設定する。
【００５４】
つまり、移動量検出部４０は、時間的に連続して取得される第１の画像Ｇ１と第２の画像Ｇ２とについて、第１の画像Ｇ１に対して、互いにずれた相対的な位置関係を有し、かつ互いに一部の縦長分割エリアを共有し合う第１横移動評価エリアを複数個設定し、また、第２の画像Ｇ２に対して、互いにずれた相対的な位置関係を有し、かつ互いに一部の縦長分割エリアを共有し合う第２横移動評価エリアを複数個設定する。また、ここでは、各画像に対して設定される第１と第２横移動評価エリアは同等な形状及びサイズを有する。
【００５５】
具体的には、輝度評価エリアＳＥ１内において、互いに隣接し合う２２個の縦長分割エリアＡ１〜Ａ２２を含む第１横移動評価エリア、互いに隣接し合う２２個の縦長分割エリアＡ２〜Ａ２３を含む第１横移動評価エリア、互いに隣接し合う２２個の縦長分割エリアＡ３〜Ａ２４を含む第１横移動評価エリアを設定する。また、輝度評価エリアＳＥ２内において、互いに隣接し合う２２個の縦長分割エリアＢ１〜Ｂ２２を含む第２横移動評価エリア、互いに隣接し合う２２個の縦長分割エリアＢ２〜Ｂ２３を含む第２横移動評価エリア、互いに隣接し合う２２個の縦長分割エリアＢ３〜Ｂ２４を含む第２横移動評価エリアを設定する。
【００５６】
そして、移動量検出部４０は、図４及び図５に示す各縦長分割エリアＡ１〜Ａ２４，Ｂ１〜Ｂ２４についての輝度値ＡＹ（１）〜ＡＹ（２４），ＢＹ（１）〜ＢＹ（２４）をそれぞれ算出する。例えば、移動量検出部４０は、各輝度値ＡＹ（１）〜ＡＹ（２４），ＢＹ（１）〜ＢＹ（２４）を、各縦長分割エリアＡ１〜Ａ２４，Ｂ１〜Ｂ２４内に含まれる全画素の画素値（輝度値）の総和の形としてそれぞれ算出する。
【００５７】
さらに、移動量検出部４０は、各第１横移動評価エリアと各第２横移動評価エリアの組合せについて、各第１横移動評価エリアにおける相対的な位置と各第２横移動評価エリアにおける相対的な位置とが等しい縦長分割エリアを対応する縦長分割エリアとし、対応する各縦長分割エリア間の輝度値の差分の絶対値を足し合わせて、横方向への被写体移動量を検出するための輝度に関する評価値（以下、「横移動−輝度評価値」とも称する）ＰＡＴ１〜ＰＡＴ５を算出する。
【００５８】
つまり、移動量検出部４０は、第１横移動評価エリアと第２横移動評価エリアとの組合せ毎について、縦長分割エリア（第１分割領域）毎についての輝度値と、対応する縦長分割エリア（第２分割領域）毎についての輝度値の差分の絶対値の総和を横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５として算出する。即ち、移動量検出部４０は、縦長分割エリア（第１分割領域）毎についての輝度値と、対応する縦長分割エリア（第２分割領域）毎についての輝度値とに基づいて横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５を算出する。また、別の観点から言えば、移動量検出部４０は、第１横移動評価エリアについての輝度値と、第２横移動評価エリアについての輝度値との差分を横移動−輝度評価値として算出する。即ち、移動量検出部４０は、第１横移動評価エリアについての輝度値と、第２横移動評価エリアについての輝度値とに基づいて横移動−輝度評価値を算出する。
【００５９】
具体的には、横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５は、下式（１）〜（５）に従って算出される。
【００６０】
ＰＡＴ１＝Σ｜ＡＹ（ｍ）−ＢＹ（ｍ）｜・・・（１）
ＰＡＴ２＝Σ｜ＡＹ（ｍ）−ＢＹ（ｍ−１）｜・・・（２）
ＰＡＴ３＝Σ｜ＡＹ（ｍ）−ＢＹ（ｍ＋１）｜・・・（３）
ＰＡＴ４＝Σ｜ＡＹ（ｍ＋１）−ＢＹ（ｍ−１）｜・・・（４）
ＰＡＴ５＝Σ｜ＡＹ（ｍ−１）−ＢＹ（ｍ＋１）｜・・・（５）。
【００６１】
式（１）〜（５）中のｍには自然数が適用され、ｍ−１には１〜２２、ｍには２〜２３、ｍ＋１には３〜２４がそれぞれ適用される。
【００６２】
式（１）〜（５）では、時間的に連続する２つの画像Ｇ１，Ｇ２において、ＣＣＤ２１の画素数に換算して水平方向に１６画素分のピッチで並ぶ第１横移動評価エリアと第２横移動評価エリアとの間について、輝度のパターンの類似度を算出している。なお、以下では、被写体移動量を画素数で表す場合には、ＣＣＤ２１の画素数に換算して表す。そして、輝度のパターンの類似度が高いほど、横移動−輝度評価値が小さくなる性質を利用して、横方向への被写体の移動量を求める。
【００６３】
つまり、各第１横移動評価エリアと各第２横移動評価エリアとの組合せのうち、最も横移動−輝度評価値が小さくなる第１横移動評価エリアと第２横移動評価エリアの組合せについては、最もエリア内の輝度のパターンが類似している。そして、そのような組合せに係る第１及び第２横移動評価エリアには、同じ被写体が含まれていると判断することができる。そこで、最も横移動−輝度評価値が小さくなる第１横移動評価エリアと第２横移動評価エリアとの組合せについて、その評価エリアの相対的な位置関係を、横方向への被写体移動量として検出する。即ち、移動量検出部４０は、複数の横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５に基づいて横方向への被写体移動量を検出する。
【００６４】
具体的には、移動量検出部４０は、横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５のうち、
▲１▼横移動−輝度評価値ＰＡＴ１が最小の時は、横方向への被写体移動量が０画素分と検出し、
▲２▼横移動−輝度評価値ＰＡＴ２が最小の時は、横方向への被写体移動量が左（−Ｘ方向）に１６画素分と検出し、
▲３▼横移動−輝度評価値ＰＡＴ３が最小の時は、横方向への被写体移動量が右（＋Ｘ方向）に１６画素分と検出し、
▲４▼横移動−輝度評価値ＰＡＴ４が最小の時は、横方向への被写体移動量が左（−Ｘ方向）に３２画素分と検出し、
▲５▼横移動−輝度評価値ＰＡＴ５が最小の時は、横方向への被写体移動量が右（＋Ｘ方向）に３２画素分と検出する。
【００６５】
このように、移動量検出部４０は、横移動−輝度評価値が最小となる第１横移動評価エリアと第２横移動評価エリアとの組合せに係る第１横移動評価エリアと第２横移動評価エリアの相対的な位置関係に基づいて、横方向への被写体移動量を検出する。つまり、ここでは、ＡＦ動作による撮影レンズ１１の駆動に起因するデフォーカス量の変化によって変動し難い輝度値を用い、時間的に連続して取得される画像において輝度パターンが類似したエリアを同じ被写体が存在するエリアであるとみなして、横方向への被写体移動量を検出する。その結果、横方向への被写体移動量を確実かつ精度良く検出することができる。
【００６６】
なお、上述したように、横移動−輝度評価値は、ＡＦ動作における合焦制御において直接的に用いられる画像のコントラストに関する値ではない。すなわち、ここで言うコントラストに関する値（例えば、ＡＦ評価値）は「ひとつの画像」について、着目する領域とその周辺領域との輝度の差（換言すれば、「画像内」の輝度の空間変化）を反映する量であるが、この実施形態で使用する輝度評価値（例えば、横移動−輝度評価値）は、「一方の画像」の着目領域における輝度値と、「他方の画像」でそれに対応する領域の輝度値との違い（換言すれば、「画像間」の輝度の相違）を反映した値である。
【００６７】
上述のごとく横方向への被写体移動量を検出したが、ここで、例えば、単に第１横移動評価エリア内の全画素の輝度値の総和と、第２横移動評価エリア内の全画素の輝度値の総和との差分を横移動評価値ＰＡＴ１〜ＰＡＴ５として算出すると仮定すると、大きなサイズの第１及び第２横移動評価エリア内における輝度のパターンの変化が平均化されてしまい、その輝度パターンの変化を横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５に対して正しく反映させることができない。
【００６８】
そこで、撮像装置１では、各第１横移動評価エリアと各第２横移動評価エリアとの組合せについて、対応する縦長分割エリア間の輝度値の差分の絶対値を足し合わせて、横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５として算出する。よって、小さなサイズの縦長分割エリア間の輝度の変化を反映させた形で、横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５を算出することができるため、詳細かつ正確な輝度のパターンの変化を把握することができる。その結果、算出される横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５の信頼性を向上させることができるとともに、最終的に検出される横方向への被写体移動量を容易かつさらに精度良く検出することができる。
【００６９】
＜縦方向への被写体移動量検出＞
縦方向への被写体移動量の検出は、上述した横方向への被写体移動量の検出と同様となるが、以下、詳細に説明する。
【００７０】
まず、移動量検出部４０は、輝度評価エリアＳＥ１内において、互いに隣接し合う１２個の横長分割エリアを含むエリア（以下、「第１縦移動評価エリア」とも称する）を複数設定するとともに、輝度評価エリアＳＥ２内において、互いに隣接し合う１２個の横長分割エリアを含むエリア（以下、「第２縦移動評価エリア」とも称する）を複数設定する。
【００７１】
つまり、移動量検出部４０は、時間的に連続して取得される第１の画像Ｇ１と第２の画像Ｇ２とについて、第１の画像Ｇ１に対して、互いにずれた相対的な位置関係を有し、かつ互いに一部の横長分割エリアを共有し合う第１縦移動評価エリアを複数個設定し、また、第２の画像Ｇ２に対して、互いにずれた相対的な位置関係を有し、かつ互いに一部の横長分割エリアを共有し合う第２縦移動評価エリアを複数個設定する。また、ここでは、各画像に対して設定される第１及び第２縦移動評価エリアはそれぞれ同等な形状及びサイズを有する。
【００７２】
具体的には、輝度評価エリアＳＥ１内において、互いに隣接し合う１２個の横長分割エリアＣ１〜Ｃ１２を含む第１縦移動評価エリア、互いに隣接し合う１２個の横長分割エリアＣ２〜Ｃ１３を含む第１縦移動評価エリア、互いに隣接し合う１２個の横長分割エリアＣ３〜Ｃ１４を含む第１縦移動評価エリアを設定する。また、輝度評価エリアＳＥ２内において、互いに隣接し合う１２個の横長分割エリアＤ１〜Ｄ１２を含む第２縦移動評価エリア、互いに隣接し合う１２個の横長分割エリアＤ２〜Ｄ１３を含む第２縦移動評価エリア、互いに隣接し合う１２個の横長分割エリアＤ３〜Ｄ１４を含む第２縦移動評価エリアを設定する。
【００７３】
そして、移動量検出部４０は、図６及び図７に示す各横長分割エリアＣ１〜Ｃ１４，Ｄ１〜Ｄ１４についての輝度値ＣＹ（１）〜ＣＹ（１４），ＤＹ（１）〜ＤＹ（１４）をそれぞれ算出する。例えば、移動量検出部４０は、各輝度値ＣＹ（１）〜ＣＹ（１４），ＤＹ（１）〜ＤＹ（１４）を、各横長分割エリアＣ１〜Ｃ１４，Ｄ１〜Ｄ１４内に含まれる全画素の画素値（輝度値）の総和の形としてそれぞれ算出する。
【００７４】
さらに、移動量検出部４０は、各第１縦移動評価エリアと各第２縦移動評価エリアの組合せについて、各第１縦移動評価エリアにおける相対的な位置と各第２縦移動評価エリアにおける相対的な位置とが等しい横長分割エリアを対応する横長分割エリアとし、対応する各横長分割エリア間の輝度値の差分の絶対値を足し合わせて、縦方向への被写体移動量を検出するための輝度に関する評価値（以下、「縦移動−輝度評価値」とも称する）ＰＡＴ６〜ＰＡＴ１０を算出する。
【００７５】
つまり、移動量検出部４０は、第１縦移動評価エリアと第２縦移動評価エリアとの組合せ毎について、横長分割エリア（第１分割領域）毎についての輝度値と、対応する横長分割エリア（第２分割領域）毎についての輝度値の差分の絶対値の総和を縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０として算出する。即ち、移動量検出部４０は、横長分割エリア（第１分割領域）毎についての輝度値と、対応する横長分割エリア（第２分割領域）毎についての輝度値とに基づいて縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０を算出する。また、別の観点から言えば、移動量検出部４０は、第１縦移動評価エリアについての輝度値と、第２縦移動評価エリアについての輝度値との差分を縦移動−輝度評価値として算出する。即ち、移動量検出部４０は、第１縦移動評価エリアについての輝度値と、第２縦移動評価エリアについての輝度値とに基づいて縦移動−輝度評価値を算出する。
【００７６】
具体的には、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０は、下式（６）〜（１０）に従って算出する。
【００７７】
ＰＡＴ６＝Σ｜ＣＹ（ｍ）−ＤＹ（ｍ）｜・・・（６）
ＰＡＴ７＝Σ｜ＣＹ（ｍ）−ＤＹ（ｍ−１）｜・・・（７）
ＰＡＴ８＝Σ｜ＣＹ（ｍ）−ＤＹ（ｍ＋１）｜・・・（８）
ＰＡＴ９＝Σ｜ＣＹ（ｍ＋１）−ＤＹ（ｍ−１）｜・・・（９）
ＰＡＴ１０＝Σ｜ＣＹ（ｍ−１）−ＤＹ（ｍ＋１）｜・・・（１０）。
【００７８】
式（６）〜（１０）中のｍには自然数が適用され、ｍ−１には１〜１２、ｍには２〜１３、ｍ＋１には３〜１４がそれぞれ適用される。
【００７９】
式（６）〜（１０）では、時間的に連続する２つの画像Ｇ１，Ｇ２において、ＣＣＤ２１の画素数に換算して垂直方向に１６画素分のピッチで並ぶ第１縦移動評価エリアと第２縦移動評価エリアとの間について、輝度のパターンの類似度を算出している。そして、輝度のパターンの類似度が高いほど、縦移動−輝度評価値が小さくなる性質を利用して、縦方向への被写体の移動量を求める。
【００８０】
つまり、各第１縦移動評価エリアと各第２縦移動評価エリアとの組合せのうち、最も縦移動−輝度評価値が小さくなる第１縦移動評価エリアと第２縦移動評価エリアとの組合せについては、最もエリア内の輝度のパターンが類似している。そして、そのような組合せに係る第１及び第２縦移動評価エリアには、同じ被写体が含まれていると判断することができる。そこで、最も縦移動−輝度評価値が小さくなる第１縦移動評価エリアと第２縦移動評価エリアとの組合せについて、その評価エリアの相対的な位置関係を、縦方向への被写体移動量として検出する。即ち、移動量検出部４０は、複数の縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０に基づいて縦方向への被写体移動量を検出する。
【００８１】
具体的には、移動量検出部４０は、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０のうち、
▲１▼縦移動−輝度評価値ＰＡＴ６が最小の時は、縦方向への被写体移動量が０画素分と検出し、
▲２▼縦移動−輝度評価値ＰＡＴ７が最小の時は、縦方向への被写体移動量が上（＋Ｙ方向）に１６画素分と検出し、
▲３▼縦移動−輝度評価値ＰＡＴ８が最小の時は、縦方向への被写体移動量が下（−Ｙ方向）に１６画素分と検出し、
▲４▼縦移動−輝度評価値ＰＡＴ９が最小の時は、縦方向への被写体移動量が上（＋Ｙ方向）に３２画素分と検出し、
▲５▼縦移動−輝度評価値ＰＡＴ１０が最小の時は、縦方向への被写体移動量が下（−Ｙ方向）に３２画素分と検出する。
【００８２】
このように、移動量検出部４０は、縦移動−輝度評価値が最小となる第１縦移動評価エリアと第２縦移動評価エリアとの組合せに係る第１縦移動評価エリアと第２縦移動評価エリアの相対的な位置関係に基づいて、縦方向への被写体移動量を検出する。つまり、ここでは、ＡＦ動作による撮影レンズ１１の駆動に起因するデフォーカス量の変化によって変動し難い輝度値を用い、時間的に連続して取得される画像において輝度パターンが類似したエリアを同じ被写体が存在するエリアであるとみなして、縦方向への被写体移動量を検出する。その結果、縦方向への被写体移動量を確実かつ精度良く検出することができる。なお、上述したように、縦移動−輝度評価値は、横移動−輝度評価値と同様に、ＡＦ動作における合焦制御において直接的に用いられる画像のコントラストに関する値ではない。
【００８３】
上述のごとく縦方向への被写体移動量を検出したが、ここで、例えば、単に第１縦移動評価エリア内の全画素の輝度値の総和と、第２縦移動評価エリア内の全画素の輝度値の総和との差分を縦移動評価値ＰＡＴ６〜ＰＡＴ１０として算出すると仮定すると、大きなサイズの第１及び第２縦移動評価エリア内における輝度のパターンの変化が平均化されてしまい、その輝度パターンの変化を縦移動評価値ＰＡＴ６〜ＰＡＴ１０に対して正しく反映させることができない。
【００８４】
そこで、撮像装置１では、各第１縦移動評価エリアと各第２縦移動評価エリアとの組合せについて、対応する各横長分割エリア間の輝度値の差分の絶対値を足し合わせて、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０として算出する。よって、小さなサイズの横長分割エリア間の輝度の変化を反映させた形で、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０を算出することができるため、詳細かつ正確な輝度パターンの変化を把握することができる。その結果、算出される縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０の信頼性を向上させることができるとともに、最終的に検出される縦方向への被写体移動量を容易かつさらに精度良く検出することができる。
【００８５】
また、上述したように、移動量検出部４０は、輝度評価エリアＳＥ１，ＳＥ２を２４個の縦長分割エリア、及び１４個の横長分割エリアに分割して、縦と横方向への被写体移動量を検出した。ここで、縦横に輝度評価エリアＳＥ１，ＳＥ２を短冊状のエリアに分割せず、縦１４×横２４個のブロックに分割して、ブロック毎に画像間における輝度値の変化を評価することによっても同様な精度で被写体移動量を検出することが可能となる。しかし、縦１４×横２４個のブロックに分割すると合計３３６個のブロックについて輝度値に関する計算を行わなければならず、被写体移動量を検出するための演算に長時間を要してしまう。そこで、撮像装置１では、単に輝度評価エリアＳＥ１，ＳＥ２を２４個の短冊状の縦長分割エリア、及び１４個の短冊状の横長分割エリアに分割して、合計３８個のエリアについて輝度値に関する計算を行うだけで、縦と横方向への被写体移動量を検出することができる。その結果、被写体移動量を検出するための演算速度を向上させることができる。
【００８６】
＜被写体移動量の信頼性評価＞
また、移動量検出部４０は、上述のようにして検出された縦と横方向への被写体移動量が正確であるか否かを検証する信頼性評価機能を有している。
【００８７】
上記のように、縦と横方向への被写体移動量の検出には、レンズ駆動に伴う変化度合いの小さい輝度値が用いられることにより、被写体移動量検出時における誤検出の低減を図ることができるが、ＣＣＤ２１によって取得される画像におけるコントラストが極めて低い場合等は、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０の差異や横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５の差異も小さく、被写体移動量を誤検出する可能性が存在する。
【００８８】
そこで、移動量検出部４０は、上記のような誤検出を防止するために、上記のようにして検出された被写体移動量が正確であるか否かを信頼性評価機能によって検証する。具体的には、横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５のうちの最大値（以下、「信頼性評価値」と称する）Ｃが所定の値よりも大きな場合は、時間的に連続する画像中にある程度のコントラストが存在していると言える。そのため、移動量検出部４０は、信頼性評価値Ｃが所定の値よりも大きな場合は、検出される横方向への被写体移動量が正確な値であるものとして判断する。
【００８９】
また、縦方向への被写体移動量についても同様に、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０のうちの最大値（信頼性評価値）Ｃが所定の値よりも大きな場合は、時間的に連続する画像中にある程度のコントラストが存在していると言える。そのため、移動量検出部４０は、信頼性評価値Ｃが所定の値よりも大きな場合は、検出される縦方向への被写体移動量が正確な値であるものとして判断する。
【００９０】
そして、移動量検出部４０は、縦及び横方向の信頼性評価値Ｃがともに所定の値よりも大きな場合は、検出される被写体移動量が正確な値であるものと判断し、その旨をカメラ制御部７０に送信する。即ち、ここでは、移動量検出部４０が、所定値以上の縦移動−輝度評価値と横移動−輝度評価値との検出に基づいて被写体移動量を信頼性のある値として判別する。その結果、被写体移動量の誤検出を低減することができる。
【００９１】
＜ＡＦ評価エリアの設定変更＞
図８は、ＡＦ評価エリアＡＥ及び被写***置を示すポインタの変更について例示する図である。図８（ａ）では、ワンショットＡＦ動作直後の画像Ｇ１について示しており、図８（ｂ）では、さらにＮフレーム後の画像ＧＮについて示している。なお、被写***置を示すポインタＳＰは、液晶表示部１６に表示されるライブビュー画像上における被写体の位置を示す表示であり、液晶表示部１６が、ライブビュー画像とともにポインタＳＰを重畳表示する。また、図８では、ＡＦ評価値算出部３０で画像に対して設定されるＡＦ評価エリアＡＥと、液晶表示部１６でのライブビュー画像上に表示されるポインタＳＰとの位置関係を明確化するために、便宜上、ＡＦ評価エリアＡＥとポインタＳＰとを併せて示している。
【００９２】
上述したように、移動量検出部４０において検出された縦及び横方向への被写体移動量を示すデータが、カメラ制御部７０に送信される。また、移動量検出部４０は、検出される被写体移動量が正確な値である場合には、その旨をカメラ制御部７０に送信する。そして、移動量検出部４０から送信される被写体移動量が正確な値である場合には、図８に示すように、カメラ制御部７０の制御下で、ＡＦ評価値算出部３０が、移動量検出部４０で検出された被写体移動量に基づいて、ＣＣＤ２１で取得される画像に対して設定されるＡＦ評価領域（合焦評価領域）ＡＥの位置を移動させるとともに、液晶表示部１６が、移動量検出部４０で検出された被写体移動量に基づいて、被写体の位置を示す位置表示（ここでは、ポインタＳＰ）の位置を変更する。
【００９３】
例えば、図８（ａ）に示すように、ワンショットＡＦ動作直後に、ＡＦ評価値算出部３０に入力される画像Ｇ１に対してＡＦ評価エリアＡＥが設定された後、縦及び横方向への被写体移動量に応じて、ＡＦ評価エリアＡＥの位置が変更され、図８（ｂ）に示すように、被写体を追従するようにＡＦ評価エリアＡＥが変更・移動される。その結果、被写体を追尾しながら、被写体に対して合焦させることができるため、被写体の移動に対応して撮影レンズ１１の合焦状態を保持することができる。
【００９４】
また、このとき、図８（ａ）に示すように、ワンショットＡＦ動作直後に、液晶表示部１６に表示されるライブビュー画像に対してポインタＳＰが重畳して表示された後、縦及び横方向への被写体移動量に応じて、ポインタＳＰの位置が変更され、図８（ｂ）に示すように、被写体を追従するようにポインタＳＰの位置が変更される。その結果、操作者が、ライブビュー画像上のポインタＳＰを観察することによって、ＡＦ評価エリアＡＥ等の被写体に対する追尾状況を把握することができる。
【００９５】
＜コンティニュアスＡＦ動作＞
図９は、コンティニュアスＡＦ動作の動作フローを例示するフローチャートである。なお、図９では、コンティニュアスＡＦ動作の動作フローのうち、撮影レンズ１１の駆動、撮像処理、及び次回の合焦位置の検出について示している。なお、ＣＣＤ２１からの画像信号の読出し、ＡＦ評価値の算出・取得等の処理は、各撮像処理の実施直後に順次行われる。また、このコンティニュアスＡＦ動作の動作フローはカメラ制御部７０によって制御される。
【００９６】
また、図１０は、撮影レンズの位置１１とＡＦ評価値との関係を示す曲線ＶＬを例示する図である。なお、図１０では、前回検出された合焦位置をレンズ位置ＦＰで示し、次回検出される合焦位置をレンズ位置ＡＰで示す。ここでは、Ｆは撮影レンズ１１のＦナンバー（絞り値）を示し、δは所謂ＣＣＤ２１の許容錯乱円を示す。図１０に示すように、コンティニュアスＡＦ動作では、前回検出された合焦位置ＦＰを中心として、４Ｆδピッチで前後に３点ずつ計７点の撮影レンズ位置（Ｐ１〜Ｐ７）において、画像を取得するとともに、ＡＦ評価値を算出して、７つのＡＦ評価値に基づいて次回のレンズ位置ＡＰを検出し、レンズ位置ＡＰに撮影レンズ１１を駆動する一連のＡＦ動作を繰り返し行う。
【００９７】
以下、図１０を参照しつつ、図９に示すコンティニュアスＡＦ動作の動作フローについて説明する。なお、コンティニュアスＡＦ動作が行われる際には、上述したように、被写体の移動に追従してＡＦ評価エリアＡＥの位置が変更される。
【００９８】
ここでは、上記ワンショットＡＦ動作が終了すると、コンティニュアスＡＦ動作が開始して、ステップＳ１１に進む。
【００９９】
ステップＳ１１では、Ｓ２状態が割り込み可能に設定され、ステップＳ１２に進む。ここでは、コンティニュアスＡＦ動作の動作フロー中に、操作者によってシャッターボタン６１が全押しされて、Ｓ２状態となった場合は、コンティニュアスＡＦ動作を中止して本撮影を行うように設定される。
【０１００】
ステップＳ１２では、図１０に示すように、前回の合焦位置からレンズ繰り入れ側に１２Ｆδだけ離隔したレンズ位置Ｐ１に撮影レンズ１１を駆動させ、１個目の画像（第１フレーム）を取得すべく１回目の撮像処理を行い、ステップＳ１３に進む。
【０１０１】
ステップＳ１３では、図１０に示すように、４Ｆδピッチで撮影レンズ１１を繰り出し側に駆動させつつ、レンズ位置Ｐ２〜Ｐ７において、２個目〜７個目の画像（第２〜第７フレーム）を順次取得すべく２〜７回目の撮像処理を順次行い、ステップＳ１４に進む。
【０１０２】
ステップＳ１４では、前回の合焦位置ＦＰ付近へ撮影レンズ１１を駆動させつつ、レンズ位置Ｐ８，Ｐ９において８、９個目の画像（第８、第９フレーム）を順次取得すべく８、９回目の撮像処理を順次行い、第９フレーム取得時に次回の合焦位置ＡＰを検出し、ステップＳ１５に進む。ここでは、第１〜第７フレームについて算出されるＡＦ評価値について、２次補間近似計算を行い、ＡＦ評価値が最大となるレンズ位置ＡＰを次回の合焦位置として検出する。
【０１０３】
ステップＳ１５では、ステップＳ１４で検出された次回の合焦位置ＡＰへ撮影レンズ１１を駆動させ、１０個目の画像（第１０フレーム）を取得すべく１０回目の撮像処理を行い、ステップＳ１２に戻る。
【０１０４】
＜被写体追尾ＡＦ動作のタイミング＞
以上、被写体追尾ＡＦ動作における被写体移動量検出、及びコンティニュアスＡＦ動作について説明したが、被写体追尾ＡＦ動作をタイミングチャートで示すと図１１に示すようになる。図１１では、上から順に、撮影レンズ１１の駆動、撮像処理、ＣＣＤ２１からの画像読出し、ＡＦ評価値の算出、移動量検出部４０における各分割エリアについての輝度値の算出、カメラ制御部７０によるＡＦ評価値の取得、被写体移動量の検出、次回の合焦位置の検出のタイミングを示している。
【０１０５】
撮影レンズ１１は所定のタイミングで駆動され、各レンズ駆動によってレンズ位置がＰ１からＰ９まで段階的に駆動される（図１０参照）。
【０１０６】
１回目レンズ駆動が終了すると、撮影レンズ１１はレンズ位置Ｐ１に移動しており、そこで１回目の撮像処理が行われる。ＣＣＤ２１の撮像処理が終了すると、ＣＣＤ２１から画像が読み出される。このとき、ＡＦ評価値算出部３０及び移動量検出部４０はＣＣＤ２１から読み出される画像を、Ａ／Ｄ変換器２２を介して取得し、画像読出し動作と並行して、ＡＦ評価値算出部３０がＡＦ評価値の演算を開始するとともに、移動量検出部４０が各縦及び横長分割エリアについての輝度値の算出を開始する。そしてＡＦ評価値の算出が終了すると、カメラ制御部７０がそのＡＦ評価値を取得する。
【０１０７】
また、１回目の撮像処理が終了すると、２回目のレンズ駆動が行われ、撮影レンズ１１がレンズ位置Ｐ２に移動した状態で２回目の撮像処理が行われる。したがって、２回目のレンズ駆動及び撮像処理は、１回目の撮像処理によって得られた画像の読み出し動作と、ＡＦ評価値算出動作と、各縦及び横長分割エリアについての輝度値の算出動作と並行して行われることになる。
【０１０８】
そして２回目の撮像処理によって得られた画像に基づくＡＦ評価値の算出が終了すると、カメラ制御部７０がそのＡＦ評価値を取得する。また、移動量検出部４０は、２回目の撮像処理によって得られた画像に対する各縦及び横長分割エリアについての輝度値の算出が終了すると、１回目の画像と２回目の画像との間における被写体移動量の検出を行う。この被写体移動量検出による検出結果は、４回目の画像に基づくＡＦ評価値算出にフィードバックされ、４回目の画像に基づくＡＦ評価値算出の際に適用されるＡＦ評価エリアＡＥの設定変更が行われる。
【０１０９】
以下同様な動作が繰り返され、７回目のレンズ駆動に伴う各動作が終了した時点で、カメラ制御部７０において７回分のＡＦ評価値に基づいて次回の合焦位置ＡＰを検出するための処理が実行される。そして、この次回の合焦位置ＡＰの検出処理は９回目のレンズ駆動及び撮像処理が行われる際に実行され、１０回目のレンズ駆動にフィードバックされ、１０回目の撮像処理は次回の合焦位置ＡＰに撮影レンズ１１を駆動させて行われる。
【０１１０】
そして、このような１回目から１０回目のレンズ駆動に伴う各動作が繰り返されることによって、被写体の移動に追従してＡＦ評価エリアＡＥの位置を変更しつつ、コンティニュアスＡＦ動作が行われる被写体追尾ＡＦ動作が実施される。
【０１１１】
＜ＡＦ動作における動作フロー＞
図１２は、撮像装置１におけるＡＦ動作全体の動作フローを模式的に示すフローチャートである。このＡＦ動作全体の動作フローはカメラ制御部７０によって制御される。まず、ライブビュー表示状態において、操作者がシャッターボタン６１を半押しすることでＳ１状態となると、ＡＦ動作が開始して、ステップＳ３１に進む。
【０１１２】
ステップＳ３１では、上述したようなワンショットＡＦ動作が行われ、ステップＳ３２に進む。
【０１１３】
ステップＳ３２では、上述したように、コンティニュアスＡＦ動作と被写体移動量の検出動作とを並行して行い、ステップＳ３３に進む。なお、ここでは、図９で示したコンティニュアスＡＦ動作の動作フローと、被写体移動量の検出動作とが並行して行われ、操作者がシャッターボタン６１を全押しすることでＳ２状態となると、本撮影動作を行うために最新の合焦位置にレンズを移動させてＡＦ動作を中止する。また、被写体移動量の検出動作では、被写体移動量の検出に関する信頼性評価値Ｃが所定値よりも大きいか否かの処理も行い、その結果をカメラ制御部７０に送信する。
【０１１４】
ステップＳ３３では、被写体移動量の検出に関する信頼性評価値Ｃが所定値よりも大きいか否かを判別する。ここでは、移動量検出部４０からカメラ制御部７０へ、信頼性評価値Ｃが所定値よりも大きい旨が送信される場合は、信頼性評価値Ｃが所定値よりも大きいものと判別して、ステップＳ３４に進み、移動量検出部４０からカメラ制御部７０へ、信頼性評価値Ｃが所定値よりも大きい旨が送信されない場合は、信頼性評価値Ｃが所定値よりも大きくないものと判別して、ステップＳ３２に戻る。なお、ステップＳ３３からステップＳ３２に戻った場合は、ＡＦ評価エリアＡＥの位置の移動・変更は行われない。
【０１１５】
ステップＳ３４では、上述したように、ＡＦ評価エリアＡＥをステップＳ３２で検出された被写体移動量に基づいて移動・変更し、ステップＳ３５に進む。
【０１１６】
ステップＳ３５では、被写体の位置を示すポインタの位置をステップＳ３２で検出された被写体移動量に基づいて変更し、ステップＳ３２に戻る。
【０１１７】
このように、ここでは、操作者がシャッターボタン６１を半押しすることでＳ１状態となると、ＡＦ動作等を含む撮影準備動作が開始し、その後、移動量検出部４０が被写体移動量を検出する。その結果、必要な時だけ被写体移動量を検出するようにすることができるため、省電力化を図ることができる。
【０１１８】
以上のように、第１実施形態に係る撮像装置１では、時間的に連続する第１の画像Ｇ１と第２の画像Ｇ２とを取得する。そして、第１の画像Ｇ１に対して、複数の第１横移動評価エリア、及び複数の第２縦移動評価エリアを設けるともに、第２の画像Ｇ２に対して、複数の第２横移動評価エリア、及び複数の第２縦移動評価エリアを設ける。そして、各横移動評価エリア、及び各縦移動評価エリアの輝度値について、画像間で差分を算出する等して比較・評価する。そして、算出した輝度値の差分等に基づいて、縦及び横方向への被写体移動量を検出する。よって、ここでは、ＡＦ動作による撮影レンズ１１の駆動に起因するデフォーカス量の変化によって変動し難い輝度値を時間的に連続する画像間で比較・評価することにより、被写体移動量を検出する。その結果、被写体の移動を容易かつ精度良く検出することが可能な撮像装置を提供することができる。
【０１１９】
また、画像Ｇ１に対して複数の第１縦移動評価エリアと複数の第１横移動評価エリアとがそれぞれ相互に重なり合うように少しずつずらされて設けられ、画像Ｇ２に対して複数の第２縦移動評価エリアと複数の第２横移動評価エリアとがそれぞれ相互に重なり合うように少しずつずらされて設けられる。その結果、被写体の細かい移動量も検出することができ、被写体の少しずつの動きに対してもＡＦ評価エリアＡＥを少しずつずらしながら移動させることができる。つまり、被写体の移動に対応して、詳細かつ正確にＡＦ評価エリアＡＥを移動・変更することができる。
【０１２０】
さらに、画像Ｇ１に対して複数の第１縦移動評価エリア同士が、相互に重なり合う部分について一部の横長分割エリアを共有するように設けられ、複数の第１横移動評価エリア同士が、相互に重なり合う部分について一部の縦長分割エリアを共有するように設けられる。また、画像Ｇ２に対して複数の第２縦移動評価エリア同士が、相互に重なり合う部分について一部の横長分割エリアを共有するように設けられ、複数の第２横移動評価エリア同士が、相互に重なり合う部分について一部の縦長分割エリアを共有するように設けられる。よって、重複した輝度値の演算を極力少なくすることができるため、縦移動−輝度評価値と横移動−輝度評価値の演算に要する時間を比較的短くすることができる。
【０１２１】
＜（２）第２実施形態＞
上述した第１実施形態では、被写体移動量が縦方向や横方向に０、又は１６、又は３２画素分であると検出された。即ち、検出の最小単位は１６画素分である。そこで、第２実施形態に係る撮像装置１Ａでは、移動量検出部４０Ａにおいて、第１実施形態に係る移動量検出部４０と同様に、縦及び横移動−輝度評価値ＰＡＴ１〜ＰＡＴ１０を算出するとともに、それらの値について補間計算を行うことによって、１６画素よりも細かな被写体移動量を検出することができる。また、信頼性評価機能についても、移動量検出部４０Ａと移動量検出部４０とは異なる。
【０１２２】
なお、第２実施形態に係る撮像装置１Ａでは、移動量検出部４０Ａが第１実施形態に係る撮像装置１と異なるのみで、その他の部分については全く同様となるため、同様な符合を付して説明を省略する。
【０１２３】
＜補間計算及び被写体移動量検出＞
＜横方向について＞
移動量検出部４０Ａでは、例えば、横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５のうちの最小値と、その最小値に係る第１横移動評価エリアと第２横移動評価エリアとの相対的な位置関係に対して、±Ｘ方向に１６画素ずつずれた相対的な位置関係を有する第１横移動評価エリアと第２横移動評価エリアとの組合せに係る横移動−輝度評価値とに基づいて、補間計算を行って被写体移動量を検出する。
【０１２４】
つまり、第１横移動評価エリアと第２横移動評価エリアとの組合せのうち、横移動−輝度評価値が最小となる組合せを第１の組合せと称し、第１の組合せに係る第１横移動評価エリアと第２横移動評価エリアとの相対的な位置関係に対して、＋Ｘ方向に所定量だけずれた相対的な位置関係を有する第１横移動評価エリアと第２横移動評価エリアとの組合せを第２の組合せと称し、さらに、第１の組合せに係る第１横移動評価エリアと第２横移動評価エリアとの相対的な位置関係に対して、−Ｘ方向に所定量だけずれた相対的な位置関係を有する第１横移動評価エリアと第２横移動評価エリアとの組合せを第３の組合せと称するこことすると、移動量検出部４０Ａは、第１から第３の組合せに係る３つの横移動−輝度評価値に基づいて横方向への被写体移動量を検出する。
【０１２５】
具体的には、横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５のうち、横移動−輝度評価値ＰＡＴ２が最小である場合、つまり、第１横移動評価エリアとそのエリアに対して相対的に−Ｘ方向に１６画素分だけずれた画像Ｇ２に設けられた第２横移動評価エリアとの組合せに係る横移動−輝度評価値ＰＡＴ２が最小である場合、その横移動−輝度評価値ＰＡＴ２と、横移動−輝度評価値ＰＡＴ２に係る第１横移動評価エリアと第２横移動評価エリアとの相対的な位置関係に対して、±Ｘ方向に１６画素ずつずれた相対的な位置関係を有する第１横移動評価エリアと第２横移動評価エリアとの組合せに係る横移動−輝度評価値ＰＡＴ１，ＰＡＴ４とに基づいて、補間計算を行って被写体移動量を検出する。
【０１２６】
図１３は、横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５のうち、横移動−輝度評価値ＰＡＴ２が最小である場合における横方向への被写体移動量の補間計算を説明するための図である。図１３では、横軸は、第１横移動評価エリアと第２横移動評価エリアとの相対的なＸ方向へのずれ量（Ｘｄ）を示し、縦軸は、横移動−輝度評価値を示している。また、図１３には、横移動−輝度評価値ＰＡＴ１，ＰＡＴ２，ＰＡＴ４にそれぞれ対応するＸ方向へのずれ量と、その横移動−輝度評価値との関係を示すプロットＭＸ１，ＭＸ２，ＭＸ４がそれぞれ記されている。
【０１２７】
図１３（ａ）に示すように、ＰＡＴ１＜ＰＡＴ４の場合には、プロットＭＸ２及びプロットＭＸ４とを結ぶ直線１１０を引き、その直線の傾きと正負が逆転した傾きを持ち、かつ、プロットＭＸ１を通る直線１１１を引く。そして、直線１１０と直線１１１とが交差する点における横軸の座標を横方向への被写体移動量ＭＨとして検出する。一方、図１３（ｂ）に示すように、ＰＡＴ１≧ＰＡＴ４の場合には、プロットＭＸ１及びプロットＭＸ２とを結ぶ直線１２１を引き、その直線の傾きと正負が逆転した傾きを持ち、かつ、プロットＭＸ４を通る直線１２０を引く。そして、直線１２０と直線１２１とが交差する点における横軸の座標を横方向への被写体移動量ＭＨとして検出する。
【０１２８】
また、ここでは、横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５のうち、横移動−輝度評価値ＰＡＴ２が最小である場合の具体例を示したが、他の横移動−輝度評価値が最小である場合にも同様な補間計算によって横方向への被写体移動量ＭＨを検出することができる。
【０１２９】
ここで、横移動−輝度評価値ＰＡＴ１〜ＰＡＴ５のうちの最小値をＹＢ、その最小値ＹＢに係る第１横移動評価エリアと第２横移動評価エリアとの相対的な位置関係に対して、−Ｘ方向に１６画素ずつずれた相対的な位置関係を有する第１横移動評価エリアと第２横移動評価エリアとの組合せに係る横移動−輝度評価値をＹＡとし、＋Ｘ方向に１６画素ずつずれた相対的な位置関係を有する第１横移動評価エリアと第２横移動評価エリアとの組合せに係る横移動−輝度評価値をＹＣとする。そして、ＹＡ〜ＹＣに対応する第１横移動評価エリアと第２横移動評価エリアとの相対的なＸ方向へのずれ量をそれぞれＸ１〜Ｘ３とすると、補間計算によって検出される横方向への被写体移動量ＭＨは、下式（１１），（１２）で示される。
【０１３０】
ＹＣ≧ＹＡの場合、
ＭＨ＝｛（ＹＡ−ＹＢ）・（Ｘ２−Ｘ３）／（ＹＢ−ＹＣ）−Ｘ１＋Ｘ２｝／２・・・（１１）。
【０１３１】
ＹＣ＜ＹＡの場合、
ＭＨ＝｛（ＹＣ−ＹＡ）・（Ｘ１−Ｘ２）／（ＹＡ−ＹＢ）＋Ｘ１−Ｘ３｝／２・・・（１２）。
【０１３２】
また、移動量検出部４０Ａにおける信頼性評価機能では、図１３に示すように、横方向への被写体移動量ＭＨを算出する際に用いる横移動−輝度評価値ＹＡ〜ＹＣのうちの最大値と最小値との差分の絶対値（信頼性評価値）Ｃが所定値よりも大きいか否かによって行う。つまり、ここでは、信頼性評価値Ｃが所定の値よりも大きな場合は、時間的に連続する画像中にある程度のコントラストが存在していると言える。そのため、移動量検出部４０Ａは、信頼性評価値Ｃが所定の値よりも大きな場合は、検出される横方向への被写体移動量ＭＨが正確な値であるものとして判断する。
【０１３３】
＜縦方向について＞
移動量検出部４０Ａでは、例えば、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０のうちの最小値と、その最小値に係る第１縦移動評価エリアと第２縦移動評価エリアとの相対的な位置関係に対して、±Ｙ方向に１６画素ずつずれた相対的な位置関係を有する第１縦移動評価エリアと第２縦移動評価エリアとの組合せに係る縦移動−輝度評価値とに基づいて、補間計算を行って被写体移動量を検出する。
【０１３４】
つまり、第１縦移動評価エリアと第２縦移動評価エリアとの組合せのうち、縦移動−輝度評価値が最小となる組合せを第１の組合せと称し、第１の組合せに係る第１縦移動評価エリアと第２縦移動評価エリアとの相対的な位置関係に対して、＋Ｙ方向に所定量だけずれた相対的な位置関係を有する第１縦移動評価エリアと第２縦移動評価エリアとの組合せを第２の組合せと称し、さらに、第１の組合せに係る第１縦移動評価エリアと第２縦移動評価エリアとの相対的な位置関係に対して、−Ｙ方向に所定量だけずれた相対的な位置関係を有する第１縦移動評価エリアと第２縦移動評価エリアとの組合せを第３の組合せと称するこことすると、移動量検出部４０Ａは、第１から第３の組合せに係る３つの縦移動−輝度評価値に基づいて縦方向への被写体移動量を検出する。
【０１３５】
具体的には、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０のうち、縦移動−輝度評価値ＰＡＴ７が最小である場合、つまり、第１縦移動評価エリアとそのエリアに対して相対的に＋Ｙ方向に１６画素分だけずれた画像Ｇ２に設けられた第２横移動評価エリアとの組合せに係る縦移動−輝度評価値ＰＡＴ７が最小である場合、その縦移動−輝度評価値ＰＡＴ７と、縦移動−輝度評価値ＰＡＴ７に係る第１縦移動評価エリアと第２縦移動評価エリアとの相対的な位置関係に対して±Ｙ方向に１６画素ずつずれた相対的な位置関係を有する第１縦移動評価エリアと第２縦移動評価エリアとの組合せに係る縦移動−輝度評価値ＰＡＴ６，ＰＡＴ９とに基づいて、補間計算を行って被写体移動量を検出する。
【０１３６】
図１４は、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０のうち、縦移動−輝度評価値ＰＡＴ７が最小である場合における縦方向への被写体移動量の補間計算を説明するための図である。図１４では、横軸は、第１縦移動評価エリアと第２縦移動評価エリアとの相対的なＹ方向へのずれ量（Ｙｄ）を示し、縦軸は、縦移動−輝度評価値を示している。また、図１４には、縦移動−輝度評価値ＰＡＴ６，ＰＡＴ７，ＰＡＴ９にそれぞれ対応するＹ方向へのずれ量と、その縦移動−輝度評価値との関係を示すプロットＭＹ６，ＭＹ７，ＭＹ９がそれぞれ記されている。
【０１３７】
図１４（ａ）に示すように、ＰＡＴ６＜ＰＡＴ９の場合には、プロットＭＹ７及びプロットＭＹ９とを結ぶ直線１３０を引き、その直線の傾きと正負が逆転した傾きを持ち、かつ、プロットＭＹ６を通る直線１３１を引く。そして、直線１３０と直線１３１とが交差する点における横軸の座標を縦方向への被写体移動量ＭＶとして検出する。一方、図１４（ｂ）に示すように、ＰＡＴ６≧ＰＡＴ９の場合には、プロットＭＹ６及びプロットＭＹ７とを結ぶ直線１４１を引き、その直線の傾きと正負が逆転した傾きを持ち、かつ、プロットＭＹ９を通る直線１４０を引く。そして、直線１４０と直線１４１とが交差する点における横軸の座標を縦方向への被写体移動量ＭＶとして検出する。
【０１３８】
また、ここでは、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０のうち、縦移動−輝度評価値ＰＡＴ７が最小である場合の具体例を示したが、他の縦移動−輝度評価値が最小である場合にも同様な補間計算によって縦方向への被写体移動量ＭＶを検出することができる。
【０１３９】
ここで、縦移動−輝度評価値ＰＡＴ６〜ＰＡＴ１０のうちの最小値をＹＢ、その最小値ＹＢに係る第１縦移動評価エリアと第２縦移動評価エリアとの相対的な位置関係に対して、＋Ｙ方向に１６画素ずつずれた相対的な位置関係を有する第１横移動評価エリアと第２横移動評価エリアとの組合せに係る縦移動−輝度評価値をＹＡとし、−Ｙ方向に１６画素ずつずれた相対的な位置関係を有する第１縦移動評価エリアと第２縦移動評価エリアとの組合せに係る縦移動−輝度評価値ＹＣとする。そして、ＹＡ〜ＹＣに対応する第１縦移動評価エリアと第２縦移動評価エリアとの相対的なＹ方向へのずれ量をそれぞれＹ１〜Ｙ３とすると、補間計算によって検出される縦方向への被写体移動量ＭＶは、下式（１３），（１４）で示される。
【０１４０】
ＹＣ≧ＹＡの場合、
ＭＨ＝｛（ＹＡ−ＹＢ）・（Ｙ２−Ｙ３）／（ＹＢ−ＹＣ）−Ｙ１＋Ｙ２｝／２・・・（１３）。
【０１４１】
ＹＣ＜ＹＡの場合、
ＭＨ＝｛（ＹＣ−ＹＡ）・（Ｙ１−Ｙ２）／（ＹＡ−ＹＢ）＋Ｙ１−Ｙ３｝／２・・・（１４）。
【０１４２】
また、移動量検出部４０Ａにおける信頼性評価機能では、図１４に示すように、縦方向への被写体移動量ＭＶを算出する際に用いる縦移動−輝度評価値ＹＡ〜ＹＣのうちの最大値と最小値との差分の絶対値（信頼性評価値）Ｃが所定値よりも大きいか否かによって行う。つまり、ここでは、信頼性評価値Ｃが所定の値よりも大きな場合は、時間的に連続する画像中にある程度のコントラストが存在していると言える。そのため、移動量検出部４０Ａは、信頼性評価値Ｃが所定値よりも大きな場合は、検出される縦方向への被写体移動量ＭＶが正確な値であるものとして判断する。
【０１４３】
そして、移動量検出部４０Ａは、縦及び横方向の信頼性評価値Ｃがともに所定値よりも大きな場合は、検出される被写体移動量が正確な値であるものと判断し、その旨をカメラ制御部７０に送信する。
【０１４４】
以上のように、第２実施形態に係る撮像装置１Ａでは、横移動−輝度評価値が最小となる第１横移動評価エリアと第２横移動評価エリアとの組合せと、その組合せに対して、所定の方向（ここでは、＋Ｘ方向）及びその逆方向（ここでは、−Ｘ方向）に相対的にずれた位置関係を有する第１横移動評価エリアと第２横移動評価エリアとの２つの組合せとにおける３つの横移動−輝度評価値に基づいて、補間計算を行いつつ、横方向への被写体移動量を検出する。また、縦移動−輝度評価値が最小となる第１縦移動評価エリアと第２縦移動評価エリアとの組合せと、その組合せに対して、所定の方向（ここでは、＋Ｙ方向）及びその逆方向（ここでは、−Ｙ方向）に相対的にずれた位置関係を有する第１縦移動評価エリアと第２縦移動評価エリアとの２つの組合せとにおける３つの縦移動−輝度評価値に基づいて、補間計算を行いつつ、縦方向への被写体移動量を検出する。その結果、横長分割エリアや縦長分割エリアの幅（ここでは、１６画素）よりも細かな被写体の移動を精度良く検出することができる。
【０１４５】
＜（３）変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１４６】
◎例えば、上述した実施形態では、第１縦移動評価エリアと第２縦移動評価エリアとの組合せについて、対応する横長分割エリア同士の輝度値の差分の絶対値の総和を縦移動−輝度評価値とし、第１横移動評価エリアと第２横移動評価エリアとの組合せについて、対応する縦長分割エリア同士の輝度値の差分の絶対値の総和を横移動−輝度評価値としたが、これに限られるものではなく、例えば、第１縦移動評価エリアと第２縦移動評価エリアとの組合せについて、対応する横長分割エリア同士の輝度値の比の総和を縦移動−輝度評価値とし、第１横移動評価エリアと第２横移動評価エリアとの組合せについて、対応する縦長分割エリア同士の輝度値の比の総和を横移動−輝度評価値としても良い。このとき、対応する各分割エリア同士の輝度値の比を算出する際には、相対的に輝度値が大きい方を分子とし、相対的に輝度値が小さい方を分母とすることによって、詳細に被写体移動量を検出することができる。
【０１４７】
◎また、上述した実施形態では、輝度評価エリアＳＥ１，ＳＥ２を、それぞれ横方向について２４個の縦長分割エリアに分割し、縦方向について１４個の横長分割エリアに分割したが、これに限られるものではなく、例えば、横方向について２５個以上の縦長分割エリアに分割し、縦方向について１５個以上の横長分割エリアに分割しても良い。このように、縦横に分割する数を多くすることで、演算に要する時間は長くなる傾向となるが、検出される被写体移動量の精度を向上させることができる。
【０１４８】
◎また、上述した実施形態では、画像に対して、複数の第１及び第２縦移動輝度評価エリアを相互に１つの横長分割エリア分だけずらして設け、複数の第１及び第２横移動輝度評価エリアを相互に１つの縦長分割エリア分だけずらして設けたが、これに限られるものではなく、例えば、相互に２つ以上の縦及び横長分割エリア分だけずらして設けても良い。また、画像に対して、相互に隣接する位置関係や離隔する位置関係となるように各移動輝度評価エリアを設けるようにしても良い。但し、被写体移動量の検出精度の観点より、各移動輝度評価エリアは相互に少しずつずらして重なり合うように設けるのが好ましい。
【０１４９】
◎また、上述した実施形態では、各縦長分割エリア内に含まれる全画素の画素値の総和を各縦長分割エリアの輝度値として算出し、各横長分割エリア内に含まれる全画素の画素値の総和を各横長分割エリアの輝度値として算出したが、これに限られるものではなく、例えば、各縦長分割エリア内に含まれる全画素の画素値の平均値を各縦長分割エリアの輝度値として算出し、各横長分割エリア内に含まれる全画素の画素値の平均値を各横長分割エリアの輝度値として算出しても良い。
【０１５０】
◎また、上述した第１実施形態では、信頼性評価値Ｃが所定値よりも大きいか否かによって、検出された被写体移動量の信頼性を評価したが、これに限られるものではなく、例えば、縦及び横移動−輝度評価値の最小値が所定値よりも小さい場合に、検出された縦及び横方向への被写体移動量が正確な値、即ち信頼性のある値であるものと評価するようにしても良い。
【０１５１】
さらに、上述した第２実施形態では、信頼性評価値Ｃが所定値よりも大きいか否かによって、検出された被写体移動量の信頼性を評価したが、これに限られるものではなく、例えば、図１３及び図１４に示すように、検出される縦及び横方向への被写体移動量ＭＶ，ＭＨに対応する縦及び横移動−輝度評価値ＹＭ，ＸＭが所定値よりも小さい場合に、検出された縦及び横方向への被写体移動量ＭＶ，ＭＨが正確な値、即ち信頼性のある値であるものと評価するようにしても良い。
【０１５２】
つまり、縦及び横移動−輝度評価値が所定値よりも小さくなければ、時間的に連続する複数（例えば、２個）の画像において、輝度のパターンがほぼ類似するエリアが存在しないこととなり、このような場合は、被写体の移動を正確に検出できていないものと考えられる。よって、ここでは、上述のような構成とすることによって、縦及び横移動−輝度評価値が所定値よりも小さい場合に、検出された縦及び横方向への被写体移動量が信頼性のある値であるものと評価するため、被写体移動量の誤検出を低減することができる。
【０１５３】
◎上述した具体的実施形態には以下の構成を有する発明が含まれている。
【０１５４】
（１）請求項１に記載の撮像装置であって、前記算出手段が、前記第１評価領域についての輝度値と、前記第２評価領域についての輝度値との差分を前記輝度評価値として算出することを特徴とする撮像装置。
【０１５５】
（１）に記載の発明によれば、時間的に連続して得られる画像毎に設けられた評価領域の輝度値について、画像間の差分を求め、その差分に基づいて被写体移動量を検出するため、被写体の移動を容易かつ精度良く検出することができる。
【０１５６】
（２）請求項２又は請求項３に記載の撮像装置であって、各前記分割領域が、短冊状の形状をした領域であることを特徴とする撮像装置。
【０１５７】
（２）に記載の発明によれば、分割領域を短冊状の形状をした領域とすることによって、演算速度を向上させることができる。
【０１５８】
（３）請求項１から請求項５、（１）、及び（２）のいずれかに記載の撮像装置であって、前記検出手段が、各前記第１評価領域と各前記第２評価領域との組合せのうち、前記輝度評価値が最小となる組合せに係る前記第１評価領域と前記第２評価領域との相対的な位置関係に基づいて前記移動量を検出することを特徴とする撮像装置。
【０１５９】
（３）に記載の発明によれば、輝度評価値が最小となる評価領域の組合せにおける評価領域の相対的な位置関係に基づいて被写体移動量を検出するため、被写体の移動を確実かつ精度良く検出することができる。
【０１６０】
（４）（３）に記載の撮像装置であって、前記検出手段が、各前記第１画像評価領域と各前記第２評価領域との組合せのうち、前記輝度評価値が最小となる第１組合せに係る前記第１評価領域と前記第２評価領域との相対的な位置関係に対して、所定の方向及びその逆方向に相対的にずれた位置関係を有する前記第１評価領域と前記第２評価領域との第２及び第３組合せに係る輝度評価値と、前記第１組合せに係る輝度評価値とに基づいて前記被写体移動量を検出することを特徴とする撮像装置。
【０１６１】
（４）に記載の発明によれば、輝度評価値が最小となる評価領域の組合せと、その組合せに対して所定の方向、及びその逆方向に相対的にずれた位置関係を有する評価領域の組合せとにおける３つの輝度についての評価値に基づいて被写体移動量を検出するため、細かな被写体の移動を精度良く検出することができる。
【０１６２】
（５）請求項１から請求項５、及び（１）から（４）のいずれかに記載の撮像装置であって、所定値以上の前記輝度評価値の検出に基づいて前記被写体移動量を信頼性のある値として判別する判別手段、をさらに備えることを特徴とする撮像装置。
【０１６３】
（５）に記載の発明によれば、所定値以上の輝度評価値の検出に基づいて被写体移動量を信頼性のある値として判別するため、被写体移動量の誤検出を低減することができる。
【０１６４】
（６）請求項１から請求項５、及び（１）から（５）のいずれかに記載の撮像装置であって、前記検出手段が、前記撮像装置における撮影準備動作の開始後において前記被写体移動量を検出することを特徴とする撮像装置。
【０１６５】
（６）に記載の発明によれば、撮影準備動作の開始後において被写体移動量を検出するため、省電力化を図ることができる。
【０１６６】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、時間的に連続して得られる画像毎に設けられた評価領域についての輝度値を、それらの画像間で評価することによって、被写体移動量を検出するため、被写体の移動を精度良く検出することが可能な撮像装置を提供することができる。
【０１６７】
また、請求項２に記載の発明によれば、時間的に連続して得られる画像毎に設けられた評価領域についての輝度値を、それらの画像間で評価する際に、評価領域を複数に分割した分割領域毎の輝度値を、それらの画像間で評価するため、被写体移動量をさらに精度良く検出することができる。
【０１６８】
また、請求項３に記載の発明によれば、時間的に連続する画像間で、評価領域全体を分割して得られる対応する分割領域の組合せ毎に輝度値の差分の絶対値を算出し、それらを足し合わせることで、時間的に連続して得られる画像毎に設けられた評価領域の輝度値を画像間で評価するため、被写体移動量を容易かつさらに精度良く検出することができる。
【０１６９】
また、請求項４に記載の発明によれば、検出された被写体移動量に基づいて、画像に対して設定される合焦状態を評価するための対象領域の位置を移動させるため、被写体の移動に対応して合焦状態を保持することができる。
【０１７０】
また、請求項５に記載の発明によれば、検出される被写体移動量に基づいて、画像とともに表示される被写体の位置を示す表示の位置を変更するため、被写体に対する追尾の状況を操作者が把握することができる。
【図面の簡単な説明】
【図１】撮像装置１の内部構成を示すブロック図である。
【図２】ワンショットＡＦ動作におけるＡＦ評価エリアを例示する図である。
【図３】ワンショットＡＦ動作の動作フローを例示するフローチャートである。
【図４】輝度値の算出エリアを例示する図である。
【図５】輝度値の算出エリアを例示する図である。
【図６】輝度値の算出エリアを例示する図である。
【図７】輝度値の算出エリアを例示する図である。
【図８】ＡＦ評価エリア及び被写***置を示すポインタの変更の一例を示す図である。
【図９】コンティニュアスＡＦ動作の動作フローを例示するフローチャートである。
【図１０】撮影レンズの位置とＡＦ評価値との関係を例示する図である。
【図１１】被写体追尾ＡＦ動作におけるタイミングチャートである。
【図１２】ＡＦ動作全体の動作フローを模式的に示すフローチャートである。
【図１３】移動量の補間計算を説明するための図である。
【図１４】移動量の補間計算を説明するための図である。
【符号の説明】
１，１Ａ撮像装置
１６液晶表示部（表示手段、変更手段）
２１ＣＣＤ撮像素子（撮像手段）
３０ＡＦ評価値算出部（移動手段）
４０，４０Ａ移動量検出部（設定手段、算出手段、検出手段、判別手段）
６１シャッタースタートボタン
７０カメラ制御部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging device such as a digital camera.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as an auto-focusing (auto-focusing) technique in an imaging device such as a digital camera, there is a technology that focuses on an area of an image and obtains an evaluation value such as contrast from the area to evaluate the degree of focusing of a subject. Are known. In this case, the photographing lens is driven stepwise to detect the lens position at which the evaluation value becomes maximum, thereby specifying the lens position at which the subject image is in focus and performing autofocus. . In such a technique, in order to accurately evaluate the in-focus state of the subject, it is desired to use an evaluation value having a relatively large degree of change accompanying the driving of the taking lens.
[0003]
When performing autofocus, the subject may move in the image plane during the autofocus operation due to camera shake, subject shake, or the like. For this reason, conventionally, the movement of a subject is also detected by dividing a time-continuous image plane into a plurality of regions and detecting a change in an evaluation value of each region over time. (For example, Patent Document 1). In the movement detection using the evaluation value for autofocus, in order to accurately detect the movement of the subject in the image plane, the movement detection is performed between images for evaluating the movement of the subject due to factors other than the movement of the subject. It is desired that the image change is small.
[0004]
Prior art documents relating to such a technique include the following.
[0005]
[Patent Document 1]
JP 2000-188713 A
[0006]
[Problems to be solved by the invention]
However, since the above-described movement detection is configured to detect the movement of the subject in the image plane using the evaluation value for autofocus, the driving of the photographing lens is performed between the images for evaluating the movement of the subject. That is, the movement of the subject is detected with images having different defocus amounts. For this reason, in the conventional movement detection, a large change in the evaluation value due to a change in the defocus amount occurs as a factor other than the movement of the subject, and there is a problem that the possibility of erroneously detecting the movement of the subject is high.
[0007]
In view of the above, an object of the present invention is to provide an imaging device that can accurately detect the movement of a subject.
[0008]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to claim 1 is an imaging apparatus, comprising: an imaging unit configured to acquire first and second images that are temporally continuous; Setting means for setting one evaluation area and setting a second evaluation area for the second image; a luminance value for the first evaluation area; and a luminance value for the second evaluation area. And a detecting means for detecting a moving amount of the subject based on the luminance evaluation value.
[0009]
The invention according to claim 2 is the imaging device according to claim 1, wherein the calculation unit is configured to determine a luminance value for each of the first divided areas obtained by dividing the first evaluation area into a plurality of pieces, The luminance evaluation value is calculated based on a luminance value for each of the second divided regions obtained by dividing the evaluation region into a plurality.
[0010]
According to a third aspect of the present invention, in the imaging apparatus according to the second aspect, the calculating unit determines, for each combination of the first evaluation area and the second evaluation area, for each of the first divided areas. And a sum of absolute values of differences between the luminance values of the first and second divided areas corresponding to the first divided areas is calculated as the luminance evaluation value.
[0011]
According to a fourth aspect of the present invention, there is provided the image pickup apparatus according to any one of the first to third aspects, wherein an image set by the image pickup means is set based on the movement amount. It is characterized by further comprising moving means for moving the focus evaluation area.
[0012]
According to a fifth aspect of the present invention, there is provided the imaging apparatus according to any one of the first to fourth aspects, wherein the display unit displays a position display indicating the position of the subject together with the image acquired by the imaging unit. And changing means for changing the position of the position display with respect to the image based on the movement amount.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0014]
<(1) First Embodiment>
<Functional configuration of imaging device 1>
FIG. 1 is a block diagram showing an internal configuration of an imaging device (digital camera) 1 according to the first embodiment of the present invention. As shown in FIG. 1, the imaging apparatus 1 mainly includes a photographing lens 11, a photographing function unit 3, an AF evaluation value calculation unit 30, a movement amount detection unit 40, a lens driving unit 50, an operation unit 60, and a camera control unit. 70.
[0015]
The taking lens 11 forms an optical image of a subject on the CCD image sensor 21. The taking lens 11 includes a lens system that can be driven along the optical axis direction. Then, by driving the lens system in the optical axis direction, a focused state of a subject image formed on the CCD image sensor 21 can be realized.
[0016]
The CCD image sensor (hereinafter, abbreviated as “CCD”) 21 has 2560 × 1920 pixels, and converts light images of a subject formed by the photographing lens 11 into R (red), G (green), and B ( The image signal is photoelectrically converted into an image signal of a blue (blue) color component (a signal composed of a signal sequence of pixel signals received by each pixel) and output. Here, a process of forming a light image of a subject on the CCD 21 and accumulating a charge signal by photoelectric conversion (hereinafter, referred to as “imaging process”) is performed, and the charge signal (image signal) is sequentially read from the CCD 21. Issued and output. Then, an image signal (image) output from the CCD 21 is given to the A / D converter 22.
[0017]
In addition, the driving method (readout mode) of the CCD 21 includes two modes: a draft mode and a main shooting mode.
[0018]
The draft mode is a reading mode for generating an image for live view display as a preview before shooting (hereinafter, referred to as “main shooting”) for acquiring an image and storing the image in the memory card 9 or the like. This is applied at the time of so-called live view display. Generally, signal reading from the CCD 21 is performed for each horizontal line. For this reason, in the draft mode, when pixel signals for each horizontal line are read from the CCD 21 having 2560 pixels in the horizontal direction and 1920 pixels in the vertical direction, the CCD 21 is driven so as to read one line out of eight lines. That is, in the draft mode, the 1920 horizontal lines are read out in a state where they are thinned out by 1/8. As a result, the image output from the CCD 21 in the draft mode has 2560 × 240 pixels.
[0019]
Further, the main photographing mode is a mode in which an image signal is read out for the whole frame, that is, for all pixels of 2560 × 1920. Then, the timing generator 27 controls the drive timing of the CCD 21 in the designated mode among these read modes.
[0020]
The timing generator 27 generates various timing pulses for controlling driving of the CCD 21, and generates a driving control signal of the CCD 21 based on a reference clock transmitted from the camera control unit 70. The timing generator 27 generates, for example, clock signals such as integration start / end (exposure start / end) timing signals and readout control signals (horizontal synchronizing signal, vertical synchronizing signal, transfer signal, etc.) of the light receiving signal of each pixel. , To the CCD 21.
[0021]
Then, the image signal output from the CCD 21 is given to the A / D converter 22. For example, in a state where the live view display is performed before the actual photographing (hereinafter, referred to as a “live view display state”), the A / D is transmitted from the CCD 21 every 1/30 second based on the drive control signal from the timing generator 27. An image signal (2560 × 240 pixels) is input to the converter 22. That is, the CCD 21 acquires a temporally continuous image (frame) every 1/30 second.
[0022]
The A / D converter 22 converts an image signal (analog signal) output from the CCD 21 into, for example, a 10-bit digital signal (digital data) per pixel. At the time of actual photographing, an image signal (image data) output from the A / D converter 22 is transmitted only to the image processing unit 23. On the other hand, in the live view display state, the image data (image) output from the A / D converter 22 in a state in which the AF operation performed before the actual shooting is performed (hereinafter, referred to as an “AF execution state”) is In addition to being transmitted to the image processing unit 23, it is also transmitted to the AF evaluation value calculation unit 30 and the movement amount detection unit 40.
[0023]
The image processing unit 23 is a unit that performs image processing such as white balance (WB) adjustment, γ correction, and color interpolation on image data. Then, the image data output from the image processing unit 23 is guided to the resolution conversion unit 24.
[0024]
The resolution conversion unit 24 is a unit that performs predetermined resolution conversion on image data obtained from the CCD 21 and converted into digital data by the A / D converter 22. For example, in the live view display state, the resolution conversion unit 24 performs a predetermined resolution conversion on the image data input from the CCD 21. As a result, the resolution conversion unit 24 generates image data having an image size suitable for the number of display pixels (320 × 240) of the liquid crystal display unit 16. In other words, in the live view display state, the resolution conversion unit 24 performs 1/8 thinning in the horizontal direction on the image having 2560 × 240 pixels thinned out in the vertical direction by 1/8 in the CCD 21 to obtain 320 × 240 pixels. A live view image having a number of pixels is generated. At the time of the actual photographing, the resolution conversion unit 24 outputs the image data (2560 × 1920 pixels) obtained from the image processing unit 23 to the image compression unit 26 without performing the resolution conversion process.
[0025]
The image memory 25 is a memory that temporarily stores image data obtained by the CCD 21 and subjected to the above-described image processing. The image memory 25 has a storage capacity of at least several frames. That is, the image memory 25 has at least a storage capacity capable of storing pixel data of 2560 × 1920 pixels corresponding to the number of pixels of the CCD 21 for several frames, and each pixel data is stored in a corresponding pixel position. It has become.
[0026]
The image compression unit 26 performs an image compression process on an image (2560 × 1920 pixels) obtained by the main photographing using a predetermined compression method. Then, the image data (recorded image) subjected to the image compression is output from the image compression unit 26 and stored in the memory card 9.
[0027]
The liquid crystal display unit 16 is configured by a general liquid crystal display or the like, and has 320 × 240 display pixels. In the live view display state, the live view images input from the resolution conversion unit 24 for 30 frames per second are sequentially displayed on the liquid crystal display unit 16. At the time of actual shooting, an after-view image related to an image shot immediately after shooting is displayed on the liquid crystal display unit 16.
[0028]
The AF evaluation value calculation unit 30 acquires an image signal (image) input from the A / D converter 22 in the AF execution state, and performs photographing in the same manner as a general contrast type (hill-climbing type) AF operation. It calculates an evaluation value (hereinafter, referred to as an “AF evaluation value”) related to the in-focus state of the lens 11, and transmits data indicating the calculated AF evaluation value to the camera control unit 70. The method of calculating the AF evaluation value will be described later.
[0029]
The movement amount detection unit 40 acquires an image signal (image) input from the A / D converter 22, and determines the movement amount of the subject based on a change in luminance value between temporally consecutive images (frames). (Object movement amount), and transmits data indicating the detected object movement amount to the camera control unit 70.
[0030]
The operation unit 60 includes various buttons for performing various settings of the imaging apparatus 1, a shutter start button (hereinafter, abbreviated as “shutter button”) 61, and the like. Is transmitted to the camera control unit 70.
[0031]
The shutter button 61 is a two-stage switch capable of detecting a half-pressed state (hereinafter, referred to as “S1 state”) and a pressed state (hereinafter, referred to as “S2 state”). When the shutter button 61 is set to the S1 state in the live view display state, the state shifts to the AF execution state, the lens driving for the AF operation is started, and the preparation operation before the main photographing including the AF operation and the like (hereinafter, “preparation for photographing”) Operation).
[0032]
In the initial stage of this AF operation, first, a general contrast type AF operation (so-called “one-shot AF operation”) for driving the photographing lens 11 to the in-focus position is performed, and then the shutter button 61 is set to S2. An AF operation (so-called “continuous AF operation”) that keeps the object in focus until the state is reached is performed. Then, when the shutter button 61 is set to the S2 state, the AF operation is stopped, the position of the photographing lens 11 is fixed, and the image data obtained by the CCD 21 and subjected to image processing is subjected to data compression by the image compression unit 26 to be generated. The stored image data is stored in the memory card 9.
[0033]
The camera control unit 70 mainly includes a CPU, a ROM, a RAM, and the like. The camera control unit 70 performs overall control of each unit in the imaging apparatus 1. The CPU executes various programs and controls by executing a predetermined program. And so on.
[0034]
For example, the camera control unit 70 has a function of controlling the AF operation, and in conjunction with the timing generator 27, controls the lens driving unit 50 to drive the lens position of the photographing lens 11 stepwise during the AF operation. At the same time, control is performed so that an image is acquired by the CCD 21 at each lens position. At this time, the camera control unit 70 controls the AF evaluation value calculation unit 30 to calculate an AF evaluation value for an AF evaluation area (described later) set for an image acquired at each lens position. Then, the in-focus position of the photographing lens 11 is detected based on the AF evaluation value calculated here, and the photographing lens 11 is controlled to be driven to the in-focus position via the lens driving unit 50. AF operations including the one-shot AF operation and the continuous AF operation will be further described later.
[0035]
Further, the camera control unit 70 changes the position of the AF evaluation area set for the image in the AF evaluation value calculation unit 30 based on the data indicating the moving amount of the subject input from the moving amount detection unit 40. To control. That is, after the shutter button 61 is half-pressed by the operator to enter the S1 state, the position of the AF evaluation area is changed in accordance with the movement of the subject until the shutter button 61 is fully pressed to enter the S2 state. A continuous AF operation is performed. That is, here, an operation of continuously realizing the in-focus state while tracking the subject (hereinafter, referred to as “subject tracking AF operation”) is performed. Changing the position of the AF evaluation area will be further described later.
[0036]
The lens driving unit 50 is a driving unit for driving the photographing lens 11 back and forth along the optical axis in response to a command from the camera control unit 70, and changes a focusing state of a subject image formed on the CCD 21. It is to let.
[0037]
<About AF operation>
As described above, in the live view display state, when the operator enters the S1 state by half-pressing the shutter button 61, the one-shot AF operation is performed first, and the photographing lens 11 is moved to the in-focus position. Drive. Thereafter, an object tracking AF operation is performed to keep the in-focus state while tracking the object.
[0038]
Hereinafter, the one-shot AF operation and the subject tracking AF operation will be described.
[0039]
<One-shot AF operation>
FIG. 2 is a diagram illustrating an AF evaluation area set for the image G in the one-shot AF operation. In FIG. 2, in order to make it easy to understand the correspondence with the pixel positions in the CCD 21, the image G is enlarged by 8 times in the vertical direction, which is the direction in which the CCD 21 is thinned out by 1/8. In FIG. 2 and subsequent figures, two axes of X and Y are added as necessary to clarify the relationship between the horizontal direction and the vertical direction with respect to the image.
[0040]
As shown in FIG. 2, in the one-shot AF operation, the AF evaluation value calculation unit 30 outputs a signal to the vicinity of the center of the image G sequentially and continuously input from the A / D converter 22 every 1/30 seconds. An area (AF evaluation area) AE for calculating an AF evaluation value is set.
[0041]
The AF evaluation value calculation unit 30 corresponds to the AF evaluation area AE having 384 × 28 pixels near the center of the image G having 2560 × 240 pixels input from the A / D converter 22. Get image data. Then, in a manner similar to that performed in the general AF operation of the contrast method, a plurality of pieces of image data in the AF evaluation area AE are acquired while driving the photographing lens 11. Then, the AF evaluation value calculation unit 30 obtains an evaluation value (AF evaluation value) related to the focusing state of the photographing lens 11 based on the acquired image (image data) in the AF evaluation area AE. The AF evaluation value is obtained as a sum of contrast values in the AF evaluation area AE, similarly to the AF evaluation value obtained in a general contrast type AF operation.
[0042]
FIG. 3 is a flowchart illustrating an operation flow of the one-shot AF operation. The operation flow of the one-shot AF operation is controlled by the camera control unit 70. First, in the live view display state, when the operator half-presses the shutter button 61 to enter the S1 state, the one-shot AF operation starts, and the process proceeds to step S1.
[0043]
In step S1, the photographing lens 11 is minutely driven from the initial position to determine the driving direction, and the process proceeds to step S2. Here, the photographing lens 11 is minutely driven from the initial position, and the driving direction of the photographing lens 11 at which the AF evaluation value calculated for the AF evaluation area AE increases is determined as the driving direction in step S2.
[0044]
In step S2, a general hill-climbing AF operation is performed for the driving direction determined in step S1, and the process proceeds to step S3. Here, an image is acquired while driving the photographing lens 11 at a predetermined pitch in the driving direction determined in step S2, and an AF evaluation value is calculated based on image data in the AF evaluation area AE, and the AF evaluation value is calculated. The driving of the photographing lens 11 is continued until the value begins to decrease. That is, when the AF evaluation value starts to decrease, the driving of the photographing lens 11 is stopped.
[0045]
In step S3, the in-focus position of the photographing lens 11 is calculated, and the process proceeds to step S4. Here, the maximum value Yn of the AF evaluation values calculated in step S2, the AF evaluation values Yn-1, Yn + 1 before and after the maximum value Yn, and the lenses of the photographing lens 11 corresponding to those AF evaluation values Yn-1, Yn, Yn + 1 Using the position, the lens position of the photographing lens 11 at which the AF evaluation value becomes the maximum is calculated as the focus position by quadratic interpolation approximation calculation (calculation by quadratic curve approximation).
[0046]
In step S4, the photographing lens 11 is driven to the in-focus position calculated in step S3, and the one-shot AF operation ends.
[0047]
In the present invention, a continuous AF operation in which the AF operation is always continued even after the one-shot AF operation is continuously performed.
[0048]
<Subject tracking AF operation>
<Detection of object movement amount>
After the end of the one-shot AF operation, the movement amount detection unit 40 detects a subject movement amount by evaluating a change in luminance value of an image that is temporally and continuously input from the A / D converter 22.
[0049]
FIGS. 4 to 7 show calculation areas (hereinafter, referred to as “brightness evaluation”) of the brightness values set for the first and second images G1 and G2 acquired successively in time by the movement amount detection unit 40. It is a figure which illustrates SE1 and SE2. 4 to 7, similarly to FIG. 2, in order to make it easy to understand the correspondence between the positions of the pixels on the CCD 21 and the luminance evaluation areas SE1 and SE2 in the vertical direction which is the 1/8 thinned-out direction on the CCD 21. Is enlarged by 8 times.
[0050]
Here, as shown in FIGS. 4 to 7, the luminance evaluation areas SE1 and SE2 are set to the same position and the same size (384 × 28 pixels) as the AF evaluation area AE. Then, as shown in FIGS. 4 to 7, in the movement amount detection unit 40, the luminance evaluation areas SE1 and SE2 are 24 vertically elongated rectangular shapes having the same shape and size, respectively (hereinafter, referred to as “areas”). , Which are referred to as “vertical division areas”) A1 to A24, B1 to B24 (16 × 28 pixels), and 14 horizontally elongated rectangular areas having the same shape and size (hereinafter, “horizontal division area”). ) C1 to C14 and D1 to D14 (384 × 2 pixels).
[0051]
The vertically long divided areas A1 to A24 and B1 to B24 are areas for detecting the amount of movement of the subject in the horizontal direction (X direction), and the horizontally long divided areas C1 to C14 and D1 to D14 are in the vertical direction (Y This is an area for detecting the amount of movement of the subject in the direction ()).
[0052]
Hereinafter, the detection of the amount of movement of the subject by the movement amount detection unit 40 will be specifically described with reference to the detection of the amount of movement of the object in the vertical and horizontal directions.
[0053]
<Detection of object movement amount in horizontal direction>
First, the movement amount detection unit 40 sets a plurality of areas (hereinafter, also referred to as a “first horizontal movement evaluation area”) including 22 vertically long divided areas adjacent to each other in the luminance evaluation area SE1, and sets the luminance. In the evaluation area SE2, a plurality of areas (hereinafter, also referred to as “second horizontal movement evaluation areas”) including 22 vertically long divided areas adjacent to each other are set.
[0054]
In other words, the movement amount detection unit 40 determines a relative positional relationship between the first image G1 and the second image G2 acquired successively in time with respect to the first image G1. A plurality of first horizontal movement evaluation areas that share a part of the vertically long divided area with each other, and have a relative positional relationship with respect to the second image G2 that is shifted from each other; In addition, a plurality of second horizontal movement evaluation areas that share a part of the vertically long divided areas are set. Also, here, the first and second lateral movement evaluation areas set for each image have the same shape and size.
[0055]
Specifically, in the luminance evaluation area SE1, a first horizontal movement evaluation area including 22 vertically elongated divided areas A1 to A22 adjacent to each other, and a second horizontal movement evaluation area including 22 vertically elongated divided areas A2 to A23 adjacent to each other. One horizontal movement evaluation area is set, and a first horizontal movement evaluation area including 22 vertically long divided areas A3 to A24 adjacent to each other is set. In the luminance evaluation area SE2, a second horizontal movement evaluation area including 22 vertically long divided areas B1 to B22 adjacent to each other, and a second horizontal movement including 22 vertically long divided areas B2 to B23 adjacent to each other. An evaluation area, a second horizontal movement evaluation area including 22 vertically long divided areas B3 to B24 adjacent to each other is set.
[0056]
Then, the movement amount detection unit 40 determines the luminance values AY (1) to AY (24) and BY (1) to BY (24) for each of the vertically long divided areas A1 to A24 and B1 to B24 shown in FIGS. Is calculated respectively. For example, the movement amount detection unit 40 calculates the luminance values AY (1) to AY (24) and BY (1) to BY (24) for all pixels included in each of the vertically long divided areas A1 to A24 and B1 to B24. Is calculated as the form of the sum of the pixel values (luminance values).
[0057]
Further, the movement amount detection unit 40 determines, for each combination of each first lateral movement evaluation area and each second lateral movement evaluation area, the relative position in each first lateral movement evaluation area and the relative position in each second lateral movement evaluation area. The vertical length divided area having the same position as the corresponding vertical length divided area is set as the corresponding vertical length divided area, and the absolute value of the difference of the luminance value between each corresponding vertical elongated divided area is added, and the luminance for detecting the moving amount of the subject in the horizontal direction is added. Evaluation values PAT1 to PAT5 (hereinafter, also referred to as “lateral movement-luminance evaluation value”) are calculated.
[0058]
That is, for each combination of the first horizontal movement evaluation area and the second horizontal movement evaluation area, the movement amount detection unit 40 determines the luminance value for each vertically long divided area (first divided area) and the corresponding vertically long divided area ( The sum of the absolute values of the differences between the luminance values for each of the second divided regions is calculated as the lateral movement-luminance evaluation values PAT1 to PAT5. That is, the movement amount detection unit 40 performs the horizontal movement-luminance evaluation based on the luminance value for each vertically long divided area (first divided area) and the luminance value for each corresponding vertically long divided area (second divided area). The values PAT1 to PAT5 are calculated. From another viewpoint, the movement amount detection unit 40 calculates a difference between the luminance value of the first lateral movement evaluation area and the luminance value of the second lateral movement evaluation area as a lateral movement-luminance evaluation value. I do. That is, the movement amount detection unit 40 calculates a lateral movement-luminance evaluation value based on the luminance value of the first lateral movement evaluation area and the luminance value of the second lateral movement evaluation area.
[0059]
Specifically, the lateral movement-luminance evaluation values PAT1 to PAT5 are calculated according to the following equations (1) to (5).
[0060]
PAT1 = Σ | AY (m) −BY (m) | (1)
PAT2 = Σ | AY (m) −BY (m−1) | (2)
PAT3 = Σ | AY (m) −BY (m + 1) | (3)
PAT4 = Σ | AY (m + 1) −BY (m−1) | (4)
PAT5 = Σ | AY (m−1) −BY (m + 1) | (5).
[0061]
In the formulas (1) to (5), m is a natural number, m-1 is 1 to 22, m is 2 to 23, and m + 1 is 3 to 24.
[0062]
In the equations (1) to (5), in the two images G1 and G2 which are temporally continuous, the first horizontal movement evaluation area and the second horizontal movement evaluation area are arranged at a pitch of 16 pixels in the horizontal direction in terms of the number of pixels of the CCD 21. The similarity of the luminance pattern is calculated between the horizontal movement evaluation area and the evaluation area. In the following, when the amount of movement of the subject is represented by the number of pixels, it is represented by being converted into the number of pixels of the CCD 21. Then, the moving amount of the subject in the horizontal direction is obtained by utilizing the property that the higher the similarity of the luminance pattern is, the smaller the horizontal movement-luminance evaluation value is.
[0063]
That is, of the combinations of the first lateral movement evaluation areas and the second lateral movement evaluation areas, the combination of the first lateral movement evaluation area and the second lateral movement evaluation area with the smallest lateral movement-luminance evaluation value is described. , The luminance patterns in the areas are the most similar. Then, it can be determined that the first and second lateral movement evaluation areas related to such a combination include the same subject. Therefore, for a combination of the first lateral movement evaluation area and the second lateral movement evaluation area having the smallest lateral movement-luminance evaluation value, the relative positional relationship between the evaluation areas is detected as the amount of lateral movement of the subject. I do. That is, the movement amount detection unit 40 detects the amount of movement of the subject in the horizontal direction based on the plurality of horizontal movement-luminance evaluation values PAT1 to PAT5.
[0064]
Specifically, the movement amount detection unit 40 selects one of the lateral movement-luminance evaluation values PAT1 to PAT5.
{Circle around (1)} When the luminance evaluation value PAT1 is the minimum, the amount of movement of the subject in the horizontal direction is detected as 0 pixels,
{Circle around (2)} Horizontal movement—When the luminance evaluation value PAT2 is the minimum, the amount of movement of the subject in the horizontal direction is detected as 16 pixels to the left (−X direction).
{Circle around (3)} Horizontal movement—When the luminance evaluation value PAT3 is the minimum, the amount of movement of the subject in the horizontal direction is detected as 16 pixels to the right (+ X direction),
{Circle around (4)} Horizontal movement—When the luminance evaluation value PAT4 is the minimum, the amount of movement of the subject in the horizontal direction is detected as 32 pixels to the left (−X direction),
{Circle around (5)} Horizontal movement—When the luminance evaluation value PAT5 is the minimum, the amount of movement of the object in the horizontal direction is detected as 32 pixels to the right (+ X direction).
[0065]
As described above, the movement amount detection unit 40 determines the first lateral movement evaluation area and the second lateral movement related to the combination of the first lateral movement evaluation area and the second lateral movement evaluation area that minimize the lateral movement-luminance evaluation value. The amount of movement of the subject in the horizontal direction is detected based on the relative positional relationship between the evaluation areas. In other words, here, a luminance value that does not easily fluctuate due to a change in the defocus amount due to the driving of the photographing lens 11 by the AF operation is used, and an area having a similar luminance pattern in an image acquired continuously over time is used for the same subject. Is detected as an area in which the object exists, and the amount of movement of the subject in the horizontal direction is detected. As a result, it is possible to reliably and accurately detect the amount of movement of the subject in the horizontal direction.
[0066]
Note that, as described above, the lateral movement-luminance evaluation value is not a value relating to the contrast of an image directly used in focusing control in the AF operation. That is, the value relating to the contrast (for example, the AF evaluation value) here is the difference in luminance between the region of interest and its surrounding region for one image (in other words, the spatial change in luminance within the image). The brightness evaluation value (for example, the lateral movement-brightness evaluation value) used in this embodiment corresponds to the brightness value in the target area of “one image” and the brightness value in the “other image”. This value reflects the difference from the luminance value of the region to be changed (in other words, the difference in luminance between “images”).
[0067]
The amount of movement of the object in the horizontal direction is detected as described above. Here, for example, the sum of the luminance values of all the pixels in the first horizontal movement evaluation area and the luminance of all the pixels in the second horizontal movement evaluation area Assuming that the difference from the sum of the values is calculated as the lateral movement evaluation values PAT1 to PAT5, the change in the luminance pattern in the first and second lateral movement evaluation areas of a large size is averaged, and the luminance pattern The change cannot be correctly reflected on the lateral movement-luminance evaluation values PAT1 to PAT5.
[0068]
Therefore, in the imaging apparatus 1, for each combination of the first horizontal movement evaluation area and each second horizontal movement evaluation area, the absolute value of the difference in luminance value between the corresponding vertically long divided areas is added, and the horizontal movement-luminance is calculated. It is calculated as evaluation values PAT1 to PAT5. Therefore, the horizontal movement-luminance evaluation values PAT1 to PAT5 can be calculated in a manner that reflects the change in luminance between the vertically-long divided areas of a small size, so that a detailed and accurate change in the luminance pattern can be grasped. Can be. As a result, the reliability of the calculated lateral movement-luminance evaluation values PAT1 to PAT5 can be improved, and the finally detected lateral movement amount of the subject in the horizontal direction can be easily and more accurately detected. .
[0069]
<Detection of vertical movement of subject>
The detection of the moving amount of the subject in the vertical direction is the same as the detection of the moving amount of the subject in the horizontal direction described above, but will be described in detail below.
[0070]
First, the movement amount detection unit 40 sets a plurality of areas (hereinafter, also referred to as a “first vertical movement evaluation area”) including 12 horizontally long divided areas adjacent to each other in the luminance evaluation area SE1, and sets the luminance. In the evaluation area SE2, a plurality of areas (hereinafter, also referred to as “second vertical movement evaluation areas”) including 12 horizontally long divided areas adjacent to each other are set.
[0071]
In other words, the movement amount detection unit 40 determines a relative positional relationship between the first image G1 and the second image G2 acquired successively in time with respect to the first image G1. A plurality of first vertical movement evaluation areas that share a part of the horizontally long divided area with each other, and have a relative positional relationship with respect to the second image G2 that is shifted from each other; In addition, a plurality of second vertical movement evaluation areas sharing a part of the horizontally long divided area are set. Here, the first and second vertical movement evaluation areas set for each image have the same shape and size, respectively.
[0072]
Specifically, in the luminance evaluation area SE1, a first vertical movement evaluation area including 12 horizontally long divided areas C1 to C12 adjacent to each other, and a second vertical movement evaluation area including 12 horizontally long divided areas C2 to C13 adjacent to each other. A first vertical movement evaluation area including one vertical movement evaluation area and twelve horizontally long divided areas C3 to C14 adjacent to each other is set. In the luminance evaluation area SE2, a second vertical movement evaluation area including twelve horizontally long divided areas D1 to D12 adjacent to each other, and a second vertical movement including twelve horizontally long divided areas D2 to D13 adjacent to each other. An evaluation area, a second vertical movement evaluation area including 12 horizontally long divided areas D3 to D14 adjacent to each other is set.
[0073]
Then, the movement amount detection unit 40 determines the luminance values CY (1) to CY (14) and DY (1) to DY (14) for each of the horizontally long divided areas C1 to C14 and D1 to D14 shown in FIGS. Is calculated respectively. For example, the movement amount detection unit 40 determines each of the luminance values CY (1) to CY (14) and DY (1) to DY (14) in each of the horizontally long divided areas C1 to C14 and D1 to D14. Is calculated as the form of the sum of the pixel values (luminance values).
[0074]
Further, the movement amount detection unit 40 determines the relative position in each first vertical movement evaluation area and the relative position in each second vertical movement evaluation area for the combination of each first vertical movement evaluation area and each second vertical movement evaluation area. The horizontal divided area having the same horizontal position is defined as the corresponding horizontal divided area, and the absolute value of the difference between the luminance values of the corresponding horizontal divided areas is added to detect the amount of movement of the subject in the vertical direction. Evaluation values (hereinafter, also referred to as “vertical movement-luminance evaluation value”) PAT6 to PAT10 are calculated.
[0075]
That is, for each combination of the first vertical movement evaluation area and the second vertical movement evaluation area, the movement amount detection unit 40 determines the luminance value for each horizontally divided area (first divided area) and the corresponding horizontally long divided area (first divided area). The sum of the absolute values of the differences between the luminance values for each of the second divided regions is calculated as the vertical movement-luminance evaluation values PAT6 to PAT10. That is, the movement amount detection unit 40 performs the vertical movement-luminance evaluation based on the luminance value for each horizontally long divided area (first divided area) and the luminance value for each corresponding horizontally long divided area (second divided area). The values PAT6 to PAT10 are calculated. From another viewpoint, the movement amount detection unit 40 calculates a difference between the luminance value of the first vertical movement evaluation area and the luminance value of the second vertical movement evaluation area as a vertical movement-luminance evaluation value. I do. That is, the movement amount detection unit 40 calculates the vertical movement-brightness evaluation value based on the luminance value of the first vertical movement evaluation area and the luminance value of the second vertical movement evaluation area.
[0076]
Specifically, the vertical movement-luminance evaluation values PAT6 to PAT10 are calculated according to the following equations (6) to (10).
[0077]
PAT6 = Σ | CY (m) −DY (m) | (6)
PAT7 = Σ | CY (m) −DY (m−1) | (7)
PAT8 = Σ | CY (m) −DY (m + 1) | (8)
PAT9 = Σ | CY (m + 1) −DY (m−1) | (9)
PAT10 = Σ | CY (m−1) −DY (m + 1) | (10).
[0078]
In the expressions (6) to (10), a natural number is applied to m, 1 to 12 is applied to m-1, 2 to 13 is applied to m, and 3 to 14 is applied to m + 1.
[0079]
In the expressions (6) to (10), in the two images G1 and G2 that are temporally continuous, the first vertical movement evaluation area and the second vertical movement evaluation area which are arranged in the vertical direction at a pitch of 16 pixels in terms of the number of pixels of the CCD 21 The similarity of the luminance pattern is calculated for the vertical movement evaluation area. Then, the moving amount of the subject in the vertical direction is obtained by using the property that the higher the similarity of the luminance pattern is, the smaller the vertical movement-luminance evaluation value is.
[0080]
That is, of the combinations of the first vertical movement evaluation areas and the second vertical movement evaluation areas, the combination of the first vertical movement evaluation area and the second vertical movement evaluation area with the smallest vertical movement-luminance evaluation value Are similar in luminance pattern in the area. Then, it can be determined that the first and second vertical movement evaluation areas related to such a combination include the same subject. Therefore, for a combination of the first vertical movement evaluation area and the second vertical movement evaluation area having the smallest vertical movement-luminance evaluation value, the relative positional relationship between the evaluation areas is detected as the amount of subject movement in the vertical direction. I do. That is, the movement amount detection unit 40 detects the object movement amount in the vertical direction based on the plurality of vertical movement-luminance evaluation values PAT6 to PAT10.
[0081]
Specifically, the movement amount detection unit 40 selects one of the vertical movement-luminance evaluation values PAT6 to PAT10.
(1) Vertical movement-When the luminance evaluation value PAT6 is the minimum, the moving amount of the subject in the vertical direction is detected as 0 pixels,
{Circle around (2)} Vertical movement—When the luminance evaluation value PAT7 is the minimum, the vertical movement of the subject is detected as 16 pixels upward (+ Y direction),
{Circle around (3)} Vertical movement—When the luminance evaluation value PAT8 is the minimum, the amount of movement of the subject in the vertical direction is detected as 16 pixels downward (−Y direction),
{Circle around (4)} Vertical movement—When the luminance evaluation value PAT9 is the minimum, the amount of movement of the subject in the vertical direction is detected upward (+ Y direction) as 32 pixels,
{Circle around (5)} Vertical movement—When the luminance evaluation value PAT10 is the minimum, the amount of movement of the subject in the vertical direction is detected as 32 pixels downward (−Y direction).
[0082]
As described above, the movement amount detection unit 40 determines the first vertical movement evaluation area and the second vertical movement relating to the combination of the first vertical movement evaluation area and the second vertical movement evaluation area with the minimum vertical movement-luminance evaluation value. The amount of movement of the subject in the vertical direction is detected based on the relative positional relationship between the evaluation areas. In other words, here, a luminance value that does not easily fluctuate due to a change in the defocus amount due to the driving of the photographing lens 11 by the AF operation is used, and an area having a similar luminance pattern in an image acquired continuously over time is used for the same subject. Is regarded as an area in which the object exists, and the moving amount of the subject in the vertical direction is detected. As a result, the amount of movement of the subject in the vertical direction can be reliably and accurately detected. As described above, the vertical movement-brightness evaluation value, like the horizontal movement-brightness evaluation value, is not a value related to the contrast of an image directly used in focusing control in the AF operation.
[0083]
The amount of movement of the subject in the vertical direction is detected as described above. Here, for example, the sum of the luminance values of all the pixels in the first vertical movement evaluation area and the luminance of all the pixels in the second vertical movement evaluation area Assuming that the difference from the sum of the values is calculated as the vertical movement evaluation values PAT6 to PAT10, the change in the luminance pattern in the first and second vertical movement evaluation areas having a large size is averaged, and the luminance pattern of the luminance pattern is averaged. The change cannot be correctly reflected on the vertical movement evaluation values PAT6 to PAT10.
[0084]
Therefore, in the imaging apparatus 1, for the combination of each first vertical movement evaluation area and each second vertical movement evaluation area, the absolute value of the difference in luminance value between the corresponding horizontally long divided areas is added, and the vertical movement is calculated. Calculated as luminance evaluation values PAT6 to PAT10. Therefore, the vertical movement-luminance evaluation values PAT6 to PAT10 can be calculated in a manner that reflects the change in luminance between the horizontally-long divided areas of a small size, so that a detailed and accurate change in the luminance pattern can be grasped. it can. As a result, the reliability of the calculated vertical movement-luminance evaluation values PAT6 to PAT10 can be improved, and the finally detected moving amount of the subject in the vertical direction can be easily and more accurately detected. .
[0085]
Further, as described above, the movement amount detection unit 40 divides the luminance evaluation areas SE1 and SE2 into 24 vertically long divided areas and 14 horizontally long divided areas, and calculates the moving amount of the subject in the vertical and horizontal directions. Detected. Here, it is also possible to divide the luminance evaluation areas SE1 and SE2 vertically and horizontally into 14 × 24 blocks instead of dividing them into strip-shaped areas, and evaluate the change in luminance value between images for each block. It is possible to detect the moving amount of the subject with the same accuracy. However, when the image is divided into 14 × 24 blocks, a calculation regarding the luminance value must be performed for a total of 336 blocks, and it takes a long time to calculate the amount of movement of the subject. Therefore, the imaging apparatus 1 simply divides the luminance evaluation areas SE1 and SE2 into 24 strip-shaped vertically divided areas and 14 strip-shaped horizontally divided areas, and calculates a luminance value for a total of 38 areas. , The amount of movement of the subject in the vertical and horizontal directions can be detected. As a result, the calculation speed for detecting the moving amount of the subject can be improved.
[0086]
<Evaluation of reliability of object movement>
Further, the movement amount detection unit 40 has a reliability evaluation function for verifying whether or not the object movement amounts in the vertical and horizontal directions detected as described above are accurate.
[0087]
As described above, the detection of the amount of movement of the subject in the vertical and horizontal directions uses the luminance value having a small degree of change due to the driving of the lens, thereby reducing erroneous detection when detecting the amount of movement of the subject. However, when the contrast of the image acquired by the CCD 21 is extremely low, the difference between the vertical movement-luminance evaluation values PAT6 to PAT10 and the difference between the horizontal movement-luminance evaluation values PAT1 to PAT5 are small, and the object movement amount is erroneously detected. The possibility exists.
[0088]
Therefore, in order to prevent the erroneous detection as described above, the moving amount detection unit 40 verifies whether or not the moving amount of the subject detected as described above is accurate by the reliability evaluation function. Specifically, when the maximum value (hereinafter, referred to as a “reliability evaluation value”) C of the lateral movement-luminance evaluation values PAT1 to PAT5 is larger than a predetermined value, the temporally continuous It can be said that there is some contrast. Therefore, when the reliability evaluation value C is larger than the predetermined value, the moving amount detection unit 40 determines that the detected moving amount of the subject in the horizontal direction is an accurate value.
[0089]
Similarly, when the maximum value (reliability evaluation value) C of the vertical movement-luminance evaluation values PAT6 to PAT10 is larger than a predetermined value, the subject moving amount in the vertical direction is also temporally continuous. It can be said that a certain degree of contrast exists in the image. Therefore, when the reliability evaluation value C is larger than the predetermined value, the moving amount detection unit 40 determines that the detected moving amount of the subject in the vertical direction is an accurate value.
[0090]
If both the vertical and horizontal reliability evaluation values C are larger than a predetermined value, the movement amount detection unit 40 determines that the detected object movement amount is an accurate value, and determines that. The data is transmitted to the camera control unit 70. That is, here, the movement amount detection unit 40 determines the object movement amount as a reliable value based on the detection of the vertical movement-brightness evaluation value and the horizontal movement-brightness evaluation value that are equal to or more than a predetermined value. As a result, erroneous detection of the object movement amount can be reduced.
[0091]
<Change of AF evaluation area setting>
FIG. 8 is a diagram exemplifying the change of the AF evaluation area AE and the pointer indicating the subject position. FIG. 8A shows the image G1 immediately after the one-shot AF operation, and FIG. 8B shows the image GN after N frames. The pointer SP indicating the position of the subject is a display indicating the position of the subject on the live view image displayed on the liquid crystal display unit 16. The liquid crystal display unit 16 superimposes the pointer SP together with the live view image. In FIG. 8, the positional relationship between the AF evaluation area AE set for the image by the AF evaluation value calculation unit 30 and the pointer SP displayed on the live view image on the liquid crystal display unit 16 is clarified. Therefore, for convenience, the AF evaluation area AE and the pointer SP are also shown.
[0092]
As described above, the data indicating the vertical and horizontal object movement amounts detected by the movement amount detection unit 40 are transmitted to the camera control unit 70. When the detected amount of movement of the subject is an accurate value, the movement amount detection unit 40 transmits a notification to that effect to the camera control unit 70. When the moving amount of the subject transmitted from the moving amount detecting unit 40 is an accurate value, the AF evaluation value calculating unit 30 controls the moving amount of the moving object under the control of the camera control unit 70 as shown in FIG. Based on the amount of movement of the subject detected by the detection unit 40, the position of the AF evaluation area (focus evaluation area) AE set for the image acquired by the CCD 21 is moved, and the liquid crystal display unit 16 is moved. The position of the position display (here, pointer SP) indicating the position of the subject is changed based on the amount of movement of the subject detected by the amount detection unit 40.
[0093]
For example, as shown in FIG. 8A, immediately after the one-shot AF operation, the AF evaluation area AE is set for the image G1 input to the AF evaluation value calculation unit 30, and then the AF evaluation area AE is set in the vertical and horizontal directions. The position of the AF evaluation area AE is changed according to the moving amount of the subject, and as shown in FIG. 8B, the AF evaluation area AE is changed and moved so as to follow the subject. As a result, it is possible to focus on the subject while tracking the subject, so that the in-focus state of the photographing lens 11 can be maintained in accordance with the movement of the subject.
[0094]
At this time, as shown in FIG. 8A, immediately after the one-shot AF operation, the pointer SP is superimposed and displayed on the live view image displayed on the liquid crystal display unit 16, and then the vertical and horizontal directions are displayed. The position of the pointer SP is changed according to the amount of movement of the subject in the direction, and as shown in FIG. 8B, the position of the pointer SP is changed so as to follow the subject. As a result, by observing the pointer SP on the live view image, the operator can grasp the tracking status of the subject such as the AF evaluation area AE.
[0095]
<Continuous AF operation>
FIG. 9 is a flowchart illustrating an operation flow of the continuous AF operation. Note that FIG. 9 shows the driving of the photographing lens 11, the imaging process, and the detection of the next in-focus position in the operation flow of the continuous AF operation. Processing such as reading of an image signal from the CCD 21 and calculation / acquisition of an AF evaluation value are sequentially performed immediately after execution of each imaging processing. The operation flow of the continuous AF operation is controlled by the camera control unit 70.
[0096]
FIG. 10 is a diagram illustrating a curve VL indicating the relationship between the position 11 of the photographing lens and the AF evaluation value. In FIG. 10, the focus position detected last time is indicated by a lens position FP, and the focus position detected next time is indicated by a lens position AP. Here, F indicates the F number (aperture value) of the photographing lens 11, and δ indicates the so-called permissible circle of confusion of the CCD 21. As shown in FIG. 10, in the continuous AF operation, an image is taken at a total of seven photographing lens positions (P1 to P7) at three points before and after at the 4Fδ pitch with the focus position FP detected last time as the center. At the same time, the AF evaluation value is calculated, the next lens position AP is detected based on the seven AF evaluation values, and a series of AF operations for driving the photographing lens 11 to the lens position AP are repeated.
[0097]
Hereinafter, the operation flow of the continuous AF operation shown in FIG. 9 will be described with reference to FIG. When the continuous AF operation is performed, as described above, the position of the AF evaluation area AE is changed following the movement of the subject.
[0098]
Here, when the one-shot AF operation ends, the continuous AF operation starts, and the process proceeds to step S11.
[0099]
In step S11, the state of S2 is set to be interruptible, and the process proceeds to step S12. Here, during the operation flow of the continuous AF operation, when the shutter button 61 is fully pressed by the operator to enter the S2 state, the continuous AF operation is stopped and the main shooting is performed. Is done.
[0100]
In step S12, as shown in FIG. 10, the photographing lens 11 is driven to the lens position P1 which is separated from the previous in-focus position by 12Fδ toward the lens retracting side to obtain the first image (first frame). The first imaging process is performed, and the process proceeds to step S13.
[0101]
In step S13, as shown in FIG. 10, the second to seventh images (second to seventh frames) are moved at the lens positions P2 to P7 while driving the photographing lens 11 at the 4Fδ pitch to the feeding side. The second to seventh imaging processes are sequentially performed in order to obtain the image sequentially, and the process proceeds to step S14.
[0102]
In step S14, the eighth and ninth images are sequentially acquired at the lens positions P8 and P9 to sequentially acquire the eighth and ninth images (eighth and ninth frames) while driving the photographing lens 11 near the previous focusing position FP. Are sequentially performed, the next focus position AP is detected when the ninth frame is obtained, and the process proceeds to step S15. Here, a quadratic interpolation approximation calculation is performed on the AF evaluation values calculated for the first to seventh frames, and the lens position AP having the maximum AF evaluation value is detected as the next focus position.
[0103]
In step S15, the photographing lens 11 is driven to the next in-focus position AP detected in step S14, and a tenth imaging process is performed to acquire a tenth image (the tenth frame), and the process returns to step S12. .
[0104]
<Timing of subject tracking AF operation>
The detection of the moving amount of the subject and the continuous AF operation in the subject tracking AF operation have been described above. The timing chart of the subject tracking AF operation is as shown in FIG. In FIG. 11, in order from the top, the driving of the photographing lens 11, the imaging processing, the image reading from the CCD 21, the calculation of the AF evaluation value, the calculation of the luminance value for each divided area in the movement amount detection unit 40, and the operation of the camera control unit 70 The timing of acquiring the AF evaluation value, detecting the moving amount of the subject, and detecting the next focus position is shown.
[0105]
The taking lens 11 is driven at a predetermined timing, and the lens position is driven stepwise from P1 to P9 by driving each lens (see FIG. 10).
[0106]
When the first lens driving is completed, the photographing lens 11 has moved to the lens position P1, where the first imaging processing is performed. When the imaging process of the CCD 21 ends, an image is read from the CCD 21. At this time, the AF evaluation value calculation unit 30 and the movement amount detection unit 40 acquire the image read from the CCD 21 via the A / D converter 22, and in parallel with the image reading operation, the AF evaluation value calculation unit 30 At the same time as the calculation of the AF evaluation value is started, the movement amount detection unit 40 starts calculating the luminance value for each of the vertical and horizontal divided areas. When the calculation of the AF evaluation value ends, the camera control unit 70 acquires the AF evaluation value.
[0107]
When the first imaging process is completed, the second lens driving is performed, and the second imaging process is performed with the imaging lens 11 moved to the lens position P2. Therefore, the second lens driving and imaging processing is performed in parallel with the operation of reading the image obtained by the first imaging processing, the operation of calculating the AF evaluation value, and the operation of calculating the luminance value for each of the vertical and horizontal divided areas. Will be performed.
[0108]
When the calculation of the AF evaluation value based on the image obtained by the second imaging process ends, the camera control unit 70 acquires the AF evaluation value. When the calculation of the luminance value for each of the vertical and horizontal divided areas for the image obtained by the second imaging process is completed, the movement amount detection unit 40 sets the subject between the first image and the second image. The movement amount is detected. The detection result obtained by the subject movement amount detection is fed back to the AF evaluation value calculation based on the fourth image, and the setting change of the AF evaluation area AE applied at the time of the AF evaluation value calculation based on the fourth image is performed. .
[0109]
Hereinafter, the same operation is repeated, and when each operation associated with the seventh lens drive is completed, the camera control unit 70 performs processing for detecting the next focus position AP based on the seven AF evaluation values. Be executed. Then, the next focus position AP detection process is executed when the ninth lens driving and imaging process is performed, and is fed back to the tenth lens drive, and the tenth imaging process is performed at the next focus position AP. Is performed by driving the photographing lens 11.
[0110]
Then, by repeating such operations associated with the first to tenth lens driving, the subject in which the continuous AF operation is performed while changing the position of the AF evaluation area AE following the movement of the subject The tracking AF operation is performed.
[0111]
<Operation Flow in AF Operation>
FIG. 12 is a flowchart schematically illustrating an operation flow of the entire AF operation in the imaging apparatus 1. The operation flow of the entire AF operation is controlled by the camera control unit 70. First, in the live view display state, when the operator enters the S1 state by half-pressing the shutter button 61, the AF operation starts, and the process proceeds to step S31.
[0112]
In step S31, the one-shot AF operation as described above is performed, and the process proceeds to step S32.
[0113]
In step S32, as described above, the continuous AF operation and the operation of detecting the moving amount of the subject are performed in parallel, and the process proceeds to step S33. Here, the operation flow of the continuous AF operation shown in FIG. 9 and the operation of detecting the amount of movement of the subject are performed in parallel, and when the operator fully presses the shutter button 61, the state becomes S2. Then, in order to perform the main photographing operation, the lens is moved to the latest focus position and the AF operation is stopped. In the operation of detecting the moving amount of the subject, a process is also performed to determine whether or not the reliability evaluation value C related to the detection of the moving amount of the subject is larger than a predetermined value, and the result is transmitted to the camera control unit 70.
[0114]
In step S33, it is determined whether or not the reliability evaluation value C related to the detection of the moving amount of the subject is larger than a predetermined value. Here, when the movement amount detection unit 40 transmits to the camera control unit 70 that the reliability evaluation value C is larger than the predetermined value, it is determined that the reliability evaluation value C is larger than the predetermined value. In step S34, if the fact that the reliability evaluation value C is larger than the predetermined value is not transmitted from the movement amount detection unit 40 to the camera control unit 70, it is determined that the reliability evaluation value C is not larger than the predetermined value. Then, the process returns to step S32. When the process returns from step S33 to step S32, the position of the AF evaluation area AE is not moved or changed.
[0115]
In step S34, as described above, the AF evaluation area AE is moved / changed based on the subject moving amount detected in step S32, and the process proceeds to step S35.
[0116]
In step S35, the position of the pointer indicating the position of the subject is changed based on the moving amount of the subject detected in step S32, and the process returns to step S32.
[0117]
As described above, here, when the operator enters the S1 state by half-pressing the shutter button 61, the shooting preparation operation including the AF operation and the like starts, and thereafter, the movement amount detection unit 40 detects the object movement amount. . As a result, the amount of movement of the subject can be detected only when necessary, so that power can be saved.
[0118]
As described above, the imaging device 1 according to the first embodiment acquires the first image G1 and the second image G2 that are temporally continuous. A plurality of first horizontal movement evaluation areas and a plurality of second vertical movement evaluation areas are provided for the first image G1, and a plurality of second horizontal movement evaluation areas are provided for the second image G2. , And a plurality of second vertical movement evaluation areas. Then, the luminance value of each horizontal movement evaluation area and each vertical movement evaluation area is compared and evaluated by calculating a difference between the images. Then, the amount of movement of the subject in the vertical and horizontal directions is detected based on the difference between the calculated luminance values and the like. Therefore, here, the moving amount of the subject is detected by comparing and evaluating temporally continuous luminance values that are not easily changed by a change in the defocus amount due to the driving of the photographing lens 11 by the AF operation. As a result, it is possible to provide an imaging device capable of easily and accurately detecting the movement of a subject.
[0119]
Also, a plurality of first vertical movement evaluation areas and a plurality of first horizontal movement evaluation areas are provided with a slight shift so as to overlap each other with respect to the image G1, and a plurality of second vertical movement evaluation areas are provided with respect to the image G2. The movement evaluation area and the plurality of second lateral movement evaluation areas are provided so as to be slightly shifted from each other so as to overlap each other. As a result, a fine movement amount of the subject can be detected, and the AF evaluation area AE can be moved while being slightly shifted with respect to the slight movement of the subject. That is, the AF evaluation area AE can be moved and changed in detail and accurately in accordance with the movement of the subject.
[0120]
Further, a plurality of first vertical movement evaluation areas are provided for the image G1 so as to share a part of the horizontally long divided area with respect to a portion overlapping each other, and the plurality of first horizontal movement evaluation areas are mutually connected. The overlapping portions are provided so as to share some vertically divided areas. Further, a plurality of second vertical movement evaluation areas are provided for the image G2 so as to share a part of the horizontally long divided area with respect to a portion overlapping each other, and the plurality of second horizontal movement evaluation areas are mutually connected. The overlapping portions are provided so as to share some vertically divided areas. Therefore, since the calculation of the duplicated luminance value can be reduced as much as possible, the time required for calculating the vertical movement-luminance evaluation value and the horizontal movement-luminance evaluation value can be relatively shortened.
[0121]
<(2) Second embodiment>
In the above-described first embodiment, it has been detected that the moving amount of the subject is 0, 16, or 32 pixels in the vertical direction or the horizontal direction. That is, the minimum unit of detection is 16 pixels. Therefore, in the imaging device 1A according to the second embodiment, the movement amount detection unit 40A calculates the vertical and horizontal movement-luminance evaluation values PAT1 to PAT10 in the same manner as the movement amount detection unit 40 according to the first embodiment. By performing interpolation calculation on those values, it is possible to detect a subject movement amount finer than 16 pixels. Further, the reliability evaluation function is different between the movement amount detection unit 40A and the movement amount detection unit 40.
[0122]
Note that, in the imaging device 1A according to the second embodiment, only the movement amount detection unit 40A is different from the imaging device 1 according to the first embodiment, and the other parts are completely the same. The description is omitted.
[0123]
<Interpolation calculation and object movement amount detection>
<About the horizontal direction>
In the movement amount detection unit 40A, for example, the minimum value of the horizontal movement-luminance evaluation values PAT1 to PAT5, and the relative positional relationship between the first horizontal movement evaluation area and the second horizontal movement evaluation area related to the minimum value In contrast, interpolation is performed based on a horizontal movement-luminance evaluation value relating to a combination of a first horizontal movement evaluation area and a second horizontal movement evaluation area having a relative positional relationship shifted by 16 pixels in the ± X direction. Calculation is performed to detect the moving amount of the subject.
[0124]
That is, of the combinations of the first lateral movement evaluation area and the second lateral movement evaluation area, the combination with the smallest lateral movement-luminance evaluation value is referred to as a first combination, and the first lateral movement according to the first combination is referred to as the first combination. The first lateral movement evaluation area and the second lateral movement evaluation area having a relative positional relationship shifted by a predetermined amount in the + X direction with respect to the relative positional relationship between the evaluation area and the second lateral movement evaluation area. The combination is referred to as a second combination, and is further shifted by a predetermined amount in the −X direction with respect to the relative positional relationship between the first lateral movement evaluation area and the second lateral movement evaluation area according to the first combination. The combination of the first lateral movement evaluation area and the second lateral movement evaluation area having a relative positional relationship is referred to as a third combination. In this case, the movement amount detection unit 40A relates to the first to third combinations. 3 horizontal movements-in the horizontal direction based on the luminance evaluation value Detecting a subject movement amount.
[0125]
Specifically, when the lateral movement-luminance evaluation value PAT2 among the lateral movement-luminance evaluation values PAT1 to PAT5 is the minimum, that is, in the -X direction relative to the first lateral movement evaluation area and the area. When the horizontal movement-luminance evaluation value PAT2 relating to the combination with the second horizontal movement evaluation area provided in the image G2 shifted by 16 pixels is the smallest, the horizontal movement-luminance evaluation value PAT2 and the horizontal movement- A first lateral movement having a relative positional relationship deviated by 16 pixels in the ± X direction with respect to a relative positional relationship between the first lateral movement evaluation area and the second lateral movement evaluation area according to the luminance evaluation value PAT2. Interpolation calculation is performed on the basis of the lateral movement-luminance evaluation values PAT1 and PAT4 relating to the combination of the evaluation area and the second lateral movement evaluation area to detect the object movement amount.
[0126]
FIG. 13 is a diagram for explaining the interpolation calculation of the object movement amount in the horizontal direction when the horizontal movement-luminance evaluation value PAT2 among the horizontal movement-luminance evaluation values PAT1 to PAT5 is the minimum. In FIG. 13, the horizontal axis indicates a relative shift amount (Xd) in the X direction between the first horizontal movement evaluation area and the second horizontal movement evaluation area, and the vertical axis indicates a horizontal movement-luminance evaluation value. ing. FIG. 13 also shows plots MX1, MX2, and MX4 respectively showing the relationship between the amount of displacement in the X direction corresponding to the lateral movement-luminance evaluation values PAT1, PAT2, and PAT4 and the lateral movement-luminance evaluation values. It is noted.
[0127]
As shown in FIG. 13A, when PAT1 <PAT4, a straight line 110 connecting the plot MX2 and the plot MX4 is drawn, the slope of the straight line is inverted from the positive and negative, and passes through the plot MX1. A straight line 111 is drawn. Then, the coordinates of the horizontal axis at the point where the straight line 110 and the straight line 111 intersect are detected as the object movement amount MH in the horizontal direction. On the other hand, as shown in FIG. 13B, when PAT1 ≧ PAT4, a straight line 121 connecting the plots MX1 and MX2 is drawn, and the slope of the straight line and the positive and negative are inverted, and the plot MX4 Draw a straight line 120 passing through. Then, the coordinates of the horizontal axis at the point where the straight line 120 and the straight line 121 intersect are detected as the object movement amount MH in the horizontal direction.
[0128]
Further, here, a specific example in which the lateral movement-luminance evaluation value PAT2 among the lateral movement-luminance evaluation values PAT1 to PAT5 is the smallest is shown, but the other lateral movement-luminance evaluation values are the smallest. In the same manner, the amount of movement MH of the subject in the horizontal direction can be detected by similar interpolation calculation.
[0129]
Here, the minimum value of the lateral movement-luminance evaluation values PAT1 to PAT5 is YB, and the relative positional relationship between the first lateral movement evaluation area and the second lateral movement evaluation area related to the minimum value YB is: -The horizontal movement associated with the combination of the first horizontal movement evaluation area and the second horizontal movement evaluation area having a relative positional relationship shifted by 16 pixels in the X direction-YA is the luminance evaluation value, and 16 pixels are in the + X direction. A lateral movement-luminance evaluation value relating to a combination of the first lateral movement evaluation area and the second lateral movement evaluation area having a shifted relative positional relationship is defined as YC. Then, assuming that relative displacement amounts in the X direction between the first lateral movement evaluation area and the second lateral movement evaluation area corresponding to YA to YC are X1 to X3, respectively. The object movement amount MH is represented by the following equations (11) and (12).
[0130]
When YC ≧ YA,
MH = {(YA−YB) · (X2−X3) / (YB−YC) −X1 + X2} / 2 (11).
[0131]
If YC <YA,
MH = {(YC-YA). (X1-X2) / (YA-YB) + X1-X3} / 2 (12).
[0132]
Further, in the reliability evaluation function of the movement amount detection unit 40A, as shown in FIG. 13, the maximum value of the lateral movement-luminance evaluation values YA to YC used when calculating the object movement amount MH in the horizontal direction is calculated. The determination is made based on whether or not the absolute value (reliability evaluation value) C of the difference from the minimum value is larger than a predetermined value. That is, when the reliability evaluation value C is larger than the predetermined value, it can be said that a certain degree of contrast exists in a temporally continuous image. Therefore, when the reliability evaluation value C is larger than the predetermined value, the movement amount detection unit 40A determines that the detected object movement amount MH in the horizontal direction is an accurate value.
[0133]
<About vertical direction>
In the movement amount detection unit 40A, for example, the minimum value of the vertical movement-luminance evaluation values PAT6 to PAT10 and the relative positional relationship between the first vertical movement evaluation area and the second vertical movement evaluation area related to the minimum value With respect to the vertical movement-luminance evaluation value relating to the combination of the first vertical movement evaluation area and the second vertical movement evaluation area having a relative positional relationship shifted by 16 pixels in the ± Y direction. Calculation is performed to detect the moving amount of the subject.
[0134]
That is, of the combinations of the first vertical movement evaluation area and the second vertical movement evaluation area, the combination with the smallest vertical movement-luminance evaluation value is called the first combination, and the first vertical movement according to the first combination is referred to as the first combination. The first vertical movement evaluation area and the second vertical movement evaluation area having a relative positional relation shifted by a predetermined amount in the + Y direction with respect to the relative positional relation between the evaluation area and the second vertical movement evaluation area. The combination is referred to as a second combination, and is further shifted by a predetermined amount in the −Y direction with respect to a relative positional relationship between the first vertical movement evaluation area and the second vertical movement evaluation area according to the first combination. The combination of the first vertical movement evaluation area and the second vertical movement evaluation area having a relative positional relationship is referred to as a third combination. Here, the movement amount detection unit 40A relates to the first to third combinations. 3 vertical movements-vertical based on luminance evaluation value Detecting a subject movement amount.
[0135]
Specifically, when the vertical movement-luminance evaluation value PAT7 among the vertical movement-luminance evaluation values PAT6 to PAT10 is the minimum, that is, in the + Y direction relative to the first vertical movement evaluation area and the area. When the vertical movement-luminance evaluation value PAT7 related to the combination with the second horizontal movement evaluation area provided in the image G2 shifted by 16 pixels is the minimum, the vertical movement-luminance evaluation value PAT7 and the vertical movement-luminance A first vertical movement evaluation area having a relative positional relation shifted by 16 pixels in the ± Y direction with respect to a relative positional relation between the first vertical movement evaluation area and the second vertical movement evaluation area according to the evaluation value PAT7. Interpolation calculation is performed based on the vertical movement-luminance evaluation values PAT6 and PAT9 relating to the combination of the first vertical movement evaluation area and the second vertical movement evaluation area to detect the object movement amount.
[0136]
FIG. 14 is a diagram for explaining the interpolation calculation of the amount of movement of the subject in the vertical direction when the vertical movement-luminance evaluation value PAT7 among the vertical movement-luminance evaluation values PAT6 to PAT10 is the minimum. In FIG. 14, the horizontal axis indicates the relative shift amount (Yd) in the Y direction between the first vertical movement evaluation area and the second vertical movement evaluation area, and the vertical axis indicates the vertical movement-luminance evaluation value. ing. FIG. 14 also shows plots MY6, MY7, and MY9 showing the relationship between the shift amount in the Y direction corresponding to the vertical movement-luminance evaluation value PAT6, PAT7, and PAT9, respectively, and the vertical movement-luminance evaluation value. It is noted.
[0137]
As shown in FIG. 14A, when PAT6 <PAT9, a straight line 130 connecting the plot MY7 and the plot MY9 is drawn, and the slope of the straight line and the positive / negative are reversed and pass through the plot MY6. A straight line 131 is drawn. Then, the coordinates of the horizontal axis at the point where the straight line 130 and the straight line 131 intersect are detected as the subject movement amount MV in the vertical direction. On the other hand, as shown in FIG. 14B, when PAT6 ≧ PAT9, a straight line 141 connecting the plot MY6 and the plot MY7 is drawn, and the slope of the straight line is inverted from the positive and negative, and the plot MY9 Draw a straight line 140 passing through. Then, the coordinates of the horizontal axis at the point where the straight line 140 and the straight line 141 intersect are detected as the subject movement amount MV in the vertical direction.
[0138]
Further, here, a specific example in which the vertical movement-luminance evaluation value PAT7 among the vertical movement-luminance evaluation values PAT6 to PAT10 is the smallest is shown, but the other vertical movement-luminance evaluation values PAT7 are the smallest. Similarly, the vertical subject movement amount MV can be detected by the same interpolation calculation.
[0139]
Here, the minimum value of the vertical movement-luminance evaluation values PAT6 to PAT10 is YB, and the relative positional relationship between the first vertical movement evaluation area and the second vertical movement evaluation area related to the minimum value YB is as follows. The vertical movement associated with the combination of the first horizontal movement evaluation area and the second horizontal movement evaluation area having a relative positional relationship shifted by 16 pixels in the + Y direction—the luminance evaluation value is YA, and 16 pixels in the −Y direction A vertical movement-brightness evaluation value YC relating to a combination of the first vertical movement evaluation area and the second vertical movement evaluation area having a shifted relative positional relationship is set. If the relative amounts of displacement in the Y direction between the first vertical movement evaluation area and the second vertical movement evaluation area corresponding to YA to YC are Y1 to Y3, respectively, The subject movement amount MV is represented by the following equations (13) and (14).
[0140]
When YC ≧ YA,
MH = {(YA−YB) · (Y2−Y3) / (YB−YC) −Y1 + Y2} / 2 (13).
[0141]
If YC <YA,
MH = {(YC-YA). (Y1-Y2) / (YA-YB) + Y1-Y3} / 2 (14).
[0142]
Further, in the reliability evaluation function of the movement amount detection unit 40A, as shown in FIG. 14, the maximum value of the vertical movement-luminance evaluation values YA to YC used when calculating the object movement amount MV in the vertical direction is calculated. The determination is made based on whether or not the absolute value (reliability evaluation value) C of the difference from the minimum value is larger than a predetermined value. That is, when the reliability evaluation value C is larger than the predetermined value, it can be said that a certain degree of contrast exists in a temporally continuous image. Therefore, when the reliability evaluation value C is larger than the predetermined value, the moving amount detection unit 40A determines that the detected vertical moving amount MV of the subject in the vertical direction is an accurate value.
[0143]
If the reliability evaluation values C in the vertical and horizontal directions are both larger than a predetermined value, the movement amount detection unit 40A determines that the detected object movement amount is an accurate value, and notifies the camera to that effect. It is transmitted to the control unit 70.
[0144]
As described above, in the imaging apparatus 1A according to the second embodiment, the combination of the first lateral movement evaluation area and the second lateral movement evaluation area with the smallest lateral movement-luminance evaluation value, Two combinations of a first lateral movement evaluation area and a second lateral movement evaluation area having a positional relationship relatively shifted in a predetermined direction (here, + X direction) and the opposite direction (here, -X direction) Based on the three horizontal movement-brightness evaluation values of (1) and (2), the amount of movement of the object in the horizontal direction is detected while performing interpolation calculation. Further, a combination of the first vertical movement evaluation area and the second vertical movement evaluation area with the minimum vertical movement-luminance evaluation value, and a predetermined direction (here, the + Y direction) and the opposite direction with respect to the combination Based on three vertical movement-luminance evaluation values in two combinations of the first vertical movement evaluation area and the second vertical movement evaluation area having a relative positional relationship (here, in the −Y direction). The amount of movement of the subject in the vertical direction is detected while performing the interpolation calculation. As a result, it is possible to accurately detect the movement of the subject smaller than the width of the horizontally long divided area or the vertically long divided area (here, 16 pixels).
[0145]
<(3) Modification>
The embodiments of the present invention have been described above, but the present invention is not limited to the above-described contents.
[0146]
For example, in the above-described embodiment, for the combination of the first vertical movement evaluation area and the second vertical movement evaluation area, the sum of the absolute values of the differences between the luminance values of the corresponding horizontally long divided areas is calculated as the vertical movement-luminance evaluation value. For the combination of the first horizontal movement evaluation area and the second horizontal movement evaluation area, the sum of the absolute values of the differences between the luminance values of the corresponding vertically long divided areas is defined as the horizontal movement-luminance evaluation value. For example, for the combination of the first vertical movement evaluation area and the second vertical movement evaluation area, the sum of the ratios of the luminance values of the corresponding horizontally long divided areas is defined as the vertical movement-luminance evaluation value, For the combination of the movement evaluation area and the second horizontal movement evaluation area, the sum of the ratios of the luminance values of the corresponding vertically long divided areas may be used as the horizontal movement-luminance evaluation value. At this time, when calculating the ratio of the luminance values of the corresponding divided areas, the one with the relatively large luminance value is set as the numerator, and the one with the relatively small luminance value is set as the denominator. The amount of movement of the subject can be detected.
[0147]
In the above-described embodiment, the luminance evaluation areas SE1 and SE2 are each divided into 24 vertically long divided areas in the horizontal direction, and are divided into 14 horizontally long divided areas in the vertical direction. However, the present invention is not limited to this. Instead, for example, the horizontal direction may be divided into 25 or more vertically long divided areas, and the vertical direction may be divided into 15 or more horizontally long divided areas. As described above, by increasing the number of divisions in the vertical and horizontal directions, the time required for the calculation tends to be longer, but the accuracy of the detected moving amount of the subject can be improved.
[0148]
In the embodiment described above, a plurality of first and second vertical movement luminance evaluation areas are provided to be shifted from each other by one horizontal division area, and a plurality of first and second vertical movement luminance evaluation areas are provided. The evaluation areas are shifted from each other by one vertically long divided area. However, the present invention is not limited to this. For example, the evaluation areas may be shifted from each other by two or more vertically and horizontally long divided areas. Further, the moving luminance evaluation areas may be provided so that the images have a positional relationship of being adjacent to each other or of being separated from each other. However, from the viewpoint of detection accuracy of the moving amount of the subject, it is preferable that the moving luminance evaluation areas are provided so as to be slightly shifted from each other and overlap each other.
[0149]
In the above-described embodiment, the sum of the pixel values of all the pixels included in each vertically divided area is calculated as the luminance value of each vertically divided area, and the sum of the pixel values of all the pixels included in each horizontally divided area is calculated. Although the sum was calculated as the luminance value of each horizontally divided area, the present invention is not limited to this. For example, the average value of the pixel values of all the pixels included in each vertically divided area is calculated as the luminance value of each vertically divided area. Then, the average value of the pixel values of all the pixels included in each horizontally long divided area may be calculated as the luminance value of each horizontally long divided area.
[0150]
In the above-described first embodiment, the reliability of the detected subject movement amount is evaluated based on whether the reliability evaluation value C is greater than a predetermined value. However, the present invention is not limited to this. Vertical and horizontal movement—when the minimum value of the luminance evaluation value is smaller than a predetermined value, it is evaluated that the detected amount of movement of the subject in the vertical and horizontal directions is an accurate value, that is, a reliable value. You may do it.
[0151]
Furthermore, in the above-described second embodiment, the reliability of the detected subject movement amount is evaluated based on whether the reliability evaluation value C is greater than a predetermined value. However, the present invention is not limited to this. As shown in FIGS. 13 and 14, when the vertical and horizontal movement-luminance evaluation values YM and XM corresponding to the detected vertical and horizontal object movement amounts MV and MH are smaller than predetermined values, the detection is performed. The moving amounts MV and MH in the vertical and horizontal directions may be evaluated as accurate values, that is, reliable values.
[0152]
In other words, if the vertical and horizontal movement-luminance evaluation values are not smaller than the predetermined value, there is no area in which the luminance pattern is substantially similar in a plurality of temporally continuous images (for example, two). In such a case, it is considered that the movement of the subject has not been accurately detected. Therefore, here, with the above configuration, when the vertical and horizontal movement-luminance evaluation value is smaller than a predetermined value, the detected vertical and horizontal movement of the subject in the vertical and horizontal directions is a reliable value. Therefore, erroneous detection of the moving amount of the subject can be reduced.
[0153]
The specific embodiments described above include inventions having the following configurations.
[0154]
(1) The imaging device according to claim 1, wherein the calculation unit calculates a difference between a brightness value of the first evaluation area and a brightness value of the second evaluation area as the brightness evaluation value. An imaging device, comprising:
[0155]
According to the invention described in (1), a difference between images is obtained for a luminance value of an evaluation area provided for each image obtained continuously in time, and a subject movement amount is detected based on the difference. Therefore, the movement of the subject can be easily and accurately detected.
[0156]
(2) The imaging apparatus according to claim 2 or 3, wherein each of the divided areas is a strip-shaped area.
[0157]
According to the invention described in (2), the calculation speed can be improved by setting the divided area to be an area having a strip shape.
[0158]
(3) The imaging device according to any one of Claims 1 to 5, (1), and (2), wherein the detection unit is configured to determine each of the first evaluation areas and each of the second evaluation areas. Wherein the movement amount is detected based on a relative positional relationship between the first evaluation area and the second evaluation area related to a combination in which the luminance evaluation value is minimum among the combinations of .
[0159]
According to the invention described in (3), the amount of movement of the subject is detected based on the relative positional relationship of the evaluation areas in the combination of the evaluation areas with the minimum brightness evaluation value, so that the movement of the subject is reliably and accurately performed. Can be detected.
[0160]
(4) The image pickup apparatus according to (3), wherein the detecting unit is configured to determine the first luminance evaluation value that is the smallest among the combinations of the first image evaluation areas and the second evaluation areas. The first evaluation area and the second evaluation area having a positional relation relatively shifted in a predetermined direction and the opposite direction with respect to a relative positional relation between the first evaluation area and the second evaluation area according to the combination. An imaging apparatus for detecting the amount of movement of a subject based on a luminance evaluation value according to second and third combinations with two evaluation areas and a luminance evaluation value according to the first combination.
[0161]
According to the invention described in (4), a combination of the evaluation area with the minimum luminance evaluation value and the evaluation area having a positional relationship relatively shifted in the predetermined direction and the opposite direction with respect to the combination. Since the amount of movement of the subject is detected based on the evaluation values for the three luminances in the combination, fine movement of the subject can be accurately detected.
[0162]
(5) The imaging device according to any one of (1) to (5) and (1) to (4), wherein the amount of movement of the subject is reliable based on detection of the luminance evaluation value equal to or greater than a predetermined value. An imaging device, further comprising: a determination unit configured to determine the value as a characteristic value.
[0163]
According to the invention described in (5), since the subject moving amount is determined as a reliable value based on the detection of the luminance evaluation value equal to or greater than the predetermined value, erroneous detection of the subject moving amount can be reduced.
[0164]
(6) The imaging device according to any one of (1) to (5) and (1) to (5), wherein the detection unit moves the subject after starting a shooting preparation operation in the imaging device. An imaging device for detecting an amount.
[0165]
According to the invention described in (6), the amount of movement of the subject is detected after the start of the shooting preparation operation, so that power saving can be achieved.
[0166]
【The invention's effect】
As described above, according to the first aspect of the present invention, a luminance value of an evaluation area provided for each image obtained continuously in time is evaluated between the images, so that a subject is evaluated. Since the movement amount is detected, it is possible to provide an imaging device capable of accurately detecting the movement of a subject.
[0167]
According to the second aspect of the present invention, when evaluating the brightness value of the evaluation area provided for each image obtained continuously in time between the images, a plurality of evaluation areas are used. Since the luminance value of each divided area is evaluated between the images, the moving amount of the subject can be detected with higher accuracy.
[0168]
According to the third aspect of the present invention, the absolute value of the difference between the brightness values is calculated for each combination of corresponding divided regions obtained by dividing the entire evaluation region between temporally continuous images, By adding them, the luminance value of the evaluation area provided for each image obtained continuously over time is evaluated between the images, so that the subject movement amount can be detected easily and more accurately.
[0169]
According to the fourth aspect of the present invention, the position of the target area for evaluating the in-focus state set for the image is moved based on the detected amount of movement of the subject. , The in-focus state can be maintained.
[0170]
According to the fifth aspect of the present invention, the position of the display indicating the position of the subject displayed together with the image is changed based on the detected amount of movement of the subject. I can figure it out.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an internal configuration of an imaging device 1.
FIG. 2 is a diagram illustrating an AF evaluation area in a one-shot AF operation.
FIG. 3 is a flowchart illustrating an operation flow of a one-shot AF operation.
FIG. 4 is a diagram illustrating a calculation area of a luminance value;
FIG. 5 is a diagram illustrating a calculation area of a luminance value.
FIG. 6 is a diagram illustrating a calculation area of a luminance value.
FIG. 7 is a diagram illustrating a calculation area of a luminance value.
FIG. 8 is a diagram illustrating an example of changing an AF evaluation area and a pointer indicating a subject position.
FIG. 9 is a flowchart illustrating an operation flow of a continuous AF operation.
FIG. 10 is a diagram illustrating a relationship between a position of a photographing lens and an AF evaluation value.
FIG. 11 is a timing chart in a subject tracking AF operation.
FIG. 12 is a flowchart schematically showing an operation flow of the entire AF operation.
FIG. 13 is a diagram for explaining interpolation calculation of a movement amount.
FIG. 14 is a diagram for explaining interpolation calculation of a movement amount.
[Explanation of symbols]
1,1A imaging device
16 Liquid crystal display (display means, change means)
21 CCD imaging device (imaging means)
30 AF evaluation value calculation unit (moving means)
40, 40A movement amount detection unit (setting means, calculation means, detection means, determination means)
61 Shutter start button
70 Camera control unit

Claims

撮像装置であって、
時間的に連続する第１と第２の画像とを取得する撮像手段と、
前記第１画像に対して第１評価領域を設定するとともに、前記第２の画像に対して第２評価領域を設定する設定手段と、
前記第１評価領域についての輝度値と、前記第２評価領域についての輝度値とに基づいて輝度評価値を算出する算出手段と、
前記輝度評価値に基づいて被写体の移動量を検出する検出手段と、
を備えることを特徴とする撮像装置。An imaging device,
Imaging means for acquiring first and second images that are temporally continuous;
Setting means for setting a first evaluation area for the first image and setting a second evaluation area for the second image;
Calculating means for calculating a brightness evaluation value based on the brightness value of the first evaluation area and the brightness value of the second evaluation area;
Detecting means for detecting the moving amount of the subject based on the luminance evaluation value,
An imaging device comprising:

請求項１に記載の撮像装置であって、
前記算出手段が、
前記第１評価領域を複数に分割した第１分割領域毎についての輝度値と、前記第２評価領域を複数に分割した第２分割領域毎についての輝度値とに基づいて前記輝度評価値を算出することを特徴とする撮像装置。The imaging device according to claim 1,
The calculating means,
Calculating the luminance evaluation value based on a luminance value for each of the first divided regions obtained by dividing the first evaluation region into a plurality of parts and a luminance value for each of the second divided regions obtained by dividing the second evaluation region into a plurality of parts; An imaging device, comprising:

請求項２に記載の撮像装置であって、
前記算出手段が、
前記第１評価領域と前記第２評価領域との組合せ毎について、前記第１分割領域毎についての輝度値と、各前記第１分割領域と対応する前記第２分割領域毎についての輝度値との差分の絶対値の総和を前記輝度評価値として算出することを特徴とする撮像装置。The imaging device according to claim 2,
The calculating means,
For each combination of the first evaluation region and the second evaluation region, a luminance value for each of the first divided regions and a luminance value for each of the second divided regions corresponding to each of the first divided regions. An imaging apparatus, wherein a sum of absolute values of differences is calculated as the luminance evaluation value.

請求項１から請求項３のいずれかに記載の撮像装置であって、
前記移動量に基づいて、前記撮像手段によって取得される画像に対して設定される合焦評価領域を移動させる移動手段、
をさらに備えることを特徴とする撮像装置。The imaging device according to claim 1, wherein:
A moving unit that moves a focus evaluation area set for an image acquired by the imaging unit based on the moving amount;
An imaging device, further comprising:

請求項１から請求項４のいずれかに記載の撮像装置であって、
前記撮像手段によって取得される画像とともに前記被写体の位置を示す位置表示を表示する表示手段と、
前記移動量に基づいて、前記画像に対する前記位置表示の位置を変更する変更手段と、
をさらに備えることを特徴とする撮像装置。The imaging device according to claim 1, wherein:
Display means for displaying a position display indicating the position of the subject together with the image obtained by the imaging means,
Changing means for changing the position of the position display with respect to the image based on the movement amount,
An imaging device, further comprising: