JP2010200138A - 被写体追尾装置 - Google Patents

Abstract

【課題】フリッカ光源下における被写体追尾性能を向上させる。
【解決手段】結像光学系により結像された画像を繰り返し撮像し、撮像された第１画像（初期画像）から追尾対象被写体の基準画像を設定するとともに、第１画像以後に撮像された第２画像（比較画像）において基準画像に類似する部分画像の位置を探索し、撮影画面内を移動する追尾対象被写体を追尾する場合に、第１画像を撮像するときは第２画像を撮像するときよりも長い露光時間Ｔ０となるように、撮像手段の露光時間を制御する。
【選択図】図１０

Description

本発明は被写体追尾装置に関する。

移動被写体を撮影する際に、画面内の指定部分の被写体像をテンプレート画像（基準画像）として取得し、繰り返し撮影する画像の中でテンプレート画像と類似した被写体像の位置を検索（テンプレートマッチング）し、画面内を移動する被写体を追尾するようにした被写体追尾装置が知られている（例えば、特許文献１参照）。

特開２００６−０５８４３１号公報

ところで、蛍光灯などのフリッカ光源下では、フリッカの影響を受けて色や明るさが変化するため、テンプレート画像（基準画像）と比較画像の類似を正しく判定することが難しく、誤判定を起こしやすい。特に、テンプレート画像を取得するときにフリッカの影響を受けると、テンプレート画像自体が正しい追尾対象の被写体像と異なるものになり、対象被写体を追尾することが困難になる。
この問題を解決するために、画像を複数回取得して平均化したり、フリッカ周期よりも長い露光時間で画像を取得することが考えられるが、そうすると被写体追尾サイクルが長くなり、追尾性能が低下することになる。

本発明は、結像光学系により結像された画像を繰り返し撮像する撮像手段と、撮像手段により撮像された第１画像から追尾対象被写体の基準画像を設定する基準設定手段と、撮像手段により第１画像以後に撮像された第２画像において基準画像に類似する部分画像の位置を探索する位置探索手段とを備え、撮影画面内を移動する追尾対象被写体を追尾する被写体追尾装置に適用される。
そして、撮像手段の露光時間を制御する露光制御手段を備え、露光制御手段は、第１画像を撮像するときは第２画像を撮像するときよりも長い露光時間を設定する。

本発明によれば、追尾対象の被写体像を正確に表す基準画像（テンプレート画像）を得ることができ、このような基準画像を用いて被写体追尾における高い精度と信頼性を実現することができる。また、第２画像（追尾比較画像）を取得しながら被写体追尾制御を行う際の追尾サイクルが短くなり、被写体追尾の高い応答性を維持することができる。

一実施の形態の画像認識装置および焦点調節装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の構成を示す図 ボディ駆動制御装置の詳細な構成を示す図 第２撮像素子の詳細な構成を示す正面図 第２撮像素子の各画素の詳細を示す正面図 一実施の形態の被写体追尾方法を説明するための図 一実施の形態の被写体追尾方法を説明するための図 一実施の形態の被写体追尾方法を説明するための図 一実施の形態の被写体追尾処理を示すフローチャート 一実施の形態の追尾制御の初期処理を示す示すフローチャート 一実施の形態の第２撮像素子１６による被写体追尾用の初期画像と比較画像の取得タイミングを示すタイミングチャート 従来の被写体追尾装置における追尾初期画像と追尾比較画像の取得タイミングを示すタイミングチャート 従来の被写体追尾装置における追尾初期画像と追尾比較画像の取得タイミングを示すタイミングチャート 従来の被写体追尾装置における連写時の追尾初期画像と追尾比較画像の取得タイミングを示すタイミングチャート 一実施の形態の被写体追尾装置における連写時の追尾初期画像と追尾比較画像の取得タイミングを示すタイミングチャート

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら対象を追尾する被写体追尾装置を一眼レフデジタルスチルカメラに搭載した一実施の形態を説明する。

図１は、一実施の形態の被写体追尾装置を備えた一眼レフデジタルスチルカメラ１の構成を示す。なお、図１では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１は、カメラ本体２に交換レンズ３が交換可能に装着される。カメラ本体２には被写体像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。

カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。

カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写体像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写体像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写体像を視認することができる。

また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。第２撮像素子１６は被写体像に応じた画像信号を出力する。詳細を後述するが、この第２撮像素子１６により撮像された被写体像に基づいて被写体追尾制御と露出演算が行われる。

カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、シャッターボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。

交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で体表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの設定位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などのレンズ情報が記憶されている。

ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行い、ボディ駆動制御装置１９からレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２からボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。

図２はボディ駆動制御装置１９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。マイクロコンピューター１９ｃは、ソフトウエア形態により追尾制御部１９ｅ、露出制御部１９ｆ、焦点検出演算部１９ｇおよびレンズ駆動量演算部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報、あるいは詳細を後述する類似判定しきい値Ｄｔｈおよび色しきい値ＭaxThなどを記憶する。

追尾制御部１９ｅは、第２撮像素子１６により撮像した被写体像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させ、その後に繰り返し撮影される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。露出演算部１９ｆは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。

焦点検出演算部１９ｇは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｇは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。レンズ駆動量演算部１９ｈは検出されたデフォーカス量をレンズ駆動量に変換する。レンズ駆動制御装置２２は、レンズ駆動量演算部１９ｈによりレンズ駆動量にしたがってフォーカシングレンズ８ｂを駆動して焦点調節を行う。

図３は第２撮像素子１６の詳細な構成を示す正面図である。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）２６（ここでは横１６個×縦１２個＝１９２個）を備えている。各画素２６は図４に示すように３個の部分２６ａ、２６ｂ、２６ｃに分割され、これらの部分２６ａ、２６ｂ、２６ｃにはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素２６ごとに被写体像のＲＧＢ信号を出力することができる。

次に、一実施の形態の被写体追尾動作を説明する。図５〜図７は一実施の形態の被写体追尾方法を説明するための図、図８〜図９は一実施の形態の被写体追尾処理を示すフローチャートである。また、図１０〜図１４は第２撮像素子１６による被写体追尾用の初期画像と比較画像の取得タイミングを示すタイミングチャートである。

シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光は焦点板１１上に結像される。そして、焦点板１１上の被写体像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写体像信号が繰り返し出力される。

撮影レンズ８の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子１２により焦点板１１上の被写体像にエリアマークを重畳し、各焦点検出エリアの位置を表示する。この一実施の形態では、図５に示すように、撮影画面内の７カ所に焦点検出エリア４５ａ〜４５ｇ（図中にはａ〜ｇと表記）が設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。

図５に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｂが選択され、この状態で操作部材２０のシャッターボタンが半押しされると、焦点検出エリア４５ｂが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対称の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象の被写体を手動で指定する例を示すが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。

図８のステップ１において、第２撮像素子１６により被写体追尾用の初期画像を取得する。この追尾初期画像は画像追尾処理を開始して最初に取得する画像であり、この追尾初期画像から上述したテンプレート画像（基準画像）を生成する。追尾初期画像を取得した後は、テンプレート画像と比較するための被写体追尾用の比較画像を繰り返し取得することになる。

図１０は、一実施の形態の第２撮像素子１６による被写体追尾用の初期画像と比較画像の取得タイミングを示すタイミングチャートである。この一実施の形態では、第２撮像素子１６で追尾初期画像を取得するための電荷蓄積（露光）を行うときには、電荷蓄積時間（露光時間）Ｔ０を、それ以降の追尾比較画像を所得するための電荷蓄積を行うときの電荷蓄積時間Ｔ１よりも長くし、フリッカ周期Ｔとほぼ等しい時間とする。フリッカ周期Ｔには、第２撮像素子１６により被写体輝度の変化周期を計測して求めた値を用いてもよいし、あるいは商用電源周波数５０Ｈｚと６０Ｈｚを代表して５０Ｈｚの周期を用いてもよい。

なお、第２撮像素子１６により被写体輝度の変化を測定し、被写体輝度に周期的な変化がある場合には撮影時の光源がフリッカ光源であると判定し、その場合にのみ、図１０に示す露光制御を行うようにしてもよい。あるいは、ホワイトバランス設定においてフリッカ光源が選択されたときのみ、図１０に示す露光制御を行うようにしてもよい。これにより、フリッカ光源下において確実に図１０に示す露光制御が実行される。

図１１は、従来の被写体追尾装置における追尾初期画像と追尾比較画像の取得タイミングを示すタイミングチャートである。追尾初期画像と追尾比較画像を取得するための電荷蓄積時間Ｔ３は等しく、フリッカ周期Ｔよりも短い。一般に、被写界の輝度を測定するための測光用の電荷蓄積においては、被写界の最も明るい部分の輝度が飽和しないように蓄積ゲインを調整する、いわゆるピークＡＧＣ(Auto Gain Control)により蓄積時間を決定するが、被写体追尾用の電荷蓄積では、被写体の色情報を取得しなければならないため、被写界の平均輝度付近で蓄積ゲインを調整する、いわゆる被写体重視ＡＧＣにより蓄積時間を決定する。通常、被写体重視ＡＧＣで決定した蓄積時間は、ピークＡＧＣで決定した蓄積時間よりも長くなる場合が多い。

被写体重視ＡＧＣにより追尾初期画像と追尾比較画像の取得を行う場合に、フリッカ周期Ｔのどの範囲で電荷蓄積を行うかを定めることができないため、例えば図１１に示すように、フリッカ周期Ｔの内の輝度の谷間の範囲で追尾初期画像の電荷蓄積が行われると、取得した追尾初期画像の輝度情報および色情報が乏しいものとなり、追尾対象の被写体像を正確に表すテンプレート画像が得られない。そのため、このようなテンプレート画像を用いて被写体追尾を行っても、十分な追尾性能を期待することはできない。

そこで、図１２に示すように、追尾初期画像と追尾比較画像を取得するための電荷蓄積時間Ｔ４をフリッカ周期Ｔとほぼ等しい時間にすると、追尾比較画像を取得して被写体追尾制御を行う追尾サイクルＴ５が長くなり、被写体追尾の応答性が低下してしまう。

一実施の形態では、図１０に示すように、追尾初期画像を取得するための電荷蓄積時間Ｔ０を、フリッカ周期Ｔとほぼ等しくするとともに、追尾比較画像を取得するための電荷蓄積時間Ｔ１よりも長くしたので、フリッカ光源下で被写界の輝度が変化してもフリッカ周期Ｔの全範囲に亘って電荷蓄積が行われ、フリッカ光源の影響のない追尾初期画像を安定に取得することができる。これにより、追尾対象の被写体像を正確に表すテンプレート画像を得ることができ、このようなテンプレート画像を用いて被写体追尾における高い精度と信頼性を実現することができる。その上さらに、追尾比較画像取得のための電荷蓄積時間Ｔ１は、追尾初期画像取得のための電荷蓄積時間Ｔ０より短い、必要最小限の長さとしたので、追尾比較画像を取得しながら被写体追尾制御を行う際の追尾サイクルＴ２（図１０参照）が短くなり、被写体追尾の高い応答性を維持することができる。

なお、追尾初期画像取得時の電荷蓄積時間Ｔ０は、フリッカ周期Ｔとほぼ等しくすることが望ましいが、追尾初期画像取得時の被写体輝度に応じた第２撮像素子１６のダイナミックレンジで許容できる最長時間に制限する必要がある。

ところで、被写体追尾制御により対象被写体を追尾しながら連続撮影（連写）を行うことがある。連写時はクイックリターンミラー５とサブミラー６が撮影のたびにアップ（撮影光路から退避状態）とダウン（撮影光路中にある状態）を繰り返し、アップ状態では被写体光がファインダー光学系へ導かれないため、追尾画像取得のための電荷蓄積時間が制約を受ける。

図１３は、従来の被写体追尾装置における連写時の追尾初期画像と追尾比較画像の取得タイミングを示すタイミングチャートである。フリッカ光源による影響を避けるために追尾初期画像と追尾比較画像を取得するための電荷蓄積時間を長くすると、ミラーアップのために追尾比較画像取得のための電荷蓄積を中断しなければならなくなり、中断時に複雑な中断処理を毎回行わなければならなくなる。

これに対しこの一実施の形態では、追尾初期画像を取得するための電荷蓄積時間Ｔ０を、フリッカ周期Ｔとほぼ等しくするとともに、追尾比較画像を取得するための電荷蓄積時間Ｔ１よりも長くしたので、図１４に示すように、ミラーアップのために追尾比較画像取得のための電荷蓄積を中断する必要がなく、中断時の複雑な中断処理が不要になる。つまり、この一実施の形態によれば、高速連写時においても、フリッカ光源の影響のない追尾初期画像を安定に取得することができ、追尾対象の被写体像を正確に表すテンプレート画像を生成して被写体追尾の高い精度と信頼性を実現できる上に、さらに追尾比較画像を取得しながら被写体追尾制御を行う際の追尾サイクルを短縮でき、被写体追尾の高い応答性を維持できる。

図８のステップ１に戻って一実施の形態の動作説明を続ける。ステップ１において取得した追尾初期画像を画素ごとにＲＧＢ値で表す。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ] ・・・（１）
このＲＧＢ値に基づいて各画素の色情報と輝度情報を算出する。この一実施の形態では、色情報として、色の偏り具合を示す値であるＲＧ、ＢＧを用いるとともに、輝度情報として、画像を取得したときの露光時間Ｔ、ゲインＧain、色合成係数Ｋｒ、Ｋｇ、Ｋｂにより算出したＬを用いる。
ＲＧ[ｘ,ｙ]＝Log_２（Ｒ[ｘ,ｙ]）−Log_２（Ｇ[ｘ,ｙ]），
ＢＧ[ｘ,ｙ]＝Log_２（Ｂ[ｘ,ｙ]）−Log_２（Ｇ[ｘ,ｙ]），
Ｌ[ｘ,ｙ]＝Log_２（Ｋｒ×Ｒ[ｘ,ｙ]＋Ｋｇ×Ｇ[ｘ,ｙ]＋Ｋｂ×Ｂ[ｘ,ｙ]）−Log_２（Ｔ）−Log_２（Ｇain） ・・・（２）

ここで、色の偏り具合を示す値であるＲＧ、ＢＧは、（２）式からも明らかなように、ＲＧの値が大きければテンプレート画像は赤みが強く、ＢＧの値が大きければ青みが強いことを示す。ここでは、緑色を基準にした赤色と青色への色の偏り具合いＲＧ、ＢＧを色情報とする例を示すが、基準色とその基準色と比較される色はこの一実施の形態の色に限定されない。なお、ＲＧ、ＢＧ以外の色を色情報として採用する場合には、図４に示す第２撮像素子１６の画素２６に用いるフィルターの色を、色情報として採用する色に合わせて変更する必要がある。

続くステップ２では、図９に示す追尾制御初期処理を実行する。図９のステップ１０１において、第２撮像素子１６で取得した追尾初期画像の中の焦点検出エリア４５ｂの位置に対応する位置の画像を、被写体色情報（色情報および輝度情報）として記憶する。ステップ１０２では、図６(ａ)に示すように、追尾初期画像の中の焦点検出エリア４５ｂ（図５参照）の位置周辺部において被写体色情報と同様な色情報を示す同色情報領域を検出し、続くステップ１０３で同色情報領域を初期の追尾被写体領域４７とする。

なお、ここでは被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、処理の簡素化を図るために一律に３×３画素のように追尾被写体領域のサイズを統一したり、さらに撮影レンズ８の距離情報に応じて被写体領域のサイズを決定してもよい。

ステップ１０４において、追尾初期画像の中の追尾被写体領域４７の画像を画像追尾処理に用いるテンプレート画像４８（図６(ｂ)参照）としてメモリ１９ｄに記憶する。例えば、追尾被写体領域４７の始点位置が図６(ａ)に示すように(ｘ,ｙ)＝(４,５)の場合には、テンプレート画像４８の色情報ＲＧref、ＢＧrefと輝度情報Ｌrefは次のように表される。なお、図６(ａ)では横軸をｘ、縦軸をｙとし、図６(ｂ)では横軸をｒｘ、縦軸をｒｙとする。
ＲＧref[ｒｘ,ｒｙ]＝ＲＧ[ｘ,ｙ]、
ＢＧref[ｒｘ,ｒｙ]＝ＢＧ[ｘ,ｙ]、
Ｌref[ｒｘ,ｒｙ]＝Ｌ[ｘ,ｙ] （ｒｘ,ｒｙ＝１〜３、ｘ＝４〜６、ｙ＝５〜７） ・・・（３）

次に、ステップ１０５で追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）ずつ拡大した領域を探索領域４９に設定する。図６(ａ)に示す例では、探索領域４９は、ｘ＝２〜８、ｙ＝３〜９の領域になる。

追尾制御の初期処理が終了したら図８のステップ３へ進み、操作部材２０のシャッターボタンが全押しされたか否か、つまりシャッターレリーズ操作が行われたか否かを確認する。シャッターレリーズ操作がない場合はステップ４へ進み、第２撮像素子１６から追尾比較画像を取得し、ステップ１の処理と同様に色情報ＲＧ[ｘ,ｙ]、ＢＧ[ｘ,ｙ]および輝度情報Ｌ[ｘ,ｙ]を算出し、メモリ１９ｄに記憶する。同時に、測距素子１０により、各焦点検出エリア４５ａ〜４５ｇごとに焦点検出用の対の光像に応じた焦点検出信号を取得する。

なお、図１０に示すように、追尾比較画像を取得するための電荷蓄積時間Ｔ１は、追尾初期画像を取得するための電荷蓄積時間Ｔ０よりも短い、必要最小限の時間である。

ステップ５において、追尾比較画像の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８の対応する画素ごとに色情報の差分Ｄiffを算出する。図７(ａ)に太い破線で示すように、探索領域４９の中で１画素ずつ領域をずらしながらテンプレート画像４８との色情報の差分Ｄiffを算出する。

今、図７(ａ)に示すように探索領域４９の始点位置が(scｘ,scｙ)＝(２,３)であるとすると、差分Ｄiffの演算は次のようにして行う。
Ｄiff[ｄｘ,ｄｙ]＝ΣΣ｛ＡＢＳ（ＲＧ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−ＲＧref[ｒｘ,ｒｙ]）＋ＡＢＳ（ＢＧ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−ＢＧref[ｒｘ,ｒｙ]）＋ＡＢＳ（Ｌ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−Ｌref[ｒｘ,ｒｙ]）｝ ・・・（４）
（４）式において、ｄｘ，ｄｙ＝１〜５、ｒｘ，ｒｙ＝１〜３、scｘ＝２、scｙ＝３、ΣΣはｒｘ＝１〜３およびｒｙ＝１〜３の総和演算である。

次に、（４）式により算出したすべての差分Ｄiffの内、値が最小の差分を最小差分MinＤiffとする。図７(ａ)に示す例では、最小差分MinＤiffとなる位置（minｘ,minｙ）は探索領域４９内の（４,４）である。この最小差分MinＤiffの値が小さいほど、テンプレート画像４８との類似性が高いことになる。

ステップ６において、ステップ５で求めた最小差分MinＤiffを類似判定しきい値Ｄthと比較する。最小差分MinＤiffが類似判定しきい値Ｄthより大きい場合は、最小差分値MinＤiffが求められた領域の画像はテンプレート画像４８と類似していないと判断し、ステップ１０へ進む。一方、最小差分値MinＤiffが類似判定しきい値Ｄth以下の場合は、最小差分値MinＤiffが求められた領域の画像はテンプレート画像４８と類似していると判断し、ステップ７へ進む。

ステップ７では、最小差分値MinＤiffが求められた領域を新しい追尾被写体領域４７に決定する。図７(ｂ)に示す例では、始点位置が（ｘ,ｙ）＝（５,６）の破線枠で示す領域を新追尾被写体領域４７とする。続くステップ８において、新追尾被写体領域４７の画像情報を用いてテンプレート画像を更新する。この一実施の形態では、例えば次式に示すように、現在のテンプレート画像４８の画像情報８割に対し、新追尾被写体領域４７の画像情報２割を加算し、新しいテンプレート画像４８の色情報ＲＧref、ＢＧrefと輝度情報Ｌrefを生成してメモリ１９ｄに記憶し直す。
ＲＧref[ｒｘ,ｒｙ]＝０．８・ＲＧref[ｒｘ,ｒｙ]＋０．２・ＲＧ[ｘ,ｙ]，
ＢＧref[ｒｘ,ｒｙ]＝０．８・ＢＧref[ｒｘ,ｒｙ]＋０．２・ＢＧ[ｘ,ｙ]，
Ｌref[ｒｘ,ｒｙ]＝０．８・Ｌref[ｒｘ,ｒｙ]＋０．２・Ｌ[ｘ,ｙ]，
（ｒｘ，ｒｙ＝１〜３、ｘ＝５〜７、ｙ＝６〜８） ・・・（５）

なお、テンプレート画像４８を更新する際の今までのテンプレート画像における画像情報と新追尾被写体領域４７の画像情報との割合は、上述した固定値としてもよいし、最小差分MinＤiffに応じて可変にしてもよい。

ステップ９において、新しい追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を新しい探索領域４９に設定する。ここでは、図７(ｂ)に示すように、ｘ＝３〜９、ｙ＝４〜１０の領域を新しい探索領域４９とする。

続くステップ１０では、図５に示す焦点検出エリア４５ａ〜４５ｇの内、新追尾被写体領域４７内にある焦点検出エリア、もしくは新追尾被写体領域４７の近傍にある焦点検出エリアにおいて、ステップ４で取得した焦点検出信号に基づいて周知の焦点検出演算を行い、その焦点検出エリアのデフォーカス量を算出する。そして、新追尾被写体領域４７内または近傍の焦点検出エリアで検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置２２によりフォーカシングレンズ８ｂを駆動して焦点調節を行う。その後、ステップ３へ戻って上述した処理を繰り返す。

焦点調節後のステップ３でレリーズボタンの全押しを確認する。シャッターボタンが半押しされている間、ステップ４〜１０の処理を繰り返し実行し、シャッターボタンが全押しされるとステップ１１へ進み、撮影処理を実行する。なお、撮像処理に際しては、ステップ７で決定した新追尾被写体領域４７の輝度情報に基づいて露出演算を行い、絞り値とシャッター速度を算出する。これらの露出値にしたがってシャッター７および絞り２１を駆動制御し、第１撮像素子４により撮像を行う。

なお、上述した一実施の形態では、本願発明の被写体追尾装置を一眼レフデジタルカメラに搭載した例を示したが、本願発明の被写体追尾装置は一眼レフデジタルカメラに限定されず、例えばコンパクトデジタルカメラなどにも搭載することができる。

また、上述した一実施の形態では、本来測光用に設けた第２撮像素子１６を被写体追尾制御用に兼用する例を示したが、撮像用の第１撮像素子４を被写体追尾制御用としてもよい。

なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。

１；カメラ、８；撮影レンズ、１６；第２撮像素子、１９；ボディ駆動制御装置、１９ａ；素子制御回路、１９ｅ；追尾制御部

Claims (5)

1. 結像光学系により結像された画像を繰り返し撮像する撮像手段と、
   前記撮像手段により撮像された第１画像から追尾対象被写体の基準画像を設定する基準設定手段と、
   前記撮像手段により前記第１画像以後に撮像された第２画像において前記基準画像に類似する部分画像の位置を探索する位置探索手段とを備え、
   撮影画面内を移動する追尾対象被写体を追尾する被写体追尾装置において、
   前記撮像手段の露光時間を制御する露光制御手段を備え、
   前記露光制御手段は、前記第１画像を撮像するときは前記第２画像を撮像するときよりも長い露光時間を設定することを特徴とする被写体追尾装置。
2. 請求項１に記載の被写体追尾装置において、
   前記露光制御手段は、前記第１画像を撮像するときに光源のフリッカ周期とほぼ等しい露光時間を設定することを特徴とする被写体追尾装置。
3. 請求項１または請求項２に記載の被写体追尾装置において、
   前記露光制御手段は、前記第１画像を撮像するときに、前記撮像素子の被写体輝度に応じたダイナミックレンジで許容できる最長時間に設定することを特徴とする被写体追尾装置。
4. 請求項１〜３のいずれか一項に記載の被写体追尾装置において、
   撮像時の光源がフリッカ光源か否かを判定する光源判定手段を備え、
   前記露光制御手段は、前記光源判定手段によりフリッカ光源と判定されたときに、前記第１画像を撮像するための露光時間を前記第２画像を撮像するための露光時間よりも長くすることを特徴とする被写体追尾装置。
5. 請求項１〜３のいずれか一項にに記載の被写体追尾装置において、
   前記露光制御手段は、ホワイトバランス設定でフリッカ光源が選択されたときに、前記第１画像を撮像するための露光時間を前記第２画像を撮像するための露光時間よりも長くすることを特徴とする被写体追尾装置。

Images