JP2012221289A - Image tracking device - Google Patents
Image tracking device Download PDFInfo
- Publication number
- JP2012221289A JP2012221289A JP2011087285A JP2011087285A JP2012221289A JP 2012221289 A JP2012221289 A JP 2012221289A JP 2011087285 A JP2011087285 A JP 2011087285A JP 2011087285 A JP2011087285 A JP 2011087285A JP 2012221289 A JP2012221289 A JP 2012221289A
- Authority
- JP
- Japan
- Prior art keywords
- image
- tracking target
- tracking
- target candidate
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像追尾装置に関する。 The present invention relates to an image tracking device.
従来から、1つの移動物体に対して作成した複数のテンプレートを用いて視野内を移動する移動物体を追跡し、移動物体とのマッチングが高いテンプレートを最新のテンプレートとして更新する装置が知られている(たとえば特許文献1)。 Conventionally, a device that tracks a moving object that moves within a field of view using a plurality of templates created for one moving object, and updates a template that has a high matching with the moving object as the latest template is known. (For example, patent document 1).
しかしながら、テンプレートに含まれる追尾対象が小さい場合には、テンプレート内の背景の情報に起因して異なる被写体を追尾対象として誤検出することにより、テンプレートの更新精度が低下するという問題がある。 However, when the tracking target included in the template is small, there is a problem that the update accuracy of the template is lowered by erroneously detecting a different subject as the tracking target due to background information in the template.
請求項1の発明による画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、被写界画像に含まれる追尾対象の画像の特徴を示す基準情報を生成する生成手段と、被写界画像のうち画像情報が類似する類似領域を抽出する抽出手段と、撮像手段により取得された新たな被写界画像と基準情報との相関関係を演算して、新たな被写界画像での第1追尾対象候補の位置を検出する第1検出手段と、新たな被写界画像から、抽出手段により抽出された類似領域と相関度が高い領域を、第2追尾対象候補の位置として検出する第2検出手段と、第1検出手段により検出された第1追尾対象候補の位置と、第2検出手段により検出された第2追尾対象候補の位置とに基づいて、第1追尾対象候補と第2追尾対象候補とが同一の追尾対象であるか否かを判定する判定手段と、判定手段による判定結果に基づいて、第1追尾対象候補の位置と、第2追尾対象候補の位置との一方を、追尾対象の位置として選択する選択手段と、判定手段によって第1追尾対象候補と第2追尾対象候補とが異なると判定された場合には、第2追尾対象候補の位置を基準として、新たな基準情報を生成する更新手段とを有することを特徴とする。 An image tracking device according to a first aspect of the present invention is an image tracking device that repeatedly captures an image formed by an imaging optical system to generate a field image, and a tracking target image included in the field image. A correlation between a generation unit that generates reference information indicating features, an extraction unit that extracts similar regions having similar image information from the scene image, and a new scene image acquired by the imaging unit and the reference information The first detection means for calculating the relationship to detect the position of the first tracking target candidate in the new object scene image, and the similar area extracted by the extraction means from the new object image and the degree of correlation. Second detection means for detecting the high region as the position of the second tracking target candidate, the position of the first tracking target candidate detected by the first detection means, and the second tracking target candidate detected by the second detection means Based on the position of the first tracking target candidate and the second A determination unit that determines whether or not the tail target candidate is the same tracking target, and one of the position of the first tracking target candidate and the position of the second tracking target candidate based on the determination result by the determination unit If the first tracking target candidate and the second tracking target candidate are determined to be different from each other by the selection unit that selects the tracking target position and the determination unit, a new tracking unit position is selected based on the position of the second tracking target candidate. Update means for generating reference information.
本発明によれば、第1追尾対象候補と第2追尾対象候補とが異なる場合には、第2追尾対象候補の位置を基準として、新たな基準情報を生成することができる。 According to the present invention, when the first tracking target candidate and the second tracking target candidate are different, new reference information can be generated based on the position of the second tracking target candidate.
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態(この一実施の形態ではデフォーカス量)を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節(AF)機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像(基準画像)として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら(テンプレートマッチング)追尾対象の被写体を追尾する画像追尾機能とを備え、AF機能と画像追尾機能により撮影レンズを駆動しながら追尾対象を追尾する画像追尾装置を備えた撮像装置(一眼レフデジタルスチルカメラ)の一実施の形態を説明する。 The focus adjustment state of the photographic lens (in this embodiment, the defocus amount) is detected in a plurality of focus detection areas set in the photographic screen, and the photographic lens is focused based on the defocus amount in one of the areas. The automatic focus adjustment (AF) function to be driven and the image of the subject to be tracked in the photographed image are stored as a template image (reference image). An image pickup apparatus having an image tracking function for tracking a subject to be tracked while searching for a position (template matching), and an image tracking device for tracking the tracking target while driving a photographing lens with the AF function and the image tracking function ( An embodiment of a single lens reflex digital still camera) will be described.
図1は、一実施の形態の画像追尾装置を備えた撮像装置(一眼レフデジタルスチルカメラ)1の構成を示す。なお、図1では画像追尾機能とは直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ1では、撮影レンズ8、絞り21等を有する交換レンズ3がカメラ本体2に着脱可能に装着される。カメラ本体2には被写界像を撮像して画像を記録するための第1撮像素子4が設けられる。この第1撮像素子4はCCDやCMOSなどにより構成することができる。撮影時にはクイックリターンミラー5およびサブミラー6が実線で示す撮影光路外の位置に退避してシャッター7が開放され、撮影レンズ8により第1撮像素子4の受光面に被写体像が結像される。
FIG. 1 shows a configuration of an imaging apparatus (single-lens reflex digital still camera) 1 including an image tracking apparatus according to an embodiment. In FIG. 1, illustration and description of camera devices and circuits that are not directly related to the image tracking function are omitted. In the camera 1 according to the embodiment, an
カメラ本体2の底部には、撮影レンズ8の焦点調節状態を検出するための焦点検出光学系9と測距素子10が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系9は、撮影レンズ8を通過した対の焦点検出用光束を測距素子10の受光面へ導き、対の光像を結像させる。測距素子10は例えば対のCCDラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー5およびサブミラー6が破線で示すような撮影光路内の位置に設定されており、撮影レンズ8からの対の焦点検出用光束はクイックリターンミラー5のハーフミラー部を透過し、サブミラー6により反射されて焦点検出光学系9および測距素子10へ導かれる。
At the bottom of the
カメラ本体2の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー5およびサブミラー6が破線で示す位置にあり、撮影レンズ8からの被写体光の一部はクイックリターンミラー5に反射されて焦点板11へ導かれ、焦点板11上に被写体像が結像する。液晶表示素子12は、焦点板11上に結像された被写界像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写界像外の位置に露出値などの種々の撮影情報を表示する。焦点板11上の被写界像はペンタダハプリズム13および接眼レンズ14を介して、撮影者が被写界像を視認することができる。
A finder optical system is provided on the upper part of the
また、カメラ本体2上部のファインダー光学系には、被写体追尾や測光のために被写界像を撮像する第2撮像素子16が設けられる。焦点板11に結像した被写界像は、ペンタダハプリズム13および結像レンズ18を介して第2撮像素子16の受光面に再結像される。
The finder optical system at the top of the
第2撮像素子16は、マトリクス状に配列された複数の画素(光電変換素子)40(たとえば、横640個×縦480個の画素)を備えている。さらに、各画素にはそれぞれ赤R、緑G、青Bの原色フィルターが設けられている。これにより、各画素ごとに被写界画像のRGB信号(被写界画像信号)を後述するボディ駆動制御装置19(図2)に出力することができる。詳細を後述するが、この第2撮像素子16により撮像された被写界画像信号に基づいて、ボディ駆動制御装置19によって追尾制御と露出演算とが行われる。なお、ボディ駆動制御装置19は、追尾制御と露出演算は第1撮像素子4による撮像により出力された被写界画像信号に基づいて行うこととしてもよい。
The
カメラ本体2にはまた、ボディ駆動制御装置19、操作部材20などが設けられる。ボディ駆動制御装置19は、詳細を後述するマイクロコンピューターとメモリ、A/D変換器などの周辺部品から構成され、カメラ1の種々の制御と演算を行う。操作部材20には、レリーズボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ1を操作するためのスイッチやセレクターが含まれる。
The
交換レンズ3には、ズーミングレンズ8a、フォーカシングレンズ8b、絞り21、レンズ駆動制御装置22などが設けられる。なお、この一実施の形態では撮影レンズ8をズーミングレンズ8a、フォーカシングレンズ8bおよび絞り21で代表的に表すが、撮影レンズ8の構成は図1に示す構成に限定されない。レンズ駆動制御装置22は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ8a、8bおよび絞り21の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置22に内蔵されるメモリには、交換レンズ3の焦点距離や開放絞り値などのレンズ情報が記憶されている。
The
ボディ駆動制御装置19とレンズ駆動制御装置22はレンズマウント部の接点23を介して通信を行う。この通信によって、ボディ駆動制御装置19はレンズ駆動制御装置22へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置22はボディ駆動制御装置19へレンズ情報や絞り情報を送信する。
The body
図2はボディ駆動制御装置19の詳細な構成を示す。なお、画像追尾機能とは直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置19は素子制御回路19a、A/D変換器19b、マイクロコンピューター19c、メモリ19dなどを備えている。素子制御回路19aは第2撮像素子16の電荷の蓄積と読み出しを制御する。A/D変換器19bは、第2撮像素子16から出力されるアナログ画像信号をデジタル画像信号に変換する。撮影者により操作部材20のレリーズボタンが半押しされると半押しスイッチ(不図示)がオンし、図1に示すように、撮影レンズ8を通過した被写体光の一部は破線で示すクイックリターンミラー5により反射され、ペンタダハプリズム13、プリズム17および結像レンズ18を介して第2撮像素子16へ導かれる。レリーズボタンが半押しされている間、第2撮像素子16により繰り返し周期的に被写界画像を撮像することができる。
FIG. 2 shows a detailed configuration of the body
マイクロコンピューター19cは、ソフトウエア形態により露出制御部19e、焦点検出演算部19f、レンズ駆動量演算部19gおよび追尾制御部19hを構成する。メモリ19dは、画像追尾用のテンプレート画像やデフォーカス量などの情報、撮影レンズ8の焦点距離、開放F値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報などを記憶する。
The
露出演算部19eは、第2撮像素子16により撮像した画像信号に基づいて露出値を演算する。焦点検出演算部19fは、測距素子10から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ8の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ8の撮影画面内には複数の焦点検出エリアが設定されており、測距素子10は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部19fは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材20のレリーズボタンが半押しされると半押しスイッチ(不図示)がオンし、図1に示すように、撮影レンズ8を通過した被写体光の一部は破線で示すクイックリターンミラー5のハーフミラー部を通ってサブミラー6および焦点検出光学系9を介して測距素子10へ導かれ、焦点検出演算部19fにより焦点検出演算が行われる。レンズ駆動量演算部19gは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、レリーズボタンが半押しされている間、繰り返し周期的に行われる。
The
追尾制御部19hは、画像追尾動作(処理)を行う。すなわち、追尾制御部19hは、第2撮像素子16により撮像した被写界像の内、撮影者が手動で指定した追尾対象とする被写体(以後、追尾対象被写体と呼ぶ)の位置、あるいはカメラ1が自動で設定した追尾対象被写体の位置に対応する画像をテンプレート画像(基準画像)としてメモリ19dに記憶させる。そして、追尾制御部19hは、撮影周期ごとに第2撮像素子16により繰り返し撮影される被写界画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。
The
図3に示すように、追尾制御部19hは、画像追尾処理を行うために、生成部191、抽出部192、第1検出部193、第2検出部194、判定部195、選択部196および更新部197を機能的に備える。生成部191は、第2撮像素子16から出力された被写界画像信号を用いて第1ブロック画像を生成し、第1ブロック画像内の画像情報に基づいてテンプレート画像を生成してメモリ19dに記憶させる。抽出部192は、第2撮像素子16から出力された被写界画像信号を用いて第2ブロック画像を生成し、第2ブロック画像内の画像情報に基づいて、類似する色に関連する情報を有する領域(類似領域)を抽出する。第1検出部193は、撮影周期ごとに繰り返し撮影される被写界画像とテンプレート画像との間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を追尾対象とする被写体追尾対象被写体の候補(追尾対象候補)の位置として検出する。第2検出部194は、撮影周期ごとに繰り返し撮影される被写界画像と類似領域との間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を追尾対象候補の位置として検出する。
As illustrated in FIG. 3, the
判定部195は、第1検出部193により検出された追尾対象候補の位置と、第2検出部194により検出された追尾対象候補の位置とが所定量よりも乖離しているか否かを判定する。選択部196は、判定部195による判定結果に応じて、第1検出部193により検出された追尾対象候補の位置と、第2検出部194により検出された追尾対象候補の位置との一方を追尾対象被写体の位置として選択する。更新部197は、判定部195により所定量よりも乖離していると判定された場合には、第2検出部194により検出された追尾対象候補の位置に対応する第1ブロック画像の位置を基準として、新たなテンプレート画像を生成する。なお、生成部191、抽出部192、第1検出部193、第2検出部194、判定部195、選択部196および更新部197による処理の詳細については、説明を後述する。
The
次に、本実施の形態のカメラ1の被写体追尾処理を説明する。
ボディ駆動制御装置19は、第2撮像素子16により撮像した被写体画像のうち、ユーザが手動で追尾対象被写体を指定するか、あるいはカメラが自動で追尾対象被写体を設定した後、操作部材20のレリーズボタンを半押しすると、被写体追尾処理を開始する。レリーズボタンを全押しして撮影を行うとき以外は、クイックリターンミラー5が図1に破線で示す撮影光路内に設定されており、撮影レンズ8から入射した被写体光の一部は焦点板11上に結像される。そして、焦点板11上の被写界像はペンタダハプリズム13、プリズム17および結像レンズ18を介して第2撮像素子16へ導かれ、第2撮像素子16から被写界画像信号が繰り返し出力される。
Next, the subject tracking process of the camera 1 of the present embodiment will be described.
The body
撮影レンズ8の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子12は焦点板11上の被写界像にエリアマークを重畳して、各焦点検出エリアの位置を表示する。この一実施の形態では、図4に示すように、撮影画面内の7カ所に焦点検出エリア45a〜45gが設定された例を示す。また、操作部材20の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。
A plurality of focus detection areas are set on the shooting screen of the
図4に示すように操作部材20の焦点検出エリア選択スイッチにより焦点検出エリア45cが選択され、この状態で操作部材20のレリーズボタンが半押しされると、焦点検出エリア45cが初回AFエリアとしてメモリ19dに記憶される。これにより、追尾対象被写体として初回AFエリア内の被写体が指定される。なお、ここでは撮影者が初回AFエリアを選択して追尾対象被写体を手動で指定する例を示すが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回AFエリアおよび追尾対象被写体を設定してもよい。
As shown in FIG. 4, when the
素子制御回路19aは第2撮像素子16に追尾初期画像(画像追尾処理を開始して最初に取得する画像)を取得させる。上述したように、第2撮像素子にはカラーフィルターが設けられているので、第2撮像素子16により撮像された初期追尾画像の画像情報は、被写界画像信号として画素ごとにRGB値で表される。生成部191は、この被写界画像信号を用いて、生成部191はテンプレート画像を生成する。さらに、抽出部192はこの被写界画像信号を用いて類似領域を抽出する。以下、テンプレート画像生成処理と類似領域抽出処理とに分けて説明する。
The
−テンプレート画像生成処理−
生成部191は、第2撮像素子16に含まれる画素のそれぞれの画像情報を、たとえば隣接する8×8個の画素の画像情報をまとめて1つのブロックとするブロック化を行って第1ブロック画像を生成する。この場合、生成部191は、隣接する8×8個の画像情報(すなわち色情報(RGB値)、輝度情報等)を平均化あるいは合計することにより第1ブロック画像を生成する。その結果、図5(a)に示すように、被写界画像の640×480個の画素のそれぞれの画像情報は、80×60個のブロック41の画像情報として表される。なお、以後の説明においては、上記のブロック化された1つのブロックを第1ブロック画素41と呼び、各第1ブロック画素41の画像情報を第1ブロック化画像情報と呼ぶ。
-Template image generation processing-
The
生成部191は、第1ブロック画像を生成すると、追尾初期画像の中の撮影者が指定した位置(ここでは初回AFエリアである焦点検出エリア45c)およびその近傍の第1ブロック化画像情報を用いてテンプレート画像Tpを生成する。この場合、図5(a)に示すように、生成部191は、焦点検出エリア45cに対応する位置の第1ブロック画素41を中心(基準)として、たとえば3×3個の第1ブロック画素41をテンプレート画像Tpとする。そして、生成部191は、生成したテンプレート画像Tpをメモリ19dに記憶する。
When generating the first block image, the
−類似領域抽出処理−
抽出部192は、第2撮像素子16に含まれる画素のそれぞれの画像情報を、たとえば隣接する4×4個の画素の画像情報をまとめて1つのブロックとするブロック化を行って第2ブロック画像を生成する。この場合、抽出部192は、隣接する4×4個の画像情報(すなわち色情報(RGB値)、輝度情報等)を平均化あるいは合計することにより第2ブロック画像を生成する。その結果、図5(b)に示すように、被写界画像の640×480個の画素のそれぞれの画像情報は、160×120個のブロック42の画像情報として表される。なお、以後の説明においては、上記のブロック化された1つのブロックを第2ブロック画素42と呼び、各第2ブロック画素42の画像情報を第2ブロック化画像情報と呼ぶ。
-Similar region extraction processing-
The
抽出部192は、後述する追尾対象候補の位置検出の精度を確保するために、1つの第2ブロック画素42のサイズが小さい方が好ましい。しかし、第2ブロック画素42のサイズが小さくなるほど、抽出部192が第2ブロック画像の生成に要する処理負荷が増加する。このため、第2ブロック画素42のサイズは、追尾対象候補の位置検出の精度と処理負荷とを考慮に入れて決定されることが好ましい。また、第2ブロック画素42のサイズが第1ブロック画素41のサイズと同一であってもよい。
The
抽出部192は、第2ブロック画像を生成すると、追尾初期画像の中の撮影者が指定した位置(初回AFエリアである焦点検出エリア45c)およびその近傍の第2ブロック化画像情報を用いて類似領域Reを抽出する。この場合、抽出部192は、焦点検出エリア45cに対応する第2ブロック画素42の第2ブロック化画像情報と色情報や輝度情報が類似し、かつ連結している複数の第2ブロック画素42をグループ化する。抽出部192は、たとえば、第2ブロック化画像情報の色情報や輝度情報として色相を所定の閾値で区分することにより、第2ブロック画像に対して公知の2値化処理を行う。そして、抽出部192は、2値化された第2ブロック画像内から白画素の纏まりと黒画素の纏まりとをラベリング領域として抽出する(ラベリング処理)。なお、グループ化に際して、第2ブロック化画像情報によって表される色情報や輝度情報に代えて、テクスチャーや周波数等の画像情報を用いてもよい。グループ化の結果、図5(b)に示すように、抽出部192は、焦点検出エリア45cに対応する位置の第2ブロック画素42の近傍に隣接する第2ブロック画素42を類似領域Reとして抽出する。そして、抽出部192は、抽出した類似領域Reをメモリ19dに記憶する。
When the
上述のようにテンプレート画像Tpおよび類似領域Reがメモリ19dに記憶されると、操作部材20のシャッターボタンが全押しされるまでの間、素子制御回路19aは、所定の撮影周期ごとに第2撮像素子16に対して追尾次画像を取得させる。第1検出部193は、追尾次画像とテンプレート画像Tpとの間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を第1の追尾対象候補の位置として検出する(テンプレートマッチング)。第2検出部194は、追尾次画像と類似領域Reとの間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を第2の追尾対象候補の位置として検出する。以下詳細に説明する。
When the template image Tp and the similar region Re are stored in the
−第1の追尾対象候補の位置検出処理−
第1検出部193は、上述した生成部191と同様にして、追尾次画像の画像情報を用いて、第1ブロック画像を生成する。第1検出部193は、生成した第1ブロック画像からテンプレート画像Tpと同じサイズの領域、すなわち3×3個の第1ブロック画素41を順次切り出す。そして、第1検出部193は、切り出した画像とテンプレート画像Tpとの間で、対応する第1ブロック画素41ごとに、相関を演算、すなわち第1ブロック化画像情報の差分値を算出する。この場合、図6に示すように、第1検出部193は、例えば、追尾次画像の第1ブロック画像からテンプレート画像Tpと同じサイズの領域を1個の第1ブロック画素41ずつずらしながら画像(図6においては、50a、50b、50c)を順次切り出す。そして、第1検出部193は、順次切り出した画像50a、50b、50cと、テンプレート画像Tpとを順次比較して、それぞれの切り出し画像について差分値を算出する。
-First tracking target candidate position detection process-
The
上記のようにして算出された差分値の内の最小の値を示す切り出し画像がテンプレート画像Tpに最も類似していることになる。したがって、第1検出部193は、テンプレート画像Tpと切り出し画像との差分値のうち最も小さい値を検出し、そのときの切り出し画像の座標値を検出する。第1検出部193は、検出した座標値をメモリ19dに記憶することによって検出された座標値を第1の追尾対象候補の位置とする。
The cut-out image indicating the minimum value among the difference values calculated as described above is most similar to the template image Tp. Accordingly, the
−第2の追尾対象候補の位置検出処理−
第2検出部194は、上述した抽出部192と同様にして、追尾次画像の画像情報を用いて、第2ブロック画像を生成する。そして、第2検出部194は、生成した第2ブロック画像のうち類似領域Reと類似する色情報、輝度情報を有する第2ブロック化画像情報を検出する。この場合、第2検出部194は、類似領域Reの第2ブロック化画像情報と、第2ブロック画像の第2ブロック化画像情報との差分を演算する。そして、第2検出部194は、差分値が最小となる第2ブロック化画像情報に対応する第2ブロック画素42を検出する。なお、第2検出部194は、差分値が最小となる第2ブロック化画像情報に対応する第2ブロック画素42を検出するものに代えて、たとえば差分値が所定の閾値以下となる第2ブロック化画像情報に対応する第2ブロック画素42を検出してもよい。この場合、所定の閾値は、たとえば実験等に基づいて予め設定されているものとする。そして、第2検出部194は、抽出部192と同様に、検出した第2ブロック画素42の第2ブロック化画像情報と色情報や輝度情報が類似し、かつ連結している複数の第2ブロック画素42をグループ化する。第2検出部194は、グループ化された複数の第2ブロック画素42のうちグループの中心付近の第2ブロック画素42の座標値を第2の追尾対象候補の位置として検出する。
-Second tracking target candidate position detection process-
The
上述したようにして第1および第2の追尾対象候補の位置検出処理が行われると、判定部195は、第1の追尾対象候補の位置と、第2の追尾対象候補の位置とが所定量よりも乖離しているか否かを判定する。この場合、判定部195は、第1の追尾対象候補の座標値と、第2の追尾対象候補の座標値との差分を算出し、差分の絶対値が所定の閾値以上か否かを判定する。なお、閾値は、第1の追尾対象候補の位置と、第2の追尾対象候補の位置とを同一の位置と見なす場合に最適な値として実験等に基づいて設定され、予め所定のメモリ(不図示)に記憶されているものとする。
When the position detection processing of the first and second tracking target candidates is performed as described above, the
以下、判定部195により差分の絶対値が閾値以上と判定された場合と、閾値未満と判定された場合とに分けて説明を行う。
(1)差分の絶対値が閾値以上と判定された場合
差分の絶対値が閾値以上の場合は、第1の追尾対象候補の位置と第2の追尾対象候補の位置とが大きく異なる、すなわち両者の位置が所定量よりも乖離している。換言すると、第1の追尾対象候補と、第2の追尾対象候補とが異なる被写体であることを意味する。これは、テンプレート画像Tp生成時に、指定された追尾対象被写体がカメラ1から遠方にあり被写界画像中で小さな領域であるため、3×3個のテンプレート画像Tp内で追尾対象被写体とは異なる背景等の情報が多く含まれたことに起因している。その結果、第1検出部193は、追尾次画像にてテンプレートマッチングを行った際、背景等を追尾対象被写体として誤検出したことになる。
Hereinafter, the case where the
(1) When the absolute value of the difference is determined to be equal to or greater than the threshold value When the absolute value of the difference is equal to or greater than the threshold value, the position of the first tracking target candidate and the position of the second tracking target candidate are significantly different. The position is deviated from the predetermined amount. In other words, it means that the first tracking target candidate and the second tracking target candidate are different subjects. This is different from the tracking target subject in the 3 × 3 template images Tp because the specified tracking target subject is far from the camera 1 and is a small area in the field image when the template image Tp is generated. This is because a lot of information such as the background is included. As a result, the
この場合、選択部196は、第2検出部194により検出された第2の追尾対象候補の位置(座標値)を追尾対象被写体の位置(座標値)として選択する。さらに、更新部197は、テンプレート画像Tpの更新処理を行う。更新部197は、追尾次画像を用いて第1検出部193により生成された第1ブロック画像のうち、第2検出部194により検出された第2の追尾対象候補の座標値に対応する座標値を基準として、3×3個の第1ブロック画素41を新たなテンプレート画像Tpとして生成する。そして、更新部197は、追尾初期画像を用いて生成部191により生成されたテンプレート画像Tpとは別に、新たなテンプレート画像Tpをメモリ19dに記憶する。
In this case, the
(2)差分の絶対値が閾値未満と判定された場合
差分の絶対値が閾値未満の場合は、第1の追尾対象候補の位置と第2の追尾対象候補の位置とがほぼ同位置である、すなわち両者の位置が所定量よりも乖離していない。換言すると、第1の追尾対象候補と、第2の追尾対象候補とは同一の被写体であることを意味する。この場合、選択部196は、第1検出部193により検出された第1の追尾対象候補の位置(座標値)を追尾対象被写体の位置(座標値)として選択する。
(2) When the absolute value of the difference is determined to be less than the threshold value When the absolute value of the difference is less than the threshold value, the position of the first tracking target candidate and the position of the second tracking target candidate are substantially the same position. That is, the positions of both are not deviated from a predetermined amount. In other words, it means that the first tracking target candidate and the second tracking target candidate are the same subject. In this case, the
追尾対象被写体の座標値が選択されると、焦点検出演算部19fは、選択部196により選択された座標値に対応する追尾対象被写体について焦点制御を行う。この場合、焦点検出演算部19fは、焦点検出エリア45a〜45gのうち選択された座標値に最も近い焦点検出エリア45a〜45gで検出されたデフォーカス量に基づいて撮影レンズ8の焦点調節を行う。
When the coordinate value of the tracking target subject is selected, the focus
図7に示すフローチャートを用いて、本実施の形態によるカメラ1の画像追尾処理について説明する。図7の各処理はボディ駆動制御装置19でプログラムを実行して行われる。図7の各処理を行なうプログラムはメモリ(不図示)に格納されている。ユーザによるレリーズボタンの半押し操作に応じて操作部材20から操作信号が入力されるとボディ駆動制御装置19によりプログラムが起動され、実行される。
The image tracking process of the camera 1 according to the present embodiment will be described using the flowchart shown in FIG. Each process in FIG. 7 is performed by executing a program in the body
ステップS1においては、素子制御回路19aは第2撮像素子16に追尾初期画像を取得させてステップS2へ進む。ステップS2では、生成部191は、追尾初期画像の被写界画像信号を用いて第1ブロック画像を生成する。そして、生成部191は、生成した第1ブロック画像の第1ブロック化画像情報を用いてテンプレート画像Tpを生成し、生成したテンプレート画像Tpをメモリ19dに記憶してステップS3へ進む。
In step S1, the
ステップS3においては、抽出部192は、追尾初期画像の被写界画像信号を用いて第2ブロック画像を生成する。そして、抽出部192は、生成した第2ブロック画像の第2ブロック化画像情報を用いて類似領域Reを抽出し、類似領域Reをメモリ19dに記憶してステップS4へ進む。
In step S3, the
ステップS4においては、素子制御回路19aは第2撮像素子16に追尾次画像を取得させてステップS5へ進む。ステップS5では、第1検出部193は、追尾次画像の被写界画像信号を用いて第1ブロック画像を生成し、テンプレート画像Tpを用いてテンプレートマッチング処理を行う。そして、第1検出部193は、テンプレートマッチング処理の結果に基づいて、第1の追尾対象候補の座標値を検出してステップS6へ進む。ステップS6においては、第2検出部194は、追尾次画像の被写界画像信号を用いて第2ブロック画像を生成し、類似領域Reを用いて第2の追尾対象候補の座標値を検出してステップS7へ進む。
In step S4, the
ステップS7においては、判定部195は、第1の追尾対象候補の座標値と、第2の追尾対象候補の座標値との差分を算出し、差分の絶対値が閾値以上か否かを判定する。差分の絶対値が閾値未満の場合には、ステップS7が否定判定されてステップS8へ進む。ステップS8においては、選択部196は、ステップS5にて検出された第1の追尾対象候補の座標値を追尾対象被写体の座標値として選択して後述するステップS11へ進む。
In step S7, the
差分の絶対値が閾値以上の場合には、ステップS7が肯定判定されてステップS9へ進む。ステップS8においては、更新部197は、追尾次画像を用いて生成された第1ブロック画像のうち、ステップS6にて検出された第2の追尾対象候補の座標値に対応する座標値を基準として、新たなテンプレート画像Tpとして生成してステップS10へ進む。ステップS10においては、選択部196は、ステップS6にて検出された第2の追尾対象候補の座標値に対応する座標値を追尾対象被写体の座標値として選択してステップS11へ進む。
If the absolute value of the difference is greater than or equal to the threshold value, an affirmative determination is made in step S7 and the process proceeds to step S9. In step S8, the
ステップS11においては、焦点検出演算部19fは、選択部196により選択された座標値に最も近い焦点検出エリア45a〜45gで検出されたデフォーカス量に基づいて撮影レンズ8の焦点調節を行ってステップS12へ進む。ステップS12においては、ボディ駆動制御装置19は、ユーザによりレリーズ半押し操作が継続されているか否かを判定する。ユーザによるレリーズボタンの半押し操作に応じて操作部材20から操作信号が入力されている場合には、ステップS12が肯定判定されてステップS4へ戻る。ユーザによるレリーズボタンの半押し操作に応じて操作部材20から操作信号が入力されていない場合には、ステップS12が否定判定されて処理を終了する。
In step S11, the focus
以上で説明した実施の形態によるカメラによれば、以下の作用効果が得られる。
(1)第2撮像素子16は、撮影レンズ8結像される像を繰り返し撮像して、被写界画像信号を生成して出力する。生成部191は、被写界画像に含まれる追尾対象の画像の特徴を示すテンプレート画像Tpを生成する。抽出部192は、被写界画像のうち類似する色情報や輝度情報を有する類似領域Reを抽出する。第1検出部193は、テンプレートマッチング処理により新たな被写界画像とテンプレート画像Tpとの相関関係を演算して、新たな被写界画像での第1の追尾対象候補の位置とを検出する。第2検出部194は、新たな被写界画像から、抽出部192により抽出された類似領域Reと相関度が高い領域を、第2の追尾対象候補の位置として検出する。判定部195は、第1検出部193により検出された第1の追尾対象候補の位置と、第2検出部194により検出された第2の追尾対象候補の位置とに基づいて、第1の追尾対象候補と第2の追尾対象候補とが同一の追尾対象被写体であるか否かを判定する。選択部196は、判定部195による判定結果に基づいて、第1の追尾対象候補の位置と、第2の追尾対象候補の位置との一方を、追尾対象被写体の位置として選択する。具体的には、判定部195は、第1の追尾対象候補の位置と第2の追尾対象候補の位置とが所定距離以上乖離している場合に、第1の追尾対象候補と第2の追尾対象候補とが異なると判定するようにした。そして、更新部197は、第1の追尾対象候補と第2の追尾対象候補とが異なると判定された場合には、第2検出部194により検出された第2の追尾対象候補の位置を基準として、新たなテンプレート画像Tpを生成するようにした。
According to the camera according to the embodiment described above, the following operational effects can be obtained.
(1) The
図5(a)に示すように、追尾初期画像で指定された追尾対象被写体が遠方に存在するために、テンプレート画像Tpには背景の画像情報が多く含まれることになる。このため、追尾対象被写体がカメラ1に向かって移動している場合、追尾次画像の第1ブロック画像に対してテンプレート画像Tpを用いてテンプレートマッチング処理を行うと、第1検出部193は、図6(a)に示す様に、背景の画像情報の影響を強く受けて所望の追尾対象被写体とは異なる被写体を第1の追尾対象候補として検出してしまう。これに対して、第2検出部194は、追尾次画像の第2ブロック画像に対して類似領域Reを用いることにより、図6(b)に示すように、所望の追尾対象被写体を第2の追尾対象候補として検出できる。この結果、図6(c)に示すように、第2検出部194により検出された第2の追尾対象候補の座標値を基準として、更新部197が新たなテンプレート画像Tpを生成することによりテンプレート画像Tpを追尾対象被写体の移動に応じて更新できる。換言すると、処理を繰り返すごとに、図6(d)に示すように、テンプレート画像Tpに含まれる背景の画像情報の量が減少するので、テンプレート画像Tpの更新精度の低下を防止できる。したがって、追尾体対象被写体がカメラ1に遠方から接近してくる場合であっても、テンプレート画像Tpを用いたテンプレートマッチング処理による追尾対象被写体の検出精度を向上させることができる。
As shown in FIG. 5A, since the tracking target subject specified in the initial tracking image exists in the distance, the template image Tp includes a lot of background image information. For this reason, when the tracking target subject is moving toward the camera 1, if the template matching process is performed on the first block image of the tracking next image using the template image Tp, the
(2)生成部191は、被写界画像を所定個数(8×8個)の範囲に含まれる画素をブロック化して1つの第1ブロック画素41を生成し、第1ブロック化画像情報を用いてテンプレート画像Tpを生成する。抽出部192は、被写界画像を、第1ブロック画素41よりも狭い4×4個の範囲に含まれる画素をブロック化して第2ブロック画素42を生成し、第2ブロック画素42の第2ブロック化画像情報を用いて類似領域Reを抽出するようにした。したがって、第1ブロック画像に比べて、第2ブロック画像の方が被写界画像を細かく分割しているので、追尾対象被写体が小さい場合であっても、第2検出部194は第2の追尾対象候補を精度よく検出できる。
(2) The
以上で説明した実施の形態のカメラを、以下のように変形できる。
(1)第2検出部194は、追尾次画像が取得されるごとに第2の追尾対象候補を検出しなくてもよい。すなわち、たとえば連写モード等が設定されている場合のようにボディ駆動制御装置19の演算負荷が高いときには、第2検出部194による第2の追尾対象候補の検出を禁止させる。この場合、図8に示すように、追尾制御部19hは、禁止部198をさらに機能的に備える。そして、ユーザにより撮影モード選択スイッチが操作され、たとえば連写モードが設定されると、禁止部198は第2検出部194による処理を禁止させればよい。このとき、第1検出部193によるテンプレートマッチング処理により検出された第1の追尾対象候補の位置が、選択部196によって追尾対象被写体の位置として選択される。
The camera of the embodiment described above can be modified as follows.
(1) The
さらに加えて、所定の回数(たとえば2回)第1検出部193が第1の追尾対象候補の位置を検出すると、第2検出部194が第2の追尾対象候補の検出をしてもよい。この場合、第1検出部193が順次取得された被写界画像を用いて第1の追尾対象候補の検出を2回行うと、禁止部198は、第2検出部194に対する処理の禁止を一時的に解除する。そして、第2検出部194は、類似領域Reを用いて第2の追尾対象候補の検出を行う。第2検出部194による処理が終了すると、禁止部198は、再び第2検出部194による処理を禁止させる。以後、実施の形態の場合と同様にして、判定部195、選択部196および更新部197の処理が行われる。この結果、実施の形態により得られる作用効果に加えて、演算負荷が高い第2ブロック画像の生成処理の回数が減るので、ボディ駆動制御装置19の演算負荷を低減し、処理時間を短縮できる。
In addition, when the
(2)更新部197は、テンプレート画像Tpを更新する際に、大きさを変更してもよい。第2検出部194が、図9(a)に示すように第2の追尾対象候補を検出し、かつ、判定部195により差分の絶対値が閾値以上の場合と判定された場合、更新部197は、第2の追尾対象候補のサイズが、テンプレート画像Tpのサイズ(3×3個の第1ブロック画素41)よりも大きいか否かを判定する。そして、第2の追尾対象候補のサイズの方が大きい場合に、更新部197は、第2の追尾対象候補のサイズを包含するサイズとなるように新たなテンプレート画像Tpを生成する。その結果、図9(b)に示すように、元のテンプレート画像Tpのサイズ(3×3個の第1ブロック画素41)よりも大きい3×4個の第1ブロック画素41により構成されるテンプレート画像Tpが更新部197によって新たに生成される。したがって、追尾体対象被写体がカメラ1に遠方から接近してくる場合に、テンプレート画像Tpを用いたテンプレートマッチング処理による追尾対象被写体の検出精度を向上させることができる。
(2) The updating
(3)第2撮像素子16から出力された被写界画像信号に基づいて追尾制御部19hが画像追尾処理を行うものに代えて、第1撮像素子4から出力された画像信号を用いてもよい。この場合、クイックリターンミラー5に代えてハーフミラーを設けることにより、レリーズボタンが半押し操作されている間であっても、被写体からの光束が第1撮像素子4に導かれるように構成されていればよい。または、測距素子10が第1撮像素子4の受光面上に配列された構成としてもよい。
(3) The image signal output from the
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。 In addition, the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included. The embodiments and modifications used in the description may be configured by appropriately combining them.
1 撮像装置、 4 第1撮像素子、
16 第2撮像素子、 19 ボディ駆動制御装置、
19h 追尾制御部、 191 生成部、
192 抽出部、 193 第1検出部、
194 第2検出部、 195 判定部、
196 選択部、 197 更新部、
198 禁止部
1 imaging device, 4 first imaging device,
16 second image sensor, 19 body drive control device,
19h Tracking control unit, 191 generation unit,
192 extraction unit, 193 first detection unit,
194 second detection unit, 195 determination unit,
196 selector, 197 updater,
198 Prohibited Section
Claims (6)
前記被写界画像に含まれる追尾対象の画像の特徴を示す基準情報を生成する生成手段と、
前記被写界画像のうち画像情報が類似する類似領域を抽出する抽出手段と、
前記撮像手段により取得された新たな被写界画像と前記基準情報との相関関係を演算して、前記新たな被写界画像での第1追尾対象候補の位置を検出する第1検出手段と、
前記新たな被写界画像から、前記抽出手段により抽出された前記類似領域と相関度が高い領域を、第2追尾対象候補の位置として検出する第2検出手段と、
前記第1検出手段により検出された前記第1追尾対象候補の位置と、前記第2検出手段により検出された前記第2追尾対象候補の位置とに基づいて、前記第1追尾対象候補と前記第2追尾対象候補とが同一の前記追尾対象であるか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記第1追尾対象候補の位置と、前記第2追尾対象候補の位置との一方を、前記追尾対象の位置として選択する選択手段と、
前記判定手段によって前記第1追尾対象候補と前記第2追尾対象候補とが異なると判定された場合には、前記第2追尾対象候補の位置を基準として、新たな基準情報を生成する更新手段とを有することを特徴とする画像追尾装置。 An imaging unit that repeatedly captures an image formed by the imaging optical system and generates an object scene image;
Generating means for generating reference information indicating characteristics of a tracking target image included in the scene image;
Extracting means for extracting a similar region having similar image information from the scene image;
First detection means for calculating a correlation between the new scene image acquired by the imaging means and the reference information, and detecting a position of the first tracking target candidate in the new scene image; ,
Second detection means for detecting, from the new scene image, an area having a high degree of correlation with the similar area extracted by the extraction means, as a position of a second tracking target candidate;
Based on the position of the first tracking target candidate detected by the first detection means and the position of the second tracking target candidate detected by the second detection means, the first tracking target candidate and the first tracking target candidate Determination means for determining whether or not two tracking target candidates are the same tracking target;
Selection means for selecting one of the position of the first tracking target candidate and the position of the second tracking target candidate as the position of the tracking target based on the determination result by the determination means;
An update unit that generates new reference information based on the position of the second tracking target candidate when the determination unit determines that the first tracking target candidate is different from the second tracking target candidate; An image tracking apparatus comprising:
前記判定手段は、前記第1追尾対象候補の位置と前記第2追尾対象候補の位置とが所定距離以上離れている場合に、前記第1追尾対象候補と前記第2追尾対象候補とが異なると判定することを特徴とする画像追尾装置。 The image tracking device according to claim 1,
When the position of the first tracking target candidate and the position of the second tracking target candidate are separated from each other by a predetermined distance or more, the determination unit determines that the first tracking target candidate and the second tracking target candidate are different. An image tracking device characterized by determining.
前記第2検出手段に対して前記第2追尾対象候補の位置の検出を禁止させる禁止手段をさらに備え、
前記選択手段は、前記禁止手段により前記第2検出手段に対する前記第2追尾対象候補の位置の検出が禁止されている場合には、前記第1検出手段により検出された前記第1追尾対象候補の位置を前記追尾対象の位置として選択することを特徴とする画像追尾装置。 The image tracking device according to claim 1 or 2,
And further comprising prohibiting means for prohibiting detection of the position of the second tracking target candidate with respect to the second detecting means,
When the prohibiting unit prohibits the detection of the position of the second tracking target candidate with respect to the second detecting unit, the selecting unit selects the first tracking target candidate detected by the first detecting unit. An image tracking apparatus, wherein a position is selected as the position of the tracking target.
前記禁止手段は、前記第1検出手段が前記第1追尾対象候補の位置を所定の回数検出するごとに、前記第2検出手段に対する前記第2追尾対象候補の位置の検出を一時的に解除することを特徴とする画像追尾装置。 The image tracking device according to claim 3,
The prohibiting means temporarily cancels the detection of the position of the second tracking target candidate with respect to the second detecting means every time the first detecting means detects the position of the first tracking target candidate a predetermined number of times. An image tracking device characterized by that.
前記生成手段は、前記被写界画像を所定の第1範囲ごとにブロック化した画像情報を用いて前記基準情報を生成し、
前記抽出手段は、前記被写界画像を、前記第1範囲よりも狭い第2範囲ごとにブロック化した画像情報を用いて前記類似領域を抽出することを特徴とする画像追尾装置。 In the image tracking device according to any one of claims 1 to 4,
The generation means generates the reference information using image information obtained by blocking the scene image for each predetermined first range,
The image tracking device, wherein the extraction unit extracts the similar region by using image information obtained by blocking the object scene image for each second range narrower than the first range.
前記更新手段は、前記基準情報の範囲よりも広い範囲を前記新たな基準情報として生成することを特徴とする画像追尾装置。
The image tracking device according to any one of claims 1 to 5,
The image tracking apparatus according to claim 1, wherein the updating unit generates a range wider than the range of the reference information as the new reference information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011087285A JP2012221289A (en) | 2011-04-11 | 2011-04-11 | Image tracking device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011087285A JP2012221289A (en) | 2011-04-11 | 2011-04-11 | Image tracking device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012221289A true JP2012221289A (en) | 2012-11-12 |
Family
ID=47272699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011087285A Withdrawn JP2012221289A (en) | 2011-04-11 | 2011-04-11 | Image tracking device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012221289A (en) |
-
2011
- 2011-04-11 JP JP2011087285A patent/JP2012221289A/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5176483B2 (en) | Image recognition device, image tracking device, and imaging device | |
JP4872834B2 (en) | Image recognition device, focus adjustment device, and imaging device | |
JP5157256B2 (en) | Image tracking device and imaging device | |
JP5167750B2 (en) | TRACKING DEVICE, IMAGING DEVICE, AND TRACKING METHOD | |
JP5247076B2 (en) | Image tracking device, focus adjustment device, and imaging device | |
JP4720673B2 (en) | Subject tracking device and camera | |
JP2009015117A (en) | Focusing device and image pickup apparatus | |
JP2009109839A (en) | Image tracking device and imaging device | |
JP5056136B2 (en) | Image tracking device | |
JP4888249B2 (en) | Focus detection apparatus and imaging apparatus | |
JP2012208507A (en) | Image tracking device | |
JP4985155B2 (en) | Focus adjustment device and imaging device | |
JP2010200138A (en) | Photographic subject tracking device | |
JP5233646B2 (en) | Image tracking device, imaging device, and image tracking method | |
JP2010054586A (en) | Focusing device and imaging apparatus | |
JP5541396B2 (en) | Image tracking device | |
JP5447579B2 (en) | Tracking device, focus adjustment device, and photographing device | |
JP5176845B2 (en) | Image tracking device and imaging device | |
JP5966249B2 (en) | Image tracking device | |
JP2012221289A (en) | Image tracking device | |
JP2012093775A (en) | Focus detector and imaging apparatus | |
JP5772933B2 (en) | Imaging device | |
JP5347834B2 (en) | Image tracking device | |
JP2018063439A (en) | Focus adjustment device and imaging device | |
JP2016028298A (en) | Focus adjustment device and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |