JP2012221289A - Image tracking device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To maintain the updating accuracy of a template accompanied by the erroneous detection of a background even when a tracking object in a template is small.SOLUTION: An image tracking device includes: image pickup means for generating a field image; generation means for generating reference information showing the characteristics of a tracking object; extraction means for extracting a similar area in which image information is similar in the field image; first detection means for detecting the position of a first tracking object candidate from a new field image on the basis of the reference information; second detection means for detecting the position of a second tracking object candidate from the new field image on the basis of the similar area; determination means for determining whether or not the first and second tracking object candidates are an identical tracking object on the basis of the positions of the first and second tracking object candidates; selection means for selecting either the position of the first tracking object candidate or the position of the second tracking object candidate as the position of the tracking object on the basis of the result of determination; and updating means for, when the first and second tracking object candidates are different, generating new reference information by using the position of the second tracking object candidate as a reference.

Description

本発明は、画像追尾装置に関する。   The present invention relates to an image tracking device.

従来から、１つの移動物体に対して作成した複数のテンプレートを用いて視野内を移動する移動物体を追跡し、移動物体とのマッチングが高いテンプレートを最新のテンプレートとして更新する装置が知られている（たとえば特許文献１）。   Conventionally, a device that tracks a moving object that moves within a field of view using a plurality of templates created for one moving object, and updates a template that has a high matching with the moving object as the latest template is known. (For example, patent document 1).

特開２００８−２５０７７２号公報JP 2008-250772 A

しかしながら、テンプレートに含まれる追尾対象が小さい場合には、テンプレート内の背景の情報に起因して異なる被写体を追尾対象として誤検出することにより、テンプレートの更新精度が低下するという問題がある。   However, when the tracking target included in the template is small, there is a problem that the update accuracy of the template is lowered by erroneously detecting a different subject as the tracking target due to background information in the template.

請求項１の発明による画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、被写界画像に含まれる追尾対象の画像の特徴を示す基準情報を生成する生成手段と、被写界画像のうち画像情報が類似する類似領域を抽出する抽出手段と、撮像手段により取得された新たな被写界画像と基準情報との相関関係を演算して、新たな被写界画像での第１追尾対象候補の位置を検出する第１検出手段と、新たな被写界画像から、抽出手段により抽出された類似領域と相関度が高い領域を、第２追尾対象候補の位置として検出する第２検出手段と、第１検出手段により検出された第１追尾対象候補の位置と、第２検出手段により検出された第２追尾対象候補の位置とに基づいて、第１追尾対象候補と第２追尾対象候補とが同一の追尾対象であるか否かを判定する判定手段と、判定手段による判定結果に基づいて、第１追尾対象候補の位置と、第２追尾対象候補の位置との一方を、追尾対象の位置として選択する選択手段と、判定手段によって第１追尾対象候補と第２追尾対象候補とが異なると判定された場合には、第２追尾対象候補の位置を基準として、新たな基準情報を生成する更新手段とを有することを特徴とする。   An image tracking device according to a first aspect of the present invention is an image tracking device that repeatedly captures an image formed by an imaging optical system to generate a field image, and a tracking target image included in the field image. A correlation between a generation unit that generates reference information indicating features, an extraction unit that extracts similar regions having similar image information from the scene image, and a new scene image acquired by the imaging unit and the reference information The first detection means for calculating the relationship to detect the position of the first tracking target candidate in the new object scene image, and the similar area extracted by the extraction means from the new object image and the degree of correlation. Second detection means for detecting the high region as the position of the second tracking target candidate, the position of the first tracking target candidate detected by the first detection means, and the second tracking target candidate detected by the second detection means Based on the position of the first tracking target candidate and the second A determination unit that determines whether or not the tail target candidate is the same tracking target, and one of the position of the first tracking target candidate and the position of the second tracking target candidate based on the determination result by the determination unit If the first tracking target candidate and the second tracking target candidate are determined to be different from each other by the selection unit that selects the tracking target position and the determination unit, a new tracking unit position is selected based on the position of the second tracking target candidate. Update means for generating reference information.

本発明によれば、第１追尾対象候補と第２追尾対象候補とが異なる場合には、第２追尾対象候補の位置を基準として、新たな基準情報を生成することができる。   According to the present invention, when the first tracking target candidate and the second tracking target candidate are different, new reference information can be generated based on the position of the second tracking target candidate.

実施の形態の画像追尾装置を備えた撮像装置の構成を示す横断面図Cross-sectional view showing a configuration of an imaging apparatus provided with the image tracking apparatus of the embodiment 実施の形態の画像追尾装置を備えた撮像装置の構成を示すブロック図1 is a block diagram illustrating a configuration of an imaging apparatus including an image tracking apparatus according to an embodiment 実施の形態の追尾制御部が備える機能を示すブロック図The block diagram which shows the function with which the tracking control part of embodiment is equipped 被写界画像および焦点検出エリアの配置を説明するための図The figure for demonstrating arrangement | positioning of a scene image and a focus detection area テンプレート画像生成処理および類似領域生成処理を説明するための図The figure for demonstrating a template image generation process and a similar area | region production | generation process 実施の形態の画像追尾処理を説明する図The figure explaining the image tracking process of embodiment 実施の形態における撮像装置による画像追尾処理を説明するフローチャートFlowchart for explaining image tracking processing by imaging device according to embodiment 変形例における追尾制御部が備える機能を示すブロック図The block diagram which shows the function with which the tracking control part in a modification is provided 変形例におけるテンプレート画像の更新処理を説明する図The figure explaining the update process of the template image in a modification

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら追尾対象を追尾する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。   The focus adjustment state of the photographic lens (in this embodiment, the defocus amount) is detected in a plurality of focus detection areas set in the photographic screen, and the photographic lens is focused based on the defocus amount in one of the areas. The automatic focus adjustment (AF) function to be driven and the image of the subject to be tracked in the photographed image are stored as a template image (reference image). An image pickup apparatus having an image tracking function for tracking a subject to be tracked while searching for a position (template matching), and an image tracking device for tracking the tracking target while driving a photographing lens with the AF function and the image tracking function ( An embodiment of a single lens reflex digital still camera) will be described.

図１は、一実施の形態の画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では画像追尾機能とは直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１では、撮影レンズ８、絞り２１等を有する交換レンズ３がカメラ本体２に着脱可能に装着される。カメラ本体２には被写界像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。   FIG. 1 shows a configuration of an imaging apparatus (single-lens reflex digital still camera) 1 including an image tracking apparatus according to an embodiment. In FIG. 1, illustration and description of camera devices and circuits that are not directly related to the image tracking function are omitted. In the camera 1 according to the embodiment, an interchangeable lens 3 having a photographing lens 8 and a diaphragm 21 is detachably attached to the camera body 2. The camera body 2 is provided with a first image sensor 4 for capturing an object scene image and recording the image. The first image sensor 4 can be constituted by a CCD, a CMOS, or the like. At the time of photographing, the quick return mirror 5 and the sub mirror 6 are retracted to a position outside the photographing optical path indicated by a solid line, the shutter 7 is opened, and a subject image is formed on the light receiving surface of the first image sensor 4 by the photographing lens 8.

カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。   At the bottom of the camera body 2, a focus detection optical system 9 and a distance measuring element 10 for detecting the focus adjustment state of the photographing lens 8 are provided. In this embodiment, an example is shown in which a focus detection method based on a pupil division type phase difference detection method is employed. The focus detection optical system 9 guides the pair of focus detection light fluxes that have passed through the photographing lens 8 to the light receiving surface of the distance measuring element 10 and forms a pair of optical images. The distance measuring element 10 includes, for example, a pair of CCD line sensors, and outputs a focus detection signal corresponding to the pair of optical images. Before shooting, the quick return mirror 5 and the sub mirror 6 are set at positions in the shooting optical path as indicated by broken lines, and the pair of focus detection light beams from the shooting lens 8 are transmitted through the half mirror portion of the quick return mirror 5. Then, the light is reflected by the sub mirror 6 and guided to the focus detection optical system 9 and the distance measuring element 10.

カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光の一部はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写界像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写界像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写界像はペンタダハプリズム１３および接眼レンズ１４を介して、撮影者が被写界像を視認することができる。   A finder optical system is provided on the upper part of the camera body 2. Before shooting, the quick return mirror 5 and the sub mirror 6 are in the positions indicated by broken lines, and part of the subject light from the shooting lens 8 is reflected by the quick return mirror 5 and guided to the focusing screen 11, and on the focusing screen 11. A subject image is formed. The liquid crystal display element 12 superimposes and displays information such as a focus detection area mark on the object scene image formed on the focusing screen 11 and displays various shooting information such as an exposure value at a position outside the object scene image. indicate. The photographer can visually recognize the object scene image on the focusing screen 11 through the penta roof prism 13 and the eyepiece 14.

また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写界像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写界像は、ペンタダハプリズム１３および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。   The finder optical system at the top of the camera body 2 is provided with a second image sensor 16 that captures an object scene image for subject tracking and photometry. The object scene image formed on the focusing screen 11 is re-imaged on the light receiving surface of the second image sensor 16 via the penta roof prism 13 and the imaging lens 18.

第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）４０（たとえば、横６４０個×縦４８０個の画素）を備えている。さらに、各画素にはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素ごとに被写界画像のＲＧＢ信号（被写界画像信号）を後述するボディ駆動制御装置１９（図２）に出力することができる。詳細を後述するが、この第２撮像素子１６により撮像された被写界画像信号に基づいて、ボディ駆動制御装置１９によって追尾制御と露出演算とが行われる。なお、ボディ駆動制御装置１９は、追尾制御と露出演算は第１撮像素子４による撮像により出力された被写界画像信号に基づいて行うこととしてもよい。   The second image sensor 16 includes a plurality of pixels (photoelectric conversion elements) 40 (for example, 640 pixels wide × 480 pixels vertically) arranged in a matrix. Further, each pixel is provided with a primary color filter of red R, green G, and blue B. Thereby, the RGB signal (field image signal) of the object scene image can be output for each pixel to the body drive control device 19 (FIG. 2) described later. Although details will be described later, tracking control and exposure calculation are performed by the body drive control device 19 based on the object scene image signal imaged by the second image sensor 16. The body drive control device 19 may perform the tracking control and the exposure calculation based on the object scene image signal output by the imaging by the first image sensor 4.

カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、レリーズボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。   The camera body 2 is also provided with a body drive control device 19 and an operation member 20. The body drive control device 19 is constituted by peripheral components such as a microcomputer, a memory, and an A / D converter, the details of which will be described later, and performs various controls and calculations of the camera 1. The operation member 20 includes a switch and a selector for operating the camera 1, such as a release button, a focus detection area selection switch, and a shooting mode selection switch.

交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で代表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などのレンズ情報が記憶されている。   The interchangeable lens 3 is provided with a zooming lens 8a, a focusing lens 8b, a diaphragm 21, a lens drive control device 22, and the like. In this embodiment, the photographing lens 8 is representatively represented by a zooming lens 8a, a focusing lens 8b, and a diaphragm 21, but the configuration of the photographing lens 8 is not limited to the configuration shown in FIG. The lens drive control device 22 includes a microcomputer (not shown) and peripheral components such as a memory, a drive circuit, and an actuator, and performs drive control of the lenses 8a and 8b and the diaphragm 21 and detection of their positions. Lens information such as a focal length and an open aperture value of the interchangeable lens 3 is stored in a memory built in the lens drive control device 22.

ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行う。この通信によって、ボディ駆動制御装置１９はレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２はボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。   The body drive control device 19 and the lens drive control device 22 communicate via the contact 23 of the lens mount unit. Through this communication, the body drive control device 19 transmits information such as a lens drive amount and an aperture value to the lens drive control device 22, and the lens drive control device 22 transmits lens information and aperture information to the body drive control device 19.

図２はボディ駆動制御装置１９の詳細な構成を示す。なお、画像追尾機能とは直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５により反射され、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれる。レリーズボタンが半押しされている間、第２撮像素子１６により繰り返し周期的に被写界画像を撮像することができる。   FIG. 2 shows a detailed configuration of the body drive control device 19. Note that illustration and description of control functions not directly related to the image tracking function are omitted. The body drive control device 19 includes an element control circuit 19a, an A / D converter 19b, a microcomputer 19c, a memory 19d, and the like. The element control circuit 19 a controls charge accumulation and reading of the second image sensor 16. The A / D converter 19b converts the analog image signal output from the second image sensor 16 into a digital image signal. When the release button of the operation member 20 is half-pressed by the photographer, a half-press switch (not shown) is turned on, and as shown in FIG. 1, part of the subject light that has passed through the photographing lens 8 is a quick return indicated by a broken line. The light is reflected by the mirror 5 and guided to the second image sensor 16 via the penta roof prism 13, the prism 17 and the imaging lens 18. While the release button is half-pressed, the second imaging element 16 can repeatedly and periodically capture the field image.

マイクロコンピューター１９ｃは、ソフトウエア形態により露出制御部１９ｅ、焦点検出演算部１９ｆ、レンズ駆動量演算部１９ｇおよび追尾制御部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報などを記憶する。   The microcomputer 19c constitutes an exposure control unit 19e, a focus detection calculation unit 19f, a lens drive amount calculation unit 19g, and a tracking control unit 19h according to a software form. The memory 19d stores information such as a template image for image tracking and defocus amount, lens information such as focal length, open F value, aperture value, and image shift amount to defocus amount conversion coefficient of the taking lens 8. To do.

露出演算部１９ｅは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。焦点検出演算部１９ｆは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｆは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５のハーフミラー部を通ってサブミラー６および焦点検出光学系９を介して測距素子１０へ導かれ、焦点検出演算部１９ｆにより焦点検出演算が行われる。レンズ駆動量演算部１９ｇは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、レリーズボタンが半押しされている間、繰り返し周期的に行われる。   The exposure calculation unit 19e calculates an exposure value based on the image signal captured by the second image sensor 16. The focus detection calculation unit 19f detects the focus adjustment state of the photographing lens 8, here the defocus amount, based on the focus detection signal corresponding to the pair of optical images output from the distance measuring element 10. Although details will be described later, a plurality of focus detection areas are set in the shooting screen of the shooting lens 8, and the distance measuring element 10 outputs a focus detection signal corresponding to a pair of optical images for each focus detection area. The focus detection calculation unit 19f detects the defocus amount based on the focus detection signal corresponding to the pair of optical images for each focus detection area. When the release button of the operation member 20 is half-pressed by the photographer, a half-press switch (not shown) is turned on, and as shown in FIG. 1, part of the subject light that has passed through the photographing lens 8 is a quick return indicated by a broken line. The light is guided to the distance measuring element 10 through the sub mirror 6 and the focus detection optical system 9 through the half mirror part of the mirror 5, and the focus detection calculation part 19f performs the focus detection calculation. The lens driving amount calculation unit 19g converts the detected defocus amount into a lens driving amount. The focus adjustment state is repeatedly and periodically detected while the release button is pressed halfway.

追尾制御部１９ｈは、画像追尾動作（処理）を行う。すなわち、追尾制御部１９ｈは、第２撮像素子１６により撮像した被写界像の内、撮影者が手動で指定した追尾対象とする被写体（以後、追尾対象被写体と呼ぶ）の位置、あるいはカメラ１が自動で設定した追尾対象被写体の位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させる。そして、追尾制御部１９ｈは、撮影周期ごとに第２撮像素子１６により繰り返し撮影される被写界画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。   The tracking control unit 19h performs an image tracking operation (processing). That is, the tracking control unit 19h includes a position of a subject to be tracked manually designated by the photographer (hereinafter referred to as a tracking target subject) in the object scene image captured by the second image sensor 16, or the camera 1 Is stored in the memory 19d as a template image (reference image) corresponding to the position of the tracking target subject set automatically. Then, the tracking control unit 19h recognizes the position of the target by searching for an image area that matches or is similar to the template image from the object scene images repeatedly photographed by the second image sensor 16 for each photographing period.

図３に示すように、追尾制御部１９ｈは、画像追尾処理を行うために、生成部１９１、抽出部１９２、第１検出部１９３、第２検出部１９４、判定部１９５、選択部１９６および更新部１９７を機能的に備える。生成部１９１は、第２撮像素子１６から出力された被写界画像信号を用いて第１ブロック画像を生成し、第１ブロック画像内の画像情報に基づいてテンプレート画像を生成してメモリ１９ｄに記憶させる。抽出部１９２は、第２撮像素子１６から出力された被写界画像信号を用いて第２ブロック画像を生成し、第２ブロック画像内の画像情報に基づいて、類似する色に関連する情報を有する領域（類似領域）を抽出する。第１検出部１９３は、撮影周期ごとに繰り返し撮影される被写界画像とテンプレート画像との間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を追尾対象とする被写体追尾対象被写体の候補（追尾対象候補）の位置として検出する。第２検出部１９４は、撮影周期ごとに繰り返し撮影される被写界画像と類似領域との間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を追尾対象候補の位置として検出する。   As illustrated in FIG. 3, the tracking control unit 19h performs a image tracking process by using a generation unit 191, an extraction unit 192, a first detection unit 193, a second detection unit 194, a determination unit 195, a selection unit 196, and an update. The unit 197 is functionally provided. The generation unit 191 generates a first block image using the object scene image signal output from the second image sensor 16, generates a template image based on the image information in the first block image, and stores it in the memory 19d. Remember. The extraction unit 192 generates a second block image using the object scene image signal output from the second image sensor 16, and based on the image information in the second block image, information related to similar colors is generated. The area (similar area) that is included is extracted. The first detection unit 193 calculates a correlation between the object scene image and the template image that are repeatedly photographed at each photographing period, and subjects an area with a high degree of correlation included in the object scene image as a tracking target. It is detected as the position of a tracking target subject candidate (tracking target candidate). The second detection unit 194 calculates a correlation between the scene image captured repeatedly every imaging cycle and the similar region, and selects a region with a high degree of correlation included in the scene image as the position of the tracking target candidate. Detect as.

判定部１９５は、第１検出部１９３により検出された追尾対象候補の位置と、第２検出部１９４により検出された追尾対象候補の位置とが所定量よりも乖離しているか否かを判定する。選択部１９６は、判定部１９５による判定結果に応じて、第１検出部１９３により検出された追尾対象候補の位置と、第２検出部１９４により検出された追尾対象候補の位置との一方を追尾対象被写体の位置として選択する。更新部１９７は、判定部１９５により所定量よりも乖離していると判定された場合には、第２検出部１９４により検出された追尾対象候補の位置に対応する第１ブロック画像の位置を基準として、新たなテンプレート画像を生成する。なお、生成部１９１、抽出部１９２、第１検出部１９３、第２検出部１９４、判定部１９５、選択部１９６および更新部１９７による処理の詳細については、説明を後述する。   The determination unit 195 determines whether the position of the tracking target candidate detected by the first detection unit 193 and the position of the tracking target candidate detected by the second detection unit 194 are different from each other by a predetermined amount. . The selection unit 196 tracks one of the position of the tracking target candidate detected by the first detection unit 193 and the position of the tracking target candidate detected by the second detection unit 194 according to the determination result by the determination unit 195. Select the target subject position. When the determination unit 195 determines that the update unit 197 deviates from a predetermined amount, the update unit 197 uses the position of the first block image corresponding to the position of the tracking target candidate detected by the second detection unit 194 as a reference. A new template image is generated. The details of the processing by the generation unit 191, the extraction unit 192, the first detection unit 193, the second detection unit 194, the determination unit 195, the selection unit 196, and the update unit 197 will be described later.

次に、本実施の形態のカメラ１の被写体追尾処理を説明する。
ボディ駆動制御装置１９は、第２撮像素子１６により撮像した被写体画像のうち、ユーザが手動で追尾対象被写体を指定するか、あるいはカメラが自動で追尾対象被写体を設定した後、操作部材２０のレリーズボタンを半押しすると、被写体追尾処理を開始する。レリーズボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光の一部は焦点板１１上に結像される。そして、焦点板１１上の被写界像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写界画像信号が繰り返し出力される。 Next, the subject tracking process of the camera 1 of the present embodiment will be described.
The body drive control device 19 releases the operation member 20 after the user manually specifies the tracking target subject among the subject images captured by the second image sensor 16 or the camera automatically sets the tracking target subject. When the button is pressed halfway, the subject tracking process starts. The quick return mirror 5 is set in the photographing optical path shown by a broken line in FIG. 1 except when the release button is fully pressed to shoot, and part of the subject light incident from the photographing lens 8 is on the focusing screen 11. Is imaged. The object scene image on the focusing screen 11 is guided to the second image sensor 16 via the penta roof prism 13, the prism 17 and the imaging lens 18, and the object scene image signal is repeatedly output from the second image sensor 16. The

撮影レンズ８の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子１２は焦点板１１上の被写界像にエリアマークを重畳して、各焦点検出エリアの位置を表示する。この一実施の形態では、図４に示すように、撮影画面内の７カ所に焦点検出エリア４５ａ〜４５ｇが設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。   A plurality of focus detection areas are set on the shooting screen of the shooting lens 8, and the liquid crystal display element 12 superimposes area marks on the object scene image on the focusing screen 11 to display the position of each focus detection area. . In this embodiment, as shown in FIG. 4, an example is shown in which focus detection areas 45a to 45g are set at seven locations in the shooting screen. When an arbitrary area is selected by the focus detection area selection switch of the operation member 20, the mark of the area is lit up.

図４に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｃが選択され、この状態で操作部材２０のレリーズボタンが半押しされると、焦点検出エリア４５ｃが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対象被写体として初回ＡＦエリア内の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象被写体を手動で指定する例を示すが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。   As shown in FIG. 4, when the focus detection area 45c is selected by the focus detection area selection switch of the operation member 20, and the release button of the operation member 20 is pressed halfway in this state, the focus detection area 45c is stored as the first AF area. 19d. As a result, the subject in the first AF area is designated as the tracking target subject. In this example, the photographer selects the first AF area and manually designates the tracking target subject. For example, in a camera having a function of automatically recognizing the subject, the first AF area is based on the subject recognition result. In addition, a tracking target subject may be set.

素子制御回路１９ａは第２撮像素子１６に追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得させる。上述したように、第２撮像素子にはカラーフィルターが設けられているので、第２撮像素子１６により撮像された初期追尾画像の画像情報は、被写界画像信号として画素ごとにＲＧＢ値で表される。生成部１９１は、この被写界画像信号を用いて、生成部１９１はテンプレート画像を生成する。さらに、抽出部１９２はこの被写界画像信号を用いて類似領域を抽出する。以下、テンプレート画像生成処理と類似領域抽出処理とに分けて説明する。   The element control circuit 19a causes the second imaging element 16 to acquire a tracking initial image (an image acquired first after starting the image tracking process). As described above, since the second image sensor is provided with a color filter, the image information of the initial tracking image captured by the second image sensor 16 is expressed as an RGB value for each pixel as an object scene image signal. Is done. The generation unit 191 generates a template image using the object scene image signal. Further, the extraction unit 192 extracts a similar region using the object scene image signal. The following description will be divided into template image generation processing and similar region extraction processing.

−テンプレート画像生成処理−
生成部１９１は、第２撮像素子１６に含まれる画素のそれぞれの画像情報を、たとえば隣接する８×８個の画素の画像情報をまとめて１つのブロックとするブロック化を行って第１ブロック画像を生成する。この場合、生成部１９１は、隣接する８×８個の画像情報（すなわち色情報（ＲＧＢ値）、輝度情報等）を平均化あるいは合計することにより第１ブロック画像を生成する。その結果、図５（ａ）に示すように、被写界画像の６４０×４８０個の画素のそれぞれの画像情報は、８０×６０個のブロック４１の画像情報として表される。なお、以後の説明においては、上記のブロック化された１つのブロックを第１ブロック画素４１と呼び、各第１ブロック画素４１の画像情報を第１ブロック化画像情報と呼ぶ。 -Template image generation processing-
The generation unit 191 blocks each image information of the pixels included in the second image sensor 16 into, for example, the image information of adjacent 8 × 8 pixels as one block and performs the first block image. Is generated. In this case, the generation unit 191 generates a first block image by averaging or summing adjacent 8 × 8 pieces of image information (that is, color information (RGB values), luminance information, etc.). As a result, as shown in FIG. 5A, the image information of each of the 640 × 480 pixels of the object scene image is represented as image information of 80 × 60 blocks 41. In the following description, one block that has been made into a block is referred to as a first block pixel 41, and image information of each first block pixel 41 is referred to as first block image information.

生成部１９１は、第１ブロック画像を生成すると、追尾初期画像の中の撮影者が指定した位置（ここでは初回ＡＦエリアである焦点検出エリア４５ｃ）およびその近傍の第１ブロック化画像情報を用いてテンプレート画像Ｔｐを生成する。この場合、図５（ａ）に示すように、生成部１９１は、焦点検出エリア４５ｃに対応する位置の第１ブロック画素４１を中心（基準）として、たとえば３×３個の第１ブロック画素４１をテンプレート画像Ｔｐとする。そして、生成部１９１は、生成したテンプレート画像Ｔｐをメモリ１９ｄに記憶する。   When generating the first block image, the generation unit 191 uses the position designated by the photographer in the initial tracking image (here, the focus detection area 45c, which is the first AF area), and the first block image information in the vicinity thereof. A template image Tp is generated. In this case, as illustrated in FIG. 5A, the generation unit 191 has, for example, 3 × 3 first block pixels 41 with the first block pixel 41 at the position corresponding to the focus detection area 45c as the center (reference). Is a template image Tp. Then, the generation unit 191 stores the generated template image Tp in the memory 19d.

−類似領域抽出処理−
抽出部１９２は、第２撮像素子１６に含まれる画素のそれぞれの画像情報を、たとえば隣接する４×４個の画素の画像情報をまとめて１つのブロックとするブロック化を行って第２ブロック画像を生成する。この場合、抽出部１９２は、隣接する４×４個の画像情報（すなわち色情報（ＲＧＢ値）、輝度情報等）を平均化あるいは合計することにより第２ブロック画像を生成する。その結果、図５（ｂ）に示すように、被写界画像の６４０×４８０個の画素のそれぞれの画像情報は、１６０×１２０個のブロック４２の画像情報として表される。なお、以後の説明においては、上記のブロック化された１つのブロックを第２ブロック画素４２と呼び、各第２ブロック画素４２の画像情報を第２ブロック化画像情報と呼ぶ。 -Similar region extraction processing-
The extraction unit 192 blocks each image information of the pixels included in the second image sensor 16 into, for example, a group of image information of adjacent 4 × 4 pixels to form one block. Is generated. In this case, the extraction unit 192 generates a second block image by averaging or summing adjacent 4 × 4 pieces of image information (that is, color information (RGB values), luminance information, etc.). As a result, as shown in FIG. 5B, the image information of each of the 640 × 480 pixels of the object scene image is represented as image information of 160 × 120 blocks 42. In the following description, one block that has been made into a block is referred to as a second block pixel 42, and the image information of each second block pixel 42 is referred to as second block image information.

抽出部１９２は、後述する追尾対象候補の位置検出の精度を確保するために、１つの第２ブロック画素４２のサイズが小さい方が好ましい。しかし、第２ブロック画素４２のサイズが小さくなるほど、抽出部１９２が第２ブロック画像の生成に要する処理負荷が増加する。このため、第２ブロック画素４２のサイズは、追尾対象候補の位置検出の精度と処理負荷とを考慮に入れて決定されることが好ましい。また、第２ブロック画素４２のサイズが第１ブロック画素４１のサイズと同一であってもよい。   The extraction unit 192 preferably has a smaller size of one second block pixel 42 in order to ensure the accuracy of position detection of a tracking target candidate described later. However, as the size of the second block pixel 42 becomes smaller, the processing load required for the extraction unit 192 to generate the second block image increases. For this reason, the size of the second block pixel 42 is preferably determined in consideration of the accuracy of position detection of the tracking target candidate and the processing load. Further, the size of the second block pixel 42 may be the same as the size of the first block pixel 41.

抽出部１９２は、第２ブロック画像を生成すると、追尾初期画像の中の撮影者が指定した位置（初回ＡＦエリアである焦点検出エリア４５ｃ）およびその近傍の第２ブロック化画像情報を用いて類似領域Ｒｅを抽出する。この場合、抽出部１９２は、焦点検出エリア４５ｃに対応する第２ブロック画素４２の第２ブロック化画像情報と色情報や輝度情報が類似し、かつ連結している複数の第２ブロック画素４２をグループ化する。抽出部１９２は、たとえば、第２ブロック化画像情報の色情報や輝度情報として色相を所定の閾値で区分することにより、第２ブロック画像に対して公知の２値化処理を行う。そして、抽出部１９２は、２値化された第２ブロック画像内から白画素の纏まりと黒画素の纏まりとをラベリング領域として抽出する（ラベリング処理）。なお、グループ化に際して、第２ブロック化画像情報によって表される色情報や輝度情報に代えて、テクスチャーや周波数等の画像情報を用いてもよい。グループ化の結果、図５（ｂ）に示すように、抽出部１９２は、焦点検出エリア４５ｃに対応する位置の第２ブロック画素４２の近傍に隣接する第２ブロック画素４２を類似領域Ｒｅとして抽出する。そして、抽出部１９２は、抽出した類似領域Ｒｅをメモリ１９ｄに記憶する。   When the extraction unit 192 generates the second block image, the extraction unit 192 is similar using the position designated by the photographer in the initial tracking image (the focus detection area 45c that is the first AF area) and the second block image information in the vicinity thereof. The region Re is extracted. In this case, the extraction unit 192 includes a plurality of second block pixels 42 that are similar in color information and luminance information to the second block image information of the second block pixels 42 corresponding to the focus detection area 45c and are connected. Group. For example, the extraction unit 192 performs a known binarization process on the second block image by dividing the hue by a predetermined threshold as color information or luminance information of the second block image information. Then, the extraction unit 192 extracts a group of white pixels and a group of black pixels from the binarized second block image as a labeling region (labeling process). In the grouping, image information such as texture and frequency may be used instead of color information and luminance information represented by the second block image information. As a result of the grouping, as illustrated in FIG. 5B, the extraction unit 192 extracts the second block pixel 42 adjacent to the vicinity of the second block pixel 42 at the position corresponding to the focus detection area 45c as the similar region Re. To do. Then, the extraction unit 192 stores the extracted similar region Re in the memory 19d.

上述のようにテンプレート画像Ｔｐおよび類似領域Ｒｅがメモリ１９ｄに記憶されると、操作部材２０のシャッターボタンが全押しされるまでの間、素子制御回路１９ａは、所定の撮影周期ごとに第２撮像素子１６に対して追尾次画像を取得させる。第１検出部１９３は、追尾次画像とテンプレート画像Ｔｐとの間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を第１の追尾対象候補の位置として検出する（テンプレートマッチング）。第２検出部１９４は、追尾次画像と類似領域Ｒｅとの間で相関関係を演算し、被写界画像に含まれる相関度の高い領域を第２の追尾対象候補の位置として検出する。以下詳細に説明する。   When the template image Tp and the similar region Re are stored in the memory 19d as described above, the element control circuit 19a performs the second imaging every predetermined imaging cycle until the shutter button of the operation member 20 is fully pressed. The tracking next image is acquired by the element 16. The first detection unit 193 calculates a correlation between the following tracking image and the template image Tp, and detects a region having a high degree of correlation included in the object scene image as the position of the first tracking target candidate (template). matching). The second detection unit 194 calculates a correlation between the next tracking image and the similar region Re, and detects a region having a high degree of correlation included in the object scene image as the position of the second tracking target candidate. This will be described in detail below.

−第１の追尾対象候補の位置検出処理−
第１検出部１９３は、上述した生成部１９１と同様にして、追尾次画像の画像情報を用いて、第１ブロック画像を生成する。第１検出部１９３は、生成した第１ブロック画像からテンプレート画像Ｔｐと同じサイズの領域、すなわち３×３個の第１ブロック画素４１を順次切り出す。そして、第１検出部１９３は、切り出した画像とテンプレート画像Ｔｐとの間で、対応する第１ブロック画素４１ごとに、相関を演算、すなわち第１ブロック化画像情報の差分値を算出する。この場合、図６に示すように、第１検出部１９３は、例えば、追尾次画像の第１ブロック画像からテンプレート画像Ｔｐと同じサイズの領域を１個の第１ブロック画素４１ずつずらしながら画像（図６においては、５０ａ、５０ｂ、５０ｃ）を順次切り出す。そして、第１検出部１９３は、順次切り出した画像５０ａ、５０ｂ、５０ｃと、テンプレート画像Ｔｐとを順次比較して、それぞれの切り出し画像について差分値を算出する。 -First tracking target candidate position detection process-
The first detection unit 193 generates a first block image using the image information of the tracking next image in the same manner as the generation unit 191 described above. The first detection unit 193 sequentially cuts out a region having the same size as the template image Tp, that is, 3 × 3 first block pixels 41 from the generated first block image. And the 1st detection part 193 calculates a correlation for every corresponding 1st block pixel 41 between the cut-out image and template image Tp, ie, calculates the difference value of 1st block image information. In this case, as illustrated in FIG. 6, for example, the first detection unit 193 shifts an area having the same size as the template image Tp from the first block image of the tracking next image while shifting the first block pixel 41 by one image ( In FIG. 6, 50a, 50b, and 50c) are sequentially cut out. Then, the first detection unit 193 sequentially compares the sequentially cut images 50a, 50b, and 50c with the template image Tp, and calculates a difference value for each cut image.

上記のようにして算出された差分値の内の最小の値を示す切り出し画像がテンプレート画像Ｔｐに最も類似していることになる。したがって、第１検出部１９３は、テンプレート画像Ｔｐと切り出し画像との差分値のうち最も小さい値を検出し、そのときの切り出し画像の座標値を検出する。第１検出部１９３は、検出した座標値をメモリ１９ｄに記憶することによって検出された座標値を第１の追尾対象候補の位置とする。   The cut-out image indicating the minimum value among the difference values calculated as described above is most similar to the template image Tp. Accordingly, the first detection unit 193 detects the smallest value among the difference values between the template image Tp and the clipped image, and detects the coordinate value of the clipped image at that time. The first detection unit 193 stores the detected coordinate value in the memory 19d, and uses the detected coordinate value as the position of the first tracking target candidate.

−第２の追尾対象候補の位置検出処理−
第２検出部１９４は、上述した抽出部１９２と同様にして、追尾次画像の画像情報を用いて、第２ブロック画像を生成する。そして、第２検出部１９４は、生成した第２ブロック画像のうち類似領域Ｒｅと類似する色情報、輝度情報を有する第２ブロック化画像情報を検出する。この場合、第２検出部１９４は、類似領域Ｒｅの第２ブロック化画像情報と、第２ブロック画像の第２ブロック化画像情報との差分を演算する。そして、第２検出部１９４は、差分値が最小となる第２ブロック化画像情報に対応する第２ブロック画素４２を検出する。なお、第２検出部１９４は、差分値が最小となる第２ブロック化画像情報に対応する第２ブロック画素４２を検出するものに代えて、たとえば差分値が所定の閾値以下となる第２ブロック化画像情報に対応する第２ブロック画素４２を検出してもよい。この場合、所定の閾値は、たとえば実験等に基づいて予め設定されているものとする。そして、第２検出部１９４は、抽出部１９２と同様に、検出した第２ブロック画素４２の第２ブロック化画像情報と色情報や輝度情報が類似し、かつ連結している複数の第２ブロック画素４２をグループ化する。第２検出部１９４は、グループ化された複数の第２ブロック画素４２のうちグループの中心付近の第２ブロック画素４２の座標値を第２の追尾対象候補の位置として検出する。 -Second tracking target candidate position detection process-
The second detection unit 194 generates a second block image using the image information of the tracking next image in the same manner as the extraction unit 192 described above. Then, the second detection unit 194 detects second blocked image information having color information and luminance information similar to the similar region Re in the generated second block image. In this case, the second detection unit 194 calculates a difference between the second block image information of the similar region Re and the second block image information of the second block image. And the 2nd detection part 194 detects the 2nd block pixel 42 corresponding to the 2nd block image information from which a difference value becomes the minimum. Note that the second detection unit 194 replaces the detection of the second block pixel 42 corresponding to the second blocked image information having the smallest difference value, for example, the second block whose difference value is equal to or smaller than a predetermined threshold value. The second block pixel 42 corresponding to the converted image information may be detected. In this case, the predetermined threshold value is set in advance based on, for example, experiments. Similarly to the extraction unit 192, the second detection unit 194 has a plurality of second blocks in which color information and luminance information are similar to and connected to the detected second block image information of the second block pixel 42. Pixels 42 are grouped. The second detection unit 194 detects the coordinate value of the second block pixel 42 near the center of the group among the plurality of grouped second block pixels 42 as the position of the second tracking target candidate.

上述したようにして第１および第２の追尾対象候補の位置検出処理が行われると、判定部１９５は、第１の追尾対象候補の位置と、第２の追尾対象候補の位置とが所定量よりも乖離しているか否かを判定する。この場合、判定部１９５は、第１の追尾対象候補の座標値と、第２の追尾対象候補の座標値との差分を算出し、差分の絶対値が所定の閾値以上か否かを判定する。なお、閾値は、第１の追尾対象候補の位置と、第２の追尾対象候補の位置とを同一の位置と見なす場合に最適な値として実験等に基づいて設定され、予め所定のメモリ（不図示）に記憶されているものとする。   When the position detection processing of the first and second tracking target candidates is performed as described above, the determination unit 195 determines that the position of the first tracking target candidate and the position of the second tracking target candidate are a predetermined amount. It is determined whether or not there is a deviation. In this case, the determination unit 195 calculates a difference between the coordinate value of the first tracking target candidate and the coordinate value of the second tracking target candidate, and determines whether the absolute value of the difference is equal to or greater than a predetermined threshold value. . Note that the threshold is set based on an experiment or the like as an optimal value when the position of the first tracking target candidate and the position of the second tracking target candidate are regarded as the same position, and is set in advance in a predetermined memory (not It is assumed that it is stored in the figure.

以下、判定部１９５により差分の絶対値が閾値以上と判定された場合と、閾値未満と判定された場合とに分けて説明を行う。
（１）差分の絶対値が閾値以上と判定された場合
差分の絶対値が閾値以上の場合は、第１の追尾対象候補の位置と第２の追尾対象候補の位置とが大きく異なる、すなわち両者の位置が所定量よりも乖離している。換言すると、第１の追尾対象候補と、第２の追尾対象候補とが異なる被写体であることを意味する。これは、テンプレート画像Ｔｐ生成時に、指定された追尾対象被写体がカメラ１から遠方にあり被写界画像中で小さな領域であるため、３×３個のテンプレート画像Ｔｐ内で追尾対象被写体とは異なる背景等の情報が多く含まれたことに起因している。その結果、第１検出部１９３は、追尾次画像にてテンプレートマッチングを行った際、背景等を追尾対象被写体として誤検出したことになる。 Hereinafter, the case where the determination unit 195 determines that the absolute value of the difference is equal to or greater than the threshold and the case where it is determined that the absolute value of the difference is less than the threshold will be described.
(1) When the absolute value of the difference is determined to be equal to or greater than the threshold value When the absolute value of the difference is equal to or greater than the threshold value, the position of the first tracking target candidate and the position of the second tracking target candidate are significantly different. The position is deviated from the predetermined amount. In other words, it means that the first tracking target candidate and the second tracking target candidate are different subjects. This is different from the tracking target subject in the 3 × 3 template images Tp because the specified tracking target subject is far from the camera 1 and is a small area in the field image when the template image Tp is generated. This is because a lot of information such as the background is included. As a result, the first detection unit 193 erroneously detects the background or the like as the tracking target subject when template matching is performed on the next tracking image.

この場合、選択部１９６は、第２検出部１９４により検出された第２の追尾対象候補の位置（座標値）を追尾対象被写体の位置（座標値）として選択する。さらに、更新部１９７は、テンプレート画像Ｔｐの更新処理を行う。更新部１９７は、追尾次画像を用いて第１検出部１９３により生成された第１ブロック画像のうち、第２検出部１９４により検出された第２の追尾対象候補の座標値に対応する座標値を基準として、３×３個の第１ブロック画素４１を新たなテンプレート画像Ｔｐとして生成する。そして、更新部１９７は、追尾初期画像を用いて生成部１９１により生成されたテンプレート画像Ｔｐとは別に、新たなテンプレート画像Ｔｐをメモリ１９ｄに記憶する。   In this case, the selection unit 196 selects the position (coordinate value) of the second tracking target candidate detected by the second detection unit 194 as the position (coordinate value) of the tracking target subject. Furthermore, the update unit 197 performs update processing of the template image Tp. The update unit 197 includes coordinate values corresponding to the coordinate values of the second tracking target candidate detected by the second detection unit 194 among the first block images generated by the first detection unit 193 using the tracking next image. As a reference, 3 × 3 first block pixels 41 are generated as a new template image Tp. Then, the update unit 197 stores a new template image Tp in the memory 19d separately from the template image Tp generated by the generation unit 191 using the tracking initial image.

（２）差分の絶対値が閾値未満と判定された場合
差分の絶対値が閾値未満の場合は、第１の追尾対象候補の位置と第２の追尾対象候補の位置とがほぼ同位置である、すなわち両者の位置が所定量よりも乖離していない。換言すると、第１の追尾対象候補と、第２の追尾対象候補とは同一の被写体であることを意味する。この場合、選択部１９６は、第１検出部１９３により検出された第１の追尾対象候補の位置（座標値）を追尾対象被写体の位置（座標値）として選択する。 (2) When the absolute value of the difference is determined to be less than the threshold value When the absolute value of the difference is less than the threshold value, the position of the first tracking target candidate and the position of the second tracking target candidate are substantially the same position. That is, the positions of both are not deviated from a predetermined amount. In other words, it means that the first tracking target candidate and the second tracking target candidate are the same subject. In this case, the selection unit 196 selects the position (coordinate value) of the first tracking target candidate detected by the first detection unit 193 as the position (coordinate value) of the tracking target subject.

追尾対象被写体の座標値が選択されると、焦点検出演算部１９ｆは、選択部１９６により選択された座標値に対応する追尾対象被写体について焦点制御を行う。この場合、焦点検出演算部１９ｆは、焦点検出エリア４５ａ〜４５ｇのうち選択された座標値に最も近い焦点検出エリア４５ａ〜４５ｇで検出されたデフォーカス量に基づいて撮影レンズ８の焦点調節を行う。   When the coordinate value of the tracking target subject is selected, the focus detection calculation unit 19f performs focus control on the tracking target subject corresponding to the coordinate value selected by the selection unit 196. In this case, the focus detection calculation unit 19f adjusts the focus of the photographing lens 8 based on the defocus amount detected in the focus detection areas 45a to 45g closest to the selected coordinate value among the focus detection areas 45a to 45g. .

図７に示すフローチャートを用いて、本実施の形態によるカメラ１の画像追尾処理について説明する。図７の各処理はボディ駆動制御装置１９でプログラムを実行して行われる。図７の各処理を行なうプログラムはメモリ（不図示）に格納されている。ユーザによるレリーズボタンの半押し操作に応じて操作部材２０から操作信号が入力されるとボディ駆動制御装置１９によりプログラムが起動され、実行される。   The image tracking process of the camera 1 according to the present embodiment will be described using the flowchart shown in FIG. Each process in FIG. 7 is performed by executing a program in the body drive control device 19. A program for performing each process of FIG. 7 is stored in a memory (not shown). When an operation signal is input from the operation member 20 in response to a half-press operation of the release button by the user, the program is started and executed by the body drive control device 19.

ステップＳ１においては、素子制御回路１９ａは第２撮像素子１６に追尾初期画像を取得させてステップＳ２へ進む。ステップＳ２では、生成部１９１は、追尾初期画像の被写界画像信号を用いて第１ブロック画像を生成する。そして、生成部１９１は、生成した第１ブロック画像の第１ブロック化画像情報を用いてテンプレート画像Ｔｐを生成し、生成したテンプレート画像Ｔｐをメモリ１９ｄに記憶してステップＳ３へ進む。   In step S1, the element control circuit 19a causes the second imaging element 16 to acquire a tracking initial image and proceeds to step S2. In step S2, the generation unit 191 generates a first block image using the object scene image signal of the tracking initial image. Then, the generation unit 191 generates a template image Tp using the first block image information of the generated first block image, stores the generated template image Tp in the memory 19d, and proceeds to step S3.

ステップＳ３においては、抽出部１９２は、追尾初期画像の被写界画像信号を用いて第２ブロック画像を生成する。そして、抽出部１９２は、生成した第２ブロック画像の第２ブロック化画像情報を用いて類似領域Ｒｅを抽出し、類似領域Ｒｅをメモリ１９ｄに記憶してステップＳ４へ進む。   In step S3, the extraction unit 192 generates a second block image using the object scene image signal of the tracking initial image. Then, the extraction unit 192 extracts the similar region Re using the second block image information of the generated second block image, stores the similar region Re in the memory 19d, and proceeds to step S4.

ステップＳ４においては、素子制御回路１９ａは第２撮像素子１６に追尾次画像を取得させてステップＳ５へ進む。ステップＳ５では、第１検出部１９３は、追尾次画像の被写界画像信号を用いて第１ブロック画像を生成し、テンプレート画像Ｔｐを用いてテンプレートマッチング処理を行う。そして、第１検出部１９３は、テンプレートマッチング処理の結果に基づいて、第１の追尾対象候補の座標値を検出してステップＳ６へ進む。ステップＳ６においては、第２検出部１９４は、追尾次画像の被写界画像信号を用いて第２ブロック画像を生成し、類似領域Ｒｅを用いて第２の追尾対象候補の座標値を検出してステップＳ７へ進む。   In step S4, the element control circuit 19a causes the second imaging element 16 to acquire a tracking next image and proceeds to step S5. In step S5, the first detection unit 193 generates a first block image using the object scene image signal of the tracking next image, and performs a template matching process using the template image Tp. And the 1st detection part 193 detects the coordinate value of a 1st tracking object candidate based on the result of a template matching process, and progresses to step S6. In step S6, the second detection unit 194 generates a second block image using the scene image signal of the tracking next image, and detects the coordinate value of the second tracking target candidate using the similar region Re. The process proceeds to step S7.

ステップＳ７においては、判定部１９５は、第１の追尾対象候補の座標値と、第２の追尾対象候補の座標値との差分を算出し、差分の絶対値が閾値以上か否かを判定する。差分の絶対値が閾値未満の場合には、ステップＳ７が否定判定されてステップＳ８へ進む。ステップＳ８においては、選択部１９６は、ステップＳ５にて検出された第１の追尾対象候補の座標値を追尾対象被写体の座標値として選択して後述するステップＳ１１へ進む。   In step S7, the determination unit 195 calculates a difference between the coordinate value of the first tracking target candidate and the coordinate value of the second tracking target candidate, and determines whether or not the absolute value of the difference is equal to or greater than a threshold value. . If the absolute value of the difference is less than the threshold, a negative determination is made in step S7 and the process proceeds to step S8. In step S8, the selection unit 196 selects the coordinate value of the first tracking target candidate detected in step S5 as the coordinate value of the tracking target subject, and proceeds to step S11 described later.

差分の絶対値が閾値以上の場合には、ステップＳ７が肯定判定されてステップＳ９へ進む。ステップＳ８においては、更新部１９７は、追尾次画像を用いて生成された第１ブロック画像のうち、ステップＳ６にて検出された第２の追尾対象候補の座標値に対応する座標値を基準として、新たなテンプレート画像Ｔｐとして生成してステップＳ１０へ進む。ステップＳ１０においては、選択部１９６は、ステップＳ６にて検出された第２の追尾対象候補の座標値に対応する座標値を追尾対象被写体の座標値として選択してステップＳ１１へ進む。   If the absolute value of the difference is greater than or equal to the threshold value, an affirmative determination is made in step S7 and the process proceeds to step S9. In step S8, the update unit 197 uses, as a reference, the coordinate value corresponding to the coordinate value of the second tracking target candidate detected in step S6 among the first block images generated using the tracking next image. A new template image Tp is generated and the process proceeds to step S10. In step S10, the selection unit 196 selects the coordinate value corresponding to the coordinate value of the second tracking target candidate detected in step S6 as the coordinate value of the tracking target subject, and proceeds to step S11.

ステップＳ１１においては、焦点検出演算部１９ｆは、選択部１９６により選択された座標値に最も近い焦点検出エリア４５ａ〜４５ｇで検出されたデフォーカス量に基づいて撮影レンズ８の焦点調節を行ってステップＳ１２へ進む。ステップＳ１２においては、ボディ駆動制御装置１９は、ユーザによりレリーズ半押し操作が継続されているか否かを判定する。ユーザによるレリーズボタンの半押し操作に応じて操作部材２０から操作信号が入力されている場合には、ステップＳ１２が肯定判定されてステップＳ４へ戻る。ユーザによるレリーズボタンの半押し操作に応じて操作部材２０から操作信号が入力されていない場合には、ステップＳ１２が否定判定されて処理を終了する。   In step S11, the focus detection calculation unit 19f adjusts the focus of the photographing lens 8 based on the defocus amounts detected in the focus detection areas 45a to 45g closest to the coordinate value selected by the selection unit 196. Proceed to S12. In step S12, the body drive control device 19 determines whether or not the release half-press operation is continued by the user. If an operation signal is input from the operation member 20 in response to a half-press operation of the release button by the user, an affirmative determination is made in step S12 and the process returns to step S4. If an operation signal is not input from the operation member 20 in response to the half-press operation of the release button by the user, a negative determination is made in step S12 and the process ends.

以上で説明した実施の形態によるカメラによれば、以下の作用効果が得られる。
（１）第２撮像素子１６は、撮影レンズ８結像される像を繰り返し撮像して、被写界画像信号を生成して出力する。生成部１９１は、被写界画像に含まれる追尾対象の画像の特徴を示すテンプレート画像Ｔｐを生成する。抽出部１９２は、被写界画像のうち類似する色情報や輝度情報を有する類似領域Ｒｅを抽出する。第１検出部１９３は、テンプレートマッチング処理により新たな被写界画像とテンプレート画像Ｔｐとの相関関係を演算して、新たな被写界画像での第１の追尾対象候補の位置とを検出する。第２検出部１９４は、新たな被写界画像から、抽出部１９２により抽出された類似領域Ｒｅと相関度が高い領域を、第２の追尾対象候補の位置として検出する。判定部１９５は、第１検出部１９３により検出された第１の追尾対象候補の位置と、第２検出部１９４により検出された第２の追尾対象候補の位置とに基づいて、第１の追尾対象候補と第２の追尾対象候補とが同一の追尾対象被写体であるか否かを判定する。選択部１９６は、判定部１９５による判定結果に基づいて、第１の追尾対象候補の位置と、第２の追尾対象候補の位置との一方を、追尾対象被写体の位置として選択する。具体的には、判定部１９５は、第１の追尾対象候補の位置と第２の追尾対象候補の位置とが所定距離以上乖離している場合に、第１の追尾対象候補と第２の追尾対象候補とが異なると判定するようにした。そして、更新部１９７は、第１の追尾対象候補と第２の追尾対象候補とが異なると判定された場合には、第２検出部１９４により検出された第２の追尾対象候補の位置を基準として、新たなテンプレート画像Ｔｐを生成するようにした。 According to the camera according to the embodiment described above, the following operational effects can be obtained.
(1) The second image sensor 16 repeatedly captures an image formed by the photographing lens 8 to generate and output a field image signal. The generation unit 191 generates a template image Tp indicating the characteristics of the tracking target image included in the object scene image. The extraction unit 192 extracts a similar region Re having similar color information and luminance information from the scene image. The first detection unit 193 calculates the correlation between the new scene image and the template image Tp by template matching processing, and detects the position of the first tracking target candidate in the new scene image. . The second detection unit 194 detects a region having a high degree of correlation with the similar region Re extracted by the extraction unit 192 from the new scene image as the position of the second tracking target candidate. The determination unit 195 performs the first tracking based on the position of the first tracking target candidate detected by the first detection unit 193 and the position of the second tracking target candidate detected by the second detection unit 194. It is determined whether the target candidate and the second tracking target candidate are the same tracking target subject. The selection unit 196 selects one of the position of the first tracking target candidate and the position of the second tracking target candidate as the position of the tracking target subject based on the determination result by the determination unit 195. Specifically, when the position of the first tracking target candidate and the position of the second tracking target candidate are more than a predetermined distance apart from each other, the determination unit 195 determines whether the first tracking target candidate and the second tracking target candidate are separated from each other. Judged to be different from the target candidate. If the update unit 197 determines that the first tracking target candidate is different from the second tracking target candidate, the update unit 197 uses the position of the second tracking target candidate detected by the second detection unit 194 as a reference. As a result, a new template image Tp is generated.

図５（ａ）に示すように、追尾初期画像で指定された追尾対象被写体が遠方に存在するために、テンプレート画像Ｔｐには背景の画像情報が多く含まれることになる。このため、追尾対象被写体がカメラ１に向かって移動している場合、追尾次画像の第１ブロック画像に対してテンプレート画像Ｔｐを用いてテンプレートマッチング処理を行うと、第１検出部１９３は、図６（ａ）に示す様に、背景の画像情報の影響を強く受けて所望の追尾対象被写体とは異なる被写体を第１の追尾対象候補として検出してしまう。これに対して、第２検出部１９４は、追尾次画像の第２ブロック画像に対して類似領域Ｒｅを用いることにより、図６（ｂ）に示すように、所望の追尾対象被写体を第２の追尾対象候補として検出できる。この結果、図６（ｃ）に示すように、第２検出部１９４により検出された第２の追尾対象候補の座標値を基準として、更新部１９７が新たなテンプレート画像Ｔｐを生成することによりテンプレート画像Ｔｐを追尾対象被写体の移動に応じて更新できる。換言すると、処理を繰り返すごとに、図６（ｄ）に示すように、テンプレート画像Ｔｐに含まれる背景の画像情報の量が減少するので、テンプレート画像Ｔｐの更新精度の低下を防止できる。したがって、追尾体対象被写体がカメラ１に遠方から接近してくる場合であっても、テンプレート画像Ｔｐを用いたテンプレートマッチング処理による追尾対象被写体の検出精度を向上させることができる。   As shown in FIG. 5A, since the tracking target subject specified in the initial tracking image exists in the distance, the template image Tp includes a lot of background image information. For this reason, when the tracking target subject is moving toward the camera 1, if the template matching process is performed on the first block image of the tracking next image using the template image Tp, the first detection unit 193 displays the figure. As shown in FIG. 6A, a subject different from the desired tracking target subject is detected as the first tracking target candidate due to the strong influence of the background image information. On the other hand, the second detection unit 194 uses the similar region Re to the second block image of the tracking next image, thereby, as shown in FIG. It can be detected as a tracking target candidate. As a result, as shown in FIG. 6C, the update unit 197 generates a new template image Tp based on the coordinate value of the second tracking target candidate detected by the second detection unit 194, thereby generating a template. The image Tp can be updated according to the movement of the tracking target subject. In other words, each time the process is repeated, as shown in FIG. 6D, the amount of background image information included in the template image Tp decreases, so that it is possible to prevent the update accuracy of the template image Tp from being lowered. Therefore, even when the tracking target object is approaching the camera 1 from a distance, the detection accuracy of the tracking target object by the template matching process using the template image Tp can be improved.

（２）生成部１９１は、被写界画像を所定個数（８×８個）の範囲に含まれる画素をブロック化して１つの第１ブロック画素４１を生成し、第１ブロック化画像情報を用いてテンプレート画像Ｔｐを生成する。抽出部１９２は、被写界画像を、第１ブロック画素４１よりも狭い４×４個の範囲に含まれる画素をブロック化して第２ブロック画素４２を生成し、第２ブロック画素４２の第２ブロック化画像情報を用いて類似領域Ｒｅを抽出するようにした。したがって、第１ブロック画像に比べて、第２ブロック画像の方が被写界画像を細かく分割しているので、追尾対象被写体が小さい場合であっても、第２検出部１９４は第２の追尾対象候補を精度よく検出できる。 (2) The generation unit 191 generates a first block pixel 41 by blocking pixels included in a predetermined number (8 × 8) of the object scene image, and uses the first block image information. A template image Tp is generated. The extraction unit 192 generates a second block pixel 42 by blocking pixels included in a 4 × 4 range narrower than the first block pixel 41 from the scene image, and generates a second block pixel 42. The similar region Re is extracted using the blocked image information. Therefore, since the second block image divides the object scene image more finely than the first block image, the second detection unit 194 performs the second tracking even when the tracking target subject is small. Target candidates can be detected accurately.

以上で説明した実施の形態のカメラを、以下のように変形できる。
（１）第２検出部１９４は、追尾次画像が取得されるごとに第２の追尾対象候補を検出しなくてもよい。すなわち、たとえば連写モード等が設定されている場合のようにボディ駆動制御装置１９の演算負荷が高いときには、第２検出部１９４による第２の追尾対象候補の検出を禁止させる。この場合、図８に示すように、追尾制御部１９ｈは、禁止部１９８をさらに機能的に備える。そして、ユーザにより撮影モード選択スイッチが操作され、たとえば連写モードが設定されると、禁止部１９８は第２検出部１９４による処理を禁止させればよい。このとき、第１検出部１９３によるテンプレートマッチング処理により検出された第１の追尾対象候補の位置が、選択部１９６によって追尾対象被写体の位置として選択される。 The camera of the embodiment described above can be modified as follows.
(1) The second detection unit 194 may not detect the second tracking target candidate every time the tracking next image is acquired. That is, for example, when the calculation load of the body drive control device 19 is high as in the case where the continuous shooting mode or the like is set, the detection of the second tracking target candidate by the second detection unit 194 is prohibited. In this case, as shown in FIG. 8, the tracking control unit 19h further includes a prohibition unit 198 in terms of functionality. Then, when the shooting mode selection switch is operated by the user and, for example, the continuous shooting mode is set, the prohibition unit 198 may prohibit the processing by the second detection unit 194. At this time, the position of the first tracking target candidate detected by the template matching process by the first detection unit 193 is selected by the selection unit 196 as the position of the tracking target subject.

さらに加えて、所定の回数（たとえば２回）第１検出部１９３が第１の追尾対象候補の位置を検出すると、第２検出部１９４が第２の追尾対象候補の検出をしてもよい。この場合、第１検出部１９３が順次取得された被写界画像を用いて第１の追尾対象候補の検出を２回行うと、禁止部１９８は、第２検出部１９４に対する処理の禁止を一時的に解除する。そして、第２検出部１９４は、類似領域Ｒｅを用いて第２の追尾対象候補の検出を行う。第２検出部１９４による処理が終了すると、禁止部１９８は、再び第２検出部１９４による処理を禁止させる。以後、実施の形態の場合と同様にして、判定部１９５、選択部１９６および更新部１９７の処理が行われる。この結果、実施の形態により得られる作用効果に加えて、演算負荷が高い第２ブロック画像の生成処理の回数が減るので、ボディ駆動制御装置１９の演算負荷を低減し、処理時間を短縮できる。   In addition, when the first detection unit 193 detects the position of the first tracking target candidate a predetermined number of times (for example, twice), the second detection unit 194 may detect the second tracking target candidate. In this case, when the first detection unit 193 detects the first tracking target candidate twice using the sequentially acquired scene images, the prohibition unit 198 temporarily prohibits the second detection unit 194 from performing the process. Release it. Then, the second detection unit 194 detects the second tracking target candidate using the similar region Re. When the process by the second detection unit 194 ends, the prohibition unit 198 again prohibits the process by the second detection unit 194. Thereafter, processing of the determination unit 195, the selection unit 196, and the update unit 197 is performed in the same manner as in the embodiment. As a result, in addition to the operational effects obtained by the embodiment, the number of second block image generation processes with a high calculation load is reduced, so the calculation load of the body drive control device 19 can be reduced and the processing time can be shortened.

（２）更新部１９７は、テンプレート画像Ｔｐを更新する際に、大きさを変更してもよい。第２検出部１９４が、図９（ａ）に示すように第２の追尾対象候補を検出し、かつ、判定部１９５により差分の絶対値が閾値以上の場合と判定された場合、更新部１９７は、第２の追尾対象候補のサイズが、テンプレート画像Ｔｐのサイズ（３×３個の第１ブロック画素４１）よりも大きいか否かを判定する。そして、第２の追尾対象候補のサイズの方が大きい場合に、更新部１９７は、第２の追尾対象候補のサイズを包含するサイズとなるように新たなテンプレート画像Ｔｐを生成する。その結果、図９（ｂ）に示すように、元のテンプレート画像Ｔｐのサイズ（３×３個の第１ブロック画素４１）よりも大きい３×４個の第１ブロック画素４１により構成されるテンプレート画像Ｔｐが更新部１９７によって新たに生成される。したがって、追尾体対象被写体がカメラ１に遠方から接近してくる場合に、テンプレート画像Ｔｐを用いたテンプレートマッチング処理による追尾対象被写体の検出精度を向上させることができる。 (2) The updating unit 197 may change the size when updating the template image Tp. When the second detection unit 194 detects the second tracking target candidate as illustrated in FIG. 9A and the determination unit 195 determines that the absolute value of the difference is equal to or greater than the threshold, the update unit 197 Determines whether the size of the second tracking target candidate is larger than the size of the template image Tp (3 × 3 first block pixels 41). Then, when the size of the second tracking target candidate is larger, the update unit 197 generates a new template image Tp so that the size includes the size of the second tracking target candidate. As a result, as shown in FIG. 9B, a template constituted by 3 × 4 first block pixels 41 larger than the size (3 × 3 first block pixels 41) of the original template image Tp. An image Tp is newly generated by the update unit 197. Therefore, when the tracking target object is approaching the camera 1 from a distance, the detection accuracy of the tracking target object by the template matching process using the template image Tp can be improved.

（３）第２撮像素子１６から出力された被写界画像信号に基づいて追尾制御部１９ｈが画像追尾処理を行うものに代えて、第１撮像素子４から出力された画像信号を用いてもよい。この場合、クイックリターンミラー５に代えてハーフミラーを設けることにより、レリーズボタンが半押し操作されている間であっても、被写体からの光束が第１撮像素子４に導かれるように構成されていればよい。または、測距素子１０が第１撮像素子４の受光面上に配列された構成としてもよい。 (3) The image signal output from the first image sensor 4 may be used instead of the tracking control unit 19h performing the image tracking process based on the object scene image signal output from the second image sensor 16. Good. In this case, by providing a half mirror instead of the quick return mirror 5, the light flux from the subject is guided to the first image sensor 4 even while the release button is being pressed halfway. Just do it. Alternatively, the distance measuring element 10 may be arranged on the light receiving surface of the first imaging element 4.

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。   In addition, the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included. The embodiments and modifications used in the description may be configured by appropriately combining them.

１ 撮像装置、 ４ 第１撮像素子、
１６ 第２撮像素子、 １９ ボディ駆動制御装置、
１９ｈ 追尾制御部、 １９１ 生成部、
１９２ 抽出部、 １９３ 第１検出部、
１９４ 第２検出部、 １９５ 判定部、
１９６ 選択部、 １９７ 更新部、
１９８ 禁止部 1 imaging device, 4 first imaging device,
16 second image sensor, 19 body drive control device,
19h Tracking control unit, 191 generation unit,
192 extraction unit, 193 first detection unit,
194 second detection unit, 195 determination unit,
196 selector, 197 updater,
198 Prohibited Section

Claims (6)

結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、
前記被写界画像に含まれる追尾対象の画像の特徴を示す基準情報を生成する生成手段と、
前記被写界画像のうち画像情報が類似する類似領域を抽出する抽出手段と、
前記撮像手段により取得された新たな被写界画像と前記基準情報との相関関係を演算して、前記新たな被写界画像での第１追尾対象候補の位置を検出する第１検出手段と、
前記新たな被写界画像から、前記抽出手段により抽出された前記類似領域と相関度が高い領域を、第２追尾対象候補の位置として検出する第２検出手段と、
前記第１検出手段により検出された前記第１追尾対象候補の位置と、前記第２検出手段により検出された前記第２追尾対象候補の位置とに基づいて、前記第１追尾対象候補と前記第２追尾対象候補とが同一の前記追尾対象であるか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記第１追尾対象候補の位置と、前記第２追尾対象候補の位置との一方を、前記追尾対象の位置として選択する選択手段と、
前記判定手段によって前記第１追尾対象候補と前記第２追尾対象候補とが異なると判定された場合には、前記第２追尾対象候補の位置を基準として、新たな基準情報を生成する更新手段とを有することを特徴とする画像追尾装置。 An imaging unit that repeatedly captures an image formed by the imaging optical system and generates an object scene image;
Generating means for generating reference information indicating characteristics of a tracking target image included in the scene image;
Extracting means for extracting a similar region having similar image information from the scene image;
First detection means for calculating a correlation between the new scene image acquired by the imaging means and the reference information, and detecting a position of the first tracking target candidate in the new scene image; ,
Second detection means for detecting, from the new scene image, an area having a high degree of correlation with the similar area extracted by the extraction means, as a position of a second tracking target candidate;
Based on the position of the first tracking target candidate detected by the first detection means and the position of the second tracking target candidate detected by the second detection means, the first tracking target candidate and the first tracking target candidate Determination means for determining whether or not two tracking target candidates are the same tracking target;
Selection means for selecting one of the position of the first tracking target candidate and the position of the second tracking target candidate as the position of the tracking target based on the determination result by the determination means;
An update unit that generates new reference information based on the position of the second tracking target candidate when the determination unit determines that the first tracking target candidate is different from the second tracking target candidate; An image tracking apparatus comprising: 請求項１に記載の画像追尾装置において、
前記判定手段は、前記第１追尾対象候補の位置と前記第２追尾対象候補の位置とが所定距離以上離れている場合に、前記第１追尾対象候補と前記第２追尾対象候補とが異なると判定することを特徴とする画像追尾装置。 The image tracking device according to claim 1,
When the position of the first tracking target candidate and the position of the second tracking target candidate are separated from each other by a predetermined distance or more, the determination unit determines that the first tracking target candidate and the second tracking target candidate are different. An image tracking device characterized by determining. 請求項１または２に記載の画像追尾装置において、
前記第２検出手段に対して前記第２追尾対象候補の位置の検出を禁止させる禁止手段をさらに備え、
前記選択手段は、前記禁止手段により前記第２検出手段に対する前記第２追尾対象候補の位置の検出が禁止されている場合には、前記第１検出手段により検出された前記第１追尾対象候補の位置を前記追尾対象の位置として選択することを特徴とする画像追尾装置。 The image tracking device according to claim 1 or 2,
And further comprising prohibiting means for prohibiting detection of the position of the second tracking target candidate with respect to the second detecting means,
When the prohibiting unit prohibits the detection of the position of the second tracking target candidate with respect to the second detecting unit, the selecting unit selects the first tracking target candidate detected by the first detecting unit. An image tracking apparatus, wherein a position is selected as the position of the tracking target. 請求項３に記載の画像追尾装置において、
前記禁止手段は、前記第１検出手段が前記第１追尾対象候補の位置を所定の回数検出するごとに、前記第２検出手段に対する前記第２追尾対象候補の位置の検出を一時的に解除することを特徴とする画像追尾装置。 The image tracking device according to claim 3,
The prohibiting means temporarily cancels the detection of the position of the second tracking target candidate with respect to the second detecting means every time the first detecting means detects the position of the first tracking target candidate a predetermined number of times. An image tracking device characterized by that. 請求項１乃至４のいずれか一項に記載の画像追尾装置において、
前記生成手段は、前記被写界画像を所定の第１範囲ごとにブロック化した画像情報を用いて前記基準情報を生成し、
前記抽出手段は、前記被写界画像を、前記第１範囲よりも狭い第２範囲ごとにブロック化した画像情報を用いて前記類似領域を抽出することを特徴とする画像追尾装置。 In the image tracking device according to any one of claims 1 to 4,
The generation means generates the reference information using image information obtained by blocking the scene image for each predetermined first range,
The image tracking device, wherein the extraction unit extracts the similar region by using image information obtained by blocking the object scene image for each second range narrower than the first range. 請求項１乃至５のいずれか一項に記載の画像追尾装置において、
前記更新手段は、前記基準情報の範囲よりも広い範囲を前記新たな基準情報として生成することを特徴とする画像追尾装置。
The image tracking device according to any one of claims 1 to 5,
The image tracking apparatus according to claim 1, wherein the updating unit generates a range wider than the range of the reference information as the new reference information.

Images