JPH0683963A - Target tracking device - Google Patents
Target tracking deviceInfo
- Publication number
- JPH0683963A JPH0683963A JP4237390A JP23739092A JPH0683963A JP H0683963 A JPH0683963 A JP H0683963A JP 4237390 A JP4237390 A JP 4237390A JP 23739092 A JP23739092 A JP 23739092A JP H0683963 A JPH0683963 A JP H0683963A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- image data
- color
- tracking device
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Automatic Focus Adjustment (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、カメラ等の撮像手段で
得られた入力画像データと、記憶手段内に記憶された参
照画像データとの間で残差演算を行い、この撮像手段の
視野領域内において所定の目標物体を追尾する目標物体
追尾装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention performs residual calculation between input image data obtained by an image pickup means such as a camera and reference image data stored in a storage means to obtain a visual field of this image pickup means. The present invention relates to a target object tracking device that tracks a predetermined target object within a region.
【０００２】[0002]
【従来の技術】この種の目標物体追尾装置としては、た
とえば特公昭６０−３３３５０号公報、特公昭６１−１
９０７６号公報に開示されたものがある。これらは、予
め記憶した参照画面と、撮像装置から供給される画像信
号をＡ／Ｄ変換した入力画面との相関係数を求め、この
相関係数の最大値を与える座標を検出して所定の目標物
体を追尾する。この際、追尾動作の実時間化を目的とし
て、入力画面内に相関演算用の領域を設け、この領域内
において参照画面との相関係数演算を行っている。2. Description of the Related Art As a target object tracking device of this type, for example, Japanese Patent Publication No. 60-33350 and Japanese Patent Publication No. 61-1.
There is one disclosed in Japanese Patent No. 9076. These are used to obtain a correlation coefficient between a reference screen stored in advance and an input screen obtained by A / D converting the image signal supplied from the image pickup device, and detect a coordinate giving the maximum value of the correlation coefficient to determine a predetermined value. Track the target object. At this time, for the purpose of real-time tracking operation, a region for correlation calculation is provided in the input screen, and the correlation coefficient with the reference screen is calculated in this region.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上述し
た従来の目標物体追尾装置にあっては、相関演算用の領
域は、前回の追尾動作により得られた目標物体の位置を
中心にして設定されるか、あるいは入力画面内で固定さ
れていたので、スポーツシーンなど動きの速い目標物体
はこの相関演算用の領域から目標物体が外れてしまうお
それがあり、その位置を追尾することが困難であった。
また、スポーツシーンなどでは目標物体の形状が変化し
たり（たとえば正面向きが横向きになる）、あるいは目
標物体の輝度が変化する（たとえば日向から日陰へ移動
する）と、予め記憶されている参照画像との相関演算に
よっては目標物体の位置を追尾できない場合が生じてい
た。However, in the above-mentioned conventional target object tracking device, the area for correlation calculation is set with the position of the target object obtained by the previous tracking operation as the center. Or, since the target object is fixed in the input screen, it may be difficult to track the position of a fast-moving target object such as a sports scene, because the target object may deviate from the area for this correlation calculation. .
Further, in a sports scene or the like, when the shape of the target object changes (for example, the front direction becomes horizontal) or the brightness of the target object changes (for example, the sun moves from the sun to the shade), the reference image stored in advance In some cases, the position of the target object cannot be tracked depending on the correlation calculation with.
【０００４】本発明の目的は、動きの速い目標物体の位
置を迅速かつ確実に追尾することの可能な目標物体追尾
装置を提供することにある。It is an object of the present invention to provide a target object tracking device capable of quickly and reliably tracking the position of a fast moving target object.
【０００５】[0005]
【課題を解決するための手段】クレーム対応図である図
１に対応付けて説明すると、請求項１の発明は、被写界
を測光して複数の色成分を有する入力画像データを出力
する撮像手段１０１と、前記撮像手段１０１の出力に基
づいて、追尾すべき目標物体の画像データとなる参照画
像データを記憶する記憶手段１０２と、前記入力画像デ
ータおよび前記参照画像データの最小残差量を算出する
演算手段１０３と、前記最小残差量に基づいて前記目標
物体の位置を検出する位置検出手段１０４とを備えた目
標物体追尾装置に適用される。そして、上述の目的は、
前記参照画像データおよび前記入力画像データに共通し
て含まれる複数の色のうち少なくとも１つの色を選択す
る色選択手段１０５を設け、この色選択手段１０５によ
り選択された色の成分について前記演算手段１０３が前
記最小残差量を演算することにより達成される。この
際、前記参照画像データを前記色成分別に加算し、その
加算結果が最大となる色を検出する最強色検出手段１０
６を設け、この最強色検出手段１０６により検出された
色を前記色選択手段１０５が選択するようにしてもよ
い。また、前記参照画像データが含まれる領域に隣接す
る隣接領域を前記被写界内に設定する隣接領域設定手段
１０７と、前記参照画像データを前記色成分別に加算す
るとともに、前記隣接領域に含まれる前記入力画像デー
タを前記色成分別に加算し、前記参照画像データの加算
結果と前記隣接領域内の前記入力画像データの加算結果
との差が最大となる色を検出する最大差色検出手段１０
８とを設け、この最大差色検出手段１０８により検出さ
れた色を前記色選択手段１０５が選択するようにしても
よく、あるいは、上述の隣接領域設定手段１０７と、前
記参照画像データおよび前記隣接領域に含まれる前記入
力画像データの残差値を前記色成分別に算出し、この残
差値の最大値または最小値が得られる色を検出する残差
値色検出手段１０９とを設け、この残差値色検出手段１
０９により検出された色を前記色選択手段１０５が選択
するようにしてもよい。請求項５の発明は、被写界を測
光して入力画像データを出力する撮像手段２０１と、追
尾すべき目標物体の画像データとなる前記入力画像デー
タの一部を取り込んだ参照画像データを記憶する記憶手
段２０２と、前記参照画像データを含む領域より広い演
算領域を前記被写界内に設定する領域設定手段２０３
と、前記演算領域内の前記入力画像データおよび前記参
照画像データの最小残差量を算出する演算手段２０４
と、前記最小残差量に基づいて前記被写界内の前記目標
物体の位置を検出する位置検出手段２０５とを設け、前
記演算手段２０４により算出されている前記最小残差量
に基づいて前記領域設定手段２０３が次回用いられる前
記演算領域を設定することにより上述の目的を達成して
いる。請求項６の発明は、入力画像データを出力する撮
像手段３０１と、追尾すべき目標物体の画像データとな
る参照画像データを記憶する記憶手段３０２と、前記入
力画像データおよび前記参照画像データの最小残差量を
算出する演算手段３０３と、前記最小残差量に基づいて
前記目標物体の位置を検出する位置検出手段３０４とを
備えた目標物体追尾装置に適用される。そして、上述の
目的は、前記目標物体の位置に対応する前記入力画像デ
ータの少なくとも一部を取り込んで次回用いられる前記
参照画像データを更新する更新手段３０５を設け、この
更新手段３０５により更新された参照画像データを用い
て前記演算手段３０３が前記最小残差量を算出すること
により達成される。この際、前記演算手段３０３により
算出された前記最小残差量が所定値以下である場合にの
み前記更新手段３０５が前記参照画像データを更新する
ようにしてもよい。請求項８の発明は、入力画像データ
を出力する撮像手段４０１と、前記撮影手段４０１の出
力に基づいて、追尾すべき目標物体の画像データとなる
参照画像データを記憶する記憶手段４０２と、前記入力
画像データおよび前記参照画像データの最小残差量を算
出する演算手段４０３と、前記最小残差量に基づいて前
記目標物体の位置を検出する位置検出手段４０４とを備
えた目標物体追尾装置に適用される。そして、上述の目
的は、前記位置検出手段４０４により時系列的に検出さ
れた前記目標物体の少なくとも２つの位置に基づいてこ
の目標物体の動作を検出する動作検出手段４０５と、こ
の動作検出手段４０５により算出された前記目標物体の
動作からこの目標物体の予測位置を算出する予測位置算
出手段４０６とを設けることにより達成される。前記位
置検出手段４０４により時系列的に検出された前記目標
物体の少なくとも２つの位置に基づいてこの目標物体の
速度を算出する速度算出手段４０７を前記動作検出手段
４０５に設けることもでき、あるいは、前記位置検出手
段４０４により時系列的に検出された前記目標物体の少
なくとも３つの位置に基づいてこの目標物体の加速度を
算出する加速度算出手段４０８を前記動作検出手段４０
５に設けることもできる。When the invention of claim 1 is described in association with FIG. 1 which is a correspondence diagram for claims, the invention according to claim 1 is an image pickup apparatus for photometrically measuring an object field and outputting input image data having a plurality of color components. Means 101, a storage means 102 for storing reference image data which is image data of a target object to be tracked based on the output of the image pickup means 101, and a minimum residual amount of the input image data and the reference image data. The present invention is applied to a target object tracking device including a calculation means 103 for calculating and a position detection means 104 for detecting the position of the target object based on the minimum residual amount. And the above-mentioned purpose is
A color selection unit 105 for selecting at least one color among a plurality of colors commonly included in the reference image data and the input image data is provided, and the calculation unit for the color component selected by the color selection unit 105. 103 is achieved by computing the minimum residual amount. At this time, the reference image data is added for each of the color components, and the strongest color detection means 10 for detecting the color having the maximum addition result.
6, the color detected by the strongest color detection means 106 may be selected by the color selection means 105. In addition, an adjacent area setting unit 107 that sets an adjacent area adjacent to an area including the reference image data in the object field, and the reference image data is added for each color component, and is included in the adjacent area. A maximum difference color detection unit 10 that adds the input image data for each color component and detects a color having a maximum difference between the addition result of the reference image data and the addition result of the input image data in the adjacent area.
8 may be provided and the color detected by the maximum difference color detection means 108 may be selected by the color selection means 105. Alternatively, the adjacent area setting means 107 and the reference image data and the adjacency area may be selected. Residual value color detection means 109 for calculating a residual value of the input image data included in the area for each color component and detecting a color for which the maximum or minimum residual value is obtained is provided. Difference value color detection means 1
The color detected by 09 may be selected by the color selection unit 105. According to a fifth aspect of the present invention, the image pickup means 201 that measures the field of view and outputs the input image data, and the reference image data that captures a part of the input image data that is the image data of the target object to be tracked And a region setting unit 203 for setting a calculation region wider than the region including the reference image data in the object scene.
And a calculation means 204 for calculating the minimum residual amount of the input image data and the reference image data in the calculation area.
And position detection means 205 for detecting the position of the target object in the object field based on the minimum residual amount, and based on the minimum residual amount calculated by the computing means 204, The above-described object is achieved by the area setting means 203 setting the calculation area to be used next time. According to a sixth aspect of the present invention, an image pickup unit 301 that outputs input image data, a storage unit 302 that stores reference image data that is image data of a target object to be tracked, and a minimum of the input image data and the reference image data. The present invention is applied to a target object tracking device including a calculation unit 303 that calculates a residual amount and a position detection unit 304 that detects the position of the target object based on the minimum residual amount. Then, the above-mentioned object is provided with an updating unit 305 which takes in at least a part of the input image data corresponding to the position of the target object and updates the reference image data to be used next time, and is updated by the updating unit 305. This is achieved by the calculation means 303 calculating the minimum residual amount using the reference image data. At this time, the updating unit 305 may update the reference image data only when the minimum residual amount calculated by the calculating unit 303 is less than or equal to a predetermined value. According to an eighth aspect of the invention, an image pickup unit 401 that outputs input image data, a storage unit 402 that stores reference image data that is image data of a target object to be tracked based on the output of the image pickup unit 401, A target object tracking device including a calculation unit 403 for calculating a minimum residual amount of input image data and the reference image data, and a position detection unit 404 for detecting the position of the target object based on the minimum residual amount. Applied. The above-mentioned object is to detect the motion of the target object based on at least two positions of the target object detected in time series by the position detection unit 404, and the motion detection unit 405. This is achieved by providing a predicted position calculating means 406 for calculating a predicted position of the target object from the motion of the target object calculated by The motion detecting means 405 may be provided with a speed calculating means 407 for calculating the speed of the target object based on at least two positions of the target object detected in time series by the position detecting means 404, or The movement detecting means 40 includes an acceleration calculating means 408 for calculating the acceleration of the target object based on at least three positions of the target object detected in time series by the position detecting means 404.
5 can also be provided.
【０００６】[0006]
−請求項１− 色選択手段１０５は、参照画像データおよび入力画像デ
ータに共通して含まれる複数の色のうち少なくとも１つ
の色を選択し、演算手段１０３は、この色選択手段１０
５により選択された色の成分について最小残差量を演算
する。色選択手段１０５により、複数存在する色の中か
ら少なくとも１つの色を選択すれば、演算手段１０３に
より全ての色成分について最小残差量を算出する場合に
比較して、演算手段１０３における演算手順の省略、演
算時間の短縮を図ることができる。 −請求項５− 領域設定手段２０３は、演算手段２０４により算出され
ている最小残差量に基づいて最小残差量演算のための演
算領域を設定する。演算手段２０４で演算された最小残
差量が大きい場合は目標物体の移動量が大きい等と判断
することができる。そこで、最小残差量が大きい場合は
領域設定手段２０３により通常より広い演算領域を設定
することで、目標物体の確実な捕捉が可能となる。 −請求項６− 更新手段３０５は、目標物体の位置に対応する前記入力
画像データの少なくとも一部を取り込んで次回用いられ
る前記参照画像データを更新し、演算手段３０３は、更
新参照画像データを用いて最小残差量を算出する。更新
手段３０５により目標物体の位置に対応する入力画像デ
ータの少なくとも一部が取り込まれて参照画像データが
更新されるので、目標物体についての入力画像データが
変化しても位置検出手段３０４により確実に目標物体の
位置を検出することができる。 −請求項８− 動作検出手段４０５は、位置検出手段４０４により時系
列的に検出された目標物体の少なくとも２つの位置に基
づいてこの目標物体の動作を検出し、予測位置算出手段
４０６は、動作検出手段４０５により算出された目標物
体の動作からこの目標物体の予測位置を算出する。動作
検出手段４０５により検出された目標物体の動作から
は、たとえば等速度で進行している、あるいは急激に速
度を変化させているなどの目標物体の動作の傾向が把握
できる。したがって、動作検出手段４０５により検出さ
れた目標物体の動作を用いることにより、予測位置算出
手段４０６により目標物体の予測位置を算出することが
でき、この予測位置を用いて目標物体の位置検出精度を
向上することができる。-Claim 1-The color selecting means 105 selects at least one color from among a plurality of colors included in common in the reference image data and the input image data, and the calculating means 103 determines the color selecting means 10.
The minimum residual amount is calculated for the color component selected by 5. If at least one color is selected from the plurality of existing colors by the color selection unit 105, the calculation procedure in the calculation unit 103 is compared with the case where the minimum residual amount is calculated for all color components by the calculation unit 103. Can be omitted and the calculation time can be shortened. -Claim 5-The area setting means 203 sets the calculation area for the minimum residual amount calculation based on the minimum residual amount calculated by the calculation means 204. When the minimum residual amount calculated by the calculation unit 204 is large, it can be determined that the movement amount of the target object is large. Therefore, when the minimum residual amount is large, the region setting means 203 sets a calculation region wider than usual, so that the target object can be reliably captured. -Claim 6-The updating means 305 fetches at least a part of the input image data corresponding to the position of the target object and updates the reference image data to be used next time, and the computing means 303 uses the updated reference image data. To calculate the minimum residual amount. Since at least a part of the input image data corresponding to the position of the target object is fetched by the updating means 305 and the reference image data is updated, the position detecting means 304 ensures that the input image data of the target object changes. The position of the target object can be detected. -Claim 8 The motion detecting means 405 detects the motion of the target object based on at least two positions of the target object detected in time series by the position detecting means 404, and the predicted position calculating means 406 calculates the motion. The predicted position of this target object is calculated from the motion of the target object calculated by the detection means 405. From the motion of the target object detected by the motion detection unit 405, the tendency of the motion of the target object such as that the motion is progressing at a constant speed or the speed is changing rapidly can be grasped. Therefore, the predicted position of the target object can be calculated by the predicted position calculation unit 406 by using the motion of the target object detected by the motion detection unit 405, and the predicted position of the target object can be used to detect the position of the target object. Can be improved.
【０００７】[0007]
（一実施例）図２は、本発明による目標物体追尾装置の
一実施例が内蔵されたカメラを示す概略図である。図に
おいて、１は銀塩写真に適用される一眼レフカメラ（以
下、単にカメラと称する）であり、このカメラ１におい
て、被写体からの光はカメラ１前部の撮影レンズ２を通
り、ミラー３により上方に向けて反射されてスクリーン
４上で結像される。撮影者は、このスクリーン４上に結
像した被写体像をプリズム５および接眼レンズ９を通し
て観察する。また、スクリーン４上の被写体像は再結像
レンズ６により撮像センサ７上に結像され、この撮像セ
ンサ７からの出力はマイクロコンピュータ等を内蔵する
演算装置８によって処理される。演算装置８は不図示の
記憶素子を備え、この記憶素子内にはテンプレートとな
る参照画像がデジタルデータとして記憶される。(Embodiment) FIG. 2 is a schematic view showing a camera incorporating an embodiment of a target object tracking device according to the present invention. In the figure, reference numeral 1 is a single-lens reflex camera (hereinafter, simply referred to as a camera) applied to silver halide photography. In this camera 1, light from a subject passes through a taking lens 2 in front of the camera 1 and is reflected by a mirror 3. The light is reflected upward and is focused on the screen 4. The photographer observes the subject image formed on the screen 4 through the prism 5 and the eyepiece lens 9. Further, the subject image on the screen 4 is formed on the image pickup sensor 7 by the re-imaging lens 6, and the output from the image pickup sensor 7 is processed by the arithmetic unit 8 having a built-in microcomputer or the like. The arithmetic unit 8 includes a storage element (not shown), and a reference image serving as a template is stored as digital data in the storage element.
【０００８】図３は、撮像センサ７の詳細を示す図であ
る。図３に示すように、撮像センサ７はマトリクス状に
配列された複数（図示例では１８列×１２行）の画素１
０を備えており、撮影者が観察する被写界像と等価な像
がこの撮像センサ７上に結像される。図中、Ａは撮影者
が観察する被写界全体（すなわち撮像センサ７全体）に
対応する視野領域、Ｂは目標物体検出位置を示す追尾領
域であり、本実施例では追尾領域Ｂは４列×４行の画素
から構成されている。各画素１０は、図４に示すように
さらに３つの細画素１１ａ〜１１ｃに分割されており、
これら細画素１１ａ〜１１ｃのそれぞれに図示のごとく
ＲＧＢ３原色フィルター（不図示）が設けられることに
より、被写体像のＲＧＢ出力が得られる。FIG. 3 is a diagram showing details of the image sensor 7. As shown in FIG. 3, the image sensor 7 includes a plurality of (18 columns × 12 rows) pixels 1 arranged in a matrix.
0, and an image equivalent to the object scene image observed by the photographer is formed on the image sensor 7. In the figure, A is a visual field region corresponding to the entire field of view (that is, the entire image sensor 7) observed by the photographer, B is a tracking region indicating a target object detection position, and in the present embodiment, the tracking region B has four columns. × 4 rows of pixels. Each pixel 10 is further divided into three fine pixels 11a to 11c as shown in FIG.
By providing an RGB three-primary color filter (not shown) for each of these fine pixels 11a to 11c, RGB output of the subject image can be obtained.
【０００９】次に、図５〜図６、図９〜図１０のフロー
チャートおよび図１１〜図１６を参照して、本実施例の
カメラ１の動作について説明する。 (１) 色選択処理 図５のフローチャートに示すプログラムは、撮影者が被
写体像を観察して目標となる被写体を追尾領域Ｂ内に捉
えた段階で、たとえば不図示のレリーズボタンを半押し
する等の動作で撮影者が被写体捕捉を指令することによ
り開始する。なお、プログラム開始時においては、図３
に示すように追尾領域Ｂは視野領域Ａの略中央に位置し
ているものとする。Next, the operation of the camera 1 of the present embodiment will be described with reference to the flow charts of FIGS. 5 to 6 and 9 to 10 and FIGS. 11 to 16. (1) Color selection process The program shown in the flowchart of FIG. 5 is, for example, half-pressing a release button (not shown) when the photographer observes the subject image and captures the target subject in the tracking area B. The operation is started by the photographer issuing an instruction to capture a subject. At the start of the program,
As shown in, the tracking area B is assumed to be located substantially in the center of the visual field area A.
【００１０】まず、ステップＳ１では追尾領域Ｂ内の各
画素のＲＧＢ出力を撮像センサ７から得る。追尾領域Ｂ
内のＲＧＢ出力は、演算装置８内の不図示の一時記憶素
子内に格納される。サブルーチンＳＲ１では、ステップ
Ｓ１で得られた追尾領域Ｂ内のＲＧＢ出力の中からいず
れか１つの色出力を選択する色選択処理が行われる。First, in step S1, the RGB output of each pixel in the tracking area B is obtained from the image sensor 7. Tracking area B
R, G, and B outputs are stored in a temporary storage element (not shown) in the arithmetic unit 8. In the subroutine SR1, a color selection process of selecting any one color output from the RGB outputs in the tracking area B obtained in step S1 is performed.
【００１１】色選択処理の詳細は図６のフローチャート
に示される。ステップＳ１０１では、ステップＳ１で得
られた追尾領域Ｂ内のＲＧＢ出力を各色毎に加算する。
ステップＳ１０２では、ステップＳ１０１で得られた加
算結果の最大値を求め、この最大値が得られた色（Ｒ、
Ｇ、Ｂのいずれか）を検出、選択する。以降、選択され
た色をαで示す。この後、プログラムは図５のメインル
ーチンに戻る。Details of the color selection process are shown in the flowchart of FIG. In step S101, the RGB output in the tracking area B obtained in step S1 is added for each color.
In step S102, the maximum value of the addition result obtained in step S101 is obtained, and the color (R,
Either G or B) is detected and selected. Hereinafter, the selected color is indicated by α. After this, the program returns to the main routine of FIG.
【００１２】ステップＳ２では、追尾領域Ｂ内のＲＧＢ
出力のうちサブルーチンＳＲ１で選択された色αの出力
をＢij（ｉ，ｊ＝１〜４）とおき、演算装置８内の不図
示の記憶素子内に行列形式で格納する。この値Ｂijが、
位置を追尾すべき目標被写体（目標物体）が含まれる参
照画像データである。In step S2, RGB in the tracking area B
The output of the color α selected by the subroutine SR1 among the outputs is set as B ij (i, j = 1 to 4) and stored in a storage element (not shown) in the arithmetic unit 8 in a matrix form. This value B ij is
It is reference image data including a target subject (target object) whose position is to be tracked.
【００１３】(２) 演算領域設定 ステップＳ３では、視野領域Ａ内の各画素の色αの出力
を撮像センサ７から得る。視野領域Ａ内の色αの出力
は、演算装置８内の不図示の一時記憶手段に格納され
る。ステップＳ４では追尾領域Ｂの速度ベクトルおよび
加速度ベクトルを算出する。図１１に示すように、追尾
領域Ｂは目標被写体の移動に連れて視野領域Ａ内で移動
し、後述のステップＳ９で目標被写体を検出する毎にそ
の位置が設定される。速度ベクトルＶ（ｖx，ｖy）は、
ステップＳ９における目標被写体検出間隔の間に追尾領
域Ｂが移動した行方向（以下Ｙ方向ともいう）および列
方向（以下Ｘ方向ともいう）の画素数で定義される。ま
た、加速度ベクトルＡＣ（ａx，ａy）は、互いに隣り合
う速度ベクトルＶ1、Ｖ2（図１１参照）の行方向および
列方向の変化量（ａx＝ｖ1x−ｖ2x、ａy＝ｖ1y−ｖ2y）
で定義される。(2) Calculation Area Setting In step S3, the output of the color α of each pixel in the visual field area A is obtained from the image sensor 7. The output of the color α in the visual field area A is stored in a temporary storage unit (not shown) in the arithmetic unit 8. In step S4, the velocity vector and the acceleration vector of the tracking area B are calculated. As shown in FIG. 11, the tracking area B moves within the visual field area A as the target object moves, and its position is set each time the target object is detected in step S9 described later. The velocity vector V (v x , v y ) is
It is defined by the number of pixels in the row direction (hereinafter also referred to as the Y direction) and the column direction (hereinafter also referred to as the X direction) in which the tracking area B has moved during the target subject detection interval in step S9. Further, the acceleration vector AC (a x, a y), the velocity vector V 1 adjacent to each other, V 2 row and column directions of the amount of change (see Fig. 11) (a x = v 1x -v 2x, a y = V 1y −v 2y )
Is defined by
【００１４】ステップＳ５では、ステップＳ４で算出さ
れた速度ベクトルＶの各成分の変化量（すなわち加速度
ベクトルの各成分）の絶対値|ｖ1x−ｖ2x|、|ｖ1y−ｖ
2y|が予め定められた閾値Ｔ1より小さいか否かが判定さ
れ、判定が肯定されるとプログラムはステップＳ６へ移
行し、判定が否定されるとステップＳ７へ移行する。閾
値Ｔ1は、目標被写体がほぼ等速で移動しているか否か
を判定するためのものであり、速度ベクトルの測定誤差
等に応じて適宜設定される。ステップＳ６では、速度ベ
クトルＶ1、Ｖ2の変化量が閾値Ｔ1以下の小さい値であ
るから目標被写体は次回もほぼ同じ速度ベクトルをもっ
て移動するものと仮定し、図１１に示すようにＶ0＝Ｖ1
とおいて現在の追尾領域Ｂの位置から速度ベクトルＶ0
だけずれた位置に演算領域Ｃ（演算領域については後述
する）を設定する。この後、プログラムはステップＳＲ
２へ移行する。[0014] In step S5, the change amount of each component of the calculated velocity vector V in step S4 the absolute value of (that is, each component of the acceleration vector) | v 1x -v 2x |, | v 1y -v
It is determined whether or not 2y | is smaller than a predetermined threshold value T 1, and if the determination is affirmative, the program proceeds to step S6, and if the determination is negative, the program proceeds to step S7. The threshold value T 1 is for determining whether or not the target subject is moving at a substantially constant velocity, and is set appropriately according to the measurement error of the velocity vector and the like. In step S6, the target object because the amount of change in the velocity vector V 1, V 2 are thresholds T 1 following a small value is assumed to be moved also have approximately the same velocity vector next, V 0 as shown in FIG. 11 = V 1
In addition, the velocity vector V 0 is calculated from the current position of the tracking area B.
The calculation area C (the calculation area will be described later) is set at a position shifted by just this amount. After this, the program proceeds to step SR
Move to 2.
【００１５】次に、ステップＳ７では、ステップＳ４で
算出された加速度ベクトルＡＣの絶対値が予め定められ
た閾値Ｔ2より大きいか否かが判定され、判定が肯定さ
れるとプログラムはステップＳ８へ移行し、判定が否定
されるとサブルーチンＳＲ２へ移行する。閾値Ｔ2は、
目標被写体の速度が急激に変化しているか否かを判定す
るためのものであり、演算領域の大きさ等に応じて適宜
設定される。ステップＳ８では、加速度ベクトルＡＣの
値が閾値Ｔ2以上の大きい値であるから目標被写体の動
きは不確定である（速度がより早まるかもしれず、ある
いは突然停止するかもしれない、など）とし、Ｖ0＝Ｖ1
とおいて現在の追尾領域Ｂの位置から速度ベクトルＶ0
だけずれた位置に通常の演算領域より大きい演算領域Ｃ
（たとえば行、列ともに２倍、あるいはそれ以上）を設
定する。Next, in step S7, it is determined whether or not the absolute value of the acceleration vector AC calculated in step S4 is larger than a predetermined threshold value T 2. If the determination is affirmative, the program proceeds to step S8. If the determination is negative, the process proceeds to subroutine SR2. The threshold T 2 is
This is for determining whether or not the speed of the target subject is changing rapidly, and is appropriately set according to the size of the calculation region and the like. In step S8, since the value of the acceleration vector AC is a large value equal to or larger than the threshold value T 2 , the movement of the target object is uncertain (the speed may be faster, or the target object may suddenly stop). 0 = V 1
In addition, the velocity vector V 0 is calculated from the current position of the tracking area B.
A calculation area C that is larger than the normal calculation area at a position shifted by only
(For example, double the row and column, or more).
【００１６】(３) 最小残差量演算 サブルーチンＳＲ２では最小残差量演算が行われる。最
小残差量演算の詳細は図９のフローチャートに示され
る。まず、ステップＳ２０１では初期設定が行われる。
具体的には、図１２に示す演算領域Ｃ内の左上隅に検出
領域を設定し、カウンタｎに１を代入する。図１２は追
尾領域、演算領域および検出領域の位置関係を示す図で
ある。図１２において、Ｃは目標被写体が検索される領
域を示す演算領域である。図示例では追尾領域Ｂを中心
としてこの追尾領域Ｂより行方向、列方向ともに１画素
分だけ広い領域に演算領域Ｃが設定されているが、後述
のごとく演算領域Ｃの大きさは図示例に限定されない。
Ｄは追尾領域Ｂとの残差演算が行われる領域を示す検出
領域であり、追尾領域Ｂと等しい４列×４行の画素から
構成されている。(3) Minimum residual amount calculation Subroutine SR2 performs minimum residual amount calculation. Details of the minimum residual amount calculation are shown in the flowchart of FIG. First, in step S201, initial setting is performed.
Specifically, the detection area is set in the upper left corner of the calculation area C shown in FIG. 12, and 1 is substituted into the counter n. FIG. 12 is a diagram showing the positional relationship between the tracking area, the calculation area, and the detection area. In FIG. 12, C is a calculation area indicating an area in which the target subject is searched. In the illustrated example, the calculation region C is set to be wider than the tracking region B by one pixel in the row direction and the column direction with respect to the tracking region B as a center, but the size of the calculation region C is set to the illustrated example as described later. Not limited.
D is a detection area indicating an area where residual calculation with the tracking area B is performed, and is composed of pixels of 4 columns × 4 rows, which are the same as the tracking area B.
【００１７】ステップＳ２０３では、ステップＳ２０１
で設定された検出領域Ｄ内の色αの出力Ｄij（ｉ，ｊ＝
１〜４）をステップＳ３で求めた視野領域Ａの出力から
求める。図１２に示す領域が設定されている場合におけ
る追尾領域Ｂおよび検出領域Ｄ内の色αの出力Ｂij（こ
れは参照画像データでもある）、Ｄijの位置関係を図１
３に示す。In step S203, step S201
The output D ij (i, j = of the color α in the detection area D set by
1 to 4) are obtained from the output of the visual field area A obtained in step S3. FIG. 1 shows the positional relationship between outputs B ij (this is also reference image data) and D ij of the color α in the tracking area B and the detection area D when the area shown in FIG. 12 is set.
3 shows.
【００１８】ステップＳ２０４では、参照画像データＢ
ijおよび検出領域Ｄの出力Ｄijの残差量が演算される。
残差量は、対応する（つまり添字が共通の）画素単位で
の各出力間の差の総和、すなわちΣΣＷij|Ｂij−Ｄij|
（ここに、ΣΣはｉ＝１〜４、ｊ＝１〜４までの総和を
示す）により定義される。Ｗijは重み係数であり、残差
量が絶対差を演算する際にその情報量が減少し、加えて
総和を演算する際にさらに情報量が減少するために目標
被写体が存在しない箇所で残差量が最小となる（疑似マ
ッチングと呼ぶ）ことを防ぐためのものである。重み係
数Ｗijは、参照画像データＢijにおいて中央に近い画素
ほど目標被写体の重要なデータを与える確率が高いこと
を考慮して、中央に近い画素ほど大きくし、その値は経
験的に定められる。一例としてｉ，ｊともに２，３のど
ちらかであればＷij＝２、それ以外はＷij＝１とされ
る。残差量は、演算領域Ｃ内での演算回数ｎとともに変
数Ｓｕｍnとして演算装置８内の記憶素子内に格納され
る。In step S204, the reference image data B
The residual amount of ij and the output D ij of the detection area D is calculated.
The residual amount is the sum of the differences between the outputs in corresponding pixel units (that is, the subscripts are common), that is, ΣΣW ij | B ij −D ij |
(Here, ΣΣ represents the sum total of i = 1 to 4 and j = 1 to 4). W ij is a weighting coefficient, and the amount of information decreases when the residual amount calculates the absolute difference, and the amount of information further decreases when calculating the total sum. This is to prevent the difference amount from becoming minimum (called pseudo matching). The weighting coefficient W ij is set larger for pixels closer to the center in consideration of the fact that pixels closer to the center in the reference image data B ij are more likely to give important data of the target subject, and the value is empirically determined. . As an example, if either i or j is 2 or 3, W ij = 2, and otherwise, W ij = 1. The residual amount is stored in the storage element in the arithmetic unit 8 as a variable Sum n together with the number of times n of arithmetic operations in the arithmetic region C.
【００１９】ステップＳ２０５では、次の残差量演算の
ために検出領域Ｄを移動させ、カウンタｎを１つインク
リメントする。すなわち、検出領域Ｄを図１２、図１３
に示す位置から１画素分右へずらし、検出領域Ｄがすで
に演算領域Ｃの右端に位置しているときは１画素分下へ
ずらすとともに演算領域Ｃの左端に位置させる。このよ
うにして、検出領域Ｄは図１２、図１３において左から
右へ、上から下へ１画素毎に順次移動する。図１３に示
す位置から検出領域Ｄを１画素分右へずらした状態にお
ける追尾領域Ｂおよび検出領域Ｄ内の色αの出力Ｂij、
Ｄijの位置関係を図１４に示す。In step S205, the detection area D is moved for the next residual amount calculation, and the counter n is incremented by one. That is, the detection area D is shown in FIGS.
When the detection area D is already located at the right end of the calculation area C, the pixel is shifted to the right by one pixel from the position shown in FIG. In this way, the detection area D sequentially moves from left to right and from top to bottom in each pixel in FIGS. 12 and 13. The output B ij of the color α in the tracking area B and the detection area D in the state where the detection area D is shifted to the right by one pixel from the position shown in FIG.
The positional relationship of D ij is shown in FIG.
【００２０】ステップＳ２０６ではカウンタｎの値が最
終値（図示例ではｎ＝１０）に至ったか否かが判定さ
れ、判定が肯定されるとプログラムはステップＳ２０７
へ移行し、判定が否定されるとステップＳ２０３へ戻っ
て上述の処理を繰り返す。このようにして、検出領域Ｄ
を移動させながら参照画像データとの間で残差演算を繰
り返し、９個の残差量を演算する。残差量演算終了時に
おける追尾領域Ｂおよび検出領域Ｄ内の色αの出力
Ｂij、Ｄijの位置関係を図１５に示す。In step S206, it is determined whether the value of the counter n has reached the final value (n = 10 in the illustrated example), and if the determination is affirmative, the program proceeds to step S207.
If the determination is negative, the process returns to step S203 to repeat the above process. In this way, the detection area D
The residual calculation is repeated with respect to the reference image data while moving the, to calculate nine residual amounts. FIG. 15 shows the positional relationship between the outputs B ij and D ij of the color α in the tracking area B and the detection area D when the residual amount calculation is completed.
【００２１】ステップＳ２０７では、Ｓｕｍn（ｎ＝１
〜９）のうち最小値（最小残差量）を与えるＳｕｍnを
検出する。ステップＳ２０８では、Ｓｕｍnの最小値を
与える検出領域Ｄ内に目標被写体が存在するものと判断
し、この検出領域Ｄの位置を算出する。この後は、図５
のメインルーチンに戻る。In step S207, Sum n (n = 1
To 9) for detecting the Sum n giving the minimum value (minimum residual amount) of the. In step S208, it is determined that the target subject exists in the detection area D that gives the minimum value of Sum n , and the position of this detection area D is calculated. After this,
Return to the main routine of.
【００２２】(４) 追尾領域移動、次回演算領域設定 ステップＳ９では、サブルーチンＳＲ２によって算出さ
れた目標被写体を含む検出領域Ｄの位置に追尾領域Ｂを
移動する。これにより、移動する目標被写体の追尾が行
える。また、本実施例では、図１１に示すように速度ベ
クトルＶおよび加速度ベクトルＡＣの算出のために過去
の追尾領域Ｂの位置を必要とするため、過去２回分の追
尾領域Ｂの位置が記憶素子内に記憶される。(4) Tracking Area Movement, Next Calculation Area Setting In step S9, the tracking area B is moved to the position of the detection area D including the target object calculated by the subroutine SR2. As a result, the moving target subject can be tracked. Further, in the present embodiment, as shown in FIG. 11, the position of the past tracking area B is necessary for the calculation of the velocity vector V and the acceleration vector AC. Be stored in.
【００２３】サブルーチンＳＲ３では、次回演算領域設
定が行われる。これは、図１６に示すように、演算領域
Ｃが追尾領域Ｂより何画素分大きいかを示す画素幅につ
いて列方向の画素幅をＳx、行方向の画素幅をＳyとする
と、残差量演算回数ｎとＳx、Ｓyとの間には ｎ＝（２Ｓx＋１）×（２Ｓy＋１） という関係が存在し、目標被写体を見失わないように演
算領域Ｃを大きくすると残差量演算回数ｎが増加して目
標被写***置算出までの時間を長く必要とし、その結果
として目標被写体を見失うことがある、という二律背反
的状況があるため、サブルーチンＳＲ２で算出された最
小残差量に基づいて最適な演算領域Ｃの大きさを設定す
るためのものである。In the subroutine SR3, the next calculation area is set. As shown in FIG. 16, when the pixel width in the column direction and the pixel width in the row direction are S x and S y , respectively, the residual error indicates how many pixels the calculation area C is larger than the tracking area B. There is a relation of n = (2S x +1) × (2S y +1) between the number of times of quantity calculation n and S x , S y, and if the calculation area C is increased so as not to lose sight of the target object, the residual amount Since there is a contradictory situation in that the number of calculations n increases and it takes a long time to calculate the target object position, and as a result, the target object may be lost, it is based on the minimum residual amount calculated in the subroutine SR2. This is for setting the optimum size of the calculation area C.
【００２４】次回演算領域設定の詳細は図１０のフロー
チャートに示される。まず、ステップＳ３０１では、サ
ブルーチンＳＲ２で求められた最小残差量が閾値Ｔ3よ
り大きいか否かが判定され、判定が肯定されるとプログ
ラムはステップＳ３０２へ移行し、判定が否定されると
ステップＳ３０５へ移行する。ステップＳ３０２、Ｓ３
０３では、最小残差量が閾値Ｔ3以上の大きな値である
から目標被写体の動作が大きいものと仮定し、演算領域
Ｃを拡張する作業が行われる。すなわち、演算領域Ｃの
列方向および行方向の画素幅Ｓx、Ｓyに（最小残差量／
Ｔ3＋定数）の値を代入する。ステップＳ３０１におい
て最小残差量＞Ｔ3なる判定がされていることより（最
小残差量／Ｔ3）の項は１以上の値をとり、最小残差量
の増加に比例して増加する。ついでステップＳ３０４で
は、拡張された演算領域Ｃの大きさを安定させるため
に、閾値Ｔ3を所定量だけ増加させる。一方、ステップ
Ｓ３０５、３０６では、最小残差量が閾値Ｔ3以下の小
さな値であるから目標被写体の動作が小さいものと仮定
し、演算領域Ｃの列方向および行方向の画素幅Ｓx、Ｓy
をそれぞれ１画素ずつ縮小する作業が行われる。ついで
ステップＳ３０７では、閾値Ｔ3を所定量だけ減少させ
て以降の目標被写体の動作に備える。この後、プログラ
ムはメインルーチンに戻る。The details of the next calculation area setting are shown in the flowchart of FIG. First, in step S301, it is determined whether or not the minimum residual amount obtained in the subroutine SR2 is larger than the threshold value T 3, and if the determination is affirmative, the program proceeds to step S302, and if the determination is negative, the step is determined. The process moves to S305. Steps S302 and S3
In 03, since the minimum residual amount is a large value equal to or larger than the threshold value T 3, it is assumed that the motion of the target subject is large, and the work of expanding the calculation region C is performed. That is, the pixel widths S x and S y in the column direction and the row direction of the calculation area C are calculated as (minimum residual amount /
Substitute the value of (T 3 + constant). The term (minimum residual amount / T 3) than that in step S301 the minimum residual amount> T 3 becomes determined are taking one or more values, increases in proportion to the increase of the minimum residual amount. Next, in step S304, in order to stabilize the size of the expanded calculation area C, the threshold value T 3 is increased by a predetermined amount. On the other hand, in steps S305 and 306, since the minimum residual amount is a small value equal to or smaller than the threshold value T 3, it is assumed that the motion of the target subject is small, and the pixel widths S x and S in the column direction and the row direction of the calculation region C are assumed. y
Is reduced by one pixel. Then, in step S307, the threshold value T 3 is decreased by a predetermined amount to prepare for the subsequent movement of the target subject. After this, the program returns to the main routine.
【００２５】(５) 参照画像更新 ステップＳ１０では、サブルーチンＳＲ２で求められた
最小残差量が上述の閾値Ｔ3より大きいか否かが判定さ
れ、判定が肯定されるとプログラムはステップＳ３に戻
り、上述の処理を繰り返す。一方、判定が否定されると
プログラムはステップＳ１１に移行する。(5) Reference image update In step S10, it is determined whether or not the minimum residual amount obtained in the subroutine SR2 is larger than the above-mentioned threshold value T 3, and if the determination is positive, the program returns to step S3. , The above process is repeated. On the other hand, if the determination is negative, the program moves to step S11.
【００２６】ステップＳ１１では、参照画像の更新処理
が行われる。参照画像更新は、目標被写体の連続的な変
化（例えば正面顔から横顔）に対応するために画像を入
力するたびに参照画像データの何分の１かを新しいデー
タを含んだ形で更新する。このステップでは、参照画像
データＢijに次式 Ｂij＝(１−ｋ)Ｂij＋ｋＤij （ｉ，ｊ＝１〜４） で与えられる値を代入する。ここに、０≦ｋ≦１、通常
はｋ＝0.1〜0.2程度で与えられる経験値である。また、
Ｄijは、サブルーチンＳＲ２においてＳｕｍnが最小値
をとる検出領域Ｄのデータである。但し、目標被写体の
動きが激しいとき、または目標被写体の前方を障害物が
通過するなどの場合、参照画像の更新作業を行うと本来
の目標被写体以外のデータが取り込まれてしまうため、
上述のステップＳ１０で示すように最小残差量が閾値Ｔ
3より大きい場合に更新処理を禁止する。以後、プログ
ラムはステップＳ３に戻って上述の処理を繰り返す。In step S11, the reference image is updated. In the reference image update, a fraction of the reference image data is updated in a form including new data every time an image is input in order to correspond to a continuous change (for example, a front face to a side face) of a target subject. In this step, the value given by the following expression B ij = (1-k) B ij + kD ij (i, j = 1 to 4) is substituted into the reference image data B ij . Here, the empirical value is given by 0 ≦ k ≦ 1, usually k = 0.1 to 0.2. Also,
D ij is data of the detection area D where Sum n has the minimum value in the subroutine SR2. However, when the movement of the target subject is vigorous, or when an obstacle passes in front of the target subject, when the reference image is updated, data other than the original target subject is captured.
As shown in step S10 described above, the minimum residual amount is the threshold value T
If it is larger than 3 , update processing is prohibited. After that, the program returns to step S3 and repeats the above processing.
【００２７】以上の動作により、カメラ１により撮像さ
れる目標被写体のファインダ画面内の位置を追尾するこ
とができる。ここで、本実施例では、撮像センサ７から
のＲＧＢ出力のうち１つの色αについての出力を選択し
て残差演算を行っているので目標被写体検出のための演
算時間を全体として短縮でき、これにより、スポーツシ
ーンなど動きの速い目標被写体であってもその位置を迅
速に追尾することができる。しかも、最大出力が得られ
る色αを選択することにより目標物体を検出するために
特徴的な色を選択でき、色出力選択による情報量減少を
補って確実な位置検出が可能となる。さらに、位置検出
の度に参照画像データを部分的に更新しているので、目
標被写体の連続的変化あるいは目標被写体の輝度変化が
あっても確実に目標被写体を捕捉することができ、確実
な位置検出が可能となる。しかも、本実施例では、撮像
センサ７に対応する視野領域Ａ内に演算領域Ｃを設け、
目標被写体の速度、加速度を計測して演算領域Ｃの位置
を予測しており、また最小残差量の大きさによって演算
領域Ｃの大きさを最適に制御することで上述した従来例
のように目標被写体を見失うといった事態を防ぐことが
でき、確実な目標被写体追尾が可能となる。これによ
り、画面全体について残差量を求める必要がなくなるこ
ととあいまって、スポーツシーンなど動きの速い目標被
写体であってもその位置を確実かつ迅速に追尾すること
ができる。By the above operation, the position of the target subject imaged by the camera 1 in the viewfinder screen can be tracked. Here, in the present embodiment, the output for one color α is selected from the RGB outputs from the image sensor 7 and the residual calculation is performed, so the calculation time for target object detection can be shortened as a whole, As a result, the position of a fast-moving target object such as a sports scene can be quickly tracked. Moreover, by selecting the color α that gives the maximum output, it is possible to select a characteristic color for detecting the target object, and it is possible to compensate for the reduction in the amount of information due to the color output selection and perform reliable position detection. Furthermore, since the reference image data is partially updated each time the position is detected, the target object can be reliably captured even if there is a continuous change in the target object or a change in the brightness of the target object, and a reliable position is ensured. It becomes possible to detect. Moreover, in the present embodiment, the calculation area C is provided in the visual field area A corresponding to the image sensor 7,
The speed and acceleration of the target object are measured to predict the position of the calculation area C, and the size of the calculation area C is optimally controlled according to the size of the minimum residual amount, as in the above-described conventional example. It is possible to prevent a situation where the target subject is lost, and it is possible to reliably track the target subject. As a result, it is not necessary to obtain the residual amount for the entire screen, and the position of a fast-moving target subject such as a sports scene can be reliably and swiftly tracked.
【００２８】（変形例）色選択は、上述の一実施例に示
すように最大出力が得られる色αを選択する手法のみな
らず、他の好適な手法も採用できる。図７は、色選択処
理の他の例を示すフローチャートである。ステップＳ４
０１では、ステップＳ１で得られた追尾領域Ｂ内のＲＧ
Ｂ出力を各色毎に加算する。ステップＳ４０２では、図
１７に示すように追尾領域Ｂの上下左右にそれぞれ隣接
し、この追尾領域Ｂと同様に４列×４行の画素から構成
される４つの隣接領域Ｂ1〜Ｂ4内のそれぞれのＲＧＢ出
力を各色毎に加算する。ステップＳ４０３では、ステッ
プＳ４０１およびＳ４０２で得られた追尾領域Ｂ内の加
算結果およびそれぞれの隣接領域Ｂ1〜Ｂ4内の加算結果
の差を各色毎に求め、その最大値が得られた色（Ｒ、
Ｇ、Ｂのいずれか）を検出、選択する。この後、プログ
ラムは図５のメインルーチンに戻る。(Modification) The color selection is not limited to the method of selecting the color α which gives the maximum output as shown in the above-mentioned embodiment, but other suitable methods can be adopted. FIG. 7 is a flowchart showing another example of the color selection process. Step S4
In 01, the RG in the tracking area B obtained in step S1
The B output is added for each color. In step S402, as shown in FIG. 17, the four adjacent regions B 1 to B 4 which are adjacent to each other in the upper, lower, left, and right sides of the tracking region B, and which are composed of pixels of 4 columns × 4 rows, as in the tracking region B, are formed. The respective RGB outputs are added for each color. In step S403, it obtains a difference between the addition result of the addition result and the respective adjacent regions B 1 .about.B 4 in the tracking area B obtained in step S401 and S402 for each color, the color of its maximum value is obtained ( R,
Either G or B) is detected and selected. After this, the program returns to the main routine of FIG.
【００２９】図８は、色選択処理のまた他の例を示すフ
ローチャートである。ステップＳ５０１では、追尾領域
Ｂと同様に４列×４行の画素から構成され、この追尾領
域Ｂから上下左右、および左右斜め上下にそれぞれ１画
素分ずらして配置された８つの検出領域および追尾領域
の各々の残差量を各色毎にそれぞれ求める。ステップＳ
５０２では、ステップＳ５０１で得られた８つの残差量
の最小値を各色毎に求める。ステップＳ５０３では、ス
テップＳ５０２で得られた残差量の最小値から、その最
大値となる色（Ｒ、Ｇ、Ｂのいずれか）を検出、選択す
る。この後、プログラムは図５のメインルーチンに戻
る。FIG. 8 is a flow chart showing another example of the color selection process. In step S501, eight detection areas and tracking areas each of which is composed of 4 columns × 4 rows of pixels similarly to the tracking area B and are arranged vertically and horizontally and diagonally above and below the tracking area B by one pixel respectively. The residual amount of each is calculated for each color. Step S
In step 502, the minimum value of the eight residual amounts obtained in step S501 is calculated for each color. In step S503, from the minimum value of the residual amount obtained in step S502, the color (R, G, or B) having the maximum value is detected and selected. After this, the program returns to the main routine of FIG.
【００３０】なお、本発明の目標物体追尾装置は、その
細部が上述の実施例に限定されず、種々の変形が可能で
ある。一例として、一実施例では本発明を一眼レフカメ
ラに適用した例を示したが、ビデオカメラ等の動画撮影
用撮像手段にも適用可能である。また、テンプレートと
なる参照画像データは、上述の実施例のごとく目標物体
追尾前に取り込んだものだけでなく、目標物体の形状等
を予め知ることができるのであれば、この目標物体に対
応して予め記憶したものであってもよい。同様に、入力
画像データも実時間的に入力されるものだけでなく、予
め記憶しておいたものであってもよい。また、上述の実
施例では速度，加速度の双方を用いて演算領域の設定を
行なっていたが、いずれか一方のみでもよい。加速度を
用いた場合、加速度が零とはすなわち目標物体が等速で
移動していることであるから、加速度および初速を検出
すれば演算領域の位置，大きさの双方を設定できる。The details of the target object tracking device of the present invention are not limited to those in the above-described embodiments, and various modifications are possible. As one example, in one embodiment, the present invention is applied to a single-lens reflex camera, but it can also be applied to a moving image capturing means such as a video camera. Further, the reference image data serving as a template is not limited to the one captured before the tracking of the target object as in the above-described embodiment, and if the shape of the target object can be known in advance, it corresponds to the target object. It may be stored in advance. Similarly, the input image data may not only be input in real time, but may be stored in advance. Further, in the above-described embodiment, the calculation area is set using both speed and acceleration, but only one of them may be set. When acceleration is used, zero acceleration means that the target object is moving at a constant speed. Therefore, both the position and size of the calculation area can be set by detecting the acceleration and the initial speed.
【００３１】[0031]
【発明の効果】以上詳細に説明したように、請求項１の
発明によれば、参照画像データおよび入力画像データに
共通して含まれる複数の色のうち少なくとも１つの色を
選択し、この選択された色の成分について残差量を演算
しているので、全ての色成分について残差量を算出する
場合に比較して、残差演算手順の省略、演算時間の短縮
を図ることができる。これにより、スポーツシーンなど
動きの速い目標物体であってもその位置を迅速に追尾す
ることが可能となる。特に、請求項２〜４の発明によれ
ば、最大出力が得られる色などを色選択手段が選択して
いるので、目標物体を検出するために特徴的な色を選択
できて色出力選択による情報量減少を補って確実な位置
検出が可能となる。また、請求項５の発明によれば、目
標物体の移動量等を反映する最小残差量に基づいて残差
量演算のための演算領域を設定しているので、たとえば
最小残差量が大きい場合は領域設定手段で通常より広い
演算領域を設定することによって目標物体の確実な捕捉
が可能となる。さらに、請求項６の発明は、更新手段に
より目標物体の位置に対応する入力画像データの少なく
とも一部を取り込んで参照画像データを更新しているの
で、目標物体の連続的変化あるいは目標物体の輝度変化
があっても確実に目標物体を捕捉することができ、確実
な位置検出が可能となる。そして、請求項８の発明は、
位置検出手段により時系列的に検出された目標物体の少
なくとも２つの位置に基づいてこの目標物体の動作を検
出しており、この目標物体の動作からは、たとえば等速
度で進行している、あるいは急激に速度を変化させてい
るなどの目標物体の動作の傾向が把握できる。したがっ
て、予測位置算出手段により目標物体の予測位置を算出
することにより、スポーツシーンなど動きの速い目標物
体であってもその位置を確実に追尾することができる。As described above in detail, according to the invention of claim 1, at least one color is selected from a plurality of colors commonly included in the reference image data and the input image data, and this selection is performed. Since the residual amount is calculated for each color component, the residual calculation procedure can be omitted and the calculation time can be shortened as compared with the case where the residual amounts are calculated for all color components. This makes it possible to quickly track the position of a fast-moving target object such as a sports scene. In particular, according to the inventions of claims 2 to 4, since the color selecting means selects a color or the like at which the maximum output is obtained, it is possible to select a characteristic color for detecting the target object. It is possible to detect the position reliably by compensating for the decrease in the amount of information. Further, according to the invention of claim 5, since the calculation area for calculating the residual amount is set based on the minimum residual amount that reflects the movement amount of the target object, etc., the minimum residual amount is large, for example. In this case, a target object can be reliably captured by setting a calculation area wider than usual by the area setting means. Further, in the invention of claim 6, since the reference image data is updated by capturing at least a part of the input image data corresponding to the position of the target object by the updating means, the continuous change of the target object or the brightness of the target object. Even if there is a change, the target object can be captured with certainty, and reliable position detection can be performed. And the invention of claim 8 is
The motion of the target object is detected based on at least two positions of the target object detected in time series by the position detection means, and the motion of the target object is proceeding at a constant speed, for example, or It is possible to grasp the tendency of the movement of the target object such as the speed being changed rapidly. Therefore, by calculating the predicted position of the target object by the predicted position calculation means, it is possible to reliably track the position of a fast moving target object such as a sports scene.
【図１】本発明のクレーム対応図である。FIG. 1 is a diagram corresponding to a claim of the present invention.
【図２】本発明の目標物体追尾装置が適用されたカメラ
の一実施例を示す概略図である。FIG. 2 is a schematic view showing an embodiment of a camera to which the target object tracking device of the present invention is applied.
【図３】撮像センサの詳細を示す図である。FIG. 3 is a diagram showing details of an image sensor.
【図４】画素の詳細を示す図である。FIG. 4 is a diagram showing details of a pixel.
【図５】一実施例の動作を説明するためのフローチャー
トである。FIG. 5 is a flowchart for explaining the operation of one embodiment.
【図６】色選択処理の一例を示すフローチャートであ
る。FIG. 6 is a flowchart illustrating an example of color selection processing.
【図７】色選択処理の他の例を示すフローチャートであ
る。FIG. 7 is a flowchart showing another example of color selection processing.
【図８】色選択処理のまた他の例を示すフローチャート
である。FIG. 8 is a flowchart showing still another example of color selection processing.
【図９】最小残差量演算の詳細を示すフローチャートで
ある。FIG. 9 is a flowchart showing details of minimum residual amount calculation.
【図１０】次回演算領域設定の詳細を示すフローチャー
トである。FIG. 10 is a flowchart showing details of next calculation area setting.
【図１１】速度ベクトルの定義および速度による被写体
位置の予測を示す図である。FIG. 11 is a diagram showing a definition of a velocity vector and prediction of a subject position based on a velocity.
【図１２】追尾領域、演算領域および検出領域の初期設
定時の位置関係を示す図である。FIG. 12 is a diagram showing a positional relationship between a tracking area, a calculation area, and a detection area at the time of initial setting.
【図１３】初期設定時における追尾領域および検出領域
内の色出力の位置関係を示す図である。FIG. 13 is a diagram showing a positional relationship of color outputs in a tracking area and a detection area at the time of initial setting.
【図１４】残差演算途中における追尾領域および検出領
域内の色出力の位置関係を示す図である。FIG. 14 is a diagram showing a positional relationship of color outputs in a tracking area and a detection area during a residual calculation.
【図１５】残差演算終了時における追尾領域および検出
領域内の色出力の位置関係を示す図である。FIG. 15 is a diagram showing a positional relationship of color outputs in a tracking area and a detection area at the end of residual calculation.
【図１６】演算領域設定手順を説明するための図であ
る。FIG. 16 is a diagram for explaining a calculation region setting procedure.
【図１７】色選択処理２での検出領域と隣接領域との位
置関係を示す図である。FIG. 17 is a diagram showing a positional relationship between a detection area and an adjacent area in color selection processing 2;
１ カメラ ７ 撮像センサ ８ 演算装置 １０ 画素 1 camera 7 image sensor 8 arithmetic unit 10 pixels
Claims (10)
入力画像データを出力する撮像手段と、 前記撮影手段の出力に基づいて、追尾すべき目標物体の
画像データとなる参照画像データを記憶する記憶手段
と、 前記入力画像データおよび前記参照画像データの最小残
差量を算出する演算手段と、 前記最小残差量に基づいて前記目標物体の位置を検出す
る位置検出手段とを備えた目標物体追尾装置において、 前記参照画像データおよび前記入力画像データに共通し
て含まれる複数の色のうち少なくとも１つの色を選択す
る色選択手段を備え、 前記演算手段は、前記色選択手段により選択された色の
成分について前記最小残差量を演算することを特徴とす
る目標物体追尾装置。1. An image pickup unit for measuring an object field to output input image data having a plurality of color components, and reference image data serving as image data of a target object to be tracked based on the output of the image pickup unit. A storage unit for storing the above, an arithmetic unit for calculating a minimum residual amount of the input image data and the reference image data, and a position detecting unit for detecting the position of the target object based on the minimum residual amount. In the target object tracking device, a color selection unit that selects at least one color among a plurality of colors that are commonly included in the reference image data and the input image data is provided, and the calculation unit is the color selection unit. A target object tracking device, wherein the minimum residual amount is calculated for the selected color component.
いて、 前記参照画像データを前記色成分別に加算し、その加算
結果が最大となる色を検出する最強色検出手段を備え、 前記色選択手段は、前記最強色検出手段により検出され
た色を選択することを特徴とする目標物体追尾装置。2. The target object tracking device according to claim 1, further comprising: strongest color detection means for adding the reference image data for each of the color components and detecting a color having a maximum addition result. The target object tracking device is characterized in that the means selects the color detected by the strongest color detection means.
いて、 前記参照画像データが含まれる領域に隣接する隣接領域
を前記被写界内に設定する隣接領域設定手段と、 前記参照画像データを前記色成分別に加算するととも
に、前記隣接領域に含まれる前記入力画像データを前記
色成分別に加算し、前記参照画像データの加算結果と前
記隣接領域内の前記入力画像データの加算結果との差が
最大となる色を検出する最大差色検出手段とを備え、 前記色選択手段は、前記最大差色検出手段により検出さ
れた色を選択することを特徴とする目標物体追尾装置。3. The target object tracking device according to claim 1, wherein an adjacent area setting unit that sets an adjacent area adjacent to an area including the reference image data in the object scene, and the reference image data. While adding for each color component, the input image data included in the adjacent area is added for each color component, and the difference between the addition result of the reference image data and the addition result of the input image data in the adjacent area is A target object tracking device, comprising: a maximum difference color detection means for detecting a maximum color; wherein the color selection means selects a color detected by the maximum difference color detection means.
いて、 前記参照画像データが含まれる領域に隣接する隣接領域
を前記被写界内に設定する隣接領域設定手段と、 前記参照画像データおよび前記隣接領域に含まれる前記
入力画像データの残差値を前記色成分別に算出し、この
残差値の最大値または最小値が得られる色を検出する残
差値色検出手段とを備え、 前記色選択手段は、前記残差値色検出手段により検出さ
れた色を選択することを特徴とする目標物体追尾装置。4. The target object tracking device according to claim 1, wherein an adjacent area setting unit that sets an adjacent area adjacent to an area including the reference image data in the object scene, the reference image data, and A residual value color detecting means for calculating a residual value of the input image data included in the adjacent area for each color component, and detecting a color for which a maximum value or a minimum value of the residual value is obtained, The target object tracking device, wherein the color selecting means selects the color detected by the residual value color detecting means.
する撮像手段と、 追尾すべき目標物体の画像データとなる前記入力画像デ
ータの一部を取り込んだ参照画像データを記憶する記憶
手段と、 前記参照画像データを含む領域より広い演算領域を前記
被写界内に設定する領域設定手段と、 前記演算領域内の前記入力画像データおよび前記参照画
像データの最小残差量を算出する演算手段と、 前記最小残差量に基づいて前記被写界内の前記目標物体
の位置を検出する位置検出手段とを備え、 前記領域設定手段は、前記演算手段により算出されてい
る前記最小残差量に基づいて次回用いられる前記演算領
域を設定することを特徴とする目標物体追尾装置。5. An image pickup means for photometrically measuring an object field and outputting input image data, and a storage means for storing reference image data which is a part of the input image data to be image data of a target object to be tracked. An area setting means for setting an operation area wider than an area including the reference image data in the scene, and an operation for calculating a minimum residual amount of the input image data and the reference image data in the operation area. Means and position detecting means for detecting the position of the target object in the object field based on the minimum residual amount, wherein the area setting means is the minimum residual error calculated by the calculating means. A target object tracking device, characterized in that the calculation region to be used next time is set based on the amount.
を記憶する記憶手段と、 前記入力画像データおよび前記参照画像データの最小残
差量を算出する演算手段と、 前記最小残差量に基づいて前記目標物体の位置を検出す
る位置検出手段とを備えた目標物体追尾装置において、 前記目標物体の位置に対応する前記入力画像データの少
なくとも一部を取り込んで次回用いられる前記参照画像
データを更新する更新手段を備え、 前記演算手段は、前記更新手段により更新された参照画
像データを用いて前記最小残差量を算出することを特徴
とする目標物体追尾装置。6. An image pickup means for outputting input image data, a storage means for storing reference image data which is image data of a target object to be tracked, and a minimum residual amount of the input image data and the reference image data. In a target object tracking device comprising a calculating means for calculating and a position detecting means for detecting the position of the target object based on the minimum residual amount, at least one of the input image data corresponding to the position of the target object. It is provided with an updating means for retrieving a part and updating the reference image data to be used next time, wherein the computing means calculates the minimum residual amount using the reference image data updated by the updating means. Target object tracking device.
いて、 前記更新手段は、前記演算手段により算出された前記最
小残差量が所定値以下である場合にのみ前記参照画像デ
ータを更新することを特徴とする目標物体追尾装置。7. The target object tracking device according to claim 6, wherein the updating unit updates the reference image data only when the minimum residual amount calculated by the calculating unit is equal to or less than a predetermined value. A target object tracking device characterized by the above.
画像データとなる参照画像データを記憶する記憶手段
と、 前記入力画像データおよび前記参照画像データの最小残
差量を算出する演算手段と、 前記最小残差量に基づいて前記目標物体の位置を検出す
る位置検出手段とを備えた目標物体追尾装置において、 前記位置検出手段により時系列的に検出された前記目標
物体の少なくとも２つの位置に基づいてこの目標物体の
動作を検出する動作検出手段と、 前記動作検出手段により算出された前記目標物体の動作
からこの目標物体の予測位置を算出する予測位置算出手
段とを備えたことを特徴とする目標物体追尾装置。8. An image pickup unit that outputs input image data, a storage unit that stores reference image data that is image data of a target object to be tracked based on an output of the image pickup unit, the input image data and the In a target object tracking device including a calculation unit that calculates a minimum residual amount of reference image data and a position detection unit that detects the position of the target object based on the minimum residual amount, A motion detecting unit that detects a motion of the target object based on at least two positions of the target object that are sequentially detected, and a predicted position of the target object from the motion of the target object calculated by the motion detecting unit. A target object tracking device, comprising: a predicted position calculating means for calculating.
いて、 前記動作検出手段は、前記位置検出手段により時系列的
に検出された前記目標物体の少なくとも２つの位置に基
づいてこの目標物体の速度を算出する速度算出手段を備
えていることを特徴とする目標物体追尾装置。9. The target object tracking device according to claim 8, wherein the motion detecting unit detects the target object based on at least two positions of the target object detected in time series by the position detecting unit. A target object tracking device comprising a speed calculation means for calculating a speed.
尾装置において、 前記動作検出手段は、前記位置検出手段により時系列的
に検出された前記目標物体の少なくとも３つの位置に基
づいてこの目標物体の加速度を算出する加速度算出手段
を備え、 前記予測位置算出手段は前記加速度から目標物体の予測
位置を算出することを特徴とする目標物体追尾装置。10. The target object tracking device according to claim 8 or 9, wherein the motion detecting means determines the target based on at least three positions of the target object detected in time series by the position detecting means. A target object tracking device, comprising: an acceleration calculation means for calculating acceleration of an object, wherein the predicted position calculation means calculates a predicted position of a target object from the acceleration.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23739092A JP3174869B2 (en) | 1992-09-04 | 1992-09-04 | Target object tracking device |
| US08/114,148 US5392088A (en) | 1992-09-04 | 1993-09-01 | Target follow-up device and camera comprising the same |
| EP19930202587 EP0586019A3 (en) | 1992-09-04 | 1993-09-03 | Target follow-up device and camera comprising the same. |
| US08/291,603 US5512974A (en) | 1992-09-04 | 1994-08-16 | Target follow-up device and camera comprising the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23739092A JP3174869B2 (en) | 1992-09-04 | 1992-09-04 | Target object tracking device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001006347A Division JP3704045B2 (en) | 2001-01-15 | 2001-01-15 | Target object tracking device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0683963A true JPH0683963A (en) | 1994-03-25 |
| JP3174869B2 JP3174869B2 (en) | 2001-06-11 |
Family
ID=17014683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23739092A Expired - Lifetime JP3174869B2 (en) | 1992-09-04 | 1992-09-04 | Target object tracking device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3174869B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046647A (en) * | 2002-07-12 | 2004-02-12 | Univ Waseda | Method and device for tracking moving object based on dynamic image data |
| JP2009109714A (en) * | 2007-10-30 | 2009-05-21 | Nikon Corp | Image recognizing device, focus adjusting device, and imaging device |
| JP2010136095A (en) * | 2008-12-04 | 2010-06-17 | Canon Inc | Track imaging device, track imaging method, and computer program |
| JP2010282537A (en) * | 2009-06-08 | 2010-12-16 | Nikon Corp | Subject tracking device and camera |
| JP2012182821A (en) * | 2012-04-27 | 2012-09-20 | Nikon Corp | Tracker, focus adjustment device and imaging apparatus |
| US8401228B2 (en) | 2007-07-04 | 2013-03-19 | Nikon Corporation | Autofocus using object tracking based on adaptive template matching range |
-
1992
- 1992-09-04 JP JP23739092A patent/JP3174869B2/en not_active Expired - Lifetime
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046647A (en) * | 2002-07-12 | 2004-02-12 | Univ Waseda | Method and device for tracking moving object based on dynamic image data |
| US8401228B2 (en) | 2007-07-04 | 2013-03-19 | Nikon Corporation | Autofocus using object tracking based on adaptive template matching range |
| US8712101B2 (en) | 2007-07-04 | 2014-04-29 | Nikon Corporation | Imaging apparatus having selection unit to select focus detection areas |
| JP2009109714A (en) * | 2007-10-30 | 2009-05-21 | Nikon Corp | Image recognizing device, focus adjusting device, and imaging device |
| US8218064B2 (en) | 2007-10-30 | 2012-07-10 | Nikon Corporation | Image recognition device, focus adjustment device, image-capturing device, and image recognition method |
| US8749637B2 (en) | 2007-10-30 | 2014-06-10 | Nikon Corporation | Image recognition device, focus adjustment device, image-capturing device, and image recognition method |
| JP2010136095A (en) * | 2008-12-04 | 2010-06-17 | Canon Inc | Track imaging device, track imaging method, and computer program |
| JP2010282537A (en) * | 2009-06-08 | 2010-12-16 | Nikon Corp | Subject tracking device and camera |
| US8509543B2 (en) | 2009-06-08 | 2013-08-13 | Nikon Corporation | Subject tracking device and camera |
| JP2012182821A (en) * | 2012-04-27 | 2012-09-20 | Nikon Corp | Tracker, focus adjustment device and imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3174869B2 (en) | 2001-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8605942B2 (en) | Subject tracking apparatus, imaging apparatus and subject tracking method | |
| US5392088A (en) | Target follow-up device and camera comprising the same | |
| JP5167750B2 (en) | TRACKING DEVICE, IMAGING DEVICE, AND TRACKING METHOD | |
| JP5237721B2 (en) | Imaging device | |
| JP6415196B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| US9979876B2 (en) | Imaging apparatus, imaging method, and storage medium | |
| JP3704045B2 (en) | Target object tracking device | |
| JP5499853B2 (en) | Electronic camera | |
| JP5641771B2 (en) | Focus detection device | |
| US6963376B2 (en) | Distance measuring device and a camera provided with the distance measuring device | |
| JPH0683963A (en) | Target tracking device | |
| JPH09318870A (en) | Range finder, photographing device, and background processor | |
| JP2010021645A (en) | Image processing apparatus, image capturing apparatus, and image processing program | |
| JP2605004B2 (en) | Automatic tracking device in camera | |
| JP4935380B2 (en) | Image tracking device and imaging device | |
| JPS6110372A (en) | Automatic tracking device in camera | |
| JP2603212B2 (en) | Automatic tracking device in camera | |
| JP2001165622A (en) | Optical device | |
| US11558542B1 (en) | Event-assisted autofocus methods and apparatus implementing the same | |
| JPH065909B2 (en) | Automatic tracking device in camera | |
| JP5541396B2 (en) | Image tracking device | |
| JP2000089091A (en) | Focus detector, range-finding device, and optical equipment | |
| JP3237273B2 (en) | Camera with subject tracking function | |
| JP2537169B2 (en) | Automatic tracking device in camera | |
| JP2008053809A (en) | Camera and subject area extracting method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 12 |