JPH0575909A - Image tracking device - Google Patents
Image tracking deviceInfo
- Publication number
- JPH0575909A JPH0575909A JP3236660A JP23666091A JPH0575909A JP H0575909 A JPH0575909 A JP H0575909A JP 3236660 A JP3236660 A JP 3236660A JP 23666091 A JP23666091 A JP 23666091A JP H0575909 A JPH0575909 A JP H0575909A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- target
- tracking
- tracking target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は画像追尾装置に係り、特
にテレビカメラ等の撮像装置から得られた画像中のある
領域内の画像を追尾目標として設定し、その追尾目標を
レファレンスとして入力画像との相関をとり、画像中の
目標の位置を算出し、追尾する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image tracking device, and more particularly, it sets an image within a certain region in an image obtained from an image pickup device such as a television camera as a tracking target, and inputs the tracking target as a reference image. The present invention relates to a device that calculates the position of a target in an image by performing correlation with
【０００２】画像中の目標を追尾する方法として、面積
重心方式や相関追尾方式等が従来より知られている。面
積重心方式は画像を二値化して面積重心位置を求め目標
として抽出する方式である。一方、相関追尾方式は画像
中のある領域内の画像を追尾目標として設定し、その追
尾目標をレファレンスとして入力画像との相関をとり、
画像中の目標の位置を算出して追尾する方式である。As a method for tracking a target in an image, an area center of gravity method, a correlation tracking method, etc. have been conventionally known. The area center-of-gravity method is a method of binarizing an image to obtain the area center-of-gravity position and extracting it as a target. On the other hand, the correlation tracking method sets an image within a certain area in the image as a tracking target, and takes the tracking target as a reference to correlate with the input image,
It is a method of calculating and tracking the position of a target in an image.
【０００３】前記した面積重心方式は画像中の背景が複
雑であったり、目標の内部に構造があるような場合に
は、二値化して目標のみを抽出することは困難であるた
め、面積重心方式より相関追尾方式の方が適しているこ
とが多い。The above area centroid method is difficult to binarize and extract only the target when the background in the image is complicated or there is a structure inside the target. The correlation tracking method is often more suitable than the method.
【０００４】しかしながら、相関追尾方式においても、
目標と背景との分離が困難であるため、目標形状の変化
に対応した目標レファレンスの更新が難かしく、目標レ
ファレンスの更新を行ないながら相関追尾を行なう画像
追尾装置が必要とされる。However, even in the correlation tracking method,
Since it is difficult to separate the target and the background, it is difficult to update the target reference corresponding to the change in the target shape, and an image tracking device that performs correlation tracking while updating the target reference is required.
【０００５】[0005]
【従来の技術】図８は従来の画像追尾装置の一例のブロ
ック図を示す。同図中、撮像装置により撮像して得られ
た画像信号は、レファレンス画像入力部１及び画像入力
部２に夫々供給される。レファレンス設定部３は入力画
像信号により表わされる画像中の追尾しようとする画像
の領域をスイッチ４を介して設定する。2. Description of the Related Art FIG. 8 is a block diagram showing an example of a conventional image tracking device. In the figure, image signals obtained by imaging by the imaging device are supplied to the reference image input unit 1 and the image input unit 2, respectively. The reference setting unit 3 sets the area of the image to be tracked in the image represented by the input image signal via the switch 4.
【０００６】これにより、レファレンス画像メモリ５に
はレファレンス画像入力部１より、追尾しようとする画
像の画像信号のみが入力され、ここで記憶される。相関
値ピーク点算出部６は画像入力部２を介して逐次入力さ
れる画面領域全体の画像信号とレファレンス画像メモリ
５よりのレファレンス画像信号とを比較し、目標位置を
算出する。As a result, only the image signal of the image to be tracked is input to the reference image memory 5 from the reference image input section 1 and stored therein. The correlation value peak point calculation unit 6 compares the image signal of the entire screen area sequentially input through the image input unit 2 with the reference image signal from the reference image memory 5 to calculate the target position.
【０００７】すなわち、相関値ピーク点算出部６は、画
像入力部２よりの図９に示す画面領域Ｉ全体の画像信号
Ｉ（ｘ，ｙ）に対して、レファレンス画像メモリ５より
のレファレンス画像信号ＲＥＦ（ｘ，ｙ）により表わさ
れるレファレンス領域IIの位置を、画面領域Ｉ内で図９
に示す如く移動し、次式で表わされる相関値Ｃ（ｘ，
ｙ）が最小となる点を目標位置として算出する。That is, the correlation value peak point calculating section 6 receives the reference image signal from the reference image memory 5 with respect to the image signal I (x, y) of the entire screen area I shown in FIG. The position of the reference area II represented by REF (x, y) in the screen area I is shown in FIG.
, And the correlation value C (x,
The point where y) is the minimum is calculated as the target position.
【０００８】[0008]
【数１】 [Equation 1]
【０００９】ただし、上式中、入力画像Ｉ（ｘ，ｙ）は
０≦ｘ＜Ｍ，０≦ｙ＜Ｎの範囲内にあり、レファレンス
画像ＲＥＦ（ｘ，ｙ）は０≦ｘ＜ｐ，０≦ｙ＜ｑの範囲
内にある。However, in the above equation, the input image I (x, y) is in the range of 0 ≦ x <M, 0 ≦ y <N, and the reference image REF (x, y) is 0 ≦ x <p, It is within the range of 0 ≦ y <q.
【００１０】[0010]
【発明が解決しようとする課題】従来は目標捕捉時に追
尾目標（レファレンス画像）を設定後、そのレファレン
ス画像を更新するのが、背景と目標との分離が困難なた
めに難しく、よって初期に設定されたレファレンス画像
のみで追尾を行なっていた。Conventionally, it is difficult to set a tracking target (reference image) at the time of target acquisition and then update the reference image because it is difficult to separate the background and the target. The tracking was performed only with the reference image that was taken.
【００１１】このため、追尾目標が時間の変化と共に形
状が変化するような場合には、追尾目標を正確に追尾で
きなくなったり、追尾不能となるといった問題がある。Therefore, when the shape of the tracking target changes with time, there is a problem that the tracking target cannot be tracked accurately or cannot be tracked.
【００１２】本発明は上記の点に鑑みなされたもので、
背景位置を基に目標と背景のずれを検出してレファレン
ス画像を更新することにより、上記の課題を解決した画
像追尾装置を提供することを目的とする。The present invention has been made in view of the above points,
An object of the present invention is to provide an image tracking device that solves the above problems by detecting a deviation between the target and the background based on the background position and updating the reference image.
【００１３】[0013]
【課題を解決するための手段】図１は本発明の原理構成
図を示す。同図において、追尾目標入力手段１１は撮像
装置により得られた入力画像中から任意の領域の画像を
追尾目標として入力する。記憶手段１２は追尾目標の画
像を記憶する。背景画像設定手段１３は入力画像中から
追尾目標の背景となる背景画像を設定する。FIG. 1 is a block diagram showing the principle of the present invention. In the figure, the tracking target input means 11 inputs an image of an arbitrary area from the input image obtained by the image pickup device as a tracking target. The storage unit 12 stores the image of the tracking target. The background image setting means 13 sets a background image as a background of the tracking target from the input image.
【００１４】第１の検出手段１４は、現在の入力画像と
設定された前記背景画像との相関値に基づき、現在の入
力画像の背景に関する位置及び相関情報を算出する。The first detecting means 14 calculates the position and correlation information regarding the background of the current input image based on the correlation value between the current input image and the set background image.
【００１５】差分値生成手段１５は、算出された前記背
景位置に基づいて前記現在の入力画像と前回の入力画像
との背景位置を合わせて、両者の差分値を取り出す。The difference value generating means 15 matches the background positions of the current input image and the previous input image based on the calculated background position, and extracts the difference value between the two.
【００１６】第２の算出手段１６は、記憶手段１２から
の追尾目標と前記現在の入力画像との相関値に基づき、
現在の入力画像の追尾目標位置を算出する。The second calculating means 16 is based on the correlation value between the tracking target from the storage means 12 and the current input image,
The tracking target position of the current input image is calculated.
【００１７】第３の算出手段１７は、前記差分値と、算
出された前記背景の相関情報及び追尾目標位置とから前
記追尾目標のサイズを算出する。The third calculating means 17 calculates the size of the tracking target from the difference value, the calculated background correlation information and the tracking target position.
【００１８】スイッチ手段１８は、第１の算出手段１４
で算出された背景の相関情報が一定値以下のときのみ、
前記現在の入力画像中の前記第２及び第３の算出手段１
６，１７で算出された位置及びサイズの画像部分を、前
記追尾目標入力手段１１を通して前記追尾目標として記
憶手段１２に更新記憶させる。The switch means 18 is the first calculating means 14
Only when the background correlation information calculated in is less than a certain value,
The second and third calculating means 1 in the current input image
The image portions having the positions and sizes calculated in 6 and 17 are updated and stored in the storage unit 12 as the tracking target through the tracking target input unit 11.
【００１９】[0019]
【作用】本発明では、第１の算出手段１４で算出された
背景位置を基に、差分値生成手段１５で画像の背景を合
わせて差分値を生成し、この差分値により追尾目標と背
景とのズレだけを検出することができる。In the present invention, based on the background position calculated by the first calculating means 14, the difference value generating means 15 combines the backgrounds of the images to generate a difference value, and the difference value generates a tracking target and a background. Only the deviation can be detected.
【００２０】従って、第３の算出手段１７において、上
記の差分値に基づいて新しい追尾目標のサイズを算出で
きるため、追尾目標の移動や形状変化に対応した追尾目
標の更新が可能となる。Therefore, the third calculating means 17 can calculate the size of the new tracking target based on the above difference value, so that the tracking target can be updated corresponding to the movement of the tracking target or the change in shape.
【００２１】[0021]
【実施例】図２は本発明装置の一実施例の構成図を示
す。同図中、画像追尾回路２０は本発明の要部をなす回
路で、テレビカメラ２１により得られた入力画像のうち
の任意の領域の画像を追尾目標として設定し、その追尾
目標をレファレンスとして入力画像との相関をとり、入
力画像中の目標の位置を算出して追尾フィルタ２２へ出
力する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 2 is a block diagram of an embodiment of the device of the present invention. In the figure, an image tracking circuit 20 is a circuit forming a main part of the present invention. An image in an arbitrary area of an input image obtained by the television camera 21 is set as a tracking target, and the tracking target is input as a reference. The position of the target in the input image is calculated by correlating with the image and output to the tracking filter 22.
【００２２】追尾フィルタ２２は目標位置入力に基づき
追尾レートを算出し、その算出追尾レートをスイッチ回
路２３の端子２３ａに入力する。ジョイスティック２４
はテレビカメラ２１の撮像方向を任意にコントロールす
るための入力装置である。スイッチ回路２３は捕捉・追
尾切換え信号によりスイッチング制御され、追尾時は端
子２３ａに入力される追尾レートを選択してジンバル２
５へ供給し、捕捉時は端子２３ｂに入力されるジョイス
ティック２４よりの信号を選択してジンバル２５へ供給
する。The tracking filter 22 calculates the tracking rate based on the target position input, and inputs the calculated tracking rate to the terminal 23a of the switch circuit 23. Joystick 24
Is an input device for arbitrarily controlling the image pickup direction of the television camera 21. The switch circuit 23 is switching-controlled by a capture / tracking switching signal, and at the time of tracking, the tracking rate input to the terminal 23a is selected to select the gimbal 2
5, and at the time of capturing, a signal from the joystick 24 input to the terminal 23b is selected and supplied to the gimbal 25.
【００２３】ジンバル２５はスイッチ回路２３からの信
号を駆動信号として受け、その駆動信号に応じてテレビ
カメラ２１の撮像方向を移動制御する旋回台である。ジ
ンバル２５の１ステップの動作は画像の一画素の瞬時視
野と同角度であるものとし、画像の位相を常に合わせる
ようにする。The gimbal 25 is a swivel base that receives a signal from the switch circuit 23 as a drive signal and controls the movement of the image pickup direction of the television camera 21 according to the drive signal. The one-step operation of the gimbal 25 is at the same angle as the instantaneous visual field of one pixel of the image, and the phase of the image is always matched.
【００２４】次に本発明の要部をなす画像追尾回路２０
の構成及び動作について更に詳細に説明する。図３は本
発明装置の要部の画像追尾回路２０の一実施例のブロッ
ク図を示す。同図中、図１と同一構成部分には同一符号
を付してある。Next, the image tracking circuit 20 which forms the essential part of the present invention.
The configuration and operation of will be described in more detail. FIG. 3 shows a block diagram of an embodiment of the image tracking circuit 20 of the main part of the device of the present invention. In the figure, the same components as those in FIG. 1 are designated by the same reference numerals.
【００２５】図３において、レファレンス画像入力部３
１、スイッチ回路３２及びレファレンス設定部３３は前
記追尾目標入力手段１１を構成している。スイッチ回路
３２は捕捉・追尾切換え信号によりスイッチング制御さ
れ、捕捉時は端子３２ｂ，３２ｄに入力される、レファ
レンス設定部３３により任意に設定したサイズと画面位
置の指示信号を選択してレファレンス画像入力部３１に
入力し、追尾時は端子３２ａ，３２ｃに入力される、サ
イズと画面位置の指示信号を選択してレファレンス画像
入力部３１に入力する。In FIG. 3, the reference image input unit 3
1, the switch circuit 32 and the reference setting unit 33 constitute the tracking target input means 11. The switch circuit 32 is switching-controlled by a capture / tracking switching signal, and is input to the terminals 32b and 32d at the time of capture. The reference image input unit selects a size and screen position instruction signal arbitrarily set by the reference setting unit 33. The input signal to the reference image input unit 31 is input to the reference image input unit 31 by selecting the size and screen position instruction signals input to the terminals 32a and 32c during tracking.
【００２６】レファレンス画像入力部３１は前記テレビ
カメラ２１からの入力画像のうち、スイッチ回路３２か
らの指示信号に基づくサイズ、画面位置の領域の画像を
抽出して追尾目標としてスイッチ回路３４を通してレフ
ァレンス画像メモリ３５に印加し、ここで記憶させる。
スイッチ回路３４は前記したスイッチ手段１８を構成
し、レファレンス画像メモリ３５は記憶手段１２を構成
している。The reference image input unit 31 extracts the image of the area of the size and screen position based on the instruction signal from the switch circuit 32 among the input images from the television camera 21 and outputs the reference image through the switch circuit 34 as a tracking target. It is applied to the memory 35 and stored here.
The switch circuit 34 constitutes the above-mentioned switch means 18, and the reference image memory 35 constitutes the storage means 12.
【００２７】背景領域入力部３６及び背景レファレンス
メモリ３７は夫々前記背景画像設定手段１３を構成して
いる。背景領域入力部３６は入力画像のうち、後述する
追尾目標のサイズ、画面位置の指示信号に基づいて、追
尾目標以外の画像部分を背景領域の画像として背景レフ
ァレンスメモリ３７に入力し、ここに記憶させる。The background area input section 36 and the background reference memory 37 constitute the background image setting means 13, respectively. The background area input unit 36 inputs an image portion other than the tracking target as an image of the background area into the background reference memory 37 based on a tracking target size and a screen position instruction signal, which will be described later, of the input image and stores it in the background reference memory 37. Let
【００２８】背景レファレンスメモリ３７より読み出さ
れた背景画像は、相関値ピーク算出部３８に供給され
る。相関値ピーク算出部３８は処理領域画像入力部３９
を通して入力される入力画像と背景レファレンスメモリ
３７よりの背景画像との相関値と分散値とを算出すると
共に、相関値のピーク点から現在入力されている画像と
前回入力された画像との位相を合わせるための背景位置
を算出する回路で、前記第１の算出手段１４を構成して
いる。The background image read from the background reference memory 37 is supplied to the correlation value peak calculating section 38. The correlation value peak calculation unit 38 uses the processing area image input unit 39.
The correlation value and the variance value between the input image input through the background image and the background image from the background reference memory 37 are calculated, and the phase between the currently input image and the previously input image is calculated from the peak point of the correlation value. A circuit for calculating the background position for matching constitutes the first calculating means 14.
【００２９】例えば、上記の入力画像が図４（Ｂ）にＩ
（ｘ）（ただし、０≦ｘ≦Ｍ）で示される信号であり、
上記の背景画像が同図（Ａ）にＢ（ｘ）（ただし、０≦
ｘ＜ｐ）で示す如く信号であるものとすると、上記の相
関値ピーク算出部３８は入力画像Ｉ（ｘ）の背景領域と
同じサイズｂｔにおいて背景画像Ｂ（ｘ）との相関値の
ピーク点（ｘ，ｙ）を算出し、また、次式に基づいて相
関値ｃ（ｘ）と分散値ｄ（ｘ）とを算出する。For example, the above input image is shown in FIG.
(X) (where 0 ≦ x ≦ M),
The background image is B (x) (where 0 ≦
Assuming that the signal is a signal as shown by x <p), the above correlation value peak calculation unit 38 calculates the peak point of the correlation value with the background image B (x) in the same size bt as the background area of the input image I (x). (X, y) is calculated, and the correlation value c (x) and the variance value d (x) are calculated based on the following equations.
【００３０】[0030]
【数２】 [Equation 2]
【００３１】ただし、（２）及び（３）式や、ｐは背景
領域の最大値で前記ｂｔに等しい。上記の分散値ｄ
（ｘ）は背景の変化の度合を表わしている。However, equations (2) and (3) and p are the maximum values of the background area and are equal to bt. Variance value d above
(X) represents the degree of background change.
【００３２】図３において、処理領域画像入力部３９に
より画像処理を行なう処理領域（図５に５１で示す）の
入力画像Ｉが取り出された後、平滑フィルタ４０及び相
関値ピーク算出部４３に夫々入力される。平滑フィルタ
４０は３×３程度の寸法の空間フィルタ等で構成される
フィルタで、画像メモリ４１及び画像間差分回路４２と
共に前記差分値生成手段１５を構成している。In FIG. 3, after the input image I of the processing area (indicated by 51 in FIG. 5) for image processing is taken out by the processing area image input unit 39, the smoothing filter 40 and the correlation value peak calculating unit 43 respectively. Is entered. The smoothing filter 40 is a filter including a spatial filter having a size of about 3 × 3, and constitutes the difference value generating means 15 together with the image memory 41 and the image difference circuit 42.
【００３３】画像メモリ４１は平滑フィルタ４０の出力
画像を例えば１フレーム遅延する。画像間差分回路４２
は平滑フィルタ４０より取り出された図５に示す如き構
成の現在入力されている入力画像と、画像メモリ４１よ
り読み出された１フレーム前の入力画像とを、相関値ピ
ーク算出部３８からの背景位置を基に背景位置を合わせ
た上で画像間の差（すなわち差分値）を出力する。The image memory 41 delays the output image of the smoothing filter 40 by, for example, one frame. Image difference circuit 42
The background image from the correlation value peak calculation unit 38 is the background image from the correlation value peak calculation unit 38, which is the input image currently input and having the configuration shown in FIG. The background position is adjusted based on the position, and the difference between the images (that is, the difference value) is output.
【００３４】ここで、入力画像Ｉは図５に示す如く、目
標位置ｐ（ｘ，ｙ）を中心とする目標レファレンス領域
５２の画像と周囲に背景レファレンス領域５３の画像と
からなる。目標レファレンス領域５２の画像は、レファ
レンス画像入力部３１を通してレファレンス画像メモリ
３５に格納される追尾目標で、例えばｘ方向のサイズは
ｇｔである。Here, as shown in FIG. 5, the input image I is composed of an image of the target reference area 52 centered on the target position p (x, y) and an image of the background reference area 53 around it. The image in the target reference area 52 is a tracking target stored in the reference image memory 35 through the reference image input unit 31, and the size in the x direction is gt, for example.
【００３５】一方、背景レファレンス領域５３の画像
は、背景領域入力部３６を通して背景レファレンスメモ
リ３７に格納される背景画像で、例えばｘ方向の幅がｂ
ｔである。On the other hand, the image in the background reference area 53 is a background image stored in the background reference memory 37 through the background area input section 36, and has a width in the x direction of b.
t.
【００３６】上記構成の入力画像Ｉの目標レファレンス
領域５２を通る任意の１ラインの信号が、１フレーム前
では図６（Ａ）にＩt で示す波形の信号で、現時点では
同図（Ｂ）にＩt+1 で示す波形の信号であるものとす
る。図６（Ａ），（Ｂ）からわかるように入力画像の目
標位置ｘt ，ｘt+1 の位相が変化していることから追尾
目標が移動しており、またサイズもｇt からｇt+1 へと
変化していることから追尾目標のサイズが変化してい
る。An arbitrary one-line signal passing through the target reference area 52 of the input image I having the above-described structure is a signal having a waveform indicated by I t in FIG. 6 (A) one frame before, and at this time (B) in the same figure. It is assumed that the signal has a waveform indicated by I t + 1 . FIG. 6 (A), the target position of the input image as can be seen from (B) x t, x tracking target from the t + 1 of the phase is changed is moving, also sizes g t from g t The size of the tracking target changes because it changes to +1 .
【００３７】画像間差分回路４２は両画像Ｉt とＩt+1
の背景位置を合わせ（すなわち、目標位置ｘt と、背景
レファレンスＢt と入力画像Ｉt+1 との相関値最小値ｂ
ｘt+ 1 とを合わせ）、その上で差分値｜Ｉt+1 −Ｉt｜
を算出する。The inter-image difference circuit 42 uses both images I t and I t + 1.
Of the target position x t, that is, the minimum correlation value b between the target position x t and the background reference B t and the input image I t + 1.
x t + 1 ) and then the difference value | I t + 1 −I t |
To calculate.
【００３８】上記の差分値｜Ｉt+1 −Ｉt ｜は図６
（Ｃ）に示す如き波形の信号である。なお、同図（Ｃ）
中、Ｓは後述のレファレンスサイズ算出部４４による目
標・背景変化点検出領域、ｌt+1 は目標位置とそれより
左側の目標エッジとの距離、ｒt+ 1 は目標位置とそれよ
り右側の目標エッジとの距離を示す。上記の差分値はレ
ファレンスサイズ算出部４４に供給される。The difference value | I t + 1 −I t | shown in FIG.
The signal has a waveform as shown in (C). In addition, the same figure (C)
In the figure, S is a target / background change point detection area by the reference size calculation unit 44 described later, l t + 1 is a distance between the target position and a target edge on the left side thereof, and r t + 1 is the target position and a target on the right side thereof. Indicates the distance to the edge. The difference value is supplied to the reference size calculation unit 44.
【００３９】一方、前記相関値ピーク算出部４３は前記
した第２の算出手段１６を構成しており、処理領域画像
入力部３９より取り出された現在の入力画像Ｉとレファ
レンス画像メモリ３５から読み出した追尾目標との相関
値のピーク点を算出し、その算出ピーク点が目標位置と
して外部へ出力される一方、スイッチ回路３２の端子３
２ｃ、画像間差分回路４２、背景領域入力部３６及びレ
ファレンスサイズ算出部４４に夫々供給され、また遅延
回路４５を通してレファレンスサイズ算出部４４に供給
される。On the other hand, the correlation value peak calculating section 43 constitutes the above-mentioned second calculating means 16, and the current input image I extracted from the processing area image input section 39 and the reference image memory 35 are read out. The peak point of the correlation value with the tracking target is calculated, and the calculated peak point is output to the outside as the target position, while the terminal 3 of the switch circuit 32 is output.
2c, the inter-image difference circuit 42, the background area input unit 36, and the reference size calculation unit 44, and the delay size circuit 45 supplies the reference size calculation unit 44.
【００４０】レファレンスサイズ算出部４４は前記した
第３の算出手段１７を構成しており、スイッチ回路３２
から取り出されたサイズを指示する信号が遅延回路４６
を介して供給されると共に、相関値ピーク算出部３８か
ら取り出された分散値及び相関値、前記差分値及び前記
した相関値ピーク算出部４３の出力目標位置が夫々入力
され、これらより図６（Ｃ）に示した差分値の領域Ｓか
ら目標と背景の変化を検出し、次式により追尾目標のサ
イズ（レファレンスサイズ）を算出した後、スイッチ回
路３２の端子３２ａに入力する。The reference size calculating section 44 constitutes the above-mentioned third calculating means 17, and includes the switch circuit 32.
The signal indicating the size extracted from the delay circuit 46 is
6 is supplied from the correlation value peak calculation unit 38, the variance value and the correlation value extracted from the correlation value peak calculation unit 38, the difference value, and the output target position of the correlation value peak calculation unit 43 are input. The change between the target and the background is detected from the area S of the difference value shown in C), the size (reference size) of the tracking target is calculated by the following equation, and then input to the terminal 32a of the switch circuit 32.
【００４１】 ｘt+1 ＞ｘt のとき ｇt+1 ＝ｌ
t+1 ＋（ｇt ／２） ｘt+1 ≦ｘt のとき ｇt+1 ＝ｒt+1 ＋（ｇt
／２） なお、レファレンスサイズ算出部４４は差分値｜Ｉt+1
−Ｉt｜が図７に示す如く変化する場合、差分値から目
標と背景の変化点を検出する際は、相関値ピーク算出部
３８で算出された相関値ｃ（ｘ）以上の同図に７０で示
す範囲のレベルのみを用いることで、画面全体の輝度の
変化に対応するようになされている。When x t + 1 > x t , g t + 1 = 1
When t + 1 + (g t / 2) x t + 1 ≤ x t g t + 1 = r t + 1 + (g t
/ 2) The reference size calculation unit 44 uses the difference value | I t + 1
When −I t | changes as shown in FIG. 7, when detecting a change point between the target and the background from the difference value, the correlation value c (x) calculated by the correlation value peak calculation unit 38 or more is displayed. By using only the level in the range indicated by 70, the change in the brightness of the entire screen is dealt with.
【００４２】更に、レファレンスサイズ算出部４４は、
相関値ピーク算出部３８で算出された分散値ｄ（ｘ）が
一定値以下の場合はスイッチ回路３４をオンとし、該一
定値より大なるとき、又は差分値から目標と背景の変化
点を検出できなかった場合にはスイッチ回路３４をオフ
とするスイッチング信号を出力する。Further, the reference size calculator 44 is
When the variance value d (x) calculated by the correlation value peak calculation unit 38 is less than or equal to a certain value, the switch circuit 34 is turned on, and when the variance value d (x) is greater than the certain value or a difference value, a change point between the target and the background is detected. If not, a switching signal for turning off the switch circuit 34 is output.
【００４３】これにより、スイッチ回路３４がオンのと
きは、レファレンス画像入力部３１の出力画像が追尾目
標としてレファレンス画像メモリ３５に格納される。こ
のときのレファレンス画像入力部３１の出力画像は、ス
イッチ回路３２より取り出されたレファレンスサイズ算
出部４４の出力レファレンスサイズと、相関値ピーク算
出部４３より取り出された目標位置とに基づいた領域の
入力画像であるため、追尾目標は逐次更新されることに
なる。As a result, when the switch circuit 34 is turned on, the output image of the reference image input section 31 is stored in the reference image memory 35 as a tracking target. The output image of the reference image input unit 31 at this time is the input of the region based on the output reference size of the reference size calculation unit 44 extracted from the switch circuit 32 and the target position extracted from the correlation value peak calculation unit 43. Since it is an image, the tracking target will be updated sequentially.
【００４４】一方、スイッチ回路３４がオフに制御され
るときは、レファレンス画像入力部３１の出力画像はス
イッチ回路３４により、レファレンス画像メモリ３５へ
の伝送が阻止されるため、追尾目標の更新は行なわれな
い。On the other hand, when the switch circuit 34 is controlled to be turned off, the output image of the reference image input unit 31 is prevented from being transmitted to the reference image memory 35 by the switch circuit 34, so that the tracking target is updated. I can't.
【００４５】このように、本実施例によれば、目標付近
の背景画像が安定な場合に、前回の入力画像と今回の入
力画像との差分値に応じて新たに追尾目標の画像領域を
定めると共に、前回の追尾目標と現在の追尾目標との相
関値のピークを算出して追尾目標位置を算出し、これら
画像領域（サイズ）及び位置に基づいて逐次追尾目標を
更新するようにしたため、追尾目標の移動や形状変化に
対応できる。As described above, according to this embodiment, when the background image near the target is stable, a new tracking target image region is determined according to the difference value between the previous input image and the current input image. At the same time, the tracking target position is calculated by calculating the peak of the correlation value between the previous tracking target and the current tracking target, and the tracking target is updated sequentially based on these image areas (sizes) and positions. It can respond to movement of the target and changes in shape.
【００４６】[0046]
【発明の効果】上述の如く、本発明によれば、追尾目標
の移動や形状変化に対応した追尾目標の更新ができるた
め、追尾目標が時間の変化と共に形状や位置が変化して
も、正確に追尾することができ、よって画像追尾装置の
信頼性の向上に寄与するところ大である等の特長を有す
るものである。As described above, according to the present invention, since the tracking target can be updated in response to the movement of the tracking target or the change in shape, even if the shape or position of the tracking target changes with time, the tracking target can be accurately measured. Therefore, it is possible to trace the image to the image tracking device, thus contributing to the improvement of the reliability of the image tracking device.
【図１】本発明の原理ブロック図である。FIG. 1 is a principle block diagram of the present invention.
【図２】本発明装置の一実施例の構成図である。FIG. 2 is a block diagram of an embodiment of the device of the present invention.
【図３】画像追尾回路の一実施例のブロック図である。FIG. 3 is a block diagram of an embodiment of an image tracking circuit.
【図４】図３の回路中の相関値ピーク算出部３８による
背景画像と入力画像の相関値の算出の説明図である。4 is an explanatory diagram of calculation of a correlation value between a background image and an input image by a correlation value peak calculation unit 38 in the circuit of FIG.
【図５】図３の回路の入力画像の構成図である。5 is a configuration diagram of an input image of the circuit of FIG.
【図６】図３の回路中の画像間差分回路４２の動作説明
図である。6 is an operation explanatory diagram of an inter-image difference circuit 42 in the circuit of FIG.
【図７】図３の回路中のレファレンスサイズ算出部４４
の動作説明図である。7 is a reference size calculator 44 in the circuit of FIG.
FIG. 8 is an operation explanatory diagram of FIG.
【図８】従来装置の一例のブロック図である。FIG. 8 is a block diagram of an example of a conventional device.
【図９】目標位置の設定説明図である。FIG. 9 is an explanatory diagram of setting a target position.
１１ 追尾目標入力手段 １２ 記憶手段 １３ 背景画像設定手段 １４ 第１の算出手段 １５ 差分値生成手段 １６ 第２の算出手段 １７ 第３の算出手段 １８ スイッチ手段 ２０ 画像追尾回路 ３８，４３ 相関値ピーク算出部 ４２ 画像間差分回路 ４４ レファレンスサイズ算出部 11 Tracking Target Input Means 12 Storage Means 13 Background Image Setting Means 14 First Calculating Means 15 Difference Value Generating Means 16 Second Calculating Means 17 Third Calculating Means 18 Switching Means 20 Image Tracking Circuits 38, 43 Correlation Value Peak Calculation Section 42 inter-image difference circuit 44 reference size calculation section
───────────────────────────────────────────────────── フロントページの続き (72)発明者 戸叶 一利 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 西内 秀和 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Kazutoshi Kano 1015 Kamiodanaka, Nakahara-ku, Kawasaki City, Kanagawa Prefecture, Fujitsu Limited (72) Inventor Hidekazu Nishiuchi 1015, Kamedotachu, Nakahara-ku, Kawasaki City, Kanagawa Prefecture Fujitsu Limited Within
Claims (3)
任意の領域の画像を追尾目標として入力する追尾目標入
力手段（１１）と、 該追尾目標入力手段（１１）よりの画像を追尾目標とし
て記憶する記憶手段（１２）と、 前記入力画像中から前記追尾目標の背景となる背景画像
を設定する背景画像設定手段（１３）と、現在の入力画
像と設定された前記背景画像との相関値に基づき、該現
在の入力画像の背景に関する位置及び相関情報を算出す
る第１の算出手段（１４）と、 算出された前記背景位置に基づいて前記現在の入力画像
と前回の入力画像との背景位置を合わせて、両者の差分
値を取り出す差分値生成手段（１５）と、 前記記憶手段（１２）からの追尾目標と前記現在の入力
画像との相関値に基づき、該現在の入力画像の追尾目標
位置を算出する第２の算出手段（１６）と、 前記差分値と、算出された前記背景の相関情報及び追尾
目標位置とから前記追尾目標のサイズを算出する第３の
算出手段（１７）と、 前記第１の算出手段（１４）で算出された背景の相関情
報が一定値以下のときのみ、前記現在の入力画像中の前
記第２及び第３の算出手段（１６，１７）で算出された
位置及びサイズの画像部分を、前記追尾目標入力手段
（１１）を通して前記追尾目標として前記記憶手段（１
２）に更新記憶させるスイッチ手段（１８１）とを有す
ることを特徴とする画像追尾装置。1. A tracking target input means (11) for inputting an image of an arbitrary region as a tracking target from an input image obtained by an imaging device, and an image from the tracking target input means (11) as a tracking target. A storage unit (12) for storing, a background image setting unit (13) for setting a background image as a background of the tracking target from the input image, and a correlation value between the current input image and the set background image. A first calculating means (14) for calculating a position and correlation information regarding the background of the current input image based on the above, and a background of the current input image and the previous input image based on the calculated background position. A difference value generating means (15) for aligning the positions and extracting a difference value between the both, and tracking of the current input image based on the correlation value between the tracking target from the storage means (12) and the current input image. Target Second calculating means (16) for calculating the position, and third calculating means (17) for calculating the size of the tracking target from the difference value, the calculated correlation information of the background and the tracking target position. Is calculated by the second and third calculating means (16, 17) in the current input image only when the background correlation information calculated by the first calculating means (14) is below a certain value. The image part having different positions and sizes is stored in the storage means (1) as the tracking target through the tracking target input means (11).
2) An image tracking device characterized in that it has a switch means (181) for updating and storing.
の算出手段（１４）で算出された背景の変化度合が前記
一定値より大なるときは、前記記憶手段（１２）への画
像書き込みを禁止することを特徴とする請求項１記載の
画像追尾装置。2. The switch means (18) comprises the first
The image tracking device according to claim 1, wherein when the degree of change of the background calculated by the calculation means (14) is larger than the constant value, the image writing to the storage means (12) is prohibited. ..
在の入力画像と前記背景画像設定手段（１３）よりの背
景画像との相関値のピーク点から前記背景位置を算出す
ると共に、該入力画像と該背景画像との相関値及び分散
値を前記背景の相関情報として算出することを特徴とす
る請求項１記載の画像追尾装置。3. The first calculating means (14) calculates the background position from the peak point of the correlation value between the current input image and the background image from the background image setting means (13), The image tracking device according to claim 1, wherein a correlation value and a variance value between the input image and the background image are calculated as correlation information of the background.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3236660A JPH0575909A (en) | 1991-09-17 | 1991-09-17 | Image tracking device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3236660A JPH0575909A (en) | 1991-09-17 | 1991-09-17 | Image tracking device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0575909A true JPH0575909A (en) | 1993-03-26 |
Family
ID=17003904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3236660A Withdrawn JPH0575909A (en) | 1991-09-17 | 1991-09-17 | Image tracking device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0575909A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006195341A (en) * | 2005-01-17 | 2006-07-27 | Fujinon Corp | Autofocus system |
| EP2271101A1 (en) * | 2008-04-17 | 2011-01-05 | Panasonic Corporation | Imaging position determination method and imaging position determination device |
-
1991
- 1991-09-17 JP JP3236660A patent/JPH0575909A/en not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006195341A (en) * | 2005-01-17 | 2006-07-27 | Fujinon Corp | Autofocus system |
| JP4568916B2 (en) * | 2005-01-17 | 2010-10-27 | 富士フイルム株式会社 | Auto focus system |
| EP2271101A1 (en) * | 2008-04-17 | 2011-01-05 | Panasonic Corporation | Imaging position determination method and imaging position determination device |
| EP2271101A4 (en) * | 2008-04-17 | 2013-12-25 | Panasonic Corp | Imaging position determination method and imaging position determination device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6384871B1 (en) | Method and apparatus for automatic electronic replacement of billboards in a video image | |
| JP3523266B2 (en) | A method for estimating the location of an image target area from multiple tracked image index areas | |
| US5355163A (en) | Video camera that automatically maintains size and location of an image within a frame | |
| US9396551B2 (en) | Camera apparatus and method for tracking object in the camera apparatus | |
| EP0454354B1 (en) | Photographic optical system controlling apparatus | |
| US8243807B2 (en) | Image processing method, a program of an image processing method, a recording medium on which a program of an image processing method is recorded and an image processing circuit | |
| KR101480410B1 (en) | Apparatus and method for correcting sports posture in digital image processing device | |
| KR960016419A (en) | Video signal tracking system | |
| JP2007067559A (en) | Image processing method, image processing apparatus, and control method of imaging apparatus | |
| WO1997000581A1 (en) | System and method for inserting static and dynamic images into a live video broadcast | |
| JPH11150676A (en) | Image processor and tracking device | |
| JPH09116809A (en) | Picture steadiness correcting method in television film scanning of prescribed sequence changing method for performing picture object and device for performing the correcting method | |
| JPH042281A (en) | Automatic focusing device | |
| JPH0575909A (en) | Image tracking device | |
| JP2667885B2 (en) | Automatic tracking device for moving objects | |
| JPH09265538A (en) | Automatic tracking device | |
| JPH08237536A (en) | Device and method for tracking object | |
| JPH10336506A (en) | Image-processing system, system and method for tracking and storage medium | |
| JPH06153047A (en) | Video camera system | |
| JP3480591B2 (en) | Object tracking device | |
| JP2580516B2 (en) | Real-time three-dimensional motion measuring apparatus and method | |
| JP3615970B2 (en) | Moving object detection method | |
| JPS6028475B2 (en) | correlation tracking device | |
| JPH0650983A (en) | Operation analyzer for specimen part | |
| JP2022099120A (en) | Subject tracking device and control method for the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19981203 |