JPH11312251A - Moving object tracking method and its device - Google Patents
Moving object tracking method and its deviceInfo
- Publication number
- JPH11312251A JPH11312251A JP10134429A JP13442998A JPH11312251A JP H11312251 A JPH11312251 A JP H11312251A JP 10134429 A JP10134429 A JP 10134429A JP 13442998 A JP13442998 A JP 13442998A JP H11312251 A JPH11312251 A JP H11312251A
- Authority
- JP
- Japan
- Prior art keywords
- image
- contour
- outline
- contour image
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、固定された背景な
どが映った画像枠内で人物などの対象物が移動する対象
物移動画像について、画像枠内における対象物の位置を
追跡する技術に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technology for tracking the position of an object in an image frame in which an object such as a person moves in an image frame with a fixed background or the like. Things.
【０００２】[0002]
【従来の技術】従来の移動対象物追跡方法においては、
例えば、画像電子学会第１４９回研修会講演予稿９５−
０４−０６（１９９５）に、論文「輪郭モデルによる水
平回転にロバストな人物の頭の追跡」として掲載されて
いるように、次の手順で対象物の位置が検出される。な
お、対象物移動画像である入力動画像は、固定されたビ
デオカメラなどによって撮影された動画像である。2. Description of the Related Art In a conventional moving object tracking method,
For example, the 149th workshop of the Institute of Image Electronics Engineers of Japan
04-06 (1995), the position of an object is detected by the following procedure, as described in the paper "Tracking a Human Head Robust to Horizontal Rotation Using a Contour Model". Note that the input moving image, which is the moving image of the object, is a moving image captured by a fixed video camera or the like.
【０００３】１．対象物の輪郭を表す原輪郭画像を用意
する。 ２．入力動画像から１フレームを取り込み、エッジ画像
に変換する。 ３．エッジ画像に対し前フレームで検出した対象物の位
置を基準位置として設定する。[0003] 1. An original contour image representing the contour of an object is prepared. 2. One frame is taken from the input moving image and converted into an edge image. 3. The position of the object detected in the previous frame with respect to the edge image is set as a reference position.
【０００４】４．原輪郭画像の特定位置をエッジ画像に
おける基準位置に一致させて、原輪郭画像とエッジ画像
内での対象物の輪郭画像との一致する度合いを表す評価
値を算出する。[0004] 4. The specific position of the original contour image is made to coincide with the reference position in the edge image, and an evaluation value indicating the degree of matching between the original contour image and the contour image of the object in the edge image is calculated.
【０００５】５．原輪郭画像の特定位置をエッジ画像に
おける基準位置に一致させた状態から、エッジ画像にお
ける基準位置を中心として、原輪郭画像を上，下，左，
右，左上，右上，左下，右下の８方向に微量移動させ
て、各方向において、それぞれ、原輪郭画像とエッジ画
像内での対象物の輪郭画像との一致する度合いを表す評
価値を算出する。[0005] 5. From the state where the specific position of the original contour image is matched with the reference position in the edge image, the original contour image is moved up, down, left,
A small amount of movement is performed in eight directions, right, upper left, upper right, lower left, and lower right, and in each direction, an evaluation value representing the degree of coincidence between the original contour image and the contour image of the object in the edge image is calculated. I do.
【０００６】６．算出された評価値の中から、一致の度
合いが最も高い評価値を選び出し、その場合の原輪郭画
像の特定位置と一致するエッジ画像における位置を、最
適位置として設定する。[0006] 6. From the calculated evaluation values, the evaluation value with the highest degree of matching is selected, and the position in the edge image that matches the specific position of the original contour image in that case is set as the optimum position.
【０００７】７．最適位置をエッジ画像における新たな
基準位置として設定しながら、処理４〜処理６を繰り返
す。[0007] 7. Processing 4 to processing 6 are repeated while setting the optimum position as a new reference position in the edge image.
【０００８】８．処理６で設定された最適位置が先に設
定された基準位置と一致したら、その最適位置を対象物
の位置として検出する。 ９．以下、処理２〜処理８を繰り返す。[0008] 8. If the optimum position set in the process 6 matches the previously set reference position, the optimum position is detected as the position of the object. 9. Hereinafter, processing 2 to processing 8 are repeated.
【０００９】このようにして、入力動画像に対し１フレ
ーム毎に対象物の位置を検出することによって、移動す
る対象物の位置を追跡することができる。In this manner, the position of the moving object can be tracked by detecting the position of the object for each frame of the input moving image.
【００１０】[0010]
【発明が解決しようとする課題】しかしながら、上記し
た従来の移動対象物追跡方法においては、対象物が画像
枠内で上下方向，左右方向に移動している場合には問題
を生じないが、対象物が画面枠内で前後方向に移動して
いる場合（具体的には、対象物が固定されたビデオカメ
ラに対し近づいたり、遠ざかったりしている場合）に
は、次のような問題があった。However, in the above-mentioned conventional moving object tracking method, no problem occurs when the object moves vertically and horizontally in the image frame. When an object is moving in the front-back direction within the screen frame (specifically, when the object is approaching or moving away from the fixed video camera), the following problems may occur. Was.
【００１１】即ち、対象物が画面枠内で前方向に移動し
た場合（具体的には、対象物がビデオカメラに近づいた
場合）には、画面枠内での対象物の大きさは大きくな
り、後方向に移動した場合（具体的には、対象物がビデ
オカメラから遠ざかった場合）には、画面枠内での対象
物の大きさは小さくなるため、エッジ画像内での対象物
の輪郭画像の大きさは、対象物の前後方向の移動によっ
て大きく変化することになる。これに対し、原輪郭画像
の大きさは常に一定となっている。That is, when the object moves forward in the screen frame (specifically, when the object approaches the video camera), the size of the object in the screen frame increases. When the object moves in the backward direction (specifically, when the object moves away from the video camera), the size of the object in the screen frame becomes smaller, so that the outline of the object in the edge image is reduced. The size of the image changes greatly due to the movement of the object in the front-back direction. On the other hand, the size of the original contour image is always constant.
【００１２】従って、従来の移動物追跡方法において
は、対象物が前後方向に移動している際に、原輪郭画像
とエッジ画像内での対象物の輪郭画像とを比較して両者
の一致の度合いを表す評価値を得ようとしても、原輪郭
画像の大きさに対しエッジ画像内での対象物の輪郭画像
の大きさが変化するため、正確な評価値を得ることがで
きず、対象物の位置を精度良く追跡することができない
という問題があった。Therefore, in the conventional moving object tracking method, when the object is moving in the front-back direction, the original outline image and the outline image of the object in the edge image are compared to determine whether the two coincide. Even if an attempt is made to obtain an evaluation value indicating the degree, the size of the contour image of the object in the edge image changes with respect to the size of the original contour image, so that an accurate evaluation value cannot be obtained. However, there is a problem that the position cannot be accurately tracked.
【００１３】従って、本発明の目的は、上記した従来技
術の問題点を解決し、対象物が画面枠内で前後方向に移
動する場合でも、対象物の位置を精度良く追跡すること
ができる移動対象物追跡方法及びその装置を提供するこ
とにある。SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to solve the above-mentioned problems of the prior art, and to provide a moving device capable of accurately tracking the position of an object even when the object moves in the front-back direction within the screen frame. An object tracking method and an apparatus therefor are provided.
【００１４】[0014]
【課題を解決するための手段およびその作用・効果】上
記した目的の少なくとも一部を達成するために、本発明
の第１の移動対象物追跡方法は、固定された画像枠内で
対象物が移動する対象物移動画像について、前記画像枠
内における前記対象物の位置を追跡する移動対象物追跡
方法であって、（ａ）前記対象物移動画像から前記対象
物を含んだ対象物静止画像を取得する工程と、（ｂ）前
記対象物静止画像における基準位置を設定する工程と、
（ｃ）前記対象物のおよその輪郭を示す原輪郭画像に基
づいた標準輪郭画像を取得する工程と、（ｄ）前記標準
輪郭画像を拡大した拡大輪郭画像及び縮小した縮小輪郭
画像のうちの少なくとも一方と、前記標準輪郭画像と、
を基準輪郭画像として設定する工程と、（ｅ）各基準輪
郭画像毎に、該基準輪郭画像の特定位置を前記対象物静
止画像における基準位置に一致させた場合と、一致させ
た状態から前記基準輪郭画像を所定の移動方向に所定量
だけ前記対象物静止画像に対し移動させた場合とについ
て、それぞれ、前記基準輪郭画像と、前記対象物静止画
像から取得される前記対象物の輪郭を示す対象物輪郭画
像と、を比較し、前記基準輪郭画像と前記対象物輪郭画
像との一致する度合いを表す評価値をそれぞれ算出する
工程と、（ｆ）算出された前記評価値の中から一致の度
合いが最も高い評価値を導き出し、その結果に基づい
て、一致の度合いが最も高い場合の前記基準輪郭画像を
最適基準輪郭画像として設定すると共に、一致の度合い
が最も高い場合の前記基準輪郭画像の特定位置に一致す
る前記対象物静止画像における位置を最適位置として設
定する工程と、（ｇ）前記工程（ｆ）で設定された前記
最適位置が前記工程（ｂ）で設定された前記基準位置と
ほぼ一致するまで、前記工程（ｂ）において、前記工程
（ｆ）で設定された前記最適位置を新たな基準位置とし
て設定し、前記工程（ｃ）において、前記工程（ｆ）で
設定された前記最適基準輪郭画像から前記標準輪郭画像
を新たに取得しながら、前記工程（ｂ）から前記工程
（ｆ）までを繰り返す工程と、（ｈ）前記工程（ｆ）で
設定された前記最適位置が前記工程（ｇ）で設定された
前記基準位置とほぼ一致した場合に、前記最適位置を前
記対象物の位置として検出する工程と、を備え、前記工
程（ａ）から前記工程（ｈ）までを繰り返すことを要旨
とする。In order to achieve at least a part of the above object, a first moving object tracking method according to the present invention provides a method for tracking a moving object in a fixed image frame. A moving object tracking method for tracking a position of the object in the image frame for a moving object moving image, the method comprising: (a) converting an object still image including the object from the object moving image; Acquiring; and (b) setting a reference position in the target object still image;
(C) obtaining a standard outline image based on an original outline image indicating an approximate outline of the object; and (d) at least one of an enlarged outline image obtained by enlarging the standard outline image and a reduced outline image obtained by reducing the standard outline image. One and the standard contour image;
(E) setting, for each reference contour image, a case where a specific position of the reference contour image is matched with a reference position in the still image of the target object; When the contour image is moved by a predetermined amount in the predetermined moving direction with respect to the target still image, the reference contour image and the target indicating the contour of the target obtained from the target still image, respectively. Comparing the object contour image with the object contour image and calculating an evaluation value indicating a degree of coincidence between the reference contour image and the target object contour image; and (f) a degree of coincidence from the calculated evaluation values. Derives the highest evaluation value, and based on the result, sets the reference contour image with the highest degree of coincidence as the optimal reference contour image, and sets the reference contour image before the case with the highest degree of coincidence. Setting a position in the object still image that matches a specific position of the reference contour image as an optimum position; and (g) setting the optimum position set in the step (f) in the step (b). In the step (b), the optimum position set in the step (f) is set as a new reference position until the position substantially coincides with the reference position, and in the step (c), the optimum position is set in the step (f). Repeating the steps (b) to (f) while newly acquiring the standard contour image from the set optimal reference contour image; and (h) performing the step (f) set in the step (f). Detecting the optimum position as the position of the target object when the optimum position substantially coincides with the reference position set in the step (g), wherein the steps (a) to (h) are performed. ) The gist of Succoth.
【００１５】また、本発明の移動対象物追跡装置は、固
定された画像枠内で対象物が移動する対象物移動画像に
ついて、前記画像枠内における前記対象物の位置を追跡
する移動対象物追跡装置であって、前記対象物のおよそ
の輪郭を表す原輪郭画像を格納する原輪郭画像格納部
と、前記対象物移動画像から取得した前記対象物を含ん
だ対象物静止画像を格納する対象物静止画像格納部と、
前記対象物静止画像における基準位置を設定する基準位
置設定部と、前記原輪郭画像に基づいた標準輪郭画像を
取得する標準輪郭画像取得部と、前記標準輪郭画像を拡
大した拡大輪郭画像及び縮小した縮小輪郭画像のうちの
少なくとも一方と、前記標準輪郭画像と、を基準輪郭画
像として設定する基準輪郭画像設定部と、各基準輪郭画
像毎に、該基準輪郭画像の特定位置を前記対象物静止画
像における基準位置に一致させた場合と、一致させた状
態から前記基準輪郭画像を所定の移動方向に所定量だけ
前記対象物静止画像に対し移動させた場合とについて、
それぞれ、前記基準輪郭画像と、前記対象物静止画像か
ら取得される前記対象物の輪郭を示す対象物輪郭画像
と、を比較し、前記基準輪郭画像と前記対象物輪郭画像
との一致する度合いを表す評価値をそれぞれ算出する評
価値算出部と、算出された前記評価値の中から一致の度
合いが最も高い評価値を導き出し、その結果に基づい
て、一致の度合いが最も高い場合の前記基準輪郭画像を
最適基準輪郭画像として設定すると共に、一致の度合い
が最も高い場合の前記基準輪郭画像の特定位置に一致す
る前記対象物静止画像における位置を最適位置として設
定する判定部と、前記判定部によって設定された前記最
適位置が前記基準位置設定部によって設定された前記基
準位置とほぼ一致した場合に、前記最適位置を前記対象
物の位置として検出する対象物位置検出部と、を備え、
前記基準位置設定部は、前記判定部によって設定された
前記最適位置を新たな基準位置として設定すると共に、
前記標準輪郭画像取得部は、前記判定部によって設定さ
れた前記最適基準輪郭画像から前記標準輪郭画像を新た
に取得することを要旨とする。Further, the moving object tracking apparatus according to the present invention, for a moving object tracking image in which the moving object moves in a fixed image frame, tracks the position of the moving object in the image frame. An apparatus, comprising: an original contour image storage unit that stores an original contour image representing an approximate outline of the object; and an object that stores an object still image including the object acquired from the object moving image. A still image storage unit,
A reference position setting unit that sets a reference position in the target object still image; a standard contour image acquiring unit that acquires a standard contour image based on the original contour image; an enlarged contour image obtained by enlarging the standard contour image; A reference contour image setting unit that sets at least one of the reduced contour images and the standard contour image as a reference contour image; and for each reference contour image, a specific position of the reference contour image is set to the target still image. In the case where the reference contour image is matched with the reference position, and in the case where the reference contour image is moved from the matched state by a predetermined amount in the predetermined moving direction with respect to the target still image,
The reference contour image is compared with an object outline image indicating the outline of the object acquired from the object still image, and the degree of coincidence between the reference outline image and the object outline image is determined. An evaluation value calculation unit that calculates an evaluation value to be represented, and an evaluation value having the highest degree of coincidence is calculated from the calculated evaluation values. Based on the result, the reference contour when the degree of coincidence is the highest is calculated. A determination unit that sets an image as an optimal reference contour image, and sets a position in the target object still image that matches a specific position of the reference contour image when the degree of matching is the highest as an optimal position, and the determination unit When the set optimal position substantially matches the reference position set by the reference position setting unit, the optimal position is detected as the position of the object. Comprising a target position detecting section, a
The reference position setting unit sets the optimal position set by the determination unit as a new reference position,
The gist is that the standard outline image acquiring unit newly acquires the standard outline image from the optimal reference outline image set by the determination unit.
【００１６】このように、本発明では、まず、対象物移
動画像から対象物を含んだ対象物静止画像を取得し、次
に、その対象物静止画像における基準位置を設定すると
共に、対象物のおよその輪郭を示す原輪郭画像に基づい
た標準輪郭画像を取得する。そして、標準輪郭画像を拡
大した拡大輪郭画像及び縮小した縮小輪郭画像のうちの
少なくとも一方と、標準輪郭画像と、を基準輪郭画像と
して設定する。続いて、各基準輪郭画像毎に、基準輪郭
画像の特定位置を対象物静止画像における基準位置に一
致させた場合と、一致させた状態から基準輪郭画像を所
定の移動方向に所定量だけ対象物静止画像に対し移動さ
せた場合とについて、それぞれ、基準輪郭画像と、対象
物静止画像から取得される対象物の輪郭を示す対象物輪
郭画像と、を比較し、基準輪郭画像と対象物輪郭画像と
の一致する度合いを表す評価値をそれぞれ算出する。さ
らに、算出された評価値の中から一致の度合いが最も高
い評価値を導き出し、その結果に基づいて、一致の度合
いが最も高い場合の基準輪郭画像を最適基準輪郭画像と
して設定すると共に、一致の度合いが最も高い場合の基
準輪郭画像の特定位置に一致する対象物静止画像におけ
る位置を最適位置として設定する。As described above, in the present invention, first, a still image of an object including an object is obtained from the moving image of the object, and a reference position in the still image of the object is set. A standard contour image based on an original contour image indicating an approximate contour is obtained. Then, at least one of an enlarged outline image obtained by enlarging the standard outline image and a reduced outline image obtained by reducing the standard outline image, and the standard outline image are set as reference outline images. Subsequently, for each of the reference contour images, a case where the specific position of the reference contour image is matched with the reference position in the target object still image, and a case where the reference contour image is moved by a predetermined amount in the predetermined moving direction from the matched state. The reference contour image and the object contour image indicating the contour of the object acquired from the object still image are compared with each other when the still image is moved with respect to the still image, and the reference contour image and the object contour image are compared. An evaluation value representing the degree of coincidence with is calculated. Furthermore, an evaluation value with the highest degree of matching is derived from the calculated evaluation values, and based on the result, the reference contour image with the highest degree of matching is set as the optimal reference outline image, and The position in the target object still image that matches the specific position of the reference contour image when the degree is the highest is set as the optimum position.
【００１７】そして、設定された最適位置が先に設定さ
れた基準位置とほぼ一致するまで、対象物静止画像にお
ける基準位置の設定から、最適基準輪郭画像及び最適位
置の設定までの処理を繰り返す。その際、対象物静止画
像における新たな基準位置としては、設定された最適位
置を設定し、新たな標準輪郭画像は、設定された最適基
準輪郭画像から取得する。こうして、最終的に、設定さ
れた最適位置が先に設定された基準位置とほぼ一致した
場合に、設定された最適位置を対象物の位置として検出
する。Until the set optimum position substantially matches the previously set reference position, the processing from setting of the reference position in the object still image to setting of the optimum reference contour image and the optimum position is repeated. At this time, a set optimal position is set as a new reference position in the target object still image, and a new standard contour image is obtained from the set optimal reference contour image. Thus, finally, when the set optimum position substantially coincides with the previously set reference position, the set optimum position is detected as the position of the object.
【００１８】従って、本発明によれば、対象物の輪郭を
示す対象物輪郭画像と比較する基準輪郭画像として、標
準輪郭画像の他、標準輪郭画像を拡大または縮小した輪
郭画像を用いているため、対象物が前後方向に移動し
て、対象物静止画像から得られる対象物の輪郭画像の大
きさが変化しても、その変化に追従しながら、対象物輪
郭画像と基準輪郭画像との比較を行なうことができるた
め、正確な評価値を得ることができ、対象物の位置を精
度良く追跡することができる。Therefore, according to the present invention, since the standard outline image and the outline image obtained by enlarging or reducing the standard outline image are used as the reference outline image to be compared with the object outline image indicating the outline of the object. Even if the size of the outline image of the object obtained from the object still image changes due to the object moving in the front-back direction, the object outline image and the reference outline image are compared while following the change. Can be performed, an accurate evaluation value can be obtained, and the position of the target object can be tracked with high accuracy.
【００１９】本発明の移動対象物追跡方法において、前
記工程（ａ）で新たな対象物静止画像を取得した後に、
前記工程（ｂ）で最初に前記対象物静止画像における基
準位置を設定する際には、前回、前記工程（ｈ）で検出
された前記対象物の位置を、前記対象物静止画像におけ
る基準位置として設定することが好ましい。In the moving object tracking method of the present invention, after acquiring a new object still image in the step (a),
When setting the reference position in the object still image for the first time in the step (b), the position of the object detected in the step (h) last time is set as the reference position in the object still image. It is preferable to set.
【００２０】連続する２つの対象物静止画像同士の間で
は、対象物はそれほど大きくは移動しないはずなので、
上記のように、今回取得した対象物静止画像における基
準位置を設定することによって、より速く、その対象物
静止画像における対象物の位置を検出することができ
る。Since the object should not move so much between two consecutive still images of the object,
As described above, by setting the reference position in the target still image acquired this time, the position of the target in the target still image can be detected more quickly.
【００２１】本発明の移動対象物追跡方法において、前
記工程（ａ）で新たな対象物静止画像を取得した後に、
前記工程（ｃ）で最初に前記標準輪郭画像を取得する際
には、前回、前記工程（ｆ）で設定された前記最適位置
が前記工程（ｇ）で設定された前記基準位置とほぼ一致
した場合に、前記工程（ｆ）で設定された前記最適基準
輪郭画像から、前記標準輪郭画像を取得することが好ま
しい。In the moving object tracking method of the present invention, after acquiring a new object still image in the step (a),
When the standard contour image is first obtained in the step (c), the optimum position set in the step (f) almost coincides with the reference position set in the step (g) last time. In this case, it is preferable to acquire the standard contour image from the optimal reference contour image set in the step (f).
【００２２】連続する２つの対象物静止画像同士の間で
は、前後方向においても、対象物はそれほど大きくは移
動しないはずなので、対象物の大きさもそれほど大きく
変化することはない。従って、上記のようにして、前回
設定された最適基準輪郭画像を基に標準輪郭画像を取得
することによって、対象物の大きさに対応した標準輪郭
画像を得ることができ、より速く、対象物の位置を検出
することができる。Since the object should not move so much in the front-back direction between two consecutive object still images, the size of the object does not change so much. Therefore, as described above, by acquiring the standard contour image based on the previously set optimal reference contour image, a standard contour image corresponding to the size of the object can be obtained, and the object can be obtained more quickly. Can be detected.
【００２３】本発明の移動対象物追跡方法において、前
記工程（ａ）では、前記対象物移動画像から静止画像を
抽出し、該静止画像から前記対象物を含んだ部分を切り
出して、前記対象物静止画像を取得することが好まし
い。In the moving object tracking method according to the present invention, in the step (a), a still image is extracted from the moving image of the object, a portion including the object is cut out from the still image, and the object is extracted. Preferably, a still image is obtained.
【００２４】このように、対象物移動画像から抽出した
静止画像全体ではなく、その静止画像から切り出した部
分画像を対象物静止画像として取得することによって、
対象物静止画像から取得される前記対象物の輪郭を示す
対象物輪郭画像の大きさも必要最小限で済むため、基準
輪郭画像との比較処理の時間も短時間で済む。As described above, by acquiring not a whole still image extracted from the moving image of the object but a partial image cut out from the still image as a still image of the object,
Since the size of the object outline image indicating the outline of the object acquired from the object still image can be minimized, the time required for the comparison process with the reference outline image can be reduced.
【００２５】本発明の移動対象物追跡方法において、前
記工程（ｃ）では、前記工程（ｆ）で設定された前記最
適基準輪郭画像の、前記原輪郭画像に対する倍率にて、
前記原輪郭画像を拡大または縮小することによって前記
標準輪郭画像を取得することが好ましい。In the moving object tracking method according to the present invention, in the step (c), the optimal reference contour image set in the step (f) is scaled with respect to the original contour image.
Preferably, the standard outline image is obtained by enlarging or reducing the original outline image.
【００２６】このように構成することによって、原輪郭
画像さえ用意されていれば、取得した倍率だけ記憶する
だけで、標準輪郭画像を得ることができるので、標準輪
郭画像を取得するために、基準輪郭画像をその都度記憶
したりする必要がない。With this configuration, if only the original contour image is prepared, the standard contour image can be obtained only by storing the acquired magnification, so that the standard contour image can be obtained. There is no need to store the contour image each time.
【００２７】本発明の移動対象物追跡方法において、
（ｉ）前記工程（ｈ）で検出された前記対象物の位置
が、前記画像枠の周縁に近接した場合に、前記対象物が
前記画像枠から出ないよう、前記画像枠を一定量移動さ
せる工程をさらに備えるようにしても良い。In the moving object tracking method of the present invention,
(I) when the position of the object detected in the step (h) is close to the periphery of the image frame, the image frame is moved by a predetermined amount so that the object does not come out of the image frame. A step may be further provided.
【００２８】このような工程を備えることによって、対
象物が非常に大きく移動する場合でも、その対象物の位
置を追跡することが可能となる。By providing such a process, even if the target moves extremely, the position of the target can be tracked.
【００２９】本発明の移動対象物追跡方法において、前
記工程（ｅ）において、前記基準輪郭画像を前記対象物
静止画像に対し移動させる際の前記移動方向は、上，
下，左，右，左上，右上，左下，右下の８方向であるこ
とが好ましい。In the moving object tracking method of the present invention, in the step (e), when the reference contour image is moved relative to the object still image, the moving direction is upward,
It is preferable to have eight directions of lower, left, right, upper left, upper right, lower left, and lower right.
【００３０】このような移動方向を限定することによっ
て、方向的な偏りを生じることなく、評価値を算出する
ことができると共に、処理時間も短くて済む。By limiting such a moving direction, the evaluation value can be calculated without causing a directional bias, and the processing time can be shortened.
【００３１】本発明の第２の移動対象物追跡方法は、固
定された画像枠内で対象物が移動する対象物移動画像に
ついて、前記画像枠内における前記対象物の位置を追跡
する移動対象物追跡方法であって、（ａ）前記対象物の
およその輪郭を示す原輪郭画像を用意する工程と、
（ｂ）前記対象物移動画像から前記対象物を含んだ対象
物静止画像を取得する工程と、（ｃ）前記対象物静止画
像における基準位置を設定する工程と、（ｄ）前記対象
物静止画像に基づいた、前記対象物の輪郭を表す標準対
象物輪郭画像を取得する工程と、（ｅ）前記標準対象物
輪郭画像を拡大した拡大対象物輪郭画像及び縮小した縮
小対象物輪郭画像のうちの少なくとも一方と、前記標準
対象物輪郭画像と、を比較対象物輪郭画像として設定す
る工程と、（ｆ）各比較対象物輪郭画像毎に、前記対象
物静止画像における基準位置に一致する前記比較対象物
輪郭画像における基準位置に、前記原輪郭画像の特定位
置を一致させた場合と、一致させた状態で前記原輪郭画
像を所定の移動方向に所定量だけ前記比較対象物輪郭画
像に対し移動させた場合とについて、それぞれ、前記原
輪郭画像と前記比較対象物輪郭画像とを比較し、前記原
輪郭画像と前記比較対象物輪郭画像との一致する度合い
を表す評価値をそれぞれ算出する工程と、（ｇ）算出さ
れた前記評価値の中から一致の度合いが最も高い評価値
を導き出し、その結果に基づいて、一致の度合いが最も
高い場合の前記比較対象物輪郭画像を最適対象物輪郭画
像として設定すると共に、一致の度合いが最も高い場合
の前記原輪郭画像の基準位置に一致する前記比較対象物
輪郭画像における位置を最適位置として設定する工程
と、（ｈ）前記工程（ｇ）で設定された前記最適位置が
前記工程（ｃ）で設定された前記基準位置とほぼ一致す
るまで、前記工程（ｃ）において、前記工程（ｇ）で設
定された前記最適位置を新たな基準位置として設定し、
前記工程（ｄ）において、前記工程（ｇ）で設定された
前記最適対象物輪郭画像から前記標準対象物輪郭画像を
新たに取得しながら、前記工程（ｃ）から前記工程
（ｇ）までを繰り返す工程と、（ｉ）前記工程（ｇ）で
設定された前記最適位置が前記工程（ｃ）で設定された
前記基準位置とほぼ一致した場合に、前記最適位置を前
記対象物の位置として検出する工程と、を備え、前記工
程（ａ）から前記工程（ｉ）までを繰り返すことを要旨
とする。According to a second moving object tracking method of the present invention, for a moving object image in which a moving object moves within a fixed image frame, the moving object tracks the position of the moving object within the image frame. A tracking method, comprising: (a) preparing an original contour image indicating an approximate contour of the object;
(B) obtaining an object still image including the object from the object moving image; (c) setting a reference position in the object still image; and (d) the object still image. Obtaining a standard object outline image representing the outline of the object, based on the following: (e) an enlarged object outline image obtained by enlarging the standard object outline image and a reduced object outline image obtained by reducing the standard object outline image Setting at least one of the standard object outline images as a comparison object outline image; and (f) for each comparison object outline image, the comparison object matching a reference position in the object still image When the specific position of the original contour image is matched with the reference position in the object contour image, the original contour image is moved by a predetermined amount in the predetermined moving direction with respect to the comparative object contour image in the matched state. Comparing the original contour image with the comparative object contour image and calculating an evaluation value indicating the degree of coincidence between the original contour image and the comparative object contour image, g) An evaluation value with the highest degree of coincidence is derived from the calculated evaluation values, and based on the result, the comparative object outline image with the highest degree of coincidence is set as the optimal object outline image. Setting a position in the comparison object contour image that matches the reference position of the original contour image when the degree of coincidence is the highest as an optimum position; and (h) setting the position in the step (g). Until the optimum position substantially matches the reference position set in the step (c), the optimum position set in the step (g) is replaced with a new reference position in the step (c). Set as,
In the step (d), the steps (c) to (g) are repeated while newly acquiring the standard object contour image from the optimal object contour image set in the step (g). And (i) detecting the optimum position as the position of the object when the optimum position set in the step (g) substantially matches the reference position set in the step (c). And a step of repeating the steps (a) to (i).
【００３２】このように、本発明の第２の移動対象物追
跡方法では、まず、対象物のおよその輪郭を示す原輪郭
画像を用意する。次に、対象物移動画像から前記対象物
を含んだ対象物静止画像を取得し、さらに、その対象物
静止画像における基準位置を設定すると共に、その対象
物静止画像に基づいた、前記対象物の輪郭を表す標準対
象物輪郭画像を取得する。そして、標準対象物輪郭画像
を拡大した拡大対象物輪郭画像及び縮小した縮小対象物
輪郭画像のうちの少なくとも一方と、標準対象物輪郭画
像と、を比較対象物輪郭画像として設定する。続いて、
各比較対象物輪郭画像毎に、対象物静止画像における基
準位置に一致する比較対象物輪郭画像における基準位置
に、原輪郭画像の特定位置を一致させた場合と、一致さ
せた状態で原輪郭画像を所定の移動方向に所定量だけ比
較対象物輪郭画像に対し移動させた場合とについて、そ
れぞれ、原輪郭画像と比較対象物輪郭画像とを比較し、
原輪郭画像と比較対象物輪郭画像との一致する度合いを
表す評価値をそれぞれ算出する。さらに、算出された評
価値の中から一致の度合いが最も高い評価値を導き出
し、その結果に基づいて、一致の度合いが最も高い場合
の比較対象物輪郭画像を最適対象物輪郭画像として設定
すると共に、一致の度合いが最も高い場合の原輪郭画像
の基準位置に一致する比較対象物輪郭画像における位置
を最適位置として設定する。As described above, in the moving object tracking method according to the second embodiment of the present invention, first, an original contour image showing an approximate contour of the object is prepared. Next, an object still image including the object is obtained from the object moving image, and further, a reference position in the object still image is set, and based on the object still image, A standard object contour image representing the contour is obtained. Then, at least one of the enlarged target object contour image obtained by enlarging the standard target object contour image and the reduced target object contour image, and the standard target object contour image are set as comparison target object contour images. continue,
For each comparison target contour image, the reference position in the comparison target contour image that matches the reference position in the target still image is the case where the specific position of the original contour image is matched with the reference position in the comparison target contour image. Is moved in the predetermined moving direction by a predetermined amount with respect to the comparative object contour image, and the original contour image and the comparative object contour image are compared, respectively.
An evaluation value representing the degree of coincidence between the original contour image and the comparison object contour image is calculated. Further, an evaluation value with the highest degree of matching is derived from the calculated evaluation values, and based on the result, the comparison target contour image in the case of the highest degree of matching is set as the optimum target object contour image. The position in the contour image of the comparison object that matches the reference position of the original contour image when the degree of matching is the highest is set as the optimal position.
【００３３】そして、設定された最適位置が先に設定さ
れた基準位置とほぼ一致するまで、対象物静止画像にお
ける基準位置の設定から、最適対象物輪郭画像及び最適
位置の設定までの処理を繰り返す。その際、対象物静止
画像における新たな基準位置としては、設定された最適
位置を設定し、新たな標準対象物輪郭画像は、設定され
た最適対象物輪郭画像から取得する。こうして、最終的
に、設定された最適位置が先に設定された基準位置とほ
ぼ一致した場合に、設定された最適位置を対象物の位置
として検出する。Until the set optimum position substantially matches the previously set reference position, the processing from setting of the reference position in the object still image to setting of the optimum object contour image and the optimum position is repeated. . At this time, the set optimal position is set as a new reference position in the target still image, and a new standard target object contour image is obtained from the set optimal object contour image. Thus, finally, when the set optimum position substantially coincides with the previously set reference position, the set optimum position is detected as the position of the object.
【００３４】従って、本発明によれば、比較対象物輪郭
画像として、標準対象物輪郭画像の他、標準対象物輪郭
画像を拡大または縮小した輪郭画像を用いているため、
対象物が前後方向に移動して、対象物静止画像から得ら
れる対象物の輪郭画像の大きさが変化しても、比較対象
物輪郭画像として、標準対象物輪郭画像の他、標準対象
物輪郭画像を拡大または縮小した輪郭画像を用いること
により、その変化に打ち消すようにしながら、比較対象
物輪郭画像と基準輪郭画像との比較を行なうことができ
るため、正確な評価値を得ることができ、対象物の位置
を精度良く追跡することができる。Therefore, according to the present invention, since the contour image obtained by enlarging or reducing the standard object contour image is used as the comparative object contour image in addition to the standard object contour image.
Even when the object moves in the front-back direction and the size of the outline image of the object obtained from the object still image changes, the standard object outline image is used as the comparison object outline image in addition to the standard object outline image. By using the contour image obtained by enlarging or reducing the image, it is possible to perform comparison between the comparative object contour image and the reference contour image while canceling the change, so that an accurate evaluation value can be obtained. The position of the object can be tracked with high accuracy.
【００３５】[0035]
【発明の他の態様】本発明は、以下のような他の態様を
採ることも可能である。第１の態様は、上記した本発明
の第１の移動対象物追跡方法において、前記工程（ｄ）
における拡大輪郭画像や縮小輪郭画像の標準輪郭画像に
対する倍率を、対象物の移動速度に応じて変化させる態
様である。Other Embodiments of the Invention The present invention can also adopt the following other embodiments. According to a first aspect, in the first moving object tracking method of the present invention, the step (d) is performed.
In this embodiment, the magnification of the enlarged outline image or the reduced outline image with respect to the standard outline image is changed according to the moving speed of the target object.
【００３６】また、第２の態様は、前記工程（ｅ）にお
ける基準輪郭画像の対象物静止画像に対する移動量を、
対象物の移動速度に応じて変化させる態様である。In a second aspect, the moving amount of the reference contour image with respect to the object still image in the step (e) is determined by:
This is a mode in which it is changed according to the moving speed of the object.
【００３７】このように、対象物の移動速度に応じて上
記倍率や移動量を変化させることによって、一致の度合
いが高い場合をより速く検出することができる。As described above, by changing the magnification and the amount of movement according to the moving speed of the object, the case where the degree of coincidence is high can be detected more quickly.
【００３８】[0038]
【発明の実施の形態】以下、本発明の実施の形態を実施
例に基づいて説明する。図１は本発明の第１の実施例と
しての移動対象物追跡装置を示すブロック図である。な
お、本実施例においては、画像枠（即ち、フレーム枠）
は原則的に固定されており、追跡の対象となる対象物
は、その画像枠内で移動している。また、対象物は或る
人物の頭部としている。DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described below based on examples. FIG. 1 is a block diagram showing a moving object tracking device according to a first embodiment of the present invention. In this embodiment, the image frame (that is, the frame frame)
Is fixed in principle, and the object to be tracked moves within its image frame. The target object is the head of a certain person.
【００３９】この移動対象物追跡装置は、図１に示すよ
うなコンピュータシステムによって構成されている。即
ち、このコンピュータシステムは、コンピュータ本体１
００と、ビデオカメラ２００と、首振り制御装置２５０
と、モニタ３００と、を備えている。このうち、コンピ
ュータ本体１００は、ＣＰＵ１１０と、バスライン１９
０と、を備えており、バスライン１９０には、入出力イ
ンタフェース１３０と、ＣＰＵ１１０によって実行され
るコンピュータプログラムや処理途中得られるデータな
どを記憶するためのメインメモリ１４０と、原輪郭画像
を予め格納している原輪郭画像メモリ１５０と、１フレ
ーム分の静止画像を記憶するためのフレームメモリ１６
０と、対象物輪郭画像を記憶するための対象物輪郭画像
メモリ１７０と、種々のデータなどを格納するハードデ
ィスク装置１８０と、が接続されている。原輪郭画像と
しては、対象物（即ち、或る人物の頭部）のおよその輪
郭を表す画像が用意されている。なお、上記メモリは別
々のメモリで構成する必要は必ずしもなく、１つ以上の
メモリにまとめて構成するようにしても良い。This moving object tracking device is constituted by a computer system as shown in FIG. That is, this computer system is a computer
00, video camera 200, and swing control device 250
And a monitor 300. The computer main body 100 includes a CPU 110 and a bus line 19.
In the bus line 190, an input / output interface 130, a main memory 140 for storing a computer program executed by the CPU 110, data obtained during processing, and the like, and an original contour image are stored in advance. The original contour image memory 150 and the frame memory 16 for storing one frame of still images.
0, an object outline image memory 170 for storing an object outline image, and a hard disk device 180 for storing various data and the like. As the original contour image, an image representing the approximate contour of the target object (that is, the head of a certain person) is prepared. Note that the memories need not necessarily be configured as separate memories, and may be configured as one or more memories.
【００４０】ビデオカメラ２００やモニタ３００や首振
り制御装置２５０は、入出力インタフェース１３０を介
してコンピュータ本体１００に接続されている。The video camera 200, the monitor 300, and the swing control device 250 are connected to the computer main body 100 via the input / output interface 130.
【００４１】このうち、ビデオカメラ２００は、移動す
る対象物を撮影し、それにより得られた動画像をコンピ
ュータ本体１００に入力する。また、首振り制御装置２
５０は、コンピュータ本体１００からの制御によってビ
デオカメラ２００を水平方向にパーンさせる機能を有す
るが、通常時は、ビデオカメラ２００によって得られる
画像枠（フレーム枠）を常に固定するために、ビデオカ
メラ２００を一定の姿勢に保っている。モニタ３００
は、コンピュータ本体１００によって処理された画像等
を、検出された対象物の位置と共に表示する。The video camera 200 captures a moving object, and inputs a moving image obtained thereby to the computer main body 100. In addition, the swing control device 2
Reference numeral 50 has a function of panning the video camera 200 in the horizontal direction under the control of the computer main body 100. In normal times, the video camera 200 is always fixed in order to always fix an image frame (frame frame) obtained by the video camera 200. Is kept in a certain posture. Monitor 300
Displays an image or the like processed by the computer main body 100 together with the position of the detected object.
【００４２】なお、キーボードやマウスなどの入力装置
は、図示されてないが、必要に応じて、入出力インタフ
ェース１３０を介してコンピュータ本体１００に接続さ
れる。Although not shown, input devices such as a keyboard and a mouse are connected to the computer main body 100 via an input / output interface 130 as necessary.
【００４３】一方、ＣＰＵ１１０は、メインメモリ１４
０に記憶されているコンピュータプログラムを実行する
ことによって、後述するような対象物輪郭画像取得部１
１１，基準位置設定部１１２，基準輪郭画像設定部１１
３，評価値算出部１１４，判定部１１５，対象物位置検
出部１１６として機能する。On the other hand, the CPU 110
0 by executing the computer program stored in the object contour image acquisition unit 1 as described later.
11, reference position setting unit 112, reference contour image setting unit 11
3. Function as an evaluation value calculation unit 114, a determination unit 115, and an object position detection unit 116.
【００４４】本実施例では、上記コンピュータプログラ
ムは、記録媒体に記録された形態で提供され、情報読み
取り装置（図示せず）などにより読み取られることによ
って、コンピュータシステム内に取り込まれる。取り込
まれたコンピュータプログラムは、ハードディスク装置
１８０に転送され、その後、コンピュータシステムの起
動時などにメインメモリ１４０に転送される。In this embodiment, the computer program is provided in a form recorded on a recording medium, and is loaded into a computer system by being read by an information reading device (not shown) or the like. The fetched computer program is transferred to the hard disk device 180 and then transferred to the main memory 140 when the computer system starts up.
【００４５】なお、コンピュータプログラムをコンピュ
ータ読み取り可能に記録する記録媒体としては、ＣＤ−
ＲＯＭや、，フレキシブルディスクや、光磁気ディス
ク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、
バーコードなどの符号が印刷された印刷物、コンピュー
タの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）およ
び外部記憶装置等の、コンピュータが読取り可能な種々
の媒体を利用できる。The recording medium for recording the computer program in a computer-readable manner is a CD-ROM.
ROM, flexible disk, magneto-optical disk, IC card, ROM cartridge, punch card,
Various computer-readable media such as printed matter on which codes such as barcodes are printed, internal storage devices (memory such as RAM and ROM) and external storage devices of the computer can be used.
【００４６】また、上記コンピュータプログラムの一部
は、オペレーティングシステムプログラムによって構成
するようにしても良い。A part of the computer program may be constituted by an operating system program.
【００４７】さらにまた、本実施例においては、対象物
輪郭画像取得部１１１，基準位置設定部１１２，基準輪
郭画像設定部１１３，評価値算出部１１４，判定部１１
５，対象物位置検出部１１６をソフトウェアによって実
現しているが、これらはハードフェアによって実現する
ようにしても良い。Further, in the present embodiment, the object contour image acquisition unit 111, the reference position setting unit 112, the reference contour image setting unit 113, the evaluation value calculation unit 114, and the determination unit 11
5. Although the object position detection unit 116 is realized by software, they may be realized by hardware.
【００４８】では、図１の移動対象物追跡装置によって
実行される移動対象物追跡方法の処理手順について説明
する。図２及び図３は図１の移動対象物追跡装置によっ
て実行される移動対象物追跡方法の処理手順を示すフロ
ーチャートである。なお、図２及び図３において、丸で
囲まれた数字は、同じ数字同士が接続されることを意味
している。Next, the processing procedure of the moving object tracking method executed by the moving object tracking apparatus of FIG. 1 will be described. 2 and 3 are flowcharts showing a processing procedure of a moving object tracking method executed by the moving object tracking device of FIG. In FIGS. 2 and 3, numbers surrounded by circles mean that the same numbers are connected to each other.
【００４９】図２に示す処理が開始されると、まず、図
１に示すＣＰＵ１１０における対象物輪郭画像取得部１
１１が、ビデオカメラ２００から入力された動画像か
ら、１フレーム分の静止画像を取り込んで、フレームメ
モリ１６０に格納する（ステップＳ１０２）。そして、
対象物輪郭画像取得部１１１は、前回の１フレーム分の
静止画像について検出された対象物の位置を基にして、
今回の格納された１フレーム分の静止画像から、対象物
を含んだ対象物静止画像を切り出す（ステップＳ１０
４）。When the processing shown in FIG. 2 is started, first, the object contour image acquiring unit 1 in the CPU 110 shown in FIG.
11 captures one frame of still image from the moving image input from the video camera 200 and stores it in the frame memory 160 (step S102). And
The target object contour image acquisition unit 111 uses the position of the target object detected for the previous one frame of the still image based on the position of the target object.
An object still image including the object is cut out from the stored still image for one frame (step S10).
4).
【００５０】図４は静止画像から切り出される対象物静
止画像及びエッジ抽出により取得される対象物輪郭画像
などを示す説明図である。FIG. 4 is an explanatory diagram showing an object still image cut out from a still image, an object outline image obtained by edge extraction, and the like.
【００５１】即ち、例えば、図４（ａ）に示すように、
今回格納された１フレーム分の静止画像５０２から、対
象物（即ち、或る人物の頭部）５０４を含んだ対象物静
止画像５０６を切り出す場合、対象物輪郭画像取得部１
１１は、まず、前回の１フレーム分の静止画像について
検出された対象物の位置Ｐ１に、後述するようにして取
得される図４（ｂ）に示す標準輪郭画像５１０の特定位
置（例えば、中心位置）Ｏが一致するように、標準輪郭
画像５１０を静止画像５０２に重ね、次に、その重ねた
標準輪郭画像５１０の周縁５０８から一定マージンｍだ
け大きい画像を切り出して、対象物静止画像５０６とす
る。That is, for example, as shown in FIG.
When the object still image 506 including the object (that is, the head of a certain person) 504 is cut out from the one-frame still image 502 stored this time, the object outline image acquisition unit 1
Reference numeral 11 denotes a specific position (for example, a center) of the standard outline image 510 shown in FIG. The standard outline image 510 is superimposed on the still image 502 so that the position (O) coincides. Then, an image larger than the peripheral edge 508 of the superimposed standard outline image 510 by a fixed margin m is cut out, and the target still image 506 is I do.
【００５２】こうして対象物静止画像を切り出したら、
対象物輪郭画像取得部１１１は、その対象物静止画像か
ら、画像変化の大きな部分をエッジとして抽出して、対
象物の輪郭を表した対象物輪郭画像を取得し（ステップ
Ｓ１０６）、取得した対象物輪郭画像を対象物輪郭画像
メモリ１７０に格納する。When the target still image is cut out in this way,
The object outline image acquiring unit 111 extracts a part having a large image change as an edge from the object still image, acquires an object outline image representing the outline of the object (Step S106), and acquires the acquired object. The object outline image is stored in the object outline image memory 170.
【００５３】即ち、対象物輪郭画像取得部１１１は、図
４（ａ）に示すように、切り出した対象物静止画像５０
６から、濃度差のあるところを２値画像として取り出す
ことによって、エッジ抽出を行ない、図４（ｃ）に示す
ような対象物の輪郭５１４を表した対象物輪郭画像５１
２を得る。なお、このようなエッジの抽出には、いわゆ
る Sobel フィルタなどを用いるようにしても良い。That is, as shown in FIG. 4A, the object outline image acquiring section 111 cuts out the extracted object still image 50
6, an edge is extracted by extracting a portion having a density difference as a binary image, and an object outline image 51 showing an outline 514 of the object as shown in FIG.
Get 2. Note that a so-called Sobel filter or the like may be used to extract such an edge.
【００５４】続いて、図１に示す基準位置設定部１１２
は、取得した対象物輪郭画像上に、前回の１フレーム分
の静止画像について検出された対象物の位置を、基準位
置として設定する（ステップＳ１０８）。Subsequently, the reference position setting unit 112 shown in FIG.
Sets the position of the target object detected for the previous one frame of the still image on the obtained target object contour image as a reference position (step S108).
【００５５】即ち、例えば、図４（ａ）に示すように、
前回検出された対象物の位置がＰ１であるとすると、そ
のＰ１の位置を、図４（ｃ）に示すように、対象物輪郭
画像５１２における基準位置Ｑ１として設定する。That is, for example, as shown in FIG.
Assuming that the position of the object detected last time is P1, the position of P1 is set as the reference position Q1 in the object outline image 512 as shown in FIG.
【００５６】次に、基準輪郭画像設定部１１３は、原輪
郭画像メモリ１５０に格納されている原輪郭画像を読み
出し、その原輪郭画像を、前回設定された基準倍率で拡
大または縮小して、標準輪郭画像を取得する（ステップ
Ｓ１１０）。なお、基準倍率については、後ほど説明す
る。Next, the reference contour image setting section 113 reads out the original contour image stored in the original contour image memory 150, and enlarges or reduces the original contour image at the previously set reference magnification, and outputs the standard contour image. An outline image is obtained (step S110). The reference magnification will be described later.
【００５７】即ち、例えば、原輪郭画像メモリ１５０
に、対象物のおよその輪郭を表す原輪郭画像として、図
４（ｂ）に示すような輪郭画像５１０と相似な輪郭画像
が格納されているとすると、基準輪郭画像設定部１１３
は、その原輪郭画像を基準倍率で拡大または縮小するこ
とによって、図４（ｂ）に示す輪郭画像５１０を標準輪
郭画像として取得する。That is, for example, the original contour image memory 150
Assuming that a contour image similar to the contour image 510 as shown in FIG. 4B is stored as an original contour image representing an approximate contour of the object, the reference contour image setting unit 113
Obtains a contour image 510 shown in FIG. 4B as a standard contour image by enlarging or reducing the original contour image at a reference magnification.
【００５８】続いて、基準輪郭画像設定部１１３は、取
得した標準輪郭画像を拡大して拡大輪郭画像を取得する
と共に、標準輪郭画像を縮小して縮小輪郭画像を取得す
る（ステップＳ１１２）。なお、拡大または縮小する割
合は、例えば、標準輪郭画像全体に対して、２画素分ほ
ど拡大または縮小するものとする。Subsequently, the reference contour image setting unit 113 enlarges the acquired standard contour image to acquire an enlarged contour image, and also reduces the standard contour image to acquire a reduced contour image (step S112). Note that the rate of enlargement or reduction is, for example, that the entire standard outline image is enlarged or reduced by two pixels.
【００５９】そして、基準輪郭画像設定部１１３は、取
得した標準輪郭画像，拡大輪郭画像及び縮小輪郭画像
を、対象物輪郭画像と比較するための基準輪郭画像とし
て設定する（ステップＳ１１４）。こうして、互いに大
きさの異なる３つの基準輪郭画像が得られる。Then, the reference contour image setting section 113 sets the obtained standard contour image, enlarged contour image and reduced contour image as a reference contour image for comparison with the object contour image (step S114). Thus, three reference contour images having different sizes from each other are obtained.
【００６０】図５は取得された標準輪郭画像，拡大輪郭
画像及び縮小輪郭画像と、それら基準輪郭画像を対象物
輪郭画像に重ね合わせて移動させる様子を示す説明図で
ある。FIG. 5 is an explanatory diagram showing the acquired standard outline image, enlarged outline image and reduced outline image, and how the reference outline image is moved while being superimposed on the object outline image.
【００６１】例えば、取得した標準輪郭画像が図５（ｂ
−１）に示す画像５１０であるとすると、基準輪郭画像
設定部１１３は、この標準輪郭画像５１０を拡大して図
５（ｃ−１）に示すような拡大輪郭画像５１８を取得
し、また、縮小して図５（ａ−１）に示すような縮小輪
郭画像５１６を取得する。そして、これら３つの輪郭画
像を基準輪郭画像として設定する。なお、図５におい
て、Ｏは前述したとおり基準輪郭画像の特定位置（即
ち、中心位置）である。また、輪郭５２０は対象物のお
よその輪郭である。For example, the obtained standard outline image is shown in FIG.
Assuming that the image 510 is the image 510 shown in -1), the reference outline image setting unit 113 enlarges the standard outline image 510 to obtain an enlarged outline image 518 as shown in FIG. The image is reduced to obtain a reduced outline image 516 as shown in FIG. Then, these three contour images are set as reference contour images. In FIG. 5, O is a specific position (ie, a center position) of the reference contour image as described above. The outline 520 is an approximate outline of the object.
【００６２】次に、評価値算出部１１４は、対象物輪郭
画像メモリ１７０に格納された対象物輪郭画像を読み出
し、３つの基準輪郭画像毎に、基準輪郭画像の中心位置
を対象物輪郭画像における基準位置に一致させて、基準
輪郭画像と対象物輪郭画像とを比較し、両者の一致する
度合いを表す評価値を算出し、さらに、一致させた状態
から基準輪郭画像を対象物輪郭画像に対し８つの方向に
所定量だけそれぞれ移動させて、同様に比較して評価値
を算出する（ステップＳ１１６）。Next, the evaluation value calculating section 114 reads out the object outline image stored in the object outline image memory 170 and, for each of the three reference outline images, determines the center position of the reference outline image in the object outline image. The reference contour image is compared with the object contour image in accordance with the reference position, an evaluation value indicating the degree of coincidence between the two is calculated, and the reference contour image is compared with the object contour image from the matched state. An evaluation value is calculated by moving each in the eight directions by a predetermined amount and comparing in the same manner (step S116).
【００６３】例えば、基準輪郭画像の１つである図５
（ｂ−１）に示す標準輪郭画像５１０と、図４（ｃ）に
示す対象物輪郭画像５１２と、を比較する場合、図５
（ｂ−２）に示すように、まず、標準輪郭画像５１０の
中心位置Ｏを対象物輪郭画像５１２における基準位置Ｑ
１に一致させるようにして、標準輪郭画像５１０を対象
物輪郭画像５１２の上に配置し、その位置において両者
を比較して、評価値を算出する。続いて、一致させた状
態から、標準輪郭画像５１０を対象物輪郭画像５１２に
対し上向きに所定量移動させ、その位置において両者を
比較して評価値を算出する。以下、同様にして、標準輪
郭画像５１０を対象物輪郭画像５１２に対して、下向
き、右向き、左向き、右上向き、左上向き、右下向き、
左下向きにそれぞれ所定量移動させて、各位置におい
て、両者を比較して評価値をそれぞれ算出する。なお、
移動させる量としては、例えば、１画素分だけ移動させ
るようにする。For example, FIG. 5 which is one of the reference contour images
When comparing the standard outline image 510 shown in (b-1) with the object outline image 512 shown in FIG.
As shown in (b-2), first, the center position O of the standard outline image 510 is set to the reference position Q in the object outline image 512.
The standard outline image 510 is arranged on the object outline image 512 so as to match with 1, and the two are compared at that position to calculate an evaluation value. Subsequently, from the matched state, the standard outline image 510 is moved upward by a predetermined amount with respect to the object outline image 512, and the two are compared at that position to calculate an evaluation value. Hereinafter, similarly, the standard outline image 510 is downwardly, rightwardly, leftwardly, rightwardly upwardly, leftwardly upwardly, rightwardly downward, with respect to the object outline image 512.
By moving each by a predetermined amount in the lower left direction, an evaluation value is calculated by comparing the two at each position. In addition,
The moving amount is, for example, one pixel.
【００６４】こうして、標準輪郭画像５１０に関して、
対象物輪郭画像５１２に対し合計９カ所の位置でそれぞ
れ評価値を算出したら、次に、他の２つの基準輪郭画
像、即ち、図５（ｃ−１）に示す拡大輪郭画像５１８及
び図５（ａ−１）に示す縮小輪郭画像５１６に関して
も、同様に、図５（ｃ−２），（ａ−２）に示す如く、
対象物輪郭画像５１２に対し計９カ所の位置でそれぞれ
評価値を算出する。Thus, with respect to the standard outline image 510,
After calculating the evaluation values at a total of nine positions with respect to the object outline image 512, next, the other two reference outline images, that is, the enlarged outline image 518 shown in FIG. Similarly, as for the reduced outline image 516 shown in a-1), as shown in FIGS. 5C-2 and 5A-2,
Evaluation values are calculated at nine positions with respect to the object outline image 512, respectively.
【００６５】以上のようにして、３つの基準輪郭画像に
関して、各々、９カ所の位置で評価値をそれぞれ算出す
ることになるため、総計で２７個評価値を算出すること
になる。As described above, evaluation values are calculated at nine positions for each of the three reference contour images, so that a total of 27 evaluation values are calculated.
【００６６】なお、上記した説明では、まず、標準輪郭
画像５１０に関して評価値を算出し、続いて、拡大輪郭
画像５１８や縮小輪郭画像５１６に関して評価値を算出
し、また、先に、中心位置を基準位置に一致させて評価
値を算出し、その後、所定量移動させて評価値を算出す
るものとしたが、評価値を算出する順序はこれに限定さ
れるものではなく、どのような順序で評価値を算出して
も構わない。In the above description, first, an evaluation value is calculated for the standard outline image 510, then an evaluation value is calculated for the enlarged outline image 518 and the reduced outline image 516, and the center position is first determined. The evaluation value is calculated in accordance with the reference position, and thereafter, the evaluation value is calculated by moving by a predetermined amount. However, the order in which the evaluation value is calculated is not limited to this. The evaluation value may be calculated.
【００６７】図６は評価値を算出する方法を説明するた
めの説明図である。本実施例においては、基準輪郭画像
と対象物輪郭画像との一致する度合いを示す評価値とし
て、基準輪郭画像を対象物輪郭画像に当てはめる際の移
動量を用いる。即ち、基準輪郭画像を対象物輪郭画像５
１２の上に配置した上で、図６に示すように、基準輪郭
画像における輪郭５２０を構成する全ての画素につい
て、それぞれ、その画素から最短距離に位置する、対象
物輪郭画像５１２における輪郭５１４を構成する画素ま
での距離を求め、それら求めた距離の総和を算出して、
評価値とする。従って、この評価値では、基準輪郭画像
と対象物輪郭画像との一致する度合いが高いほど、値が
小さくなる。FIG. 6 is an explanatory diagram for explaining a method of calculating an evaluation value. In the present embodiment, a movement amount when the reference contour image is applied to the target contour image is used as an evaluation value indicating the degree of coincidence between the reference contour image and the target contour image. That is, the reference contour image is replaced with the object contour image 5
6, as shown in FIG. 6, for all the pixels constituting the contour 520 in the reference contour image, the contour 514 in the object contour image 512 located at the shortest distance from the pixel is determined. Find the distance to the constituent pixels, calculate the sum of those found distances,
Evaluation value. Therefore, in this evaluation value, the value decreases as the degree of coincidence between the reference contour image and the object contour image increases.
【００６８】なお、図６において、各ベクトルの始点
は、輪郭５２０を構成する画素を示し、終点はその画素
から最短距離にある輪郭５１４を構成する画素を示して
いる。In FIG. 6, the starting point of each vector indicates a pixel forming the outline 520, and the ending point indicates a pixel forming the outline 514 which is the shortest distance from the pixel.
【００６９】次に、判定部１１５は、算出された２７個
の評価値の中から最小の評価値（即ち、一致の度合いが
最も高い評価値）を選び出し、その評価値に対応する基
準輪郭画像と対象物輪郭画像との位置関係を特定する。
そして、その位置関係において、基準輪郭画像の中心位
置と一致する対象物輪郭画像における位置を最適位置と
して設定する（図３のステップＳ１１８）。Next, the judging section 115 selects the minimum evaluation value (that is, the evaluation value with the highest degree of coincidence) from the calculated 27 evaluation values, and selects the reference contour image corresponding to the evaluation value. And the positional relationship between the object and the object contour image.
Then, in the positional relationship, a position in the target object contour image that matches the center position of the reference contour image is set as the optimum position (step S118 in FIG. 3).
【００７０】図７は最小の評価値に基づいて最適位置を
設定する方法を説明するための説明図である。FIG. 7 is an explanatory diagram for explaining a method of setting the optimum position based on the minimum evaluation value.
【００７１】例えば、図５（ｃ−２）において、対象物
輪郭画像５１２に対し基準輪郭画像（拡大輪郭画像５１
８）を左上向きに移動させた位置での評価値が最小であ
るものとして説明する。即ち、対象物輪郭画像５１２に
対し基準輪郭画像を左上向きに移動させたことによっ
て、図７に示すように、基準輪郭画像における輪郭５２
０は輪郭５２０’の位置に移る。同様に、基準輪郭画像
の中心位置Ｏも、対象物輪郭画像５１２上において、基
準位置Ｑ１に一致した位置から、Ｒ２の位置に移ること
になる。そこで、判定部１１５は、対象物輪郭画像５１
２上において、基準輪郭画像の中心位置Ｏが移った先の
位置Ｒ２を、最適位置として設定する。For example, in FIG. 5 (c-2), a reference contour image (enlarged contour image 51)
8) The description will be made on the assumption that the evaluation value at the position moved upward and to the left is the minimum. That is, by moving the reference contour image upward and to the left with respect to the target object contour image 512, as shown in FIG.
0 moves to the position of the contour 520 '. Similarly, the center position O of the reference contour image also shifts from the position corresponding to the reference position Q1 to the position R2 on the object contour image 512. Therefore, the determination unit 115 determines that the object outline image 51
2, a position R2 to which the center position O of the reference contour image is shifted is set as the optimum position.
【００７２】また、判定部１１５は、３つの基準輪郭画
像のうち、最小の評価値に対応する基準輪郭画像を最適
基準輪郭画像として設定し、その最適基準輪郭画像の原
輪郭画像に対する倍率を導き出し（ステップＳ１２
０）、その倍率をメインメモリ１４０に格納する。The determination unit 115 sets the reference contour image corresponding to the minimum evaluation value among the three reference contour images as the optimum reference contour image, and derives the magnification of the optimum reference contour image from the original contour image. (Step S12
0), and store the magnification in the main memory 140.
【００７３】例えば、上記の例では評価値が最小となっ
たのは、基準輪郭画像が図５（ｃ−１）に示した拡大輪
郭画像５１８である場合であるので、判定部１１５は、
この拡大輪郭画像５１８を最適基準輪郭画像として設定
する。そして、この拡大輪郭画像５１８の原輪郭画像
（即ち、原輪郭画像メモリ１５０に格納されている輪郭
画像）に対する倍率を導き出す。For example, in the above example, the evaluation value becomes the minimum when the reference contour image is the enlarged contour image 518 shown in FIG. 5 (c-1).
This enlarged contour image 518 is set as the optimal reference contour image. Then, the magnification of the enlarged contour image 518 with respect to the original contour image (that is, the contour image stored in the original contour image memory 150) is derived.
【００７４】次に、判定部１１５は、対象物輪郭画像に
設定された最適位置が、先に設定された基準位置と一致
するか否かを判定する（ステップＳ１２２）。そして、
一致しない場合には、基準位置設定部１１２が、対象物
輪郭画像に設定された最適位置を、対象物輪郭画像にお
ける新たな基準位置として設定する（ステップＳ１２
４）。Next, the determination section 115 determines whether or not the optimum position set in the object contour image matches the previously set reference position (step S122). And
If they do not match, the reference position setting unit 112 sets the optimum position set in the target object contour image as a new reference position in the target object contour image (step S12).
4).
【００７５】例えば、図７に示したように、対象物輪郭
画像５１２上において、Ｒ２が最適位置として設定され
ていたとすると、基準位置設定部１１２は、この最適位
置Ｒ２を対象物輪郭画像５１２における新たな基準位置
Ｑ２として設定する。For example, as shown in FIG. 7, if R2 is set as the optimum position on the object outline image 512, the reference position setting unit 112 sets this optimum position R2 in the object outline image 512. It is set as a new reference position Q2.
【００７６】続いて、基準輪郭画像設定部１１３は、原
輪郭画像メモリ１５０に格納されている原輪郭画像を読
み出すと共に、メインメモリ１４０に格納されている倍
率を読み出し、その倍率で原輪郭画像を拡大または縮小
して、標準輪郭画像を新たに取得する（ステップＳ１２
６）。Subsequently, the reference contour image setting section 113 reads the original contour image stored in the original contour image memory 150, reads the magnification stored in the main memory 140, and converts the original contour image at the magnification. The standard outline image is newly acquired by enlarging or reducing (step S12)
6).
【００７７】その後、再び、図２のステップＳ１１２の
処理に戻って、以下、図３のステップＳ１２２において
最適位置が基準位置に一致するまで、前述したと同様の
処理が繰り返される。Thereafter, returning to the processing of step S112 in FIG. 2, the same processing as described above is repeated until the optimum position matches the reference position in step S122 in FIG.
【００７８】一方、ステップＳ１２２において、最適位
置が基準位置に一致した場合には、対象物位置検出部１
１６は、対象物輪郭画像におけるその最適位置を、今回
の１フレーム分の静止画像における対象物の位置として
検出する（ステップＳ１２８）。そして、さらに、メイ
ンメモリ１４０に格納されている倍率を、新たな基準倍
率として設定する（ステップＳ１３０）。ここで設定さ
れた基準倍率は、次回におけるステップＳ１１０におい
て、標準輪郭画像を取得するのに用いられる。On the other hand, if the optimum position coincides with the reference position in step S122, the object position detector 1
In step S128, the optimum position in the object outline image is detected as the position of the object in the still image of one frame this time. Then, the magnification stored in the main memory 140 is set as a new reference magnification (step S130). The reference magnification set here is used to acquire a standard contour image in the next step S110.
【００７９】図８は図２及び図３におけるステップＳ１
１２〜ステップＳ１２６の処理を繰り返すことによっ
て、対象物輪郭画像に対し基準輪郭画像の変化する様子
を示す説明図である。FIG. 8 shows step S1 in FIG. 2 and FIG.
It is explanatory drawing which shows a mode that a reference | standard outline image changes with respect to a target object outline image by repeating the process of 12-step S126.
【００８０】即ち、例えば、繰り返し処理のうち、１回
目の処理で、標準輪郭画像５１０（図５（ｂ−１））の
中心位置Ｏを対象物輪郭画像５１２における基準位置Ｑ
１に一致させるようにして、標準輪郭画像５１０を対象
物輪郭画像５１２の上に配置した場合、図８（ａ）に示
す状態になる。この状態は先に示した図５（ｂ−２）と
同じである。続いて、１回目の処理において、算出した
２７個の評価値のうち、拡大輪郭画像５１８（図５（ｃ
−１））を対象物輪郭画像５１２に対し左上向きに移動
させた位置での評価値が最小であったとすると、その場
合の拡大輪郭画像５１８の中心位置Ｏに一致する位置が
最適位置に設定され、さらに、その位置が対象物輪郭画
像５１２における新たな基準位置Ｑ２に設定される。そ
してまた、その場合の拡大輪郭画像５１８が最適基準輪
郭画像に設定され、さらに、その画像が新たな標準輪郭
画像となる。That is, for example, in the first processing of the repetition processing, the center position O of the standard outline image 510 (FIG. 5 (b-1)) is set to the reference position Q in the object outline image 512.
When the standard outline image 510 is arranged on the target object outline image 512 so as to match with 1, the state shown in FIG. This state is the same as that shown in FIG. Subsequently, in the first processing, the enlarged outline image 518 (FIG. 5C
Assuming that the evaluation value at the position where -1)) is moved to the upper left with respect to the object outline image 512 is the minimum, the position that matches the center position O of the enlarged outline image 518 in that case is set as the optimum position. Then, the position is set as a new reference position Q2 in the object outline image 512. Then, the enlarged outline image 518 in that case is set as the optimal reference outline image, and the image becomes a new standard outline image.
【００８１】次に、２回目の処理において、新たな標準
輪郭画像の中心位置Ｏを対象物輪郭画像５１２における
新たな基準位置Ｑ２に一致させるようにして、標準輪郭
画像を対象物輪郭画像５１２の上に配置すると、図８
（ｂ）に示す状態になる。続いて、２回目の処理におい
て、算出した２７個の評価値のうち、今度は、拡大輪郭
画像（即ち、新たな標準輪郭画像を拡大した輪郭画像）
を対象物輪郭画像５１２に対し左向きに移動させた位置
での評価値が最小であったとすると、その場合の拡大輪
郭画像の中心位置Ｏに一致する位置が最適位置に設定さ
れ、さらに、その位置が対象物輪郭画像５１２における
次の新たな基準位置Ｑ３に設定される。また、その場合
の拡大輪郭画像も最適基準輪郭画像に設定され、さら
に、その画像が次の新たな標準輪郭画像となる。Next, in the second processing, the center position O of the new standard outline image is made to coincide with the new reference position Q2 in the object outline image 512, and the standard outline image is When placed on top, Figure 8
The state shown in FIG. Subsequently, of the 27 evaluation values calculated in the second processing, this time, an enlarged contour image (that is, a contour image obtained by enlarging a new standard contour image) is used.
Assuming that the evaluation value at the position where is moved to the left with respect to the object outline image 512 is the minimum, the position that coincides with the center position O of the enlarged outline image in that case is set as the optimum position. Is set to the next new reference position Q3 in the object outline image 512. In this case, the enlarged contour image is also set as the optimal reference contour image, and that image becomes the next new standard contour image.
【００８２】次に、３回目の処理において、新たな標準
輪郭画像の中心位置Ｏを対象物輪郭画像５１２における
新たな基準位置Ｑ３に一致させるようにして、標準輪郭
画像を対象物輪郭画像５１２の上に配置すると、図８
（ｃ）に示す状態になる。そこで、３回目の処理におい
て、算出した２７個の評価値のうち、標準輪郭画像の中
心位置Ｏが対象物輪郭画像５１２における基準位置Ｑ３
に一致した位置での評価値が最小になったとすると、そ
の場合の標準輪郭画像の中心位置Ｏに一致する位置が最
適位置に設定され、その場合の標準輪郭画像が最適基準
輪郭画像に設定される。Next, in the third processing, the center position O of the new standard outline image is made to coincide with the new reference position Q3 in the object outline image 512, and the standard outline image is When placed on top, Figure 8
The state shown in FIG. Therefore, in the third processing, the center position O of the standard outline image is set to the reference position Q3 in the object outline image 512 among the 27 evaluation values calculated.
Assuming that the evaluation value at the position that matches the minimum value is minimized, the position that matches the center position O of the standard contour image in that case is set as the optimal position, and the standard contour image in that case is set as the optimal reference contour image. You.
【００８３】従って、その場合の最適位置は対象物輪郭
画像５１２における基準位置Ｑ３に一致することになる
ので、ステップＳ１１２〜ステップＳ１２６の一連の繰
り返し処理から抜け出して、その場合の最適位置（即
ち、対象物輪郭画像５１２における基準位置Ｑ３）が、
今回の１フレーム分の静止画像における対象物の位置と
して検出される。また、その場合の最適基準輪郭画像の
原輪郭画像に対する倍率が新た基準倍率となる。Therefore, since the optimum position in that case coincides with the reference position Q3 in the object outline image 512, the process exits from the series of repetitive processes of steps S112 to S126, and the optimum position (that is, The reference position Q3) in the object outline image 512 is
This is detected as the position of the target in the still image of one frame this time. In this case, the magnification of the optimal reference contour image with respect to the original contour image becomes a new reference magnification.
【００８４】以上のようにして、ステップＳ１３０まで
の処理が完了すると、対象物輪郭画像取得部１１１は、
次のフレームがあるかどうかを確認し（ステップＳ１３
２）、撮影の中止などにより、ビデオカメラ２００から
入力される動画像が途切れて、次のフレームがない場合
には、一連の処理を終了する。As described above, when the processing up to step S130 is completed, the object outline image acquiring section 111
Check whether there is a next frame (step S13).
2) If the moving image input from the video camera 200 is interrupted due to a stop of shooting or the like and there is no next frame, a series of processing ends.
【００８５】また、次のフレームがある場合には、再
び、ステップＳ１０２の処理に戻って、対象物輪郭画像
取得部１１１は、ビデオカメラ２００から入力された動
画像から、次の１フレーム分の静止画像を取り込んで、
フレームメモリ１６０に格納する（ステップＳ１０
２）。前述したように、画像枠（フレーム枠）は固定さ
れているため、今回格納される１フレーム分の静止画像
のうち、背景などについては、前回格納された１フレー
ム分の静止画像（即ち、図４（ａ）に示した静止画像５
０２）と同じであり、変化はないが、対象物（即ち、或
る人物の頭部）については、それ自体が移動しているた
め、対象物の位置は、前回格納された１フレーム分の静
止画像と異なっている。If there is a next frame, the process returns to step S 102 again, and the object outline image obtaining unit 111 determines the next one frame from the moving image input from the video camera 200. Capture a still image,
It is stored in the frame memory 160 (step S10
2). As described above, since the image frame (frame frame) is fixed, of the one frame of the still image stored this time, the background and the like are the one frame of the previously stored still image (that is, FIG. Still image 5 shown in FIG.
02), and there is no change, but the position of the object (that is, the head of a certain person) is the same as that of the previously stored one frame because the object itself is moving. Different from still images.
【００８６】従って、今回の１フレーム分の静止画像に
関して、ステップＳ１０４以下の処理を、前述したと同
様に行なうことによって、その静止画像における対象物
の位置を検出することができる。Therefore, by performing the processing from step S104 onward for the current one-frame still image in the same manner as described above, the position of the object in the still image can be detected.
【００８７】このようにして、ビデオカメラ２００から
入力される動画像から、順次、１フレーム分の静止画像
を取り込んで、その静止画像における対象物の位置を検
出することによって、固定された画像枠内で移動する対
象物の位置を追跡することが可能となる。例えば、取得
した各静止画像を、検出した対象物の位置と共に、モニ
タ３００の画面上に順番に表示することによって、画像
枠内で移動する対象物の位置を視覚的に追跡することが
可能となる。As described above, one frame of still image is sequentially taken from the moving image input from the video camera 200, and the position of the object in the still image is detected, whereby the fixed image frame is obtained. It is possible to track the position of an object that moves within. For example, by displaying each acquired still image together with the position of the detected object on the screen of the monitor 300 in order, it is possible to visually track the position of the moving object in the image frame. Become.
【００８８】以上説明したように、本実施例では、対象
物の輪郭を示す対象物輪郭画像と比較する基準輪郭画像
として、標準輪郭画像の他、標準輪郭画像を拡大した拡
大輪郭画像及び縮小した縮小輪郭画像を用いているた
め、例え、対象物がビデオカメラ２００に近づいたり、
ビデオカメラ２００から遠ざかったりして、順次取り込
んだ静止画像から得られる対象物の輪郭画像の大きさが
変化したとしても、その変化に追従しながら、対象物輪
郭画像と基準輪郭画像との比較を行なうことができるた
め、正確な評価値を得ることができる。よって、各静止
画像において対象物の位置を精度良く検出することがで
きるため、対象物の位置の追跡に支障を生じることがな
い。As described above, in this embodiment, in addition to the standard outline image, the enlarged outline image obtained by enlarging the standard outline image and the reduced outline image are used as the reference outline image to be compared with the object outline image indicating the outline of the object. Since the reduced outline image is used, for example, when the object approaches the video camera 200,
Even if the size of the contour image of the object obtained from the still images sequentially captured changes as the distance from the video camera 200 changes, the comparison between the object contour image and the reference contour image is performed while following the change. Since it can be performed, an accurate evaluation value can be obtained. Therefore, the position of the target object can be accurately detected in each still image, and there is no problem in tracking the position of the target object.
【００８９】また、本実施例では、新たに１フレーム分
の静止画像を取り込んだ後、前回の１フレーム分の静止
画像について検出された対象物の位置を、新たな対象物
輪郭画像における基準位置として設定しているが、連続
する２つの静止画像同士の間では、対象物はそれほど大
きくは移動しないはずなので、そのようにして、新たな
対象物輪郭画像における基準位置を設定することによっ
て、最適位置を基準位置に一致させるまでにかかる処理
時間を短くすることができるため、より速く、その静止
画像における対象物の位置を検出することができる。In this embodiment, after a still image for one frame is newly acquired, the position of the object detected for the previous one frame of the still image is changed to the reference position in the new object contour image. However, since the object should not move so much between two consecutive still images, by setting the reference position in the new object contour image in this manner, the optimal Since the processing time required until the position matches the reference position can be shortened, the position of the target in the still image can be detected more quickly.
【００９０】また、本実施例では、新たに１フレーム分
の静止画像を取り込んだ後、前回設定された基準倍率で
原輪郭画像を拡大または縮小して標準輪郭画像を新たに
取得しているが、連続する２つの静止画像同士の間で
は、前後方向においても、対象物はそれほど大きく移動
しておらず、対象物の大きさもそれほど大きく変化しな
いはずなので、上記のようにして標準輪郭画像を新たに
取得することにより、対象物の大きさに対応した標準輪
郭画像を得ることができ、より速く、対象物の位置を検
出することができる。Further, in this embodiment, after a still image of one frame is newly acquired, a standard outline image is newly acquired by enlarging or reducing the original outline image at the previously set reference magnification. Since the object does not move so much in the front-back direction between two consecutive still images, and the size of the object should not change so much, the standard outline image is newly created as described above. Thus, a standard contour image corresponding to the size of the object can be obtained, and the position of the object can be detected more quickly.
【００９１】また、本実施例では、基準輪郭画像を対象
物静止画像に対し移動させる際の移動方向は、上，下，
左，右，左上，右上，左下，右下の８方向であり、その
移動量も微量であるため、方向的な偏りを生じることな
く評価値を算出することができると共に、処理時間も短
くて済む。In this embodiment, the moving directions when the reference contour image is moved with respect to the target still image are up, down,
There are eight directions, left, right, upper left, upper right, lower left, and lower right, and the amount of movement is very small, so that the evaluation value can be calculated without causing directional bias and the processing time is short. I'm done.
【００９２】ところで、本実施例においては、前述した
ように、ビデオカメラ２００は、通常時、首振り制御装
置２５０によって一定の姿勢に保たれており、ビデオカ
メラ２００によって得られる画像枠は常に固定されてい
る。しかしながら、その固定された画像枠に対し対象物
が大きく移動して、対象物がその画像枠からはみ出るよ
うな場合には、首振り制御装置２５０によってビデオカ
メラ２００を水平方向にパーンさせて、対象物が画像枠
から出ないようにしている。By the way, in this embodiment, as described above, the video camera 200 is normally kept in a fixed posture by the swing control device 250, and the image frame obtained by the video camera 200 is always fixed. Have been. However, when the target moves greatly with respect to the fixed image frame, and the target protrudes from the image frame, the video camera 200 is panned in the horizontal direction by the swing control device 250, and Objects are kept out of the image frame.
【００９３】図９は首振り制御装置２５０によってビデ
オカメラ２００をパーンさせたときに取得される静止画
像を示す説明図である。FIG. 9 is an explanatory view showing a still image obtained when the video camera 200 is panned by the swing control device 250.
【００９４】今、図９（ａ）に示すように、静止画像５
３０における対象物（即ち、或る人物の頭部）５０４の
位置が、予め、画像枠の右端５３２及び左端５３４から
それぞれ距離αの範囲内に設定された固定解除領域（図
９におけ破線の斜線で示した領域）５３６，５３８にあ
ると検出された場合、ＣＰＵ１１０は、首振り制御装置
２５０を制御して、対象物５０４が画像枠からはみ出な
い向きに、ビデオカメラ２００を一定量だけパーンさせ
る。例えば、図９（ａ）に示す静止画像５３０では、対
象物５０４の位置が右側の固定解除領域５３６にあるた
め、対象物５０４が画像枠の右端５３２からはみ出ない
ようにするために、ＣＰＵ１１０は首振り制御装置２５
０を制御して、ビデオカメラ２００を右向きにパーンさ
せるようにする。Now, as shown in FIG.
The position of the object (that is, the head of a certain person) 504 in the area 30 is fixed in advance within the range of the distance α from the right end 532 and the left end 534 of the image frame (the broken line in FIG. 9). If it is detected that the object is in the hatched area (536, 538), the CPU 110 controls the swing control device 250 to pan the video camera 200 by a fixed amount in a direction in which the object 504 does not protrude from the image frame. Let it. For example, in the still image 530 shown in FIG. 9A, since the position of the target object 504 is in the fixed release area 536 on the right side, the CPU 110 determines that the target object 504 does not protrude from the right end 532 of the image frame. Swing control device 25
0 is controlled to cause the video camera 200 to pan rightward.
【００９５】図９（ｂ）に示すように、一定量Ｗだけ右
向きにパーンさせると、その後得られる静止画像５４０
では、対象物５０４の位置が右側の固定解除領域５３６
から脱して、対象物５０４が画像枠からはみ出す恐れが
無くなる。As shown in FIG. 9B, when the camera is panned rightward by a fixed amount W, a still image 540 obtained thereafter is obtained.
Then, the position of the object 504 is shifted to the right-side fixed release area 536.
, The object 504 does not run off the image frame.
【００９６】従って、このように首振り制御装置２５０
を制御することによって、対象物５０４が非常に大きく
移動する場合でも、その対象物５０４の位置を追跡する
ことが可能となる。Therefore, as described above, the swing control device 250
Is controlled, the position of the object 504 can be tracked even when the object 504 moves extremely large.
【００９７】さて、上記した実施例においては、原輪郭
画像に基づいた標準輪郭画像を拡大または縮小して、大
きさの異なる３つの基準輪郭画像を得て、それら基準輪
郭画像と対象物輪郭画像とを比較して、評価値を算出し
ていた。しかしながら、反対に、対象物輪郭画像を拡大
または縮小して、大きさの異なる３つの対象物輪郭画像
を得て、それら対象物輪郭画像と原輪郭画像とを比較し
て、評価値を算出するようにしても良い。そこで、その
ような実施例を、次に、本発明の第２の実施例として説
明する。In the above embodiment, the standard outline image based on the original outline image is enlarged or reduced to obtain three standard outline images having different sizes, and the standard outline image and the object outline image are obtained. And the evaluation value was calculated. However, conversely, the object outline image is enlarged or reduced to obtain three object outline images having different sizes, and the object outline image is compared with the original outline image to calculate an evaluation value. You may do it. Therefore, such an embodiment will be described next as a second embodiment of the present invention.
【００９８】本実施例の移動対象物追跡装置の構成は、
図１に示した装置の構成と、ＣＰＵ１１０における機能
部の一部の内容を除いて同じであるので、それら同一の
構成要素については説明を省略する。The configuration of the moving object tracking device of this embodiment is as follows.
Since the configuration of the device shown in FIG. 1 is the same as that of the CPU 110 except for some of the functional units, the description of those same components will be omitted.
【００９９】本実施例の移動対象物追跡装置において、
ＣＰＵ１１０は、対象物輪郭画像取得部１１１，基準位
置設定部１１２，評価値算出部１１４，判定部１１５，
対象物位置検出部１１６として機能する他、基準輪郭画
像設定部１１３の代わりとして、比較対象物輪郭画像設
定部（これについては図示せず）が追加される。In the moving object tracking device of the present embodiment,
The CPU 110 includes an object contour image acquisition unit 111, a reference position setting unit 112, an evaluation value calculation unit 114, a determination unit 115,
In addition to functioning as the object position detection unit 116, a comparison object outline image setting unit (not shown) is added instead of the reference outline image setting unit 113.
【０１００】また、図１０及び図１１は本発明の第２の
実施例としての移動対象物追跡装置によって実行される
移動対象物追跡方法の処理手順を示すフローチャートで
ある。図１０及び図１１において、丸で囲まれた数字
は、同じ数字同士が接続されることを意味している。FIGS. 10 and 11 are flowcharts showing the processing procedure of the moving object tracking method executed by the moving object tracking apparatus according to the second embodiment of the present invention. In FIGS. 10 and 11, numbers surrounded by circles mean that the same numbers are connected to each other.
【０１０１】なお、図１０に示す処理のうち、ステップ
Ｓ２０２〜Ｓ２０８の処理は、図２に示したステップＳ
１０２〜Ｓ１０８の処理と同じであるので、説明は省略
する。It should be noted that among the processing shown in FIG. 10, the processing in steps S202 to S208 is the same as the processing in step S202 shown in FIG.
Since the processing is the same as the processing of 102 to S108, the description is omitted.
【０１０２】それでは、ステップＳ２１０の処理から説
明する。ステップＳ２１０では、比較対象物輪郭画像設
定部が、対象物輪郭画像メモリ１７０に格納された対象
物輪郭画像を読み出し、その対象物輪郭画像を、前回設
定された基準倍率で拡大または縮小して、標準対象物輪
郭画像を取得する。Now, the processing in step S210 will be described. In step S210, the comparison object outline image setting unit reads the object outline image stored in the object outline image memory 170, and enlarges or reduces the object outline image at the previously set reference magnification. Acquire a standard object contour image.
【０１０３】続いて、比較対象物輪郭画像設定部は、取
得した標準対象物輪郭画像を拡大して拡大対象物輪郭画
像を取得すると共に、標準対象物輪郭画像を縮小して縮
小対象物輪郭画像を取得する（ステップＳ２１２）。な
お、拡大または縮小する割合は、例えば、標準対象物輪
郭画像全体に対して、２画素分ほど拡大または縮小する
ものとする。Subsequently, the comparison object outline image setting section enlarges the obtained standard object outline image to obtain an enlarged object outline image, and reduces the standard object outline image to reduce the reduced object outline image. Is acquired (step S212). Note that the rate of enlargement or reduction is, for example, enlargement or reduction by two pixels with respect to the entire standard object outline image.
【０１０４】さらに、比較対象物輪郭画像設定部は、取
得した標準対象物輪郭画像，拡大対象物輪郭画像及び縮
小対象物輪郭画像を、原輪郭画像と比較するための比較
対象物輪郭画像として設定する（ステップＳ２１４）。
こうして、互いに大きさの異なる３つの比較対象物輪郭
画像が得られる。Further, the comparison object outline image setting section sets the acquired standard object outline image, enlarged object outline image and reduced object outline image as a comparison object outline image for comparing with the original outline image. (Step S214).
In this way, three comparison object contour images having different sizes are obtained.
【０１０５】次に、評価値算出部１１４は、原輪郭画像
メモリ１５０に格納されている原輪郭画像を読み出し、
３つの比較対象物輪郭画像毎に、原輪郭画像の中心位置
を比較対象物輪郭画像における基準位置に一致させて、
原輪郭画像と比較対象物輪郭画像とを比較し、両者の一
致する度合いを表す評価値を算出し、さらに、一致させ
た状態から原輪郭画像を比較対象物輪郭画像に対し上，
下，左，右，左上，右上，左下，右下の８つの方向に所
定量だけそれぞれ移動させて、同様に比較して評価値を
算出する（ステップＳ２１６）。なお、移動させる量と
しては、例えば、１画素分だけ移動させるようにする。
また、評価値としては第１の実施例の場合と同様の評価
値を用いるようにする。こうして、３つの比較対象物輪
郭画像に関して、各々、９カ所の位置で評価値をそれぞ
れ算出することによって、総計で２７個評価値を算出す
ることになる。Next, the evaluation value calculation unit 114 reads the original contour image stored in the original contour image memory 150, and
For each of the three comparison object contour images, the center position of the original contour image is matched with the reference position in the comparison object contour image,
The original contour image is compared with the contour image of the comparative object, an evaluation value indicating the degree of coincidence between the two is calculated, and the original contour image is moved upward with respect to the contour image of the comparative object from the matched state.
An evaluation value is calculated by moving by a predetermined amount in each of eight directions of lower, left, right, upper left, upper right, lower left, and lower right (Step S216). The moving amount is, for example, one pixel.
Further, the same evaluation value as that of the first embodiment is used as the evaluation value. In this way, for each of the three comparison object contour images, the evaluation values are calculated at nine positions, respectively, so that a total of 27 evaluation values are calculated.
【０１０６】次に、判定部１１５は、算出された２７個
の評価値の中から最小の評価値（即ち、一致の度合いが
最も高い評価値）を選び出し、その評価値に対応する原
輪郭画像と比較対象物輪郭画像との位置関係を特定す
る。そして、その位置関係において、原輪郭画像の中心
位置と一致する比較対象物輪郭画像における位置を最適
位置として設定する（図１１のステップＳ２１８）。Next, the judging section 115 selects the minimum evaluation value (that is, the evaluation value with the highest degree of coincidence) from the calculated 27 evaluation values, and selects the original contour image corresponding to the evaluation value. And the positional relationship between the image and the comparison object contour image. Then, in the positional relationship, a position in the contour image of the comparison object that matches the center position of the original contour image is set as the optimum position (step S218 in FIG. 11).
【０１０７】また、判定部１１５は、３つの比較対象物
輪郭画像のうち、最小の評価値に対応する比較対象物輪
郭画像を最適対象物輪郭画像として設定する。そして、
その最適対象物輪郭画像と、対象物輪郭画像メモリ１７
０に格納されている対象物輪郭画像とを比較し、最適対
象物輪郭画像の対象物輪郭画像に対する倍率を導き出し
（ステップＳ２２０）、その倍率をメインメモリ１４０
に格納する。The determination section 115 sets the comparison object contour image corresponding to the smallest evaluation value among the three comparison object contour images as the optimum object contour image. And
The optimum object outline image and the object outline image memory 17
Compared with the object outline image stored in the main memory 140, the magnification of the optimum object outline image with respect to the object outline image is derived (step S220).
To be stored.
【０１０８】次に、判定部１１５は、設定された最適位
置が先に設定された基準位置と一致するか否かを判定す
る（ステップＳ２２２）。そして、一致しない場合に
は、基準位置設定部１１２が、設定された最適位置を、
対象物輪郭画像における新たな基準位置として設定する
（ステップＳ２２４）。Next, the determination section 115 determines whether or not the set optimum position matches the previously set reference position (step S222). Then, if they do not match, the reference position setting unit 112 sets the set optimal position to
It is set as a new reference position in the object contour image (step S224).
【０１０９】続いて、基準輪郭画像設定部１１３は、対
象物輪郭画像メモリ１７０に格納されている対象物輪郭
画像を読み出すと共に、メインメモリ１４０に格納され
ている倍率を読み出し、その倍率で対象物輪郭画像を拡
大または縮小して、標準対象物輪郭画像を新たに取得す
る（ステップＳ２２６）。Subsequently, the reference contour image setting section 113 reads the object contour image stored in the object contour image memory 170, reads the magnification stored in the main memory 140, and uses the magnification to read the target object. The outline image is enlarged or reduced, and a new standard object outline image is obtained (step S226).
【０１１０】その後、再び、図１０のステップＳ２１２
の処理に戻って、以下、図１１のステップＳ２２２にお
いて最適位置が基準位置に一致するまで、前述したと同
様の処理が繰り返される。Thereafter, step S212 in FIG. 10 is again performed.
Then, the same processing as described above is repeated until the optimum position matches the reference position in step S222 in FIG.
【０１１１】一方、ステップＳ２２２において、最適位
置が基準位置に一致した場合には、対象物位置検出部１
１６は、対象物輪郭画像におけるその最適位置を、今回
の１フレーム分の静止画像における対象物の位置として
検出する（ステップＳ２２８）。そして、さらに、メイ
ンメモリ１４０に格納されている倍率を、新たな基準倍
率として設定する（ステップＳ２３０）。On the other hand, if the optimum position coincides with the reference position in step S222, the object position detector 1
16 detects the optimal position in the object outline image as the position of the object in the still image of one frame this time (step S228). Then, the magnification stored in the main memory 140 is set as a new reference magnification (step S230).
【０１１２】以上のようにして、ステップＳ２３０まで
の処理が完了すると、対象物輪郭画像取得部１１１は、
次のフレームがあるかどうかを確認し（ステップＳ２３
２）、次のフレームがない場合には、一連の処理を終了
し、次のフレームがある場合には、再び、ステップＳ２
０２の処理に戻って、以下、同様の処理を繰り返す。As described above, when the processing up to step S230 is completed, the object outline image acquiring section 111
Check whether there is a next frame (step S23).
2) If there is no next frame, a series of processing ends, and if there is a next frame, step S2 is performed again.
02, the same process is repeated thereafter.
【０１１３】以上説明したように、本実施例では、原輪
郭画像と比較する比較対象物輪郭画像として、標準対象
物輪郭画像の他、標準対象物輪郭画像を拡大した拡大対
象物輪郭画像及び縮小した縮小対象物輪郭画像を用いて
いるため、例え、対象物が前後方向に移動して、順次取
り込んだ静止画像から得られる対象物の輪郭画像の大き
さが変化しても、その変化に打ち消すようにしながら、
比較対象物輪郭画像と基準輪郭画像との比較を行なうこ
とができるため、正確な評価値を得ることができ、対象
物の位置を精度良く追跡することができる。As described above, in this embodiment, in addition to the standard object outline image, the enlarged object outline image obtained by enlarging the standard object outline image and the reduced object outline image are used as the comparison object outline image to be compared with the original outline image. Even if the size of the contour image of the object obtained from the still images sequentially captured changes even if the object moves in the front-back direction, the change is canceled out because the reduced contour image of the reduced object is used. While doing
Since the comparison object contour image and the reference contour image can be compared, an accurate evaluation value can be obtained, and the position of the object can be tracked with high accuracy.
【０１１４】なお、本発明は上記した実施例や実施形態
に限られるものではなく、その要旨を逸脱しない範囲に
おいて種々の態様にて実施することが可能である。The present invention is not limited to the examples and embodiments described above, but can be implemented in various modes without departing from the scope of the invention.
【０１１５】１）上記した第１の実施例においては、標
準輪郭画像を拡大して拡大輪郭画像を取得する際または
標準輪郭画像を縮小して縮小輪郭画像を取得する際の、
拡大または縮小の割合（倍率）は一定であったが、検出
された対象物の位置から対象物の移動速度を求めること
ができれば、その移動速度に応じて、拡大または縮小の
割合を変化させるようにしても良い。1) In the first embodiment, when the standard outline image is enlarged to obtain an enlarged outline image or when the standard outline image is reduced to obtain a reduced outline image,
Although the enlargement or reduction ratio (magnification) is constant, if the moving speed of the object can be obtained from the detected position of the object, the enlargement or reduction ratio is changed according to the moving speed. You may do it.
【０１１６】２）上記した第１の実施例においては、基
準輪郭画像を対象物輪郭画像に対して８つの方向に一定
量だけ移動させていたが、上記と同様に、対象物の移動
速度を求めることができる場合には、その移動速度に応
じて、基準輪郭画像の対象物輪郭画像に対する移動量を
変化させるようにしても良い。2) In the above-described first embodiment, the reference contour image is moved by a fixed amount in eight directions with respect to the object contour image. If it can be obtained, the moving amount of the reference contour image with respect to the object contour image may be changed according to the moving speed.
【０１１７】３）上記した第１の実施例においては、基
準輪郭画像を対象物輪郭画像に対し、上，下，左，右，
左上，右上，左下，右下の８つの方向に移動させていた
が、本発明はこれらの方向に限定されるものではなく、
これらとは異なる方向に移動させるようにしても良い。3) In the above-described first embodiment, the reference contour image is moved up, down, left, right,
Although the camera was moved in eight directions of upper left, upper right, lower left, and lower right, the present invention is not limited to these directions.
You may make it move to a different direction from these.
【０１１８】４）上記した第１の実施例においては、標
準輪郭画像，拡大輪郭画像及び縮小輪郭画像の３つの基
準輪郭画像と対象物輪郭画像とを比較していたが、対象
物の大きさの変化する傾向（言い換えれば、対象物の前
後方向における移動の向き）を予測できる場合には、対
象物輪郭画像と比較する基準輪郭画像を、必要に応じ
て、標準輪郭画像と拡大輪郭画像だけ、あるいは、標準
輪郭画像と縮小輪郭画像だけに限定するようにしても良
い。4) In the first embodiment described above, the three reference contour images of the standard contour image, the enlarged contour image, and the reduced contour image are compared with the object contour image. (In other words, the direction of movement of the object in the front-rear direction), the reference outline image to be compared with the object outline image may be replaced with the standard outline image and the enlarged outline image as necessary. Alternatively, only the standard outline image and the reduced outline image may be limited.
【０１１９】５）同様に、対象物の移動の方向を予測で
きるのであれば、基準輪郭画像を対象物輪郭画像に対し
て移動させる方向を、必要に応じて限定するようにして
も良い。5) Similarly, if the direction of movement of the object can be predicted, the direction in which the reference contour image is moved with respect to the object contour image may be limited as necessary.
【０１２０】６）上記した第１の実施例においては、入
力動画像として、ビデオカメラ２００から直接入力され
る動画像を用い、その動画像から１フレーム分ずつ静止
画像を取り込んでいたが、予め、動画像から抽出した複
数フレーム分の静止画像をハードディスク装置１８０に
格納しておき、その後、そのハードディスク装置１８０
から、１フレーム分ずつ静止画像を読み出して用いるよ
うにしても良い。6) In the first embodiment described above, a moving image directly input from the video camera 200 is used as an input moving image, and still images are captured one frame at a time from the moving image. The still images of a plurality of frames extracted from the moving image are stored in the hard disk device 180, and then the hard disk device 180
Therefore, the still images may be read out one frame at a time and used.
【０１２１】７）上記した第１の実施例においては、首
振り制御装置２５０はビデオカメラ２００を水平方向に
のみ移動可能であったが、垂直方向に移動させることも
可能である場合には、図９において、固定解除領域を画
像枠の上下にも設定し、対象物が上下方向に移動して画
像枠からはみ出しそうな場合には、ビデオカメラ２００
を垂直方向に移動させるようにしても良い。7) In the first embodiment described above, the swing control device 250 can move the video camera 200 only in the horizontal direction. However, when the video camera 200 can be moved in the vertical direction, In FIG. 9, the fixed release area is also set above and below the image frame, and when the object moves in the vertical direction and is likely to protrude from the image frame, the video camera 200
May be moved in the vertical direction.
【０１２２】８）上記した第１の実施例においては、動
画像から１フレーム毎に静止画像を取り込むようにして
いるが、数フレームおきに静止画像を取り込むようにし
ても良い。8) In the first embodiment described above, a still image is fetched every frame from a moving image. However, a still image may be fetched every several frames.
【０１２３】９）上記した第１の実施例においては、動
画像として、ビデオカメラ２００によって撮影された動
画像を用いているが、本発明はこれに限定されるもので
はなく、アニメーションやコンピュータグラフィックな
ど種々の動画像を用いることもできる。9) In the first embodiment described above, a moving image captured by the video camera 200 is used as a moving image. However, the present invention is not limited to this, and animation and computer graphic For example, various moving images can be used.
【０１２４】なお、上記した１）〜９）に関しては、第
１の実施例についてのみならず、第２の実施例について
も同様である。[0124] Regarding the above items 1) to 9), the same applies not only to the first embodiment but also to the second embodiment.
【図１】本発明の第１の実施例としての移動対象物追跡
装置を示すブロック図である。FIG. 1 is a block diagram showing a moving object tracking device according to a first embodiment of the present invention.
【図２】図１の移動対象物追跡装置によって実行される
移動対象物追跡方法の前半の処理手順を示すフローチャ
ートである。FIG. 2 is a flowchart showing a first half of a processing procedure of a moving object tracking method executed by the moving object tracking device of FIG. 1;
【図３】図１の移動対象物追跡装置によって実行される
移動対象物追跡方法の後半の処理手順を示すフローチャ
ートである。FIG. 3 is a flowchart showing a latter half of a moving object tracking method executed by the moving object tracking device of FIG. 1;
【図４】静止画像から切り出される対象物静止画像及び
エッジ抽出により取得される対象物輪郭画像などを示す
説明図である。FIG. 4 is an explanatory diagram showing an object still image cut out from a still image, an object outline image acquired by edge extraction, and the like.
【図５】取得された標準輪郭画像，拡大輪郭画像及び縮
小輪郭画像と、それら基準輪郭画像を対象物輪郭画像に
重ね合わせて移動させる様子を示す説明図である。FIG. 5 is an explanatory diagram showing an acquired standard outline image, an enlarged outline image, and a reduced outline image, and how the reference outline image is moved while being superimposed on the object outline image.
【図６】評価値を算出する方法を説明するための説明図
である。FIG. 6 is an explanatory diagram for explaining a method of calculating an evaluation value.
【図７】最小の評価値に基づいて最適位置を設定する方
法を説明するための説明図である。FIG. 7 is an explanatory diagram for describing a method of setting an optimum position based on a minimum evaluation value.
【図８】図２及び図３におけるステップＳ１１２〜ステ
ップＳ１２６の処理を繰り返すことによって、対象物輪
郭画像に対し基準輪郭画像の変化する様子を示す説明図
である。FIG. 8 is an explanatory diagram showing how a reference contour image changes with respect to a target object contour image by repeating the processing of steps S112 to S126 in FIGS. 2 and 3;
【図９】首振り制御装置２５０によってビデオカメラ２
００をパーンさせたときに取得される静止画像を示す説
明図である。FIG. 9 shows a video camera 2 by a swing control device 250.
It is explanatory drawing which shows the still image acquired when 00 is panned.
【図１０】本発明の第２の実施例としての移動対象物追
跡装置によって実行される移動対象物追跡方法の前半の
処理手順を示すフローチャートである。FIG. 10 is a flowchart illustrating a first half of a processing procedure of a moving object tracking method executed by the moving object tracking apparatus according to the second embodiment of the present invention.
【図１１】本発明の第２の実施例としての移動対象物追
跡装置によって実行される移動対象物追跡方法の後半の
処理手順を示すフローチャートである。FIG. 11 is a flowchart illustrating a second half of a moving object tracking method executed by the moving object tracking device according to the second embodiment of the present invention;
１００…コンピュータ本体 １１０…ＣＰＵ １１１…対象物輪郭画像取得部 １１２…基準位置設定部 １１３…基準輪郭画像設定部 １１４…評価値算出部 １１５…判定部 １１６…対象物位置検出部 １３０…入出力インタフェース １４０…メインメモリ １５０…原輪郭画像メモリ １６０…フレームメモリ １７０…対象物輪郭画像メモリ １８０…ハードディスク装置 １９０…バスライン ２００…ビデオカメラ ２５０…首振り制御装置 ３００…モニタ ５０２…静止画像 ５０４…対象物 ５０６…対象物静止画像 ５０８…周縁 ５１０…標準輪郭画像 ５１２…対象物輪郭画像 ５１４…輪郭 ５１６…縮小輪郭画像 ５１８…拡大輪郭画像 ５２０…輪郭 ５３０…静止画像 ５３２…画像枠の右端 ５３４…画像枠の左端 ５３６，５３８…固定解除領域 ５４０…静止画像 Ｏ…中心位置 Ｐ１…対象物の位置 Ｑ１〜Ｑ３…基準位置 Ｒ２…最適位置 DESCRIPTION OF SYMBOLS 100 ... Computer main body 110 ... CPU 111 ... Object outline image acquisition part 112 ... Reference position setting part 113 ... Reference outline image setting part 114 ... Evaluation value calculation part 115 ... Judgment part 116 ... Object position detection part 130 ... Input / output interface 140 ... Main memory 150 ... Original contour image memory 160 ... Frame memory 170 ... Object contour image memory 180 ... Hard disk device 190 ... Bus line 200 ... Video camera 250 ... Swing control device 300 ... Monitor 502 ... Still image 504 ... Target object 506: Object still image 508 ... Perimeter 510 ... Standard outline image 512 ... Object outline image 514 ... Outline 516 ... Reduced outline image 518 ... Enlarged outline image 520 ... Outline 530 ... Still image 532 ... Right end of image frame 534 ... Image frame Left end of 536, 538 ... fixed release area Area 540: Still image O: Center position P1: Target position Q1-Q3: Reference position R2: Optimal position
Claims (9)
対象物移動画像について、前記画像枠内における前記対
象物の位置を追跡する移動対象物追跡方法であって、 （ａ）前記対象物移動画像から前記対象物を含んだ対象
物静止画像を取得する工程と、 （ｂ）前記対象物静止画像における基準位置を設定する
工程と、 （ｃ）前記対象物のおよその輪郭を示す原輪郭画像に基
づいた標準輪郭画像を取得する工程と、 （ｄ）前記標準輪郭画像を拡大した拡大輪郭画像及び縮
小した縮小輪郭画像のうちの少なくとも一方と、前記標
準輪郭画像と、を基準輪郭画像として設定する工程と、 （ｅ）各基準輪郭画像毎に、該基準輪郭画像の特定位置
を前記対象物静止画像における基準位置に一致させた場
合と、一致させた状態から前記基準輪郭画像を所定の移
動方向に所定量だけ前記対象物静止画像に対し移動させ
た場合とについて、それぞれ、前記基準輪郭画像と、前
記対象物静止画像から取得される前記対象物の輪郭を示
す対象物輪郭画像と、を比較し、前記基準輪郭画像と前
記対象物輪郭画像との一致する度合いを表す評価値をそ
れぞれ算出する工程と、 （ｆ）算出された前記評価値の中から一致の度合いが最
も高い評価値を導き出し、その結果に基づいて、一致の
度合いが最も高い場合の前記基準輪郭画像を最適基準輪
郭画像として設定すると共に、一致の度合いが最も高い
場合の前記基準輪郭画像の特定位置に一致する前記対象
物静止画像における位置を最適位置として設定する工程
と、 （ｇ）前記工程（ｆ）で設定された前記最適位置が前記
工程（ｂ）で設定された前記基準位置とほぼ一致するま
で、前記工程（ｂ）において、前記工程（ｆ）で設定さ
れた前記最適位置を新たな基準位置として設定し、前記
工程（ｃ）において、前記工程（ｆ）で設定された前記
最適基準輪郭画像から前記標準輪郭画像を新たに取得し
ながら、前記工程（ｂ）から前記工程（ｆ）までを繰り
返す工程と、 （ｈ）前記工程（ｆ）で設定された前記最適位置が前記
工程（ｇ）で設定された前記基準位置とほぼ一致した場
合に、前記最適位置を前記対象物の位置として検出する
工程と、 を備え、 前記工程（ａ）から前記工程（ｈ）までを繰り返すこと
を特徴とする移動対象物追跡方法。1. A moving object tracking method for tracking a position of an object in an image frame in which an object moves in a fixed image frame, wherein: (a) the object; Obtaining a still image of the object including the object from the moving object image; (b) setting a reference position in the still image of the object; and (c) an original showing an approximate contour of the object. Obtaining a standard outline image based on the outline image; and (d) at least one of an enlarged outline image obtained by enlarging the standard outline image and a reduced outline image obtained by reducing the standard outline image and the standard outline image. (E) for each reference contour image, when the specific position of the reference contour image is matched with the reference position in the still image of the object, and when the reference contour image is matched, In the case of moving the object still image by a predetermined amount in the moving direction, the reference outline image and the object outline image indicating the outline of the object acquired from the object still image, respectively. Comparing the reference contour image with the target object contour image, and calculating an evaluation value indicating the degree of coincidence between the reference contour image and the target object contour image; and (f) the evaluation having the highest degree of coincidence among the calculated evaluation values. A value is derived, and based on the result, the reference contour image when the degree of coincidence is the highest is set as the optimum reference contour image, and the value matches the specific position of the reference outline image when the degree of coincidence is the highest. (G) setting a position in the target object still image as an optimum position; and (g) the reference position set in the step (b), wherein the optimum position set in the step (f) is set. In step (b), the optimal position set in step (f) is set as a new reference position until almost coincides with step (b). In step (c), the optimal position set in step (f) is set. Repeating the steps (b) to (f) while newly acquiring the standard contour image from the optimum reference contour image; and (h) determining the optimal position set in the step (f). Detecting the optimum position as the position of the target object when the reference position substantially coincides with the reference position set in the step (g), wherein the steps (a) to (h) are performed. A moving object tracking method characterized by repeating.
おいて、 前記工程（ａ）で新たな対象物静止画像を取得した後
に、前記工程（ｂ）で最初に前記対象物静止画像におけ
る基準位置を設定する際には、前回、前記工程（ｈ）で
検出された前記対象物の位置を、前記対象物静止画像に
おける基準位置として設定することを特徴とする移動物
追跡方法。2. The moving object tracking method according to claim 1, wherein after acquiring a new object still image in the step (a), the reference in the object still image is firstly obtained in the step (b). When setting the position, the moving object tracking method is characterized in that the position of the object detected in the previous step (h) is set as a reference position in the object still image.
象物追跡方法において、 前記工程（ａ）で新たな対象物静止画像を取得した後
に、前記工程（ｃ）で最初に前記標準輪郭画像を取得す
る際には、前回、前記工程（ｆ）で設定された前記最適
位置が前記工程（ｇ）で設定された前記基準位置とほぼ
一致した場合に、前記工程（ｆ）で設定された前記最適
基準輪郭画像から、前記標準輪郭画像を取得することを
特徴とする移動物追跡方法。3. The moving object tracking method according to claim 1, wherein after acquiring a new object still image in the step (a), the standard contour is firstly acquired in the step (c). When an image is acquired, when the optimum position set in the previous step (f) substantially matches the reference position set in the step (g) last time, the image is set in the step (f). A moving object tracking method, wherein the standard contour image is acquired from the optimal reference contour image.
一つに記載の移動対象物追跡方法において、 前記工程（ａ）では、 前記対象物移動画像から静止画像を抽出し、該静止画像
から前記対象物を含んだ部分を切り出して、前記対象物
静止画像を取得することを特徴とする移動対象物追跡方
法。4. The moving object tracking method according to claim 1, wherein in the step (a), a still image is extracted from the moving object image, and A moving object tracking method, wherein a portion including the object is cut out from an image to obtain the object still image.
一つに記載の移動対象物追跡方法において、 前記工程（ｃ）では、前記工程（ｆ）で設定された前記
最適基準輪郭画像の、前記原輪郭画像に対する倍率に
て、前記原輪郭画像を拡大または縮小することによって
前記標準輪郭画像を取得することを特徴とする移動物追
跡方法。5. The moving object tracking method according to claim 1, wherein in the step (c), the optimal reference contour image set in the step (f) is set. A moving object tracking method, wherein the standard contour image is obtained by enlarging or reducing the original contour image at a magnification relative to the original contour image.
一つに記載の移動対象物追跡方法において、 （ｉ）前記工程（ｈ）で検出された前記対象物の位置
が、前記画像枠の周縁に近接した場合に、前記対象物が
前記画像枠から出ないよう、前記画像枠を一定量移動さ
せる工程をさらに備える移動対象物追跡方法。6. The moving object tracking method according to any one of claims 1 to 5, wherein: (i) the position of the object detected in the step (h) is the image; A moving object tracking method, further comprising a step of moving the image frame by a predetermined amount so that the object does not come out of the image frame when approaching the periphery of the frame.
一つに記載の移動対象物追跡方法において、 前記工程（ｅ）において、前記基準輪郭画像を前記対象
物静止画像に対し移動させる際の前記移動方向は、上，
下，左，右，左上，右上，左下，右下の８方向であるこ
とを特徴とする移動対象物追跡方法。7. The moving object tracking method according to claim 1, wherein in the step (e), the reference contour image is moved with respect to the object still image. The moving direction at the time is up,
A moving object tracking method characterized by eight directions of lower, left, right, upper left, upper right, lower left, and lower right.
対象物移動画像について、前記画像枠内における前記対
象物の位置を追跡する移動対象物追跡方法であって、 （ａ）前記対象物のおよその輪郭を示す原輪郭画像を用
意する工程と、 （ｂ）前記対象物移動画像から前記対象物を含んだ対象
物静止画像を取得する工程と、 （ｃ）前記対象物静止画像における基準位置を設定する
工程と、 （ｄ）前記対象物静止画像に基づいた、前記対象物の輪
郭を表す標準対象物輪郭画像を取得する工程と、 （ｅ）前記標準対象物輪郭画像を拡大した拡大対象物輪
郭画像及び縮小した縮小対象物輪郭画像のうちの少なく
とも一方と、前記標準対象物輪郭画像と、を比較対象物
輪郭画像として設定する工程と、 （ｆ）各比較対象物輪郭画像毎に、前記対象物静止画像
における基準位置に一致する前記比較対象物輪郭画像に
おける基準位置に、前記原輪郭画像の特定位置を一致さ
せた場合と、一致させた状態で前記原輪郭画像を所定の
移動方向に所定量だけ前記比較対象物輪郭画像に対し移
動させた場合とについて、それぞれ、前記原輪郭画像と
前記比較対象物輪郭画像とを比較し、前記原輪郭画像と
前記比較対象物輪郭画像との一致する度合いを表す評価
値をそれぞれ算出する工程と、 （ｇ）算出された前記評価値の中から一致の度合いが最
も高い評価値を導き出し、その結果に基づいて、一致の
度合いが最も高い場合の前記比較対象物輪郭画像を最適
対象物輪郭画像として設定すると共に、一致の度合いが
最も高い場合の前記原輪郭画像の基準位置に一致する前
記比較対象物輪郭画像における位置を最適位置として設
定する工程と、 （ｈ）前記工程（ｇ）で設定された前記最適位置が前記
工程（ｃ）で設定された前記基準位置とほぼ一致するま
で、前記工程（ｃ）において、前記工程（ｇ）で設定さ
れた前記最適位置を新たな基準位置として設定し、前記
工程（ｄ）において、前記工程（ｇ）で設定された前記
最適対象物輪郭画像から前記標準対象物輪郭画像を新た
に取得しながら、前記工程（ｃ）から前記工程（ｇ）ま
でを繰り返す工程と、 （ｉ）前記工程（ｇ）で設定された前記最適位置が前記
工程（ｃ）で設定された前記基準位置とほぼ一致した場
合に、前記最適位置を前記対象物の位置として検出する
工程と、 を備え、 前記工程（ａ）から前記工程（ｉ）までを繰り返すこと
を特徴とする移動対象物追跡方法。8. A moving object tracking method for tracking a position of the object in the image frame, wherein the moving object moves within the fixed image frame. A step of preparing an original contour image indicating an approximate contour of the object; (b) a step of acquiring a still image of the object including the object from the moving image of the object; Setting a reference position; (d) obtaining a standard object outline image representing the outline of the object based on the object still image; and (e) enlarging the standard object outline image. Setting at least one of an enlarged object outline image and a reduced reduced object outline image and the standard object outline image as a comparison object outline image; (f) for each comparison object outline image The object When the specific position of the original contour image is matched with the reference position in the comparison object contour image that matches the reference position in the still image, the original contour image is moved in the predetermined moving direction by a predetermined amount in the matched state. The original contour image is compared with the comparative object contour image, and the degree of coincidence between the original contour image and the comparative object contour image. And (g) deriving an evaluation value with the highest degree of coincidence from the calculated evaluation values, and based on the result, comparing the case where the degree of coincidence is the highest. An object outline image is set as an optimum object outline image, and a position in the comparison object outline image that matches the reference position of the original outline image when the degree of matching is the highest. (H) in the step (c) until the optimal position set in the step (g) substantially coincides with the reference position set in the step (c). Setting the optimal position set in the step (g) as a new reference position, and in the step (d), the standard object contour is obtained from the optimal object contour image set in the step (g). Repeating the steps (c) to (g) while newly acquiring an image; and (i) setting the optimum position set in the step (g) in the step (c). Detecting the optimum position as the position of the target object when the position substantially coincides with the reference position; and repeating the steps (a) to (i). Tracking method.
対象物移動画像について、前記画像枠内における前記対
象物の位置を追跡する移動対象物追跡装置であって、 前記対象物のおよその輪郭を表す原輪郭画像を格納する
原輪郭画像格納部と、 前記対象物移動画像から取得した前記対象物を含んだ対
象物静止画像を格納する対象物静止画像格納部と、 前記対象物静止画像における基準位置を設定する基準位
置設定部と、 前記原輪郭画像に基づいた標準輪郭画像を取得する標準
輪郭画像取得部と、 前記標準輪郭画像を拡大した拡大輪郭画像及び縮小した
縮小輪郭画像のうちの少なくとも一方と、前記標準輪郭
画像と、を基準輪郭画像として設定する基準輪郭画像設
定部と、 各基準輪郭画像毎に、該基準輪郭画像の特定位置を前記
対象物静止画像における基準位置に一致させた場合と、
一致させた状態から前記基準輪郭画像を所定の移動方向
に所定量だけ前記対象物静止画像に対し移動させた場合
とについて、それぞれ、前記基準輪郭画像と、前記対象
物静止画像から取得される前記対象物の輪郭を示す対象
物輪郭画像と、を比較し、前記基準輪郭画像と前記対象
物輪郭画像との一致する度合いを表す評価値をそれぞれ
算出する評価値算出部と、 算出された前記評価値の中から一致の度合いが最も高い
評価値を導き出し、その結果に基づいて、一致の度合い
が最も高い場合の前記基準輪郭画像を最適基準輪郭画像
として設定すると共に、一致の度合いが最も高い場合の
前記基準輪郭画像の特定位置に一致する前記対象物静止
画像における位置を最適位置として設定する判定部と、 前記判定部によって設定された前記最適位置が前記基準
位置設定部によって設定された前記基準位置とほぼ一致
した場合に、前記最適位置を前記対象物の位置として検
出する対象物位置検出部と、 を備え、 前記基準位置設定部は、前記判定部によって設定された
前記最適位置を新たな基準位置として設定すると共に、 前記標準輪郭画像取得部は、前記判定部によって設定さ
れた前記最適基準輪郭画像から前記標準輪郭画像を新た
に取得することを特徴とする移動対象物追跡装置。9. A moving object tracking apparatus for tracking a position of an object in an image frame, the object moving image in which the object moves in a fixed image frame, wherein: An original outline image storage unit that stores an original outline image representing the outline of the object; an object still image storage unit that stores an object still image including the object acquired from the object moving image; A reference position setting unit that sets a reference position in the image; a standard contour image acquiring unit that acquires a standard contour image based on the original contour image; and an enlarged contour image obtained by enlarging the standard contour image and a reduced contour image obtained by reducing the standard contour image. A reference contour image setting unit configured to set at least one of the reference contour images and the standard contour image as a reference contour image; and for each reference contour image, a specific position of the reference contour image is set to the target still image. When it is matched to the reference position in the image,
When the reference contour image is moved by a predetermined amount in the predetermined moving direction with respect to the target still image from the matched state, respectively, the reference contour image and the target image obtained from the target still image An evaluation value calculation unit configured to compare an object outline image indicating an outline of the object with an evaluation value indicating a degree of coincidence between the reference outline image and the object outline image; and the calculated evaluation The evaluation value with the highest degree of coincidence is derived from the values, and based on the result, the reference contour image with the highest degree of coincidence is set as the optimal reference contour image, and the degree of coincidence is the highest. A determining unit that sets a position in the target object still image that matches a specific position of the reference contour image as an optimal position; and the optimal position set by the determining unit. An object position detection unit that detects the optimum position as the position of the object when the reference position substantially matches the reference position set by the reference position setting unit. Setting the optimum position set by the unit as a new reference position, and the standard outline image obtaining unit newly obtains the standard outline image from the optimum standard outline image set by the determination unit. A moving object tracking device that is a feature.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10134429A JPH11312251A (en) | 1998-04-28 | 1998-04-28 | Moving object tracking method and its device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10134429A JPH11312251A (en) | 1998-04-28 | 1998-04-28 | Moving object tracking method and its device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11312251A true JPH11312251A (en) | 1999-11-09 |
Family
ID=15128180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10134429A Pending JPH11312251A (en) | 1998-04-28 | 1998-04-28 | Moving object tracking method and its device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11312251A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009159356A (en) * | 2007-12-27 | 2009-07-16 | Casio Comput Co Ltd | Subject tracing apparatus, subject tracing program and subject tracing method |
| JP2010122727A (en) * | 2008-11-17 | 2010-06-03 | Ricoh Co Ltd | Movement measuring apparatus and movement measuring program |
-
1998
- 1998-04-28 JP JP10134429A patent/JPH11312251A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009159356A (en) * | 2007-12-27 | 2009-07-16 | Casio Comput Co Ltd | Subject tracing apparatus, subject tracing program and subject tracing method |
| JP2010122727A (en) * | 2008-11-17 | 2010-06-03 | Ricoh Co Ltd | Movement measuring apparatus and movement measuring program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2053844B1 (en) | Image processing device, image processing method, and program | |
| JP4912117B2 (en) | Imaging device with tracking function | |
| JP4349367B2 (en) | Estimation system, estimation method, and estimation program for estimating the position and orientation of an object | |
| US7502496B2 (en) | Face image processing apparatus and method | |
| JP4348353B2 (en) | Pattern recognition apparatus, pattern recognition method, and recording medium storing program realizing the method | |
| US20100128927A1 (en) | Image processing apparatus and image processing method | |
| JPWO2006025272A1 (en) | Video classification device, video classification program, video search device, and video search program | |
| JP2006155563A (en) | Motion analyzer | |
| JP6570370B2 (en) | Image processing method, image processing apparatus, program, and recording medium | |
| JP2006295646A (en) | Image processor and image processing program | |
| JP2006343859A (en) | Image processing system and image processing method | |
| JP6116765B1 (en) | Object detection apparatus and object detection method | |
| JP2006276948A (en) | Image processing device, image processing method, image processing program, and recording medium storing image processing program | |
| JP2006244074A (en) | Moving object close-up frame detection method and program, storage medium storing program, moving object close-up shot detection method, moving object close-up frame or shot detection method and program, and storage medium storing program | |
| JP2008288684A (en) | Person detection device and program | |
| JP2006313543A (en) | Image recognition method capable of recognizing a plurality of objects without recording entire image | |
| JP2003208617A (en) | Image processing device | |
| JPWO2012056610A1 (en) | Content scene determination device | |
| JP2006113832A (en) | Stereoscopic image processor and program | |
| JP7028729B2 (en) | Object tracking device, object tracking system, and object tracking method | |
| JP2001143088A (en) | Method and device for measuring surface movement of object, and computer-readable recording medium with program for operating computer storing program for operating computer for realizing the method stored thereon | |
| JPH11312251A (en) | Moving object tracking method and its device | |
| JP2004140693A (en) | Image processor | |
| JP4743601B2 (en) | Moving image processing device | |
| JP6723822B2 (en) | Image processing apparatus, image processing method and program |