JPH10304348A - Mobile object tracing method - Google Patents
Mobile object tracing methodInfo
- Publication number
- JPH10304348A JPH10304348A JP9113803A JP11380397A JPH10304348A JP H10304348 A JPH10304348 A JP H10304348A JP 9113803 A JP9113803 A JP 9113803A JP 11380397 A JP11380397 A JP 11380397A JP H10304348 A JPH10304348 A JP H10304348A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- contour
- characteristic model
- model
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、動物体追跡方法に
関し、特に、形状の変化する非剛体を追跡することがで
きる動物体追跡方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving object tracking method, and more particularly to a moving object tracking method capable of tracking a non-rigid body having a changing shape.
【０００２】[0002]
【従来の技術】従来より、連続画像の中の動物体を追跡
する動物体追跡方法として、連続画像を一つに積み重ね
た三次元画像（いわゆる時空間画像）を利用して動物体
を追跡する方法がある。この方法は、Ｈ．Ｈ．Ｂａｋｅ
ｒ ａｎｄ Ｔ．Ｄ．Ｇａｒｖｅｙ，”Ｍｏｔｉｏｎ
Ｔｒａｃｋｉｎｇ ｏｎ ｔｈｅ Ｓｐａｔｉｏｔｅｍ
ｐｏｒａｌ Ｓｕｒｆａｃｅ”，Ｐｒｏｃ．［ＤＡＲＰ
Ａ] Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒ
ｋｓｈｏｐ，ｐｐ．４５１〜４５７，Ｊａｎ．１９９２
に詳しく記載されている。2. Description of the Related Art Conventionally, as a moving object tracking method for tracking a moving object in a continuous image, the moving object is tracked by using a three-dimensional image (a so-called spatiotemporal image) in which the continuous images are stacked on one another. There is a way. This method is described in H. H. Bake
r and T.R. D. Garvey, "Motion
Tracking on the Spatiotem
polar Surface ", Proc. [DARP
A] Image Understanding Wor
kshop, pp. 451-457, Jan. 1992
Is described in detail.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、時空間
画像を用いた従来の動物体追跡法では、形状が変化する
非剛体物体を抽出することが難しく、さらに、形状の似
通った複数の物体の中から、特定の物体を追跡すること
は困難であった。However, in the conventional moving object tracking method using a spatiotemporal image, it is difficult to extract a non-rigid object having a changing shape. Therefore, it was difficult to track a specific object.
【０００４】これに対して、動画像を複数の連続した静
止画面から構成されているとみなして、各静止画面を分
散機能を用いて解析することにより動物体を追跡する動
物体追跡方法が多く提案されている。On the other hand, there are many moving object tracking methods for tracking a moving object by assuming that a moving image is composed of a plurality of continuous still images and analyzing each still image by using a distributed function. Proposed.
【０００５】例えば、情報処理学会発行の「情報処理」
Ｖｏｌ．２６，Ｎｏ．５，ｐｐ．８７７〜８８９，１９
８５年の松山、ハングによる”画像理解システムＳＩＧ
ＭＡ”にその内容が開示されている。For example, "Information Processing" issued by the Information Processing Society of Japan
Vol. 26, no. 5, pp. 877-889,19
Matsuyama, 1985, by Hang "Image Understanding System SIG
MA "discloses its contents.
【０００６】しかし、従来の分散機能を用いた動物体追
跡方法は、動画像に応用した例は少ない。また、解析す
る動画像があまり精密でない場合（例えば、放送された
テレビの映像等）にあっては、動物体を追跡することは
困難であると予想される。However, the moving object tracking method using the conventional dispersing function is rarely applied to moving images. In addition, when a moving image to be analyzed is not very precise (for example, a broadcast television image), it is expected that it is difficult to track a moving object.
【０００７】そこで、本発明の目的は、上記の問題点を
解決するためになされたものであり、似通った特徴をも
つ複数の物体が存在する状態であっても、目的とする物
体を追跡することが可能な動物体追跡方法を提供するこ
とである。SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to solve the above-mentioned problem, and a target object is tracked even when a plurality of objects having similar characteristics exist. It is to provide a moving object tracking method that is possible.
【０００８】また、本発明のもう一つの目的は、追跡す
る動物体が形状の変化するものであっても、追跡するこ
とが可能な動物体追跡方法を提供することである。It is another object of the present invention to provide a moving object tracking method capable of tracking a moving object whose shape changes.
【０００９】さらに、本発明のもう一つの目的は、あま
り精密でない動画像であっても上記目的を達成すること
が可能な動物体追跡方法を提供することである。Still another object of the present invention is to provide a moving object tracking method capable of achieving the above object even with a less precise moving image.
【００１０】[0010]
【課題を解決するための手段】請求項１に係る動物体追
跡方法は、動画像における動物体を追跡する動物体追跡
方法であって、動画像を複数のフレームに分割する分割
ステップと、第１番目のフレームを表示して、ユーザに
追跡する動物体と背景とを指定させ、指定した動物体と
背景とに基づいて、色特性モデル、輪郭特性モデル、お
よび動き特性モデルと、背景値とを算出する初期設定ス
テップと、第１番目のフレーム以降の１のフレームか
ら、背景値と、色特性モデルとを用いて動物体の候補を
検出し、各候補毎に、候補と色特性モデルとの色特性に
関する適合度を示す第１の適合確率を算出する色特性解
析ステップと、検出した各候補毎に、候補と輪郭特性モ
デルとの輪郭特性に関する適合度を示す第２の適合確率
を算出する輪郭特性解析ステップと、動き特性モデルか
ら動物体の位置を予測し、検出した各候補毎に、候補と
予測した位置との近さを示す第３の適合確率を算出する
動き特性解析ステップと、各候補毎に、第１の適合確
率、第２の適合確率、および第３の適合確率を統合して
統合確率を算出し、統合確率の値が最大の候補を追跡す
る動物体と決定する統合ステップと、決定した動物体に
基づき、色特性モデル、輪郭特性モデル、および動き特
性モデルを更新する更新ステップと、第１番目のフレー
ム以降のフレームについて、順次、追跡する動物体を決
定するための制御を行なう制御ステップとを備える。A moving object tracking method according to claim 1 is a moving object tracking method for tracking a moving object in a moving image, comprising: a dividing step of dividing the moving image into a plurality of frames; The first frame is displayed, and the user specifies the moving object and the background to be tracked. Based on the specified moving object and the background, the color characteristic model, the contour characteristic model, the motion characteristic model, the background value, and And calculating a candidate of a moving object from one frame after the first frame by using a background value and a color characteristic model, and for each candidate, a candidate, a color characteristic model, A color characteristic analyzing step of calculating a first matching probability indicating the matching degree of the color characteristic of the image, and calculating a second matching probability indicating the matching degree of the outline characteristic of the candidate and the outline characteristic model for each detected candidate. Contour characteristics A motion characteristic analysis step of predicting the position of the moving object from the motion characteristic model, and calculating, for each detected candidate, a third matching probability indicating the closeness between the candidate and the predicted position; An integration step of calculating an integration probability by integrating the first matching probability, the second matching probability, and the third matching probability for each time, and determining the moving object that tracks the candidate having the highest value of the integrating probability; An updating step of updating the color characteristic model, the contour characteristic model, and the motion characteristic model based on the determined moving object; and a control for sequentially determining a moving object to be tracked for the first and subsequent frames. Control steps to be performed.
【００１１】請求項２に係る動物体追跡方法は、請求項
１に係る動物体追跡方法であって、背景値とは、ユーザ
が指定した背景を占める色の値であり、色特性モデルと
は、フレームに対して、背景値を用いてフィルタ処理を
施すことにより得られる動物体の２値化画像であり、輪
郭特性モデルとは、動物体の中心位置を中心とする領域
に対して、輪郭強調処理を施すことにより得られる動物
体の輪郭強調画像であり、動き特性モデルとは、動物体
の中心位置である。A moving object tracking method according to a second aspect is the moving object tracking method according to the first aspect, wherein the background value is a color value occupying a background specified by a user, and the color characteristic model is a color characteristic model. Is a binarized image of a moving object obtained by performing a filtering process on a frame using a background value. A contour characteristic model is a contour image of a region centered on the center position of the moving object. This is a contour emphasized image of the moving object obtained by performing the emphasis processing, and the motion characteristic model is a center position of the moving object.
【００１２】請求項３に係る動物体追跡方法は、請求項
２に係る動物体追跡方法であって、色特性解析ステップ
は、フレームに対して、背景値を用いてフィルタ処理を
施すことにより動物体の候補となる領域を得るステップ
と、候補となる領域毎に、領域と色特性モデルとの面積
比を求めて、面積比の大きいものから順に３つの領域を
選択して候補とするステップと、選択された３つの各候
補毎に、面積比に基づき、第１の適合確率を算出するス
テップとを備える。According to a third aspect of the present invention, there is provided the moving object tracking method according to the second aspect, wherein the color characteristic analyzing step includes performing a filtering process on the frame using a background value. Obtaining a region that is a candidate for the body, obtaining an area ratio between the region and the color characteristic model for each candidate region, and selecting three regions as candidates from the region having the largest area ratio. Calculating a first matching probability based on the area ratio for each of the three selected candidates.
【００１３】請求項４に係る動物体追跡方法は、請求項
２に係る動物体追跡方法であって、輪郭特性解析ステッ
プは、各候補を中心とした領域に、輪郭強調処理を施す
ことにより、各候補の輪郭強調画像を得るステップと、
各輪郭強調画像と、輪郭特性モデルとのテンプレートマ
ッチングを行なうステップと、各候補毎に、テンプレー
トマッチングの結果に基づき、第２の適合確率を算出す
るステップとを備える。A moving object tracking method according to a fourth aspect is the moving object tracking method according to the second aspect, wherein the contour characteristic analyzing step performs a contour emphasizing process on a region centering on each candidate. Obtaining a contour-enhanced image of each candidate;
The method includes a step of performing template matching between each contour-enhanced image and a contour characteristic model, and a step of calculating a second matching probability based on a template matching result for each candidate.
【００１４】請求項５に係る動物体追跡方法は、請求項
２に係る動物体追跡方法であって、動き特性解析ステッ
プは、動き特性モデルを用いて、動物体が直線的に移動
した場合の位置を予測するステップと、予測された位置
と、各候補との距離を算出するステップと、各候補毎
に、求めた距離に基づき、第３の適合確率を算出するス
テップとを備える。A moving object tracking method according to a fifth aspect is the moving object tracking method according to the second aspect, wherein the motion characteristic analysis step uses a motion characteristic model when the moving object moves linearly. The method includes a step of predicting a position, a step of calculating a distance between the predicted position and each candidate, and a step of calculating a third matching probability based on the obtained distance for each candidate.
【００１５】請求項６に係る動物体追跡方法は、請求項
２に係る動物体追跡方法であって、更新ステップは、決
定した動物体の位置を、動き特性モデルとして更新する
ステップと、決定した動物体の統合確率が一定値以上で
あれば、決定した動物体の２値化画像を色特性モデルと
し、かつ決定した動物体の輪郭強調画像を輪郭強調モデ
ルとして更新するステップとを備える。A moving object tracking method according to claim 6 is the moving object tracking method according to claim 2, wherein the updating step determines the step of updating the determined position of the moving object as a motion characteristic model. If the integration probability of the moving object is equal to or more than a predetermined value, a step of updating the determined binary image of the moving object as a color characteristic model and updating the determined contour enhanced image of the moving object as a contour enhanced model is provided.
【００１６】[0016]
［実施の形態１］本発明は、動物体追跡方法に関し、複
数の形状が変化する動物体の中から、特定の動物体を追
跡することを可能とするものである。[Embodiment 1] The present invention relates to a moving object tracking method, which makes it possible to track a specific moving object from a plurality of moving objects that change shape.
【００１７】図１は、本発明の実施の形態１における動
物体追跡方法１００の全体の流れを示すフロー図であ
る。図１を参照して、本発明の実施の形態１における動
物体追跡方法１００についての概要を説明する。FIG. 1 is a flowchart showing an overall flow of a moving object tracking method 100 according to the first embodiment of the present invention. The outline of the moving object tracking method 100 according to the first embodiment of the present invention will be described with reference to FIG.
【００１８】ステップｓ１−１（前処理）では、連続画
像を分割して、さらに各フレームの信号形式を変換す
る。ステップｓ１−２（画像入力部）では、解析するフ
レームを読み出す。読み出したフレームが第１番目のフ
レームである場合は、追跡する対象物体（動物体）を指
定して、雛形となる初期モデルを生成する。ステップｓ
１−３（解析部）では、モデルを用いて、フレームを３
つのプロセスで解析（色特性解析部ステップｓ１−１
０、輪郭特性解析部ステップｓ１−１１、動き特性解析
部ステップｓ１−１２）する。解析結果として、追跡対
象の候補と、その適合確率とを得る。ステップｓ１−４
（情報統合部）では、候補別に、適合確率を統合した統
合確率を算出し、その結果に基づき候補の中から追跡す
る対象物体を決定する。ステップｓ１−５（情報モデル
判別更新部）では、決定した追跡対象物体に基づき、モ
デルの更新を行なう。ステップｓ１−６（表示部）で
は、結果をモニタ等に表示する。次のフレームが存在す
る場合（ステップｓ１−７）は、次のフレームについ
て、ステップｓ１−２〜ｓ１−６の処理を行ない、対象
物体を追跡する。なお、本発明の実施の形態１の動物体
追跡方法１００では、放送されたテレビ画面上の非剛体
を追跡する。In step s1-1 (preprocessing), the continuous image is divided, and the signal format of each frame is further converted. In step s1-2 (image input unit), a frame to be analyzed is read. If the read frame is the first frame, the target object (animal) to be tracked is specified, and an initial model serving as a template is generated. Steps
In 1-3 (analysis unit), the frame is set to 3 using the model.
In one process (color characteristic analysis unit step s1-1)
0, contour characteristic analysis unit step s1-11, motion characteristic analysis unit step s1-12). As a result of the analysis, a tracking target candidate and its matching probability are obtained. Step s1-4
The (information integration unit) calculates an integration probability obtained by integrating the matching probabilities for each candidate, and determines a target object to be tracked from the candidates based on the calculation result. In step s1-5 (information model discriminating and updating unit), the model is updated based on the determined tracking target object. In step s1-6 (display unit), the result is displayed on a monitor or the like. If the next frame exists (step s1-7), the processing of steps s1-2 to s1-6 is performed on the next frame to track the target object. In the moving object tracking method 100 according to the first embodiment of the present invention, a non-rigid object on a broadcasted television screen is tracked.
【００１９】図２は、本発明の実施の形態１における動
物体追跡方法を実施するためのシステム１１０の概略的
な基本構成の一例を示すブロック図である。図２を参照
して、システム１１０は、キャプチャボード２、主制御
部３、表示部６およびディスク装置４、５を備える。FIG. 2 is a block diagram showing an example of a schematic basic configuration of a system 110 for implementing the moving object tracking method according to the first embodiment of the present invention. Referring to FIG. 2, system 110 includes capture board 2, main control unit 3, display unit 6, and disk devices 4 and 5.
【００２０】キャプチャボード２は、テレビ（もしくは
ＶＴＲ）１、および主制御部３に接続されている。主制
御部３には、表示部６、およびディスク装置４、５が接
続されている。The capture board 2 is connected to the television (or VTR) 1 and the main control unit 3. The display unit 6 and the disk devices 4 and 5 are connected to the main control unit 3.
【００２１】キャプチャボード２を介して、テレビ（も
しくはＶＴＲ）１から出力されるＮＴＳＣ信号を主制御
部３に取り込む。表示部６は、モニタ等を含み、解析状
況等を表示する。An NTSC signal output from a television (or VTR) 1 is taken into a main controller 3 via a capture board 2. The display unit 6 includes a monitor and the like, and displays an analysis status and the like.
【００２２】主制御部３は、ＮＴＳＣ信号をｍｏｔｉｏ
ｎ ｊｐｅｇ形式の信号に変換する。変換されたｍｏｔ
ｉｏｎ ｊｐｅｇ形式の信号は、ディスク装置４に格納
する。また、主制御部３は、ディスク装置４に格納され
たｍｏｔｉｏｎ ｊｐｅｇ形式の信号を読み出して、１
秒間に３０のフレームに分割して、ＰＰＭ形式画像とす
る。ＰＰＭ形式画像は、ディスク装置５に格納する。こ
の結果、テレビ（もしくはＶＴＲ）１から取り込んだ連
続画像が、ｎフレームの静止画面（以下、フレームＧ
（ｋ）と記す：ただしｋ＝１〜ｎ）に変換される。The main control unit 3 controls the NTSC signal to
The signal is converted into a signal of n jpeg format. Converted mot
The signal in the ion jpeg format is stored in the disk device 4. Further, the main control unit 3 reads out a signal in the motion jpeg format stored in the disk device 4 and
The image is divided into 30 frames per second to obtain a PPM format image. The PPM format image is stored in the disk device 5. As a result, a continuous image captured from the television (or VTR) 1 is an n-frame still screen (hereinafter, frame G).
(K): where k = 1 to n).
【００２３】さらに、主制御部３は、後述するように、
ディスク装置５に格納されたＰＰＭ形式画像を解析し
て、動物体の追跡を行なう。Further, as will be described later, the main control unit 3
The PPM format image stored in the disk device 5 is analyzed to track the moving object.
【００２４】続いて、図１に示した各ステップについて
詳細を説明する。図１に示す前処理（ステップｓ１−
１）では、解析する連続画像（すなわちテレビ映像）を
複数の静止画像に分割する。具体的には、前述したよう
に、主制御部３（図２）おいて、テレビ１（図２）から
得た連続画像を、１秒間につき３０のフレームに分割
し、ＰＰＭ形式画像を生成してディスク装置５（図２）
に格納する。動物体追跡方法１００は、このディスク装
置５に格納された静止画像を時系列の順に解析すること
によって、対象物体を追跡する。Next, each step shown in FIG. 1 will be described in detail. The pre-processing shown in FIG.
In 1), a continuous image to be analyzed (that is, a television image) is divided into a plurality of still images. Specifically, as described above, the main control unit 3 (FIG. 2) divides the continuous image obtained from the television 1 (FIG. 2) into 30 frames per second to generate a PPM format image. Disk device 5 (FIG. 2)
To be stored. The moving object tracking method 100 tracks the target object by analyzing the still images stored in the disk device 5 in chronological order.
【００２５】続いて、図１に示す画像入力部（スッテプ
ｓ１−２）の詳細について説明する。前述したように、
画像入力部では、解析するフレームＧ（ｋ）をディスク
装置５（図２）から読み出す。読み出したフレームが、
第１番目のフレームＧ（１）である場合は、ユーザが指
定した追跡対象物体に基づき、雛形となるモデル（初期
モデル）を作成する。Next, the details of the image input unit (step s1-2) shown in FIG. 1 will be described. As previously mentioned,
The image input unit reads the frame G (k) to be analyzed from the disk device 5 (FIG. 2). The read frame is
In the case of the first frame G (1), a model (initial model) is created based on the tracking target object specified by the user.
【００２６】図３は、本発明の実施の形態１における画
像入力部の処理手順を示すフロー図である。図３を参照
して、ステップｓ３−１では、解析するフレームＧ
（ｋ）が、第１番目のフレームに当る（ｋ＝１）か否か
を調べる。第１番目のフレームＧ（１）に該当する場合
は、フレームＧ（１）を取り込み（ステップｓ３−
２）、例えば、表示部６（図２）に表示する（ステップ
ｓ３−３）。それ以外の場合には、ステップｓ３−８に
移り、解析するフレームＧ（ｋ）を、ディスク装置５
（図２）から読み出す。FIG. 3 is a flowchart showing a processing procedure of the image input unit according to the first embodiment of the present invention. Referring to FIG. 3, in step s3-1, the frame G to be analyzed is
It is checked whether (k) corresponds to the first frame (k = 1). If it corresponds to the first frame G (1), the frame G (1) is taken in (step s3-
2) For example, it is displayed on the display unit 6 (FIG. 2) (step s3-3). Otherwise, the process proceeds to step s3-8, where the frame G (k) to be analyzed is stored in the disk device 5
(FIG. 2).
【００２７】ステップｓ３−３では、表示されたフレー
ムＧ（１）に対して、ユーザが追跡する対象物体および
背景画像を指定する。In step s3-3, the user specifies a target object and a background image to be tracked for the displayed frame G (1).
【００２８】図４は、本発明の実施の形態１における追
跡対象物体および背景画像の指定方法について説明する
ための図である。図４は、フレームＧ（１）の表示画面
であり、追跡対象物体の一例として非剛体である人物
（ＭＡＮ）が表わされている。図４を参照して、ユーザ
は、図示しないマウス等を用いて、表示画面上の位置
Ａ、Ｂ、Ｃを指定する。位置Ａ、Ｂは、追跡対象物体Ｍ
ＡＮに外接する長方形と中心位置Ｄとを決定する。位置
Ｃは、背景画像を決定する。FIG. 4 is a diagram for explaining a method of specifying a tracking target object and a background image according to the first embodiment of the present invention. FIG. 4 is a display screen of the frame G (1), in which a non-rigid person (MAN) is shown as an example of the tracking target object. Referring to FIG. 4, the user specifies positions A, B, and C on the display screen using a mouse (not shown) or the like. The positions A and B are the tracking object M
A rectangle circumscribing AN and a center position D are determined. Position C determines the background image.
【００２９】図３を参照して、ステップｓ３−５〜ｓ３
−７では、ユーザが指定した追跡対象物体ＭＡＮおよび
背景画像に基づき、３種類の初期モデル（色特性モデ
ル、輪郭特性モデル、および動き特性モデル）を作成す
る。Referring to FIG. 3, steps s3-5 to s3
At -7, three types of initial models (color characteristic model, contour characteristic model, and motion characteristic model) are created based on the tracking target object MAN and the background image designated by the user.
【００３０】色特性モデルの作成処理（ステップｓ３−
５）について説明する。色特性モデル作成処理では、背
景画像の色のヒストグラムを用いて色特性モデル（初期
モデル）を作成する。色に関する画像処理の方法につい
ては、Ｙ．Ｏｈｔａ，”Ａｒｅｇｉｏｎ−ｏｒｉｅｎｔ
ｅｄ ｉｍａｇｅ ａｎａｌｙｓｉｓ ｓｙｓｔｅｍ
ｂｙ ｃｏｍｐｕｔｅｒ”，Ｐｈ．Ｄ．ｔｈｅｓｉｓ，
Ｋｙｏｔｏ Ｕｎｉｖ．（１９８０）、およびＷ．Ｄｏ
ｙｌｅ，”Ｏｐｅｒａｔｉｏｎｓ ｕｓｅｆｕｌ ｆｏ
ｒ ｓｉｍｉｌａｒｉｔｙ−ｉｎｖａｒｉａｎｔ ｐａ
ｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ”，ＪＡＣＭ，９，
ｐｐ．２５９〜２６７（１９６２）に詳しく記載されて
いるので、ここではその概要を簡単に説明する。Processing for creating a color characteristic model (step s3-
5) will be described. In the color characteristic model creation processing, a color characteristic model (initial model) is created using the histogram of the color of the background image. For a method of image processing related to color, see Y. Ohta, “Area-orient
ed image analysis system
by computer ", Ph. D. thesis,
Kyoto Univ. (1980); Do
yle, "Operations useful fo
r similarity-invariant pa
ternrecognition ", JACM, 9,
pp. 259-267 (1962), the outline of which will be briefly described here.
【００３１】図５は、本発明の実施の形態１における色
特性モデル作成処理の処理手順を示すフロー図である。
図５を参照して、ステップｓ５−１では、ユーザが指定
した位置Ｃを中心とする領域の色を、（ｃｏｌｏｒｘ、
ｃｏｌｏｒｙ）座標系の値に変換する。式（１）〜式
（２）に変換式を示す。FIG. 5 is a flowchart showing the procedure of the color characteristic model creation process according to the first embodiment of the present invention.
Referring to FIG. 5, in step s5-1, the color of the area centered on the position C specified by the user is changed to (colorx,
color) to a value in a coordinate system. Equations (1) and (2) show the conversion equations.
【００３２】 ｃｏｌｏｒｘ＝（Ｒ＋Ｇ＋Ｂ）／３ …（１） ｃｏｌｏｒｙ＝（Ｒ−Ｂ）／２ …（２） ここで、（Ｒ、Ｇ、Ｂ）とは、位置Ｃを中心とする領域
の３原色を示す。Colorx = (R + G + B) / 3 (1) color = (RB) / 2 (2) Here, (R, G, B) means three primary colors of a region centered on the position C. Is shown.
【００３３】ステップｓ５−２では、ステップｓ５−１
で得られた値（ｃｏｌｏｒｘ、ｃｏｌｏｒｙ）を用い
て、ｃｏｌｏｒｘについてのヒストグラム、およびｃｏ
ｌｏｒｙについてのヒストグラムを作成する。In step s5-2, step s5-1
Using the values (colorx, colory) obtained in (1), a histogram for colorx, and co
Create a histogram for lowy.
【００３４】ステップｓ５−３では、２つのヒストグラ
ムを用いて、背景値（Ｘｕｐ，Ｘｌｏｗ、Ｙｕｐ，Ｙｌ
ｏｗ）を算出する。参考のため、図６に、背景画像にお
ける色のヒストグラムと背景値との関係を示す。図６
（ａ）は、ｃｏｌｏｒｘについてのヒストグラムを、図
６（ｂ）は、ｃｏｌｏｒｙについてのヒストグラムをそ
れぞれ表わしている。２つのヒストグラムの中心から正
規分布９０％を占める上限、下限の値（Ｘｕｐ，Ｘｌｏ
ｗ、Ｙｕｐ，Ｙｌｏｗ）を、背景値とする。背景値（Ｘ
ｕｐ，Ｘｌｏｗ、Ｙｕｐ，Ｙｌｏｗ）は、後述するよう
に、フレームＧ（ｋ）（ｋ＝１〜ｎ）から背景画像を切
り出すためのパラメータとなる。In step s5-3, the background values (Xup, Xlow, Yup, Yl) are calculated using the two histograms.
ow). For reference, FIG. 6 shows a relationship between a color histogram in a background image and a background value. FIG.
6A shows a histogram for colorx, and FIG. 6B shows a histogram for color. Upper and lower limit values (Xup, Xlo) occupying 90% of the normal distribution from the center of the two histograms
w, Yup, Yellow) are set as background values. Background value (X
As described later, up, Xlow, Yup, and Yellow are parameters for extracting a background image from the frame G (k) (k = 1 to n).
【００３５】図５を参照して、ステップｓ５−４では、
色特性モデルを作成する。具体的には、ステップｓ５−
３で算出された背景値（Ｘｕｐ、Ｘｌｏｗ、Ｙｕｐ、Ｙ
ｌｏｗ）を用いて、フレームＧ（１）から背景画像を切
り出す。これにより得られる２値化画像を、色特性モデ
ル（初期モデル）とする。Referring to FIG. 5, in step s5-4,
Create a color characteristic model. Specifically, step s5-
3 (Xup, Xlow, Yup, Y
(low), a background image is cut out from the frame G (1). The binarized image obtained in this way is used as a color characteristic model (initial model).
【００３６】続いて、図３に示す輪郭特性モデルの作成
処理（ステップｓ３−６）について説明する。輪郭特性
モデル作成処理では、ユーザが指定した追跡対象物体Ｍ
ＡＮの中心位置（図４の位置Ｄ）を中心とする領域に対
して輪郭強調作業を行ない、輪郭強調画像を作成する。
作成された輪郭強調画像を、輪郭特性モデル（初期モデ
ル）とする。Next, the process of creating the contour characteristic model shown in FIG. 3 (step s3-6) will be described. In the contour characteristic model creation processing, the tracking target object M specified by the user
An outline emphasis operation is performed on a region centered on the center position (position D in FIG. 4) of the AN to create an outline emphasis image.
The created contour emphasized image is used as a contour characteristic model (initial model).
【００３７】輪郭強調作業は、Ｒｏｂｅｒｔｓオペレー
タを用いて行なう。Ｒｏｂｅｒｔｓオペレータについて
は、Ｌ．Ｇ．Ｒｏｂｅｒｔｓ，”Ｍａｃｈｉｎｅ ｐｅ
ｒｃｅｐｔｉｏｎ ｏｆ ｔｈｒｅｅ−ｄｉｍｅｎｓｉ
ｏｎａｌ ｓｏｌｉｄｓ”，Ｏｐｔｉｃａｌ Ｅｌｅｃ
ｔｏ−ｏｐｔｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ ｏｆＩ
ｎｆｏｒｍａｔｉｏｎ，ＭＩＴ Ｐｒｅｓｓ，ｐｐ．１
５９〜１９７（１９６５）に詳しく説明されているの
で、ここではその説明は省略する。The contour emphasis operation is performed using a Roberts operator. For the Roberts operator, see L.A. G. FIG. Roberts, "Machine pe
reception of three-dimension
onal solids ", Optical Elec
to-optical Processing ofI
nformation, MIT Press, pp. 147-64. 1
59 to 197 (1965), and the description is omitted here.
【００３８】続いて、図３に示す動き特性モデルの作成
処理（ステップｓ３−７）について説明する。動き特性
モデル作成処理では、ユーザが指定した追跡対象物体Ｍ
ＡＮの中心位置（図４の位置Ｄ）を、動き特性モデル
（初期モデル）とする。Next, the process of creating the motion characteristic model shown in FIG. 3 (step s3-7) will be described. In the motion characteristic model creation processing, the tracking target object M specified by the user
The center position of AN (position D in FIG. 4) is used as a motion characteristic model (initial model).
【００３９】フレームＧ（１）に対して、ステップｓ３
−５〜ｓ３−７を行なった後は、ステップｓ３−８に移
り、解析するフレームＧ（２）をディスク装置５（図
２）から読み出す。For frame G (1), step s3
After performing -5 to s3-7, the process proceeds to step s3-8, where the frame G (2) to be analyzed is read from the disk device 5 (FIG. 2).
【００４０】続いて、図１に示す解析部（ステップｓ１
−３）の詳細について説明する。解析部は、色特性解析
部（ステップｓ１−１０）、輪郭特性解析部（ステップ
ｓ１−１１）、および動き特性解析部（ステップｓ１−
１２）を備える。Subsequently, the analysis unit (step s1) shown in FIG.
The details of -3) will be described. The analyzing unit includes a color characteristic analyzing unit (step s1-10), a contour characteristic analyzing unit (step s1-11), and a motion characteristic analyzing unit (step s1-
12) is provided.
【００４１】解析部では、モデル（色特性モデル、輪郭
特性モデル、および動き特性モデル）を用いて、フレー
ムＧ（ｋ）を解析する。ここで、第２番目のフレームＧ
（２）は、図３で説明した初期モデルを用いて解析し、
第３番目以降のフレームＧ（ｋ）（ｋ＞２）は、後述す
るように、情報モデル判別更新部（図１に示すステップ
ｓ１−５）において得られるモデルを用いて解析する。The analysis unit analyzes the frame G (k) using the models (color characteristic model, contour characteristic model, and motion characteristic model). Here, the second frame G
(2) is analyzed using the initial model described in FIG.
The third and subsequent frames G (k) (k> 2) are analyzed using a model obtained in the information model discriminating / updating unit (step s1-5 shown in FIG. 1), as described later.
【００４２】図１に示す色特性解析部（ステップｓ１−
１０）の詳細について説明する。色特性解析部では、色
特性モデルを用いてフレームＧ（ｋ）から追跡対象物体
の候補を検出し、検出した候補に対して色特性に関する
適合確率を算出する。The color characteristic analyzer shown in FIG. 1 (step s1-
The details of 10) will be described. The color characteristic analysis unit detects a candidate for the tracking target object from the frame G (k) using the color characteristic model, and calculates a matching probability of the detected candidate with respect to the color characteristic.
【００４３】図７は、本発明の実施の形態１における色
特性解析部の処理手順を示すフロー図である。図７を参
照して、ステップｓ７−１では、背景値（Ｘｕｐ、Ｘｌ
ｏｗ、Ｙｕｐ、Ｙｌｏｗ）を用いて、フレームＧ（ｋ）
に色フィルタ処理を施す。これにより、フレームＧ
（ｋ）から背景を抜き出し、追跡対象物体の候補となる
べき複数の領域が、２値化画像として得られる。FIG. 7 is a flowchart showing a processing procedure of the color characteristic analysis unit according to the first embodiment of the present invention. Referring to FIG. 7, in step s7-1, the background values (Xup, Xl
ow, Yup, Yellow) using the frame G (k)
Is subjected to color filter processing. Thereby, the frame G
The background is extracted from (k), and a plurality of regions to be candidates for the tracking target object are obtained as a binarized image.
【００４４】ステップｓ７−２では、次に示す式（３）
を用いて、候補となる各領域と色特性モデルとの面積比
Ｐｃｏｌｏｒを算出する。In step s7-2, the following equation (3)
Is used to calculate the area ratio Pcolor between each of the candidate regions and the color characteristic model.
【００４５】 Ｐｃｏｌｏｒ＝ＡＲＥＡｃａｎｄ／ＡＲＥＡｍｏｄｅｌ …（３） ここで、ＡＲＥＡｍｏｄｅｌとは、色特性モデルの面積
を示し、ＡＲＥＡｃａｎｄは、候補となる各領域の面積
を示す。面積比Ｐｃｏｌｏｒの値が大きい候補ほど、色
特性に関して色特性モデルとの適合度が高い。Pcolor = AREAcand / AREAmodel (3) Here, AREAmodel indicates the area of the color characteristic model, and AREAcand indicates the area of each candidate area. As the value of the area ratio Pcolor is larger, the degree of matching of the color characteristics with the color characteristic model is higher.
【００４６】面積比Ｐｃｏｌｏｒの値の大きい領域から
順に３つの領域を検出して、追跡対象物体の候補とす
る。Three regions are detected in order from the region having the largest area ratio Pcolor, and are detected as candidates for the tracking target object.
【００４７】ステップｓ７−３では、各候補について、
色特性に関する適合確率を算出する。本実施例では、適
合確率として式（３）をそのまま用いる（適合確率＝Ｐ
ｃｏｌｏｒ）。適合確率Ｐｃｏｌｏｒは、候補と色特性
モデルとの適合の度合を示している。In step s7-3, for each candidate,
Calculate the matching probability for the color characteristics. In this embodiment, the equation (3) is used as it is as the matching probability (matching probability = P
color). The matching probability Pcolor indicates the degree of matching between the candidate and the color characteristic model.
【００４８】続いて、図１に示す輪郭特性解析部（ステ
ップｓ１−１１）の詳細について説明する。輪郭特性解
析部では、輪郭特性モデルを用いてフレームＧ（ｋ）を
解析して、追跡対象物体の候補毎に、輪郭特性に関する
適合確率を算出する。Next, details of the contour characteristic analysis section (step s1-11) shown in FIG. 1 will be described. The contour characteristic analysis unit analyzes the frame G (k) using the contour characteristic model, and calculates a matching probability regarding the contour characteristic for each candidate of the tracking target object.
【００４９】図８は、本発明の実施の形態１における輪
郭特性解析部の処理手順を示すフロー図である。図８を
参照して、ステップｓ８−１では、前述した色特性解析
部（図１のステップｓ１−１０）で得られる候補を中心
とした領域に、Ｒｏｂｅｒｔｓオペレータを用いて輪郭
強調処理を施す。候補は３つあるので、３つの輪郭強調
画像を得る。FIG. 8 is a flowchart showing a processing procedure of the contour characteristic analysis unit according to the first embodiment of the present invention. Referring to FIG. 8, in step s8-1, contour emphasis processing is performed using a Roberts operator on a region centered on a candidate obtained by the above-described color characteristic analysis unit (step s1-10 in FIG. 1). Since there are three candidates, three edge enhanced images are obtained.
【００５０】ステップｓ８−２では、ステップｓ８−１
で得られた３つの輪郭強調画像のそれぞれと、輪郭特性
モデルとのテンプレートマッチングを行う。テンプレー
トマチングの評価式を、式（４）に示す。In step s8-2, step s8-1
Performs template matching between each of the three contour-enhanced images obtained in step (1) and the contour characteristic model. Expression (4) shows an evaluation expression for template matching.
【００５１】[0051]
【数１】 (Equation 1)
【００５２】ここで、ｏｉｊは、輪郭特性モデルを構成
する各ピクセル毎の階調を、ｍｉｊは、フレームＧ
（ｋ）内の各ピクセルの階調を、Ｎ、Ｍは、テンプレー
トマッチングする領域をそれぞれ表わす。Here, oij is the gradation of each pixel constituting the contour characteristic model, and mij is the frame G
The gradation of each pixel in (k), and N and M represent regions for template matching.
【００５３】ＳＳＤは、１ピクセルの階調度の違いを二
乗した値を、テンプレートマッチングする範囲で足し合
せた値である。ＳＳＤの値が小さいほど、輪郭特性モデ
ルとの適合度が高いことを意味する。The SSD is a value obtained by adding the value obtained by squaring the difference in the gradient of one pixel within the range of template matching. The smaller the SSD value, the higher the degree of matching with the contour characteristic model.
【００５４】１の輪郭強調画像に対して、輪郭特性モデ
ルの位置を左右、上下に移動させてＳＳＤを算出する。
ＳＳＤの値が最も小さい位置は、輪郭特性モデルと最も
適合する（適合度が高い）位置である。一方、ＳＳＤの
値が最も大きい位置は、輪郭特性モデルと最も適合度が
低い位置である。The SSD is calculated by moving the position of the contour characteristic model left, right, up and down with respect to one contour emphasized image.
The position where the SSD value is the smallest is the position that is most compatible with the contour characteristic model (has a high degree of conformity). On the other hand, the position where the SSD value is the largest is the position where the degree of matching with the contour characteristic model is the lowest.
【００５５】ステップｓ８−３では、各候補に対して、
輪郭特性に関する適合確率Ｐｅｄｇｅを算出する。式
（５）に、適合確率Ｐｅｄｇｅの算出式を示す。In step s8-3, for each candidate,
The matching probability Pedge relating to the contour characteristics is calculated. Formula (5) shows a calculation formula of the matching probability Pedge.
【００５６】 Ｐｅｄｇｅ＝（ＳＳＤｍａｘ−ＳＳＤｍｉｎ）／ＳＳＤｍａｘ …（５） ここで、ＳＳＤｍｉｎとは、ＳＳＤの最も小さい値を、
ＳＳＤｍａｘとは、ＳＳＤの値が最も大きい値を表わ
す。適合確率Ｐｅｄｇｅは、候補と輪郭特性モデルとの
適合の度合を示している。Pedge = (SSDmax−SSDmin) / SSDmax (5) where SSDmin is the smallest value of SSD.
SSDmax indicates the value with the largest SSD value. The matching probability Pedge indicates the degree of matching between the candidate and the contour characteristic model.
【００５７】続いて、図１に示す動き特性解析部（ステ
ップｓ１−１２）の詳細について説明する。動き特性解
析部では、解析するフレームＧ（ｋ）での追跡対象物体
の位置を予測（以下、予測位置と呼ぶ）して、予測位置
と各候補との相関関係から、動き特性に関する適合確率
を算出する。Next, the details of the motion characteristic analyzer (step s1-12) shown in FIG. 1 will be described. The motion characteristic analysis unit predicts the position of the tracking target object in the frame G (k) to be analyzed (hereinafter, referred to as a predicted position), and calculates the matching probability regarding the motion characteristic from the correlation between the predicted position and each candidate. calculate.
【００５８】図９は、本発明の実施の形態１における動
き特性解析部の処理手順を示すフロー図である。図９を
参照して、ステップｓ９−１では、フレームＧ（ｋ―
１）とフレームＧ（ｋ―２）とを用いて、フレームＧ
（ｋ）での追跡対象物体の予測位置（ＸＯ、ＹＯ）を算
出する、予測位置ＸＯ、ＹＯは、式（６）〜式（７）を
用いて算出する。FIG. 9 is a flowchart showing a processing procedure of the motion characteristic analysis unit according to the first embodiment of the present invention. Referring to FIG. 9, in step s9-1, the frame G (k−
1) and the frame G (k-2), the frame G
The predicted position (XO, YO) of the tracking target object in (k) is calculated. The predicted positions XO, YO are calculated using Expressions (6) to (7).
【００５９】 ＸＯ＝（Ｘ１−Ｘ２）＋Ｘ１ …（６） ＹＯ＝（Ｙ１−Ｙ２）＋Ｙ１ …（７） ここで、（Ｘ１、Ｙ１）とは、１フレーム前のフレーム
Ｇ（ｋ―１）での追跡対象物体の位置（動き特性モデ
ル）を、（Ｘ２、Ｙ２）とは、２フレーム前のフレーム
Ｇ（ｋ−２）での追跡対象物体の位置（動き特性モデ
ル）をそれぞれ表わす。予測位置（ＸＯ、ＹＯ）は、追
跡対象物体が、フレームＧ（ｋ−２）、Ｇ（ｋ−１）か
ら直線的に動くと仮定した場合の、フレームＧ（ｋ）で
の位置を表わす。XO = (X1-X2) + X1 (6) YO = (Y1-Y2) + Y1 (7) Here, (X1, Y1) is the frame G (k-1) one frame before. And (X2, Y2) represent the position (motion characteristic model) of the tracking target object in frame G (k-2) two frames before. The predicted position (XO, YO) represents the position in the frame G (k) assuming that the tracking target object moves linearly from the frames G (k-2) and G (k-1).
【００６０】ステップｓ９−２では、色特性解析部（図
１のステップｓ１−１０）で挙げられた各候補につい
て、各候補の位置と予測位置（ＸＯ、ＹＯ）との距離ｄ
ｉｓｔを算出する。式（８）に、距離ｄｉｓｔの算出式
を示す。In step s9-2, for each candidate listed in the color characteristic analysis section (step s1-10 in FIG. 1), the distance d between the position of each candidate and the predicted position (XO, YO) is determined.
ist is calculated. Formula (8) shows a formula for calculating the distance dist.
【００６１】[0061]
【数２】 (Equation 2)
【００６２】ここで、（ＸＣ、ＹＣ）とは、色特性解析
部（図１のステップｓ１−１０）で得られた各候補の位
置を表わす。式（８）で得られる距離ｄｉｓｔは、予測
位置（ＸＯ、ＹＯ）と、色特性解析部で得られた各候補
との直線距離を表わす。Here, (XC, YC) represents the position of each candidate obtained by the color characteristic analyzer (step s1-10 in FIG. 1). The distance dist obtained by Expression (8) represents a linear distance between the predicted position (XO, YO) and each candidate obtained by the color characteristic analysis unit.
【００６３】ステップｓ９−３では、距離ｄｉｓｔを用
いて、各候補に対して、動き特性に関する適合確率Ｐｄ
ｉｓｔを算出する。式（９）に、適合確率Ｐｄｉｓｔの
算出式を示す。In step s9-3, using the distance dist, for each candidate, the matching probability Pd regarding the motion characteristic is obtained.
ist is calculated. Formula (9) shows a formula for calculating the matching probability Pdist.
【００６４】 Ｐｄｉｓｔ＝１／ｄｉｓｔ …（９） ここで、適合確率Ｐｄｉｓｔは、候補と予測位置との近
さの度合を示している。Pdist = 1 / dist (9) Here, the matching probability Pdist indicates the degree of closeness between the candidate and the predicted position.
【００６５】続いて、図１に示す情報統合部（ステップ
ｓ１−４）についての詳細を説明する。情報統合部で
は、上記で説明した３つの解析プロセスで得られる適合
確率を各候補別に統合し、統合確率の結果に基づき、候
補の中の１つを、フレームＧ（ｋ）における追跡対象物
体とする。Next, the details of the information integration section (step s1-4) shown in FIG. 1 will be described. The information integration unit integrates the matching probabilities obtained by the three analysis processes described above for each candidate and, based on the result of the integration probability, assigns one of the candidates to the tracking target object in the frame G (k). I do.
【００６６】図１０は、本発明の実施の形態１における
情報統合部の処理手順を示すフロー図である。図１０を
参照して、ステップｓ１０−１では、３つの解析プロセ
スで得られた適合確率（合計９個）を正規化するため
に、適合確率を基本確率に変換する。基本確率への変換
は、シグモイド関数曲線を用いて、式（１０）に従って
行なう。FIG. 10 is a flowchart showing a processing procedure of the information integrating unit according to the first embodiment of the present invention. Referring to FIG. 10, in step s10-1, in order to normalize the matching probabilities (a total of nine pieces) obtained by the three analysis processes, the matching probabilities are converted into basic probabilities. The conversion to the basic probability is performed according to equation (10) using a sigmoid function curve.
【００６７】[0067]
【数３】 (Equation 3)
【００６８】ここで、ｙは基本確率を、Ｃは正の定数
を、ｘは代入する適合確率をそれぞれ表わす。ｘに適合
確率（適合確率Ｐｃｏｌｏｒ、適合確率Ｐｅｄｇｅ、ま
たは適合確率Ｐｄｉｓｔ）を代入することによって、基
本確率が算出される。各解析プロセスから３つの適合確
率が出力されるので、基本確率への変換は９回行なう。Here, y represents a basic probability, C represents a positive constant, and x represents a matching probability to be substituted. The basic probability is calculated by substituting the matching probability (matching probability Pcolor, matching probability Pedge, or matching probability Pdist) into x. Since three matching probabilities are output from each analysis process, conversion to the basic probabilities is performed nine times.
【００６９】ステップｓ１０−２〜ｓ１０−３では、各
候補別に、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式を
用いて基本確率を統合する。In steps s10-2 to s10-3, the basic probabilities are integrated for each candidate using the integrated formula of Dempster & Shafer.
【００７０】Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒ統合式を
用いた統合方法については、Ｓｈａｆｅｒ，Ｇ．，”Ａ
Ｍａｔｈｅｍａｔｉｃａｌ Ｔｈｅｏｒｙ ｏｆ Ｅ
ｖｉｄｅｎｃｅ”，Ｐｒｉｎｃｅｔｏｎ Ｕｎｉｖｅｒ
ｓｉｔｙ Ｐｒｅｓｓ（１９７６）、もしくは情報処理
学会発行の「情報処理」Ｖｏｌ．３４，Ｎｏ．１０，ｐ
ｐ２０７１〜２０７４，１９９３年の大田による”トッ
プダウン的画像理解における仮説の妥当評価に関する一
考察”に詳しく説明されている。An integration method using the Dempster & Shafer integration formula is described in Shafer, G. et al. , "A
Mathematical Theory of E
vidence ”, Princeton University
sity Press (1976) or “Information Processing” Vol. 34, no. 10, p
This is described in detail in "A Consideration on Valid Evaluation of Hypotheses in Top-Down Image Understanding" by Ohta, pp. 2071-2074, 1993.
【００７１】Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式
は、可能性のある事象を要素とする集合を全体集合とし
て定義する。基本確率の集合の要素選択の条件として、
各要素が互いに排反でかつ、これらの要素が基本確率の
集合を網羅していることが必要とされる。ここで、基本
確率の集合θの部分集合に対して、基本確率ｍ: Ｐ
（θ）→[ ０、１］を割り当てる。式（１１）〜式（１
２）に、条件式を示す。The integrated formula of Dempster & Shafer defines a set having a possible event as an element as a whole set. As conditions for selecting elements of the set of basic probabilities,
It is required that each element be mutually exclusive and that these elements cover the set of basic probabilities. Here, for a subset of the set θ of the basic probabilities, the basic probabilities m: P
(Θ) → Assign [0, 1]. Equations (11) to (1)
2) shows a conditional expression.
【００７２】[0072]
【数４】 (Equation 4)
【００７３】ここで、Ａｉは、事象を、ｍ（Ａｉ）は、
事象Ａｉの基本確率をそれぞれ表わしている。基本確率
ｍ（Ａｉ）の総和は１であり、さらに空集合φに対する
基本確率ｍ（φ）には０を割り当てる。Here, Ai is an event, and m (Ai) is
Each represents the basic probability of the event Ai. The sum of the basic probabilities m (Ai) is 1, and 0 is assigned to the basic probabilities m (φ) for the empty set φ.
【００７４】２つの基本確率を統合するＤｅｍｐｓｔｅ
ｒ＆Ｓｈａｆｅｒの統合式を、（１３) 〜（１５）に示
す。Dempste integrating two basic probabilities
The integral formula of r & Shafer is shown in (13) to (15).
【００７５】[0075]
【数５】 (Equation 5)
【００７６】ここで、Ｂｉ、Ｃｊは、事象を、ｍ1(Ｂ
ｉ) 、ｍ2(Ｃｊ) は、式（１１）〜式（１２）を満たす
基本確率を、ｍ1、2(Ａｉ) は、これらの統合確率をそれ
ぞれ表わしている。ｉ、ｊは、候補を示し、１、２、３
のいずれかの値をとる。Here, Bi and Cj represent an event by m 1 (B
i) and m 2 (Cj) represent the basic probabilities satisfying the equations (11) to (12), and m 1 and 2 (Ai) represent the integrated probabilities. i and j indicate candidates, 1, 2, 3
Takes one of the following values.
【００７７】ステップｓ１０−２では、候補別に、Ｄｅ
ｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式（１３) 〜（１
５）を用いて、色に関する基本確率と輪郭特性に関する
基本確率とを統合する。At step s10-2, De for each candidate
mpster & Shafer integrated formula (13)-(1
Using 5), the basic probabilities for the colors and the contour characteristics are integrated.
【００７８】図１１は、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅ
ｒの統合式を用いて統合確率を算出する手順を説明する
ための図である。具体的には、図１０に示すステップｓ
１０−２では、候補別に、図１１のｍ1(Ｂｉ）に色特性
に関する基本確率を、図１１のｍ2(Ｃｉ）に輪郭特性に
関する基本確率をそれぞれ割り当てる。この結果、中間
統合確率ｍ1、2(Ａｉ) （ｉ＝１、２、３）が得られる。FIG. 11 shows Dempster & Shafe.
It is a figure for explaining the procedure which computes an integration probability using an integration formula of r. Specifically, step s shown in FIG.
In 10-2, the basic probabilities relating to the color characteristics are assigned to m 1 (Bi) in FIG. 11 and the basic probabilities relating to the contour characteristics are assigned to m 2 (Ci) in FIG. 11 for each candidate. As a result, an intermediate integration probability m 1,2 (Ai) (i = 1, 2, 3) is obtained.
【００７９】続いて、図１０に示すステップｓ１０−３
では、候補別に、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統
合式（１３) 〜（１５）を用いて、中間統合確率と動き
特性に関する基本確率とを統合する。具体的には、図１
１のｍ1(Ｂｉ) に図１０に示すステップｓ１０−２で得
られた中間統合確率を、図１１のｍ2(Ｃｉ）に動き特性
に関する基本確率をそれぞれ割り当てる。この結果、最
終的な統合確率として、ｍ1、2(Ａｉ)(ｉ＝1 、2 、３)
が得られる。Subsequently, step s10-3 shown in FIG.
Then, the intermediate integration probability and the basic probability relating to the motion characteristic are integrated for each candidate using the integration formulas (13) to (15) of Dempster & Shafer. Specifically, FIG.
The intermediate integration probability obtained in step s10-2 shown in FIG. 10 is assigned to m 1 (Bi) of FIG. 1, and the basic probability relating to the motion characteristic is assigned to m 2 (Ci) of FIG. As a result, the final integration probability is m 1,2 (Ai) (i = 1, 2, 3)
Is obtained.
【００８０】図１０に示すステップｓ１０−４では、ス
テップｓ１０−３で求めた統合確率が最大である候補を
選択する。選択された候補を、フレームＧ（ｋ）におけ
る追跡対象物体と決定する。In step s10-4 shown in FIG. 10, the candidate having the maximum integration probability obtained in step s10-3 is selected. The selected candidate is determined as the tracking target object in the frame G (k).
【００８１】続いて、図１に示す情報モデル判別更新部
（ステップｓ１−５）について説明する。情報モデル判
別更新部では、情報統合部（図１のステップｓ１−４）
において決定したフレームＧ（ｋ）における追跡対象物
体に基づき、雛形となるモデルを更新する。Next, the information model discriminating / updating unit (step s1-5) shown in FIG. 1 will be described. In the information model discriminating / updating unit, the information integrating unit (step s1-4 in FIG. 1)
The model serving as the model is updated based on the tracking target object in the frame G (k) determined in.
【００８２】図１２は、本発明の実施の形態１における
情報モデル判別更新部の処理手順を示すフロー図であ
る。図１２を参照して、ステップｓ１２−１では、決定
した追跡対象物体の位置を動き特性モデルとして更新す
る。ステップｓ１２−２では、決定した追跡対象物体の
統合確率に基づき、色特性モデルおよび輪郭特性モデル
の更新を行なうか否かを判別する。具体的には、統合確
率がある閾値より大きい場合には、決定した追跡対象物
体に基づき、色特性モデルおよび輪郭特性モデルを更新
する（ステップｓ１２−３、ｓ１２−４）。FIG. 12 is a flowchart showing a processing procedure of the information model discriminating / updating unit according to Embodiment 1 of the present invention. Referring to FIG. 12, in step s12-1, the determined position of the tracking target object is updated as a motion characteristic model. In step s12-2, it is determined whether or not to update the color characteristic model and the contour characteristic model based on the determined integration probability of the tracking target object. Specifically, when the integration probability is larger than a certain threshold, the color characteristic model and the contour characteristic model are updated based on the determined tracking target object (steps s12-3 and s12-4).
【００８３】具体的には、ステップｓ１２−３では、決
定した追跡対象物体の２値化画像を色特性モデルとする
（更新する）。さらに、ステップｓ１２−４では、決定
した追跡対象物体の輪郭強調画像を輪郭特性モデルとす
る（更新する）。Specifically, in step s12-3, the binarized image of the determined tracking target object is used as a color characteristic model (updated). Further, in step s12-4, the determined contour emphasized image of the tracking target object is used as a contour characteristic model (updated).
【００８４】続くフレームＧ（ｋ＋１）は、これらのモ
デルを用いて解析する。The following frame G (k + 1) is analyzed using these models.
【００８５】[0085]
【発明の効果】以上のように、本発明の動物体追跡方法
では、複数の解析プロセスで得た結果を統合することに
より、動画像の中に似通った特徴をもつ複数の物体が存
在する状態であっても、目的とする動物体を追跡するこ
とが可能となる。As described above, according to the moving object tracking method of the present invention, by integrating the results obtained by a plurality of analysis processes, a moving image includes a plurality of objects having similar characteristics. However, it is possible to track the target moving object.
【００８６】また、本発明の動物体追跡方法では、動画
像を複数の画面に分割して、一画面毎に解析を行ない、
かつ画面毎に雛形となるモデルを更新するので、形状が
変化する動物体であっても追跡することが可能となる。Further, in the moving object tracking method of the present invention, the moving image is divided into a plurality of screens, and analysis is performed for each screen.
In addition, since the model serving as a model is updated for each screen, it is possible to track a moving object whose shape changes.
【００８７】さらに、本発明の動物体追跡方法では、複
数の解析プロセスで得た結果を統合することにより、あ
まり精密でない動画像であっても形状が変化する動物体
を追跡することが可能となる。Further, with the moving object tracking method of the present invention, it is possible to track a moving object whose shape changes even with a less precise moving image by integrating the results obtained by a plurality of analysis processes. Become.
【図１】 本発明の実施の形態１における動物体追跡方
法１００の全体の流れを示すフロー図である。FIG. 1 is a flowchart showing an overall flow of a moving object tracking method 100 according to Embodiment 1 of the present invention.
【図２】 本発明の実施の形態１における動物体追跡方
法を実施するためのシステム１１０の概略的な基本構成
の一例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of a schematic basic configuration of a system 110 for implementing the moving object tracking method according to the first embodiment of the present invention.
【図３】 本発明の実施の形態１における画像入力部の
処理手順を示すフロー図である。FIG. 3 is a flowchart illustrating a processing procedure of an image input unit according to the first embodiment of the present invention.
【図４】 本発明の実施の形態１における追跡対象物体
および背景画像の指定方法について説明するための図で
ある。FIG. 4 is a diagram for describing a method of specifying a tracking target object and a background image according to the first embodiment of the present invention.
【図５】 本発明の実施の形態１における色特性モデル
作成処理の処理手順を示すフロー図である。FIG. 5 is a flowchart showing a processing procedure of a color characteristic model creation processing according to the first embodiment of the present invention.
【図６】 本発明の実施の形態１の色特性モデル作成処
理の背景画像における色のヒストグラムと背景値との関
係を示す図である。FIG. 6 is a diagram illustrating a relationship between a color histogram and a background value in a background image in the color characteristic model creation processing according to the first embodiment of the present invention.
【図７】 本発明の実施の形態１における色特性解析部
の処理手順を示すフロー図である。FIG. 7 is a flowchart illustrating a processing procedure of a color characteristic analysis unit according to the first embodiment of the present invention.
【図８】 本発明の実施の形態１における輪郭特性解析
部の処理手順を示すフロー図である。FIG. 8 is a flowchart showing a processing procedure of a contour characteristic analysis unit according to the first embodiment of the present invention.
【図９】 本発明の実施の形態１における動き特性解析
部の処理手順を示すフロー図である。FIG. 9 is a flowchart showing a processing procedure of a motion characteristic analysis unit according to the first embodiment of the present invention.
【図１０】 本発明の実施の形態１における情報統合部
の処理手順を示すフロー図である。FIG. 10 is a flowchart showing a processing procedure of an information integration unit according to the first embodiment of the present invention.
【図１１】 Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式
を用いて統合確率を算出する手順を説明するための図で
ある。FIG. 11 is a diagram illustrating a procedure for calculating an integration probability using the integration formula of Dempster & Shafer.
【図１２】 本発明の実施の形態１における情報モデル
判別更新部の処理手順を示すフロー図である。FIG. 12 is a flowchart showing a processing procedure of an information model discriminating / updating unit according to the first embodiment of the present invention.
１ テレビ ２ キャプチャボード ３ 主制御部 ４、５ ディスク装置 ６ 表示部 １１０ システム DESCRIPTION OF SYMBOLS 1 Television 2 Capture board 3 Main control part 4, 5 Disk device 6 Display part 110 system
Claims (6)
追跡方法であって、 前記動画像を複数のフレームに分割する分割ステップ
と、 第１番目の前記フレームを表示して、ユーザに追跡する
前記動物体と背景とを指定させ、前記指定した動物体と
背景とに基づいて、色特性モデル、輪郭特性モデル、お
よび動き特性モデルと、背景値とを算出する初期設定ス
テップと、 第１番目の前記フレーム以降の１の前記フレームから、
前記背景値と、前記色特性モデルとを用いて前記動物体
の候補を検出し、各前記候補毎に、前記候補と前記色特
性モデルとの色特性に関する適合度を示す第１の適合確
率を算出する色特性解析ステップと、 検出した各前記候補毎に、前記候補と前記輪郭特性モデ
ルとの輪郭特性に関する適合度を示す第２の適合確率を
算出する輪郭特性解析ステップと、 前記動き特性モデルから前記動物体の位置を予測し、検
出した各前記候補毎に、前記候補と前記予測した位置と
の近さを示す第３の適合確率を算出する動き特性解析ス
テップと、 各前記候補毎に、前記第１の適合確率、前記第２の適合
確率、および前記第３の適合確率を統合して統合確率を
算出し、前記統合確率の値が最大の前記候補を追跡する
前記動物体と決定する統合ステップと、 決定した前記動物体に基づき、前記色特性モデル、前記
輪郭特性モデル、および前記動き特性モデルを更新する
更新ステップと、 第１番目の前記フレーム以降の前記フレームについて、
順次、追跡する前記動物体を決定するための制御を行な
う制御ステップとを備える、動物体追跡方法。1. A moving object tracking method for tracking a moving object in a moving image, comprising: a dividing step of dividing the moving image into a plurality of frames; and displaying a first frame to track the user. An initial setting step of specifying the moving object and the background, and calculating a color characteristic model, an outline characteristic model, and a movement characteristic model, and a background value based on the specified moving object and the background; From one frame after the frame of
The background value and the color feature model are used to detect the candidate for the moving object, and for each of the candidates, a first match probability indicating a match degree regarding the color feature between the candidate and the color feature model is calculated. A color characteristic analysis step of calculating; a contour characteristic analysis step of calculating, for each of the detected candidates, a second matching probability indicating a degree of matching between the candidate and the contour characteristic model; A motion characteristic analysis step of calculating a third matching probability indicating a closeness between the candidate and the predicted position, for each of the detected candidates, and for each of the candidates. Calculating an integrated probability by integrating the first matching probability, the second matching probability, and the third matching probability, and determining the moving object that tracks the candidate having the largest value of the integrating probability. Integration steps An updating step of updating the color characteristic model, the contour characteristic model, and the motion characteristic model based on the determined moving object; and for the frames after the first frame,
A control step of sequentially performing control for determining the moving object to be tracked.
理を施すことにより得られる前記動物体の２値化画像で
あり、 前記輪郭特性モデルとは、 前記動物体の中心位置を中心とする領域に対して、輪郭
強調処理を施すことにより得られる前記動物体の輪郭強
調画像であり、 前記動き特性モデルとは、 前記動物体の中心位置である、請求項１記載の動物体追
跡方法。2. The background value is a value of a color occupying the background specified by the user, and the color characteristic model is to perform a filtering process on the frame using the background value. And a contour image of the moving object obtained by performing a contour emphasis process on a region centered on a center position of the moving object. The moving object tracking method according to claim 1, wherein the moving characteristic model is an emphasized image, and the motion characteristic model is a center position of the moving object.
理を施すことにより前記動物体の候補となる領域を得る
ステップと、 前記候補となる領域毎に、前記領域と前記色特性モデル
との面積比を求めて、前記面積比の大きいものから順に
３つの前記領域を選択して前記候補とするステップと、 前記選択された３つの各前記候補毎に、前記面積比に基
づき、前記第１の適合確率を算出するステップとを備え
る、請求項２記載の動物体追跡方法。3. The color characteristic analysis step includes: performing a filtering process on the frame using the background value to obtain a region that is a candidate for the moving object; Determining the area ratio between the region and the color characteristic model, selecting the three regions in order from the one with the largest area ratio as the candidate, and for each of the three selected candidates. Calculating the first matching probability based on the area ratio.
とにより、各前記候補の輪郭強調画像を得るステップ
と、 各前記輪郭強調画像と、前記輪郭特性モデルとのテンプ
レートマッチングを行なうステップと、 各前記候補毎に、前記テンプレートマッチングの結果に
基づき、前記第２の適合確率を算出するステップとを備
える、請求項２記載の動物体追跡方法。4. The contour characteristic analysis step includes: performing a contour enhancement process on a region centered on each of the candidates to obtain a contour-enhanced image of each of the candidates; The moving object tracking method according to claim 2, further comprising: performing template matching with a contour characteristic model; and calculating, for each of the candidates, the second matching probability based on the template matching result.
動した場合の位置を予測するステップと、 前記予測された位置と、各前記候補との距離を算出する
ステップと、 各前記候補毎に、求めた前記距離に基づき、前記第３の
適合確率を算出するステップとを備える、請求項２記載
の動物体追跡方法。5. The motion characteristic analysis step, comprising: a step of predicting a position when the moving object moves linearly using the motion characteristic model; and a step of predicting the predicted position and each of the candidates. The moving object tracking method according to claim 2, further comprising: calculating a distance; and calculating, for each of the candidates, the third matching probability based on the obtained distance.
て更新するステップと、 決定した前記動物体の前記統合確率が一定値以上であれ
ば、決定した前記動物体の２値化画像を前記色特性モデ
ルとし、かつ決定した前記動物体の輪郭強調画像を前記
輪郭強調モデルとして更新するステップとを備える、請
求項２記載の動物体追跡方法。6. The updating step includes: updating the determined position of the moving object as the motion characteristic model; and determining the determined animal if the integration probability of the moving object is equal to or more than a predetermined value. 3. The moving object tracking method according to claim 2, further comprising: updating a binarized image of the body as the color characteristic model, and updating the determined contour enhanced image of the moving object as the contour enhanced model.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11380397A JP3552456B2 (en) | 1997-05-01 | 1997-05-01 | Moving object tracking method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11380397A JP3552456B2 (en) | 1997-05-01 | 1997-05-01 | Moving object tracking method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10304348A true JPH10304348A (en) | 1998-11-13 |
| JP3552456B2 JP3552456B2 (en) | 2004-08-11 |
Family
ID=14621470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11380397A Expired - Fee Related JP3552456B2 (en) | 1997-05-01 | 1997-05-01 | Moving object tracking method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3552456B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010057810A (en) * | 1999-12-23 | 2001-07-05 | 오길록 | Apparatus and method for model-based object tracking |
| JP2002352248A (en) * | 2001-05-25 | 2002-12-06 | Nhk Engineering Services Inc | Supporting device for video object extraction |
| JP2002358526A (en) * | 2001-06-01 | 2002-12-13 | Nhk Engineering Services Inc | Device for detecting and tracking video object |
| JP2006331347A (en) * | 2005-05-30 | 2006-12-07 | Olympus Corp | Image processor and object domain tracking program |
| WO2009098894A1 (en) * | 2008-02-06 | 2009-08-13 | Panasonic Corporation | Electronic camera and image processing method |
| JP4782123B2 (en) * | 2005-04-01 | 2011-09-28 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | A method for tracking moving objects in a video acquired for a scene by a camera |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7676081B2 (en) | 2005-06-17 | 2010-03-09 | Microsoft Corporation | Image segmentation of foreground from background layers |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01204186A (en) * | 1988-02-08 | 1989-08-16 | Nec Corp | Method for recognizing object color in picture processing |
| JPH02245981A (en) * | 1989-03-20 | 1990-10-01 | Omron Tateisi Electron Co | Color picture processor |
| JPH08185521A (en) * | 1994-12-28 | 1996-07-16 | Clarion Co Ltd | Mobile object counter |
| JPH08212351A (en) * | 1995-02-08 | 1996-08-20 | Fujitsu General Ltd | Moving image recognition device |
-
1997
- 1997-05-01 JP JP11380397A patent/JP3552456B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01204186A (en) * | 1988-02-08 | 1989-08-16 | Nec Corp | Method for recognizing object color in picture processing |
| JPH02245981A (en) * | 1989-03-20 | 1990-10-01 | Omron Tateisi Electron Co | Color picture processor |
| JPH08185521A (en) * | 1994-12-28 | 1996-07-16 | Clarion Co Ltd | Mobile object counter |
| JPH08212351A (en) * | 1995-02-08 | 1996-08-20 | Fujitsu General Ltd | Moving image recognition device |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010057810A (en) * | 1999-12-23 | 2001-07-05 | 오길록 | Apparatus and method for model-based object tracking |
| JP2002352248A (en) * | 2001-05-25 | 2002-12-06 | Nhk Engineering Services Inc | Supporting device for video object extraction |
| JP2002358526A (en) * | 2001-06-01 | 2002-12-13 | Nhk Engineering Services Inc | Device for detecting and tracking video object |
| JP4782123B2 (en) * | 2005-04-01 | 2011-09-28 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | A method for tracking moving objects in a video acquired for a scene by a camera |
| JP2006331347A (en) * | 2005-05-30 | 2006-12-07 | Olympus Corp | Image processor and object domain tracking program |
| JP4515332B2 (en) * | 2005-05-30 | 2010-07-28 | オリンパス株式会社 | Image processing apparatus and target area tracking program |
| US8019143B2 (en) | 2005-05-30 | 2011-09-13 | Olympus Corporation | Image processing apparatus and computer program product |
| WO2009098894A1 (en) * | 2008-02-06 | 2009-08-13 | Panasonic Corporation | Electronic camera and image processing method |
| US8253819B2 (en) | 2008-02-06 | 2012-08-28 | Panasonic Corporation | Electronic camera and image processing method |
| JP5090474B2 (en) * | 2008-02-06 | 2012-12-05 | パナソニック株式会社 | Electronic camera and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3552456B2 (en) | 2004-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Papageorgiou et al. | A trainable pedestrian detection system | |
| US7978918B2 (en) | Digital image cropping using a blended map | |
| EP1679652B1 (en) | Image segmentation method and device | |
| EP2345980A2 (en) | Classifier learning image production program, method, and system | |
| WO2012014430A1 (en) | Mobile body detection device and mobile body detection method | |
| US20100014781A1 (en) | Example-Based Two-Dimensional to Three-Dimensional Image Conversion Method, Computer Readable Medium Therefor, and System | |
| CN110929593A (en) | Real-time significance pedestrian detection method based on detail distinguishing and distinguishing | |
| US20080019574A1 (en) | Machine-controlled image cropping with default | |
| JP2001043376A (en) | Image extraction method and device and storage medium | |
| Li et al. | Detection of vehicles from traffic scenes using fuzzy integrals | |
| JP7091686B2 (en) | 3D object recognition device, image pickup device and vehicle | |
| CN109034136A (en) | Image processing method, device, picture pick-up device and storage medium | |
| US20030095707A1 (en) | Computer vision method and system for blob-based analysis using a probabilistic pramework | |
| Chibber et al. | Smart traffic light controller using edge detection in digital signal processing | |
| CN112927303A (en) | Lane line-based automatic driving vehicle-mounted camera pose estimation method and system | |
| CN115346197A (en) | Driver distraction behavior identification method based on bidirectional video stream | |
| JP3552456B2 (en) | Moving object tracking method | |
| JP2002245441A (en) | Device for extracting portrait | |
| Zhang et al. | Optimal selection of segmentation algorithms based on performance evaluation | |
| CN110717910A (en) | CT image target detection method and CT scanner | |
| JPH08335268A (en) | Area extracting method | |
| JP3779229B2 (en) | Identification method, identification device, and traffic control system | |
| CN113989588A (en) | Self-learning-based intelligent evaluation system and method for pentagonal drawing test | |
| CN110717471B (en) | B-ultrasonic image target detection method based on support vector machine model and B-ultrasonic scanner | |
| WO2021192028A1 (en) | Learning device and learning method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040426 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080514 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |