JP2001250118A - Detecting and tracking device for moving body in moving picture - Google Patents
Detecting and tracking device for moving body in moving pictureInfo
- Publication number
- JP2001250118A JP2001250118A JP2000061200A JP2000061200A JP2001250118A JP 2001250118 A JP2001250118 A JP 2001250118A JP 2000061200 A JP2000061200 A JP 2000061200A JP 2000061200 A JP2000061200 A JP 2000061200A JP 2001250118 A JP2001250118 A JP 2001250118A
- Authority
- JP
- Japan
- Prior art keywords
- moving
- area
- motion
- moving object
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は動画像内の移動物
体検出追跡装置に関し、特に、圧縮符号化データそのも
の、またはその一部だけを復号した情報から、高速かつ
高精度に移動領域を抽出できる動画像内の移動物体検出
追跡装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for detecting and tracking a moving object in a moving image, and more particularly, to extracting a moving region at high speed and with high accuracy from information obtained by decoding compressed encoded data itself or only a part thereof. The present invention relates to a moving object detection and tracking device in a moving image.
【０００２】[0002]
【従来の技術】従来の移動領域を検出する方式（以下、
第１の検出方式）、特に移動する物体の検出方式とし
て、あらかじめ保持されている背景画像に対して、対象
フレームにおけるある走査線の微分や差分の絶対値和を
移動物体の検出判定に使用する方式がある。また、オプ
ティカルフローから移動物体を求める方式、小領域の輝
度分布の相関や距離情報、速度情報を考慮して移動領域
を検出する方法などが提案されている。これらの方式
は、動画像の各画素の輝度値一つ一つに様々なアルゴリ
ズムを適用して移動領域を抽出する方式である。2. Description of the Related Art A conventional method of detecting a moving area (hereinafter, referred to as a moving area detection method).
First detection method), in particular, as a detection method of a moving object, a differential of a certain scanning line in a target frame or an absolute value sum of a difference is used for detection of a moving object with respect to a background image held in advance. There is a method. In addition, a method of obtaining a moving object from an optical flow, a method of detecting a moving area in consideration of a luminance distribution correlation of a small area, distance information, and speed information have been proposed. In these methods, a moving area is extracted by applying various algorithms to each luminance value of each pixel of a moving image.
【０００３】この第１の検出方式を圧縮符号化された動
画像データに適用するには、符号化データを一旦復号す
る必要があり、例えば、図９のブロック図で示される構
成により実現される。図９の可変長復号部５１は圧縮さ
れた画像符号化データを入力とし、可変長復号、逆量子
化や係数範囲制限等の復号処理を行う。該可変長復号部
５１からは、復号されたフレームやブロックの動き予測
誤差情報ａ、動き予測情報ｂ、符号化情報等が出力され
る。該動き予測誤差情報ａは画像生成部５２に入力さ
れ、該画像生成部５２で逆変換されて１フレームの画像
を生成する。また、動き補償部５３は動き予測の参照フ
レームを保持している画像メモリ５４から動き予測情報
ｂを使って参照画像ｃを抽出する。加算器５５は、画像
生成部５２からの出力画像と、動き補償部５３からの動
き補償画像とを加算し、完全な１フレームの復号画像ｄ
を生成する。該復号画像ｄは移動領域検出部５６へ送ら
れて前記した第１の検出方式の移動領域検出処理がなさ
れる。また、該復号画像ｄが次フレーム以降の参照画像
となるフレームであれば、画像メモリ５４に蓄積され
る。移動領域検出部５６で移動領域検出処理がされた画
像は画像表示部５７で表示される。In order to apply the first detection method to moving image data that has been compression-encoded, it is necessary to decode the encoded data once, and this is realized, for example, by the configuration shown in the block diagram of FIG. . The variable length decoding unit 51 in FIG. 9 receives compressed image encoded data as input and performs variable length decoding, inverse quantization, and decoding processing such as coefficient range restriction. The variable-length decoding unit 51 outputs the motion prediction error information a, the motion prediction information b, and the encoded information of the decoded frame or block. The motion prediction error information a is input to the image generation unit 52, and is inversely transformed by the image generation unit 52 to generate an image of one frame. Further, the motion compensating unit 53 extracts the reference image c from the image memory 54 holding the reference frame for motion prediction using the motion prediction information b. The adder 55 adds the output image from the image generation unit 52 and the motion compensation image from the motion compensation unit 53 to obtain a complete one-frame decoded image d.
Generate The decoded image d is sent to the moving area detection unit 56, and the moving area detection processing of the first detection method is performed. If the decoded image d is a frame to be a reference image after the next frame, it is stored in the image memory 54. The image subjected to the moving area detection processing by the moving area detection unit 56 is displayed on the image display unit 57.
【０００４】また、従来の他の移動領域検出方式（以
下、第２の検出方式）として、画素そのものを利用する
のではなく、圧縮符号化された動画像の符号化データそ
のものを利用する方式が提案されている。この方式は圧
縮の際に求められる各種のパラメータや符号化データを
直接操作することで移動領域の検出処理を達成する。検
出処理は画像内の符号単位ブロックが持つ動き予測情報
を中心に、必要な情報のみを取捨選択して移動領域の抽
出が行われる。このため、抽出される解像度は動き予測
情報を持つ各圧縮方式の符号化単位ブロックの大きさに
設定される。As another conventional moving area detection method (hereinafter, referred to as a second detection method), there is a method in which coded data of a moving image that has been compression-encoded is used instead of using pixels themselves. Proposed. This method achieves a moving area detection process by directly operating various parameters and encoded data required at the time of compression. In the detection processing, a moving area is extracted by selecting only necessary information, focusing on the motion prediction information of the code unit block in the image. For this reason, the resolution to be extracted is set to the size of the coding unit block of each compression method having motion prediction information.
【０００５】さらに、従来の移動領域追跡方式（以下、
第３の検出方式）として、検出処理と並んで過去の検出
の結果を未来のフレームの検出処理に活かす技術があ
る。この技術は、前記第１、第２の検出方式のいずれに
も有効である。前記第１の検出方式では、前フレームの
目標物体の領域とオプティカルフローなどの速度から移
動領域を推定する。前記第２の検出方式では動き予測情
報をもとに移動領域を推定する。これらの方式は過去数
フレームの移動領域の軌跡から未来の予測位置を領域単
位で推定し、推定結果を次フレームの検出処理判定に利
用する。Further, a conventional moving area tracking method (hereinafter, referred to as a moving area tracking method)
As a third detection method), there is a technique in which a result of a past detection is utilized in a detection process of a future frame along with the detection process. This technique is effective for both the first and second detection methods. In the first detection method, the moving area is estimated from the area of the target object in the previous frame and the speed of the optical flow or the like. In the second detection method, a moving area is estimated based on motion prediction information. In these methods, a future predicted position is estimated in units of regions from the trajectories of the moving regions in the past several frames, and the estimation result is used for the detection processing determination of the next frame.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、前記し
た第１〜３の検出方式には次のような問題がある。動画
像は非常に広い信号帯域を持ち膨大なデータ量を必要と
するので、一般的に動画像は圧縮された形で記録や伝送
に広く利用されている。したがって、１フレームの復号
処理の後、初めて画素領域での移動領域検出処理が施さ
れる第１の検出方式では、本来の移動領域検出処理のコ
ストに加えて、動画像の復号処理という大きなコストを
必要とする問題がある。However, the first to third detection methods have the following problems. Since moving images have a very wide signal band and require a large amount of data, moving images are generally widely used in a compressed form for recording and transmission. Therefore, in the first detection method in which the moving area detection processing in the pixel area is performed for the first time after the decoding processing of one frame, the large cost of decoding the moving image in addition to the cost of the original moving area detection processing. There is a problem that requires.
【０００７】一方、前記の第２の検出方式は、移動領域
の判定に、動き補償をなす動き予測情報の有無を利用し
ている。したがって、復号処理過程が省略でき検出処理
も高速に実行できる。しかし、実際の動画像には環境光
の煌き、散乱、大気の揺らぎなどの要因によって、圧縮
過程においては本来静止した背景領域であってもその変
化に動きベクトルが割り当てられることがある。特に画
素が均一な領域においてはこの影響が大きく、静止領域
を移動領域と誤認識するなど検出精度が劣るという問題
がある。On the other hand, the above-mentioned second detection method utilizes the presence or absence of motion prediction information for performing motion compensation in determining a moving area. Therefore, the decoding process can be omitted, and the detection process can be executed at high speed. However, in an actual moving image, a motion vector may be assigned to a change even in an originally stationary background area in the compression process due to factors such as glittering and scattering of ambient light and fluctuation of the atmosphere. In particular, this effect is large in a region where pixels are uniform, and there is a problem that detection accuracy is poor, such as erroneously recognizing a still region as a moving region.
【０００８】また、前記の第３の検出方式には、符号化
データ領域での追跡処理において、移動物体の軌跡は重
心の軌跡や領域内動きベクトルの平均から求める方法が
ある。しかし、重心の軌跡では、移動物体が小さな場
合、ブロック数の僅かな増減で重心が大きく変動する可
能性がある。また、単純な動きベクトル平均の場合、平
坦部における動き予測情報のように信頼性の低い情報の
影響も受けるという問題がある。In the third detection method, there is a method in which the trajectory of the moving object is obtained from the trajectory of the center of gravity or the average of the motion vectors in the area in the tracking processing in the encoded data area. However, in the locus of the center of gravity, when the moving object is small, the center of gravity may greatly fluctuate by a small increase or decrease in the number of blocks. In addition, in the case of simple motion vector averaging, there is a problem that information having low reliability such as motion prediction information in a flat portion is also affected.
【０００９】本発明の目的は、前述した従来技術の問題
点を解消し、圧縮された符号化データそのもの、または
その一部だけを復号した情報から、移動物体を高速かつ
高精度に検出および追跡できる移動物体検出追跡装置を
提供することにある。SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problems of the prior art and detect and track a moving object at high speed and with high accuracy from compressed encoded data itself or information obtained by decoding only a part thereof. It is an object of the present invention to provide a moving object detection and tracking device capable of performing the above-mentioned operations.
【００１０】[0010]
【課題を解決するための手段】前記した目的を達成する
ために、本発明は、圧縮された動画像のデータを入力と
し、該動画像のデータに移動領域情報を付加して出力す
る動画像内の移動物体検出追跡装置において、動き予測
された領域の位置情報を基に、移動物体の検出処理対象
ブロックを設定する検出対象設定部と、該検出対象設定
手段によって設定された検出処理対象ブロックが移動領
域に属するか否かを検出する移動領域検出部と、該移動
領域検出手段で検出された移動領域から、該移動領域全
体の動きを予測する領域動き予測部とを具備した点に特
徴がある。SUMMARY OF THE INVENTION In order to achieve the above-mentioned object, the present invention provides a moving picture which receives compressed moving picture data, adds moving area information to the moving picture data, and outputs the moving picture data. In the moving object detection and tracking apparatus, a detection target setting unit that sets a detection processing target block of a moving object based on the position information of the region where motion is predicted, and a detection processing target block set by the detection target setting unit Characterized in that it comprises a moving area detecting section for detecting whether or not a moving area belongs to a moving area, and an area motion estimating section for estimating the motion of the entire moving area from the moving area detected by the moving area detecting means. There is.
【００１１】この発明によれば、圧縮符号化された動画
像データを部分的に復号することに加え、移動物体の検
出処理の対象を動き予測された領域の位置情報を基に設
定し、該設定されたブロックにつき移動領域に属するか
否かを検出するようにしたので、従来の画素領域の検出
方式（前記第１の検出方式）に対しては無論のこと、符
号データ領域での検出方式（前記第２の検出方式）と比
較しても、はるかに処理コストを抑えることができるよ
うになる。According to the present invention, in addition to partially decoding the compression-encoded moving image data, a moving object detection process target is set based on position information of a motion predicted area. Since the set block is detected as to whether or not it belongs to the moving area, it is obvious that the conventional pixel area detection method (the first detection method) is used, and the detection method in the code data area. Compared with (the second detection method), the processing cost can be much reduced.
【００１２】[0012]
【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１は、本発明の一実施形態の構成
を示すブロック図である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below in detail with reference to the drawings. FIG. 1 is a block diagram showing the configuration of one embodiment of the present invention.
【００１３】可変長復号部１は、入力してくる動画像の
圧縮符号化データを部分的に復号し、現フレームの符号
化モード情報ｐと、予測誤差情報ａと、動き予測情報ｂ
を出力する。符号化モード情報ｐは検出対象設定部２と
移動領域検出処理部３に送られ、予測誤差情報ａと動き
予測情報ｂは移動領域検出処理部３に送られる。The variable length decoding unit 1 partially decodes the input compressed and encoded data of the moving image, and encodes the encoding mode information p of the current frame, the prediction error information a, and the motion prediction information b.
Is output. The encoding mode information p is sent to the detection target setting unit 2 and the moving area detection processing unit 3, and the prediction error information a and the motion prediction information b are sent to the moving area detection processing unit 3.
【００１４】前記符号化モード情報ｐには、フレーム符
号化モードとブロック符号化モードがあり、フレーム符
号化モードには、フレーム内符号化フレーム（Ｉピクチ
ャ）、順方向予測フレーム（Ｐピクチャ）、双方向予測
フレーム（Ｂピクチャ）の３種類が存在する。一方、ブ
ロック符号化モードには、動き補償と符号化の有無から
分類される、フレーム内符号化ブロック（Intra ）、動
き補償符号化ブロック（MC coded）、フレーム差分符号
化ブロック（no MC coded ）、動き補償ブロック（MC n
o coded ）の４種類が存在する。また、動き予測には、
順方向、逆方向、両方向の３種類が存在する。The coding mode information p includes a frame coding mode and a block coding mode. The frame coding mode includes an intra-coded frame (I picture), a forward prediction frame (P picture), There are three types of bidirectional prediction frames (B pictures). On the other hand, in the block coding mode, an intra-frame coded block (Intra), a motion-compensated coded block (MC coded), and a frame difference coded block (no MC coded) are classified based on the presence or absence of motion compensation and coding. , Motion compensation block (MC n
o coded). Also, for motion prediction,
There are three types: forward, reverse, and both directions.
【００１５】次に、検出対象設定部２は、可変長復号部
１からの符号化モード情報ｐと、領域動き予測部４から
の領域の動き予測位置情報ｑを入力とし、検出対象ブロ
ック位置情報ｒと検出結果を出力する。該検出対象設定
部２の機能を、図２のフローチャート、および図３を参
照して説明する。なお、該検出対象設定部２は、符号化
モード情報ｐ中のブロック符号化モードを用いて処理を
行う。Next, the detection target setting unit 2 receives the coding mode information p from the variable length decoding unit 1 and the motion prediction position information q of the region from the region motion prediction unit 4 as input, and detects the detection target block position information. r and the detection result are output. The function of the detection target setting unit 2 will be described with reference to the flowchart of FIG. 2 and FIG. Note that the detection target setting unit 2 performs processing using the block coding mode in the coding mode information p.
【００１６】領域動き予測部４の詳細な機能は後述する
が、いま検出結果メモリ５から提供された移動領域Ｃ
が、図３(a) のブロックＢ１〜Ｂ５からなる領域である
とすると、領域動き予測部４は該領域Ｃと現在のブロッ
クデータとを比較して、領域Ｃの動き予測ＭＶを用い、
同図(b) に示されているような、領域の動き予測位置情
報ｑを出力する。The detailed function of the area motion prediction unit 4 will be described later, but the moving area C provided from the detection result memory 5 is now described.
Is an area composed of blocks B1 to B5 in FIG. 3A, the area motion prediction unit 4 compares the area C with the current block data, uses the motion prediction MV of the area C,
The motion prediction position information q of the area as shown in FIG.
【００１７】図２のステップＳ２では、例えば同図(b)
の各ブロックが１つずつ、領域の動き予測位置ｑの内縁
部、すなわち該予測位置ｑに完全に覆われているか否か
の判断がなされる。この判断が肯定の時には、移動領域
の時間的連続性から見て当該ブロックは移動物体と判定
し（ステップＳ１０）、ステップＳ８に進む。ステップ
Ｓ８では、検出対象フラグを立てない処理を行う。例え
ば、同図(b) のブロックＢm は移動物体と判定される。
一方、この判断が否定の時には、ステップＳ３に進み、
当該ブロックは領域の動き予測位置ｑの外周部、すなわ
ち該予測位置ｑに一部だけ覆われているか否かの判断が
なされる。例えば同図(b) のブロックＢn 、Ｂn+1 等は
外周部であると判断され、ブロックＢs などは、外周部
にないと判断される。In step S2 of FIG. 2, for example, FIG.
Is determined one by one, whether or not the inner edge of the motion prediction position q of the area, that is, the prediction position q is completely covered. When this determination is affirmative, the block is determined to be a moving object in view of the temporal continuity of the moving area (step S10), and the process proceeds to step S8. In step S8, a process for not setting the detection target flag is performed. For example, the block Bm in FIG. 4B is determined to be a moving object.
On the other hand, when this determination is negative, the process proceeds to step S3,
It is determined whether or not the block is partially covered by the outer peripheral portion of the motion prediction position q of the region, that is, the prediction position q. For example, the blocks Bn, Bn + 1, and the like in FIG. 3B are determined to be the outer peripheral portion, and the block Bs and the like are determined not to be the outer peripheral portion.
【００１８】この判断が肯定の場合にはステップＳ４に
進む。ステップＳ４は符号化モード情報を用いて移動領
域の可能性を判断し、検出判定の処理対象として妥当か
否かを決定する。Ｐピクチャ、Ｂピクチャ内に存在する
Intra ブロックは、移動領域の後ろに隠れていた背景が
現れる場面など動き補償では十分な画質が維持できない
場合に現れることが多いため、検出対象とする。If the determination is affirmative, the process proceeds to step S4. In step S4, the possibility of the moving area is determined using the encoding mode information, and it is determined whether or not the moving area is appropriate as a detection determination processing target. Exist in P picture and B picture
The Intra block is often detected when a sufficient image quality cannot be maintained by motion compensation, such as a scene where a background hidden behind the moving area appears.
【００１９】一方、no MC coded は動き予測情報を持た
ないので移動領域である可能性は低く、検出判定の処理
対象から外すとともに静止領域と決定する。MC no code
d は動きを表す動き予測情報を持つが予測誤差情報を持
たない。予測誤差情報が無いことは該当ブロックがベク
トルの信頼性が低い平坦領域であるか、若しくは完全に
静止した領域で予測誤差情報を必要としないことを示し
ている。よって、予測誤差情報を持たず動き予測情報の
信頼性に乏しいMC no coded は検出判定の処理対象から
外すとともに静止領域と決定する。MC codedは動き予測
情報と予測誤差情報をともに持つので、これを検出対象
とする。On the other hand, since no MC coded has no motion prediction information, it is unlikely that the area is a moving area, and is excluded from the processing for detection determination and is determined as a still area. MC no code
d has motion prediction information indicating motion, but has no prediction error information. The absence of the prediction error information indicates that the corresponding block is a flat area where the reliability of the vector is low, or that the block does not need the prediction error information in a completely stationary area. Therefore, MC no coded, which has no prediction error information and has low reliability of motion prediction information, is excluded from the processing for detection determination and is determined as a still area. Since MC coded has both motion prediction information and prediction error information, this is set as a detection target.
【００２０】ステップＳ４の判断が肯定の時には、ステ
ップＳ５に進んで当該ブロックに検出対象フラグが立て
られる。一方、前記ステップＳ３の判断が否定の時、ま
たは前記ステップＳ４の判断が否定の時、すなわち当該
ブロックのブロック符号化モードがＭＣ no coded また
はno ＭＣ codedの時には、ステップＳ６に進んで静止
領域と判定される。ステップＳ７では、当該ブロックに
検出対象フラグを立てない処理をする。When the determination in step S4 is affirmative, the process proceeds to step S5, where a detection target flag is set in the block. On the other hand, when the determination in step S3 is negative, or when the determination in step S4 is negative, that is, when the block coding mode of the block is MC no coded or no MC coded, the process proceeds to step S6 and the static region is determined. Is determined. In step S7, a process for not setting the detection target flag in the block is performed.
【００２１】ステップＳ９では、１フレームの全部のブ
ロックに対して該検出対象処理が終了したか否かの判断
がなされ、この判断が否定の時にはステップＳ１に戻っ
て、次のブロックに対する処理が行われる。In step S9, it is determined whether or not the detection target process has been completed for all the blocks of one frame. If the determination is negative, the process returns to step S1 to execute the process for the next block. Will be
【００２２】したがって、同図(b) においては、ブロッ
クＢn 、Ｂn+1 等が領域の動き予測位置ｑの外周部にあ
ると判定され、これらのブロックのブロック符号化モー
ドがＭＣ codedまたはIntra であれば、これらのブロッ
クに検出対象フラグが立てられる。そして、これらのブ
ロックは、現フレームにおける移動領域検出対象とし
て、前記移動領域検出処理部３に送られる。具体的に
は、前記ステップＳ５で検出対象フラグが立てられたブ
ロックの位置情報ｒが該移動領域検出処理部３に送られ
る。また、検出対象設定部において移動領域若しくは静
止領域と決定されたブロックについては検出結果表示部
および検出結果メモリへ送る。Accordingly, in FIG. 2B, it is determined that the blocks Bn, Bn + 1, etc. are located at the outer periphery of the motion prediction position q of the area, and the block coding mode of these blocks is MC coded or Intra. If so, a detection target flag is set for these blocks. These blocks are sent to the moving area detection processing unit 3 as moving area detection targets in the current frame. Specifically, the position information r of the block for which the detection target flag has been set in step S5 is sent to the moving area detection processing unit 3. In addition, a block determined as a moving area or a stationary area in the detection target setting unit is sent to the detection result display unit and the detection result memory.
【００２３】次に、前記移動領域検出処理部３の機能
を、図４を参照して説明する。該移動領域検出処理部３
には、可変長復号部１からの符号化モード情報ｐ、予測
誤差情報ａ、および動き予測情報ｂと、検出対象設定部
２からの検出対象ブロック位置情報ｒが入力される。Next, the function of the moving area detection processing section 3 will be described with reference to FIG. The moving area detection processing unit 3
, The coding mode information p, the prediction error information a, and the motion prediction information b from the variable length decoding unit 1 and the detection target block position information r from the detection target setting unit 2 are input.
【００２４】ステップＳ１１では、検出対象ブロック位
置情報ｒが入力したか否かの判断がなされ、この判断が
肯定になると、ステップＳ１２に進んで、ＤＣＴ係数判
定、すなわち、ＤＣＴ係数を用いて、当該ブロックが移
動領域候補に該当するか否かの判定が行われる。この判
定で、当該ブロックが移動領域候補であると判定される
とステップＳ１３に進み、否定と判定されるとステップ
Ｓ１７に進む。ステップＳ１３では、当該ブロックのマ
クロブロックのタイプがＭＣ codedであるか否かの判断
がなされ、この判断が肯定の時にはステップＳ１４に進
み、否定の時にはステップＳ１５に進む。In step S11, it is determined whether or not the detection target block position information r has been input. If the determination is affirmative, the process proceeds to step S12, in which the DCT coefficient is determined, that is, the DCT coefficient is used. It is determined whether or not the block corresponds to a moving area candidate. In this determination, when it is determined that the block is a moving area candidate, the process proceeds to step S13, and when it is determined that the block is not, the process proceeds to step S17. In step S13, it is determined whether or not the macroblock type of the block is MC coded. If the determination is affirmative, the process proceeds to step S14, and if the determination is negative, the process proceeds to step S15.
【００２５】ステップＳ１５では、動きベクトルによ
り、当該ブロックが移動領域候補に該当するか否かの判
定が行われる。この判定で、当該ブロックが移動領域候
補であると判定されると、ステップＳ１５に進み、逆に
静止領域と判定されると、ステップＳ１７に進む。次
に、ステップＳ１５では、空間的相関により、当該ブロ
ックが移動領域候補に該当するか否かの判定が行われ
る。そして、この判定で、当該ブロックが移動領域候補
であると判定されると、ステップＳ１６に進み、当該ブ
ロックは最終的に移動領域候補であると判定される。逆
に該判断が否定になると、ステップＳ１７に進み静止領
域であると判定される。In step S15, it is determined from the motion vector whether the block is a moving area candidate. In this determination, if it is determined that the block is a moving area candidate, the process proceeds to step S15, and if it is determined that the block is a stationary region, the process proceeds to step S17. Next, in step S15, it is determined whether or not the block is a moving area candidate based on spatial correlation. If it is determined in this determination that the block is a moving area candidate, the process proceeds to step S16, and the block is finally determined to be a moving area candidate. Conversely, if the determination is negative, the process proceeds to step S17, where it is determined that the area is the stationary area.
【００２６】ステップＳ１８では、全ての移動領域検出
対象ブロックに対して前記した処理が終わったか否かの
判断が行われ、この判断が否定の時には、ステップＳ１
１に戻って前記と同じ処理が繰り返される。In step S18, a determination is made as to whether or not the above-described processing has been completed for all moving area detection target blocks, and if this determination is negative, step S1 is performed.
Returning to step 1, the same processing as described above is repeated.
【００２７】以上の処理によって得られた処理結果は、
必要に応じて、領域の形状を整形され、検出結果表示部
６に出力されると同時に、検出結果メモリ５に出力され
保存される。The processing result obtained by the above processing is:
If necessary, the shape of the region is shaped and output to the detection result display unit 6, and at the same time, output to the detection result memory 5 and stored.
【００２８】次に、動き予測誤差情報をもとにしたステ
ップＳ１２の詳細を説明する。ここでは、動き予測誤差
情報としてＤＣＴ係数を用いる。移動物体の形状や模様
を表す情報として、ＤＣＴ係数を用いることができる。
しかし、ブロックのＤＣＴ係数そのものを用いた場合、
複雑なテクスチャを持つ領域ならば移動の有無に関わら
ず全て抽出される。動き予測誤差のＤＣＴ係数について
は、動き予測が情報の大半を補償するため複雑な模様を
持った背景が静止している場合、僅かなＤＣＴ係数しか
持たない。従って、動き予測誤差量が大きい場合、移動
領域候補とすることができる。Next, the details of step S12 based on the motion prediction error information will be described. Here, DCT coefficients are used as motion prediction error information. DCT coefficients can be used as information representing the shape or pattern of the moving object.
However, when using the DCT coefficient of the block itself,
All regions having complex textures are extracted regardless of whether or not they have moved. The DCT coefficient of the motion prediction error has only a few DCT coefficients when the background having a complicated pattern is stationary because motion prediction compensates for most of the information. Therefore, when the motion prediction error amount is large, it can be set as a moving area candidate.
【００２９】本判定を満足する場合、動きベクトル相関
判定部へ進む．そうでなければ静止領域とする。具体的
なDCT 係数による判定方法については閾値以上のＤＣＴ
係数の個数やＤＣＴ係数の絶対値和、２乗和などの閾値
処理を用いることができる。また、以下のような方法も
用いることができる。図５(a) に示されるようにＤＣＴ
係数部分和判定はＤＣ成分を除く低周波寄りのＡＣ成分
の部分和を判定基準に用いて、有意な誤差情報を持つ領
域を候補領域として絞り込む。ここでいう低周波寄りの
ＡＣ成分とは予測誤差情報においてジグザグスキャンな
ど符号化スキャンオーダーで1 番目からthr １番目まで
のＤＣＴ係数情報を指す。このＡＣ成分はフレームｉの
ブロックｊにおける動き補償による差分値Ｃi,j,z (0
≦z ≦63) である。このとき、図１１の式(1) を満たす
ことを判定基準とする。また、判定に用いる閾値thr ２
はフレーム符号化モード別に設定する。If this determination is satisfied, the operation proceeds to the motion vector correlation determination section. Otherwise, it is a static area. For a specific method using the DCT coefficient,
Threshold processing such as the number of coefficients or the sum of the absolute values of DCT coefficients and the sum of squares can be used. Also, the following method can be used. As shown in FIG.
In the coefficient partial sum determination, a region having significant error information is narrowed down as a candidate region using a partial sum of AC components closer to a low frequency excluding a DC component as a determination criterion. Here, the AC component closer to the lower frequency refers to DCT coefficient information from the first to thr first in an encoding scan order such as a zigzag scan in the prediction error information. This AC component is a difference value Ci, j, z (0
≦ z ≦ 63). At this time, the criterion is to satisfy Expression (1) in FIG. Also, the threshold thr 2 used for the determination
Is set for each frame encoding mode.
【００３０】この判断が肯定の時には、当該ブロックは
有意な誤差情報をもつ領域であるので、ステップＳ３２
に進んで移動領域候補とする。一方、該判定が否定の時
には、ステップＳ３３に進んで静止領域のブロックであ
ると判定する。なお、ＡＣ成分は、動き補償による差分
値であり、前記閾値はフレーム符号化モード別に設定す
る。When the determination is affirmative, the block is an area having significant error information, and therefore, the process proceeds to step S32
To move to the moving area candidate. On the other hand, if the determination is negative, the process proceeds to step S33 to determine that the block is a block in the still area. Note that the AC component is a difference value due to motion compensation, and the threshold is set for each frame coding mode.
【００３１】次に、前記ステップＳ１４の動きベクトル
判定の詳細を、図６(a) 〜(d) を参照して説明する。ス
テップＳ４１では、当該ブロックの動きベクトル（Ｍ
Ｖ）の長さが予め定められた閾値以上であるか否かの判
断を行う（同図(b) 参照）。長さの短い動きベクトル
は、様々な外乱によるノイズベクトルと考えられるの
で、該長さの短い動きベクトルをもつブロックは静止領
域とする。Next, the details of the motion vector determination in step S14 will be described with reference to FIGS. 6 (a) to 6 (d). In step S41, the motion vector (M
It is determined whether or not the length of V) is equal to or greater than a predetermined threshold (see FIG. 4B). Since a motion vector having a short length is considered to be a noise vector due to various disturbances, a block having a motion vector having a short length is a stationary area.
【００３２】動きベクトル長が閾値以上の場合は空間的
判定部に進む。ここで、移動領域の動きベクトルは参照
フレームと入力フレーム間距離におおよそ比例する．し
たがって，フレーム間距離に応じた閾値処理で移動領域
候補を決定することができる。例えば，ベクトル長を判
定する閾値は参照フレームまでの時間的距離によって変
化させ、Ｉピクチャ若しくはＰピクチャが出力される時
点で初期の閾値に再設定する。フレームｉにおけるブロ
ックｊの順方向動きベクトルと逆方向動きベクトルをそ
れぞれｆｍｖi,j とｂｍｖi,j とし、入力フレームから
順方向参照フレームまでの距離をｕi 、Ｐピクチャ間隔
をｍ、初期閾値をthr ３とすると、例えば移動領域候補
の決定に下記の式(2) 、式(3) のような判別式を用いる
ことができる。但し、｜｜はユークリッドノルムを表
す。 ｜ｆｍｖi,j ｜≧ｕi ・thr ３ …(2) ｜ｂｍｖi,j ｜≧（ｍ−ｕi ）・thr ３ …(3)If the length of the motion vector is equal to or larger than the threshold value, the process proceeds to the spatial judgment section. Here, the motion vector of the moving area is approximately proportional to the distance between the reference frame and the input frame. Therefore, a moving area candidate can be determined by threshold processing according to the inter-frame distance. For example, the threshold for determining the vector length is changed according to the temporal distance to the reference frame, and is reset to the initial threshold when an I picture or a P picture is output. The forward and backward motion vectors of block j in frame i are fmvi, j and bmvi, j, respectively, the distance from the input frame to the forward reference frame is ui, the P picture interval is m, and the initial threshold is thr 3 Then, for example, a discriminant such as the following Expression (2) or Expression (3) can be used to determine the moving area candidate. Where || represents the Euclidean norm. | Fmvi, j | ≧ ui · thr 3 (2) | bmvi, j | ≧ (m−ui) · thr 3 (3)
【００３３】入力ブロックが双方向予測ベクトルの場
合、順方向予測、逆方向予測ベクトルについて双方のベ
クトル長を検証する。両方の式の成立を持って移動領域
候補とする。そうでなければ、背景領域と決定する。片
方向予測の場合、順方向予測、逆方向予測ベクトルいず
れかのみについて検証する。条件を満足するとき、動き
ベクトルは十分な長さを保有していると判断し次の判定
処理に移る。そうでなければ、静止領域と判定する。When the input block is a bidirectional prediction vector, the vector lengths of both the forward prediction and the backward prediction vector are verified. A moving area candidate is determined when both equations are satisfied. Otherwise, it is determined as a background area. In the case of unidirectional prediction, only one of the forward prediction and the backward prediction vector is verified. When the condition is satisfied, it is determined that the motion vector has a sufficient length, and the process proceeds to the next determination process. Otherwise, it is determined that the area is a stationary area.
【００３４】次に、ステップＳ４２では、当該ブロック
が双方向予測ブロックであるか否かの判断がなされる。
この判断が肯定の場合にはステップＳ４３に進み、否定
の場合にはステップＳ４４に進む。双方向予測ブロック
は２つの動き予測ベクトルを内包する。短時間での移動
領域の動きを線形と仮定すると、２つの動き予測ベクト
ルが示す向きは互いに反対方向となるため，判定Ｓ４３
では順方向と逆方向を指すベクトルの角度を調査する。
２つのベクトルの方向を調べる方法としては下記の式
(4) のように内積値を用いる方法を使用する。thr ４は
２つのベクトルが作る角度の閾値を設定する。式４を満
たせば動きベクトル間の相関が高いと判断し、時間相関
判定へ進む。そうでなければ静止領域と決定する。 ｆｍｖi,j ・ｂｍｖi,j ／｜ｆｍｖi,j ｜・｜ｂｍｖi,j ｜≦cos(thr ４) … (4)Next, in step S42, it is determined whether or not the block is a bidirectional prediction block.
If the determination is affirmative, the process proceeds to step S43, and if the determination is negative, the process proceeds to step S44. The bidirectional prediction block contains two motion prediction vectors. Assuming that the motion of the moving area in a short time is linear, the directions indicated by the two motion prediction vectors are opposite to each other.
Let's investigate the angles of vectors pointing in the forward and reverse directions.
To find the direction of two vectors,
Use the method using the inner product value as in (4). thr 4 sets a threshold value of the angle formed by the two vectors. If Expression 4 is satisfied, it is determined that the correlation between the motion vectors is high, and the process proceeds to the time correlation determination. Otherwise, it is determined as a still area. fmvi, j · bmvi, j / | fmvi, j | · | bmvi, j | ≦ cos (thr 4) (4)
【００３５】ステップＳ４３では、双方向予測におい
て、順方向と逆方向を指すベクトルの角度θが予め定め
られた閾値以上であるか否かを判断し（同図(c) 参
照）、閾値以上のブロックは移動領域候補とし、該閾値
より小さい場合は静止領域であると判断する。In step S43, in bidirectional prediction, it is determined whether or not the angle θ of the vector pointing in the forward direction and the backward direction is equal to or greater than a predetermined threshold (see FIG. 9C). A block is a moving area candidate, and if it is smaller than the threshold, it is determined that the block is a still area.
【００３６】次に、ステップＳ４４では、動きベクトル
ＭＶの時間的変化率がフレーム間距離に比例するか否か
の判断をする（同図(d) 参照）。物体の移動は、局所的
には、線形移動であると仮定し、現ブロックが参照する
領域の動き予測情報と、現ブロックの動き予測情報の時
間的な相関があるブロックを、移動領域候補として選択
する。双方向予測ブロックについては、前方予測、後方
予測ベクトルと、参照フレーム間の動きベクトルとの時
間的相関を調査し、時間的相関があるブロックを、移動
領域候補として選択する。Next, in step S44, it is determined whether or not the temporal change rate of the motion vector MV is proportional to the inter-frame distance (see FIG. 4D). The movement of the object is locally assumed to be a linear movement, and the motion prediction information of the area referred to by the current block and the block having a temporal correlation between the motion prediction information of the current block are used as moving area candidates. select. For the bidirectional prediction block, the temporal correlation between the forward prediction and backward prediction vectors and the motion vector between the reference frames is examined, and a block having a temporal correlation is selected as a moving area candidate.
【００３７】もし、動きベクトルに時間的相関が存在し
ないならば、そのブロックは静止領域と決定する。そう
でなければ，動きベクトル情報に関して移動領域と判定
する。時間的相関を判定する一例を図６(d) に示す。図
６(d) は参照フレームにある同じ移動領域を指す動きベ
クトル同士はその長さがフレーム間距離に比例すること
を利用している。現フレームｉのブロックｊに対して，
比較対象となるフレームk における比較対象ブロックを
Ｉとしたとき、閾値THR ５で抑えられる式(5)、式(6)
を時間相関の判別式とする。ここで、ブロックＩの決定
法については後述するが、ブロックｊとＩはそれぞれの
フレームにおいて同じ移動物体に相当する。入力ブロッ
クが双方向予測ベクトルの場合、順方向予測、逆方向予
測ベクトルについて時間的相関を検証する。両方の式の
成立を持って移動領域候補とする。そうでなければ、静
止領域とする．片方向予測の場合、順方向予測、逆方向
予測ベクトルいずれかのみで判断する。 ｜ｕk ・ｆｍｖi,j −ｕi ・ｆｍｖk,l ｜≦thr ５ …(5) ｜（ｍ−ｕk ）・ｂｍｖi,j −（ｍ−ｕi ）・ｂｍｖk,j ｜≦thr ５ …(6)If there is no temporal correlation in the motion vector, the block is determined as a still area. Otherwise, it is determined that the motion vector information is a moving area. FIG. 6D shows an example of determining the temporal correlation. FIG. 6 (d) utilizes that the length of motion vectors pointing to the same moving area in the reference frame is proportional to the inter-frame distance. For block j of the current frame i,
When the comparison target block in the frame k to be compared is I, Expressions (5) and (6) that can be suppressed by the threshold value THR5
Is the discriminant of the time correlation. Here, although the method of determining the block I will be described later, the blocks j and I correspond to the same moving object in each frame. If the input block is a bidirectional prediction vector, the temporal correlation is verified for forward prediction and backward prediction vectors. A moving area candidate is determined when both equations are satisfied. Otherwise, it is a static area. In the case of unidirectional prediction, the determination is made based on only one of the forward prediction vector and the backward prediction vector. | Uk · fmvi, j−ui · fmvk, l | ≦ thr 5 (5) | (m−uk) · bmvi, j− (m−ui) · bmvk, j | ≦ thr 5 (6)
【００３８】比較対象となるフレームk の選択について
は自由度が存在する。例えばフレームｋをフレームｉの
直前のフレーム（ｉ−１）とする。但し、フレームｋが
ＩピクチャやＰピクチャの場合は、フレームｉの参照フ
レームとフレームｋの参照フレームが異なるので、未来
の参照フレーム（ｉ−１＋ｍ）を比較対象フレームｋと
する。フレームｋ内の比較対象ブロックＩは、図６(e)
に示すように参照フレームまでの距離の比で現在の動き
ベクトルを内分した場所を占めるブロックとする。判別
式を満足する場合、ブロックｊ、ブロックＩの動きベク
トル長の比が参照フレームまでの距離の比に近く、信頼
性が高い動き予測情報と判断する。そうでなければ、信
頼性の低い動き予測情報と判断し、そのブロックは静止
領域とする。There is a degree of freedom in selecting the frame k to be compared. For example, let frame k be frame (i-1) immediately before frame i. However, if the frame k is an I-picture or a P-picture, the reference frame of the frame i is different from the reference frame of the frame k, so the future reference frame (i-1 + m) is set as the comparison target frame k. The comparison target block I in the frame k is shown in FIG.
As shown in (1), the block occupies a position where the current motion vector is internally divided by the ratio of the distance to the reference frame. If the discriminant is satisfied, the ratio of the motion vector lengths of the block j and the block I is close to the ratio of the distance to the reference frame, and it is determined that the motion prediction information has high reliability. Otherwise, it is determined that the motion prediction information has low reliability, and the block is set as a still area.
【００３９】また、Ｂピクチャが存在しない符号化方式
では、連続するＰピクチャにおいて各動きベクトルが直
前の参照フレームの動き予測情報量と類似する。このよ
うな場合、直前のＰピクチャの動きベクトルとの相関を
調査することができる。例えば、下記の式(7) のように
直前のＰピクチャの動きベクトルと現ブロックの絶対差
分値を用いて相関を調査する． ｜ｆｍｖi,j −ｆｍｖi-1,I ｜≦thr ６In an encoding method in which no B picture exists, in a continuous P picture, each motion vector is similar to the motion prediction information amount of the immediately preceding reference frame. In such a case, the correlation with the motion vector of the immediately preceding P picture can be investigated. For example, the correlation is investigated using the motion vector of the immediately preceding P picture and the absolute difference value of the current block as in the following equation (7). | Fmvi, j −fmvi-1, I | ≦ thr 6
【００４０】次に、前記ステップＳ１５の空間的相関判
定の詳細を、図７を参照して説明する。図７(a) は同一
領域生成部をフローチャートで表したものであり、該フ
ローチャートで空間的な相関関係を調べる。入力情報は
符号化モード情報，動き予測情報，予測誤差情報，移動
領域候補情報から構成される。まず、入力情報は同一領
域生成部に移り、同一領域を形成する。Next, the details of the spatial correlation determination in step S15 will be described with reference to FIG. FIG. 7A is a flowchart showing the same area generating unit, and a spatial correlation is examined in the flowchart. The input information includes coding mode information, motion prediction information, prediction error information, and moving area candidate information. First, the input information is transferred to the same area generation unit to form the same area.
【００４１】図７(a) の符号化モード判定（ステップＳ
５１）では、MC codedとIntra を調べる。MC codedの場
合、ベクトル長判定（ステップＳ５２）へ進み、Intra
の場合はＤＣ判定（ステップＳ５４）へ進む。動きベク
トル長判定では、近傍の移動領域候補ブロックに対して
式(8) 、式(9) で動きベクトル長の類似性を判定する。
入力ブロックが双方向予測ベクトルの場合、順方向予
測、逆方向予測ベクトルについて双方のベクトル長を検
証する。両方の式が成立する場合、動きベクトル角度判
定（ステップＳ５３）へ進む。そうでなければ同一領域
でないと決定する（ステップＳ５６）。片方向予測の場
合には、順方向予測、逆方向予測ベクトルいずれかのみ
について検証する。もしブロックｊとブロックｎが持つ
ベクトル長の差が閾値以下ならば動きベクトル角度判定
（ステップＳ５３）へ進む．そうでなければ、同一領域
ではないと決定する（ステップＳ５６）。例えば、近傍
ブロックｎは入力ブロックｊを中心とした周囲８ブロッ
クを指す。 ｜ｆｍｖi,j ｜−｜ｆｍｖi,n ｜≦thr ７ …(8) ｜ｂｍｖi,j ｜−｜ｂｍｖi,n ｜≦thr ７ …(9)The encoding mode determination shown in FIG.
In 51), MC coded and Intra are checked. In the case of MC coded, the process proceeds to the vector length determination (step S52), and Intra
In the case of, the process proceeds to DC determination (step S54). In the motion vector length determination, the similarity of the motion vector length is determined for the nearby moving area candidate block by using Expressions (8) and (9).
When the input block is a bidirectional prediction vector, the vector lengths of both the forward prediction vector and the backward prediction vector are verified. If both equations hold, the process proceeds to the motion vector angle determination (step S53). Otherwise, it is determined that the areas are not the same area (step S56). In the case of unidirectional prediction, only one of the forward prediction and the backward prediction vector is verified. If the difference between the vector lengths of the blocks j and n is equal to or smaller than the threshold value, the process proceeds to the motion vector angle determination (step S53). Otherwise, it is determined that they are not the same area (step S56). For example, the neighborhood block n indicates eight blocks around the input block j. | Fmvi, j | − | fmvi, n | ≦ thr 7 (8) | bmvi, j | − | bmvi, n | ≦ thr 7 (9)
【００４２】動きベクトル角度判定（ステップＳ５３）
では近傍の移動領域候補ブロックに対して式(10)、式(1
1)で角度の類似性を判定する。入力ブロックが双方向予
測ベクトルの場合、順方向予測、逆方向予測ベクトルに
ついて双方のベクトル角度を検証する。片方向予測の場
合、順方向予測、逆方向予測ベクトルいずれかのみにつ
いて検証する。もしブロックｊとブロックｎのベクトル
が作る角度が閾値以下ならば、ＤＣ成分判定（ステップ
Ｓ５４）へ移る。そうでなければ、同一領域ではないと
決定する。 ｆｍｖi,j ・ｆｍｖi,n ／｜ｆｍｖi,j ｜・｜ｆｍｖi,n ｜≦cos(thr8) …(10) ｂｍｖi,j ・ｂｍｖi,n ／｜ｂｍｖi,j ｜・｜ｂｍｖi,n ｜≦cos(thr8) …(11)Determination of motion vector angle (step S53)
Then, Equations (10) and (1)
The similarity of angles is determined in 1). If the input block is a bidirectional prediction vector, the vector angles of both forward prediction and backward prediction vectors are verified. In the case of unidirectional prediction, only one of the forward prediction and the backward prediction vector is verified. If the angle formed by the vector of the block j and the block n is equal to or smaller than the threshold, the process proceeds to the DC component determination (step S54). Otherwise, it is determined that the areas are not the same. fmvi, j · fmvi, n / | fmvi, j | · | fmvi, n | ≦ cos (thr8) (10) bmvi, j · bmvi, n / | bmvi, j | · | bmvi, n | ≦ cos ( thr8)… (11)
【００４３】ＤＣ成分判定（ステップＳ５４）ではＤＣ
Ｔ係数ＤＣ成分の類似性を判定する。但し、ＤＣＴ係数
の類似度判定には動き補償後の差分値ではなく本来のＤ
ＣＴ係数にて判定を行う。ＤＣ成分は参照フレームｋに
おける参照ブロックＩのＤＣ成分Ｃk,j,0 と予測誤差Ｄ
Ｃ成分Ｃi,j,0 を足すことで求める．もし式(12)で示す
近傍ブロックｎとのＤＣ成分の差が閾値thr ９以下なら
ば同一領域と決定し（ステップＳ５５）、そうでなけれ
ば同一領域ではないと決定する。ここで、ブロックｓは
ブロックｎの近傍ブロックである。 ｜（Ｃi,j,0 ＋Ｃk,I,0 ）−（Ｃi,n,0 ＋Ｃk,s,0 ）｜≦thr ９ …(12)In the DC component determination (step S54), the DC
The similarity of the T coefficient DC component is determined. However, the similarity determination of the DCT coefficient is not the difference value after the motion compensation but the original DT coefficient.
The determination is made based on the CT coefficient. The DC component is the DC component Ck, j, 0 of the reference block I in the reference frame k and the prediction error D
It is obtained by adding the C component Ci, j, 0. If the difference of the DC component from the neighboring block n represented by the equation (12) is equal to or smaller than the threshold thr 9, the area is determined to be the same (step S55). Otherwise, it is determined that the area is not the same. Here, the block s is a block near the block n. | (Ci, j, 0 + Ck, I, 0)-(Ci, n, 0 + Ck, s, 0) | ≤thr9 ... (12)
【００４４】全ての移動領域候補ブロックにおいて、十
分な類似性を持つブロック同士を同一移動領域と判定し
互いに結合する（ステップＳ５７）。同時に結合情報を
同一移動領域情報として出力する。In all the moving area candidate blocks, blocks having sufficient similarity are determined to be the same moving area and are combined with each other (step S57). At the same time, the combination information is output as the same moving area information.
【００４５】図７(a) から求められた同一領域情報は、
図１０の空間相関判定に入力される（ステップＳ６
１）。この判定は移動領域の空間的相関を検証する。同
一領域を形成するブロック数が閾値よりも小さな領域は
近傍に類似ブロックが存在しない孤立ブロックである。
よって、もし領域ブロック数が閾値以下の空間的な相関
が乏しいブロックならば（ステップＳ６２の判断が否
定）、静止領域とする（ステップＳ６４）。そうでなけ
れば（ステップＳ６２の判断が肯定）、移動領域候補と
する（ステップＳ６３）。The same area information obtained from FIG.
Input to the spatial correlation determination in FIG. 10 (step S6)
1). This determination verifies the spatial correlation of the moving area. An area in which the number of blocks forming the same area is smaller than the threshold value is an isolated block in which no similar block exists in the vicinity.
Therefore, if the number of area blocks is equal to or less than the threshold value and the spatial correlation is poor (negative in step S62), the block is set as a static area (step S64). If not (the judgment in step S62 is affirmative), it is determined as a moving area candidate (step S63).
【００４６】全ての移動領域検出対象ブロックに対する
処理が終了すると（ステップＳ６５）、検出処理結果は
検出結果表示部６に出力すると同時に、この結果を未来
のフレームにおける検出に利用するため、検出結果メモ
リ５にも出力し記録する。When the processing for all the moving area detection target blocks is completed (step S65), the detection processing result is output to the detection result display unit 6, and at the same time, the result is used for detection in a future frame. 5 is also output and recorded.
【００４７】例えば、図７(b) に矢示されているような
各ブロックごとの動きベクトルがあった場合、移動領域
候補ブロックＢ１〜Ｂ５に対して、隣接ブロックの動き
ベクトルの長さと角度、ＤＣＴ係数ＤＣ成分の相関を調
べて、近傍のブロックとの連結度合いを計算する。これ
をもとに類似した角度と長さの動きベクトルをもつブロ
ックを統合して同一領域を形成し、これを移動物体領域
を決定する。For example, when there is a motion vector for each block as indicated by an arrow in FIG. 7B, the length and angle of the motion vector of the adjacent block are determined for the moving area candidate blocks B1 to B5. The correlation of the DCT coefficient DC component is checked, and the degree of connection with the neighboring block is calculated. Based on this, blocks having motion vectors having similar angles and lengths are integrated to form the same area, and this is determined as a moving object area.
【００４８】次に、前記領域動き予測部４（図１参照）
の機能を説明する。領域動き予測部４では、領域毎の動
き予測を行い、未来のフレームでの領域の出現位置を予
測する。移動物体の形状は局所時間ではほぼ同一と仮定
して、直前のフレームにおける移動物体判定結果を用い
て移動物体の追跡に利用する。Next, the area motion prediction section 4 (see FIG. 1)
The function of will be described. The region motion prediction unit 4 performs motion prediction for each region, and predicts the appearance position of the region in a future frame. Assuming that the shape of the moving object is substantially the same in the local time, the moving object is used for tracking the moving object by using the moving object determination result in the immediately preceding frame.
【００４９】図８(a) 、(b) 、(c) は、検出処理で求め
られた領域全体の動きを予測する方法を表している。領
域動き予測部４（図１参照）への入力情報は、同図(b)
に示されているような、移動領域検出処理部３の出力で
ある移動領域の構成情報である。FIGS. 8 (a), 8 (b) and 8 (c) show a method of predicting the motion of the entire area obtained by the detection processing. The input information to the area motion prediction unit 4 (see FIG. 1) is shown in FIG.
Is the configuration information of the moving area, which is the output of the moving area detection processing unit 3 as shown in FIG.
【００５０】領域毎の動き予測の推定は次のように行
う。領域全体の動き予測はテクスチャを表すＤＣＴ係数
のパワーを反映させる。テクスチャを持たない平坦領域
では動きベクトルが物体の動きを正確に捉えることが困
難なので、ＤＣＴ係数のパワーを動きベクトルの信頼性
の基準とすることができる。よって、入力情報の予測誤
差情報をもとにＤＣＴ係数のパワーに応じて動きベクト
ルを重み付け平均して領域全体の動きを求める（ステッ
プＳ７１）。ここで、重み計算部は重みｗi,j のパワー
表現にはＤＣＴ係数の絶対値和、２乗和、閾値以上の個
数等の情報を利用することが可能である。例えば、図１
１の式(13)にＤＣＴ係数の絶対値和を重み係数とした具
体式を示す。ここで、thr １は式(1) にてＤＣＴ係数の
低周波と高周波の分離に用いた閾値である。The estimation of the motion prediction for each area is performed as follows. Motion prediction for the entire region reflects the power of the DCT coefficients representing the texture. Since it is difficult for a motion vector to accurately capture the motion of an object in a flat region having no texture, the power of the DCT coefficient can be used as a reference for the reliability of the motion vector. Therefore, based on the prediction error information of the input information, the motion vector is weighted and averaged in accordance with the power of the DCT coefficient to obtain the motion of the entire area (step S71). Here, the weight calculation unit can use information such as the sum of absolute values of DCT coefficients, the sum of squares, and the number of DCT coefficients equal to or larger than a threshold for the power expression of the weights wi, j. For example, FIG.
Expression (13) of Expression 1 shows a specific expression using the sum of absolute values of DCT coefficients as a weight coefficient. Here, thr 1 is a threshold value used for separating the low frequency and the high frequency of the DCT coefficient in Expression (1).
【００５１】重み計算部で求められた重み情報は動きベ
クトル計算部へ進む。重み情報に対して動きベクトル計
算部では、重み計算部で求めた重み係数ｗi,j を用いて
動きベクトルの重み付け平均を求める（ステップＳ７
２）。ある移動領域Ｒ全体の動き予測ベクトルをｆｍｖ
R 、ｂｍｖR とするとき、それぞれ、図１１の式(14)、
式(15)にて求める。この計算結果はスケーリング部へ移
る。The weight information obtained by the weight calculator proceeds to the motion vector calculator. With respect to the weight information, the motion vector calculation unit obtains a weighted average of the motion vectors using the weight coefficient wi, j obtained by the weight calculation unit (step S7).
2). The motion prediction vector of a certain moving region R is fmv
R and bmvR, respectively, Equation (14) in FIG.
It is calculated by equation (15). This calculation result is transferred to the scaling unit.
【００５２】スケーリング部では領域全体の動き予測ベ
クトルをフレーム間距離情報でスケーリング補正を行
い、次フレームでの存在場所を示す動き予測位置情報と
する（ステップＳ７３）。次フレームでの予測ベクトル
ｍｖR は、移動領域Ｒ内に逆方向動き予測情報の重み付
け平均ｂｍｖR が存在する場合は式(16)から求める。一
方、移動領域Ｒ内に逆方向動き予測情報が無い場合やＰ
ピクチャの場合は、順方向動き予測情報の重み付け平均
ｆｍｖR を反転して式(17)から求める。Ｉピクチャでは
直前のフレームでの動きを保持する。この領域毎の動き
予測情報は前述の検出対象設定部に出力される。 ｍｖR ＝ｂｍｖR ／（ｍ−ｕi ） …(16) ｍｖR ＝−ｆｍｖR ／ｕi …(17)The scaling unit performs scaling correction on the motion prediction vector of the entire area using the inter-frame distance information to obtain motion prediction position information indicating a location in the next frame (step S73). The prediction vector mvR in the next frame is obtained from Expression (16) when the weighted average bmvR of the backward motion prediction information exists in the moving area R. On the other hand, when there is no backward motion prediction information in the moving area R, or when P
In the case of a picture, the weighted average fmvR of the forward motion prediction information is inverted and obtained from equation (17). In the I picture, the motion in the immediately preceding frame is held. The motion prediction information for each area is output to the detection target setting unit described above. mvR = bmvR / (m-ui) (16) mvR = -fmvR / ui (17)
【００５３】[0053]
【発明の効果】以上の説明から明らかなように、本発明
によれば、圧縮符号化された動画像データを部分的に復
号することに加え、移動領域検出処理の対象を動き予測
情報と予測誤差情報の両方を備えたブロックに限定する
ことにより、従来の画素領域の検出方式（前記第１の検
出方式）に対しては無論のこと、符号データ領域での検
出方式（前記第２の検出方式）と比較してもはるかに処
理コストを抑えることが可能となる。As is apparent from the above description, according to the present invention, in addition to partially decoding the compression-encoded moving image data, the object of the moving area detection processing is the motion prediction information and the prediction. By limiting the block to a block having both of the error information, the detection method in the coded data area (the second detection method), as a matter of course with respect to the conventional pixel area detection method (the first detection method). Method), the processing cost can be much reduced.
【００５４】また、過去の検出処理結果をもとに検出処
理対象を限定するようにしたので、効果的に処理コスト
の削減を達成することができる。また、過去からの処理
結果情報は時間的な連続性を維持し、検出結果を再生画
像と重ね合わせて確認するとき自然な形状を保証するこ
とができる。Further, since the detection processing target is limited based on the past detection processing result, the processing cost can be effectively reduced. Further, the processing result information from the past can maintain temporal continuity, and a natural shape can be guaranteed when the detection result is checked by being superimposed on the reproduced image.
【００５５】また、本発明によれば、過去における移動
領域の動き予測を、動き予測情報の信頼性を考慮した重
み付け動き予測ベクトルに求めるようにしたので、移動
領域を確実に追跡することができる。この結果、調査対
象のブロック数やフレームを大幅に削減しても、検出精
度を劣化させずに移動物体検出を行うことができるよう
になる。つまり、本発明方式は検出判定の適用範囲を必
要最小限に抑えることができるため、圧縮符号化データ
上での移動領域抽出の高速性をさらに活かすことが可能
である。Further, according to the present invention, since the motion prediction of the past moving area is obtained from the weighted motion prediction vector in consideration of the reliability of the motion prediction information, the moving area can be reliably tracked. . As a result, even if the number of blocks to be investigated and the number of frames are significantly reduced, the moving object can be detected without deteriorating the detection accuracy. In other words, the method of the present invention can minimize the applicable range of the detection determination, so that it is possible to further utilize the high-speed extraction of the moving area on the compressed and encoded data.
【図１】 本発明の一実施形態の概略の構成を示すブロ
ック図である。FIG. 1 is a block diagram showing a schematic configuration of an embodiment of the present invention.
【図２】 図１の検出対象設定部の動作を示すフローチ
ャートである。FIG. 2 is a flowchart illustrating an operation of a detection target setting unit in FIG. 1;
【図３】 図１の検出対象設定部の動作の説明図であ
る。FIG. 3 is an explanatory diagram of an operation of a detection target setting unit in FIG. 1;
【図４】 図１の移動領域検出処理部の動作を示すフロ
ーチャートである。FIG. 4 is a flowchart illustrating an operation of a moving area detection processing unit in FIG. 1;
【図５】 図４のステップＳ１２の詳細説明図である。FIG. 5 is a detailed explanatory diagram of step S12 in FIG. 4;
【図６】 図４のステップＳ１４の詳細説明図である。FIG. 6 is a detailed explanatory diagram of step S14 in FIG. 4;
【図７】 図４のステップＳ１５の詳細説明図である。FIG. 7 is a detailed explanatory diagram of step S15 in FIG. 4;
【図８】 図１の領域動き予測部の詳細説明図である。FIG. 8 is a detailed explanatory diagram of an area motion prediction unit in FIG. 1;
【図９】 従来装置の一構成を示す概略ブロック図であ
る。FIG. 9 is a schematic block diagram showing one configuration of a conventional device.
【図１０】 図４のステップＳ１５の他の詳細説明図で
ある。FIG. 10 is another detailed explanatory diagram of step S15 in FIG. 4;
【図１１】 数式を表す図である。FIG. 11 is a diagram showing a mathematical expression.
１…可変長復号部、２…検出対象設定部、３…移動領域
検出処理部、４…領域動き予測部、５…検出結果メモ
リ、６…検出結果表示部。DESCRIPTION OF SYMBOLS 1 ... Variable length decoding part, 2 ... Detection target setting part, 3 ... Moving area detection processing part, 4 ... Area motion prediction part, 5 ... Detection result memory, 6 ... Detection result display part.
─────────────────────────────────────────────────────
────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成１２年３月１３日（２０００．３．１
３）[Submission date] March 13, 2000 (200.3.1)
3)
【手続補正１】[Procedure amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００３７[Correction target item name] 0037
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００３７】もし、動きベクトルに時間的相関が存在し
ないならば、そのブロックは静止領域と決定する。そう
でなければ，動きベクトル情報に関して移動領域と判定
する。時間的相関を判定する一例を図６(d) に示す。図
６(d) は参照フレームにある同じ移動領域を指す動きベ
クトル同士はその長さがフレーム間距離に比例すること
を利用している。現フレームｉのブロックｊに対して，
比較対象となるフレームk における比較対象ブロックを
ｌとしたとき、閾値thr ５で抑えられる式(5)、式(6)
を時間相関の判別式とする。ここで、ブロックｌの決定
法については後述するが、ブロックｊとｌはそれぞれの
フレームにおいて同じ移動物体に相当する。入力ブロッ
クが双方向予測ベクトルの場合、順方向予測、逆方向予
測ベクトルについて時間的相関を検証する。両方の式の
成立を持って移動領域候補とする。そうでなければ、静
止領域とする．片方向予測の場合、順方向予測、逆方向
予測ベクトルいずれかのみで判断する。 ｜ｕk ・ｆｍｖi,j −ｕi ・ｆｍｖk,l ｜≦thr ５ …(5) ｜（ｍ−ｕk ）・ｂｍｖi,j −（ｍ−ｕi ）・ｂｍｖk,j ｜≦thr ５ …(6) If there is no temporal correlation in the motion vector, the block is determined as a still area. Otherwise, it is determined that the motion vector information is a moving area. FIG. 6D shows an example of determining the temporal correlation. FIG. 6 (d) utilizes that the length of motion vectors pointing to the same moving area in the reference frame is proportional to the inter-frame distance. For block j of the current frame i,
The block to be compared in frame k to be compared is
Equation (5), Equation (6) that can be suppressed by the threshold thr 5 when l
Is the discriminant of the time correlation. Here, the method of determining the block l will be described later, but the blocks j and l correspond to the same moving object in each frame. If the input block is a bidirectional prediction vector, the temporal correlation is verified for forward prediction and backward prediction vectors. A moving area candidate is determined when both equations are satisfied. Otherwise, it is a static area. In the case of unidirectional prediction, the determination is made based on only one of the forward prediction vector and the backward prediction vector. | Uk · fmvi, j−ui · fmvk, l | ≦ thr 5 (5) | (m−uk) · bmvi, j− (m−ui) · bmvk, j | ≦ thr 5 (6)
【手続補正２】[Procedure amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００３８[Correction target item name] 0038
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００３８】比較対象となるフレームk の選択について
は自由度が存在する。例えばフレームｋをフレームｉの
直前のフレーム（ｉ−１）とする。但し、フレームｋが
ＩピクチャやＰピクチャの場合は、フレームｉの参照フ
レームとフレームｋの参照フレームが異なるので、未来
の参照フレーム（ｉ−１＋ｍ）を比較対象フレームｋと
する。フレームｋ内の比較対象ブロックｌは、図６(e)
に示すように参照フレームまでの距離の比で現在の動き
ベクトルを内分した場所を占めるブロックとする。判別
式を満足する場合、ブロックｊ、ブロックｌの動きベク
トル長の比が参照フレームまでの距離の比に近く、信頼
性が高い動き予測情報と判断する。そうでなければ、信
頼性の低い動き予測情報と判断し、そのブロックは静止
領域とする。There is a degree of freedom in selecting the frame k to be compared. For example, let frame k be frame (i-1) immediately before frame i. However, if the frame k is an I-picture or a P-picture, the reference frame of the frame i is different from the reference frame of the frame k, so the future reference frame (i-1 + m) is set as the comparison target frame k. The comparison target block 1 in the frame k is shown in FIG.
As shown in (1), the block occupies a position where the current motion vector is internally divided by the ratio of the distance to the reference frame. If the discriminant is satisfied, the ratio of the motion vector lengths of the blocks j and l is close to the ratio of the distance to the reference frame, and it is determined that the motion prediction information has high reliability. Otherwise, it is determined that the motion prediction information has low reliability, and the block is set as a still area.
【手続補正３】[Procedure amendment 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００３９[Correction target item name] 0039
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００３９】また、Ｂピクチャが存在しない符号化方式
では、連続するＰピクチャにおいて各動きベクトルが直
前の参照フレームの動き予測情報量と類似する。このよ
うな場合、直前のＰピクチャの動きベクトルとの相関を
調査することができる。例えば、下記の式(7) のように
直前のＰピクチャの動きベクトルと現ブロックの絶対差
分値を用いて相関を調査する． ｜ｆｍｖi,j −ｆｍｖi-1,ｌ ｜≦thr ６In an encoding method in which no B picture exists, in a continuous P picture, each motion vector is similar to the motion prediction information amount of the immediately preceding reference frame. In such a case, the correlation with the motion vector of the immediately preceding P picture can be investigated. For example, the correlation is investigated using the motion vector of the immediately preceding P picture and the absolute difference value of the current block as in the following equation (7). | Fmvi, j −fmvi-1, l | ≦ thr 6
【手続補正４】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４３[Correction target item name] 0043
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４３】ＤＣ成分判定（ステップＳ５４）ではＤＣ
Ｔ係数ＤＣ成分の類似性を判定する。但し、ＤＣＴ係数
の類似度判定には動き補償後の差分値ではなく本来のＤ
ＣＴ係数にて判定を行う。ＤＣ成分は参照フレームｋに
おける参照ブロックｌのＤＣ成分Ｃk,j,0 と予測誤差Ｄ
Ｃ成分Ｃi,j,0 を足すことで求める．もし式(12)で示す
近傍ブロックｎとのＤＣ成分の差が閾値thr ９以下なら
ば同一領域と決定し（ステップＳ５５）、そうでなけれ
ば同一領域ではないと決定する。ここで、ブロックｓは
ブロックｎの近傍ブロックである。 ｜（Ｃi,j,0 ＋Ｃk,ｌ,0 ）−（Ｃi,n,0 ＋Ｃk,s,0 ）｜≦thr ９ …(12)In the DC component determination (step S54), the DC
The similarity of the T coefficient DC component is determined. However, the similarity determination of the DCT coefficient is not the difference value after the motion compensation but the original DT coefficient.
The determination is made based on the CT coefficient. The DC component is the DC component Ck, j, 0 of the reference block 1 in the reference frame k and the prediction error D
It is obtained by adding the C component Ci, j, 0. If the difference of the DC component from the neighboring block n represented by the equation (12) is equal to or smaller than the threshold thr 9, the area is determined to be the same (step S55). Otherwise, it is determined that the area is not the same. Here, the block s is a block near the block n. | (Ci, j, 0 + Ck, l , 0)-(Ci, n, 0 + Ck, s, 0) | ≤thr9 ... (12)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 米山 暁夫 埼玉県上福岡市大原２−１−15 株式会社 ケイディディ研究所内 Ｆターム(参考） 5C059 KK17 KK19 MA04 MA05 MA23 MC11 MC38 ME01 NN01 NN03 PP04 RC16 TA62 TA63 TB08 TC12 TD18 UA02 UA05 5L096 AA13 EA23 GA19 HA03 ──────────────────────────────────────────────────続 き Continuing from the front page (72) Inventor Akio Yoneyama 2-1-15 Ohara, Kamifukuoka-shi, Saitama F-term in C-D Laboratory Inc. (reference) 5C059 KK17 KK19 MA04 MA05 MA23 MC11 MC38 ME01 NN01 NN03 PP04 RC16 TA62 TA63 TB08 TC12 TD18 UA02 UA05 5L096 AA13 EA23 GA19 HA03
Claims (20)
該動画像のデータに移動領域情報を付加して出力する動
画像内の移動物体検出追跡装置において、 動き予測された領域の位置情報を基に、移動物体の検出
処理対象ブロックを設定する検出対象設定部と、 該検出対象設定部によって設定された検出処理対象ブロ
ックが移動領域に属するか否かを検出する移動領域検出
部と、 該移動領域検出部で検出された移動領域から、該移動領
域全体の動きを予測する領域動き予測部とを具備したこ
とを特徴とする動画像内の移動物体検出追跡装置。1. Compressed moving image data is input,
A moving object detection and tracking device in a moving image which outputs moving image information by adding moving region information to the moving image data, wherein a detection target for setting a moving object detection processing block based on position information of a region where motion is predicted A setting unit; a moving region detecting unit that detects whether the detection processing target block set by the detection target setting unit belongs to the moving region; and a moving region detected from the moving region detected by the moving region detecting unit. An apparatus for detecting and tracking a moving object in a moving image, comprising: an area motion prediction unit that predicts an entire motion.
出追跡装置において、 前記領域動き予測部は、移動物
体領域候補の予測に、過去の符号化フレームの移動物体
領域の動き情報を用いることを特徴とする移動物体検出
装置。2. The apparatus for detecting and tracking a moving object in a moving image according to claim 1, wherein the area motion prediction unit uses motion information of a moving object area of a past coded frame to predict a moving object area candidate. A moving object detection device characterized by using.
追跡装置において、 前記領域動き予測部は、移動物体領域候補の予測に、過
去の符号化フレームの移動物体領域の動き情報と予測誤
差情報を用いることを特徴とする移動物体検出装置。3. The apparatus for detecting and tracking a moving object in a moving image according to claim 1, wherein the region motion predicting unit calculates motion information of a moving object region of a past coded frame by predicting a moving object region candidate. A moving object detection device using prediction error information.
出追跡装置において、 前記移動物体領域の動き情報
は、移動物体領域上の各ブロックの動きベクトルを用
い、予測誤差情報として符号化データのＤＣＴ係数を用
いることを特徴とする移動物体検出装置。4. The apparatus for detecting and tracking a moving object in a moving image according to claim 3, wherein the motion information of the moving object area is encoded as prediction error information using a motion vector of each block on the moving object area. A moving object detection device using a DCT coefficient of data.
出追跡装置において、 前記領域動き予測部は、移動物
体領域候補の予測に、過去の符号化フレームの移動物体
領域上の各ブロックの動きベクトルに対して各ブロック
の予測誤差ＤＣＴ係数により重み付け平均を行った動き
ベクトルを用いることを特徴とする移動物体検出装置。5. The apparatus for detecting and tracking a moving object in a moving image according to claim 1, wherein the area motion predicting unit predicts each moving object area candidate by using each block on a moving object area of a past encoded frame. A moving object detection apparatus characterized by using a motion vector obtained by weighting and averaging the motion vector of each block with the prediction error DCT coefficient of each block.
出追跡装置において、 前記動き予測された領域の位置
情報は、前記領域動き予測部で予測された領域の動き予
測位置情報であり、前記検出対象設定部は該領域の動き
予測位置の内縁部を移動物体と決定することを特徴とす
る動画像内の移動物体検出追跡装置。6. The apparatus for detecting and tracking a moving object in a moving image according to claim 1, wherein the position information of the motion-predicted region is motion predicted position information of a region predicted by the region motion prediction unit. A moving object detection / tracking apparatus in a moving image, wherein the detection target setting unit determines an inner edge of the motion prediction position of the area as a moving object.
出追跡装置において、 前記動き予測された領域の位置
情報は、前記領域動き予測部で予測された領域の動き予
測位置情報であり、前記検出対象設定部は該領域の動き
予測位置の外周部を移動領域の検出対象とすることを特
徴とする動画像内の移動物体検出追跡装置。7. The apparatus for detecting and tracking a moving object in a moving image according to claim 1, wherein the position information of the region whose motion is predicted is motion prediction position information of a region predicted by the region motion prediction unit. A moving object detection / tracking device in a moving image, wherein the detection target setting unit sets an outer peripheral portion of a motion prediction position of the region as a detection target of a moving region.
出追跡装置において、 前記領域動き予測部で予測され
た領域の動き予測位置の外周部であって、所定のブロッ
ク符号化情報に該当する予測位置を、移動領域の検出対
象とすることを特徴とする動画像内の移動物体検出追跡
装置。8. The apparatus for detecting and tracking a moving region in a moving image according to claim 1, wherein the outer peripheral portion of the motion prediction position of the region predicted by the region motion prediction section, A moving object detection and tracking apparatus in a moving image, wherein a corresponding predicted position is a detection target of a moving area.
出追跡装置において、 前記移動領域検出部は、動き予
測情報と予測誤差情報の双方を包含するブロック、もし
くはフレーム内情報だけで符号化されたブロックを移動
領域として決定することを特徴とする動画像内の移動物
体検出追跡装置。9. The apparatus for detecting and tracking a moving area in a moving image according to claim 1, wherein the moving area detecting unit encodes only a block containing both motion prediction information and prediction error information, or only intra-frame information. A moving object detection and tracking apparatus in a moving image, wherein a moving block is determined as a moving area.
検出追跡装置において、 前記移動領域検出部は、動き予測情報が参照フレームま
での時間的距離と比例することを利用して、移動領域を
決定することを特徴とする動画像内の移動物体検出追跡
装置。10. The apparatus for detecting and tracking a moving area in a moving image according to claim 1, wherein the moving area detecting unit uses the fact that the motion prediction information is proportional to a temporal distance to a reference frame. An apparatus for detecting and tracking a moving object in a moving image, wherein the apparatus determines a region.
検出追跡装置において、 前記移動領域検出部は、異なるフレーム内で同じ領域を
示す動き予測情報同士が参照フレームまでの時間的距離
と比例して変化することを利用して、移動領域を決定す
ることを特徴とする動画像内の移動物体検出追跡装置。11. The apparatus for detecting and tracking a moving area in a moving image according to claim 1, wherein the moving area detecting unit determines whether the motion prediction information indicating the same area in different frames has a temporal distance to a reference frame. An apparatus for detecting and tracking a moving object in a moving image, characterized in that a moving area is determined by utilizing a proportional change.
体検出追跡装置において、 前記移動領域検出部における動きの相関は、該現符号化
フレームの動きベクトルと該過去の符号化フレームの動
きベクトルの角度が小さい場合に相関が高いと判定する
ことを特徴とする移動物体検出装置。12. The apparatus for detecting and tracking a moving object in a moving image according to claim 11, wherein a correlation of a motion in the moving area detecting unit is a motion vector of the current coded frame and a motion of the past coded frame. A moving object detection device, which determines that the correlation is high when the angle of the vector is small.
体検出追跡装置において、 前記移動領域検出部における動きの相関は、該現符号化
フレームの動きベクトルと過去の符号化フレームの動き
ベクトル間の角度が小さく、かつ１フレ−ム間距離に換
算した動きベクトルの大きさの差が小さい場合に相関が
高いと判断することを特徴とする移動物体検出装置。13. The apparatus for detecting and tracking a moving object in a moving image according to claim 11, wherein the correlation of the motion in the moving area detecting unit is a motion vector of the current coded frame and a motion vector of a past coded frame. A moving object detecting apparatus which determines that the correlation is high when the angle between them is small and the difference between the magnitudes of the motion vectors converted into the distance between one frame is small.
検出追跡装置において、 前記領域動き予測部は、移動領域内の動き補償情報に対
し予測誤差情報のパワーに応じた重み付け平均をとり、
該重み付け平均を領域全体の動き予測とすることを特徴
とする動画像内の移動物体検出追跡装置。14. The apparatus for detecting and tracking a moving area in a moving image according to claim 1, wherein the area motion prediction unit calculates a weighted average of the motion compensation information in the moving area according to the power of the prediction error information. ,
An apparatus for detecting and tracking a moving object in a moving image, wherein the weighted average is used as motion prediction for the entire area.
域検出追跡装置において、 前記予測誤差情報のパワー表現に、領域内の閾値以上の
値を持つＤＣＴ係数の個数、同係数の絶対値和、２乗和
および部分和のいずれかを選択的に用いることを特徴と
する動画像内の移動物体検出追跡装置。15. The apparatus for detecting and tracking a moving region in a moving image according to claim 14, wherein the power expression of the prediction error information includes the number of DCT coefficients having a value equal to or larger than a threshold value in the region, and the absolute value of the coefficient. A moving object detection and tracking apparatus in a moving image, wherein one of a sum, a square sum, and a partial sum is selectively used.
検出追跡装置において、 前記領域動き予測部は、前記予測された領域全体の動き
情報に基づいて、フレーム間の時間的距離によるスケー
リングを行った後、領域全体を追跡することを特徴とす
る動画像内の移動物体検出追跡装置。16. The apparatus for detecting and tracking a moving area in a moving image according to claim 1, wherein the area motion prediction unit performs scaling by a temporal distance between frames based on motion information of the entire predicted area. A moving object detection and tracking apparatus in a moving image, wherein the moving object detection and tracking apparatus performs tracking of the entire area after performing.
検出追跡装置において、 前記移動領域検出部は、隣接する移動物体領域の動きの
相関が高い場合に同一移動物体領域と判定することを特
徴とする移動物体検出装置。17. The apparatus for detecting and tracking a moving object in a moving image according to claim 1, wherein the moving area detection unit determines that the moving object areas adjacent to each other are the same moving object area when the correlation between the motions of the moving object areas is high. A moving object detection device characterized by the above-mentioned.
体検出追跡装置において、 前記移動領域検出部での同一移動領域判定に用いる該隣
接移動物体領域の動きの相関は各領域の動きベクトルの
長さの差が小さく、かつ動きベクトル間の角度が小さい
場合に相関が高いと判定することを特徴とする移動物体
検出装置。18. The apparatus for detecting and tracking a moving object in a moving image according to claim 17, wherein the correlation between the movements of the adjacent moving object areas used for the same moving area determination by the moving area detection unit is a motion vector of each area. A moving object detecting device that determines that the correlation is high when the difference between the lengths of the motion vectors is small and the angle between the motion vectors is small.
体検出追跡装置において、 前記移動領域検出部での同一移動領域判定は、隣接する
移動物体領域の動きと模様の相関が高い場合に同一移動
物体領域と判定することを特徴とする移動物体検出装
置。19. The apparatus for detecting and tracking a moving object in a moving image according to claim 17, wherein the determination of the same moving area in the moving area detection unit is performed when the correlation between the movement of the adjacent moving object area and the pattern is high. A moving object detection device that determines the same moving object region.
体検出追跡装置において、 前記移動領域検出部での同一移動領域判定に用いる該隣
接移動物体領域の動きの相関は、各領域の動きベクトル
の長さの差が小さくかつ動きベクトル間の角度が小さい
場合に動きの相関が高いと判定し、模様の相関は各領域
のＤＣＴ係数のＤＣ成分の差が小さい場合に模様の相関
が高いと判定することを特徴とする移動物体検出装置。20. The apparatus for detecting and tracking a moving object in a moving image according to claim 19, wherein the correlation between the movements of the adjacent moving object areas used for the same moving area determination by the moving area detection unit is a motion of each area. When the difference between the vector lengths is small and the angle between the motion vectors is small, it is determined that the motion correlation is high. When the pattern correlation is small, the pattern correlation is high when the DC component of the DCT coefficient of each region is small. A moving object detection device characterized in that:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000061200A JP3948596B2 (en) | 2000-03-06 | 2000-03-06 | Moving object detection and tracking device in moving images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000061200A JP3948596B2 (en) | 2000-03-06 | 2000-03-06 | Moving object detection and tracking device in moving images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001250118A true JP2001250118A (en) | 2001-09-14 |
| JP3948596B2 JP3948596B2 (en) | 2007-07-25 |
Family
ID=18581377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000061200A Expired - Fee Related JP3948596B2 (en) | 2000-03-06 | 2000-03-06 | Moving object detection and tracking device in moving images |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3948596B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005117448A1 (en) * | 2004-05-31 | 2005-12-08 | Matsushita Electric Industrial Co., Ltd. | Moving object detection device and moving object detection method |
| JP2006350618A (en) * | 2005-06-15 | 2006-12-28 | Kddi Corp | Moving image processor |
| JP2007087049A (en) * | 2005-09-21 | 2007-04-05 | Kddi Corp | Dynamic image processor |
| JP2007122232A (en) * | 2005-10-26 | 2007-05-17 | Casio Comput Co Ltd | Image processor and program |
| US20090279738A1 (en) * | 2008-05-08 | 2009-11-12 | Denso Corporation | Apparatus for image recognition |
| JP2011081841A (en) * | 2011-01-11 | 2011-04-21 | Tokyo Univ Of Science | Moving object detection device and moving object detection method |
| JP2015170874A (en) * | 2014-03-05 | 2015-09-28 | 日本電気株式会社 | Video analysis device, monitoring device, monitoring system, and video analysis method |
| JP5944078B1 (en) * | 2015-09-02 | 2016-07-05 | 三菱電機株式会社 | Information processing apparatus, information processing method, and information processing program |
| WO2016135777A1 (en) * | 2015-02-26 | 2016-09-01 | 三菱電機株式会社 | Image processing device |
| WO2016143067A1 (en) * | 2015-03-10 | 2016-09-15 | 三菱電機株式会社 | Picture analysis device |
-
2000
- 2000-03-06 JP JP2000061200A patent/JP3948596B2/en not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005117448A1 (en) * | 2004-05-31 | 2005-12-08 | Matsushita Electric Industrial Co., Ltd. | Moving object detection device and moving object detection method |
| JP4688147B2 (en) * | 2005-06-15 | 2011-05-25 | Ｋｄｄｉ株式会社 | Moving image processing device |
| JP2006350618A (en) * | 2005-06-15 | 2006-12-28 | Kddi Corp | Moving image processor |
| JP2007087049A (en) * | 2005-09-21 | 2007-04-05 | Kddi Corp | Dynamic image processor |
| JP4743601B2 (en) * | 2005-09-21 | 2011-08-10 | Ｋｄｄｉ株式会社 | Moving image processing device |
| JP2007122232A (en) * | 2005-10-26 | 2007-05-17 | Casio Comput Co Ltd | Image processor and program |
| US8238606B2 (en) | 2008-05-08 | 2012-08-07 | Denso Corporation | Apparatus for image recognition |
| JP4623135B2 (en) * | 2008-05-08 | 2011-02-02 | 株式会社デンソー | Image recognition device |
| JP2009271758A (en) * | 2008-05-08 | 2009-11-19 | Denso Corp | Image-recognizing device |
| US20090279738A1 (en) * | 2008-05-08 | 2009-11-12 | Denso Corporation | Apparatus for image recognition |
| JP2011081841A (en) * | 2011-01-11 | 2011-04-21 | Tokyo Univ Of Science | Moving object detection device and moving object detection method |
| JP2015170874A (en) * | 2014-03-05 | 2015-09-28 | 日本電気株式会社 | Video analysis device, monitoring device, monitoring system, and video analysis method |
| US10037606B2 (en) | 2014-03-05 | 2018-07-31 | Nec Corporation | Video analysis apparatus, monitoring system, and video analysis method |
| WO2016135777A1 (en) * | 2015-02-26 | 2016-09-01 | 三菱電機株式会社 | Image processing device |
| JPWO2016135777A1 (en) * | 2015-02-26 | 2017-07-13 | 三菱電機株式会社 | Image processing device |
| US10129547B2 (en) | 2015-02-26 | 2018-11-13 | Mitsubishi Electric Corporation | Image processing apparatus |
| WO2016143067A1 (en) * | 2015-03-10 | 2016-09-15 | 三菱電機株式会社 | Picture analysis device |
| JPWO2016143067A1 (en) * | 2015-03-10 | 2017-06-29 | 三菱電機株式会社 | Video analysis device |
| WO2017037900A1 (en) * | 2015-09-02 | 2017-03-09 | 三菱電機株式会社 | Information processing device, information processing method, and information processing program |
| JP5944078B1 (en) * | 2015-09-02 | 2016-07-05 | 三菱電機株式会社 | Information processing apparatus, information processing method, and information processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3948596B2 (en) | 2007-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7010039B2 (en) | Motion estimator for reduced halos in MC up-conversion | |
| JP3994445B2 (en) | Motion vector detection apparatus and motion vector detection method | |
| JP5594968B2 (en) | Method and apparatus for determining motion between video images | |
| KR100973429B1 (en) | Background motion vector detection | |
| US20080002774A1 (en) | Motion vector search method and motion vector search apparatus | |
| US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
| US7295711B1 (en) | Method and apparatus for merging related image segments | |
| Tai et al. | A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications | |
| KR20070033345A (en) | How to retrieve global motion vector | |
| US8447126B2 (en) | Image processing method and related apparatus | |
| JP2001250118A (en) | Detecting and tracking device for moving body in moving picture | |
| JP2000224593A (en) | Method and device for interpolating frame and recording medium recording the method | |
| JP2004096752A (en) | Method of approximating motion vector, computer program for carrying out the same method, data storage medium for storing the same program, apparatus suitable to carry out the same method, and receiver equipped with the same apparatus | |
| US20080144716A1 (en) | Method For Motion Vector Determination | |
| KR100254667B1 (en) | Method and apparatus for detecting occulusion | |
| JP3175914B2 (en) | Image encoding method and image encoding device | |
| EP1955548B1 (en) | Motion estimation using motion blur information | |
| JPH05236452A (en) | Method and device for detection motion vector | |
| JPH1023421A (en) | Moving picture processing method | |
| WO2001099437A2 (en) | Method of performing motion estimation | |
| JP2861971B2 (en) | Motion vector prediction device | |
| JP2000175202A (en) | Motion vector detector | |
| JPH10248065A (en) | Motion vector detector | |
| KR102056218B1 (en) | Motion estimation method and apparatus using feature point-based motion vectors | |
| JP4131287B2 (en) | Motion vector detection apparatus and motion vector detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070412 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |