JP2006236063A - Device for extracting moving body - Google Patents
Device for extracting moving body Download PDFInfo
- Publication number
- JP2006236063A JP2006236063A JP2005050734A JP2005050734A JP2006236063A JP 2006236063 A JP2006236063 A JP 2006236063A JP 2005050734 A JP2005050734 A JP 2005050734A JP 2005050734 A JP2005050734 A JP 2005050734A JP 2006236063 A JP2006236063 A JP 2006236063A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- block
- frame
- divided
- estimation means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は移動物体抽出装置に関し、特に一定の大きさのブロックを複数の分割ブロックサイズに分割してフレーム間予測符号化およびフレーム内予測符号化モードによって符号化を行われた動画像から移動物体を抽出する移動物体抽出装置に関する。 The present invention relates to a moving object extraction apparatus, and more particularly, to a moving object from a moving image obtained by dividing a block having a certain size into a plurality of divided block sizes and performing encoding by inter-frame prediction encoding and intra-frame prediction encoding mode. The present invention relates to a moving object extraction apparatus that extracts a signal.
従来の符号化データを用いた移動物体検出装置の一つとして、例えば下記の特許文献１に記されているものがある。該特許文献１に記されている技術を簡単に説明すると、下記のようになる。
As one of the moving object detection devices using the conventional encoded data, for example, there is one described in
ＩＴＵ−Ｔ Ｈ．２６１、Ｈ．２６３、あるいはＩＳＯ／ＩＥＣ ＭＰＥＧ−４などにより符号化された動画像データを可変長復号化部で可変長復号する。該可変長復号化部は、１６×１６画素のマクロブロック単位でフレーム内予測符号化モード（以下、ＩＮＴＲＡモードと呼ぶ）とフレーム間予測符号化モード（以下、ＩＮＴＥＲモードと呼ぶ）の判定を行う。 ITU-TH. 261, H.H. The variable-length decoding unit performs variable-length decoding on moving image data encoded by H.263 or ISO / IEC MPEG-4. The variable length decoding unit determines an intra-frame prediction encoding mode (hereinafter referred to as an INTRA mode) and an inter-frame prediction encoding mode (hereinafter referred to as an INTER mode) in units of 16 × 16 pixel macroblocks. .
次に、ＩＮＴＲＡモードと判定されたマクロブロックに対しては、当該マクロブロックの再生画像信号と１フレーム前の対応するマクロブロックの再生画像信号との差分絶対値和（ＳＡＤ）を計算し、該差分絶対値和がある閾値より大きければ当該マクロブロックを動マクロブロックと判定し、該閾値より小さければ静止マクロブロックと判定する。一方、ＩＮＴＥＲモードと判定されたマクロブロックに対しては、前記可変長復号化部から得られた動きベクトル情報およびＤＣＴ係数情報から、当該マクロブロックの動ベクトルの絶対値和およびＤＣＴ係数の絶対値和を計算し、該動ベクトルの絶対値和とＤＣＴ係数の絶対値和が共にそれぞれのある閾値より小さければ当該マクロブロックは静止マクロブロックと判定し、そうでない場合は動マクロブロックであると判定する。
しかしながら、前記した従来技術には、次のような課題があった。すなわち、移動物体の判定が、前記したように、１６×１６画素のマクロブロック単位での判定であるため、粗い移動物体判定になる。また、移動物体判定の対象となる符号化画像データがＨ．２６３やＭＰＥＧ−４等で符号化されていることを前提としているので、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding)のように、マクロブロックをさらに小さなブロックに分割して符号化する符号化方式で符号化された画像データには、予測符号化モード判定などの傾向が異なるため、適用が困難である。 However, the prior art described above has the following problems. In other words, as described above, since the determination of the moving object is performed in units of 16 × 16 pixel macroblocks, the moving object determination is rough. Also, the encoded image data that is the object of moving object determination is H.264. H.263, MPEG-4, etc. are presupposed. As in H.264 / MPEG-4 AVC (Advanced Video Coding), image data encoded by an encoding method in which a macro block is divided into smaller blocks and encoded has a tendency such as predictive encoding mode determination. Difficult to apply because of differences.
本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのように、分割ブロックを伴う予測符号化を用いて符号化された動画像に用いて好適な移動物体抽出装置を提供することにある。 The present invention has been made in view of the above-described problems of the prior art. An object of the present invention is to provide a moving object extraction apparatus suitable for a moving image encoded using predictive encoding with divided blocks, such as H.264 / MPEG-4 AVC.
前記目的を達成するために、本発明は、分割ブロックサイズが可変のフレーム間予測符号化と、分割ブロックサイズが可変のフレーム内予測符号化を用いて符号化された動画像を入力として、動画像内の移動物体を抽出する移動物体抽出装置において、予測符号化モードおよび分割ブロックサイズに基づいて移動物体領域に含まれるブロックかどうかを推定する第１の移動物体推定手段と、該第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム間予測符号化モードのブロックに対して、各分割ブロックについて動きベクトルに基づいて移動物体領域かどうかを推定する第２の移動物体推定手段とを具備し、前記第２の移動物体推定手段における判定結果に基づいて動画像内の移動物体を分割ブロック単位で抽出するようにした点に第１の特徴がある。 In order to achieve the above object, the present invention inputs a moving image encoded using inter-frame predictive coding with a variable divided block size and intra-frame predictive coding with a variable divided block size as input. In a moving object extraction apparatus for extracting a moving object in an image, first moving object estimation means for estimating whether a block is included in a moving object region based on a predictive coding mode and a divided block size; A second moving object that estimates whether or not each divided block is a moving object region based on a motion vector with respect to a block in an inter-frame prediction encoding mode estimated as a block included in the moving object region by the moving object estimation unit And a block that divides the moving object in the moving image based on the determination result in the second moving object estimation means. There is first characterized in that so as to extract at positions.
また、前記第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム内予測符号化モードのブロックに対して、前フレームにおける判定結果に基づいて移動物体領域かどうかを推定する第３の移動物体推定手段を具備した点に第２の特徴がある。 In addition, the intra-frame prediction coding mode block estimated as a block included in the moving object region by the first moving object estimation means is estimated based on the determination result in the previous frame. The second feature is that the third moving object estimation means is provided.
さらに、前記第１及び第２の移動物体推定手段、あるいは前記第１、第２及び第３の移動物体推定手段において移動物体と推定された分割ブロックと、該分割ブロックによって囲まれている分割ブロックを移動物体として最終的に判定する最終移動物体判定手段を具備した点に第３の特徴がある。 Further, the first and second moving object estimation means, or the divided blocks estimated as moving objects in the first, second and third moving object estimation means, and the divided blocks surrounded by the divided blocks There is a third feature in that a final moving object determination unit that finally determines as a moving object is provided.
本発明によれば、分割ブロックを考慮した移動物体判定を行うので、動画像から移動物体を精度良く抽出することができるようになる。また、小さいブロックを単位として移動物体を抽出することができるようになる。 According to the present invention, since the moving object determination is performed in consideration of the divided blocks, the moving object can be accurately extracted from the moving image. In addition, a moving object can be extracted in units of small blocks.
以下に、図面を参照して、本発明を詳細に説明する。以下では、入力動画像の圧縮符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣを用いた場合について説明するが、本発明はこれに限定されるものではない。 Hereinafter, the present invention will be described in detail with reference to the drawings. In the following, as a compression encoding method for input moving images, H.264 is used. Although the case where H.264 / MPEG-4 AVC is used will be described, the present invention is not limited to this.
周知のように、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、フレーム間予測符号化方式として図３に示すブロック分割方式を用い、フレーム内予測符号化方式として図４に示すブロック分割方式を用いている。 As is well known, H.M. In H.264 / MPEG-4 AVC, the block division method shown in FIG. 3 is used as the inter-frame prediction encoding method, and the block division method shown in FIG. 4 is used as the intra-frame prediction encoding method.
すなわち、図３のフレーム間予測符号化方式の符号化モードには、同図(d)の１６×１６画素モード、同図(c)の１６×８画素モード、同図(b)の８×１６画素モードおよび同図(a)の８×８画素モードがあり、それぞれの分割ブロックサイズをブロック単位として符号化を行う。また、前記８×８画素モードは、さらに、同図(f)の８×４画素モード、同図(g)の４×８画素モード、および同図(h)の４×４画素モードがあり、それぞれの分割ブロックサイズをブロック単位とする符号化を行う。 That is, the encoding mode of the inter-frame predictive encoding method in FIG. 3 includes the 16 × 16 pixel mode in FIG. 4D, the 16 × 8 pixel mode in FIG. 3C, and the 8 × in FIG. There are a 16-pixel mode and an 8 × 8-pixel mode shown in FIG. 8A, and encoding is performed with each divided block size as a block unit. Further, the 8 × 8 pixel mode further includes an 8 × 4 pixel mode shown in FIG. 5F, a 4 × 8 pixel mode shown in FIG. 5G, and a 4 × 4 pixel mode shown in FIG. Then, encoding is performed with each divided block size as a block unit.
一方、図４のフレーム内予測符号化方式の符号化モードには、同図(a-1)〜（a-9)の４×４画素モードと、同図(b-1)〜(b-4)の１６×１６画素モードとがある。 On the other hand, the encoding modes of the intra-frame prediction encoding method of FIG. 4 include the 4 × 4 pixel mode of (a-1) to (a-9) and (b-1) to (b−) of FIG. 4) 16 × 16 pixel mode.
本発明は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ等の符号化装置では、圧縮符号化効率を高めるために、移動物体画像と非移動物体画像（例えば、背景画像）の境界（以下、エッジと呼ぶ）では、移動物体と背景の動きの違いを反映して、より小さなブロックサイズによる予測符号化が行われることが多いこと、また、エッジが存在することによって、画像特徴が複雑になるため、フレーム内符号化が用いられる場合においても、より小さなブロックサイズが選択されることが多いことに着目し、以上のことから、当該ブロックが移動物体か非移動物体を表す画像であるかを推定するようにした点に発明の原理がある。 The present invention relates to H.264. In an encoding apparatus such as H.264 / MPEG-4 AVC, in order to increase compression encoding efficiency, a moving object image and a non-moving object image (for example, a background image) boundary (hereinafter referred to as an edge) Reflecting differences in background motion, predictive coding is often performed with a smaller block size, and the presence of edges complicates image features, so intraframe coding is used. Even in this case, paying attention to the fact that a smaller block size is often selected. From the above, the present invention is based on the point that it is estimated whether the block is an image representing a moving object or a non-moving object. There is a principle.
図１は、本発明の第１の実施形態に係わる移動物体抽出装置の構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of a moving object extraction apparatus according to the first embodiment of the present invention.
Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ等で圧縮符号化された動画像データである入力画像信号は、可変長動画像復号器１０に入力され、ブロックの符号化モード、動き補償モード、動きベクトル量、ＤＣＴ係数等が復号される。動きベクトル抽出器２０は可変長動画像復号器１０で復号されたブロックの動きベクトル量を抽出し、第２移動物体推定器５０に送る。また、符号化モード抽出器３０はブロックの符号化モード（図３、図４参照）を抽出し、第１の移動物体推定器４０に送る。この符号化モードから、前記図３および図４に示した符号化モードのいずれが用いられているかが分かる。
H. An input image signal, which is moving image data compressed and encoded by H.264 / MPEG-4 AVC or the like, is input to the variable-length
該符号化モード抽出器３０で抽出された符号化モードがフレーム間予測符号化方式であった場合にはスイッチング手段４５と５５が第２移動物体推定器５０に接続され、一方フレーム内予測符号化方式であった場合には、スイッチング手段４５と５５は図示の位置に接続される。
When the coding mode extracted by the
第１の移動物体推定器４０は、予測符号化モードおよび分割ブロックサイズに基づいて移動物体領域に含まれるブロックかどうかを推定する。また、第２移動物体推定器５０は、該第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム間予測符号化モードのブロックに対して、各分割ブロックについて動きベクトルに基づいて移動物体領域かどうかを推定する。なお、該第１、第２の移動物体推定器４０、５０の動作の詳細は後述する。
The first moving
最終移動物体判定器６０は前記第１移動物体推定器４０および第２移動物体推定器５０の判定結果に基づいて、最終的な移動物体を判定する。該最終移動物体判定器６０で判定された各分割ブロック毎の結果は、判定結果格納バッファ８０に格納される。該判定結果格納バッファ８０に格納されたデータは、前記第２移動物体推定器５０における後続マイクロブロックおよび後続フレームの移動物体推定に利用される。また、該最終移動物体判定器６０からは、移動物体の抽出結果が出力される。
The final moving
次に、本実施形態の前記符号化モード抽出器３０、第１移動物体推定器４０、第２移動物体推定器５０の動作を、図５のフローチャートを参照して説明する。
Next, operations of the
ステップＳ１では、符号化モード抽出器３０で当該ブロックがフレーム内予測符号化（ＩＮＴＲＡ）モードであるか、フレーム間予測符号化（ＩＮＴＥＲ）モードであるかの判断がなされる。フレーム内予測符号化モードであれば、制御信号７０により、スイッチング手段４５，５５は図示の位置に、フレーム間予測符号化モードであれば、スイッチング手段４５，５５は第２移動物体推定器５０に接続される。
In step S1, the
ステップＳ１で当該ブロックの予測符号化モードがフレーム間予測符号化モードであると判定されると、ステップＳ２に進んで、第１移動物体推定器４０により、当該ブロックのブロックサイズ≦Ｔｈｒ（INTER)であるかどうか判断される。この判断が肯定であればステップＳ４に進んでｆ＝１と置かれ、否定であればステップＳ５に進んでｆ＝０と置かれる。ここに、Ｔｈｒ（INTER)は予め定められている閾値、ｆ＝１は当該ブロックが移動物体であることを表し、ｆ＝０は非移動物体であることを表す。ｆ＝１、ｆ＝０の意味は、以下でも同様とする。
If it is determined in step S1 that the predictive coding mode of the block is the inter-frame predictive coding mode, the process proceeds to step S2 where the first moving
一方、ステップＳ１でフレーム内予測符号化モードであると判定されると、ステップＳ３に進んで、第１移動物体推定器４０により、当該ブロックサイズ≦Ｔｈｒ（INTRA)であるかどうか判断される。この判断が肯定であればステップＳ６に進んでｆ＝１と置かれ、否定であればステップＳ７に進んでｆ＝０と置かれる。ここに、Ｔｈｒ（INTRA)は予め定められている閾値である。前記Ｔｈｒ（INTER)、Ｔｈｒ（INTRA)としては、例えば１６×８画素モードあるいは８×１６画素モードとすることができる。
On the other hand, if it is determined in step S1 that the mode is the intraframe prediction encoding mode, the process proceeds to step S3, and the first moving
前記ステップＳ４でｆ＝１と判定されたブロックは、ステップＳ８に進む。なお、該ステップＳ８以下の処理は、前記第２移動物体推定器５０によって行われる。ステップＳ８では、当該ブロックが属するフレーム（現在フレーム）と参照フレームとの間に、別の動きフレームが存在するか否かの判断がなされる。すなわち、現在フレームがＢピクチャフレーム（以下、単にＢフレームと呼ぶ）であればこの判断は必ず否定になるが、現在フレームがＰピクチャフレーム（以下、単にＰフレームと呼ぶ）の場合には、Ｐピクチャフレームの前に非参照フレームであるＢフレームが入る場合があるので、ケースバイケースで肯定になったり、否定になったりする。
The block determined as f = 1 in step S4 proceeds to step S8. Note that the processing after step S8 is performed by the second moving
ステップＳ８の判断が肯定になると、ステップＳ９に進んで、直前のフレームの同一分割ブロックは移動物体であるか否かの判断がなされ、この判断が否定であればステップＳ１０に進んでｆ＝０と置かれ、肯定であればステップＳ１１に進んでｆ＝１と置かれる。 If the determination in step S8 is affirmative, the process proceeds to step S9 to determine whether or not the same divided block of the immediately preceding frame is a moving object. If this determination is negative, the process proceeds to step S10 and f = 0. If YES, the process proceeds to step S11 where f = 1 is set.
前記ステップＳ８、Ｓ９の処理をする理由は、次のためである。Ｐフレームのように、参照フレームとの間に１枚ないし複数枚のＢフレームが存在する場合には、参照フレームとの時間的距離が長いため、フレーム間予測の予測精度が下がりやすくなるため、これを補うためにより小さなブロックサイズが選択されやすい。これにより、画面の背景領域においても、複雑な画像特徴がある箇所については、小さなブロックサイズが選択されることがある。そこで、直前のフレーム（一般には、Ｂフレーム）での同一分割ブロックにおける判定結果が非移動物体となっている場合は、該分割ブロックを非移動物体として推定する。 The reason why the processes of steps S8 and S9 are performed is as follows. When one or more B frames are present between the reference frame as in the P frame, the temporal distance from the reference frame is long, and therefore the prediction accuracy of inter-frame prediction is likely to decrease. To compensate for this, a smaller block size is likely to be selected. As a result, even in the background area of the screen, a small block size may be selected for a portion having a complicated image feature. Therefore, when the determination result in the same divided block in the immediately preceding frame (generally, B frame) is a non-moving object, the divided block is estimated as a non-moving object.
次に、前記ステップＳ８の判断が否定の場合またはステップＳ１１でｆ＝１と置かれた後には、ステップＳ１２の処理に進む。ステップＳ１２では、当該分割ブロックの動きベクトルと、その周囲の隣接分割ブロックＸ（例えば、上左、上、上右、右の４ブロック）との動きベクトル間角度θ（Ｘ）を計算する。ステップＳ１３では、該角度θ（Ｘ）＜Ｔｈｒθなる隣接分割ブロックＸが存在するかどうかの判断がなされる。ここに、Ｔｈｒθは、隣接分割ブロックが別の動きをしているか否かを判断する境界となる閾値である。 Next, if the determination in step S8 is negative or after f = 1 is set in step S11, the process proceeds to step S12. In step S12, the motion vector angle θ (X) between the motion vector of the divided block and adjacent neighboring divided blocks X (for example, upper left, upper, upper right, and right four blocks) is calculated. In step S13, it is determined whether or not there is an adjacent divided block X satisfying the angle θ (X) <Thrθ. Here, Thrθ is a threshold value that serves as a boundary for determining whether or not the adjacent divided blocks are moving differently.
ステップＳ１３で、前記角度θ（Ｘ）＜Ｔｈｒθなる条件を満足する隣接分割ブロックＸが一つでも存在すれば、ステップＳ１４に進んで、その隣接ブロックと同じ推定結果を出力する。すなわち、その隣接分割ブロックＸが動物体であればｆ＝１、非動物体であればｆ＝０とする。一方、ステップＳ１３で、前記角度θ（Ｘ）＜Ｔｈｒθなる条件を満足する隣接分割ブロックＸが一つも存在しなければ、ステップＳ１５に進んで、その隣接分割ブロックＸとは異なる移動物体であると推定して出力する。すなわち、該隣接分割ブロックＸが動物体であればｆ＝０、非移動物体であればｆ＝１とする。 If at least one adjacent divided block X satisfying the condition of the angle θ (X) <Thrθ exists in step S13, the process proceeds to step S14, and the same estimation result as that adjacent block is output. That is, if the adjacent divided block X is an animal body, f = 1, and if it is a non-animal body, f = 0. On the other hand, if there is no adjacent divided block X satisfying the condition of the angle θ (X) <Thrθ in step S13, the process proceeds to step S15, and the moving object is different from the adjacent divided block X. Estimate and output. That is, if the adjacent divided block X is a moving object, f = 0, and if it is a non-moving object, f = 1.
前記ステップＳ１２〜Ｓ１５の判断をする理由は、前記のように、小さなブロックサイズへの分割が発生する場合はエッジである可能性が高いため、非移動物体（背景）側の分割ブロックと移動物体側の分割ブロックの動きベクトルを比較すると、方向が大きく異なる場合が多い。したがって、分割ブロック単位で、動きベクトル間の角度が大きい場合、どちらかが移動物体他方が非移動物体であると考えられるからである。 The reason for the determination in steps S12 to S15 is that, as described above, when division into small block sizes occurs, there is a high possibility that it is an edge. Therefore, the divided blocks on the non-moving object (background) side and moving objects When the motion vectors of the divided blocks on the side are compared, the directions are often greatly different. Therefore, when the angle between motion vectors is large in divided block units, one of the moving objects is considered to be the other non-moving object.
次に、前記最終移動物体判定器６０の動作を、図６のフローチャートを参照して説明する。ステップＳ２０では、図５により得られた結果が、ｆ＝１であるか否かの判断をする。この判断が肯定の場合にはステップＳ２２に進んで、最終的に当該ブロックが移動ブロックであると判断する。すなわち、Ｆ＝１と置く。一方、ステップＳ２０の判断が否定の時には、ステップＳ２１に進んで、当該ブロックが移動物体に囲まれているか否かの判断をする。そして、移動物体に囲まれていれば、ステップＳ２２に進んで、最終的に移動物体であると判断し、Ｆ＝１とする。ステップＳ２１の判断が否定の時には、最終的に非移動物体と判定し、Ｆ＝０と置く。これらの結果は、前記判定結果格納バッファ８０に格納されると共に、検出結果出力として出力される。
Next, the operation of the final moving
次に、本発明の第２実施形態を、図２のブロック図を参照して説明する。この実施形態は、前記第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム内予測符号化モードのブロックに対して、前フレームにおける判定結果に基づいて移動物体領域かどうかを推定する第３移動物体推定器９０を設けた点に特徴がある。他の符号は、図１の同一符号と同一または同等物を示す。また、これらは図１のものと同一または同等の動作をするので、該動作の説明は省略する。
Next, a second embodiment of the present invention will be described with reference to the block diagram of FIG. In this embodiment, whether or not the block in the intra-frame predictive coding mode estimated as a block included in the moving object region by the first moving object estimation means is a moving object region based on the determination result in the previous frame. This is characterized in that a third moving
小さいブロックサイズのフレーム内予測符号化が用いられている場合は、該分割ブロックが移動物体のエッジであり、かつその領域から移動物体が消失、もしくはその領域に向かって移動物体が移動しようとする動きを示していることが多い。そこで、前フレームからの動きを逆算した結果、移動物体が移動によってそのマクロブロックから消失したものと考えられる場合は、そのマクロブロックを非移動物体領域として推定する。 When intra-frame predictive coding with a small block size is used, the divided block is an edge of a moving object, and the moving object disappears from the area, or the moving object tries to move toward the area. Often shows movement. Therefore, when it is considered that the moving object has disappeared from the macroblock due to the movement as a result of the backward calculation of the motion from the previous frame, the macroblock is estimated as a non-moving object region.
すなわち、図７に示すフローチャートにおいて、前記ステップＳ６でｆ＝１と置かれたブロックに対して、前記第３移動物体推定器９０はステップＳ１６以下の処理をする。なお、他のステップは、図５と同等または同一の処理を行うので、説明を省略する。
That is, in the flowchart shown in FIG. 7, the third moving
ステップＳ１６では、前フレームでの動きを逆算する。ステップＳ１７では、該逆算により、移動物体が移動によってそのブロックから消失したと考えられる場合には、そのブロックを非移動物体領域と推定し、ステップＳ１９において、ｆ＝０と置く。一方、ステップＳ１７の判断が否定の時には、ステップＳ１８に進んでｆ＝１とされる。 In step S16, the motion in the previous frame is calculated backward. In step S17, if it is considered that the moving object has disappeared from the block due to the movement, the block is estimated as a non-moving object region, and f = 0 is set in step S19. On the other hand, when the determination in step S17 is negative, the process proceeds to step S18 where f = 1.
また、前記ステップＳ１６〜Ｓ１９の処理に代えて、フレーム内予測符号化モードで符号化されているブロックに対して、前フレームの同一位置において移動物体として判定された分割ブロックを移動物体と推定するようにしても良い。 Further, instead of the processing in steps S16 to S19, a divided block determined as a moving object at the same position in the previous frame is estimated as a moving object with respect to a block encoded in the intraframe prediction encoding mode. You may do it.
次に、本発明による処理の具体例を、図８〜図１０を参照して説明する。図８の１００は１フレームの画像を示し、１０１，１０２，・・・，１０Ｎは、マクロブロックを示す。図８の例は、左方向へ動いている自動車の例であり、自動車の輪郭の分割ブロックが図５のステップＳ２およびＳ３の判断により、動物体と判定され、背景は非動物体と判定さている例を示す。 Next, specific examples of processing according to the present invention will be described with reference to FIGS. In FIG. 8, 100 indicates an image of one frame, and 101, 102,..., 10N indicate macroblocks. The example of FIG. 8 is an example of an automobile moving in the left direction, and the divided block of the outline of the automobile is determined to be an animal body by the determination in steps S2 and S3 of FIG. 5, and the background is determined to be a non-animal body. An example is shown.
図９の例は、フレーム画像１１０の左側に家が存在し、家の庇や窓枠部分の分割ブロックが図５のステップＳ２またはＳ３の判断でｆ＝１、すなわち移動物体であると判定されても、ステップＳ１２〜Ｓ１５の処理により非移動物体（ｆ＝０）と修正される例を示す。
In the example of FIG. 9, a house exists on the left side of the
また、図１０の例は、フレーム画像１２０が現在の画像フレームであり、図８のフレーム画像１００がその１フレーム前の画像であった場合に、自動車が移動した後のマクロブロック１２１及び１２２は分割ブロックで表現され、図５のステップＳ３の判定ではｆ＝１となるが、図７のステップＳ１６〜Ｓ１９の処理により、ｆ＝０に修正される場合を示す。なお、ブロック１２３の分割ブロックにはエッジが存在するので、該分割ブロックに関するステップＳ１７の判断は否定となり、ｆ＝１は保持される。
In the example of FIG. 10, when the
１０・・・可変長動画像復号器、２０・・・動きベクトル抽出器、３０・・・符号化モード抽出器、４０・・・第１移動物体推定器、５０・・・第２移動物体推定器、６０・・・最終移動物体推定器、８０・・・判定結果格納バッファ、９０・・・第３移動物体推定器。
DESCRIPTION OF
Claims (11)
予測符号化モードおよび分割ブロックサイズに基づいて移動物体領域に含まれるブロックかどうかを推定する第１の移動物体推定手段と、
該第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム間予測符号化モードのブロックに対して、各分割ブロックについて動きベクトルに基づいて移動物体領域かどうかを推定する第２の移動物体推定手段とを具備し、
前記第２の移動物体推定手段における判定結果に基づいて動画像内の移動物体を分割ブロック単位で抽出するようにしたことを特徴とする移動物体抽出装置。 Moving object extraction device for extracting moving object in moving picture by using moving picture encoded using inter-frame predictive coding with variable divided block size and intra-frame predictive coding with variable divided block size In
First moving object estimation means for estimating whether the block is included in the moving object region based on the predictive coding mode and the divided block size;
For the block in the inter-frame predictive coding mode estimated as a block included in the moving object region by the first moving object estimation means, the first moving object estimation unit estimates whether each divided block is a moving object region based on a motion vector. Two moving object estimation means,
A moving object extraction apparatus characterized in that a moving object in a moving image is extracted in units of divided blocks based on a determination result in the second moving object estimation means.
予測符号化モードおよび分割ブロックサイズに基づいて移動物体領域に含まれるブロックかどうかを推定する第１の移動物体推定手段と、
該第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム間予測符号化モードのブロックに対して、各分割ブロックについて動きベクトルに基づいて移動物体領域かどうかを推定する第２の移動物体推定手段と、
前記第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム内予測符号化モードのブロックに対して、前フレームにおける判定結果に基づいて移動物体領域かどうかを推定する第３の移動物体推定手段と、
前記第２及び第３の移動物体推定手段における判定結果に基づいて動画像内の移動物体を分割ブロック単位で抽出するようにしたことを特徴とする移動物体抽出装置。 Moving object extraction device for extracting moving object in moving picture by using moving picture encoded using inter-frame predictive coding with variable divided block size and intra-frame predictive coding with variable divided block size In
First moving object estimation means for estimating whether the block is included in the moving object region based on the predictive coding mode and the divided block size;
For the block in the inter-frame predictive coding mode estimated as a block included in the moving object region by the first moving object estimation means, the first moving object estimation unit estimates whether each divided block is a moving object region based on a motion vector. Two moving object estimation means;
A third moving object estimation unit estimates whether the block is in a moving object region based on a determination result in a previous frame with respect to a block in an intra-frame predictive coding mode estimated as a block included in the moving object region. A moving object estimation means,
A moving object extraction apparatus characterized in that a moving object in a moving image is extracted in units of divided blocks based on the determination results in the second and third moving object estimation means.
The third moving object estimation means is determined as a moving object at the same position of the immediately preceding frame with respect to the block encoded in the intra-frame prediction encoding mode, and calculates the motion back from the motion vector. 7. The moving object extraction apparatus according to claim 6, wherein a divided block that can be estimated as a moving object disappearing from the divided block is estimated as a non-moving object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005050734A JP4573297B2 (en) | 2005-02-25 | 2005-02-25 | Moving object extraction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005050734A JP4573297B2 (en) | 2005-02-25 | 2005-02-25 | Moving object extraction device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006236063A true JP2006236063A (en) | 2006-09-07 |
| JP4573297B2 JP4573297B2 (en) | 2010-11-04 |
Family
ID=37043635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005050734A Expired - Fee Related JP4573297B2 (en) | 2005-02-25 | 2005-02-25 | Moving object extraction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4573297B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012043222A (en) * | 2010-08-19 | 2012-03-01 | Univ Of Electro-Communications | Moving object detection device, moving object detection method, and program |
| JP2014158164A (en) * | 2013-02-15 | 2014-08-28 | Mitsubishi Electric Corp | Image encoder |
| JP2015507796A (en) * | 2011-12-30 | 2015-03-12 | インテル コーポレイション | Object detection using motion estimation |
-
2005
- 2005-02-25 JP JP2005050734A patent/JP4573297B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012043222A (en) * | 2010-08-19 | 2012-03-01 | Univ Of Electro-Communications | Moving object detection device, moving object detection method, and program |
| JP2015507796A (en) * | 2011-12-30 | 2015-03-12 | インテル コーポレイション | Object detection using motion estimation |
| US9525803B2 (en) | 2011-12-30 | 2016-12-20 | Intel Corporation | Object detection using motion estimation |
| JP2014158164A (en) * | 2013-02-15 | 2014-08-28 | Mitsubishi Electric Corp | Image encoder |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4573297B2 (en) | 2010-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1993292B1 (en) | Dynamic image encoding method and device and program using the same | |
| US8000393B2 (en) | Video encoding apparatus and video encoding method | |
| WO2006073116A1 (en) | Video encoding method and device, video decoding method and device, program thereof, and recording medium containing the program | |
| JP5248632B2 (en) | Techniques for motion estimation | |
| JP5426655B2 (en) | Compressed video encoding device, compressed video decoding device, compressed video encoding method, and compressed video decoding method | |
| JPWO2009037828A1 (en) | Image coding apparatus and image decoding apparatus | |
| KR20120139552A (en) | Method and a digital video encoder system for encoding digital video data | |
| TWI511531B (en) | Video coding apparatus, video coding method, and video coding program | |
| JP2012034225A (en) | Motion vector detection device, motion vector detection method and computer program | |
| JP4328000B2 (en) | Moving picture coding apparatus and moving picture special effect scene detecting apparatus | |
| JP2007096679A (en) | Method of encoding and decoding moving picture | |
| JP5748225B2 (en) | Moving picture coding method, moving picture coding apparatus, and moving picture coding program | |
| CN113613020A (en) | Encoding and decoding method, device and equipment | |
| JP4573297B2 (en) | Moving object extraction device | |
| US20090086821A1 (en) | Image processing apparatus and method thereof | |
| JP2009260421A (en) | Moving image processing system, encoding device, encoding method, encoding program, decoding device, decoding method and decoding program | |
| JP4677351B2 (en) | Motion compensator, motion compensation processing method, computer program, and storage medium | |
| JP3732760B2 (en) | Object recognition apparatus and object recognition method | |
| JP2008028707A (en) | Picture quality evaluating device, encoding device, and picture quality evaluating method | |
| JP4624308B2 (en) | Moving picture decoding apparatus and moving picture decoding method | |
| JP5727398B2 (en) | Moving picture coding method, moving picture coding apparatus, and moving picture coding program | |
| KR20070090494A (en) | Inter frame error concealment method and apparatus using the average motion vector | |
| JP2012124851A (en) | Motion compensation encoder, motion compensation encoding method and program | |
| KR101021538B1 (en) | Fast Intra Mode Decision Method in H.264 Encoding | |
| JP5693628B2 (en) | Image decoding device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070912 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100811 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100812 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |