JP2007081548A - Motion vector searching device - Google Patents
Motion vector searching device Download PDFInfo
- Publication number
- JP2007081548A JP2007081548A JP2005263929A JP2005263929A JP2007081548A JP 2007081548 A JP2007081548 A JP 2007081548A JP 2005263929 A JP2005263929 A JP 2005263929A JP 2005263929 A JP2005263929 A JP 2005263929A JP 2007081548 A JP2007081548 A JP 2007081548A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- search
- input image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本発明は、ＭＰＥＧ（Moving Picture Experts Group）のように、時間方向の画像の相関を利用して動画像を圧縮する動画像圧縮方式における動きベクトルを探索する装置に関する。 The present invention relates to an apparatus for searching for a motion vector in a moving image compression method that compresses a moving image using correlation of images in the time direction, such as MPEG (Moving Picture Experts Group).
デジタルビデオカメラ等で利用されるＭＰＥＧ等のリアルタイム動画像圧縮方式では、時間方向に隣接する画像間での相関が非常に高いことを利用し、差分成分のみを抽出して動画像を圧縮することで、高い圧縮率を実現している。さらに、ＭＰＥＧ等の動画圧縮方式では、画像を１６画素×１６画素等のサイズの細かい矩形領域に分割し、矩形領域毎に時間方向で隣接する画像から似ている領域を検出し、差分成分の情報量を少なくする技術が利用されている。 In real-time video compression methods such as MPEG used in digital video cameras, etc., the fact that the correlation between images adjacent in the time direction is very high is used, and only the difference component is extracted to compress the video. With this, a high compression ratio is achieved. Furthermore, in a moving image compression method such as MPEG, an image is divided into small rectangular areas of 16 pixels × 16 pixels, and similar areas are detected from adjacent images in the time direction for each rectangular area. Technologies that reduce the amount of information are used.
そのために、時間方向に隣接するフレーム間で要素が移動した向きと長さを表す動きベクトルの探索が必要になる。動きベクトル探索の１つとして、追跡型探索方式がある（例えば、下記の非特許文献１参照）。
Therefore, it is necessary to search for a motion vector representing the direction and length in which the element has moved between frames adjacent in the time direction. As one of the motion vector searches, there is a tracking type search method (see, for example, Non-Patent
この方式では、まず、現フレームの対象矩形領域における追跡開始点としてある動きベクトルを決め、そのベクトルの終点を中心に１画素ずつ上下左右にずらした計５つのベクトルを生成する。次に、これらのベクトルが指す参照フレームの５つの矩形領域と現フレームの対象矩形領域とのマッチングを行い、差分絶対値和等の差分成分が最小になるベクトルを求める。 In this method, first, a motion vector as a tracking start point in the target rectangular area of the current frame is determined, and a total of five vectors are generated that are shifted up, down, left, and right by one pixel around the end point of the vector. Next, the five rectangular areas of the reference frame pointed to by these vectors are matched with the target rectangular area of the current frame to obtain a vector that minimizes the difference component such as the sum of absolute differences.
そして、中心のベクトルが指す矩形領域が最小値を持つならば探索を終了し、そうでなければ、他のベクトルの中で最小値を持つベクトルを次の中心としてさらに探索を続け、差分成分がより小さくなる動きベクトルを探索する。
しかしながら、上述した従来の動きベクトル探索には、次のような問題がある。
追跡型探索方式では、何らかのアルゴリズムで追跡開始点を決定する必要がある。従来の追跡開始点決定方法では、対象矩形領域の周辺の矩形領域において既に求められた動きベクトルを利用して追跡開始点を求めていた。
However, the above-described conventional motion vector search has the following problems.
In the tracking type search method, it is necessary to determine the tracking start point by some algorithm. In the conventional tracking start point determination method, the tracking start point is obtained using the motion vector already obtained in the rectangular area around the target rectangular area.
しかし、動物体と背景の境界部分のように、動きベクトルが大きく変化する領域では、探索処理の負荷が増加したり、差分成分が最小となるベクトルが見つけられなくなったりして、探索精度が劣化する。 However, in areas where the motion vector changes greatly, such as the boundary between the moving object and the background, the search processing load increases, or the vector with the smallest difference component cannot be found, resulting in poor search accuracy. To do.
カメラが固定されていれば、背景も固定されていると考えて、動きベクトルの成分を０にした点を追跡開始点候補として追加するのみで問題を回避できるが、ズームやパン等のカメラ操作には対応できない。また、デジタルビデオカメラのようにハンディタイプのものでは、手ぶれにより画像全体が大きく揺れるため、追跡開始点を見つけられないといった問題もある。 If the camera is fixed, the background is also fixed, and the problem can be avoided by simply adding a point with the motion vector component set to 0 as a tracking start point candidate, but camera operations such as zooming and panning Can not respond. In addition, in the case of a handy type camera such as a digital video camera, there is a problem that the tracking start point cannot be found because the entire image is greatly shaken by camera shake.
本発明の課題は、追跡型探索方式の動きベクトル探索において、動きベクトルが大きく変化する場合でも、適当な追跡開始点を決定できるようにすることである。 An object of the present invention is to make it possible to determine an appropriate tracking start point even when a motion vector greatly changes in a motion vector search of a tracking type search method.
図１は、本発明の動きベクトル探索装置の原理図である。図１の動きベクトル探索装置は、記憶手段１０１、第１の推定手段１０２、第２の推定手段１０３、および探索手段１０４を備え、動画像を構成する入力画像を複数の矩形領域に分割して、入力画像の対象矩形領域と参照画像の相関を表す動きベクトルを探索する。
FIG. 1 is a principle diagram of a motion vector search apparatus according to the present invention. The motion vector search apparatus of FIG. 1 includes a
記憶手段１０１は、過去画像の所定領域の動きベクトルを記憶する。第１の推定手段１０２は、過去画像の所定領域の動きベクトルを用いて、入力画像の所定領域の推定動きベクトルを求め、第２の推定手段１０３は、入力画像の所定領域の推定動きベクトルを用いて、対象矩形領域の推定動きベクトルを求める。探索手段１０４は、対象矩形領域の推定動きベクトルを追跡開始点候補として用いて追跡型探索を行い、対象矩形領域の動きベクトルを出力する。
The
第１の推定手段１０２は、過去に入力された画像の所定領域の動きベクトルを用いて、現フレームの所定領域の推定動きベクトルを求め、第２の推定手段１０３に出力する。第２の推定手段１０３は、第１の推定手段１０２から受け取った推定動きベクトルを用いて、現フレームの対象矩形領域の推定動きベクトルを求め、追跡開始点候補として探索手段１０４に出力する。したがって、現フレームの対象矩形領域の周辺の矩形領域において求められた動きベクトルではなく、過去に入力された画像の動きベクトルを用いて追跡型探索の追跡開始点が決定される。 The first estimation means 102 obtains an estimated motion vector of a predetermined area of the current frame using a motion vector of a predetermined area of an image input in the past, and outputs it to the second estimation means 103. The second estimation means 103 obtains an estimated motion vector of the target rectangular area of the current frame using the estimated motion vector received from the first estimation means 102, and outputs it to the search means 104 as a tracking start point candidate. Accordingly, the tracking start point of the tracking type search is determined using the motion vector of the image input in the past, not the motion vector obtained in the rectangular region around the target rectangular region of the current frame.
記憶手段１０１、第１の推定手段１０２、および第２の推定手段１０３は、例えば、後述する図３の過去画像動きベクトル記憶部３０２、画像全体動きベクトル推定部３０３、および矩形領域動きベクトル推定部３０４にそれぞれ対応する。また、探索手段１０４は、例えば、図３の差分絶対値和計算部３０５および追跡型探索制御部３０６に対応する。
The
本発明によれば、周辺の矩形領域における動きベクトルから対象矩形領域の適当な追跡開始点を決定できない場合でも、過去画像の動きベクトルから追跡開始点を決定することができる。したがって、現フレーム内の動きベクトルが大きく変化する場合でも、追跡開始点を効率よく決定して、追跡型探索を継続することが可能になる。 According to the present invention, it is possible to determine the tracking start point from the motion vector of the past image even when an appropriate tracking start point of the target rectangular region cannot be determined from the motion vector in the surrounding rectangular region. Therefore, even when the motion vector in the current frame changes greatly, it is possible to efficiently determine the tracking start point and continue the tracking type search.
以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
本実施形態では、対象矩形領域の周辺矩形領域における動きベクトルだけではなく、過去の画像における動きベクトルからも対象矩形領域の動きベクトルを推定し、推定された動きベクトルを追跡開始点候補とする。そして、その動きベクトルを用いて対象矩形領域の差分絶対値和を求める。周辺矩形領域における動きベクトルについても同じように差分絶対値和を求め、差分絶対値和が最小となる動きベクトルを追跡開始点と決定する。
The best mode for carrying out the present invention will be described below in detail with reference to the drawings.
In the present embodiment, the motion vector of the target rectangular area is estimated not only from the motion vector in the surrounding rectangular area of the target rectangular area but also from the motion vector in the past image, and the estimated motion vector is set as the tracking start point candidate. Then, the sum of absolute differences of the target rectangular area is obtained using the motion vector. The difference absolute value sum is similarly obtained for the motion vectors in the peripheral rectangular area, and the motion vector having the minimum difference absolute value sum is determined as the tracking start point.
図２は、動画像を圧縮するＭＰＥＧ系エンコーダの構成例を示している。このＭＰＥＧ系エンコーダは、動きベクトル探索部２０１、直交変換／量子化部２０２、可変長符号化部２０３、フレームメモリ２０４、動き補償部２０５、および逆量子化／逆直交変換部２０６を備える。
FIG. 2 shows a configuration example of an MPEG encoder that compresses a moving image. This MPEG encoder includes a motion
動きベクトル探索部２０１は、入力画像とフレームメモリ２０４に格納された参照画像から各矩形領域の動きベクトルを生成し、直交変換／量子化部２０２は、それぞれの動きベクトルが示す差分成分の直交変換および量子化を行う。可変長符号化部２０３は、直交変換／量子化部２０２の出力を符号化し、ビットストリームとして出力する。
The motion
逆量子化／逆直交変換部２０６は、直交変換／量子化部２０２の出力の逆量子化および逆直交変換を行い、動き補償部２０５は、逆量子化／逆直交変換部２０６の出力を用いて各矩形領域の動きを補償し、参照画像を生成してフレームメモリ２０４に出力する。
The inverse quantization / inverse
図３は、図２の動きベクトル探索部２０１の構成例を示している。この動きベクトル探索部２０１は、動きベクトル集計部３０１、過去画像動きベクトル記憶部３０２、画像全体動きベクトル推定部３０３、矩形領域動きベクトル推定部３０４、差分絶対値和計算部３０５、および追跡型探索制御部３０６を備える。
FIG. 3 shows a configuration example of the motion
過去画像動きベクトル記憶部３０２は、過去の画像から求められた、画像の四隅の所定領域内の動きベクトルを蓄積する。１つの入力画像（現フレーム）の動きベクトル探索開始時には、画像全体動きベクトル推定部３０３は、過去画像動きベクトル記憶部３０２に蓄積された動きベクトルを元に線形予測を行い、現フレームの画像の四隅の動きベクトルを推定して、矩形領域動きベクトル推定部３０４に出力する。
The past image motion
画像内の各矩形領域の動きベクトル探索開始時には、矩形領域動きベクトル推定部３０４は、現フレームの画像内における対象矩形領域の位置に合わせて四隅の動きベクトルを内分することで、対象矩形領域の動きベクトルを推定し、追跡開始点候補として追跡型探索制御部３０６に出力する。
When starting the motion vector search for each rectangular area in the image, the rectangular area motion
追跡型探索制御部３０６は、対象矩形領域の周辺矩形領域における動きベクトル等を別の追跡開始点候補として求め、矩形領域動きベクトル推定部３０４から受け取った追跡開始点候補とともに、差分絶対値和計算部３０５に供給する。
The tracking-type
差分絶対値和計算部３０５は、それぞれの動きベクトルについて対象矩形領域の差分絶対値和を計算し、得られた値を追跡型探索制御部３０６に返す。このとき、現フレームの対象矩形領域と、各動きベクトルが指す参照画像の矩形領域との間で、差分絶対値和が計算される。
The difference absolute value
追跡型探索制御部３０６は、差分絶対値和が最小となる動きベクトルを追跡開始点と決定する。そして、その追跡開始点を用いた追跡型探索を行って、対象矩形領域での動きベクトルを求め出力する。対象矩形領域が画像の四隅の所定領域に属する場合には、追跡型探索制御部３０６から出力された動きベクトルが、動きベクトル集計部３０１に格納される。
The tracking-type
現フレームのすべての矩形領域について動きベクトル探索が終了すると、動きベクトル集計部３０１は、画像の四隅の各所定領域に属する複数の矩形領域の動きベクトルの代表値を求める。そして、４つの代表値を画像全体の動きベクトルとして、過去画像動きベクトル記憶部３０２および画像全体動きベクトル推定部３０３に出力する。
When the motion vector search is completed for all the rectangular areas of the current frame, the motion
過去画像動きベクトル記憶部３０２は、次フレーム以降の画像の動きベクトルを推定するために、受け取った画像全体の動きベクトルを記憶する。画像全体動きベクトル推定部３０３は、受け取った画像全体の動きベクトルを用いて線形予測のパラメータを更新する。
The past image motion
このような追跡型探索によれば、周辺矩形領域における動きベクトルから対象矩形領域の追跡開始点を決定することが困難な場合でも、過去画像の四隅の動きベクトルから追跡開始点候補を生成して、追跡開始点を決定することができる。したがって、現フレーム内の動きベクトルが大きく変化する場合でも、追跡型探索を継続することが可能になる。 According to such a tracking type search, even when it is difficult to determine the tracking start point of the target rectangular area from the motion vectors in the surrounding rectangular area, the tracking start point candidates are generated from the motion vectors at the four corners of the past image. The tracking start point can be determined. Therefore, even when the motion vector in the current frame changes greatly, it is possible to continue the tracking type search.
次に、図４から図８までを参照しながら、図３の動きベクトル探索部２０１の動作をより具体的に説明する。
図４は、動きベクトル集計部３０１の構成例を示している。動きベクトル集計部３０１は、代表値計算部４０１−１〜４０１−４、左上ベクトル記憶部４０２−１、右上ベクトル記憶部４０２−２、左下ベクトル記憶部４０２−３、右下ベクトル記憶部４０２−４、および四隅選択部４０３を含む。
Next, the operation of the motion
FIG. 4 shows a configuration example of the motion
例えば、図５に示すように、１フレームの画面を横に４５個、縦に３６個の矩形領域に分割し、四隅の各所定領域５０１−１〜５０１−４のサイズを１０％とすると、各領域５０１−１〜５０１−４は４個×３個の矩形領域からなる。 For example, as shown in FIG. 5, when a screen of one frame is divided into 45 rectangular areas and 36 vertical areas, and the size of each of the predetermined areas 501-1 to 501-4 at the four corners is 10%, Each area 501-1 to 501-4 is composed of 4 × 3 rectangular areas.
ここで、横方向および縦方向をそれぞれｘ軸およびｙ軸とし、左上の矩形領域の座標を（０，０）として、対象矩形領域の座標を（ｘ，ｙ）で表すと、ｘおよびｙが以下の条件を満たすときに、対象矩形領域は領域５０１−１〜５０１−４の１つに属することになる。
（１）ｘ＜４ かつ ｙ＜３ ：領域５０１−１
（２）ｘ＞４０ かつ ｙ＜３ ：領域５０１−２
（３）ｘ＜４ かつ ｙ＞３２ ：領域５０１−３
（４）ｘ＞４０ かつ ｙ＞３２：領域５０１−４
四隅選択部４０３は、追跡型探索制御部３０６から、対象矩形領域の位置情報として座標（ｘ，ｙ）を受け取り、上記条件を満たすか否かを判定する。そして、条件（１）、（２）、（３）、または（４）が満たされれば、追跡型探索制御部３０６から受け取った動きベクトルを、左上ベクトル記憶部４０２−１、右上ベクトル記憶部４０２−２、左下ベクトル記憶部４０２−３、または右下ベクトル記憶部４０２−４に出力する。いずれの条件も満たされなければ、動きベクトルを廃棄する。記憶部４０２−１〜４０２−４は、それぞれ１２個の動きベクトルを記憶する配列で構成され、四隅選択部４０３から受け取った動きベクトルを保持する。
Here, when the horizontal direction and the vertical direction are the x axis and the y axis, respectively, the coordinates of the upper left rectangular area are (0, 0) and the coordinates of the target rectangular area are represented by (x, y), x and y are When the following conditions are satisfied, the target rectangular area belongs to one of the areas 501-1 to 501-4.
(1) x <4 and y <3: Region 501-1
(2) x> 40 and y <3: region 501-2
(3) x <4 and y> 32: region 501-3
(4) x> 40 and y> 32: region 501-4
The four
１フレームのすべての矩形領域について追跡型探索が終了すると、代表値計算部４０１−１は、記憶部４０２−１に格納された１２個の動きベクトルの平均値や最頻値等を求め、所定領域５０１−１の代表値として出力する。同様に、代表値計算部４０１−２〜４０１−４は、それぞれ記憶部４０２−２〜４０１−４に格納された１２個の動きベクトルから所定領域５０１−２〜５０１−４の代表値を求めて出力する。 When the tracking-type search is completed for all rectangular areas in one frame, the representative value calculation unit 401-1 obtains an average value, a mode value, and the like of the 12 motion vectors stored in the storage unit 402-1 and determines a predetermined value. Output as a representative value of the region 501-1. Similarly, the representative value calculation units 401-2 to 401-4 obtain the representative values of the predetermined areas 501-2 to 501-4 from the 12 motion vectors stored in the storage units 402-2 to 401-4, respectively. Output.
こうして、代表値計算部４０１−１〜４０１−４から出力された４個の動きベクトルが、集計された画像の四隅の動きベクトルとして、過去画像動きベクトル記憶部３０２および画像全体動きベクトル推定部３０３に転送される。
In this way, the four motion vectors output from the representative value calculation units 401-1 to 401-4 are used as the motion vectors at the four corners of the aggregated image, and the past image motion
なお、１フレームの画面の分割方法は図５の方法に限られることはなく、画像の四隅の所定領域５０１−１〜５０１−４のサイズは１０％に限られることはない。
図６は、過去画像動きベクトル記憶部３０２の構成例を示している。過去画像動きベクトル記憶部３０２は、動きベクトル集計部３０１から受け取った画像の四隅の動きベクトルを、どのフレームの画像であるかを示す画像番号と対応付けて格納する。これにより、例えば、数枚分の過去画像の四隅の動きベクトルが蓄積され、画像全体動きベクトル推定部３０３に出力される。
Note that the method of dividing the screen of one frame is not limited to the method of FIG. 5, and the size of the predetermined areas 501-1 to 501-4 at the four corners of the image is not limited to 10%.
FIG. 6 shows a configuration example of the past image motion
図７は、画面全体動きベクトル推定部３０３の構成例を示している。画面全体動きベクトル推定部３０３は、線形予測係数記憶部７０１に格納された係数を用いて、過去画像の四隅の動きベクトルから現フレームの画像の四隅の動きベクトルを推定する。
FIG. 7 shows a configuration example of the entire screen motion
例えば、ｋ枚の過去画像を用いる場合、現フレームの画像番号をｎ、画像番号ｉの過去画像の四隅の動きベクトルをＧＭＶ（ｉ）（ｉ＝ｎ−１，．．．，ｎ−ｋ）、現フレームの画像の四隅の推定動きベクトルをｐＧＭＶ（ｎ）とすると、ＧＭＶ（ｉ）およびｐＧＭＶ（ｎ）は、次のように表される。
ＧＭＶ（ｉ）＝
（ＧＭＶｔｏｐ＿ｌｅｆｔ（ｉ），ＧＭＶｔｏｐ＿ｒｉｇｈｔ（ｉ），
ＧＭＶｂｏｔｔｏｍ＿ｌｅｆｔ（ｉ），ＧＭＶｂｏｔｔｏｍ＿ｒｉｇｈｔ（ｉ））
ＧＭＶｔｏｐ＿ｌｅｆｔ（ｉ） ：画像番号ｉの左上隅の動きベクトル
ＧＭＶｔｏｐ＿ｒｉｇｈｔ（ｉ） ：画像番号ｉの右上隅の動きベクトル
ＧＭＶｂｏｔｔｏｍ＿ｌｅｆｔ（ｉ） ：画像番号ｉの左下隅の動きベクトル
ＧＭＶｂｏｔｔｏｍ＿ｒｉｇｈｔ（ｉ）：画像番号ｉの右下隅の動きベクトル
ｐＧＭＶ（ｎ）＝
（ｐＧＭＶｔｏｐ＿ｌｅｆｔ（ｎ），ｐＧＭＶｔｏｐ＿ｒｉｇｈｔ（ｎ），
ｐＧＭＶｂｏｔｔｏｍ＿ｌｅｆｔ（ｎ），ｐＧＭＶｂｏｔｔｏｍ＿ｒｉｇｈｔ（ｎ））
ｐＧＭＶｔｏｐ＿ｌｅｆｔ（ｎ） ：画像番号ｎの左上隅の動きベクトル
ｐＧＭＶｔｏｐ＿ｒｉｇｈｔ（ｎ） ：画像番号ｎの右上隅の動きベクトル
ｐＧＭＶｂｏｔｔｏｍ＿ｌｅｆｔ（ｎ） ：画像番号ｎの左下隅の動きベクトル
ｐＧＭＶｂｏｔｔｏｍ＿ｒｉｇｈｔ（ｎ）：画像番号ｎの右下隅の動きベクトル
左上隅、右上隅、左下隅、および右下隅の動きベクトルは、それぞれがｘ成分とｙ成分からなるので、ＧＭＶ（ｉ）およびｐＧＭＶ（ｎ）はともに８個の成分からなるベクトルである。
For example, when k past images are used, the image number of the current frame is n, and the motion vectors at the four corners of the past image of image number i are GMV (i) (i = n−1,..., N−k). When the estimated motion vectors at the four corners of the image of the current frame are pGMV (n), GMV (i) and pGMV (n) are expressed as follows.
GMV (i) =
(GMVtop_left (i), GMVtop_right (i),
GMVbottom_left (i), GMVbottom_right (i))
GMVtop_left (i): motion vector at the upper left corner of the image number i GMVtop_right (i): motion vector at the upper right corner of the image number i GMVbottom_left (i): motion vector GMVbottom_right (i) at the lower left corner of the image number i Motion vector of the lower right corner of
pGMV (n) =
(PGMVtop_left (n), pGMVtop_right (n),
pGMVbottom_left (n), pGMVbottom_right (n))
pGMVtop_left (n): motion vector at the upper left corner of the image number n pGMVtop_right (n): motion vector at the upper right corner of the image number n pGMVbottom_left (n): motion vector pGMVbottom_right number at the lower left corner of the image number n Motion vector of the lower right corner of
Since the motion vectors at the upper left corner, the upper right corner, the lower left corner, and the lower right corner are each composed of an x component and a y component, GMV (i) and pGMV (n) are both vectors composed of eight components.
画面全体動きベクトル推定部３０３は、線形予測係数記憶部７０１に格納されたｋ個の係数行列Ａｊ（ｊ＝１，２，．．．，ｋ）を用いて次式のような線形演算を行い、ｐＧＭＶ（ｎ）を求める。
ｐＧＭＶ（ｎ）＝Ａ１・ＧＭＶ（ｎ−１）＋Ａ２・ＧＭＶ（ｎ−２）＋・・・
＋Ａｋ・ＧＭＶ（ｎ−ｋ） （１）
ただし、（１）式において、ＧＭＶ（ｉ）およびｐＧＭＶ（ｎ）は、それぞれ８個の成分からなる列ベクトルを表し、係数行列Ａｊは、線形予測係数を成分とする８行８列の行列を表す。こうして求められたｐＧＭＶ（ｎ）は、推定結果として矩形領域動きベクトル推定部３０４に出力される。
The entire screen motion
pGMV (n) = A1 · GMV (n−1) + A2 · GMV (n−2) +.
+ Ak · GMV (n−k) (1)
However, in the equation (1), GMV (i) and pGMV (n) each represent a column vector consisting of 8 components, and the coefficient matrix Aj is an 8-by-8 matrix having linear prediction coefficients as components. To express. The pGMV (n) thus obtained is output to the rectangular area motion
また、現フレームの追跡型探索が終了して、動きベクトル集計部３０１が画像番号ｎの四隅の動きベクトルＧＭＶ（ｎ）を出力したとき、画面全体動きベクトル推定部３０３は、線形予測係数記憶部７０１内の係数行列Ａｊの各係数を更新する。このとき、計算されたｐＧＭＶ（ｎ）と動きベクトル集計部３０１から受け取ったＧＭＶ（ｎ）が比較され、ｐＧＭＶ（ｎ）とＧＭＶ（ｎ）の二乗誤差が最小になるように、各係数が更新される。更新アルゴリズムとしては、例えば、信号処理の分野で一般的な最急降下法やニュートン法等が用いられる。
When the tracking type search of the current frame is completed and the motion
図８は、矩形領域動きベクトル推定部３０４の構成例を示している。矩形領域動きベクトル推定部３０４は、画面全体動きベクトル推定部３０３から受け取った画像の四隅の動きベクトルから、現フレームの各矩形領域の動きベクトルを推定する。
FIG. 8 shows a configuration example of the rectangular area motion
図５に示した画面の横幅をＷ、高さをＨ、対象矩形領域５０２の座標を（ｘ，ｙ）とすると、画像番号ｎの対象矩形領域５０２の推定動きベクトルｐＭＶ（ｘ，ｙ）は、例えば、次式のような内分計算により求められる。
ｐＭＶ（ｘ，ｙ）＝
ｐＧＭＶｔｏｐ＿ｌｅｆｔ（ｎ）＊（（Ｗ−ｘ）／Ｗ）＊（（Ｈ−ｙ）／Ｈ）＋
ｐＧＭＶｔｏｐ＿ｒｉｇｈｔ＊（ｘ／Ｗ）＊（（Ｈ−ｙ）／Ｈ）＋
ｐＧＭＶｂｏｔｔｏｍ＿ｌｅｆｔ（ｎ）＊（（Ｗ−ｘ）／Ｗ）＊（ｙ／Ｈ）＋
ｐＧＭＶｂｏｔｔｏｍ＿ｒｉｇｈｔ（ｎ）＊（ｘ／Ｗ）＊（ｙ／Ｈ） （２）
矩形領域動きベクトル推定部３０４は、座標（ｘ，ｙ）の値を変えながら各矩形領域についてｐＭＶ（ｘ，ｙ）を求め、追跡開始点候補として追跡型探索制御部３０６に出力する。
If the horizontal width of the screen shown in FIG. 5 is W, the height is H, and the coordinates of the target
pMV (x, y) =
pGMVtop_left (n) * ((W−x) / W) * ((H−y) / H) +
pGMVtop_right * (x / W) * ((H−y) / H) +
pGMVbottom_left (n) * ((W−x) / W) * (y / H) +
pGMVbottom_right (n) * (x / W) * (y / H) (2)
The rectangular area motion
以上説明した実施形態においては、画像の四隅の所定領域の動きベクトルを用いて各矩形領域の動きベクトルを推定しているが、四隅のうち一部の動きベクトルのみを用いてもよい。また、これらの所定領域を画像内の別の位置に設定することも可能である。 In the embodiment described above, the motion vector of each rectangular area is estimated using the motion vectors of the predetermined areas at the four corners of the image, but only a part of the motion vectors of the four corners may be used. It is also possible to set these predetermined areas at different positions in the image.
さらに、動きベクトル集計部３０１、画像全体動きベクトル推定部３０３、および矩形領域動きベクトル推定部３０４の構成と計算アルゴリズムは、上述したものに限られるわけではなく、適宜、変更することが可能である。
Furthermore, the configurations and calculation algorithms of the motion
（付記１） 動画像を構成する入力画像を複数の矩形領域に分割して、該入力画像の対象矩形領域と参照画像の相関を表す動きベクトルを探索する動きベクトル探索装置であって、
過去画像の所定領域の動きベクトルを記憶する記憶手段と、
前記過去画像の所定領域の動きベクトルを用いて、前記入力画像の所定領域の推定動きベクトルを求める第１の推定手段と、
前記入力画像の所定領域の推定動きベクトルを用いて、前記対象矩形領域の推定動きベクトルを求める第２の推定手段と、
前記対象矩形領域の推定動きベクトルを追跡開始点候補として用いて追跡型探索を行い、該対象矩形領域の動きベクトルを出力する探索手段と
を備えることを特徴とする動きベクトル探索装置。
（付記２） 前記過去画像の所定領域が複数の矩形領域からなるとき、該複数の矩形領域の動きベクトルから代表値を計算し、該代表値を前記過去画像の所定領域の動きベクトルとして前記記憶手段に出力する集計手段をさらに備えることを特徴とする付記１記載の動きベクトル探索装置。
（付記３） 前記集計手段は、前記探索手段から出力される前記入力画像の各対象矩形領域の動きベクトルから、該入力画像の所定領域の動きベクトルを求め、前記第１の推定手段は、線形予測係数を記憶する係数記憶手段を含み、前記過去画像の所定領域の動きベクトルと該線形予測係数を用いた線形演算を行って、前記入力画像の所定領域の推定動きベクトルを計算し、得られた推定動きベクトルと前記集計手段が求めた前記入力画像の所定領域の動きベクトルを比較して、該線形予測係数を更新することを特徴とする付記２記載の動きベクトル探索装置。
（付記４） 前記記憶手段は、前記過去画像の四隅の所定領域の動きベクトルを記憶し、前記第１の推定手段は、該過去画像の四隅の所定領域の動きベクトルを用いて、前記入力画像の四隅の所定領域の推定動きベクトルを求め、前記第２の推定手段は、該入力画像の四隅の所定領域の推定動きベクトルを用いて、前記対象矩形領域の推定動きベクトルを求めることを特徴とする付記１、２、または３記載の動きベクトル探索装置。
（付記５） 前記記憶手段は、複数の過去画像の所定領域の動きベクトルを記憶し、前記第１の推定手段は、該複数の過去画像の所定領域の動きベクトルを用いて、前記入力画像の所定領域の推定動きベクトルを求めることを特徴とする付記１、２、３、または４記載の動きベクトル探索装置。
（付記６） 動画像を構成する入力画像を複数の矩形領域に分割して、該入力画像の対象矩形領域と参照画像の相関を表す動きベクトルを探索する動きベクトル探索方法であって、
過去画像の所定領域の動きベクトルを動きベクトル記憶手段に格納し、
前記過去画像の所定領域の動きベクトルを用いて、前記入力画像の所定領域の推定動きベクトルを求め、
前記入力画像の所定領域の推定動きベクトルを用いて、前記対象矩形領域の推定動きベクトルを求め、
前記対象矩形領域の推定動きベクトルを追跡開始点候補として用いて追跡型探索を行い、該対象矩形領域の動きベクトルを求める
ことを特徴とする動きベクトル探索方法。
(Supplementary note 1) A motion vector search device that divides an input image constituting a moving image into a plurality of rectangular regions and searches for a motion vector representing a correlation between the target rectangular region of the input image and a reference image,
Storage means for storing a motion vector of a predetermined area of the past image;
First estimation means for obtaining an estimated motion vector of a predetermined area of the input image using a motion vector of the predetermined area of the past image;
Second estimation means for obtaining an estimated motion vector of the target rectangular area using an estimated motion vector of the predetermined area of the input image;
A motion vector search apparatus comprising: search means for performing a tracking type search using the estimated motion vector of the target rectangular area as a tracking start point candidate and outputting a motion vector of the target rectangular area.
(Supplementary Note 2) When the predetermined area of the past image includes a plurality of rectangular areas, a representative value is calculated from the motion vectors of the plurality of rectangular areas, and the representative value is stored as the motion vector of the predetermined area of the past image. The motion vector search apparatus according to
(Additional remark 3) The said total means calculates | requires the motion vector of the predetermined area | region of the said input image from the motion vector of each object rectangular area of the said input image output from the said search means, The said 1st estimation means is linear A coefficient storage means for storing a prediction coefficient, and performing a linear operation using the motion vector of the predetermined area of the past image and the linear prediction coefficient to calculate an estimated motion vector of the predetermined area of the input image; The motion vector search apparatus according to
(Additional remark 4) The said memory | storage means memorize | stores the motion vector of the predetermined area | region of the four corners of the said past image, The said 1st estimation means uses the motion vector of the predetermined area | region of the four corners of the said past image, and the said input image The estimated motion vectors of the predetermined areas at the four corners of the input image are obtained, and the second estimating means obtains estimated motion vectors of the target rectangular area using the estimated motion vectors of the predetermined areas at the four corners of the input image. The motion vector search device according to
(Additional remark 5) The said memory | storage means memorize | stores the motion vector of the predetermined area | region of several past images, The said 1st estimation means uses the motion vector of the predetermined area | region of this several past image, The motion vector search device according to
(Supplementary note 6) A motion vector search method for dividing a input image constituting a moving image into a plurality of rectangular regions and searching for a motion vector representing a correlation between a target rectangular region of the input image and a reference image,
Storing the motion vector of a predetermined area of the past image in the motion vector storage means;
Using the motion vector of the predetermined area of the past image, an estimated motion vector of the predetermined area of the input image is obtained,
Using the estimated motion vector of the predetermined area of the input image, obtain the estimated motion vector of the target rectangular area,
A motion vector search method characterized in that a tracking type search is performed using an estimated motion vector of the target rectangular area as a tracking start point candidate to obtain a motion vector of the target rectangular area.
１０１ 記憶手段
１０２ 第１の推定手段
１０３ 第２の推定手段
１０４ 探索手段
２０１ 動きベクトル探索部
２０２ 直交変換／量子化部
２０３ 可変長符号化部
２０４ フレームメモリ
２０５ 動き補償部
２０６ 逆量子化／逆直交変換部
３０１ 動きベクトル集計部
３０２ 過去画像動きベクトル記憶部
３０３ 画像全体動きベクトル推定部
３０４ 矩形領域動きベクトル推定部
３０５ 差分絶対値和計算部
３０６ 追跡型探索制御部
４０１−１、４０１−２、４０１−３、４０１−４ 代表値計算部
４０２−１ 左上ベクトル記憶部
４０２−２ 右上ベクトル記憶部
４０２−３ 左下ベクトル記憶部
４０２−４ 右下ベクトル記憶部
４０３ 四隅選択部
５０１−１、５０１−２、５０１−３、５０１−４ 所定領域
５０２ 対象矩形領域
７０１ 線形予測係数記憶部
DESCRIPTION OF
Claims (4)
過去画像の所定領域の動きベクトルを記憶する記憶手段と、
前記過去画像の所定領域の動きベクトルを用いて、前記入力画像の所定領域の推定動きベクトルを求める第１の推定手段と、
前記入力画像の所定領域の推定動きベクトルを用いて、前記対象矩形領域の推定動きベクトルを求める第２の推定手段と、
前記対象矩形領域の推定動きベクトルを追跡開始点候補として用いて追跡型探索を行い、該対象矩形領域の動きベクトルを出力する探索手段と
を備えることを特徴とする動きベクトル探索装置。 A motion vector search device that divides an input image constituting a moving image into a plurality of rectangular regions and searches for a motion vector representing a correlation between a target rectangular region of the input image and a reference image,
Storage means for storing a motion vector of a predetermined area of the past image;
First estimation means for obtaining an estimated motion vector of a predetermined area of the input image using a motion vector of the predetermined area of the past image;
Second estimation means for obtaining an estimated motion vector of the target rectangular area using an estimated motion vector of the predetermined area of the input image;
A motion vector search apparatus comprising: search means for performing a tracking type search using the estimated motion vector of the target rectangular area as a tracking start point candidate and outputting a motion vector of the target rectangular area.
過去画像の所定領域の動きベクトルを動きベクトル記憶手段に格納し、
前記過去画像の所定領域の動きベクトルを用いて、前記入力画像の所定領域の推定動きベクトルを求め、
前記入力画像の所定領域の推定動きベクトルを用いて、前記対象矩形領域の推定動きベクトルを求め、
前記対象矩形領域の推定動きベクトルを追跡開始点候補として用いて追跡型探索を行い、該対象矩形領域の動きベクトルを求める
ことを特徴とする動きベクトル探索方法。 A motion vector search method that divides an input image constituting a moving image into a plurality of rectangular regions and searches for a motion vector representing a correlation between a target rectangular region of the input image and a reference image,
Storing the motion vector of a predetermined area of the past image in the motion vector storage means;
Using the motion vector of the predetermined area of the past image, an estimated motion vector of the predetermined area of the input image is obtained,
Using the estimated motion vector of the predetermined area of the input image, obtain the estimated motion vector of the target rectangular area,
A motion vector search method characterized in that a tracking type search is performed using an estimated motion vector of the target rectangular area as a tracking start point candidate to obtain a motion vector of the target rectangular area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005263929A JP2007081548A (en) | 2005-09-12 | 2005-09-12 | Motion vector searching device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005263929A JP2007081548A (en) | 2005-09-12 | 2005-09-12 | Motion vector searching device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007081548A true JP2007081548A (en) | 2007-03-29 |
Family
ID=37941427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005263929A Withdrawn JP2007081548A (en) | 2005-09-12 | 2005-09-12 | Motion vector searching device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007081548A (en) |
-
2005
- 2005-09-12 JP JP2005263929A patent/JP2007081548A/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101027353B1 (en) | Electronic video image stabilization | |
| JP4991712B2 (en) | Digital image processing apparatus, processing method, and computer program product | |
| US8571105B2 (en) | Enhanced motion estimation method, video encoding method and apparatus using the same | |
| US7889795B2 (en) | Method and apparatus for motion estimation | |
| US20070047649A1 (en) | Method for coding with motion compensated prediction | |
| US20070025443A1 (en) | Moving picture coding apparatus, method and program | |
| JP5426655B2 (en) | Compressed video encoding device, compressed video decoding device, compressed video encoding method, and compressed video decoding method | |
| KR100843418B1 (en) | Apparatus and method for image coding | |
| JP2007166038A (en) | Device and method for detecting motion vector | |
| JP2007124408A (en) | Motion vector detector and motion vector detecting method | |
| JP4709155B2 (en) | Motion detection device | |
| US8379985B2 (en) | Dominant gradient method for finding focused objects | |
| US20050123039A1 (en) | Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method | |
| JP2010057166A (en) | Image coding apparatus, image coding method, integrated circuit, and camera | |
| KR20170126934A (en) | Content-Adaptive B-Picture Pattern Video Encoding | |
| JP2009027446A (en) | Image processing method and image processor | |
| JP4523024B2 (en) | Image coding apparatus and image coding method | |
| KR100926752B1 (en) | Fine Motion Estimation Method and Apparatus for Video Coding | |
| JP2007158855A (en) | Motion vector detector and motion vector detecting method | |
| JP4797999B2 (en) | Image encoding / decoding device | |
| JP2007081548A (en) | Motion vector searching device | |
| JP5322956B2 (en) | Image coding apparatus and image coding method | |
| JP2014200078A (en) | Moving image encoding apparatus and method for controlling the same | |
| JP2004260251A (en) | Apparatus and program of detecting motion vector | |
| JP2018191136A (en) | Encoding device, encoding method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081202 |