JP2853974B2 - Hierarchical motion vector detection method and apparatus - Google Patents
Hierarchical motion vector detection method and apparatusInfo
- Publication number
- JP2853974B2 JP2853974B2 JP6538395A JP6538395A JP2853974B2 JP 2853974 B2 JP2853974 B2 JP 2853974B2 JP 6538395 A JP6538395 A JP 6538395A JP 6538395 A JP6538395 A JP 6538395A JP 2853974 B2 JP2853974 B2 JP 2853974B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- motion vector
- image
- block
- hierarchical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、動画圧縮の中核技術の
一つである「動きベクトル」の検出方法に関し、とく
に、階層型画像情報にブロック・マッチング法を適用す
る検出方法及びその装置の改良に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method of detecting a "motion vector", which is one of the core technologies of moving image compression, and more particularly to a method of detecting a block by applying a block matching method to hierarchical image information and an apparatus therefor. Regarding improvement.
【０００２】[0002]
「動画像圧縮」一般に、動画像の情報量は、静止画像に
比べてはるかに膨大であり、情報伝達メディアや蓄積メ
ディアへの利用に際して静止画以上に効率の高い圧縮技
術が求められる。たとえば、画像圧縮の国際標準化委員
会の一つであるＭＰＥＧ（Moving Picture Experts Gro
up）によって制定された動画像符号化／復号化方式（Ｍ
ＰＥＧ１及びＭＰＥＧ２；以下これらを総称して「ＭＰ
ＥＧ」と言う）は、こうした用途に好ましい圧縮技術で
ある。 「時間的冗長性と予測誤差」静止画像では、主に「空間
的冗長性」を使って圧縮を実現している。一方、動画像
圧縮でも空間的冗長性を利用するが「時間的冗長性」の
利用がより重要になる。時間的冗長性とは、動画像を構
成する多数のフレームのうち、時間的に近いフレーム同
士は非常に似通った画像になるという性質のことをい
う。たとえば、アニメーションでは、この性質を利用し
て連続する絵を少しずつ変化させることにより、違和感
のないスムーズな動きを出している。この場合、時間的
に隣り合うフレーム同士には、程度の差こそあれほとん
ど違いがないことが多い。したがって、時間的に近いフ
レームの“異なる部分”（予測誤差と呼ばれる）だけを
伝送または蓄積すれば（言い換えれば、同一の部分を伝
送または蓄積しないようにすれば）、結果として相当に
高い圧縮率を得ることができる。 「フレーム間予測符号化」予測誤差を得るために、いわ
ゆる「フレーム間予測符号化」が行なわれる。これは、
圧縮したいフレームが持つ画像情報を他のフレームから
予測するという方式であり、ＭＰＥＧでは、「順方向予
測」、「逆方向予測」及び「双方向予測」の三つが行な
われる。順方向予測は時間的に近い“過去のフレーム”
と圧縮したい“現在のフレーム”との間の予測誤差を得
るというもの、逆方向予測は時間的に近い“未来のフレ
ーム”と圧縮したい“現在のフレーム”との間の予測誤
差を得るというもの、さらに、双方向予測は“過去のフ
レーム”と“未来のフレーム”との平均値と“現在のフ
レーム”との間の予測誤差を得るというものである。“Moving Image Compression” In general, the amount of information of a moving image is much larger than that of a still image, and a compression technique that is more efficient than a still image is required for use in information transmission media and storage media. For example, Moving Picture Experts Groove (MPEG), one of the International Standards Committees on Image Compression,
up), the video encoding / decoding scheme (M
PEG1 and MPEG2; hereinafter collectively referred to as “MP
EG ") is the preferred compression technique for such applications. In the “temporal redundancy and prediction error” still image, compression is realized mainly using “spatial redundancy”. On the other hand, spatial redundancy is also used in video compression, but the use of "temporal redundancy" becomes more important. Temporal redundancy refers to the property that, out of a large number of frames constituting a moving image, frames that are temporally close to each other become very similar images. For example, in an animation, a smooth movement without a sense of incongruity is produced by gradually changing a continuous picture using this property. In this case, the temporally adjacent frames often have little or no difference. Thus, transmitting or storing only "different portions" (called prediction errors) of frames that are close in time (in other words, not transmitting or storing the same portion) results in a significantly higher compression ratio Can be obtained. So-called "inter-frame predictive coding" is performed to obtain the "inter-frame predictive coding" prediction error. this is,
This is a method in which image information of a frame to be compressed is predicted from another frame. In MPEG, three methods of “forward prediction”, “reverse prediction”, and “bidirectional prediction” are performed. Forward prediction is a temporally close "past frame"
And the prediction error between the "current frame" to be compressed and the backward prediction is to obtain the prediction error between the "future frame" that is close in time and the "current frame" to be compressed. Further, bidirectional prediction is to obtain a prediction error between an average value of “past frames” and “future frames” and “current frame”.
【０００３】なお、ＭＰＥＧでは、Ｉ、Ｐ及びＢといっ
た３種類のピクチャ・タイプを規定する。Ｉピクチャは
フレーム間予測を行わず（参照フレームを必要とせず）
に生成される画像、Ｐピクチャは順方向予測によって
（過去の１枚のフレームを参照フレームとして）生成さ
れる画像、Ｂピクチャは順方向予測や逆方向予測若しく
は双方向予測によって（過去と未来の２枚のフレームを
参照フレームとして）生成される画像であり、それぞ
れ、Intra-Picture、Predictive-Picture、Bidirection
ally Predictive-Pictureの頭文字をとったものであ
る。 「動きベクトルと動き補償」動画像における動き部分、
たとえば疾走する車両を考えると、時間的に隣り合うフ
レーム間では、車両だけが平行移動し、背景はほとんど
変化しない。このため、動き部分（車両）の画像を画素
値……画像を構成する点（画素）の情報を数値で表した
もの……で見た場合には、時間的に隣り合うフレーム
（便宜的にｎフレームとｎ−１フレーム）同士で異なる
のは、位置の情報（座標情報）だけで、他の情報（たと
えば色情報や輝度情報）にはほとんど変化が見られな
い。したがって、ｎ−１フレームの動き部分（車両）の
画素に、直線的な移動情報である「動きベクトル」を与
えれば、動きベクトル情報のみを送り、予測誤差情報を
ほとんど送る必要がなくなる。動きベクトルを利用して
画像信号をずらす方法を「動き補償」という。単純にフ
レーム間予測符号化を利用するのに比べて伝送情報量を
大幅に減らすことができ、圧縮効率をさらに高めること
ができる。 「ブロック・マッチング法による動きベクトル検出の基
本原理」図３、図４を用いて、動きベクトル検出の基本
原理を説明する。図３において、１００は現在のフレー
ム（上述のｎフレームに相当）であり、このフレーム１
００は、所定サイズ（たとえば１６×１６画素）のブロ
ックに分割されている。ここでは、そのうちの一つのブ
ロック１０１を、動きベクトルの検出対象ブロック（以
下「注目ブロック」）として代表する。図４において、
１０２は時間的に一つ前のフレーム（上述のｎ−１フレ
ームに相当）であり、このフレーム１０２には、動きベ
クトル探索のための領域（以下「探索領域」）１０３が
設定されている。探索領域１０３のサイズは注目ブロッ
ク１０１よりも大きく、たとえば、注目ブロック１０１
の縦と横の−方向に１６画素を加えるとともに＋方向に
１５画素を加えた４７×４７画素の大きさを有してい
る。[0003] In MPEG, three kinds of picture types such as I, P and B are defined. I-pictures do not perform inter-frame prediction (no need for reference frames)
, A P picture is an image generated by forward prediction (using one past frame as a reference frame), and a B picture is obtained by forward prediction, backward prediction or bidirectional prediction (past and future). These are images that are generated (using two frames as reference frames), and are Intra-Picture, Predictive-Picture, and Bidirection, respectively.
ally Predictive-Picture. "Motion vector and motion compensation"
For example, considering a running vehicle, only the vehicle moves in parallel between frames that are temporally adjacent to each other, and the background hardly changes. For this reason, when an image of a moving part (vehicle) is viewed as a pixel value, that is, information of points (pixels) constituting the image represented by numerical values, the temporally adjacent frames (for convenience) are displayed. Only the position information (coordinate information) differs between the n-th frame and the (n-1) -th frame, and the other information (for example, color information and luminance information) hardly changes. Therefore, if "motion vectors", which are linear movement information, are given to the pixels of the moving portion (vehicle) of the (n-1) th frame, only the motion vector information is transmitted, and there is almost no need to transmit the prediction error information. A method of shifting an image signal using a motion vector is called “motion compensation”. Compared to simply using inter-frame prediction coding, the amount of transmission information can be greatly reduced, and the compression efficiency can be further increased. “Basic Principle of Motion Vector Detection by Block Matching Method” The basic principle of motion vector detection will be described with reference to FIGS. In FIG. 3, reference numeral 100 denotes a current frame (corresponding to the above-described n frame).
00 is divided into blocks of a predetermined size (for example, 16 × 16 pixels). Here, one of the blocks 101 is represented as a motion vector detection target block (hereinafter, “target block”). In FIG.
Reference numeral 102 denotes a temporally previous frame (corresponding to the above-described n-1 frame). In this frame 102, an area 103 for motion vector search (hereinafter, "search area") is set. The size of the search area 103 is larger than the target block 101, for example, the target block 101
Has a size of 47 × 47 pixels obtained by adding 16 pixels in the vertical and horizontal directions and adding 15 pixels in the + direction.
【０００４】いま、探索領域１０３内で、注目ブロック
１０１を水平／垂直方向に所定画素数（一般には１画
素）ずつずらしながら、重なり合う画素間の画素値の差
分を順次に求めていくと、探索領域１０３の内部を一巡
した段階で、すべての画素の差分値の合計を表す値（た
とえば、差分値の絶対値の和や差分値の自乗の和）が最
小となる部分領域１０４が見つかる。この部分領域１０
４は、ｎフレームの注目ブロック１０１との相関性が最
も高い領域であり、その大きさは注目ブロック１０１と
同一（ここでは１６×１６画素）である。したがって、
二つのブロック１０１、１０４がマッチングしているか
ら、注目ブロック１０１の中心から部分領域ブロック１
０４の中心へと向かうベクトル１０５を求め、このベク
トル１０５を注目ブロック１０１の「動きベクトル」と
すればよい。 「ブロック・マッチング法の検出精度」ブロック・マッ
チング法は、基本的にフレーム間予測誤差エントロピー
の低減を実現するための動き量検出を狙いとしている。
このため、検出精度に関しては検出誤りの発生頻度が高
く、元々の被写体の動きに即した正確な動き量の検出に
至っていないのが現状である。Now, in the search area 103, while shifting the block of interest 101 in the horizontal / vertical direction by a predetermined number of pixels (generally one pixel), the difference in pixel value between the overlapping pixels is sequentially obtained. At a stage where the inside of the region 103 has been completed, a partial region 104 in which the value representing the sum of the difference values of all the pixels (for example, the sum of the absolute values of the difference values or the sum of the squares of the difference values) is found is found. This partial area 10
Reference numeral 4 denotes an area having the highest correlation with the block of interest 101 of n frames, and has the same size as the block of interest 101 (here, 16 × 16 pixels). Therefore,
Since the two blocks 101 and 104 are matched, the partial area block 1 is located from the center of the block 101 of interest.
A vector 105 heading toward the center of the block 04 may be obtained, and this vector 105 may be set as the “motion vector” of the block 101 of interest. "Detection Accuracy of Block Matching Method" The block matching method basically aims at detecting a motion amount for realizing reduction of inter-frame prediction error entropy.
For this reason, with respect to the detection accuracy, the frequency of occurrence of detection errors is high, and the present situation is that accurate detection of the amount of movement in accordance with the original movement of the subject has not been achieved.
【０００５】[0005]
【従来の技術】電子情報通信学会論文誌（Ｄ−II Vol.
Ｊ72−Ｄ−II No.３ pp.395−403 1989年3月）に
は、階層画素情報にブロック・マッチング法を適用した
「動きベクトル検出方式」が記載されている。図５は、
上記論文に記載された階層画素情報の模式図である。図
５において、「０」、「ｈ」及び「ｈ＋１」は代表的に
示す三つの階層画像であり、０は最下層の画像、ｈは任
意の中位階層の画像、ｈ＋１は画像ｈの一つ上層の画像
である。画像０を原画像とすると、画像ｈの画素密度は
画像０の画素密度よりも少なく、画像ｈ＋１の画素密度
はさらに少なくなるように設定されている。好ましい例
によれば、画像ｈ＋１の画素密度は画像ｈの画素密度の
１／２である。これは、画像ｈの周波数帯域とサンプリ
ング周波数を１／２にして得られた画像に相当する。2. Description of the Related Art Transactions of the Institute of Electronics, Information and Communication Engineers (D-II Vol.
J72-D-II No. 3 pp. 395-403 March 1989) describes a "motion vector detection method" in which a block matching method is applied to hierarchical pixel information. FIG.
It is a schematic diagram of the hierarchy pixel information described in the said paper. In FIG. 5, “0”, “h”, and “h + 1” are three representative hierarchical images, where 0 is the lowest image, h is an arbitrary middle image, and h + 1 is one of the images h. It is an image of one upper layer. Assuming that the image 0 is the original image, the pixel density of the image h is set to be lower than the pixel density of the image 0, and the pixel density of the image h + 1 is set to be further lower. According to a preferred example, the pixel density of image h + 1 is １ ／ of the pixel density of image h. This corresponds to an image obtained by halving the frequency band and the sampling frequency of the image h.
【０００６】このような階層画像においては、その上位
階層の画像の空間解像度が下位階層に比べて劣化するた
め、上位階層と下位階層では相反する性質を持つことに
なる。すなわち、上位階層では被写体の動きを大局的に
捉えることができ（言い換えれば、上位階層では被写体
の動きを詳細に捉えることができない）、一方、下位階
層ではこの逆に被写体の動きを詳細に捉えることができ
る（言い換えれば、下位階層では被写体の動きを局所的
にしか捉えることができない）。In such a hierarchical image, since the spatial resolution of the image of the upper layer is deteriorated compared to the lower layer, the upper layer and the lower layer have contradictory properties. That is, in the upper hierarchy, the movement of the subject can be captured globally (in other words, in the upper hierarchy, the movement of the subject cannot be captured in detail), while, in the lower hierarchy, the movement of the subject can be captured in detail. (In other words, the lower layer can only capture the movement of the subject locally).
【０００７】したがって、上位階層で検出された動きベ
クトルを初期偏位ベクトルにして、下位階層の動きベク
トルを逐次検出すれば、被写体の動きを効率よく、しか
も高い精度で検出することが可能となる。画像ｈの階層
（以下「第ｈ階層」）におけるブロック・マッチングの
探索は、一つ上の画像ｈ＋１の階層（以下「第ｈ＋１階
層」）の被従属ブロック２００（以下「親ブロック」）
の検出結果Ｖh+1を２倍したもの（２Ｖh+1）を、第ｈ階
層の注目ブロック２０１の初期偏位ベクトルとして行な
う。たとえば、次式で定義するマッチング評価関数
「Ｓ（ｕh′，ｖh′）」が最小となるＶh′を探索して
検出する。このとき、注目ブロック２０１の動きベクト
ルＶhは、図６（ａ）に示すように、Ｖh＝Ｖh′＋２Ｖ
h+1で与えられる。また、マッチングの探索範囲は、階
層画像の各層間の対応を考慮し、親ブロック２００の検
出結果２Ｖh+1＝（２ｕh+1，２ｖh+1）を中心に、たと
えば５×５の範囲に設定する。Therefore, if the motion vector detected in the upper hierarchy is used as the initial deviation vector and the motion vector in the lower hierarchy is sequentially detected, the motion of the subject can be detected efficiently and with high accuracy. . In the block matching search in the hierarchy of the image h (hereinafter, the “h-th hierarchy”), the dependent block 200 (hereinafter, the “parent block”) in the hierarchy of the image h + 1 immediately above (hereinafter, the “h + 1-th hierarchy”)
Of the detection result V h + 1 (2V h + 1 ) is used as the initial displacement vector of the block of interest 201 in the h-th hierarchy. For example, matching evaluation function is defined by the following equation "S (u h ', v h ') " it is detected by searching V h 'having the smallest. At this time, the motion vector V h of the block of interest 201 is V h = V h ′ + 2V, as shown in FIG.
given by h + 1 . The matching search range is, for example, 5 × 5 around the detection result 2V h + 1 = (2u h + 1 , 2v h + 1 ) of the parent block 200 in consideration of the correspondence between the layers of the hierarchical image. Set to a range.
【０００８】[0008]
【数１】 (Equation 1)
【０００９】 但し、初期偏位点：２Ｖh+1＝（２ｕh+1，２ｖh+1） 探索点：Ｖh′＝（ｕh′，ｖh′） 前フレームの画像ｈ：ｆt-1,h（ｘ，ｙ） 現フレームの画像ｈ：ｆt,h（ｘ，ｙ） 検出動きベクトル：Ｖh＝（ｕh，ｖh） ＝（２ｕh+1＋ｕh′，２ｖh+1＋ｖh′） 前出の図５の階層画像では、画像ｈ＋１の解像度が画像
ｈと比べて１／２になっている。このため、初期偏位ベ
クトルとして用いる親ブロック２００の検出結果Ｖh+1
も、検出対象の動きベクトルＶhの１／２の解像度でし
かないから、親ブロック２００の検出結果を２倍し、画
像ｈの解像度に合わせた後、これを初期偏位ベクトルと
して設定する必要がある。たとえば、Ｖhmax＝０とおく
と、各階層のマッチングによって検出される動きベクト
ルＶhは、次式のようになる（図６（ｂ）参照）。However, initial deviation point: 2V h + 1 = (2u h + 1 , 2v h + 1 ) Search point: V h ′ = (u h ′, v h ′) Image h of previous frame: f t -1, h (x, y) Image h of current frame: f t, h (x, y) Detected motion vector: V h = (u h , v h ) = (2u h + 1 + u h ′, 2v h + 1 + v h ′) In the hierarchical image of FIG. 5 described above, the resolution of the image h + 1 is １ ／ compared to the resolution of the image h. For this reason, the detection result V h + 1 of the parent block 200 used as the initial deviation vector
Also, since only a half of the resolution of the detection object of a motion vector V h, the detection result of the parent block 200 is doubled, after adjusting the resolution of the image h, it must be set as initial vector There is. For example, if V hmax = 0, the motion vector V h detected by matching of each layer is expressed by the following equation (see FIG. 6B).
【００１０】[0010]
【数２】 (Equation 2)
【００１１】[0011]
【発明が解決しようとする課題】ところで、前出論文の
技術にあっては、階層が下がるにつれてブロックサイズ
が実質的に細分化されるように、各階層のブロックの画
素数（マッチング画素数）を全て同一にしている。しか
しながら、最下層のブロックサイズを最適化すると、最
上層のブロックサイズが大きくなり過ぎることがあり、
最上層での一つのブロックに含まれる動きの異なる絵柄
の数が増大する結果、探索精度が低下するという問題点
がある。一方、最上層のブロックサイズを最適化する
と、今度は、最下層のブロックサイズが小さくなり過ぎ
ることがあり、最下層でのミスマッチが多発して、やは
り探索精度が低下するという問題点がある。By the way, in the technique of the above-mentioned paper, the number of pixels (the number of matching pixels) of the blocks in each layer is set so that the block size is subdivided substantially as the layers are lowered. Are all the same. However, optimizing the bottom block size may result in the top block size becoming too large,
There is a problem that the number of pictures having different movements contained in one block in the uppermost layer increases, resulting in a decrease in search accuracy. On the other hand, when the block size of the uppermost layer is optimized, the block size of the lowermost layer may become too small, and there is a problem that the mismatch in the lowermost layer occurs frequently and the search accuracy is also lowered.
【００１２】[0012]
【目的】そこで、本発明は、上位層側の一つのブロック
に含まれる動きの異なる絵柄の数の増大と、下位層側の
ミスマッチとを共に抑制でき、階層型画像情報にブロッ
ク・マッチング法を適用した場合の動きベクトル探索の
精度向上を図ることを目的とする。Therefore, the present invention can suppress both the increase in the number of pictures with different motions contained in one block on the upper layer side and the mismatch on the lower layer side, and apply the block matching method to the hierarchical image information. An object of the present invention is to improve the accuracy of motion vector search when applied.
【００１３】[0013]
【課題を解決するための手段】請求項１記載の方法発明
は、原画像と同一または近い解像度を有する最下位の第
１階層画像と、この第１階層画像の解像度に対して段階
的に解像度が低下する上位側の第２〜第ｍ階層画像とを
用い、上位側の任意階層で検出された親ブロックの動き
ベクトルを初期偏位ベクトルとして、該任意階層の一つ
下位の階層の注目ブロックの動きベクトルを検出する階
層型動きベクトル検出方法において、前記親ブロックの
所属階層が、所定の階層以外の場合には双方のブロック
の画素数を同一とし、一方、所定の階層の場合には双方
のブロックのそれぞれの所属階層画像に対するサイズ比
を同一にしたことを特徴とする。According to a first aspect of the present invention, there is provided a method according to the first aspect, wherein a lowermost first hierarchical image having a resolution equal to or close to that of an original image and a resolution stepwise with respect to the resolution of the first hierarchical image. And the motion vector of the parent block detected in the upper arbitrary layer is used as the initial deviation vector, and the target block of the next lower layer of the arbitrary layer is used. In the hierarchical motion vector detection method for detecting the motion vector of the parent block, when the layer to which the parent block belongs is other than a predetermined layer, the number of pixels of both blocks is the same, while when the layer is a predetermined layer, Is characterized in that the size ratio of each block to the belonging hierarchical image is the same.
【００１４】請求項２記載の装置発明は、原画像と同一
または近い解像度を有する最下位の第１階層画像を格納
する第１階層メモリと、この第１階層画像の解像度に対
して段階的に解像度が低下する上位側の第２〜第ｍ階層
画像を格納する第２〜第ｍ階層メモリと、上位側の任意
階層で検出された親ブロックの動きベクトルを初期偏位
ベクトルとして、該任意階層の一つ下位の階層の注目ブ
ロックの動きベクトルを検出する動きベクトル検出手段
と、前記親ブロックの所属階層が、所定の階層以外の場
合には双方のブロックの画素数を同一にする一方、所定
の階層の場合には双方のブロックのそれぞれの所属階層
画像に対するサイズ比を同一にするブロック画素数／サ
イズ比設定手段と、を備えたことを特徴とする。According to a second aspect of the present invention, there is provided a first-layer memory for storing a lowest-order first-layer image having the same or close resolution as an original image, and a step-by-step process for the resolution of the first-layer image. The second to m-th hierarchical memories for storing the higher-order second to m-th hierarchical images whose resolution is reduced, and the motion vector of the parent block detected in the upper arbitrary layer as an initial displacement vector, A motion vector detecting means for detecting a motion vector of a block of interest of a layer one level below, and when the parent block belongs to a layer other than a predetermined layer, the number of pixels of both blocks is made the same. In the case of the hierarchy, the number of block pixels / size ratio setting means for equalizing the size ratio of both blocks to the respective belonging hierarchical images is provided.
【００１５】[0015]
【作用】本発明では、所定の階層を境にしてブロックの
設定方法が適切に切り換えられ、上位層側の一つのブロ
ックに含まれる動きの異なる絵柄の数の増大と、下位層
側のミスマッチとが共に抑制される。According to the present invention, the block setting method is appropriately switched at a predetermined hierarchical level, so that the number of pictures having different motions contained in one block on the upper layer side is increased, and the mismatch on the lower layer side is reduced. Are suppressed together.
【００１６】[0016]
【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１、図２は本発明に係る階層型動きベクトル検
出装置の一実施例の原理構成図である。なお、以下の説
明では、３階層の階層型画像に適用した例であるが、こ
の階層数に制限されるものではない。Embodiments of the present invention will be described below with reference to the drawings. 1 and 2 are principle configuration diagrams of an embodiment of a hierarchical motion vector detecting device according to the present invention. Note that the following description is an example in which the present invention is applied to a three-layer hierarchical image, but is not limited to this number of layers.
【００１７】図１において、１０〜３０は、階層毎に設
けられた動きベクトル検出部であり、図面下側の動きベ
クトル検出部３０は３階層型画像の第１層目の画像（最
下位層画像）に対応し、図面中央の動きベクトル検出部
２０は同画像の第２層目の画像（中間層画像）に対応
し、さらに、図面上側の動きベクトル検出部１０は同画
像の第３層目の画像（最上位層画像）に対応している。
以下、説明の都合上、図面上側の動きベクトル検出部１
０を「最上位層動きベクトル検出部」、図面中央の動き
ベクトル検出部２０を「中位層動きベクトル検出部」、
さらに、図面下側の動きベクトル検出部３０を「最下位
層動きベクトル検出部」と呼称する。In FIG. 1, reference numerals 10 to 30 denote motion vector detecting units provided for each layer. The motion vector detecting unit 30 on the lower side of the drawing shows an image of the first layer (lowest layer) of a three-layer type image. , The motion vector detecting unit 20 at the center of the drawing corresponds to the image of the second layer (intermediate layer image) of the same image, and the motion vector detecting unit 10 at the upper side of the drawing corresponds to the third layer of the same image. It corresponds to the eye image (top layer image).
Hereinafter, for convenience of explanation, the motion vector detection unit 1 at the top of the drawing
0 is the “top layer motion vector detection unit”, the motion vector detection unit 20 at the center of the drawing is the “middle layer motion vector detection unit”,
Further, the motion vector detecting unit 30 on the lower side of the drawing is referred to as a “lowest layer motion vector detecting unit”.
【００１８】各部の構成は、中位層動きベクトル検出部
２０と最下位層動きベクトル検出部３０が同一で、最上
位層動きベクトル検出部１０が一部異なっている。すな
わち、最上位層動きベクトル検出部１０は、二つの画像
メモリ１０ａ、１０ｂ、動きベクトル／評価値メモリ１
０ｃ、動きベクトル評価器１０ｄ及びブロック設定器１
０ｈを含み、一方、中位層動きベクトル検出部２０（最
下位層動きベクトル検出部３０）は、二つの画像メモリ
２０ａ、２０ｂ（３０ａ、３０ｂ）、動きベクトル／評
価値メモリ２０ｃ（３０ｃ）、動きベクトル評価器２０
ｄ（３０ｄ）及びブロック設定器２０ｈ（３０ｈ）に加
え、動きベクトル伸長器２０ｅ（３０ｅ）を構成に含
む。The configuration of each unit is the same for the middle layer motion vector detection unit 20 and the lowest layer motion vector detection unit 30 and partially different for the top layer motion vector detection unit 10. That is, the uppermost layer motion vector detecting unit 10 includes two image memories 10a and 10b and a motion vector / evaluation value memory 1
0c, motion vector evaluator 10d and block setting device 1
0h, while the middle layer motion vector detecting section 20 (the lowest layer motion vector detecting section 30) includes two image memories 20a, 20b (30a, 30b), a motion vector / evaluation value memory 20c (30c), Motion vector evaluator 20
In addition to d (30d) and the block setting unit 20h (30h), a motion vector decompressor 20e (30e) is included in the configuration.
【００１９】動きベクトル検出部１０（２０または３
０）に含まれる二つの画像メモリ１０ａ、１０ｂ（２０
ａ、２０ｂまたは３０ａ、３０ｂ）の一方は、現フレー
ムの画像信号（以下、単に「現フレーム」と言う）の格
納用、他方は参照フレーム（たとえば、時間的に一つ前
のフレーム）の画像信号（以下、単に「参照フレーム」
と言う）の格納用であり、特に制限しないが、図では、
左側の画像メモリ１０ａ（２０ａまたは３０ａ）を現フ
レーム格納用、右側の画像メモリ１０ｂ（２０ｂまたは
３０ｂ）を参照フレーム格納用としている。The motion vector detector 10 (20 or 3)
0) included in the two image memories 10a and 10b (20
a, 20b or 30a, 30b) for storing an image signal of the current frame (hereinafter, simply referred to as “current frame”), and the other for an image of a reference frame (for example, a temporally previous frame). Signal (hereinafter simply referred to as "reference frame")
), And is not particularly limited, but in the figure,
The left image memory 10a (20a or 30a) is used for storing the current frame, and the right image memory 10b (20b or 30b) is used for storing the reference frame.
【００２０】ここで、画像メモリ１０ａ、１０ｂ、２０
ａ、２０ｂ、３０ａ、３０ｂの解像度（画素密度）は、
下位側から上位側へといくにつれて段階的に低くなって
いる。すなわち、最下位層動きベクトル検出部３０の画
像メモリ３０ａ、３０ｂに格納された画像は「高解像度
画像」であり、また、中位層動きベクトル検出部２０の
画像メモリ２０ａ、２０ｂに格納された画像は「中解像
度画像」であり、さらに、最上位層動きベクトル検出部
１０の画像メモリ１０ａ、１０ｂに格納された画像は
「低解像度画像」である。Here, the image memories 10a, 10b, 20
The resolution (pixel density) of a, 20b, 30a, 30b is
It gradually decreases as going from the lower side to the upper side. That is, the images stored in the image memories 30a and 30b of the lowest-layer motion vector detection unit 30 are “high-resolution images”, and are stored in the image memories 20a and 20b of the middle-layer motion vector detection unit 20. The image is a “medium resolution image”, and the image stored in the image memories 10 a and 10 b of the top layer motion vector detection unit 10 is a “low resolution image”.
【００２１】したがって、高解像度画像を格納する画像
メモリ１０ａ、１０ｂは、発明の要旨に記載の「第１階
層メモリ」として機能し、中解像度画像と低解像度画像
を格納する残りの画像メモリ２０ａ、２０ｂ、３０ａ、
３０ｂは、発明の要旨に記載の「第２〜第ｍ階層メモ
リ」としての機能を有している。各画像の画素密度は、
「高」、「中」、「低」の順に段階的に低くなるように
設定すればよいが、設計容易性の点で、一定の倍率で変
化するようにした方が望ましい。たとえば、高解像度画
像の画素密度を原画像と同一の（または近い）解像度に
するとともに、この高解像度画像の画素を１／４間引い
たものを中解像度画像とし、さらに、中解像度画像の画
素を１／４間引いたものを低解像度画像としてもよい。
この場合、低解像度画像の画素密度は、高解像度画像の
１／１６になる。Therefore, the image memories 10a and 10b for storing the high-resolution images function as the "first hierarchical memory" described in the gist of the present invention, and the remaining image memories 20a and 20a for storing the medium-resolution images and the low-resolution images, respectively. 20b, 30a,
30b has a function as a "second to m-th hierarchical memory" described in the gist of the invention. The pixel density of each image is
It may be set so as to gradually decrease in the order of “high”, “medium”, and “low”. However, it is desirable to change at a constant magnification in terms of design easiness. For example, the pixel density of the high-resolution image is set to the same (or close) resolution as that of the original image, and the pixels of the high-resolution image are thinned out by 1/4 to obtain a medium-resolution image. What is thinned out by 1/4 may be used as the low resolution image.
In this case, the pixel density of the low resolution image is 1/16 that of the high resolution image.
【００２２】次に、画像メモリ以外の各部の機能を説明
する。まず、最上位層動きベクトル検出部１０の動きベ
クトル評価器１０ｄは、一方の画像メモリ１０ａから読
み出した現フレームの注目ブロックの画像と、他方の画
像メモリ１０ｂから読み出した探索領域の画像とに基づ
き、公知の手法（前述のブロック・マッチング法参照）
によって注目ブロックの動きベクトルを検出するもの
で、検出された動きベクトルと評価値は、動きベクトル
／評価値メモリ１０ｃに書き込まれる。Next, the function of each unit other than the image memory will be described. First, the motion vector evaluator 10d of the uppermost layer motion vector detection unit 10 calculates a target block image of the current frame read from one image memory 10a and a search area image read from the other image memory 10b. , A known method (refer to the block matching method described above)
The detected motion vector and the evaluation value are written into the motion vector / evaluation value memory 10c.
【００２３】中位層動きベクトル検出部２０の動きベク
トル評価器２０ｄ（または最下位層動きベクトル検出部
３０の動きベクトル評価器３０ｄ）は、一方の画像メモ
リ２０ａ（３０ａ）から読み出した現フレームの注目ブ
ロックの画像と、他方の画像メモリ２０ｂ（３０ｂ）か
ら読み出した探索領域の画像とに基づき、公知の手法に
よって注目ブロックの動きベクトルを検出する点で、最
上位層の動きベクトル評価器１０ｄと類似するが、第１
に、一つ上の階層の親ブロックの動きベクトルを初期偏
位ベクトルとする点で相違する。The motion vector estimator 20d of the middle layer motion vector detection section 20 (or the motion vector estimator 30d of the lowest layer motion vector detection section 30) outputs the current frame read from one image memory 20a (30a). The motion vector estimator 10d of the uppermost layer is different from the motion vector estimator 10d of the uppermost layer in that the motion vector of the target block is detected by a known method based on the image of the target block and the image of the search area read from the other image memory 20b (30b). Similar but first
The difference is that the motion vector of the parent block in the next higher layer is used as the initial displacement vector.
【００２４】すなわち、中位層動きベクトル検出部２０
の動きベクトル評価器２０ｄ（または最下位層動きベク
トル検出部３０の動きベクトル評価器３０ｄ）には、動
きベクトル伸長器２０ｅ（３０ｅ）によって所定の伸長
処理を施された一つ上の階層の親ブロックの動きベクト
ル１０ｆ（２０ｆ）……１０ｆ′または２０ｆ′は伸長
処理後の動きベクトル……が入力しており、動きベクト
ル評価器２０ｄ（３０ｄ）は、親ブロックの動きベクト
ル１０ｆ′（２０ｆ′）で指示されるベクトルに対応す
る領域よりも若干大きい探索領域（ｘ）を設定し、その
領域内の画像を画像メモリ２０ｂ（３０ｂ）から読み込
み、領域（ｘ）の中で評価が最も高いベクトルＶｘを探
し出し、その探索結果のベクトルＶｘと評価値ｘとを動
きベクトル／評価値メモリ２０ｃ（３０ｃ）に書き込む
点で相違する。探索領域ｘを必要最小限の大きさにで
き、無駄な探索処理を回避できる。したがって、中位層
と最下位層の動きベクトル評価器２０ｄ、３０ｄは、上
位側の階層で検出された親ブロックの動きベクトルを初
期偏位ベクトルとして、一つ下位の階層の注目ブロック
の動きベクトルを検出する「動きベクトル検出手段」と
しての機能を有している。That is, the middle layer motion vector detecting section 20
The motion vector estimator 20d (or the motion vector estimator 30d of the lowest layer motion vector detection unit 30) has a parent of the next higher hierarchy that has been subjected to a predetermined decompression process by the motion vector decompressor 20e (30e). The block motion vectors 10f (20f)... 10f ′ or 20f ′ are input with the decompressed motion vectors..., And the motion vector evaluator 20d (30d) outputs the motion vector 10f ′ (20f ′) of the parent block. ), A search area (x) slightly larger than the area corresponding to the vector indicated by the vector is set, an image in the area is read from the image memory 20b (30b), and the vector having the highest evaluation in the area (x) is set. The difference is that Vx is found and the vector Vx and the evaluation value x of the search result are written to the motion vector / evaluation value memory 20c (30c). The search area x can be reduced to a necessary minimum size, and unnecessary search processing can be avoided. Accordingly, the motion vector estimators 20d and 30d of the middle layer and the lowest layer use the motion vector of the parent block detected in the higher layer as the initial displacement vector and calculate the motion vector of the target block of the next lower layer. As a “motion vector detecting means”.
【００２５】また、第２に、同一階層内の周辺ブロック
の動きベクトルを参照する点で相違する。すなわち、動
きベクトル／評価値メモリ２０ｃ（３０ｃ）にすでに書
き込まれている周辺ブロックの動きベクトルを、参照動
きベクトル２０ｇ（３０ｇ）として少なくとも一つ読み
出し、この参照動きベクトル２０ｇ（３０ｇ）に対応し
た探索領域（Ｙi）（ｉは参照動きベクトルの識別番
号）の画像を、画像メモリ２０ｂ（３０ｂ）から読み出
す。そして、領域（Ｙi）の中で最も評価の高いベクト
ルＶｙを探し出し、その探索結果の動きベクトルＶｙi
と評価値ｙiとを動きベクトル／評価値メモリ２０ｃ
（３０ｃ）に書き込む。最後に、親ブロックの動きベク
トルを参照したときの評価値ｘと、周辺ブロックの動き
ベクトルを参照したときの評価値ｙi（たとえば二つの
周辺ブロックを参照した場合にはｙ1、ｙ 2）との中で最
も評価の高いベクトルＶｚを当該階層画像の注目ブロッ
クにおける動きベクトル２０ｆ（３０ｆ）として確定
し、一つ下の階層へ出力するとともに、動きベクトル／
評価値メモリ２０ｃ（３０ｃ）に書き込む。Second, peripheral blocks in the same hierarchy
In that the motion vector is referred to. That is,
Already written in the vector / evaluation value memory 20c (30c).
The motion vector of the neighboring block
At least one read as 20g (30g)
Corresponding to the reference motion vector 20g (30g).
Search area (Yi) (I is the identification number of the reference motion vector
) Is read out from the image memory 20b (30b).
You. Then, the area (Yi)
And a motion vector Vy as a result of the search.i
And evaluation value yiAnd the motion vector / evaluation value memory 20c
Write to (30c). Finally, the motion vector of the parent block
Evaluation value x when referring to the
Evaluation value y when referring to vectori(Eg two
Y when reference is made to peripheral blocks1, Y Two) And the most
Also, the vector Vz with high evaluation is assigned to the block of interest of the hierarchical image.
Determined as a motion vector 20f (30f)
Output to the next lower layer,
Write to the evaluation value memory 20c (30c).
【００２６】ここで、本実施例のポイントについて述べ
る。本実施例のポイントの一つは、最上位層の動きベク
トル評価器１０ｄと中位層の動きベクトル評価器２０ｄ
で評価するブロックの画素数（マッチング画素数）を同
一に設定する点にある。かかる設定は、最上層動きベク
トル検出部１０のブロック設定器１０ｈと中位層動きベ
クトル検出部２０のブロック設定器２０ｈによって行な
われる。また、本実施例のポイントの他の一つは、最下
層の動きベクトル評価器３０ｄで評価するブロックのサ
イズを、同階層の画像メモリ３０ａに格納されている画
像に対して所定のサイズ比（便宜的にＡ）となるように
設定する点にある。かかる設定は、最下層動きベクトル
検出部３０のブロック設定器３０ｈによって行なわれ
る。したがって、各階層のブロック設定器１０ｈ、２０
ｈ及び３０ｈは、発明の要旨に記載の「ブロック画素数
／サイズ比設定手段」としての機能を有している。Here, the points of this embodiment will be described. One of the points of this embodiment is that the motion vector estimator 10d of the top layer and the motion vector estimator 20d of the middle layer
Is to set the number of pixels (the number of matching pixels) of the block to be evaluated to be the same. Such setting is performed by the block setting unit 10h of the top motion vector detecting unit 10 and the block setting unit 20h of the middle motion vector detecting unit 20. Another point of the present embodiment is that the size of the block evaluated by the motion vector estimator 30d in the lowermost layer is set to a predetermined size ratio (for the image stored in the image memory 30a in the same layer). The point is that it is set to be A) for convenience. Such setting is performed by the block setting unit 30h of the lowest motion vector detecting unit 30. Therefore, the block setting units 10h and 20 of each hierarchy
h and 30h have a function as “block pixel number / size ratio setting means” described in the gist of the invention.
【００２７】次に、図２を参照しながら、本実施例のブ
ロック設定を説明する。図２において、ｈthは中位層の
画像の一部、ｈth+1は上位層の画像の一部、ｈth-1は下
位層の画像の一部を表している。ｈth+1は、図１の最上
位層の画像メモリ１０ａ内の画像に相当し、ｈthは、図
１の中位層の画像メモリ２０ａ内の画像に相当し、さら
に、ｈth-1は、図１の最下位層の画像メモリ３０ａ内の
画像に相当する。升目は各階層画像に設定されるブロッ
クを代表的に表しており、４０は上位層画像のブロッ
ク、５０〜５３は中位層画像のブロック、５４は下位層
画像のブロックである。上位層画像のブロック４０と中
位層画像のブロック５０〜５３とはブロック内の画素数
が同一であり、一方、中位層画像のブロック（たとえば
５０）と下位層画像のブロック５４とは、それぞれの所
属階層画像（ブロック５０は中位層画像、ブロック５４
は下位層画像）に対するサイズ比が同一である。すなわ
ち、中位層画像に対するブロック５０のサイズ比は
「Ａ」であり、同様に、下位層画像に対するブロック５
４のサイズ比も「Ａ」である。Next, with reference to FIG. 2, a description will be given of the block setting of this embodiment. In FIG. 2, h th represents a part of the image of the middle layer, h th + 1 represents a part of the image of the upper layer, and h th−1 represents a part of the image of the lower layer. h th + 1 corresponds to the image in the uppermost layer image memory 10a in FIG. 1, h th corresponds to the image in the middle layer image memory 20a in FIG. 1, and furthermore, h th-1 Corresponds to the image in the image memory 30a of the lowest layer in FIG. The squares typically represent blocks set in each hierarchical image, 40 is a block of an upper layer image, 50 to 53 are blocks of a middle layer image, and 54 is a block of a lower layer image. The upper layer image block 40 and the middle layer image blocks 50 to 53 have the same number of pixels in the block, while the middle layer image block (for example, 50) and the lower layer image block 54 are Each belonging hierarchical image (block 50 is a middle layer image, block 54
Have the same size ratio with respect to the lower layer image. That is, the size ratio of the block 50 to the middle layer image is “A”, and similarly, the block 5 to the lower layer image is
The size ratio of No. 4 is also “A”.
【００２８】すなわち、図２のブロック設定によれば、
所定の階層（中位層）を境にして、マッチング画素数を
主体にしたブロック設定（上位側）と、サイズ比を主体
にしたブロック設定（下位側）とに切り換えられること
になる。したがって、所定の階層を含む上位層側
（ｈth、ｈth+1）のマッチング画素数をテクスチャ抑制
に有効な適度な量に設定しつつ、所定の階層を含む下位
層側（ｈth、ｈth-1）のブロックサイズをミスマッチ抑
制に有効な適度な大きさに設定することができ、階層型
画像情報にブロック・マッチング法を適用した場合の動
きベクトル探索の精度低下を回避できるという特有の効
果を得ることができる。That is, according to the block setting of FIG.
At a predetermined layer (middle layer), the setting can be switched between a block setting mainly based on the number of matching pixels (upper side) and a block setting mainly based on the size ratio (lower side). Therefore, while the number of matching pixels on the upper layer side (h th , h th + 1 ) including the predetermined layer is set to an appropriate amount effective for texture suppression, the lower layer side (h th , h th) including the predetermined layer is set. th-1 ) block size can be set to an appropriate size that is effective in suppressing mismatching, and the uniqueness of avoiding a decrease in the accuracy of motion vector search when the block matching method is applied to hierarchical image information can be avoided. The effect can be obtained.
【００２９】しかも、所定の階層を含む上位層側では、
ｈth+1の一つのブロック４０で得られたベクトルを初期
偏位ベクトルとして、ｈthの四つのブロック５０〜５３
をまとめてサーチすることとなり、探索範囲をまとめて
読み出せるため、メモリアクセス量の削減効果も期待で
きるという効果が得られるほか、最上層のブロックサイ
ズが大きくなりすぎるという不都合も解決できる。Further, on the upper layer side including the predetermined layer,
Using the vector obtained in one block 40 of h th + 1 as an initial displacement vector, four blocks 50 to 53 of h th
Are collectively searched, and since the search range can be read collectively, the effect of reducing the memory access amount can be expected, and the inconvenience that the block size of the uppermost layer becomes too large can be solved.
【００３０】なお、以上の実施例では、ブロックの設定
方法を中位層で切り替えているが、上位層であってもよ
い。また、実施例では３層の階層型画像情報に適用した
例を示しているが、これに限るものではない。４層以上
の多層であってもよい。４層以上の多層画像に適用した
場合は、所定の階層が必ずしも中間の階層画像になると
は限らない。In the above embodiment, the block setting method is switched in the middle layer, but may be performed in the upper layer. Further, in the embodiment, an example is shown in which the present invention is applied to three-layer hierarchical image information, but the present invention is not limited to this. It may be a multilayer of four or more layers. When applied to a multi-layer image having four or more layers, a predetermined layer is not always an intermediate layer image.
【００３１】[0031]
【発明の効果】本発明によれば、所定の階層を境にして
ブロックの設定方法を切り換えることができる。具体的
には、上位層側では一つのブロックに含まれる動きの異
なる絵柄の数の増大抑制に有効な設定方法に、また、下
位層側ではミスマッチの抑制に有効な設定方法に切り換
えることができる。したがって、上位層側の一つのブロ
ックに含まれる動きの異なる絵柄の数の増大と、下位層
側のミスマッチとを共に抑制でき、階層型画像情報にブ
ロック・マッチング法を適用した場合の動きベクトル探
索の精度向上を図ることができる。According to the present invention, the block setting method can be switched at a predetermined hierarchical level. Specifically, the upper layer can switch to a setting method effective for suppressing an increase in the number of patterns having different motions contained in one block, and the lower layer can switch to a setting method effective for suppressing mismatch. . Therefore, it is possible to suppress both the increase in the number of patterns with different motions contained in one block on the upper layer side and the mismatch on the lower layer side, and to search for a motion vector when the block matching method is applied to the hierarchical image information. Accuracy can be improved.
【図１】一実施例の概念的な要部全体構成図である。FIG. 1 is an overall conceptual diagram of a principal part of an embodiment.
【図２】一実施例の各階層におけるブロック設定の概念
図である。FIG. 2 is a conceptual diagram of a block setting in each layer according to an embodiment.
【図３】動きベクトル検出の基本原理図（その１）であ
る。FIG. 3 is a basic principle diagram (part 1) of motion vector detection.
【図４】動きベクトル検出の基本原理図（その２）であ
る。FIG. 4 is a basic principle diagram (part 2) of motion vector detection.
【図５】従来の階層型画像の模式図である。FIG. 5 is a schematic diagram of a conventional hierarchical image.
【図６】階層型画像における動きベクトル検出の概念図
である。FIG. 6 is a conceptual diagram of motion vector detection in a hierarchical image.
１０ａ、１０ｂ：画像メモリ（第１階層メモリ） ２０ａ、２０ｂ、３０ａ、３０ｂ：画像メモリ（第２〜
第ｍ階層メモリ） ２０ｄ、３０ｄ：動きベクトル評価器（動きベクトル検
出手段、動きベクトル参照手段、第２の動きベクトル参
照手段） １０ｈ、２０ｈ、３０ｈ：ブロック設定器（ブロック画
素数／サイズ比設定手段）10a, 10b: Image memory (first hierarchical memory) 20a, 20b, 30a, 30b: Image memory (second to second memory)
20d, 30d: motion vector evaluator (motion vector detection means, motion vector reference means, second motion vector reference means) 10h, 20h, 30h: block setting device (number of block pixels / size ratio setting means) )
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大山 公一 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 佐藤 真樹 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 山田 恭裕 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (56)参考文献 特開 平３−4686（ＪＰ，Ａ) 特開 平３−247190（ＪＰ，Ａ) 特開 平６−78292（ＪＰ，Ａ) 特開 平７−107486（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68──────────────────────────────────────────────────の Continued on the front page (72) Inventor Koichi Oyama 4-36-19 Yoyogi, Shibuya-ku, Tokyo Inside Graphics Communication Laboratories Co., Ltd. (72) Inventor Maki Sato, Shibuya-ku, Tokyo 4-36-19 Yoyogi Inside Graphics Communication Laboratories Co., Ltd. (72) Inventor Yasuhiro Yamada 4-36-19 Yoyogi Shibuya-ku, Tokyo Graphics Communication Laboratories Co., Ltd. (56) References JP-A-3-4686 (JP, A) JP-A-3-247190 (JP, A) JP-A-6-78292 (JP, A) JP-A-7-107486 (JP, A) (58) Fields surveyed (Int.Cl. 6 , DB name) H04N 7/ 24-7/68
Claims (2)
下位の第１階層画像と、この第１階層画像の解像度に対
して段階的に解像度が低下する上位側の第２〜第ｍ階層
画像とを用い、 上位側の任意階層で検出された親ブロックの動きベクト
ルを初期偏位ベクトルとして、該任意階層の一つ下位の
階層の注目ブロックの動きベクトルを検出する階層型動
きベクトル検出方法において、 前記親ブロックの所属階層が、 所定の階層以外の場合には双方のブロックの画素数を同
一とし、 一方、所定の階層の場合には双方のブロックのそれぞれ
の所属階層画像に対するサイズ比を同一にしたことを特
徴とする階層型動きベクトル検出方法。1. A lower-order first hierarchical image having the same or close resolution as an original image, and higher-order second to m-th hierarchical images whose resolution gradually decreases with respect to the resolution of the first hierarchical image. And using the motion vector of the parent block detected in the arbitrary layer on the upper side as an initial deviation vector, and detecting the motion vector of the block of interest one layer below the arbitrary layer in the hierarchical motion vector detection method. When the parent block belongs to a layer other than the predetermined layer, the number of pixels of both blocks is the same. On the other hand, when the parent layer belongs to the predetermined layer, the size ratio of both blocks to the respective layer images is the same. A hierarchical motion vector detection method, characterized in that:
下位の第１階層画像を格納する第１階層メモリと、 この第１階層画像の解像度に対して段階的に解像度が低
下する上位側の第２〜第ｍ階層画像を格納する第２〜第
ｍ階層メモリと、 上位側の任意階層で検出された親ブロックの動きベクト
ルを初期偏位ベクトルとして、該任意階層の一つ下位の
階層の注目ブロックの動きベクトルを検出する動きベク
トル検出手段と、 前記親ブロックの所属階層が、所定の階層以外の場合に
は双方のブロックの画素数を同一にする一方、所定の階
層の場合には双方のブロックのそれぞれの所属階層画像
に対するサイズ比を同一にするブロック画素数／サイズ
比設定手段と、を備えたことを特徴とする階層型動きベ
クトル検出装置。2. A first-layer memory for storing a lowest-order first-layer image having a resolution that is the same as or close to that of an original image, and an upper-layer memory whose resolution gradually decreases with respect to the resolution of the first-layer image. A second to m-th hierarchical memories for storing second to m-th hierarchical images, and a motion vector of a parent block detected in an upper hierarchical layer as an initial deviation vector, and a motion vector of a hierarchy one level lower than the arbitrary hierarchical layer. A motion vector detecting means for detecting a motion vector of the block of interest; and, when the layer to which the parent block belongs is other than a predetermined layer, the number of pixels in both blocks is the same. And a block pixel number / size ratio setting unit for setting the size ratio of each block to the belonging hierarchical image to be the same.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6538395A JP2853974B2 (en) | 1995-03-24 | 1995-03-24 | Hierarchical motion vector detection method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6538395A JP2853974B2 (en) | 1995-03-24 | 1995-03-24 | Hierarchical motion vector detection method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08265772A JPH08265772A (en) | 1996-10-11 |
| JP2853974B2 true JP2853974B2 (en) | 1999-02-03 |
Family
ID=13285415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6538395A Expired - Lifetime JP2853974B2 (en) | 1995-03-24 | 1995-03-24 | Hierarchical motion vector detection method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2853974B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010288110A (en) * | 2009-06-12 | 2010-12-24 | Sony Corp | Image processing apparatus and method |
-
1995
- 1995-03-24 JP JP6538395A patent/JP2853974B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08265772A (en) | 1996-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6356589B1 (en) | Sharing reference data between multiple encoders parallel encoding a sequence of video frames | |
| US5689306A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| US20040114688A1 (en) | Device for and method of estimating motion in video encoder | |
| US20100284465A1 (en) | Method for compressing data in a video sequence | |
| JP4709155B2 (en) | Motion detection device | |
| JP3667105B2 (en) | Motion vector detection method and apparatus for implementing the method | |
| US5689312A (en) | Block matching motion estimation method | |
| JPH09182082A (en) | Movement compensation prediction encoding method for moving image and device therefor | |
| JP2853973B2 (en) | Hierarchical motion vector detection method and apparatus | |
| JP2853974B2 (en) | Hierarchical motion vector detection method and apparatus | |
| JP2963362B2 (en) | Hierarchical motion vector detection method and apparatus | |
| EP1295483B1 (en) | Method of performing motion estimation | |
| US8325813B2 (en) | Moving image coding apparatus | |
| US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| Chan et al. | Adaptive partial distortion search for block motion estimation | |
| JP2923875B2 (en) | Video encoding device | |
| JP3478836B2 (en) | Method and apparatus for encoding digital image sequence | |
| JP3171951B2 (en) | Image encoding / decoding device and image encoding / decoding method | |
| JP2001145011A (en) | Video signal encoder | |
| JPH08242457A (en) | Movement vector detecting method | |
| JP3334384B2 (en) | Picture prediction coding method | |
| Kim et al. | Stochastic approach for motion vector estimation in video coding | |
| JPH07264594A (en) | Motion compensative prediction encoding method for dynamic image | |
| WO2008102904A1 (en) | Image processing device and image processing method using dynamic image motion information | |
| JP3597271B2 (en) | Video cut point image detection device |