JPH08265773A - Method for detecting hierarchical motion vector and device therefor - Google Patents
Method for detecting hierarchical motion vector and device thereforInfo
- Publication number
- JPH08265773A JPH08265773A JP6538495A JP6538495A JPH08265773A JP H08265773 A JPH08265773 A JP H08265773A JP 6538495 A JP6538495 A JP 6538495A JP 6538495 A JP6538495 A JP 6538495A JP H08265773 A JPH08265773 A JP H08265773A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- image
- layer
- peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、動画圧縮の中核技術の
一つである「動きベクトル」の検出方法に関し、とく
に、階層型画像情報と周辺ブロック参照法を併用する検
出方法及びその装置の改良に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a "motion vector" detecting method, which is one of the core techniques of moving image compression, and more particularly, to a detecting method and apparatus using both hierarchical image information and peripheral block reference method. Regarding improvement.
【０００２】[0002]
「動画像圧縮」一般に、動画像の情報量は、静止画像に
比べてはるかに膨大であり、情報伝達メディアや蓄積メ
ディアへの利用に際して静止画以上に効率の高い圧縮技
術が求められる。たとえば、画像圧縮の国際標準化委員
会の一つであるＭＰＥＧ（Moving Picture Experts Gro
up）によって制定された動画像符号化／復号方式（ＭＰ
ＥＧ１及びＭＰＥＧ２；以下これらを総称して「ＭＰＥ
Ｇ」と言う）は、こうした用途に好ましい圧縮技術であ
る。 「時間的冗長性と予測誤差」静止画像では、主に「空間
的冗長性」を使って圧縮を実現している。一方、動画像
圧縮でも空間的冗長性を利用するが「時間的冗長性」の
利用がより重要になる。時間的冗長性とは、動画像を構
成する多数のフレームのうち、時間的に近いフレーム同
士は非常に似通った画像になるという性質のことをい
う。たとえば、アニメーションでは、この性質を利用し
て連続する絵を少しずつ変化させることにより、違和感
のないスムーズな動きを出している。この場合、時間的
に隣り合うフレーム同士には、程度の差こそあれほとん
ど違いがないことが多い。したがって、時間的に近いフ
レームの“異なる部分”（予測誤差と呼ばれる）だけを
伝送または蓄積すれば（言い換えれば、同一の部分を伝
送または蓄積しないようにすれば）、結果として相当に
高い圧縮率を得ることができる。 「フレーム間予測符号化」予測誤差を得るために、いわ
ゆる「フレーム間予測符号化」が行なわれる。これは、
圧縮したいフレームが持つ画像情報を他のフレームから
予測するという方式であり、ＭＰＥＧでは、「順方向予
測」、「逆方向予測」及び「双方向予測」の三つが行な
われる。順方向予測は時間的に近い“過去のフレーム”
と圧縮したい“現在のフレーム”との間の予測誤差を得
るというもの、逆方向予測は時間的に近い“未来のフレ
ーム”と圧縮したい“現在のフレーム”との間の予測誤
差を得るというもの、さらに、双方向予測は“過去のフ
レーム”と“未来のフレーム”との平均値と“現在のフ
レーム”との間の予測誤差を得るというものである。"Moving image compression" In general, the amount of information of a moving image is much larger than that of a still image, and a compression technique that is more efficient than a still image is required when used as an information transmission medium or a storage medium. For example, MPEG (Moving Picture Experts Groove), which is one of the international standardization committees for image compression.
moving picture coding / decoding method (MP
EG1 and MPEG2; hereinafter collectively referred to as "MPE
G ") is the preferred compression technique for such applications. "Temporal Redundancy and Prediction Error" In still images, compression is mainly achieved by using "spatial redundancy". On the other hand, even in video compression, spatial redundancy is used, but the use of "temporal redundancy" becomes more important. Temporal redundancy refers to the property that, among a large number of frames that make up a moving image, frames that are close in time have very similar images. For example, animation makes use of this property to change a series of pictures little by little to create a smooth motion without discomfort. In this case, frames that are temporally adjacent to each other often have little difference to some extent. Therefore, if only the "different parts" of frames that are close in time (called prediction errors) are transmitted or stored (in other words, the same parts are not transmitted or stored), the result is a considerably higher compression rate. Can be obtained. "Inter-frame predictive coding" So-called "inter-frame predictive coding" is performed to obtain a prediction error. this is,
This is a method of predicting image information of a frame to be compressed from another frame. In MPEG, three types of "forward prediction", "reverse prediction" and "bidirectional prediction" are performed. Forward prediction is “past frame” that is close in time
And getting the prediction error between the "current frame" that you want to compress, and backward prediction that you get the prediction error between the "future frame" and the "current frame" that you want to compress. Moreover, bidirectional prediction is to obtain the prediction error between the average value of "past frame" and "future frame" and "current frame".
【０００３】なお、ＭＰＥＧでは、Ｉ、Ｐ及びＢといっ
た３種類のピクチャ・タイプを規定する。Ｉピクチャは
フレーム間予測を行わず（参照フレームを必要とせず）
に生成される画像、Ｐピクチャは片方向予測によって
（過去の１枚のフレームを参照フレームとして）生成さ
れる画像、Ｂピクチャは片方向予測または双方向予測に
よって（過去と未来の２枚のフレームを参照フレームと
して）生成される画像であり、それぞれ、Intra-Pictur
e、Predictive-Picture、Bidirectionally Predictive-
Pictureの頭文字をとったものである。 「動きベクトルと動き補償」動画像における動き部分、
たとえば疾走する車両を考えると、時間的に隣り合うフ
レーム間では、車両だけが平行移動し、背景はほとんど
変化しない。このため、動き部分（車両）の画像を画素
値……画像を構成する点（画素）の情報を数値で表した
もの……で見た場合には、時間的に隣り合うフレーム
（便宜的にｎフレームとｎ−１フレーム）同士で異なる
のは、位置の情報（座標情報）だけで、他の情報（たと
えば色情報や輝度情報）にはほとんど変化が見られな
い。したがって、ｎ−１フレームの動き部分（車両）の
画素に、直線的な移動情報である「動きベクトル」を与
えれば、動きベクトル情報のみを送り、予測誤差情報を
ほとんど送る必要がなくなる。動きベクトルを利用して
画像信号をずらす方法を「動き補償」という。単純にフ
レーム間予測符号化を利用するのに比べて伝送情報量を
大幅に減らすことができ、圧縮効率をさらに高めること
ができる。 「ブロック・マッチング法による動きベクトル検出の基
本原理」図３、図４を用いて、動きベクトル検出の基本
原理を説明する。図３において、１００は現在のフレー
ム（上述のｎフレームに相当）であり、このフレーム１
００は、所定サイズ（たとえば１６×１６画素）のブロ
ックに分割されている。ここでは、そのうちの一つのブ
ロック１０１を、動きベクトルの検出対象ブロック（以
下「注目ブロック」）として代表する。図４において、
１０２は時間的に一つ前のフレーム（上述のｎ−１フレ
ームに相当）であり、このフレーム１０２には、動きベ
クトル探索のための領域（以下「探索領域」）１０３が
設定されている。探索領域１０３のサイズは注目ブロッ
ク１０１よりも大きく、たとえば、注目ブロック１０１
の縦と横の−方向に１６画素を加えるとともに＋方向に
１５画素を加えた４７×４７画素の大きさを有してい
る。In MPEG, three types of picture types such as I, P and B are defined. I-picture does not perform inter-frame prediction (no reference frame is required)
, A P-picture is an image generated by unidirectional prediction (using one past frame as a reference frame), and a B-picture is unidirectional prediction or bidirectional prediction (past and future two frames). Image as a reference frame), respectively Intra-Pictur
e, Predictive-Picture, Bidirectionally Predictive-
It is an acronym for Picture. "Motion vector and motion compensation" Motion part in video,
For example, when considering a rushing vehicle, only the vehicle moves in parallel between adjacent frames in time, and the background hardly changes. Therefore, when an image of a moving portion (vehicle) is viewed as a pixel value ... Information indicating points (pixels) forming the image by a numerical value .. The only difference between the n frame and the n-1 frame is position information (coordinate information), and other information (for example, color information or luminance information) is hardly changed. Therefore, if a "motion vector", which is linear movement information, is given to the pixels of the moving portion (vehicle) of the n-1 frame, it is unnecessary to send only the motion vector information and the prediction error information. A method of shifting an image signal using a motion vector is called "motion compensation". Compared to simply using interframe predictive coding, the amount of transmission information can be greatly reduced, and the compression efficiency can be further improved. [Basic Principle of Motion Vector Detection by Block Matching Method] The basic principle of motion vector detection will be described with reference to FIGS. In FIG. 3, 100 is the current frame (corresponding to the n frame described above), and this frame 1
00 is divided into blocks of a predetermined size (for example, 16 × 16 pixels). Here, one of the blocks 101 is represented as a motion vector detection target block (hereinafter, “block of interest”). In FIG.
Reference numeral 102 is a temporally previous frame (corresponding to the n-1 frame described above), and an area (hereinafter, referred to as “search area”) 103 for motion vector search is set in this frame 102. The size of the search area 103 is larger than that of the target block 101.
It has a size of 47 × 47 pixels in which 16 pixels are added in the negative and horizontal directions and 15 pixels are added in the positive direction.
【０００４】いま、探索領域１０３内で、注目ブロック
１０１を水平／垂直方向に所定画素数（一般には１画
素）ずつずらしながら、重なり合う画素間の画素値の差
分を順次に求めていくと、探索領域１０３の内部を一巡
した段階で、すべての画素の差分値の合計を表す値（た
とえば、差分値の絶対値の和や差分値の自乗の和）が最
小となる部分領域１０４が見つかる。この部分領域１０
４は、ｎフレームの注目ブロック１０１との相関性が最
も高い領域であり、その大きさは注目ブロック１０１と
同一（ここでは１６×１６画素）である。したがって、
二つのブロック１０１、１０４がマッチングしているか
ら、注目ブロック１０１の中心から部分領域ブロック１
０４の中心へと向かうベクトル１０５を求め、このベク
トル１０５を注目ブロック１０１の「動きベクトル」と
すればよい。 「ブロック・マッチング法の検出精度」ブロック・マッ
チング法は、基本的にフレーム間予測誤差エントロピー
の低減を実現するための動き量検出を狙いとしている。
このため、検出精度に関しては検出誤りの発生頻度が高
く、元々の被写体の動きに即した正確な動き量の検出に
至っていないのが現状である。 「周辺ブロック参照法」周辺ブロック参照法は、ブロッ
ク・マッチング法の検出精度を高めるための技術であ
り、要するに、注目ブロックの予測動き量を初期偏位ベ
クトルとして検出する際に、周辺に位置するいくつかの
ブロックの確定済み動きベクトルを参照するとするもの
である。以下、参照のためのブロックを単に「周辺ブロ
ック」と言う。Now, in the search area 103, when the target block 101 is shifted in the horizontal / vertical direction by a predetermined number of pixels (generally, one pixel), the pixel value differences between the overlapping pixels are sequentially obtained. At the stage where the inside of the area 103 is circled, the partial area 104 in which the value representing the sum of the difference values of all pixels (for example, the sum of the absolute values of the difference values or the sum of the squares of the difference values) is the smallest is found. This partial area 10
A region 4 has the highest correlation with the target block 101 of n frames, and its size is the same as that of the target block 101 (here, 16 × 16 pixels). Therefore,
Since the two blocks 101 and 104 are matched, the partial area block 1 from the center of the target block 101
A vector 105 directed to the center of 04 is obtained, and this vector 105 may be set as the “motion vector” of the block 101 of interest. "Detection accuracy of block matching method" The block matching method basically aims at motion amount detection for reducing interframe prediction error entropy.
Therefore, in terms of detection accuracy, the frequency of detection errors is high, and it is the current situation that the amount of motion is not accurately detected according to the original motion of the subject. "Peripheral block reference method" The peripheral block reference method is a technique for improving the detection accuracy of the block matching method. In short, it is located in the periphery when detecting the predicted motion amount of the target block as the initial displacement vector. The reference is made to the determined motion vectors of some blocks. Hereinafter, the blocks for reference are simply referred to as "peripheral blocks".
【０００５】図５において、升目の一つ一つはブロック
を表している。いま、ｅを予測動き量を検出しようとす
る注目ブロックとすると、Ａ〜Ｄがそれに対する周辺ブ
ロックになる。なお、残りのｆ〜ｉのブロックも注目ブ
ロックのまわりに位置する周辺ブロックであるが、参照
のための周辺ブロックにはならない。これは、ブロック
のスキャン順を「……Ａ→Ｂ→Ｃ→Ｄ→ｅ→ｆ→ｇ→ｈ
→ｉ……」と想定しているからで、アルファベットの小
文字を付したブロックは、動きベクトルがまだ確定して
いないブロック（言い換えればこれから注目ブロックに
なるブロック）だからである。In FIG. 5, each square represents a block. Now, assuming that e is a block of interest for which the predicted motion amount is to be detected, A to D are peripheral blocks for it. The remaining blocks f to i are peripheral blocks located around the target block, but they are not peripheral blocks for reference. This means that the scan order of blocks is "... A → B → C → D → e → f → g → h.
This is because the block with the lower case alphabet is a block for which the motion vector has not yet been determined (in other words, a block to be the target block in the future).
【０００６】周辺ブロックで検出された動きベクトルに
基づいて、注目ブロックの初期偏位ベクトルを得るに
は、たとえば、周辺ブロックのそれぞれの動き量の平均
値を注目ブロックの初期偏位とする方法や、周辺ブロッ
クにおける動き補償誤差を判定条件として、これが最小
となる周辺ブロックの動き量を注目ブロックの初期偏位
とする方法、若しくは、周辺ブロックの動き量による注
目ブロックの動き補償誤差を判定条件として、これが最
小となる周辺ブロックの動き量を注目ブロックの初期偏
位とする方法など、いろいろ知られている。In order to obtain the initial displacement vector of the target block based on the motion vector detected in the peripheral block, for example, a method of setting the average value of the respective motion amounts of the peripheral blocks as the initial displacement of the target block, or , A method in which the motion compensation error in the peripheral block is used as the determination condition, and the motion amount of the peripheral block that minimizes this is used as the initial displacement of the target block, or the motion compensation error of the target block due to the motion amount of the peripheral block is used as the determination condition. Various methods are known, such as a method of setting the amount of motion of a peripheral block that minimizes this as the initial displacement of the block of interest.
【０００７】[0007]
【従来の技術】電子情報通信学会論文誌（Ｄ−II Vol.
Ｊ72−Ｄ−II No.３ pp.395−403 1989年3月）に
は、階層画素情報を用いた動画像における動きベクトル
検出方式が記載されている。この論文の技術では、検出
精度を改善するために、周辺ブロック参照法を併用して
いる。2. Description of the Related Art IEICE Transactions (D-II Vol.
J72-D-II No. 3 pp.395-403 March 1989) describes a motion vector detection method in a moving image using hierarchical pixel information. The technique of this paper also uses the peripheral block reference method to improve the detection accuracy.
【０００８】図６は階層画素情報の模式図である。図６
において、「０」、「ｈ」及び「ｈ＋１」は代表的に示
す三つの階層画像であり、０は最下層の画像、ｈは任意
の中位階層の画像、ｈ＋１は画像ｈの一つ上層の画像で
ある。画像０を原画像とすると、画像ｈの画素密度は画
像０の画素密度よりも少なく、画像ｈ＋１の画素密度は
さらに少なくなるように設定されている。好ましい例に
よれば、画像ｈ＋１の画素密度は画像ｈの画素密度の１
／２である。これは、画像ｈの周波数帯域とサンプリン
グ周波数を１／２にして得られた画像に相当する。FIG. 6 is a schematic diagram of hierarchical pixel information. Figure 6
In FIG. 1, “0”, “h”, and “h + 1” are three hierarchical images that are representatively shown, where 0 is the bottom layer image, h is an arbitrary middle layer image, and h + 1 is one layer above the image h. Is an image of. When the image 0 is the original image, the pixel density of the image h is lower than the pixel density of the image 0, and the pixel density of the image h + 1 is set to be further lower. According to a preferred example, the pixel density of image h + 1 is 1 of the pixel density of image h.
/ 2. This corresponds to an image obtained by halving the frequency band and the sampling frequency of the image h.
【０００９】このような階層画像においては、その上位
階層の画像の空間解像度が下位階層に比べて劣化するた
め、上位階層と下位階層では相反する性質を持つことに
なる。すなわち、上位階層では被写体の動きを大局的に
捉えることができ（言い換えれば、上位階層では被写体
の動きを詳細に捉えることができない）、一方、下位階
層ではこの逆に被写体の動きを詳細に捉えることができ
る（言い換えれば、下位階層では被写体の動きを局所的
にしか捉えることができない）。In such a hierarchical image, the spatial resolution of the image in the upper layer is deteriorated as compared with that in the lower layer, so that the upper layer and the lower layer have contradictory properties. That is, the movement of the subject can be comprehensively captured in the upper layer (in other words, the movement of the subject cannot be captured in detail in the upper layer), while the movement of the subject can be captured in detail in the lower layer. (In other words, the motion of the subject can only be locally captured in the lower layer).
【００１０】したがって、上位階層で検出された動きベ
クトルに基づいて、下位階層の動きベクトルを逐次検出
すれば、被写体の動きを効率よく、しかも高い精度で検
出することが可能となる。画像ｈの階層（以下「第ｈ階
層」）におけるブロック・マッチングの探索は、一つ上
の画像ｈ＋１の階層（以下「第ｈ＋１階層」）の被従属
ブロック（親ブロック）の検出結果Ｖh+1を２倍したも
の（２Ｖh+1）を初期偏位ベクトルとして行なう。たと
えば、次式で定義するマッチング評価関数「Ｓ
（ｕh′，ｖh′）」が最小となるＶh′を探索して検出
する。このとき、第ｈ階層での動きベクトルＶhは、図
７（ａ）に示すように、Ｖh＝Ｖh′＋２Ｖh+1で与えら
れる。また、マッチングの探索範囲は、階層画像の各層
間の対応を考慮し、親ブロックの検出結果２Ｖh+1＝
（２ｕh+1，２ｖh+1）を中心に、たとえば５×５の範囲
に設定する。Therefore, if the motion vector of the lower layer is sequentially detected based on the motion vector detected in the upper layer, the motion of the subject can be detected efficiently and with high accuracy. The search for block matching in the hierarchy of the image h (hereinafter “h-th hierarchy”) is performed by detecting the dependent block (parent block) V h + of the next higher hierarchy of the image h + 1 (hereinafter “h + 1 hierarchy”). A value obtained by doubling 1 (2V h + 1 ) is used as the initial displacement vector. For example, the matching evaluation function "S
(U h ', v h' ) "is detected by searching the V h 'which is a minimum. At this time, the motion vector V h in the h-th layer is given by V h = V h ′ + 2V h + 1 as shown in FIG. In addition, the matching search range considers the correspondence between layers of the hierarchical image, and the parent block detection result 2V h + 1 =
It is set in the range of, for example, 5 × 5 with (2u h + 1 , 2v h + 1 ) as the center.
【００１１】[0011]
【数１】 [Equation 1]
【００１２】 但し、初期偏位点：２Ｖh+1＝（２ｕh+1，２ｖh+1） 探索点：Ｖh′＝（ｕh′，ｖh′） 前フレームの画像ｈ：ｆt-1,h（ｘ，ｙ） 現フレームの画像ｈ：ｆt,h（ｘ，ｙ） 検出動きベクトル：Ｖh＝（ｕh，ｖh） ＝（２ｕh+1＋ｕh′，２ｖh+1＋ｖh′） 前出の図６の階層画像では、画像ｈ＋１の解像度が画像
ｈと比べて１／２になっている。このため、初期偏位と
して用いる親ブロックの検出結果Ｖh+1も、注目の動き
ベクトルＶhの１／２の解像度でしかないから、親ブロ
ックの検出結果を２倍し、画像ｈの解像度に合わせた
後、これを初期偏位ベクトルとして設定する必要があ
る。たとえば、Ｖhmax＝０とおくと、各階層のマッチン
グによって検出される動きベクトルＶhは、次式のよ
うになる（図７（ｂ）参照）。However, initial deviation point: 2V h + 1 = (2u h + 1 , 2v h + 1 ) Search point: V h ′ = (u h ′, v h ′) Image h: f t of the previous frame -1, h (x, y) Current frame image h: f t, h (x, y) Detected motion vector: V h = (u h , v h ) = (2u h + 1 + u h ′, 2v h +1 + v h ′) In the hierarchical image of FIG. 6 described above, the resolution of the image h + 1 is 1/2 that of the image h. Therefore, the detection result V h + 1 of the parent block used as the initial displacement is also only half the resolution of the motion vector V h of interest, so the detection result of the parent block is doubled to obtain the resolution of the image h. It is necessary to set this as the initial displacement vector after adjusting For example, if V hmax = 0 is set, the motion vector V h detected by the matching of each layer becomes as shown in the following equation (see FIG. 7B).
【００１３】[0013]
【数２】 [Equation 2]
【００１４】以上のとおり、階層型動きベクトル検出で
は、上位階層で比較的大まかな動きを、下位階層でさら
に詳細な動きを逐次に検出するという作用が得られる
が、各階層間の対応から、マッチングの探索範囲を狭い
範囲（たとえば親ブロックの検出結果を中心に５×５の
範囲）に制限せざるを得ず、このため、とくに一つのブ
ロック内に動きの異なる領域が複数存在する場合には、
各層間の対応付けが追従しきれないという不都合があ
る。As described above, in the hierarchical motion vector detection, it is possible to sequentially detect a relatively rough motion in the upper layer and a more detailed motion in the lower layer, but from the correspondence between the layers, There is no choice but to limit the matching search range to a narrow range (for example, a range of 5 × 5 centered on the detection result of the parent block). Therefore, especially when one block has a plurality of regions having different movements. Is
There is an inconvenience that the correspondence between the layers cannot be followed.
【００１５】図８はその不都合例である。いま、静止背
景上の被写体（ハッチング部）が矢線ベクトル２００の
方向に移動したとき（図８（ａ））、第ｈ＋１階層の親
ブロックにおける最上位階層からの検出過程で動きベク
トルＶh+1が検出されたとすると（図８（ｂ））、第ｈ
階層のブロックでは、２Ｖh+1を中心として所定範囲
（５×５）の探索を行なうが（図８（ｃ））、２Ｖh+1
がＶh′の探索範囲を超えていると、静止領域に対応す
るブロック２０１の動きベクトルＶh＝０が検出できな
い。FIG. 8 shows an inconvenient example thereof. Now, when the subject (hatched portion) on the stationary background moves in the direction of the arrow vector 200 (FIG. 8A), the motion vector V h + is detected in the detection process from the highest layer in the parent block of the (h + 1) th layer. If 1 is detected (FIG. 8B), the h-th
In the hierarchical block, a search is performed in a predetermined range (5 × 5) centered on 2V h + 1 (FIG. 8 (c)), but 2V h + 1.
Is beyond the search range of V h ′, the motion vector V h = 0 of the block 201 corresponding to the still area cannot be detected.
【００１６】そこで、前出論文の技術では、「周辺ブロ
ック参照法」を階層的に適用し、親ブロックの検出結果
を中心点とする探索点（図９（ａ）の◎印参照）のほか
に、親ブロックと境界を接する四つの周辺ブロック（図
９（ａ）の☆印参照）の検出結果を新たな探索点として
加えている。これによれば、親ブロックの検出結果とは
別に、周辺ブロックの検出結果を探索点として参照でき
るから、親ブロックの検出結果を中心とする探索範囲が
狭くても、周辺ブロックの動きに対応する相対的な動き
が、その探索範囲内であれば、実際の動きに十分に追従
した検出（図９（ｂ）の●印参照）を行なうことができ
る。Therefore, in the technique of the above-mentioned paper, the "peripheral block reference method" is applied hierarchically, and in addition to the search point whose central point is the detection result of the parent block (see the ⊚ mark in FIG. 9A). In addition, the detection results of four peripheral blocks (see the asterisk in FIG. 9A) that touch the boundary with the parent block are added as new search points. According to this, since the detection result of the peripheral block can be referred to as the search point separately from the detection result of the parent block, even if the search range centered on the detection result of the parent block is narrow, it corresponds to the movement of the peripheral block. If the relative movement is within the search range, detection that sufficiently follows the actual movement (see the mark ● in FIG. 9B) can be performed.
【００１７】[0017]
【発明が解決しようとする課題】しかしながら、前出論
文の技術にあっては、ＭＰＥＧの予測タイプに対する配
慮がなされていないため、とくに、双方向予測を許すＢ
ピクチャの画像に対して周辺ブロック参照を行なうと、
片方向予測の場合に比べてメモリアクセス量が倍増する
という不都合があり、たとえば、画像サイズが大きく、
演算量の多いＨＤ／ＵＤ（High Definition／Ultra Def
inition）画像に適用できなくなるという問題点があ
る。However, in the technique of the above-mentioned paper, since consideration is not given to the prediction type of MPEG, bidirectional prediction is allowed in particular.
When peripheral block reference is performed on the picture image,
There is the inconvenience that the memory access amount doubles compared to the case of unidirectional prediction, for example, the image size is large,
HD / UD (High Definition / Ultra Def)
There is a problem that it cannot be applied to images.
【００１８】[0018]
【目的】そこで、本発明は、ＭＰＥＧの予測タイプに配
慮して周辺ブロック参照を行なうことにより、メモリア
クセス量の増大を抑えて、たとえば、ＨＤ／ＵＤ画像に
も適用できる階層型動きベクトル検出方法及びその装置
を提供することを目的とする。[Object] Therefore, the present invention suppresses an increase in memory access amount by referring to peripheral blocks in consideration of MPEG prediction types, and can be applied to, for example, HD / UD images as well. And its device.
【００１９】[0019]
【課題を解決するための手段】請求項１記載の方法発明
は、原画像と同一または近い解像度を有する最下位の第
１階層画像と、この第１階層画像の解像度に対して段階
的に解像度が低下する上位側の第２〜第ｍ階層画像とを
用い、上位側の任意階層で検出された親ブロックの動き
ベクトルに基づいて、該任意階層の一つ下位の階層の注
目ブロックの動きベクトルを検出する際に、前記注目ブ
ロックと同一階層内の各ブロックのうち、該注目ブロッ
クの直近に位置する周辺ブロックの動きベクトルを参照
する場合は、該周辺ブロックの位置又は数若しくはその
両方を、片方向予測と双方向予測の場合で異ならせるこ
とを特徴とする。According to a first aspect of the present invention, a lowermost first hierarchical image having a resolution equal to or close to that of an original image and a resolution of the first hierarchical image are gradually increased. And the second to m-th layer images on the upper side, the motion vector of the block of interest of one lower layer of the arbitrary layer based on the motion vector of the parent block detected on the upper arbitrary layer. When referring to the motion vector of a peripheral block located closest to the target block among the blocks in the same hierarchy as the target block, the position or number or both of the peripheral blocks are It is characterized in that it is different for unidirectional prediction and bidirectional prediction.
【００２０】請求項２記載の方法発明は、請求項１記載
の発明において、前記周辺ブロックを含む画像が最下位
の第１階層画像の場合に、前記周辺ブロックの位置又は
数若しくはその両方を、片方向予測と双方向予測の場合
で異ならせることを特徴とする。請求項３記載の方法発
明は、請求項１記載の発明において、前記注目ブロック
の動きベクトルの検出に際し、一つ上位の層の親ブロッ
クの周辺に位置する周辺ブロック（上位層周辺ブロッ
ク）の動きベクトルも参照する場合は、該上位層周辺ブ
ロックの位置又は数若しくはその両方を、片方向予測と
双方向予測の場合で異ならせることを特徴とする。According to a second aspect of the present invention, in the first aspect of the invention, when the image including the peripheral block is the lowest first hierarchical image, the position and / or number of the peripheral block are It is characterized in that it is different for unidirectional prediction and bidirectional prediction. According to a third aspect of the present invention, in the first aspect of the invention, when detecting the motion vector of the block of interest, the motion of peripheral blocks (upper layer peripheral blocks) located around the parent block of the layer one higher than the target block. When a vector is also referred to, it is characterized in that the position and / or the number of the upper layer peripheral blocks are made different in the case of unidirectional prediction and the case of bidirectional prediction.
【００２１】請求項４記載の装置発明は、原画像と同一
または近い解像度を有する最下位の第１階層画像を格納
する第１階層メモリと、この第１階層画像の解像度に対
して段階的に解像度が低下する上位側の第２〜第ｍ階層
画像を格納する第２〜第ｍ階層メモリと、上位側の任意
階層で検出された親ブロックの動きベクトルに基づい
て、該任意階層の一つ下位の階層の注目ブロックの動き
ベクトルを検出する動きベクトル検出手段と、前記注目
ブロックと同一階層内の各ブロックのうち、該注目ブロ
ックの直近に位置する周辺ブロックの動きベクトルを参
照する動きベクトル参照手段とを備え、該動きベクトル
参照手段は、該周辺ブロックの位置又は数若しくはその
両方を、片方向予測と双方向予測の場合で異ならせるこ
とを特徴とする。According to a fourth aspect of the present invention, there is provided a first hierarchy memory for storing a lowest first hierarchy image having a resolution equal to or close to that of an original image, and a stepwise resolution for the resolution of the first hierarchy image. One of the arbitrary hierarchies based on the second to mth hierarchical memories storing the upper second to mth hierarchized images with reduced resolution and the motion vector of the parent block detected in the upper arbitrary hierarchy Motion vector detecting means for detecting a motion vector of a block of interest in a lower layer, and a motion vector reference for referring to a motion vector of a peripheral block located closest to the block of interest among blocks in the same layer as the block of interest. The motion vector reference means is characterized in that the position and / or the number of the peripheral blocks are made different between unidirectional prediction and bidirectional prediction.
【００２２】請求項５記載の装置発明は、請求項４記載
の発明において、前記周辺ブロックを含む画像が最下位
の第１階層画像の場合に、前記周辺ブロックの位置又は
数若しくはその両方を、片方向予測と双方向予測の場合
で異ならせることを特徴とする。請求項６記載の装置発
明は、請求項４記載の発明において、一つ上位の層の親
ブロックの周辺に位置する周辺ブロック（上位層周辺ブ
ロック）の動きベクトルを参照する第２の動きベクトル
参照手段を備え、該第２の動きベクトル参照手段は、該
上位層周辺ブロックの位置又は数若しくはその両方を、
片方向予測と双方向予測の場合で異ならせることを特徴
とする。According to a fifth aspect of the invention, in the fourth aspect of the invention, when the image including the peripheral block is the lowest first hierarchical image, the position and / or number of the peripheral block are It is characterized in that it is different for unidirectional prediction and bidirectional prediction. According to a sixth aspect of the invention, in the fourth aspect of the invention, the second motion vector reference refers to a motion vector of a peripheral block (upper layer peripheral block) located around a parent block of one higher layer. The second motion vector referencing means is provided with the position and / or the number of the upper layer peripheral blocks,
It is characterized in that it is different for unidirectional prediction and bidirectional prediction.
【００２３】[0023]
【作用】請求項１または４記載の発明では、注目ブロッ
クを含む画像の予測タイプが片方向の場合だけ、該注目
ブロックの周辺ブロックの動きベクトルが参照される。
言い換えれば、双方向予測の場合には、周辺ブロックの
参照動作が行なわれない。したがって、過去と未来の双
方向予測を必要とする（すなわちそれだけメモリアクセ
スが多い）場合の周辺ブロック参照が制限されるから、
全体のメモリアクセス量削減が図られる。According to the invention described in claim 1 or 4, the motion vector of the peripheral block of the target block is referred to only when the prediction type of the image including the target block is unidirectional.
In other words, the reference operation of the peripheral block is not performed in the case of bidirectional prediction. Therefore, the peripheral block reference when bidirectional prediction of the past and the future is required (that is, the number of memory accesses is large) is limited,
The overall memory access amount can be reduced.
【００２４】請求項２または５記載の発明では、メモリ
バンド幅上、負担の大きい最下層画像についてのみ双方
向予測ブロックの周辺ブロック参照が制限される。した
がって、他の階層画像では双方向予測ブロックの周辺ブ
ロック参照が行なわれるから、画質の低下を抑えつつメ
モリアクセス量の削減が図られる。請求項３または６記
載の発明では、上位層周辺ブロックを参照する場合に、
その上位層注目ブロックを含む画像の予測タイプが双方
向であれば、上位層周辺ブロックの参照が制限される。According to the second or fifth aspect of the present invention, the peripheral block reference of the bidirectional prediction block is limited only to the lowermost layer image that has a heavy load on the memory bandwidth. Therefore, peripheral blocks of the bidirectional prediction block are referred to in the other hierarchical images, so that the memory access amount can be reduced while suppressing the deterioration of the image quality. In the invention according to claim 3 or 6, when referring to an upper layer peripheral block,
If the prediction type of the image including the target block of the upper layer is bidirectional, the reference of the peripheral block of the upper layer is limited.
【００２５】[0025]
【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１、図２は本発明に係る階層型動きベクトル検
出装置の一実施例の原理構成図である。なお、以下の説
明では、３階層の階層型画像に適用した例であるが、こ
の階層数に限定されるものではない。Embodiments of the present invention will be described below with reference to the drawings. 1 and 2 are principle configuration diagrams of an embodiment of a hierarchical motion vector detection device according to the present invention. In the following description, the example is applied to a three-layer hierarchical image, but the number of layers is not limited to this.
【００２６】図１において、１０〜３０は、階層毎に設
けられた動きベクトル検出部であり、図面下側の動きベ
クトル検出部３０は３階層型画像の第１層目の画像（最
下位層画像）に対応し、図面中央の動きベクトル検出部
２０は同画像の第２層目の画像（中間層画像）に対応
し、さらに、図面上側の動きベクトル検出部１０は同画
像の第３層目の画像（最上位層画像）に対応している。
以下、説明の都合上、図面上側の動きベクトル検出部１
０を「最上位層動きベクトル検出部」、図面中央の動き
ベクトル検出部２０を「中位層動きベクトル検出部」、
さらに、図面下側の動きベクトル検出部３０を「最下位
層動きベクトル検出部」と呼称する。In FIG. 1, 10 to 30 are motion vector detection units provided for each layer, and the motion vector detection unit 30 on the lower side of the drawing is the first layer image (the lowest layer) of the three layered images. Image), the motion vector detection unit 20 in the center of the drawing corresponds to the second layer image (intermediate layer image) of the same image, and the motion vector detection unit 10 on the upper side of the drawing corresponds to the third layer of the same image. It corresponds to the eye image (top layer image).
Hereinafter, for convenience of description, the motion vector detection unit 1 on the upper side of the drawing
0 is the “uppermost layer motion vector detecting unit”, the motion vector detecting unit 20 at the center of the drawing is the “middle layer motion vector detecting unit”,
Further, the motion vector detecting unit 30 on the lower side of the drawing is referred to as a "lowermost layer motion vector detecting unit".
【００２７】各部の構成は、中位層動きベクトル検出部
２０と最下位層動きベクトル検出部３０が同一で、最上
位層動きベクトル検出部１０が一部異なっている。すな
わち、最上位層動きベクトル検出部１０は、二つの画像
メモリ１０ａ、１０ｂ、動きベクトル／評価値メモリ１
０ｃ及び動きベクトル評価器１０ｄを含み、一方、中位
層動きベクトル検出部２０（最下位層動きベクトル検出
部３０）は、二つの画像メモリ２０ａ、２０ｂ（３０
ａ、３０ｂ）、動きベクトル／評価値メモリ２０ｃ（３
０ｃ）及び動きベクトル評価器２０ｄ（３０ｄ）に加
え、動きベクトル伸長器２０ｅ（３０ｅ）とピクチャタ
イプ指示器２０ｈ、２０ｉ（３０ｈ、３０ｉ）を構成に
含む。With respect to the configuration of each unit, the middle layer motion vector detection unit 20 and the lowest layer motion vector detection unit 30 are the same, and the highest layer motion vector detection unit 10 is partially different. That is, the uppermost layer motion vector detection unit 10 includes two image memories 10a and 10b and a motion vector / evaluation value memory 1
0c and the motion vector evaluator 10d, while the middle layer motion vector detection unit 20 (lowermost layer motion vector detection unit 30) includes two image memories 20a and 20b (30).
a, 30b), motion vector / evaluation value memory 20c (3
0c) and the motion vector evaluator 20d (30d), a motion vector decompressor 20e (30e) and picture type indicators 20h and 20i (30h and 30i) are included in the configuration.
【００２８】動きベクトル検出部１０（２０または３
０）に含まれる二つの画像メモリ１０ａ、１０ｂ（２０
ａ、２０ｂまたは３０ａ、３０ｂ）の一方は、現フレー
ムの画像信号（以下、単に「現フレーム」と言う）の格
納用、他方は参照フレーム（たとえば、時間的に一つ前
のフレーム）の画像信号（以下、単に「参照フレーム」
と言う）の格納用であり、特に限定しないが、図では、
左側の画像メモリ１０ａ（２０ａまたは３０ａ）を現フ
レーム格納用、右側の画像メモリ１０ｂ（２０ｂまたは
３０ｂ）を参照フレーム格納用としている。The motion vector detector 10 (20 or 3)
0) two image memories 10a, 10b (20)
a, 20b or 30a, 30b) is for storing the image signal of the current frame (hereinafter, simply referred to as "current frame"), and the other is the image of the reference frame (for example, the frame immediately preceding in time). Signal (hereinafter simply referred to as "reference frame")
It is for storing, and is not particularly limited, but in the figure,
The left image memory 10a (20a or 30a) is used for storing the current frame, and the right image memory 10b (20b or 30b) is used for storing the reference frame.
【００２９】ここで、画像メモリ１０ａ、１０ｂ、２０
ａ、２０ｂ、３０ａ、３０ｂの解像度（画素密度）は、
下位側から上位側へといくにつれて段階的に低くなって
いる。すなわち、最下位層動きベクトル検出部３０の画
像メモリ３０ａ、３０ｂに格納された画像は「高解像度
画像」であり、また、中位層動きベクトル検出部２０の
画像メモリ２０ａ、２０ｂに格納された画像は「中解像
度画像」であり、さらに、最上位層動きベクトル検出部
１０の画像メモリ１０ａ、１０ｂに格納された画像は
「低解像度画像」である。Here, the image memories 10a, 10b, 20
The resolution (pixel density) of a, 20b, 30a, 30b is
It gradually decreases from the lower side to the upper side. That is, the images stored in the image memories 30a and 30b of the lowermost layer motion vector detection unit 30 are “high resolution images”, and are also stored in the image memories 20a and 20b of the middle layer motion vector detection unit 20. The image is a "medium resolution image", and the images stored in the image memories 10a and 10b of the uppermost layer motion vector detection unit 10 are "low resolution images".
【００３０】したがって、高解像度画像を格納する画像
メモリ１０ａ、１０ｂは、発明の要旨に記載の「第１階
層メモリ」として機能し、中解像度画像と低解像度画像
を格納する残りの画像メモリ２０ａ、２０ｂ、３０ａ、
３０ｂは、発明の要旨に記載の「第２〜第ｍ階層メモ
リ」としての機能を有している。各画像の画素密度は、
「高」、「中」、「低」の順に段階的に低くなるように
設定すればよいが、設計容易性の点で、一定の倍率で変
化するようにした方が望ましい。たとえば、高解像度画
像の画素密度を原画像と同一の（または近い）解像度に
するとともに、この高解像度画像の画素を１／４間引い
たものを中解像度画像とし、さらに、中解像度画像の画
素を１／４間引いたものを低解像度画像としてもよい。
この場合、低解像度画像の画素密度は、高解像度画像の
１／１６になる。Therefore, the image memories 10a and 10b for storing the high resolution images function as the "first layer memory" described in the gist of the invention, and the remaining image memories 20a for storing the medium resolution image and the low resolution image, 20b, 30a,
30b has a function as a "second to m-th hierarchical memory" described in the gist of the invention. The pixel density of each image is
It may be set so as to gradually decrease in the order of “high”, “medium”, and “low”, but it is desirable to change at a constant magnification from the viewpoint of design ease. For example, the pixel density of the high-resolution image is set to the same (or close to) the resolution of the original image, the pixels of this high-resolution image are thinned out by 1/4, and the medium-resolution image is obtained. A low resolution image may be obtained by thinning out 1/4.
In this case, the pixel density of the low resolution image is 1/16 of that of the high resolution image.
【００３１】次に、画像メモリ以外の各部の機能を説明
する。まず、最上位層動きベクトル検出部１０の動きベ
クトル評価器１０ｄは、一方の画像メモリ１０ａから読
み出した現フレームの注目ブロックの画像（図４の符号
１０１参照）と、他方の画像メモリ１０ｂから読み出し
た探索領域（図４の符号１０３参照）の画像とに基づ
き、公知の手法（前述のブロックマッチング法参照）に
よって注目ブロックの動きベクトルを検出するもので、
検出された動きベクトルと評価値は、動きベクトル／評
価値メモリ１０ｃに書き込まれる。Next, the function of each unit other than the image memory will be described. First, the motion vector evaluator 10d of the uppermost layer motion vector detecting unit 10 reads the image of the target block of the current frame read from one image memory 10a (see reference numeral 101 in FIG. 4) and the other image memory 10b. The motion vector of the target block is detected by a known method (see the above-mentioned block matching method) based on the image of the search area (see reference numeral 103 in FIG. 4).
The detected motion vector and evaluation value are written in the motion vector / evaluation value memory 10c.
【００３２】中位層動きベクトル検出部２０の動きベク
トル評価器２０ｄ（または最下位層動きベクトル検出部
３０の動きベクトル評価器３０ｄ）は、一方の画像メモ
リ２０ａ（３０ａ）から読み出した現フレームの注目ブ
ロックの画像と、他方の画像メモリ２０ｂ（３０ｂ）か
ら読み出した探索領域の画像とに基づき、公知の手法に
よって注目ブロックの動きベクトルを検出する点で、最
上位層の動きベクトル評価器１０ｄと類似するが、第１
に、一つ上の階層の親ブロックの動きベクトルを初期偏
位ベクトルとする点で相違する。The motion vector evaluator 20d of the middle layer motion vector detection unit 20 (or the motion vector evaluator 30d of the lowest layer motion vector detection unit 30) of the current frame read from one image memory 20a (30a). Based on the image of the block of interest and the image of the search area read from the other image memory 20b (30b), the motion vector of the block of interest is detected by a known method, and the motion vector evaluator 10d of the uppermost layer is used. Similar, but first
The difference is that the motion vector of the parent block in the next higher layer is used as the initial displacement vector.
【００３３】すなわち、中位層動きベクトル検出部２０
の動きベクトル評価器２０ｄ（または最下位層動きベク
トル検出部３０の動きベクトル評価器３０ｄ）には、動
きベクトル伸長器２０ｅ（３０ｅ）によって所定の伸長
処理を施された一つ上の階層の親ブロックの動きベクト
ル１０ｆ（２０ｆ）……１０ｆ′または２０ｆ′は伸長
処理後の動きベクトル……が入力しており、動きベクト
ル評価器２０ｄ（３０ｄ）は、親ブロックの動きベクト
ル１０ｆ′（２０ｆ′）で指示されるベクトルに対応す
る領域よりも若干大きい探索領域（ｘ）を設定し、その
領域内の画像を画像メモリ２０ｂ（３０ｂ）から読み込
み、領域（ｘ）の中で評価が最も高いベクトルＶｘを探
し出し、その探索結果のベクトルＶｘと評価値ｘとを動
きベクトル／評価値メモリ２０ｃ（３０ｃ）に書き込む
点で相違する。探索領域ｘを必要最小限の大きさにで
き、無駄な探索処理を回避できる。したがって、中位層
と最下位層の動きベクトル評価器２０ｄ、３０ｄは、上
位側の階層で検出された親ブロックの動きベクトルに基
づいて、一つ下位の階層の注目ブロックの動きベクトル
を検出する「動きベクトル検出手段」としての機能を有
している。That is, the middle layer motion vector detecting section 20.
The motion vector evaluator 20d (or the motion vector evaluator 30d of the lowest layer motion vector detection unit 30) of FIG. The motion vector 10f (20f) ... 10f 'or 20f' of the block is input as the motion vector after the expansion processing, and the motion vector evaluator 20d (30d) outputs the motion vector 10f '(20f' of the parent block). ), A search area (x) that is slightly larger than the area corresponding to the vector indicated by () is set, the image in that area is read from the image memory 20b (30b), and the vector with the highest evaluation in the area (x) is set. The difference is that Vx is searched for, and the vector Vx of the search result and the evaluation value x are written in the motion vector / evaluation value memory 20c (30c). The search area x can be minimized in size, and useless search processing can be avoided. Therefore, the motion vector evaluators 20d and 30d of the middle layer and the lowest layer detect the motion vector of the block of interest in the one lower layer based on the motion vector of the parent block detected in the upper layer. It has a function as "motion vector detecting means".
【００３４】また、第２に、同一階層内の周辺ブロック
の動きベクトルを参照（但し、Ｐピクチャのときだけ）
する点で相違する。すなわち、動きベクトル／評価値メ
モリ２０ｃ（３０ｃ）にすでに書き込まれている周辺ブ
ロックの動きベクトルを、参照動きベクトル２０ｇ（３
０ｇ）として少なくとも一つ読み出し、この参照動きベ
クトル２０ｇ（３０ｇ）に対応した探索領域（Ｙi）
（ｉは参照動きベクトルの識別番号）の画像を、画像メ
モリ２０ｂ（３０ｂ）から読み出す。そして、領域（Ｙ
i）の中で最も評価の高いベクトルＶｙを探し出し、そ
の探索結果の動きベクトルＶｙiと評価値ｙiとを動きベ
クトル／評価値メモリ２０ｃ（３０ｃ）に書き込む。最
後に、親ブロックの動きベクトルを参照したときの評価
値ｘと、周辺ブロックの動きベクトルを参照したときの
評価値ｙi（たとえば二つの周辺ブロックを参照した場
合にはｙ1、ｙ2）との中で最も評価の高いベクトルＶｚ
を当該階層画像の注目ブロックにおける動きベクトル２
０ｆ（３０ｆ）として確定し、一つ下の階層へ出力する
とともに、動きベクトル／評価値メモリ２０ｃ（３０
ｃ）に書き込む。したがって、中位層と最下位層の動き
ベクトル評価器２０ｄ、３０ｄは、注目ブロックと同一
階層内の各ブロックのうち、該注目ブロックの直近に位
置する周辺ブロックの動きベクトルを参照する「動きベ
クトル参照手段」としての機能も有している。Secondly, refer to the motion vector of a peripheral block in the same layer (however, only for P picture)
The difference is that That is, the motion vector of the peripheral block already written in the motion vector / evaluation value memory 20c (30c) is set to the reference motion vector 20g (3
0g), at least one is read, and the search area (Y i ) corresponding to this reference motion vector 20g (30g)
The image of (i is the identification number of the reference motion vector) is read from the image memory 20b (30b). Then, the area (Y
The vector Vy having the highest evaluation in i ) is searched, and the motion vector Vy i and the evaluation value y i of the search result are written in the motion vector / evaluation value memory 20c (30c). Finally, an evaluation value x when the motion vector of the parent block is referred to, and an evaluation value y i when the motion vector of the peripheral block is referred to (for example, y 1 and y 2 when two peripheral blocks are referred to) And the most evaluated vector Vz
Is the motion vector 2 in the target block of the hierarchical image.
0f (30f) is confirmed and output to the next lower layer, and the motion vector / evaluation value memory 20c (30
Write to c). Therefore, the motion vector evaluators 20d and 30d of the middle layer and the lowest layer refer to the "motion vector" of each block in the same layer as the block of interest, which refers to the motion vector of the peripheral block located closest to the block of interest. It also has a function as "reference means".
【００３５】ここで、本実施例では、周辺ブロックの動
きベクトルを参照する場合、周辺ブロック数を４個未満
の少ない数（好ましくは１個または２個）に制限する。
これにより、冒頭の従来例の４個（図９の☆印参照）に
比べて、参照メモリのアクセス量を大幅に削減できる。
さらに、本実施例では、周辺ブロック参照の位置及び数
をピクチャタイプに応じて変えている。ピクチャタイプ
指示器２０ｈ、２０ｉ、３０ｈ及び３０ｉはそのための
構成要素である。これらのピクチャタイプ指示器２０
ｈ、２０ｉ、３０ｈ及び３０ｉは、それぞれ、画像メモ
リ２０ａ、２０ｂ、３０ａ及び３０ｂ毎に設けられてお
り、ここには明示していないあらかじめ決められた時間
順序より定められるか、あるいは外部より逐次与えられ
るピクチャタイプを動きベクトル評価器２０ｄ、３０ｄ
に与える。動きベクトル評価器２０ｄ、３０ｄは、与え
られたピクチャタイプが双方向予測を許すＢピクチャの
場合に、周辺ブロックの参照動作を変更する。すなわ
ち、周辺ブロック参照を制限あるいは禁止することで、
双方向予測を許すＢピクチャの場合のメモリアクセス量
の増大を抑える働きをする。Here, in this embodiment, when referring to the motion vector of a peripheral block, the number of peripheral blocks is limited to a small number less than 4 (preferably 1 or 2).
As a result, the access amount of the reference memory can be significantly reduced compared to the four conventional examples at the beginning (see the star mark in FIG. 9).
Furthermore, in this embodiment, the position and number of peripheral block references are changed according to the picture type. The picture type indicators 20h, 20i, 30h and 30i are components therefor. These picture type indicators 20
h, 20i, 30h, and 30i are provided for the image memories 20a, 20b, 30a, and 30b, respectively, and are set according to a predetermined time sequence not explicitly shown here, or sequentially given from the outside. The selected picture type is the motion vector evaluator 20d, 30d.
Give to. The motion vector evaluators 20d and 30d change the reference operation of the peripheral blocks when the given picture type is a B picture that allows bidirectional prediction. That is, by restricting or prohibiting peripheral block reference,
It works to suppress an increase in the memory access amount in the case of a B picture that allows bidirectional prediction.
【００３６】図２はＭＰＥＧにおける予測符号化の概念
図である。図２の例はＩ、Ｐピクチャの周期（Ｍ）が３
の場合である。ＩまたはＰピクチャの間に二つのＢピク
チャが挿入されている。曲線矢印で示すように、Ｐピク
チャは過去のＩピクチャ（またはＰピクチャ）からの片
方向予測で復号化されるが、Ｂピクチャは過去と未来の
Ｉピクチャ（またはＰピクチャ）からの双方向予測で復
号化される。たとえば、ピクチャ番号＃２のＢピクチャ
は、＃１のＩピクチャと＃４のＰピクチャとから復号化
される。FIG. 2 is a conceptual diagram of predictive coding in MPEG. In the example of FIG. 2, the period (M) of I and P pictures is 3
Is the case. Two B pictures are inserted between the I or P pictures. As indicated by the curved arrows, P pictures are decoded with unidirectional prediction from past I pictures (or P pictures), while B pictures are bidirectionally predicted from past and future I pictures (or P pictures). Is decrypted with. For example, the B picture of picture number # 2 is decoded from the I picture of # 1 and the P picture of # 4.
【００３７】したがって、片方向予測しか行わないＰピ
クチャに比べ、双方向予測を許すＢピクチャの場合の周
辺ブロック参照は、その予測方向に応じてメモリアクセ
ス量が多い（単純計算で２倍）から、双方向予測を許す
Ｂピクチャの周辺ブロック参照を制限又は禁止すること
によって、それだけ全体のメモリアクセス量の増大を抑
えることができ、とくに、ＨＤ／ＵＤ画像のような処理
量の多いものに用いて好適な階層型動きベクトル検出方
法及びその装置を実現できる。Therefore, the peripheral block reference in the case of a B picture that allows bidirectional prediction has a larger memory access amount depending on the prediction direction (double the simple calculation), as compared with the P picture that only performs unidirectional prediction. , By restricting or prohibiting the peripheral block reference of the B picture that allows bidirectional prediction, it is possible to suppress the increase in the total memory access amount to that extent, and it is particularly used for a large processing amount such as an HD / UD image. And a preferred hierarchical motion vector detection method and apparatus therefor can be realized.
【００３８】また、双方向予測を許すＢピクチャの周辺
ブロック参照制限（又は禁止）を、原画像（最下層画
像）だけに限定することは好ましい。原画像のブロック
画素数と画面当たりのブロック数は他の階層画像に比べ
て大きく、メモリバンド幅上、大きな負担になるから
で、双方向予測を許すＢピクチャの周辺ブロック参照を
この原画像で制限又は禁止することにより、メモリアク
セス量の効率的な抑制を図ることができるからである。
しかも、他の階層画像では、Ｂピクチャの周辺ブロック
参照を許すことになるから、画質の劣化を最小限に抑え
ることもできる。Further, it is preferable to limit the peripheral block reference restriction (or prohibition) of a B picture that allows bidirectional prediction to only the original image (lowermost layer image). The number of block pixels in the original image and the number of blocks per screen are larger than those of other hierarchical images, which imposes a heavy load on the memory bandwidth. Therefore, the peripheral image reference of a B picture that allows bidirectional prediction is referred to in this original image. This is because the memory access amount can be efficiently suppressed by limiting or prohibiting.
Moreover, in other hierarchical images, reference to peripheral blocks of B-pictures is allowed, and therefore deterioration in image quality can be minimized.
【００３９】さらに、Ｐピクチャは、別の画像の予測画
像となり得るため、画質劣化が伝播することがあり得る
が、Ｂピクチャでの画質劣化は、その性格上、伝播する
ことはなく、画質全体への影響は少ない。なお、以上の
実施例では、注目ブロックと同一階層内のブロックを周
辺ブロックとしているが、これに限るものではない。一
つ上位の層の親ブロックの周辺に位置する周辺ブロック
（上位層周辺ブロック）の動きベクトルを参照してもか
まわない。この場合には、たとえば、図１の信号１０
ｆ、２０ｆを上位層周辺ブロックの数だけ増やせばよ
い。したがって、上位層周辺ブロックを参照する場合に
は、中位層と最下位層の動きベクトル評価器２０ｄ、３
０ｄは、発明の要旨に記載の「第２の動きベクトル参照
手段」の機能も兼ね備えることになる。Further, since the P picture can be a predicted image of another image, the deterioration of the image quality may be propagated. However, the deterioration of the image quality of the B picture is not propagated due to its nature, and the entire image quality is not propagated. Has little effect on Although the blocks in the same hierarchy as the block of interest are peripheral blocks in the above embodiments, the present invention is not limited to this. It is also possible to refer to the motion vector of a peripheral block (upper layer peripheral block) located around the parent block of one upper layer. In this case, for example, the signal 10 of FIG.
It is sufficient to increase f and 20f by the number of upper layer peripheral blocks. Therefore, when referring to the upper layer peripheral block, the motion vector evaluators 20d, 3
0d also has the function of the "second motion vector reference means" described in the summary of the invention.
【００４０】[0040]
【発明の効果】請求項１または４記載の発明によれば、
注目ブロックを含む画像の予測タイプが双方向予測の場
合に、周辺ブロックの参照動作が行なわれない。したが
って、過去と未来の双方向予測を必要とする（すなわち
それだけメモリアクセスが多い）場合の周辺ブロック参
照が制限されるから、全体のメモリアクセス量削減を図
ることができる。According to the invention of claim 1 or 4,
When the prediction type of the image including the block of interest is bidirectional prediction, the reference operation of peripheral blocks is not performed. Therefore, the peripheral block reference when bidirectional prediction of the past and the future is required (that is, the memory access is so many) is limited, so that the overall memory access amount can be reduced.
【００４１】請求項２または５記載の発明によれば、メ
モリバンド幅上、負担の大きい最下層画像についてのみ
双方向予測ブロックの周辺ブロック参照が制限される。
したがって、他の階層画像では双方向予測ブロックの周
辺ブロック参照が行なわれるから、画質の低下を抑えつ
つメモリアクセス量の削減を図ることができる。請求項
３または６記載の発明によれば、上位層周辺ブロックを
参照する場合に、その上位層注目ブロックを含む画像の
予測タイプが双方向であれば、上位層周辺ブロックの参
照が制限される。したがって、全体のメモリアクセス量
を削減できる。According to the second or fifth aspect of the present invention, the peripheral block reference of the bidirectional prediction block is limited only to the lowermost layer image that has a heavy load on the memory bandwidth.
Therefore, since the peripheral block reference of the bidirectional prediction block is performed in the other hierarchical image, it is possible to reduce the memory access amount while suppressing the deterioration of the image quality. According to the invention of claim 3 or 6, when referring to the upper layer peripheral block, if the prediction type of the image including the upper layer attention block is bidirectional, the reference of the upper layer peripheral block is limited. . Therefore, the total memory access amount can be reduced.
【図面の簡単な説明】[Brief description of drawings]
【図１】一実施例の概念的な要部全体構成図である。FIG. 1 is a conceptual overall configuration diagram of an embodiment.
【図２】ＭＰＥＧにおける予測符号化の概念図である。FIG. 2 is a conceptual diagram of predictive coding in MPEG.
【図３】動きベクトル検出の基本原理図（その１）であ
る。FIG. 3 is a basic principle diagram (1) of motion vector detection.
【図４】動きベクトル検出の基本原理図（その２）であ
る。FIG. 4 is a basic principle diagram (part 2) of motion vector detection.
【図５】同一階層における周辺ブロックの概念図であ
る。FIG. 5 is a conceptual diagram of peripheral blocks in the same hierarchy.
【図６】階層型画像の模式図である。FIG. 6 is a schematic diagram of a hierarchical image.
【図７】階層型画像における動きベクトル検出の概念図
である。FIG. 7 is a conceptual diagram of motion vector detection in a hierarchical image.
【図８】階層型画像における不都合説明図である。FIG. 8 is a diagram illustrating inconvenience in a hierarchical image.
【図９】周辺ブロック参照法を階層的に適用した従来技
術の概念図である。FIG. 9 is a conceptual diagram of a conventional technique in which a peripheral block reference method is hierarchically applied.
１０ａ、１０ｂ：画像メモリ（第１階層メモリ） ２０ａ、２０ｂ、３０ａ、３０ｂ：画像メモリ（第２〜
第ｍ階層メモリ） ２０ｄ、３０ｄ：動きベクトル評価器（動きベクトル検
出手段、動きベクトル参照手段、第２の動きベクトル参
照手段）10a, 10b: image memory (first layer memory) 20a, 20b, 30a, 30b: image memory (second to second)
M-th layer memory) 20d, 30d: motion vector evaluator (motion vector detection means, motion vector reference means, second motion vector reference means)
フロントページの続き (72)発明者 佐藤 真樹 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 (72)発明者 森田 一彦 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 (72)発明者 山田 恭裕 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内Front page continuation (72) Inventor Maki Sato 4-36-19 Yoyogi, Shibuya-ku, Tokyo Inside Graphics Communications Laboratories, Inc. (72) Inventor Kazuhiko Morita 4-36-19 Yoyogi, Shibuya-ku, Tokyo Within Graphics Communications Laboratories, Inc. (72) Inventor Yasuhiro Yamada 4-36-19 Yoyogi, Shibuya-ku, Tokyo Within Graphics Communications Laboratories, Inc.
Claims (6)
下位の第１階層画像と、この第１階層画像の解像度に対
して段階的に解像度が低下する上位側の第２〜第ｍ階層
画像とを用い、 上位側の任意階層で検出された親ブロックの動きベクト
ルに基づいて、該任意階層の一つ下位の階層の注目ブロ
ックの動きベクトルを検出する際に、 前記注目ブロックと同一階層内の各ブロックのうち、該
注目ブロックの直近に位置する周辺ブロックの動きベク
トルを参照する場合は、 該周辺ブロックの位置又は数若しくはその両方を、片方
向予測と双方向予測の場合で異ならせることを特徴とす
る階層型動きベクトル検出方法。1. A lowermost first hierarchical image having a resolution equal to or close to that of an original image, and upper second to mth hierarchical images whose resolution is gradually reduced with respect to the resolution of the first hierarchical image. And when detecting the motion vector of the block of interest in the one lower layer of the arbitrary layer based on the motion vector of the parent block detected in the upper arbitrary layer, When referring to the motion vector of a peripheral block located closest to the block of interest among the blocks of 1), the position and / or number of the peripheral blocks should be different between unidirectional prediction and bidirectional prediction. Hierarchical motion vector detection method.
１階層画像の場合に、前記周辺ブロックの位置又は数若
しくはその両方を、片方向予測と双方向予測の場合で異
ならせることを特徴とする請求項１記載の階層型動きベ
クトル検出方法。2. When the image including the peripheral block is the lowest first layer image, the position and / or the number of the peripheral block are different between unidirectional prediction and bidirectional prediction. The hierarchical motion vector detection method according to claim 1.
際し、 一つ上位の層の親ブロックの周辺に位置する周辺ブロッ
ク（上位層周辺ブロック）の動きベクトルも参照する場
合は、 該上位層周辺ブロックの位置又は数若しくはその両方
を、片方向予測と双方向予測の場合で異ならせることを
特徴とする請求項１記載の階層型動きベクトル検出方
法。3. When the motion vector of the block of interest is detected, if a motion vector of a peripheral block (upper layer peripheral block) located around a parent block of an upper layer is also referred to, the upper layer peripheral block 2. The hierarchical motion vector detecting method according to claim 1, wherein the position and / or the number thereof are different between the unidirectional prediction and the bidirectional prediction.
下位の第１階層画像を格納する第１階層メモリと、 この第１階層画像の解像度に対して段階的に解像度が低
下する上位側の第２〜第ｍ階層画像を格納する第２〜第
ｍ階層メモリと、 上位側の任意階層で検出された親ブロックの動きベクト
ルに基づいて、該任意階層の一つ下位の階層の注目ブロ
ックの動きベクトルを検出する動きベクトル検出手段
と、 前記注目ブロックと同一階層内の各ブロックのうち、該
注目ブロックの直近に位置する周辺ブロックの動きベク
トルを参照する動きベクトル参照手段とを備え、 該動きベクトル参照手段は、該周辺ブロックの位置又は
数若しくはその両方を、片方向予測と双方向予測の場合
で異ならせることを特徴とする階層型動きベクトル検出
装置。4. A first layer memory for storing a lowermost first layer image having a resolution the same as or close to that of an original image, and an upper side memory whose resolution gradually decreases with respect to the resolution of this first layer image. Based on the motion vectors of the parent blocks detected in the upper arbitrary layer and the second to mth layer memories that store the second to mth layer images, the block of interest of the layer one lower than the arbitrary layer is selected. Motion vector detecting means for detecting a motion vector; and motion vector referring means for referring to a motion vector of a peripheral block located closest to the target block among the blocks in the same hierarchy as the target block, A hierarchical motion vector detection device, wherein the vector reference means makes the position and / or number of the peripheral blocks different between unidirectional prediction and bidirectional prediction.
１階層画像の場合に、前記周辺ブロックの位置又は数若
しくはその両方を、片方向予測と双方向予測の場合で異
ならせることを特徴とする請求項４記載の階層型動きベ
クトル検出装置。5. When the image including the peripheral block is the lowest first hierarchical image, the position and / or the number of the peripheral blocks are different between unidirectional prediction and bidirectional prediction. The hierarchical motion vector detection device according to claim 4.
る周辺ブロック（上位層周辺ブロック）の動きベクトル
を参照する第２の動きベクトル参照手段を備え、 該第２の動きベクトル参照手段は、該上位層周辺ブロッ
クの位置又は数若しくはその両方を、片方向予測と双方
向予測の場合で異ならせることを特徴とする請求項４記
載の階層型動きベクトル検出装置。6. A second motion vector reference means for referencing a motion vector of a peripheral block (upper layer peripheral block) located around a parent block of one upper layer, the second motion vector reference means. 5. The hierarchical motion vector detection device according to claim 4, wherein the position and / or number of the upper layer peripheral blocks are made different between unidirectional prediction and bidirectional prediction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6538495A JP2963362B2 (en) | 1995-03-24 | 1995-03-24 | Hierarchical motion vector detection method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6538495A JP2963362B2 (en) | 1995-03-24 | 1995-03-24 | Hierarchical motion vector detection method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08265773A true JPH08265773A (en) | 1996-10-11 |
| JP2963362B2 JP2963362B2 (en) | 1999-10-18 |
Family
ID=13285444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6538495A Expired - Lifetime JP2963362B2 (en) | 1995-03-24 | 1995-03-24 | Hierarchical motion vector detection method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2963362B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6377623B1 (en) | 1998-03-02 | 2002-04-23 | Samsung Electronics Co., Ltd. | High speed motion estimating method for real time moving image coding and apparatus therefor |
| WO2003030556A1 (en) * | 2001-09-18 | 2003-04-10 | Matsushita Electric Industrial Co., Ltd. | Image encoding method and image decoding method |
| JP2009089332A (en) * | 2007-10-03 | 2009-04-23 | Sony Corp | Motion prediction method and motion predictor |
| JP2011130265A (en) * | 2009-12-18 | 2011-06-30 | Nippon Telegr & Teleph Corp <Ntt> | Motion vector detection apparatus, motion vector detection method and program |
| JP2011191972A (en) * | 2010-03-15 | 2011-09-29 | Fujifilm Corp | Device and method for measurement of motion vector |
-
1995
- 1995-03-24 JP JP6538495A patent/JP2963362B2/en not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6377623B1 (en) | 1998-03-02 | 2002-04-23 | Samsung Electronics Co., Ltd. | High speed motion estimating method for real time moving image coding and apparatus therefor |
| WO2003030556A1 (en) * | 2001-09-18 | 2003-04-10 | Matsushita Electric Industrial Co., Ltd. | Image encoding method and image decoding method |
| CN1298171C (en) * | 2001-09-18 | 2007-01-31 | 松下电器产业株式会社 | Image encoding method and image decoding method |
| JP2009089332A (en) * | 2007-10-03 | 2009-04-23 | Sony Corp | Motion prediction method and motion predictor |
| JP2011130265A (en) * | 2009-12-18 | 2011-06-30 | Nippon Telegr & Teleph Corp <Ntt> | Motion vector detection apparatus, motion vector detection method and program |
| JP2011191972A (en) * | 2010-03-15 | 2011-09-29 | Fujifilm Corp | Device and method for measurement of motion vector |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2963362B2 (en) | 1999-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20140049607A1 (en) | Devices and Methods for Sparse Representation of Dense Motion Vector Fields for Compression of Visual Pixel Data | |
| JP4358990B2 (en) | Motion estimation system and method | |
| JP3190529B2 (en) | Video data block conversion system | |
| US6330284B1 (en) | Video coding and video encoding apparatus according to a reduction ratio setting information signal | |
| US8009923B2 (en) | Method and system for motion estimation with multiple vector candidates | |
| US20050276327A1 (en) | Method and apparatus for predicting motion | |
| JPH09163380A (en) | Image coding device and motion vector detection method | |
| US20090304090A1 (en) | Method for Scalable Video Coding | |
| JPH04177992A (en) | Picture coder having hierarchical structure | |
| US20070247529A1 (en) | Image processing method and image processing device | |
| CN113597764B (en) | Video decoding method, system and storage medium | |
| US20100183074A1 (en) | Image processing method, image processing apparatus and computer readable storage medium | |
| JP4709155B2 (en) | Motion detection device | |
| WO2023142926A1 (en) | Image processing method and apparatus | |
| US7394852B2 (en) | Method for detecting a moving object in motion video and apparatus | |
| JP2963362B2 (en) | Hierarchical motion vector detection method and apparatus | |
| JP2012004710A (en) | Motion vector detection circuit, moving image encoding apparatus, and motion vector detection method | |
| JP2853973B2 (en) | Hierarchical motion vector detection method and apparatus | |
| US8325813B2 (en) | Moving image coding apparatus | |
| JP2853974B2 (en) | Hierarchical motion vector detection method and apparatus | |
| Chu et al. | Hierarchical global motion estimation/compensation in low bitrate video coding | |
| JP2702488B2 (en) | Video predictive coding | |
| JPH1023420A (en) | Method and device for detecting movement | |
| KR100987584B1 (en) | Movie change system and method for efficient save of high-resolution movie | |
| JPH08265763A (en) | Motion vector detection method and device therefor |