JPH07212762A - Hierarchical motion vector detection method - Google Patents

Abstract

PURPOSE:To reduce the arithmetic operation quantity without deteriorating detection accuracy even when a frame interval is wide by using telescopic retrieval on a minimum reduced picture generated from a luminance signal of an input picture so as to obtain a motion vector. CONSTITUTION:Picture signals 4, 19 of a current frame and an intermediate frame are reduced into a prescribed size and a small area divider is used to divide the signals into plural blocks and to generate reduced pictures 53, 56 from a 1st layer till a C layer and they are outputted to a matching error calculation section 67 and block address signals 60, 63 are outputted to a comparator 69. Then the telescopic retrieval is used to detect a motion vector on a reduced picture of the C layer whose size is least and a motion vector is detected on a reduced picture of a (C-1) layer as an initial value. The process is repeated to obtain a motion vector finally between a current picture and a reference picture not continuous timewise. Thus, even when a frame interval is wide, the motion vector is detected with less calculation quantity.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、動画像の高能率符号化
方式に係わり、特に、ハイブリッド符号化方式における
動き保証フレ−ム間予測に適用される動ベクトル検出方
法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high-efficiency coding system for moving pictures, and more particularly to a motion vector detection method applied to motion-guaranteed interframe prediction in a hybrid coding system.

【０００２】[0002]

【従来の技術】動画像符号化において、動き保証フレ−
ム間予測は高い符号化効率を補償することが知られてい
る。2. Description of the Related Art In motion picture coding, a motion guarantee frame is used.
Inter-frame prediction is known to compensate for high coding efficiency.

【０００３】図３は、離散コサイン変換などの直行変換
と組み合わせたハイブリッド符号化方式の基本ブロック
構成を示す図である。FIG. 3 is a diagram showing a basic block configuration of a hybrid coding system combined with orthogonal transform such as discrete cosine transform.

【０００４】図３において、動き検出器３０８が、入力
画像信号３０１およびフレ−ムメモリ３０７に蓄積され
た前フレ−ム画像信号３０９から動きベクトル３１０を
算出し、その動きベクトル３１０により動き補償器３１
１が動き補償予測誤差信号３１２を出力する。In FIG. 3, the motion detector 308 calculates a motion vector 310 from the input image signal 301 and the previous frame image signal 309 accumulated in the frame memory 307, and the motion compensator 31 uses the motion vector 310.
1 outputs the motion compensation prediction error signal 312.

【０００５】さらに、直交変換器３０２が、出力された
予測誤差信号３１２に対して離散コサイン変換等の直交
変換を行った後、量子化器３０３により量子化が行われ
る。Further, after the orthogonal transformer 302 performs orthogonal transform such as discrete cosine transform on the output prediction error signal 312, the quantizer 303 quantizes the signal.

【０００６】量子化されたデ−タ３１３は、逆量子化器
３０５および逆直交変換器３０６により画像信号に復元
されフレ−ムメモリ３０７に蓄積されると同時に、エン
トロピ−符号化器３０４に入力され最終的な符号化デ−
タ３１４が出力される構成となっている。The quantized data 313 is restored to an image signal by the inverse quantizer 305 and the inverse orthogonal transformer 306 and stored in the frame memory 307, and at the same time, input to the entropy encoder 304. Final encoding data
Data 314 is output.

【０００７】図３における動き補償器３１１によって行
われる動き補償フレ−ム間予測には、動き検出器３０８
による動きベクトル３１０の推定が必要であるが、相当
量の演算を必要とする。For the motion-compensated interframe prediction performed by the motion compensator 311 in FIG. 3, the motion detector 308 is used.
Estimation of the motion vector 310 is required, but it requires a considerable amount of computation.

【０００８】少ない演算量で精度の高い動きベクトルを
得る手法に階層的動ベクトル検出法がある（富永，小
松，宮下，花村：”階層画素情報を用いた動画像におけ
る動き量検出方式”，信学論Ｄ−II，Ｊ７２−Ｄ−II，
ＰＰ．３９５−４０３（１９８９）参照）。There is a hierarchical motion vector detection method as a method for obtaining a highly accurate motion vector with a small amount of calculation (Tominaga, Komatsu, Miyashita, Hanamura: "Motion amount detection method in moving image using hierarchical pixel information", Shin Academic D-II, J72-D-II,
PP. 395-403 (1989)).

【０００９】[0009]

【発明が解決しようとする課題】前記従来例における動
ベクトルの検出には、動きを求める対象である現在時刻
の画像と、探索の際に参照される前時刻の画像の２つの
みを用いて検出を行っていた。In the detection of the motion vector in the above-mentioned conventional example, only two images, that is, the image of the current time which is the target of the motion and the image of the previous time which is referred to in the search are used. It was doing detection.

【００１０】動画像符号化の国際標準の一つであるＭＰ
ＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇ
ｒｏｕｐ）では動ベクトル検出において、現在時刻のフ
レ−ムと参照されるフレ−ムとの間は必ずしも連続して
いない（”ＭＰＥＧ Ｖｉｄｅｏ Ｓｉｍｕｌａｔｉｏｎ
Ｍｏｄｅｌ Ｔｈｒｅｅ（ＳＭ３）”，ＩＳＯ／ＩＥＣ
ＪＴＣ１／ＳＣ２／ＷＧ１１／ＭＰＥＧ９０／０４１
（Ｒｅｖｉｓｅｄ）（Ｊｕｌｙ １９９０）参照）。MP, which is one of the international standards for moving picture coding
EG (Moving Picture Expert G)
In motion vector detection, the frame at the current time and the frame to be referred to are not necessarily continuous (“MPEG Video Simulation”).
Model Three (SM3) ", ISO / IEC
JTC1 / SC2 / WG11 / MPEG90 / 041
(Revised) (Jully 1990)).

【００１１】動ベクトル検出では、現在時刻のフレ−ム
と参照されるフレ−ムの間の時間、即ちフレ−ム間隔が
広がるにつれ、探索を行う領域は水平、垂直方向ともフ
レ−ム間隔倍になる。In motion vector detection, as the time between the frame at the current time and the frame to be referred to, that is, the frame interval, increases, the area to be searched is multiplied by the frame interval both in the horizontal and vertical directions. become.

【００１２】演算量はこの探索領域の面積で決定される
ため、フレ−ム間隔の自乗に比例して演算量が増加して
いく。Since the amount of calculation is determined by the area of this search region, the amount of calculation increases in proportion to the square of the frame interval.

【００１３】階層的動ベクトル検出法では、階層数を増
やすことによって演算量を減らすことが可能であるが、
この場合さらに縮小をかけた画像を作成することにな
る。In the hierarchical motion vector detection method, the amount of calculation can be reduced by increasing the number of layers.
In this case, a further reduced image is created.

【００１４】検出の際に最初の初期値として用いられる
のは最もサイズの小さい縮小画像での探索結果である
が、画像のサイズが小さくなるに従って解像度が低くな
り検出精度は低下し、これにより、動ベクトル検出精度
の劣化を招くという問題点があった。The first initial value used for detection is the search result for the reduced image having the smallest size. However, as the size of the image decreases, the resolution decreases and the detection accuracy decreases. There is a problem that the motion vector detection accuracy is deteriorated.

【００１５】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、階層的
動ベクトル検出法において、フレ−ム間隔が離れた画像
間の動ベクトルを検出する際に、検出精度を劣化させる
ことなく演算量を減少させることを可能とする技術を提
供することにある。The present invention has been made in order to solve the above-mentioned problems of the prior art, and an object of the present invention is to provide a motion vector between images whose frames are spaced apart in a hierarchical motion vector detection method. An object of the present invention is to provide a technique capable of reducing the amount of calculation without deteriorating the detection accuracy when detecting the.

【００１６】本発明の前記目的並びにその他の目的及び
新規な特徴は、本明細書の記載及び添付図面によって明
らかにする。The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.

【００１７】[0017]

【課題を解決するための手段】前記課題を解決するため
に、本発明では、現画像と、時間的に連続しない探索の
際に参照される画像のそれぞれの画像を縮小して縮小画
像を作成し、さらに、前記それぞれの縮小画像を縮小し
て新たな縮小画像を作成する過程を繰り返して、第１層
から第ｃ層までの複数個の縮小画像を作成した後、サイ
ズ最小の第ｃ層の縮小画像上で動ベクトルを検出し、さ
らに、前記検出された動ベクトルを初期値として、第
（ｃ−１）層の縮小画像上で動ベクトルを検出する過程
を繰り返して、最終的に現画像と、時間的に連続しない
探索の際に参照される画像との間で動ベクトルを検出す
る階層的動ベクトル検出方法であって、サイズ最小の第
ｃ層の縮小画像上で動ベクトルを検出する際に、テレス
コピック探索を用いることを特徴とする。In order to solve the above-mentioned problems, according to the present invention, a reduced image is created by reducing the respective images of the current image and the images referred to in a search that is not temporally continuous. Further, after repeating the process of reducing each of the reduced images and creating a new reduced image to create a plurality of reduced images from the first layer to the c-th layer, the c-th layer having the smallest size is formed. Of the motion vector is detected on the reduced image of (c-1), and the detected motion vector is used as an initial value to detect the motion vector on the reduced image of the (c-1) th layer. A hierarchical motion vector detection method for detecting a motion vector between an image and an image referred to in a search that is not temporally continuous, the motion vector being detected on a reduced image of the c-th layer having the smallest size. When using telescopic search It is characterized in.

【００１８】[0018]

【作用】前記手段によれば、入力画像の輝度信号から縮
小画像を作成し、最もサイズの小さい縮小画像上で動ベ
クトルを求める際にテレスコピック探索を用いるように
したので、フレ−ム間隔が広がった場合でも少ない演算
量で動ベクトルを検出することが可能となる。According to the above means, the reduced image is created from the luminance signal of the input image, and the telescopic search is used when the motion vector is obtained on the reduced image having the smallest size. Therefore, the frame interval is widened. Even in such a case, the motion vector can be detected with a small amount of calculation.

【００１９】これにより、従来法ではフレ−ム間隔の自
乗に比例していた演算量が、本発明では、ほぼフレ−ム
間隔の倍数比率で押さえることが可能となる。As a result, the amount of calculation, which was proportional to the square of the frame interval in the conventional method, can be suppressed by the multiple ratio of the frame interval in the present invention.

【００２０】本発明において用いられるテレスコピック
探索とは、初めに隣接するフレ−ムとの間で動ベクトル
を求め、その探索結果を初期値とし、初期値の周辺での
探索を２フレ−ム間隔離れたフレ−ムとの間で行い、そ
の結果を新たな初期値として探索を行う操作を、３，
４，・・・フレ−ム間隔離れたフレ−ムとの間で繰り返
し、最終的な動ベクトルを決定する手法である。In the telescopic search used in the present invention, a motion vector is first obtained between adjacent frames, the search result is used as an initial value, and the search around the initial value is performed at two frame intervals. The operation of performing a search with a remote frame and using the result as a new initial value
4, ... It is a method of repeating a frame with a frame distance to determine a final motion vector.

【００２１】図１は、現在時刻の縮小画像から、２フレ
−ム離れた参照フレ−ムの縮小画像への動ベクトルをテ
レスコピックで探索する例を示す図である。FIG. 1 is a diagram showing an example in which a motion vector from a reduced image at the current time to a reduced image of a reference frame two frames away is searched telescopically.

【００２２】始めに、現在フレ−ムの縮小画像２００か
ら１フレ−ム間隔離れた中間フレ−ムの縮小画像２１０
への動ベクトルを探索する。First, a reduced image 210 of an intermediate frame, which is one frame apart from the reduced image 200 of the current frame.
Search for a motion vector to.

【００２３】次に、２フレ−ム離れた縮小画像２２０
で、先に求まった探索位置を中心とする探索領域で動ベ
クトル探索を行い、現在フレ−ムの縮小画像２００から
参照フレ−ムの縮小画像２２０への動べクトルを決定す
る。Next, a reduced image 220 separated by two frames.
Then, a motion vector search is performed in the search area centered on the previously obtained search position, and the moving vector from the reduced image 200 of the current frame to the reduced image 220 of the reference frame is determined.

【００２４】図１においては、現在フレ−ムの縮小画像
２００上のブロック２０１が、中間フレ−ムの縮小画像
２１０上のブロック２１１へ移動し、さらに、参照フレ
−ムの縮小画像２２０上でブロック２２１へ移動したこ
とを示している。In FIG. 1, the block 201 on the reduced image 200 of the current frame is moved to the block 211 on the reduced image 210 of the intermediate frame, and further on the reduced image 220 of the reference frame. This indicates that the process has moved to block 221.

【００２５】この時、図中点線枠で示される探索領域２
５０、２６０は固定とするため、演算量が、従来法では
フレ−ム間隔の自乗に比例するのに対して、本発明では
フレ−ム間隔の倍数比例でおさえられる。At this time, the search area 2 indicated by the dotted frame in the figure
Since 50 and 260 are fixed, the amount of calculation is proportional to the square of the frame interval in the conventional method, whereas it is suppressed to a multiple of the frame interval in the present invention.

【００２６】[0026]

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。Embodiments of the present invention will now be described in detail with reference to the drawings.

【００２７】なお、実施例を説明するための全図におい
て、同一機能を有するものは同一符号を付け、その繰り
返しの説明は省略する。In all the drawings for explaining the embodiments, those having the same function are designated by the same reference numerals, and the repeated description thereof will be omitted.

【００２８】図２は、階層数３、現在フレ−ムと参照フ
レ−ムのフレ−ム間隔２の時の、本発明の一実施例であ
る動ベクトル検出方法を適用した動ベクトル検出回路の
概略構成を示すブロック図である。FIG. 2 shows a motion vector detecting circuit to which the motion vector detecting method according to one embodiment of the present invention is applied when the number of layers is 3 and the frame interval between the current frame and the reference frame is 2. It is a block diagram showing a schematic structure.

【００２９】図２において、１は現在フレ−ムの画像信
号、４，３７は現在フレ−ムの原画像、６，９，１１，
３３，３５は現在フレ−ムの縮小画像、１３は中間フレ
−ムの画像信号、１６は中間フレ−ムの原画像、１８，
３９は中間フレ−ムの縮小画像、２０は参照フレ−ムの
画像信号、２３，４１は参照フレ−ムの原画像、２５，
２８，３０，４３，４５は参照フレ−ムの縮小画像、
２，７，１２，１４，１９，２１，２６，３１はフレ−
ムメモリ、５，１０，１７，２４，２９は縮小画像作成
部、４６，４７，４８，４９，５０，５１，５２は小領
域分割器、３，８，１５，２２，２７，３２，３４，３
６，３８，４０，４２，４４は画像読み出しアドレス信
号、５３，５４，５５，５６，５７，５８，５９はブロ
ック信号、６０，６１，６２，６３，６４，６５，６６
はブロックオフセットアドレス信号、６７はマッチング
誤差計算部、６９は比較器、７０はメモリ、７２はアド
レスメモリ、７１，７３はアドレスデ−タである。In FIG. 2, 1 is the image signal of the current frame, 4 and 37 are the original images of the current frame, 6, 9, 11, and
33 and 35 are reduced images of the current frame, 13 is an image signal of the intermediate frame, 16 is an original image of the intermediate frame, 18,
39 is a reduced image of the intermediate frame, 20 is an image signal of the reference frame, 23 and 41 are original images of the reference frame, 25,
28, 30, 43, and 45 are reduced images of the reference frame,
2,7,12,14,19,21,26,31 are free
Memory, 5, 10, 17, 24, 29 are reduced image creation units, 46, 47, 48, 49, 50, 51, 52 are small area dividers, 3, 8, 15, 22, 27, 32, 34, Three
6, 38, 40, 42, 44 are image read address signals, 53, 54, 55, 56, 57, 58, 59 are block signals, 60, 61, 62, 63, 64, 65, 66.
Is a block offset address signal, 67 is a matching error calculator, 69 is a comparator, 70 is a memory, 72 is an address memory, and 71 and 73 are address data.

【００３０】次に、図２に示す動ベクトル検出回路の動
作を説明する。Next, the operation of the motion vector detection circuit shown in FIG. 2 will be described.

【００３１】輝度信号からなる現在フレ−ムの画像信号
１は、フレ−ムメモリ２に格納される。The image signal 1 of the current frame composed of the luminance signal is stored in the frame memory 2.

【００３２】縮小画像作成部５は、アドレス計算部と演
算部から構成され、フレ−ムメモリ２に蓄積された画像
４から水平、垂直に１／ｍ1，１／ｎ1（ｍ1，ｎ1は任意
の自然数）のサイズに縮小した画像６を作成し、フレ−
ムメモリ７に蓄積する。The reduced image creating unit 5 is composed of an address calculating unit and an operating unit, and horizontally / vertically 1 / m 1 and 1 / n 1 (m 1 and n 1 are arbitrary natural numbers) from the image 4 stored in the frame memory 2. ) Create image 6 reduced to the size of
It is stored in the memory 7.

【００３３】縮小画像を作成するためフィルタをかける
必要があるが、図２に示す動ベクトル検出回路は平均値
フィルタを用いている。Although it is necessary to apply a filter to create a reduced image, the motion vector detection circuit shown in FIG. 2 uses an average value filter.

【００３４】縮小は、ｍ1×ｎ1個の画素を１画素に変換
する操作であり、縮小画像作成部５では、始めに縮小画
像の１画素に対応するｍ1×ｎ1個の画素を、対応するア
ドレス信号３をフレ−ムメモリ２に与えることで読出
す。The reduction is an operation of converting m1 × n1 pixels into one pixel. In the reduced image creating section 5, first, the m1 × n1 pixels corresponding to one pixel of the reduced image are converted into corresponding addresses. The signal 3 is applied to the frame memory 2 to read it.

【００３５】本実施例のように平均値フィルタを用いる
場合には、読み出されたｍ1×ｎ1個の画素値を加算し
て、ｍ1×ｎ1で割る操作を行い、その結果を縮小画像信
号６としてフレ−ムメモリ７に蓄積する。When the average value filter is used as in the present embodiment, the read m1 × n1 pixel values are added and divided by m1 × n1, and the result is reduced image signal 6 Is stored in the frame memory 7.

【００３６】なお、使用するフィルタは平均値フィルタ
に限定されず、中央値等、各種のフィルタを用いること
が可能である。The filter used is not limited to the average value filter, and various filters such as the median value can be used.

【００３７】また、他の縮小画像作成部の構成および動
作も、縮小画像作成部５と同様である。The configuration and operation of the other reduced image creating section are the same as those of the reduced image creating section 5.

【００３８】縮小画像作成部１０では、縮小された画像
９を、さらに水平，垂直に１／ｍ2，１／ｎ2（ｍ2，ｎ2
は任意の自然数）のサイズに縮小し、フレ−ムメモリ１
２に蓄える。In the reduced image creating section 10, the reduced image 9 is further horizontally and vertically 1 / m 2, 1 / n 2 (m 2, n 2
Is an arbitrary natural number) and the frame memory 1
Store in 2.

【００３９】参照フレ−ムの画像信号２０も、現在フレ
−ムの画像と同様に、フレ−ムメモリ２１に蓄積された
後、縮小画像作成部２４において１／ｍ1，１／ｎ1のサ
イズに縮小され、フレ−ムメモリ２６へと蓄えられた
後、さらに、縮小画像作成部２９で１／ｍ2，１／ｎ2の
サイズに縮小され、フレ−ムメモリ３１への蓄積が行わ
れる。The image signal 20 of the reference frame, like the image of the current frame, is also stored in the frame memory 21 and then reduced to a size of 1 / m1 or 1 / n1 in the reduced image creating section 24. After being stored in the frame memory 26, it is further reduced to a size of 1 / m @ 2 and 1 / n @ 2 in the reduced image creating section 29 and stored in the frame memory 31.

【００４０】時間的に現在フレ−ムと参照フレ−ムとの
間にある中間フレ−ムの画像信号１３はフレ−ムメモリ
１４に蓄積された後、縮小画像作成部１７で１／（ｍ1
×ｍ2），１／（ｎ1×ｎ2）のサイズに縮小され、フレ
−ムメモリ１９に蓄えられる。The image signal 13 of the intermediate frame, which is temporally between the current frame and the reference frame, is stored in the frame memory 14, and then the reduced image creating section 17 outputs 1 / (m1).
× m2), 1 / (n1 × n2), and stored in the frame memory 19.

【００４１】ここで、参照フレ−ムの画像信号２０およ
び中間フレ−ムの画像信号１３は、現在フレ−ムの画像
信号１と同様に輝度信号である。The image signal 20 of the reference frame and the image signal 13 of the intermediate frame are luminance signals like the image signal 1 of the current frame.

【００４２】フレ−ムメモリ１２に蓄えられた現在フレ
−ムの縮小画像３３が、（ｘ，ｙ）の２成分からなるア
ドレス信号３２の値をオフセット値として読み出され、
小領域分割器４６に入力される。The reduced image 33 of the current frame stored in the frame memory 12 is read with the value of the address signal 32 consisting of two components (x, y) as an offset value,
It is input to the small area divider 46.

【００４３】小領域分割器４６は、アドレス計算部から
構成され、現在フレ−ム縮小画像３３をｋ2×ｊ2のブロ
ックに分割し現在フレ−ムブロック信号５３を出力す
る。The small area divider 46 is composed of an address calculator, divides the current frame reduced image 33 into k2 × j2 blocks, and outputs the current frame block signal 53.

【００４４】具体的には、まず出力しようとする現在フ
レ−ムブロック信号５３の左上に相当する位置の画像信
号を、記憶されているオフセット値をアドレス信号３２
としてフレ−ムメモリ１２に与えることにより読み出
す。Specifically, first, the stored offset value of the image signal at the position corresponding to the upper left of the current frame block signal 53 to be output is stored as the address signal 32.
Then, it is read out by giving it to the frame memory 12 as.

【００４５】以下、出力しようとするブロック内全ての
座標を走査するようにアドレス信号の値を変化させなが
ら、ｋ2×ｊ2回の読み出しを行い、同時に読み出した信
号を現在フレ−ムブロック信号５３として出力する。Hereinafter, while changing the value of the address signal so as to scan all the coordinates in the block to be output, reading is performed k2 × j2 times, and the signals read at the same time are set as the current frame block signal 53. Output.

【００４６】最後に記憶されているオフセット値（ｘ，
ｙ）をブロックオフセットアドレス信号６０として比較
器６９に出力した後、次のブロックの左上の座標値に更
新する操作を行う。The last stored offset value (x,
After y) is output as the block offset address signal 60 to the comparator 69, the operation of updating the coordinate value at the upper left of the next block is performed.

【００４７】他の小領域分割器の構成および動作も、小
領域分割器４６と同様である。The structure and operation of the other small area dividers are similar to those of the small area divider 46.

【００４８】また、中間フレ−ムの縮小画像３９が、小
領域分割器４９に入力され、小領域分割器４６と同様な
動作によってｋ2×ｊ2のブロックに分割され中間フレ−
ムブロック信号５６として、また同時にブロックオフセ
ットアドレス信号６３を比較器６９に出力する。The reduced image 39 of the intermediate frame is input to the small area divider 49 and divided into k2 × j2 blocks by the same operation as the small area divider 46, and the intermediate frame is divided.
The block offset address signal 63 is output to the comparator 69 at the same time as the digital block signal 56.

【００４９】現在フレ−ムブロック信号５３および中間
フレ−ムブロック信号５６は、マッチング誤差計算部６
７に入力される。The current frame block signal 53 and the intermediate frame block signal 56 are sent to the matching error calculation unit 6
Input to 7.

【００５０】マッチング誤差計算部６７は、演算部から
構成され、２つの小領域分割器から出力される画素値の
差分自乗値を計算し、それらを加算したものを差分値６
８として比較器６９へ出力する。The matching error calculation unit 67 is composed of a calculation unit, calculates the difference square value of the pixel values output from the two small area dividers, and adds them to obtain the difference value 6
8 and outputs to the comparator 69.

【００５１】また、マッチング誤差計算部６７では、１
つの現在フレ−ムブロック信号５３に対応して、探索範
囲内の複数の中間フレ−ムブロック信号５６と前記計算
を行う。Further, the matching error calculation unit 67 outputs 1
The calculation is performed with a plurality of intermediate frame block signals 56 within the search range corresponding to one current frame block signal 53.

【００５２】なお、差分値演算は差分自乗に限定される
ことはなく、差分絶対値等を用いることも可能である。The difference value calculation is not limited to the difference squared, and it is also possible to use the difference absolute value or the like.

【００５３】比較器６９は、最小値メモリ７０を擁して
おり、入力された差分値６８がメモリ７０に蓄えられて
いる値より小さいければメモリ７０の値を更新し、それ
ぞれ２成分（ｘ，ｙ）からなる中間フレ−ムブロックオ
フセットアドレス信号６３から現在フレ−ムブロックオ
フセットアドレス信号６０を減じた値であるアドレス７
１をアドレスメモリ７２に記憶する。The comparator 69 has a minimum value memory 70. If the input difference value 68 is smaller than the value stored in the memory 70, the value in the memory 70 is updated, and the two components (x, x, Address 7 which is the value obtained by subtracting the current frame block offset address signal 60 from the intermediate frame block offset address signal 63 consisting of y).
1 is stored in the address memory 72.

【００５４】中間フレ−ムの縮小画像における動ベクト
ルの探索範囲で上記の操作を終了した後、アドレスメモ
リ７２には縮小画像上での現在フレ−ムから中間フレ−
ムへの動ベクトルが蓄えられている。After the above operation is completed in the search range of the motion vector in the reduced image of the intermediate frame, the address memory 72 stores the intermediate frame from the current frame on the reduced image.
The motion vector to the memory is stored.

【００５５】ここで、中間フレ−ムの縮小画像における
動ベクトルの探索範囲は、ある画像を符号化する際に表
示されている物体が最大でどのくらい動くかという情報
から決定される。Here, the search range of the motion vector in the reduced image of the intermediate frame is determined from the information about how much the displayed object moves at the time of encoding a certain image.

【００５６】次に、先の操作と同様に現在フレ−ムブロ
ック信号５３がマッチング誤差計算部６７に、また現在
フレ−ムブロックオフセットアドレス信号６０が比較器
６９に入力される。Next, as in the previous operation, the current frame block signal 53 is input to the matching error calculator 67, and the current frame block offset address signal 60 is input to the comparator 69.

【００５７】さらに、フレ−ムメモリ３１に蓄えられた
参照フレ−ムの縮小画像４５が小領域分割器５２に入力
されるが、最もサイズの小さい縮小画像における動ベク
トル検出はテレスコピックを用いる。Further, the reduced image 45 of the reference frame stored in the frame memory 31 is input to the small area divider 52, and the motion vector detection in the reduced image having the smallest size uses telescopic.

【００５８】テレスコピック探索を行う際に、現在フレ
−ムと中間フレ−ムの間で検出された動ベクトルを初期
値とするため、フレ−ムメモリ３１に蓄えられた参照フ
レ−ムの縮小画像４５を小領域分割器５２に読み出す時
に、読み出すオフセット値は現在フレ−ムと中間フレ−
ムの間で検出された動ベクトル分だけシフトする必要が
ある。When the telescopic search is performed, since the motion vector detected between the current frame and the intermediate frame is used as an initial value, the reduced image 45 of the reference frame stored in the frame memory 31. Is read to the small area divider 52, the read offset value is the current frame and the intermediate frame.
It is necessary to shift by the detected motion vector between the frames.

【００５９】そのため、小領域分割器５２から出力され
るアドレス信号４４およびブロックオフセットアドレス
信号６６は、アドレスメモリ７２からの（ｘ，ｙ）出力
値７３を加えたものとなる。Therefore, the address signal 44 and the block offset address signal 66 output from the small area divider 52 are the sum of the (x, y) output values 73 from the address memory 72.

【００６０】アドレス信号４４にしたがって読み出され
た参照フレ−ム縮小画像４５は小領域分割器５２に入力
され、小領域分割器４６と同様な動作によってｋ2×ｊ2
のブロックに分割され、参照フレ−ムブロック信号５９
として出力される。The reference frame reduced image 45 read out according to the address signal 44 is input to the small area divider 52, and by the same operation as the small area divider 46, k2 × j2.
Of the reference frame block signal 59.
Is output as.

【００６１】そして、中間フレ−ムの時と同様に、マッ
チング誤差計算部６７において差分値が計算され、比較
器６９において、入力された差分値がメモリ７０に蓄え
られている値より小さいければメモリ７０の値を更新
し、それぞれ２成分（ｘ，ｙ）からなる参照フレ−ムブ
ロックオフセットアドレス信号６６から現在フレ−ムブ
ロックオフセットアドレス信号６０を減じた値であるア
ドレス７１をアドレスメモリ７２に記憶する。Then, as in the case of the intermediate frame, the difference value is calculated in the matching error calculation section 67, and if the input difference value is smaller than the value stored in the memory 70 in the comparator 69. The value of the memory 70 is updated, and an address 71, which is a value obtained by subtracting the current frame block offset address signal 60 from the reference frame block offset address signal 66 consisting of two components (x, y), is stored in the address memory 72. Remember.

【００６２】この場合に、参照フレ−ムにおける探索範
囲は、中間フレ−ムにおける探索範囲と同じにする。In this case, the search range in the reference frame is the same as the search range in the intermediate frame.

【００６３】次に、フレ−ムメモリ７に蓄えられた現在
フレ−ムの縮小画像３５が小領域分割器４７に入力され
る。Next, the reduced image 35 of the current frame stored in the frame memory 7 is input to the small area divider 47.

【００６４】小領域分割器４７では、小領域分割器４６
と同様な動作によって、現在フレ−ム縮小画像３５をｋ
／ｍ1×ｊ／ｎ1のブロックに分割し、現在フレ−ムブロ
ック信号５４およびブロックオフセットアドレス信号６
１を出力する。In the small area divider 47, the small area divider 46
By the same operation as the above, the current frame reduced image 35 is
/ M1 × j / n1 blocks are divided into the current frame block signal 54 and the block offset address signal 6
1 is output.

【００６５】同様に、参照フレ−ム縮小画像４３が小領
域分割器５１に入力されるが、最もサイズの小さい縮小
画像を除く動ベクトル検出は、上位階層で検出された動
ベクトルを初期値とするため、この時読み出すオフセッ
ト値は縮小画像での動ベクトル分だけシフトする必要が
ある。Similarly, the reference frame reduced image 43 is input to the small area divider 51, but the motion vector detection except for the reduced image with the smallest size uses the motion vector detected in the upper hierarchy as the initial value. Therefore, the offset value read at this time needs to be shifted by the motion vector in the reduced image.

【００６６】アドレス信号４２およびブロックオフセッ
トアドレス信号６５は、アドレスメモリ７２からの
（ｘ，ｙ）出力値７３を水平，垂直でｍ2，ｎ2倍した値
を加えたものとなる。The address signal 42 and the block offset address signal 65 are obtained by adding a value obtained by multiplying the (x, y) output value 73 from the address memory 72 by m2 and n2 in the horizontal and vertical directions.

【００６７】アドレス信号４２にしたがって読み出され
た参照フレ−ム縮小画像４３は小領域分割器５１に入力
され、ｋ／ｍ1×ｊ／ｎ1のブロックに分割され、参照フ
レ−ムブロック信号５８として、また同時にブロックオ
フセットアドレス信号６５を出力する。The reference frame reduced image 43 read out according to the address signal 42 is input to the small area divider 51, divided into k / m1 × j / n1 blocks, and the reference frame block signal 58 is obtained. At the same time, the block offset address signal 65 is output.

【００６８】そして、縮小画像４５の時と同様に、マッ
チング誤差計算部６７において差分値が計算され、比較
器６９において、入力された差分値がメモリ７０に蓄え
られている値より小さいければメモリ７０の値を更新
し、それぞれ２成分（ｘ，ｙ）からなる参照フレ−ムブ
ロックオフセットアドレス信号６５から現在フレ−ムブ
ロックオフセットアドレス信号６１を減じた値であるア
ドレス７１をアドレスメモリ７２に記憶する。Then, as in the case of the reduced image 45, the difference value is calculated in the matching error calculation unit 67, and in the comparator 69, if the input difference value is smaller than the value stored in the memory 70, the memory is stored. The value of 70 is updated, and an address 71, which is a value obtained by subtracting the current frame block offset address signal 61 from the reference frame block offset address signal 65 consisting of two components (x, y), is stored in the address memory 72. To do.

【００６９】次に、フレ−ムメモリ２に蓄えられた現在
フレ−ムの原画像３７が小領域分割器４８に入力され
る。Next, the original image 37 of the current frame stored in the frame memory 2 is input to the small area divider 48.

【００７０】小領域分割器４８では、現在フレ−ムの原
画像３７をｋ×ｊのブロックに分割し現在フレ−ムブロ
ック信号５５およびブロックオフセットアドレス信号６
２を出力する。The small area divider 48 divides the original image 37 of the current frame into k × j blocks and divides the current frame block signal 55 and the block offset address signal 6 into blocks.
2 is output.

【００７１】同様に、参照フレ−ムの原画像４１が、小
領域分割器４５に入力されるが、アドレス信号４０およ
びブロックオフセットアドレス信号６４は、アドレスメ
モリ７２からの（ｘ，ｙ）出力値７３を水平，垂直でｍ
1，ｎ1倍した値を加えたものとなる。Similarly, the original image 41 of the reference frame is input to the small area divider 45, but the address signal 40 and the block offset address signal 64 are (x, y) output values from the address memory 72. 73 in horizontal and vertical directions
It is the sum of the values multiplied by 1 and n1.

【００７２】アドレス信号４０にしたがって、読み出さ
れた参照フレ−ム画像４１は小領域分割器５０に入力さ
れ、ｋ×ｊのブロックに分割され、参照フレ−ムブロッ
ク信号５７として、また同時にブロックオフセットアド
レス信号６４を出力する。In accordance with the address signal 40, the read reference frame image 41 is input to the small area divider 50 and divided into k × j blocks, which serve as the reference frame block signal 57 and at the same time. The offset address signal 64 is output.

【００７３】そして、縮小画像４５の時と同様に、マッ
チング誤差計算部６７において差分値が計算され、比較
器６９において、入力された差分値がメモリ７０に蓄え
られている値より小さいければメモリ７０の値を更新
し、それぞれ２成分（ｘ，ｙ）からなる参照フレ−ムブ
ロックオフセットアドレス信号６４から現在フレ−ムブ
ロックオフセットアドレス信号６２を減じた値であるア
ドレス７１をアドレスメモリ７２に記憶する。Then, as in the case of the reduced image 45, the difference value is calculated in the matching error calculation section 67, and if the input difference value is smaller than the value stored in the memory 70 in the comparator 69, the memory is stored. The value of 70 is updated, and an address 71, which is a value obtained by subtracting the current frame block offset address signal 62 from the reference frame block offset address signal 64 consisting of two components (x, y), is stored in the address memory 72. To do.

【００７４】探索範囲に対する上記操作が終了した時、
アドレスメモリには検出された動ベクトルが蓄えられて
いる。When the above operation for the search range is completed,
The detected motion vector is stored in the address memory.

【００７５】図２は、階層数３、現在フレ−ムと参照フ
レ−ムのフレ−ム間隔２の例であるが、図中点線枠内の
現在フレ−ム縮小部をフレ−ムメモリ７と縮小画像作成
部１０の間に、また参照フレ−ム縮小部をフレ−ムメモ
リ２６と縮小画像２９の間にそれぞれ（階層数−３）個
接続することで３以上の任意の階層数に対応できる。FIG. 2 shows an example in which the number of layers is 3, and the frame interval between the current frame and the reference frame is 2. In this case, the current frame reduction section in the dotted line frame is the frame memory 7. By connecting (the number of layers-3) each between the reduced image creation unit 10 and the reference frame reducing unit between the frame memory 26 and the reduced image 29, it is possible to cope with an arbitrary number of layers of 3 or more. .

【００７６】また、階層数が２の場合、図中点線枠内の
現在フレ−ム縮小部を削除し、フレ−ムメモリ２の入出
力３，４を縮小画像作成部１０の入出力に、また、図中
点線枠内の参照フレ−ム縮小部も同様に削除し、フレ−
ムメモリ２１の入出力２２，２３を縮小画像作成部２９
の入出力とすることで実現できる。When the number of layers is 2, the current frame reduction section in the dotted frame in the figure is deleted, the inputs / outputs 3 and 4 of the frame memory 2 are input / output of the reduced image creating section 10, and , The reference frame reduction part in the dotted frame in the figure is also deleted, and the frame
The input / output 22 and 23 of the memory 21 are connected to the reduced image creating unit 29
It can be realized by inputting and outputting.

【００７７】また、図中点線枠内の中間フレ−ム縮小部
をマッチング誤差計算部６７の入力に（フレ−ム間隔−
２）個接続することで各種フレ−ム間隔に対応できる。Further, the intermediate frame reducing section within the dotted line frame in the figure is input to the matching error calculating section 67 (frame interval-
2) Various frame intervals can be accommodated by connecting them individually.

【００７８】以上説明したように、本実施例では、原画
像をｋ画素×ｊラインのブロックに分割し、それらのブ
ロック毎に動ベクトルを検出するために、原画像を水
平，垂直に縮小係数ｍ1，ｎ1を用いて１／ｍ1，１／ｎ1
に縮小した画像を作成し、この縮小画像からさらに水
平，垂直に縮小係数ｍ2，ｎ2を用いて１／ｍ2，１／ｎ2
に縮小する操作を、縮小係数ｍc，ｎcまでｃ回繰り返し
た後、縮小画像Ｉcをｋc画素×ｊcラインのブロックに
分割し、それぞれのブロックで動ベクトルを検出し、検
出された動ベクトルを水平，垂直方向にｍc，ｎc倍（ｍ
c，ｎcは縮小画像Ｉcの縮小係数）したベクトルを初期
値として、縮小画像Ｉc-1上でｋc-1画素×ｊc-1ライン
のブロックのそれぞれで、対応する初期値の周辺で動ベ
クトル検出を行い、縮小画像Ｉc-1上で検出された動ベ
クトルを水平，垂直方向にｍc-1，ｎc-1倍（ｍc-1，ｎc
-1は縮小画像Ｉc-1の縮小係数）したベクトルを初期値
として、縮小画像Ｉc-2上で初期値の周辺で動ベクトル
検出を行なう操作を、原画像上での動ベクトル検出まで
繰り返し、最終的な動ベクトルを検出する際に、最もサ
イズの小さい縮小画像Ｉc上で、ｄフレ−ム間隔（ｄ≧
２）離れた動ベクトルの検出においては隣接するフレ−
ム間の動ベクトルを初期値とし、その初期値の周辺で２
フレ−ム間隔離れたフレ−ム間の動ベクトルを検出する
操作を、ｄフレ−ム間隔離れたフレ−ムとの動ベクトル
検出まで繰り返して行うものである。As described above, in the present embodiment, the original image is divided into blocks of k pixels × j lines, and in order to detect the motion vector for each of these blocks, the original image is reduced horizontally and vertically by a reduction coefficient. 1 / m1, 1 / n1 using m1 and n1
Image is reduced to 1 / m2, 1 / n2 using the reduction factors m2 and n2 horizontally and vertically from this reduced image.
After repeating the operation of reducing to c times up to the reduction factors mc and nc, the reduced image Ic is divided into blocks of kc pixels × jc lines, the motion vector is detected in each block, and the detected motion vector is set horizontally. , Vertically mc, nc times (m
c and nc are reduction vectors of the reduced image Ic) as initial values, and a motion vector is detected around the corresponding initial value in each block of kc-1 pixels × jc-1 lines on the reduced image Ic-1. And the motion vector detected on the reduced image Ic-1 is multiplied by mc-1, nc-1 in the horizontal and vertical directions (mc-1, nc).
-1 is a reduced vector of the reduced image Ic-1) as an initial value, and an operation of detecting a moving vector around the initial value on the reduced image Ic-2 is repeated until a moving vector is detected on the original image. When detecting the final motion vector, the d frame interval (d ≧
2) Adjacent frames are detected in the detection of motion vectors that are far apart.
The motion vector between the frames is set as the initial value, and 2 around the initial value.
The operation of detecting the motion vector between the frames separated by the frame interval is repeated until the motion vector is detected by the frame separated by the d frame interval.

【００７９】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲で種々変更し得ること
は言うまでもない。Although the present invention has been specifically described based on the embodiments, it is needless to say that the present invention is not limited to the embodiments and various modifications can be made without departing from the scope of the invention.

【００８０】[0080]

【発明の効果】以上説明したように、本発明によれば、
従来の階層的動ベクトル検出法と同様に入力画像の輝度
信号から縮小画像を作成し、最もサイズの小さい縮小画
像上で動ベクトルを求める際にテレスコピック探索を用
い、フレ−ム間隔が広がった場合でも少ない演算量で動
ベクトルを検出することが可能となる。As described above, according to the present invention,
When a reduced image is created from the luminance signal of the input image as in the conventional hierarchical motion vector detection method, and a telescopic search is used when a motion vector is obtained on the reduced image with the smallest size, and the frame interval is widened. However, it becomes possible to detect a motion vector with a small amount of calculation.

【００８１】それにより、従来法ではフレ−ム間隔の自
乗に比例していた演算量が、本発明では、ほぼフレ−ム
間隔の倍数比率で押さえることが可能となる。As a result, the amount of calculation, which was proportional to the square of the frame interval in the conventional method, can be suppressed by the multiple ratio of the frame interval in the present invention.

【００８２】これにより、動き補償フレ−ム間符号化に
おいて階層的動ベクトル探索を用いる際に、探索精度を
劣化させることなく演算量を削減することが可能とな
る。As a result, when the hierarchical motion vector search is used in the motion compensation interframe coding, it is possible to reduce the calculation amount without degrading the search accuracy.

【図面の簡単な説明】[Brief description of drawings]

【図１】 現在時刻の縮小画像から、２フレ−ム離れた
参照フレ−ムの縮小画像への動ベクトルをテレスコピッ
クで探索する例を示す図である。FIG. 1 is a diagram showing an example in which a motion vector from a reduced image at a current time point to a reduced image of a reference frame separated by two frames is searched telescopically.

【図２】 本発明の一実施例である動ベクトル検出方法
を適用した動ベクトル検出回路の概略構成を示すブロッ
ク図である。FIG. 2 is a block diagram showing a schematic configuration of a motion vector detection circuit to which a motion vector detection method according to an embodiment of the present invention is applied.

【図３】 ハイブリッド符号化方式の基本ブロック構成
を示す図である。FIG. 3 is a diagram showing a basic block configuration of a hybrid coding method.

【符号の説明】[Explanation of symbols]

１…現在フレ−ムの画像信号、４，３７…現在フレ−ム
の原画像、６，９，１１，３３，３５…現在フレ−ムの
縮小画像、１３…中間フレ−ムの画像信号、１６…中間
フレ−ムの原画像、１８，３９…中間フレ−ムの縮小画
像、２０…参照フレ−ムの画像信号、２３，４１…参照
フレ−ムの原画像、２５，２８，３０，４３，４５…参
照フレ−ムの縮小画像、２，７，１２，１４，１９，２
１，２６，３１…フレ−ムメモリ、５，１０，１７，２
４，２９…縮小画像作成部、４６，４７，４８，４９，
５０，５１，５２…小領域分割器、３，８，１５，２
２，２７，３２，３４，３６，３８，４０，４２，４４
…画像読み出しアドレス信号、５３，５４，５５，５
６，５７，５８，５９…ブロック信号、６０，６１，６
２，６３，６４，６５，６６…ブロックオフセットアド
レス信号、６７…マッチング誤差計算部、６９…比較
器、７０…メモリ、７２…アドレスメモリ、７１，７３
…アドレスデ−タ。1 ... Image signal of current frame, 4, 37 ... Original image of current frame, 6, 9, 11, 33, 35 ... Reduced image of current frame, 13 ... Image signal of intermediate frame, 16 ... Original image of intermediate frame, 18, 39 ... Reduced image of intermediate frame, 20 ... Image signal of reference frame, 23, 41 ... Original image of reference frame, 25, 28, 30, 43, 45 ... Reduced image of reference frame, 2, 7, 12, 14, 19, 2
1, 26, 31 ... Frame memory, 5, 10, 17, 2
4, 29 ... Reduced image creation unit, 46, 47, 48, 49,
50, 51, 52 ... Small area divider, 3, 8, 15, 2
2,27,32,34,36,38,40,42,44
... Image read address signal, 53, 54, 55, 5
6, 57, 58, 59 ... Block signal, 60, 61, 6
2, 63, 64, 65, 66 ... Block offset address signal, 67 ... Matching error calculation unit, 69 ... Comparator, 70 ... Memory, 72 ... Address memory, 71, 73
... address data.

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 現画像と、時間的に連続しない探索の際
に参照される画像のそれぞれの画像を縮小して縮小画像
を作成し、さらに、前記それぞれの縮小画像を縮小して
新たな縮小画像を作成する過程を繰り返して、第１層か
ら第ｃ層までの複数個の縮小画像を作成した後、サイズ
最小の第ｃ層の縮小画像上で動ベクトルを検出し、さら
に、前記検出された動ベクトルを初期値として、第（ｃ
−１）層の縮小画像上で動ベクトルを検出する過程を繰
り返して、最終的に現画像と、時間的に連続しない探索
の際に参照される画像との間で動ベクトルを検出する階
層的動ベクトル検出方法であって、 サイズ最小の第ｃ層の縮小画像上で動ベクトルを検出す
る際に、テレスコピック探索を用いることを特徴とする
階層的動ベクトル検出方法。1. A reduced image is created by reducing each image of a current image and an image referred to in a search that is not temporally continuous, and further reduced by reducing each of the reduced images. The process of creating an image is repeated to create a plurality of reduced images from the first layer to the c-th layer, and then a motion vector is detected on the reduced image of the c-th layer having the smallest size. Motion vector as the initial value,
-1) Hierarchical structure in which the process of detecting the motion vector on the reduced image of the layer is repeated to finally detect the motion vector between the current image and the image referred to in the time discontinuous search. A method of detecting a moving vector, wherein a telescopic search is used when detecting a moving vector on a reduced image of the c-th layer having the smallest size.