JP2005175882A

JP2005175882A - Apparatus and method for detecting motion vector

Info

Publication number: JP2005175882A
Application number: JP2003412973A
Authority: JP
Inventors: Hideyuki Okose; 秀之大古瀬
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-12-11
Filing date: 2003-12-11
Publication date: 2005-06-30

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that it is difficult to detect an accurate motion vector for the image of a large luminance change. <P>SOLUTION: A motion vector detector is provided with: a frame memory for storing an input image and a reference image, outputting input image luminance data in a prescribed block size and outputting reference image luminance data with the search range of the motion vector as a unit; a block luminance average value calculation part for calculating a luminance average value for each input image block; a block luminance average value storage memory for storing the luminance average value for each input image block; a reference image luminance average value correction part for calculating the luminance average value of a search position from the luminance average value of one or more blocks of the reference image for each search position; and a motion vector detection part for detecting the motion vector from input correction luminance data for which the luminance average value calculated in the block luminance average value calculation part is subtracted from the luminance data of an input image block unit and reference correction luminance data for which the luminance average value of the search position is subtracted from the luminance data of a reference image block unit. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、動画像をフレーム間予測によって符号化する画像符号化装置で使用される動きベクトル検出装置および方法に関するものである。 The present invention relates to a motion vector detection apparatus and method used in an image encoding apparatus that encodes a moving image by inter-frame prediction.

ＭＰＥＧ方式（ＭｏｖｉｎｇＰｉｃｔｕｒｅｉｍａｇｅｃｏｄｉｎｇＥｘｐａｒｔｓＧｒｏｕｐ）のような動画像のフレーム間相関を利用した画像圧縮方式では、動き補償を行うブロック単位で動きベクトルの推定が必要である。この動きベクトルを検出する回路の従来例として、特許文献１が開示されている。 In an image compression method using inter-frame correlation of moving images such as the MPEG method (Moving Picture image Coding Experts Group), it is necessary to estimate a motion vector for each block for performing motion compensation. Patent Document 1 is disclosed as a conventional example of a circuit for detecting this motion vector.

図８に従来の動きベクトル検出回路を示す。図８において、８１はフレームメモリ、８２はブロック内ＤＣ演算回路、８３はＤＣ蓄積用メモリ、８４は動き補償回路、８５は符号化回路、ａは入力画像データ、ｂは処理ブロックデータ、ｃは処理ブロックデータｂのブロックＤＣ値、ｄは処理ブロックデータｂと同じ位置の予測参照画像データのブロックＤＣ値、ｅは入力画像データａのブロック位置およびその探索範囲にある予測参照画像データ、ｆは動きベクトル、ｇは動きベクトルに対応する予測参照ブロックデータである。 FIG. 8 shows a conventional motion vector detection circuit. In FIG. 8, 81 is a frame memory, 82 is an intra-block DC arithmetic circuit, 83 is a DC storage memory, 84 is a motion compensation circuit, 85 is an encoding circuit, a is input image data, b is processing block data, c is The block DC value of the processing block data b, d is the block DC value of the predicted reference image data at the same position as the processing block data b, e is the block position of the input image data a and the predicted reference image data in its search range, and f is A motion vector, g is prediction reference block data corresponding to the motion vector.

まず、フレームメモリ８１には、入力である入力画像データａと、動き補償用の参照画像が蓄積される。フレームメモリ８１に入力された入力画像データａは、動きベクトル検出単位の１６×１６画素のブロック単位で読み出され、そのブロック位置情報と共にブロック内ＤＣ演算回路８２と動き補償回路８４に処理ブロックデータｂとして供給される。ブロック内ＤＣ演算回路８２では、処理ブロックデータｂのブロックＤＣ値ｃを計算し、動き補償回路８４とＤＣ蓄積用メモリ８３に供給する。ＤＣ蓄積用メモリ８３は、既に蓄積されている参照画像のブロック単位でのＤＣ値の中で、処理ブロックデータｂと同じ位置にある参照画像のブロックＤＣ値ｄを動き補償回路８４に出力すると共に、入力画像データａのブロック位置とその探索範囲にある参照画像データｅがフレームメモリ８１から動き補償回路８４に供給される。 First, the frame memory 81 stores input image data a that is an input and a reference image for motion compensation. The input image data a input to the frame memory 81 is read in block units of 16 × 16 pixels, which is a motion vector detection unit, and processed block data is sent to the in-block DC calculation circuit 82 and the motion compensation circuit 84 together with the block position information. supplied as b. The intra-block DC calculation circuit 82 calculates the block DC value c of the processing block data b and supplies it to the motion compensation circuit 84 and the DC storage memory 83. The DC storage memory 83 outputs the block DC value d of the reference image at the same position as the processing block data b to the motion compensation circuit 84 among the DC values of the reference image already stored in units of blocks. The block position of the input image data a and the reference image data e within the search range are supplied from the frame memory 81 to the motion compensation circuit 84.

動き補償回路８４は、処理ブロックデータｂをブロックＤＣ値ｃで補正した値と、参照画像データｅをブロックＤＣ値ｄで補正した値を用いて動き検出し、処理ブロックデータｂ、検出した動きベクトルｆと動きベクトルに対応する予測参照ブロックデータｇを符号化回路８５に出力し、符号化回路８５で符号化を行う構成になっている。
特開平８−１４９４８２号公報 The motion compensation circuit 84 detects motion using a value obtained by correcting the processing block data b with the block DC value c and a value obtained by correcting the reference image data e with the block DC value d, and the processing block data b and the detected motion vector. Prediction reference block data g corresponding to f and a motion vector is output to the encoding circuit 85, and the encoding circuit 85 performs encoding.
JP-A-8-149482

通常の動き検出では、評価値をマクロブロック単位で各画素の輝度の差分絶対値総和を求め、その最小値の位置を求めることで動きベクトルを算出している。フェードイン／フェードアウトや、フラッシュ等により、画像全体／一部で輝度変化が大きい画像では、探索範囲内の輝度値の似た値を持つ位置を動きベクトルとして検出するため、正確な動きベクトルを検出するのが困難であった。この動きベクトルの誤検出により、モスキートノイズが多く発生するという課題があった。 In normal motion detection, the motion vector is calculated by obtaining the sum of absolute differences in luminance of each pixel for each evaluation block as the evaluation value and obtaining the position of the minimum value. For an image with a large change in luminance in the whole image or part of the image due to fade-in / fade-out, flash, etc., a position having a similar luminance value in the search range is detected as a motion vector, so an accurate motion vector is detected. It was difficult to do. There has been a problem that a lot of mosquito noise is generated due to erroneous detection of the motion vector.

従来例では、局所的な輝度変化に対応するために、探索範囲毎に符号化対象ブロックの輝度平均値と、同じブロック位置にある参照画像ブロックの輝度平均値を求め、各画素値をこれらの値で補正して評価値を生成して動き検出を行っている。このとき、符号化対象ブロックの位置以外の評価値を求める時に補正値の誤差が発生するため、補正が悪影響を及ぼすという課題があった。 In the conventional example, in order to cope with a local luminance change, the luminance average value of the encoding target block and the luminance average value of the reference image block at the same block position are obtained for each search range, and each pixel value is calculated from these pixel values. The motion is detected by generating an evaluation value by correcting with the value. At this time, when an evaluation value other than the position of the encoding target block is obtained, an error of the correction value occurs, and there is a problem that the correction has an adverse effect.

本発明は、画像全体或いは、局所的な輝度変化に対応して誤検出の少ない動きベクトル検出を行うことが可能な動きベクトル検出装置および方法を提供することを目的とする。 It is an object of the present invention to provide a motion vector detection apparatus and method capable of performing motion vector detection with few false detections corresponding to the entire image or local luminance change.

上記の課題を解決するために、本発明による動きベクトル検出装置は、入力画像と参照画像を蓄積し、所定のブロックサイズで前記入力画像の輝度データを出力し、かつ、動きベクトルの探索範囲を単位として前記参照画像の輝度データを出力するフレームメモリと、前記入力画像のブロック毎に輝度平均値を算出するブロック輝度平均値算出部と、前記入力画像のブロック毎に算出された輝度平均値を蓄積するブロック輝度平均値格納メモリと、探索位置毎に前記参照画像の一つ、或いは複数のブロックの輝度平均値から探索位置の輝度平均値を算出する参照画像輝度平均値補正部と、前記入力画像のブロック単位の輝度データから前記ブロック輝度平均値算出部で算出された輝度平均値を減算した入力補正輝度データと、前記参照画像のブロック単位の輝度データから前記探索位置の輝度平均値を減算した参照補正輝度データから動きベクトルを検出する動きベクトル検出部を備えることを特徴とする。 In order to solve the above problems, a motion vector detection apparatus according to the present invention accumulates an input image and a reference image, outputs luminance data of the input image in a predetermined block size, and sets a motion vector search range. A frame memory that outputs luminance data of the reference image as a unit, a block luminance average value calculation unit that calculates a luminance average value for each block of the input image, and a luminance average value calculated for each block of the input image A block luminance average value storage memory to be accumulated, a reference image luminance average value correction unit that calculates a luminance average value of a search position from the luminance average value of one or a plurality of blocks for each search position, and the input Input corrected luminance data obtained by subtracting the luminance average value calculated by the block luminance average value calculation unit from luminance data in block units of the image, and the reference image Characterized in that the reference corrected luminance data obtained by subtracting the luminance average value of the search position from the luminance data of the lock unit includes a motion vector detecting section for detecting a motion vector.

また、本発明による動きベクトル検出装置は、入力画像と参照画像を蓄積し、所定のブロックサイズで前記入力画像の輝度データを出力し、かつ、動きベクトルの探索範囲を単位として前記参照画像の輝度データを出力するフレームメモリと、前記入力画像のブロック毎に輝度平均値を算出するブロック輝度平均値算出部と、前記入力画像のブロック毎に算出された輝度平均値を蓄積するブロック輝度平均値格納メモリと、探索位置毎に前記参照画像の一つ、或いは複数のブロックの輝度平均値から探索位置の輝度平均値を算出する参照画像輝度平均値補正部と、探索位置毎に前記入力画像の輝度データと前記参照画像の輝度データの輝度平均値による補正を行うか行わないかを決定し、制御情報を生成する平均値補正制御部と、前記平均値補正制御部の制御情報に基づき、前記入力画像のブロック単位の輝度データから前記ブロック輝度平均値算出部で算出された輝度平均値もしくは０を減算した入力補正輝度データと、前記参照画像のブロック単位の輝度データから前記探索位置の輝度平均値もしくは０を減算した参照補正輝度データから動きベクトルを検出する動きベクトル検出部を備えることを特徴とする。 The motion vector detection device according to the present invention accumulates an input image and a reference image, outputs luminance data of the input image in a predetermined block size, and also outputs the luminance of the reference image in units of a motion vector search range. A frame memory that outputs data; a block luminance average value calculating unit that calculates an average luminance value for each block of the input image; and a block luminance average value storage that accumulates the average luminance value calculated for each block of the input image A memory, a reference image luminance average value correcting unit that calculates an average luminance value of the search position from an average luminance value of one or a plurality of blocks of the reference image for each search position, and the luminance of the input image for each search position An average value correction control unit that determines whether or not to perform correction based on a luminance average value of the data and luminance data of the reference image, and generates control information; and the average value Based on the control information of the positive control unit, the luminance average value calculated by the block luminance average value calculation unit or the input corrected luminance data obtained by subtracting 0 from the luminance data of the block unit of the input image, and the block unit of the reference image A motion vector detection unit that detects a motion vector from reference brightness data obtained by subtracting 0 from the brightness average value or 0 of the search position.

また、本発明による動きベクトル検出方法は、入力画像と参照画像を蓄積し、所定のブロックサイズで前記入力画像の輝度データを出力し、かつ、動きベクトルの探索範囲を単位として前記参照画像の輝度データを出力するフレームメモリと、前記入力画像のブロック毎に輝度平均値を算出するブロック輝度平均値算出工程と、前記入力画像のブロック毎に算出された輝度平均値を蓄積するブロック輝度平均値格納メモリと、探索位置毎に前記参照画像の一つ、或いは複数のブロックの輝度平均値から探索位置の輝度平均値を算出する参照画像輝度平均値補正工程と、前記入力画像のブロック単位の輝度データから前記ブロック輝度平均値算出工程で算出された輝度平均値を減算した入力補正輝度データと、前記参照画像のブロック単位の輝度データから前記探索位置の輝度平均値を減算した参照補正輝度データから動きベクトルを検出する動きベクトル検出工程を備えることを特徴とする。 Also, the motion vector detection method according to the present invention accumulates an input image and a reference image, outputs luminance data of the input image in a predetermined block size, and luminance of the reference image in units of a motion vector search range. A frame memory for outputting data; a block luminance average value calculating step for calculating a luminance average value for each block of the input image; and a block luminance average value storage for storing the luminance average value calculated for each block of the input image A memory, a reference image luminance average value correcting step for calculating an average luminance value of the search position from an average luminance value of one or a plurality of blocks of the reference image for each search position, and luminance data of each block of the input image Input corrected luminance data obtained by subtracting the luminance average value calculated in the block luminance average value calculating step, and luminance in block units of the reference image Characterized in that it comprises a motion vector detection step of detecting a motion vector from the reference corrected luminance data from the data obtained by subtracting the luminance average value of the search position.

また、本発明による動きベクトル検出方法は、入力画像と参照画像を蓄積し、所定のブロックサイズで前記入力画像の輝度データを出力し、かつ、動きベクトルの探索範囲を単位として前記参照画像の輝度データを出力するフレームメモリと、前記入力画像のブロック毎に輝度平均値を算出するブロック輝度平均値算出工程と、前記入力画像のブロック毎に算出された輝度平均値を蓄積するブロック輝度平均値格納メモリと、探索位置毎に前記参照画像の一つ、或いは複数のブロックの輝度平均値から探索位置の輝度平均値を算出する参照画像輝度平均値補正工程と、探索位置毎に前記入力画像の輝度データと前記参照画像の輝度データの輝度平均値による補正を行うか行わないかを決定し、制御情報を生成する平均値補正制御工程と、前記平均値補正制御工程の制御情報に基づき、前記入力画像のブロック単位の輝度データから前記ブロック輝度平均値算出工程で算出された輝度平均値もしくは０を減算した入力補正輝度データと、前記参照画像のブロック単位の輝度データから前記探索位置の輝度平均値もしくは０を減算した参照補正輝度データから動きベクトルを検出する動きベクトル検出工程を備えることを特徴とする。 Also, the motion vector detection method according to the present invention accumulates an input image and a reference image, outputs luminance data of the input image in a predetermined block size, and luminance of the reference image in units of a motion vector search range. A frame memory for outputting data; a block luminance average value calculating step for calculating a luminance average value for each block of the input image; and a block luminance average value storage for storing the luminance average value calculated for each block of the input image A memory, a reference image luminance average value correcting step for calculating an average luminance value of the search position from an average luminance value of one or a plurality of blocks of the reference image for each search position, and the luminance of the input image for each search position Determining whether or not to perform correction based on the luminance average value of the luminance data of the data and the reference image, and an average value correction control step of generating control information; Based on the control information of the average value correction control step, the luminance average value calculated in the block luminance average value calculation step or the input correction luminance data obtained by subtracting 0 from the luminance data of the block unit of the input image, and the reference image A motion vector detecting step of detecting a motion vector from reference corrected luminance data obtained by subtracting a luminance average value or 0 from the search position from luminance data in blocks is provided.

以上のように本発明によれば、探索位置毎に算出する補正値で補正しながら動きベクトル検出を行っているため、画像全体だけではなく局所的な輝度変化に対応することが可能で、動きベクトルの誤検出を低減することが可能となる。また、補正値を輝度平均値と０とで切替えの制御を行うことで、輝度変化の少ない画像で動きベクトルの検出を効率よく行うことが可能となる。 As described above, according to the present invention, since motion vector detection is performed while correcting with a correction value calculated for each search position, it is possible to cope with not only the entire image but also a local luminance change. It becomes possible to reduce vector false detection. Further, by performing switching control of the correction value between the luminance average value and 0, it becomes possible to efficiently detect a motion vector in an image with little luminance change.

以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の第１の実施例である動きベクトル検出装置の構成を示すブロック図である。 FIG. 1 is a block diagram showing the configuration of a motion vector detection apparatus according to the first embodiment of the present invention.

ここでは、動きベクトルを検出するブロックサイズを１６×１６画素とし、参照画像が１フレームの時を例とする。 Here, the block size for detecting the motion vector is 16 × 16 pixels, and the reference image is one frame as an example.

図１に示すように、本実施例の動きベクトル検出装置は、入力画像１０１をフレームメモリ１０２に蓄積する。フレームメモリ１０２は、入力画像１０１を１６×１６画素ブロック単位で輝度データを符号化ブロック画像データとして出力する。また、フレームメモリ１０２は、既に動きベクトルの検出を行い、動き補償された画像データを参照画像として蓄積し、探索位置情報に基づき動きベクトルを検出する探索範囲単位で輝度データを参照画像データとして出力する。ブロック輝度平均値算出部１０３は、符号化ブロック画像データの輝度平均値を算出する。ブロック輝度平均値格納メモリ１０４は、符号化ブロック画像データの輝度平均値を符号化ブロック用補正値として蓄積する。この蓄積された補正値は、入力画像１０１を参照画像として動きベクトル検出を行う時に、参照画像用補正値として用いる。また、ブロック輝度平均値格納メモリ１０４には参照画像のブロック単位での輝度平均値が蓄積されており、探索位置情報に基づいて、１または複数のブロックの輝度平均値を出力する。参照画像輝度平均値補正部１０５は、ブロック輝度平均値メモリ１０４の出力である１または複数のブロックの輝度平均値を探索位置情報に基づいて重み付けを行って得られる参照画像用補正値を出力する。動きベクトル検出部１０６は、符号化ブロック画像データ、参照画像データ、符号化ブロック用補正値、参照画像用補正値を入力として動きベクトル検出を行い、動きベクトル１０７を出力する。 As shown in FIG. 1, the motion vector detection apparatus of this embodiment stores an input image 101 in a frame memory 102. The frame memory 102 outputs luminance data as encoded block image data for the input image 101 in units of 16 × 16 pixel blocks. In addition, the frame memory 102 has already detected a motion vector, accumulates motion compensated image data as a reference image, and outputs luminance data as reference image data in a search range unit for detecting a motion vector based on search position information. To do. The block luminance average value calculation unit 103 calculates the luminance average value of the encoded block image data. The block luminance average value storage memory 104 accumulates the luminance average value of the coded block image data as a coding block correction value. The accumulated correction value is used as a reference image correction value when motion vector detection is performed using the input image 101 as a reference image. The block luminance average value storage memory 104 stores the luminance average value for each block of the reference image, and outputs the luminance average value of one or a plurality of blocks based on the search position information. The reference image luminance average value correction unit 105 outputs a reference image correction value obtained by weighting the luminance average value of one or a plurality of blocks, which is the output of the block luminance average value memory 104, based on the search position information. . The motion vector detection unit 106 receives the encoded block image data, the reference image data, the encoded block correction value, and the reference image correction value as input, performs motion vector detection, and outputs a motion vector 107.

ここで、動きベクトル検出部１０６の構成例を図２を用いて説明する。動きベクトル検出部１０６の入力である符号化ブロック画像データ２０１の各画素値から符号化ブロック用補正値２０２を減算した補正符号化データと、参照画像データ２０３の各画素値から参照画像用補正値２０４を減算した補正参照データを算出する。参照画像用補正値２０４は前述の通り探索位置毎に参照画像輝度平均値補正部１０５で算出されるので、補正参照データも探索位置毎に算出される。評価値比較部２０６は、補正符号化データと補正参照データから探索位置毎に評価値を算出し、最も良い評価値を持つ探索位置を求め、符号化ブロック画像データのブロック位置との相対位置を動きベクトル２０７として出力する。また、評価値比較部２０６は、探索範囲の参照画像の切り出しや、参照画像用補正値２０４を算出するために探索位置２０５を出力する。探索位置毎の評価値は、２つのデータの各画素の差分絶対値の総和、分散値、２つのデータの各画素の差分のダイナミックレンジ、２乗誤差などの値である。また、ここでは図示していないが、動きベクトル２０７を検出した後、動きベクトル２０７が指す位置の参照画像のブロックデータを切り出し、出力するように構成することも可能である。 Here, a configuration example of the motion vector detection unit 106 will be described with reference to FIG. Corrected encoded data obtained by subtracting the encoded block correction value 202 from each pixel value of the encoded block image data 201 that is input to the motion vector detection unit 106, and a reference image correction value from each pixel value of the reference image data 203 The corrected reference data obtained by subtracting 204 is calculated. Since the reference image correction value 204 is calculated by the reference image luminance average value correction unit 105 for each search position as described above, corrected reference data is also calculated for each search position. The evaluation value comparison unit 206 calculates an evaluation value for each search position from the corrected encoded data and the corrected reference data, obtains a search position having the best evaluation value, and calculates a relative position with respect to the block position of the encoded block image data. The motion vector 207 is output. Further, the evaluation value comparison unit 206 outputs a search position 205 in order to extract a reference image in the search range and to calculate a reference image correction value 204. The evaluation value for each search position is a value such as the sum of absolute difference values of each pixel of two data, a variance value, a dynamic range of a difference of each pixel of two data, and a square error. Although not shown here, it is also possible to configure such that after detecting the motion vector 207, the block data of the reference image at the position indicated by the motion vector 207 is cut out and output.

次に、参照画像輝度平均補正部１０５の補正方法を以下に示す。ここでは、符号化ブロックが参照画像の参照ブロック１〜４にまたがる位置に存在する場合を例とし、参照ブロック１〜４の輝度平均値をそれぞれ、ＭＢ１、ＭＢ２、ＭＢ３、ＭＢ４として説明する。 Next, a correction method of the reference image luminance average correction unit 105 is described below. Here, a case where the encoded block exists at a position across the reference blocks 1 to 4 of the reference image will be described as an example, and the average luminance values of the reference blocks 1 to 4 will be described as MB1, MB2, MB3, and MB4, respectively.

まず、第１の補正方法を図３を用いて説明する。符号化ブロックの参照ブロック１に対する相対位置は、水平方向にｘ画素、垂直方向にｙ画素ずれた場所になる。符号化ブロックと参照ブロック１が重なっているエリアの面積Ｓ１は（１６−ｘ）×（１６−ｙ）で、同様に参照ブロック２と重なっている部分の面積Ｓ２はｘ×（１６−ｙ）、参照ブロック３と重なっている部分の面積Ｓ３は（１６−ｘ）×ｙ、参照ブロック４と重なっている部分の面積Ｓ４はｘ×ｙとなる。上記の面積と輝度平均値を用いて、（Ｓ１×ＭＢ１＋Ｓ２×ＭＢ２＋Ｓ３×ＭＢ３＋Ｓ４×ＭＢ４）／２５６の線形補間を行い、この結果を参照画像用補正値２０４とする。 First, the first correction method will be described with reference to FIG. The relative position of the encoded block with respect to the reference block 1 is a place shifted by x pixels in the horizontal direction and y pixels in the vertical direction. The area S1 of the area where the coding block and the reference block 1 overlap is (16−x) × (16−y), and similarly, the area S2 of the portion overlapping the reference block 2 is xx (16−y). The area S3 of the portion overlapping the reference block 3 is (16−x) × y, and the area S4 of the portion overlapping the reference block 4 is x × y. Using the above area and luminance average value, linear interpolation of (S1 × MB1 + S2 × MB2 + S3 × MB3 + S4 × MB4) / 256 is performed, and the result is set as a reference image correction value 204.

次に、第２の補正方法を図４を用いて説明する。まず、参照ブロックを複数のエリアに分割する。ここでは、３−（１）から３−（９）の９エリアに分割した場合を例とする。符号化ブロックの参照ブロック１に対する相対位置がどのエリアにあるかを識別し、各エリアで設定されている補正値を参照画像用補正値２０４とする。ここでは非線形の補間を行い、３−（１）ではＭＢ１、３−（２）では（ＭＢ１＋ＭＢ２）／２、３−（３）ではＭＢ２、３−（４）では（ＭＢ１＋ＭＢ３）／２、３−（５）では（ＭＢ１＋ＭＢ２＋ＭＢ３＋ＭＢ４）／４、３−（６）では（ＭＢ２＋ＭＢ４）／２、３−（７）ではＭＢ３、３−（８）では（ＭＢ３＋ＭＢ４）／２、３−（９）ではＭＢ４をそれぞれのエリアでの補正値とする。ここでは、９エリアに分割した場合を説明したが、これ以外の分割数や各エリアの面積を変えても、また、非線形の補間に限らずエリア毎に一つの補正値を設定する構成することも可能である。 Next, the second correction method will be described with reference to FIG. First, the reference block is divided into a plurality of areas. Here, the case where it divides | segments into 9 areas of 3- (1) to 3- (9) is made into an example. It identifies which area the relative position of the encoded block with respect to the reference block 1 is, and sets the correction value set in each area as the reference image correction value 204. Here, non-linear interpolation is performed, and MB1 in 3- (1), (MB1 + MB2) / 2 in 3- (2), MB2 in 3- (3), (MB1 + MB3) / 2 in 3- (4), 3- (5) is (MB1 + MB2 + MB3 + MB4) / 4, 3- (6) is (MB2 + MB4) / 2, 3- (7) is MB3, 3- (8) is (MB3 + MB4) / 2, and 3- (9) is MB4. The correction value for each area. Here, the case of dividing into 9 areas has been described. However, even if the number of divisions other than this and the area of each area are changed, one correction value is set for each area without being limited to non-linear interpolation. Is also possible.

次に、第３の補正方法を図５を用いて説明する。第２の補正方法と同様に参照ブロックを複数エリアに分割する。ここでは、４−（１）から４−（４）の４エリアに分割した場合を例とする。符号化ブロックの参照ブロック１に対する相対位置がどのエリアにあるかを識別し、各エリアで設定されている補正値を参照画像用補正値２０４とする。第２の補正方法と同様にエリア毎に一つの補正値を設定するが、ここでは重み付けを１か０にするのみ、すなわち、４−（１）ではＭＢ１、４−（２）ではＭＢ２、４−（３）ではＭＢ３、４−（４）ではＭＢ４を補正値とする。ここでは、４エリアに分割した場合を説明したが、これ以外の分割数や各エリアの面積を変えても同様に構成することが可能である。 Next, a third correction method will be described with reference to FIG. Similar to the second correction method, the reference block is divided into a plurality of areas. Here, the case where it divides | segments into 4 areas of 4- (1) to 4- (4) is made into an example. It identifies which area the relative position of the encoded block with respect to the reference block 1 is, and sets the correction value set in each area as the reference image correction value 204. As in the second correction method, one correction value is set for each area. Here, the weight is only set to 1 or 0, that is, MB1 in 4- (1), MB2, 4 in 4- (2). -(3) is MB3, and 4- (4) is MB4. Here, the case where it is divided into four areas has been described, but the same configuration can be made even if the number of divisions other than this and the area of each area are changed.

また、ブロックサイズを１６×１６画素、参照する画像数を１としたが、これ以外の時にも同様に構成することが可能である。 Further, although the block size is 16 × 16 pixels and the number of images to be referred to is 1, it can be configured similarly at other times.

図６は、本発明の第２の実施例である動きベクトル検出装置の構成を示すブロック図である。 FIG. 6 is a block diagram showing a configuration of a motion vector detection apparatus according to the second embodiment of the present invention.

ここでは、実施例１と同様に動きベクトルを検出するブロックサイズを１６×１６画素とし、参照画像が１フレームの時を例とする。 Here, as in the first embodiment, the block size for detecting the motion vector is 16 × 16 pixels, and the reference image is one frame.

図６のフレームメモリ６０２はフレームメモリ１０２と、ブロック輝度平均値算出部６０３はブロック輝度平均値算出部１０３と、ブロック輝度平均値格納メモリ６０４はブロック輝度平均値格納メモリ１０４と、参照画像輝度平均値補正部６０５は参照画像輝度平均値補正部１０５と、それぞれ同じ動作をするので、ここでは説明を省略する。平均値補正制御部６０６は、符号化ブロック画像データと参照画像データの輝度補正を行うかどうかの制御を行うための制御信号を出力する。動きベクトル検出部６０７は、符号化ブロック画像データ、参照画像データ、符号化ブロック用補正値、参照画像用補正値を入力として、かつ、平均値補正制御部６０６の出力である制御信号に基づいて補正値を変えながら動きベクトル検出を行い、動きベクトル６０８を出力する。 The frame memory 602 in FIG. 6 is the frame memory 102, the block luminance average value calculation unit 603 is the block luminance average value calculation unit 103, the block luminance average value storage memory 604 is the block luminance average value storage memory 104, and the reference image luminance average. Since the value correction unit 605 performs the same operation as the reference image luminance average value correction unit 105, description thereof is omitted here. The average value correction control unit 606 outputs a control signal for controlling whether to perform luminance correction of the encoded block image data and the reference image data. The motion vector detection unit 607 receives the encoded block image data, the reference image data, the encoded block correction value, and the reference image correction value as input, and is based on a control signal that is an output of the average value correction control unit 606. Motion vector detection is performed while changing the correction value, and a motion vector 608 is output.

ここで、動きベクトル検出部６０７の構成例を図７を用いて説明する。符号化ブロック画像データ７０１の各画素値から、制御信号７０６にしたがって選択部７０７で選択された符号化ブロック用補正値７０２或いは０を減算した補正符号化データと、参照画像データ７０３の各画素値から、制御信号７０６にしたがって選択部７０８で選択された参照画像用補正値７０４或いは０を減算した補正参照データを算出する。参照画像用補正値７０４は前述の通り探索位置毎に参照画像輝度平均値補正部６０５で算出されるので、補正参照データも探索位置毎に算出される。評価値比較部７０９は、評価値比較部２０６と同じ動作をするので、ここでは説明を省略する。また、評価値比較部７０９で比較する評価値は、実施例１に示したものと同様の値とすることが可能である。また、実施例１と同様に、動きベクトル７１０に基づき、参照画像からブロックデータを切り出し、出力するように構成することも可能である。 Here, a configuration example of the motion vector detection unit 607 will be described with reference to FIG. Corrected encoded data obtained by subtracting the encoded block correction value 702 or 0 selected by the selection unit 707 in accordance with the control signal 706 from each pixel value of the encoded block image data 701, and each pixel value of the reference image data 703 From the control signal 706, the correction reference data obtained by subtracting the reference image correction value 704 or 0 selected by the selection unit 708 is calculated. Since the reference image correction value 704 is calculated by the reference image luminance average value correction unit 605 for each search position as described above, corrected reference data is also calculated for each search position. Since the evaluation value comparison unit 709 operates in the same manner as the evaluation value comparison unit 206, description thereof is omitted here. The evaluation value compared by the evaluation value comparison unit 709 can be the same value as that shown in the first embodiment. Further, similarly to the first embodiment, it is possible to cut out block data from the reference image based on the motion vector 710 and output the block data.

平均値補正制御部６０６は、入力画像６０１と参照画像のフレーム輝度差分値が閾値を超えた場合に平均値での補正を行うように制御する。或いは、符号化ブロック画像データの輝度平均値とその同じ位置にある参照画像のブロックの輝度平均値が閾値を超えた場合に平均値での補正を行うように制御する。或いは、符号化ブロック画像データの分散値等の特徴量を用いてエッジ検出を行い、エッジがないと判別できる時だけ補正を行うように制御する等の方法で平均値での補正を制御する。 The average value correction control unit 606 performs control so as to perform correction with the average value when the frame luminance difference value between the input image 601 and the reference image exceeds a threshold value. Alternatively, when the average luminance value of the encoded block image data and the average luminance value of the block of the reference image at the same position exceed the threshold value, control is performed so as to correct the average value. Alternatively, the correction by the average value is controlled by a method such as performing edge detection using a feature quantity such as a variance value of the encoded block image data and performing correction only when it can be determined that there is no edge.

また、参照画像輝度平均値補正部６０５の補正方法は、実施例１に示した方法と同様の方法で構成することが可能である。 Further, the correction method of the reference image luminance average value correction unit 605 can be configured by the same method as the method shown in the first embodiment.

画像全体或いは一部が輝度変化している画像間での動きベクトルを検出する事が可能で、動き補償を用いた画像符号化や、動きベクトルを用いたインタレース−プログレッシブ変換等にも適用できる。 It is possible to detect a motion vector between images whose luminance changes entirely or partially, and can be applied to image coding using motion compensation, interlace-progressive conversion using a motion vector, etc. .

本発明の実施例１による動きベクトル検出装置を示すブロック図The block diagram which shows the motion vector detection apparatus by Example 1 of this invention. 本発明の実施例１で使用する動きベクトル検出部の構成を示すブロック図The block diagram which shows the structure of the motion vector detection part used in Example 1 of this invention. 参照画像輝度平均値補正部の第１の補正方法を説明するための図The figure for demonstrating the 1st correction method of a reference image brightness | luminance average value correction | amendment part. 参照画像輝度平均値補正部の第２の補正方法を説明するための図The figure for demonstrating the 2nd correction method of a reference image brightness | luminance average value correction | amendment part. 参照画像輝度平均値補正部の第３の補正方法を説明するための図The figure for demonstrating the 3rd correction method of a reference image brightness average value correction | amendment part. 本発明の実施例２で使用する動きベクトル検出装置の構成を示すブロック図The block diagram which shows the structure of the motion vector detection apparatus used in Example 2 of this invention. 本発明の実施例２で使用する動きベクトル検出部の構成を示すブロック図The block diagram which shows the structure of the motion vector detection part used in Example 2 of this invention. 従来例を示すブロック図Block diagram showing a conventional example

符号の説明Explanation of symbols

１０１、６０１入力画像
１０２、６０２フレームメモリ
１０３、６０３ブロック輝度平均値算出部
１０４、６０４ブロック輝度平均値格納メモリ
１０５、６０５参照画像輝度平均値補正部
１０６、６０７動きベクトル検出部
１０７、２０７、６０８、７１０、ｆ動きベクトル
２０１、７０１符号化ブロック画像データ
２０２、７０２符号化ブロック用補正値
２０３、７０３参照画像データ
２０４、７０４参照画像用補正値
２０５、７０５探索位置
２０６、７０９評価値比較部
６０６平均値補正制御部
７０６制御情報
７０７、７０８選択部 101, 601 Input image 102, 602 Frame memory 103, 603 Block luminance average value calculation unit 104, 604 Block luminance average value storage memory 105, 605 Reference image luminance average value correction unit 106, 607 Motion vector detection unit 107, 207, 608 , 710, f Motion vector 201, 701 Encoded block image data 202, 702 Encoded block correction value 203, 703 Reference image data 204, 704 Reference image correction value 205, 705 Search position 206, 709 Evaluation value comparison unit 606 Average value correction control unit 706 Control information 707, 708 selection unit

Claims

入力画像と参照画像から所定のブロックサイズで動きベクトルを検出する動きベクトル検出装置において、
前記入力画像と前記参照画像を蓄積し、所定のブロックサイズで前記入力画像の輝度データを出力し、かつ、動きベクトルの探索範囲を単位として前記参照画像の輝度データを出力するフレームメモリと、
前記入力画像のブロック毎に輝度平均値を算出するブロック輝度平均値算出部と、
前記入力画像のブロック毎に算出された輝度平均値を蓄積するブロック輝度平均値格納メモリと、
探索位置毎に前記参照画像の一つ、或いは複数のブロックの輝度平均値から探索位置の輝度平均値を算出する参照画像輝度平均値補正部と、
前記入力画像のブロック単位の輝度データから前記ブロック輝度平均値算出部で算出された輝度平均値を減算した入力補正輝度データと、前記参照画像のブロック単位の輝度データから前記探索位置の輝度平均値を減算した参照補正輝度データから動きベクトルを検出する動きベクトル検出部を備えることを特徴とする動きベクトル検出装置。 In a motion vector detection device that detects a motion vector with a predetermined block size from an input image and a reference image,
A frame memory that accumulates the input image and the reference image, outputs luminance data of the input image in a predetermined block size, and outputs luminance data of the reference image in units of a motion vector search range;
A block luminance average value calculating unit that calculates a luminance average value for each block of the input image;
A block luminance average value storage memory for accumulating the luminance average value calculated for each block of the input image;
A reference image luminance average value correction unit that calculates a luminance average value of the search position from the average luminance value of one or a plurality of blocks of the reference image for each search position;
Input corrected luminance data obtained by subtracting the luminance average value calculated by the block luminance average value calculation unit from the luminance data of the block unit of the input image, and the luminance average value of the search position from the luminance data of the block unit of the reference image A motion vector detection device comprising a motion vector detection unit that detects a motion vector from reference corrected luminance data obtained by subtracting.

入力画像と参照画像から所定のブロックサイズで動きベクトルを検出する動きベクトル検出装置において、
前記入力画像と前記参照画像を蓄積し、所定のブロックサイズで前記入力画像の輝度データを出力し、かつ、動きベクトルの探索範囲を単位として前記参照画像の輝度データを出力するフレームメモリと、
前記入力画像のブロック毎に輝度平均値を算出するブロック輝度平均値算出部と、
前記入力画像のブロック毎に算出された輝度平均値を蓄積するブロック輝度平均値格納メモリと、
探索位置毎に前記参照画像の一つ、或いは複数のブロックの輝度平均値から探索位置の輝度平均値を算出する参照画像輝度平均値補正部と、
探索位置毎に前記入力画像の輝度データと前記参照画像の輝度データの輝度平均値による補正を行うか行わないかを決定し、制御情報を生成する平均値補正制御部と、
前記平均値補正制御部の制御情報に基づき、前記入力画像のブロック単位の輝度データから前記ブロック輝度平均値算出部で算出された輝度平均値もしくは０を減算した入力補正輝度データと、前記参照画像のブロック単位の輝度データから前記探索位置の輝度平均値もしくは０を減算した参照補正輝度データから動きベクトルを検出する動きベクトル検出部を備えることを特徴とする動きベクトル検出装置。 In a motion vector detection device that detects a motion vector with a predetermined block size from an input image and a reference image,
A frame memory that accumulates the input image and the reference image, outputs luminance data of the input image in a predetermined block size, and outputs luminance data of the reference image in units of a motion vector search range;
A block luminance average value calculating unit that calculates a luminance average value for each block of the input image;
A block luminance average value storage memory for accumulating the luminance average value calculated for each block of the input image;
A reference image luminance average value correction unit that calculates the average luminance value of the search position from the average luminance value of one or a plurality of blocks of the reference image for each search position;
An average value correction control unit that determines whether or not to perform correction by the luminance average value of the luminance data of the input image and the luminance data of the reference image for each search position, and generates control information;
Based on the control information of the average value correction control unit, the input correction luminance data obtained by subtracting the luminance average value calculated by the block luminance average value calculation unit or 0 from the luminance data of the block unit of the input image, and the reference image A motion vector detection apparatus comprising: a motion vector detection unit configured to detect a motion vector from reference correction luminance data obtained by subtracting 0 from the luminance average value of the search position or 0 from luminance data in block units.

前記平均値補正制御部は、前記入力画像の輝度データのフレーム輝度平均値と前記参照画像の輝度データのフレーム輝度平均値の差分絶対値が所定の閾値を超える場合、前記動きベクトル検出部で輝度平均値による補正を行うように制御することを特徴とする請求項２に記載の動きベクトル検出装置。 When the difference absolute value of the average frame luminance value of the luminance data of the input image and the average frame luminance value of the luminance data of the reference image exceeds a predetermined threshold, the average value correction control unit The motion vector detection device according to claim 2, wherein control is performed so as to perform correction based on an average value.

前記平均値補正制御部は、前記入力画像のブロック単位の輝度データのエッジ検出を行い、エッジが検出されなかった場合、前記動きベクトル検出部で輝度平均値による補正を行うように制御することを特徴とする請求項２または３に記載の動きベクトル検出装置。 The average value correction control unit performs edge detection of luminance data in units of blocks of the input image, and controls to perform correction by the luminance average value in the motion vector detection unit when no edge is detected. The motion vector detection device according to claim 2 or 3, characterized in that

前記エッジ検出は、前記入力画像のブロック単位の輝度データの特徴量を算出し、所定の閾値以上であればエッジがあると判断することを特徴とする請求項４に記載の動きベクトル検出装置。 The motion vector detection device according to claim 4, wherein the edge detection calculates a feature amount of luminance data in units of blocks of the input image, and determines that there is an edge if it is equal to or greater than a predetermined threshold.

前記参照画像輝度平均値補正部は、探索位置のブロックが前記参照画像の各ブロックに占める面積割合に基づいて参照画像のブロック単位の輝度平均値に重み付けを行うことで探索位置の輝度平均値を算出することを特徴とする請求項１から５のいずれかに記載の動きベクトル検出装置。 The reference image luminance average value correction unit weights the luminance average value of the reference image in units of blocks based on the area ratio of the block of the search position to each block of the reference image, thereby calculating the luminance average value of the search position. The motion vector detection device according to claim 1, wherein the motion vector detection device calculates the motion vector.

前記参照画像輝度平均値補正部は、前記参照画像の各ブロックを複数のエリアに分割し、前記エリア毎に定められた重み付けで参照画像のブロック単位の輝度平均値に重み付けを行うことで探索位置の輝度平均値を算出することを特徴とする請求項１から５のいずれかに記載の動きベクトル検出装置。 The reference image luminance average value correction unit divides each block of the reference image into a plurality of areas, and weights the luminance average value of each block of the reference image with a weight determined for each area, thereby searching a position of the reference image. The motion vector detection device according to claim 1, wherein an average luminance value of the image is calculated.

入力画像と参照画像から所定のブロックサイズで動きベクトルを検出する動きベクトル検出方法において、
前記入力画像と前記参照画像を蓄積し、所定のブロックサイズで前記入力画像の輝度データを出力し、かつ、動きベクトルの探索範囲を単位として前記参照画像の輝度データを出力するフレームメモリと、
前記入力画像のブロック毎に輝度平均値を算出するブロック輝度平均値算出工程と、
前記入力画像のブロック毎に算出された輝度平均値を蓄積するブロック輝度平均値格納メモリと、
探索位置毎に前記参照画像の一つ、或いは複数のブロックの輝度平均値から探索位置の輝度平均値を算出する参照画像輝度平均値補正工程と、
前記入力画像のブロック単位の輝度データから前記ブロック輝度平均値算出工程で算出された輝度平均値を減算した入力補正輝度データと、前記参照画像のブロック単位の輝度データから前記探索位置の輝度平均値を減算した参照補正輝度データから動きベクトルを検出する動きベクトル検出工程を備えることを特徴とする動きベクトル検出方法。 In a motion vector detection method for detecting a motion vector with a predetermined block size from an input image and a reference image,
A frame memory that accumulates the input image and the reference image, outputs luminance data of the input image in a predetermined block size, and outputs luminance data of the reference image in units of a motion vector search range;
A block luminance average value calculating step of calculating a luminance average value for each block of the input image;
A block luminance average value storage memory for accumulating the luminance average value calculated for each block of the input image;
A reference image luminance average value correction step for calculating the average luminance value of the search position from the average luminance value of one or a plurality of blocks of the reference image for each search position;
Input corrected luminance data obtained by subtracting the luminance average value calculated in the block luminance average value calculating step from luminance data of the block unit of the input image, and luminance average value of the search position from the luminance data of the block unit of the reference image A motion vector detection method comprising a motion vector detection step of detecting a motion vector from reference corrected luminance data obtained by subtracting.

入力画像と参照画像から所定のブロックサイズで動きベクトルを検出する動きベクトル検出方法において、
前記入力画像と前記参照画像を蓄積し、所定のブロックサイズで前記入力画像の輝度データを出力し、かつ、動きベクトルの探索範囲を単位として前記参照画像の輝度データを出力するフレームメモリと、
前記入力画像のブロック毎に輝度平均値を算出するブロック輝度平均値算出工程と、
前記入力画像のブロック毎に算出された輝度平均値を蓄積するブロック輝度平均値格納メモリと、
探索位置毎に前記参照画像の一つ、或いは複数のブロックの輝度平均値から探索位置の輝度平均値を算出する参照画像輝度平均値補正工程と、
探索位置毎に前記入力画像の輝度データと前記参照画像の輝度データの輝度平均値による補正を行うか行わないかを決定し、制御情報を生成する平均値補正制御工程と、
前記平均値補正制御工程の制御情報に基づき、前記入力画像のブロック単位の輝度データから前記ブロック輝度平均値算出工程で算出された輝度平均値もしくは０を減算した入力補正輝度データと、前記参照画像のブロック単位の輝度データから前記探索位置の輝度平均値もしくは０を減算した参照補正輝度データから動きベクトルを検出する動きベクトル検出工程を備えることを特徴とする動きベクトル検出方法。 In a motion vector detection method for detecting a motion vector with a predetermined block size from an input image and a reference image,
A frame memory that accumulates the input image and the reference image, outputs luminance data of the input image in a predetermined block size, and outputs luminance data of the reference image in units of a motion vector search range;
A block luminance average value calculating step of calculating a luminance average value for each block of the input image;
A block luminance average value storage memory for accumulating the luminance average value calculated for each block of the input image;
A reference image luminance average value correction step for calculating the average luminance value of the search position from the average luminance value of one or a plurality of blocks of the reference image for each search position;
An average value correction control step for determining whether or not to perform correction based on a luminance average value of the luminance data of the input image and the luminance data of the reference image for each search position, and generating control information;
Based on the control information of the average value correction control step, the input correction luminance data obtained by subtracting the luminance average value calculated in the block luminance average value calculation step or 0 from the luminance data of the block unit of the input image, and the reference image A motion vector detection method comprising: a motion vector detection step of detecting a motion vector from reference brightness data obtained by subtracting a brightness average value or 0 of the search position from brightness data in units of blocks.

前記平均値補正制御工程は、前記入力画像の輝度データのフレーム輝度平均値と前記参照画像の輝度データのフレーム輝度平均値の差分絶対値が所定の閾値を超える場合、前記動きベクトル検出工程で輝度平均値による補正を行うように制御することを特徴とする請求項９に記載の動きベクトル検出方法。 In the average value correction control step, if the absolute difference between the frame luminance average value of the luminance data of the input image and the frame luminance average value of the luminance data of the reference image exceeds a predetermined threshold, the luminance is detected in the motion vector detection step. The motion vector detection method according to claim 9, wherein control is performed so as to perform correction based on an average value.

前記平均値補正制御工程は、前記入力画像のブロック単位の輝度データのエッジ検出を行い、エッジが検出されなかった場合、前記動きベクトル検出工程で輝度平均値による補正を行うように制御することを特徴とする請求項９または１０に記載の動きベクトル検出方法。 The average value correction control step performs edge detection of luminance data in block units of the input image, and performs control based on the luminance average value correction in the motion vector detection step when no edge is detected. The motion vector detection method according to claim 9 or 10, wherein the motion vector detection method is characterized by the following.

前記エッジ検出は、前記入力画像のブロック単位の輝度データの特徴量を算出し、所定の閾値以上であればエッジがあると判断することを特徴とする請求項１１に記載の動きベクトル検出方法。 The motion vector detection method according to claim 11, wherein the edge detection calculates a feature amount of luminance data in units of blocks of the input image, and determines that there is an edge if it is equal to or greater than a predetermined threshold.

前記参照画像輝度平均値補正工程は、探索位置のブロックが前記参照画像の各ブロックに占める面積割合に基づいて参照画像のブロック単位の輝度平均値に重み付けを行うことで探索位置の輝度平均値を算出することを特徴とする請求項８から１２のいずれかに記載の動きベクトル検出方法。 The reference image luminance average value correction step weights the luminance average value of the search position by weighting the luminance average value of each block of the reference image based on the area ratio of the block of the search position to each block of the reference image. The motion vector detection method according to claim 8, wherein the motion vector detection method is calculated.

前記参照画像輝度平均値補正工程は、前記参照画像の各ブロックを複数のエリアに分割し、前記エリア毎に定められた重み付けで参照画像のブロック単位の輝度平均値に重み付けを行うことで探索位置の輝度平均値を算出することを特徴とする請求項８から１２のいずれかに記載の動きベクトル検出方法。 The reference image luminance average value correcting step divides each block of the reference image into a plurality of areas, and weights the luminance average value of each block of the reference image with a weight determined for each area, thereby searching a search position. The motion vector detection method according to claim 8, wherein an average luminance value is calculated.