JP2897579B2 - Image coding method - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【産業上の利用分野】本発明は画像符号化方法に係り、
特に動画像等のフレーム間および、フィールド間の相関
を利用する符号化において、画像系列中にズーム等によ
り、拡大・縮小された画像が存在する場合に効率的な、
画像符号化方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image encoding method,
In particular, in encoding using the correlation between frames such as moving images, and between fields, efficient when there is an image that has been enlarged or reduced by a zoom or the like in an image sequence,
The present invention relates to an image encoding method.

【０００２】[0002]

【従来の技術】動画像の符号化方法として、フレーム
間、或はフィールド間の和および差分画像に対し、Ｎ×
Ｍ個（サイズ８×８）のブロックに分割し、前記ブロッ
クのデータに対し、直交変換（例えばＤＣＴ：離散コサ
イン変換）等の変換を施し、得られた変換係数に対し、
量子化を行い、符号化を行う方法がある。図１３に従来
の符号化装置のブロック図を示す。以下、従来の符号化
装置について図１３を用いて説明する。2. Description of the Related Art As a moving image encoding method, a sum and difference image between frames or between fields is calculated by N ×
The data is divided into M (8 × 8) blocks, and the data of the blocks are subjected to a transform such as an orthogonal transform (for example, DCT: discrete cosine transform).
There is a method of performing quantization and coding. FIG. 13 shows a block diagram of a conventional encoding device. Hereinafter, a conventional encoding apparatus will be described with reference to FIG.

【０００３】図１３において、1300は画像入力部、130
1、1302はそれぞれ１フレーム分の画像データを一時記
憶するフレームメモリであり、画像入力部1300から入力
された画像データの第１フレームはフレームメモリ1301
に、第２フレームは1302に記憶される。1303は加算器で
あり、フレームメモリ1301に記憶されている画像データ
と、フレームメモリ1302に記憶されている画像データの
加算結果を求める。1304は減算器であり、フレームメモ
リ1302に記憶されている画像データと、フレームメモリ
1302に記憶されている画像データの差分値を求める。13
05はセレクタであり、加算器1303と減算器1304の出力を
切り換える。1306はＤＣＴ部（離散コサイン変換）であ
り、セレクタ1305からの出力に対し、Ｎ×Ｍ個（サイズ
８×８）のブロックに分割し、ＤＣＴを施す。1307は量
子化部であり、ＤＣＴ部1306でＤＣＴされたブロックに
対し量子化処理を行う。1308は可変長符号化部であり、
量子化部1307の出力に対し、エントロピー符号化を行
う。In FIG. 13, reference numeral 1300 denotes an image input unit;
Reference numerals 1 and 1302 denote frame memories for temporarily storing one frame of image data. The first frame of the image data input from the image input unit 1300 is a frame memory 1301.
The second frame is stored in 1302. Reference numeral 1303 denotes an adder, which obtains an addition result of the image data stored in the frame memory 1301 and the image data stored in the frame memory 1302. Reference numeral 1304 denotes a subtractor, which stores image data stored in a frame memory 1302 and a frame memory.
A difference value of the image data stored in 1302 is obtained. 13
05 is a selector, which switches the output of the adder 1303 and the output of the subtractor 1304. Reference numeral 1306 denotes a DCT unit (discrete cosine transform), which divides the output from the selector 1305 into N × M (size 8 × 8) blocks and performs DCT. Reference numeral 1307 denotes a quantization unit that performs a quantization process on the block DCT processed by the DCT unit 1306. 1308 is a variable length coding unit,
Entropy coding is performed on the output of the quantization unit 1307.

【０００４】[0004]

【発明が解決しようとする課題】しかしながら、上記従
来の符号化方法では、 （１）画像系列中にズーミングにより拡大・縮小された
画像が存在する場合、画像全体にわたってフレームおよ
びフィールド間の相関が低くなり、符号化効率が低下す
る。 （２）画像系列中にズーミングにより、基準フィールド
に対し拡大された画像が存在する場合、符号化前処理と
して画素を間引くことにより縮小画像を生成し被符号化
フィールドとし、復号化時には復号化によって得られた
既復号化フィールドに対し、復号化後処理として符号化
前処理で間引いた画素を補間し、既復号化フィールドの
拡大画像を生成するため、前記復号化後処理の補間処理
により画像の中心部に劣化が生じる。 という問題点を有していた。However, in the above-mentioned conventional encoding method, (1) when there is an image enlarged or reduced by zooming in an image sequence, the correlation between frames and fields is low over the entire image. And the coding efficiency decreases. (2) When there is an image enlarged with respect to the reference field due to zooming in the image sequence, a reduced image is generated by thinning out pixels as a pre-encoding process and used as a field to be encoded. The obtained decoded field is interpolated with the pixels decimated in the pre-coding process as the post-decoding process to generate an enlarged image of the decoded field. Deterioration occurs at the center. There was a problem that.

【０００５】本発明はかかる点に鑑み、動画像等のフレ
ーム間およびフィールド間の相関を利用する符号化にお
いて、特にズーミングによる画像の拡大・縮小が存在す
る場合、符号化処理対象のフレーム間およびフィールド
間の相関を高めるとともに、拡大ズームの場合でも再生
時に画像の中心部の劣化を抑え、符号化効率を向上させ
ることを目的としている。In view of the foregoing, the present invention has been made in consideration of the above-described problems in encoding using correlation between frames and between fields of a moving image, especially when there is an enlargement / reduction of an image due to zooming. It is an object of the present invention to increase the correlation between fields, suppress deterioration of the center of an image during reproduction even in the case of enlarged zoom, and improve coding efficiency.

【０００６】[0006]

【課題を解決するための手段】かかる点に鑑み、第１の
発明は、画像系列中にズーミングによる画像の拡大・縮
小が存在する場合、ｎ個のフレームから構成される同一
のフレーム群に属する各入力フィールドに対し、１つの
基準フィールドを設定し、前記基準フィールドに対する
各フィールドの動きベクトルを検出し、前記動きベクト
ルを用い、各入力フィールドの拡大・縮小画像を生成
し、該拡大・縮小画像を被符号化フィールドとすること
を特徴とする。In view of the above, according to a first aspect of the present invention, when an image is enlarged or reduced by zooming in an image sequence, the image belongs to the same frame group composed of n frames. One reference field is set for each input field, a motion vector of each field with respect to the reference field is detected, and an enlarged / reduced image of each input field is generated using the motion vector. Is a field to be encoded.

【０００７】また、第２の発明は、基準フィールドの決
定法として、同一フレーム群に属する全ての被符号化フ
ィールドが各入力フィールドの拡大画像となる基準フィ
ールドを設定し、前記基準フィールドに対する各フィー
ルドの動きベクトルを用い、各入力フィールドの拡大画
像を生成し、該拡大画像を被符号化フィールドとするこ
とを特徴とする。According to a second aspect of the present invention, as a method of determining a reference field, a reference field is set such that all encoded fields belonging to the same frame group are enlarged images of each input field, and each field corresponding to the reference field is set. , An enlarged image of each input field is generated, and the enlarged image is used as a field to be encoded.

【０００８】[0008]

【作用】上記した構成により、第１の発明によれば、画
像系列中にズーミングによる拡大・縮小された画像が存
在する場合、同一フレーム群に属する各入力フィールド
の基準フィールドに対する動きベクトルを検出し、前記
動きベクトルを用い、各入力フィールドの拡大・縮小画
像を生成し、該拡大・縮小画像を被符号化フィールドと
することで、同一フレーム群における被符号化フレーム
および被符号化フィールド間の相関がより強くなる。According to the first aspect of the present invention, when there is an image enlarged or reduced by zooming in an image sequence, a motion vector with respect to a reference field of each input field belonging to the same frame group is detected. By using the motion vector, an enlarged / reduced image of each input field is generated, and the enlarged / reduced image is used as a coded field, so that the correlation between the coded frame and the coded field in the same frame group is obtained. Becomes stronger.

【０００９】また、第２の発明によれば、同一フレーム
群に属する全ての被符号化フィールドが各入力フィール
ドの拡大画像となる基準フィールドを設定するので、前
記基準フィールドに対する各フィールドの動きベクトル
を用い、画素を補間することで各入力フィールドの拡大
画像を生成し、該拡大画像を被符号化フィールドとする
符号化前処理と、復号化処理で得られた既復号フィール
ドと前記動きベクトルにより、前記符号化前処理で補間
した画素を間引くことで縮小画像を生成する復号化後処
理により、前記復号化後処理による画質の劣化を画像の
周辺部のみに抑えることができる。According to the second aspect of the present invention, since all encoded fields belonging to the same frame group set a reference field that is an enlarged image of each input field, a motion vector of each field with respect to the reference field is determined. Use, to generate an enlarged image of each input field by interpolating the pixels, pre-encoding processing with the enlarged image as a field to be encoded, and the already decoded field and the motion vector obtained in the decoding process, By the post-decoding process of generating a reduced image by thinning out the pixels interpolated in the pre-coding process, the deterioration of the image quality due to the post-decoding process can be suppressed to only the peripheral part of the image.

【００１０】[0010]

【実施例】以下、本発明の一実施例の画像符号化方法に
ついて、図面を参照しながら説明する。図１は本発明の
実施例における画像符号化装置のブロック図を示すもの
である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An image coding method according to an embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing an image encoding apparatus according to an embodiment of the present invention.

【００１１】図１において、１００は画像入力部であ
り、フィールドデータが入力される。１０１は動きベク
トル検出部であり、基準となるフィールドデータに対す
る動きベクトルを検出する。１０２はズーム係数算出部
であり、動きベクトル検出部１０１で求めたベクトルよ
り、ズーム係数を算出する。１０３はフィールドメモリ
であり、画像入力部１００から入力されたフィールドデ
ータを一時記憶する１フィールド分のメモリである。１
０４は拡大・縮小処理部であり、ズーム係数算出部１０
２で求めたズーム係数により、フィールドメモリ１０３
に記憶されたフィールドデータの拡大画像あるいは縮小
画像を生成する。１０５はスイッチ部であり、基準フィ
ールド制御信号１０７によりフィールドメモリ１０３か
ら読みだしたフィールドデータと、拡大・縮小画像処理
部１０４により生成された拡大画像あるいは縮小画像を
切り換えて符号化部１０６に出力する。In FIG. 1, reference numeral 100 denotes an image input unit to which field data is input. Reference numeral 101 denotes a motion vector detection unit which detects a motion vector corresponding to reference field data. A zoom coefficient calculation unit 102 calculates a zoom coefficient from the vector obtained by the motion vector detection unit 101. Reference numeral 103 denotes a field memory, which is a memory for one field that temporarily stores field data input from the image input unit 100. 1
Reference numeral 04 denotes an enlargement / reduction processing unit, and a zoom coefficient calculation unit 10
According to the zoom coefficient obtained in step 2, the field memory 103
To generate an enlarged image or reduced image of the field data stored in. A switch unit 105 switches between field data read from the field memory 103 by the reference field control signal 107 and an enlarged image or a reduced image generated by the enlarged / reduced image processing unit 104 and outputs the switched image to the encoding unit 106. .

【００１２】図５、図７および図９を用いて図１のブロ
ック図の詳細な動作を説明する。図５は２フレーム（４
フィールド）から構成されるフレーム群であり、フィー
ルド＃０からフィールド＃３で構成される。このフレー
ム群においてフィールド＃０を基準フィールドとした場
合の処理について以下説明する。また、条件としてこの
場合、拡大ズームであるとする。The detailed operation of the block diagram of FIG. 1 will be described with reference to FIGS. 5, 7 and 9. FIG. 5 shows two frames (4
Field), and is composed of fields # 0 to # 3. Processing when field # 0 is used as a reference field in this frame group will be described below. In this case, it is assumed that the zoom is an enlarged zoom in this case.

【００１３】まず、入力画像として、基準フィールド＃
０が画像入力部１００より入力される。このとき基準フ
ィールド制御信号１０７はアサートされる。動きベクト
ル検出部１０１では、基準フィールド制御信号１０７が
アサートされているので、基準フィールド＃０のデータ
を一時記憶する。この場合、基準フィールド＃０のデー
タを全て記憶する必要はなく、代表点のみを記憶しても
よい（例えば、特開平２ー５６８９号公報）。また、同
じサイクルで基準フィールド＃０のデータをフィールド
メモリ１０３に書き込む。次のサイクルでスイッチ部１
０５では基準フィールド制御信号１０７により、フィー
ルドメモリ１０３から読みだされた基準フィールド＃０
が選択され、符号化部１０６に出力される。First, as an input image, a reference field #
0 is input from the image input unit 100. At this time, the reference field control signal 107 is asserted. Since the reference field control signal 107 is asserted, the motion vector detection unit 101 temporarily stores the data of the reference field # 0. In this case, it is not necessary to store all the data of the reference field # 0, and only the representative point may be stored (for example, JP-A-2-5689). The data of the reference field # 0 is written to the field memory 103 in the same cycle. Switch part 1 in the next cycle
05, the reference field control signal 107 causes the reference field # 0 read from the field memory 103 to be read.
Is selected and output to encoding section 106.

【００１４】また同じサイクルで画像入力部１００より
フィールド＃１が入力される。動きベクトル検出部１０
１では、基準フィールド＃０とフィールド＃１より動き
ベクトルを検出し、このベクトル値により、ズーム係数
算出部１０２で基準フィールド＃０に対するフィールド
＃１のズーム係数を算出する。In the same cycle, field # 1 is input from image input unit 100. Motion vector detection unit 10
In step 1, a motion vector is detected from the reference field # 0 and the field # 1, and the zoom coefficient calculation unit 102 calculates a zoom coefficient of the field # 1 with respect to the reference field # 0 based on the vector value.

【００１５】図７にズーム係数と動きベクトルの関係図
を示す。図７（ａ）は基準フィールド（この場合はフィ
ールド＃０）に対する、対象フィールド（この場合は、
フィールド＃１）の動きベクトルを示す図である。同図
においてＨは水平方向、Ｖは垂直方向を示し、左上が基
準点であり、丸印○はズームの中心を示す。同図は拡大
ズームであるので、動きベクトルはズームの中心に向か
って放射状にのびている。図７（ｂ）は、図７（ａ）に
おける水平方向の動きベクトルを一次関数で近似した様
子を示す。基準点より水平方向にｘ画素離れた位置の動
きベクトルＶｈ（ｘ）は水平方向のズーム係数（ａｈ，
ｂｈ）を用いて Ｖｈ（ｘ）＝ａｈ＊ｘ ＋ ｂｈ で表すことができる。同様に図７（ｃ）は、図７（ａ）
における垂直方向の動きベクトルを一次関数で近似した
様子を示す。基準点より垂直方向にｙ画素離れた位置の
動きベクトルＶｖ（ｙ）は垂直方向のズーム係数（ａ
ｖ，ｂｖ）を用いて Ｖｖ（ｙ）＝ａｖ＊ｙ ＋ ｂｖ で表すことができる。FIG. 7 shows the relationship between the zoom coefficient and the motion vector. FIG. 7A shows a target field (in this case, a reference field (field # 0 in this case))
It is a figure showing the motion vector of field # 1). In the figure, H indicates the horizontal direction, V indicates the vertical direction, the upper left is the reference point, and the circle ○ indicates the center of the zoom. Since the figure is an enlarged zoom, the motion vector extends radially toward the center of the zoom. FIG. 7B illustrates a state in which the horizontal motion vector in FIG. 7A is approximated by a linear function. The motion vector Vh (x) at a position that is x pixels away from the reference point in the horizontal direction is a horizontal zoom coefficient (ah,
bh), it can be expressed as Vh (x) = ah * x + bh. Similarly, FIG. 7 (c) is similar to FIG.
5 shows a state in which the vertical motion vector in is approximated by a linear function. The motion vector Vv (y) at a position y pixels away from the reference point in the vertical direction is a vertical zoom factor (a
Vv (y) = av * y + bv using (v, bv).

【００１６】このように、基準フィールド＃０に対す
る、フィールド＃１の動きベクトルより水平方向のズー
ム係数（ａｈ０１，ｂｈ０１）と垂直方向のズーム係数
（ａｖ０１，ｂｖ０１）を、ズーム係数算出部１０２で
算出する。As described above, the zoom coefficient calculating section 102 calculates the horizontal zoom coefficients (ah01, bh01) and the vertical zoom coefficients (av01, bv01) from the motion vector of the field # 1 with respect to the reference field # 0. I do.

【００１７】次に拡大・縮小処理部１０４において、フ
ィールドメモリ１０３に一時記憶しているフィールド＃
１のデータとズーム係数算出部１０２で算出したズーム
係数（（ａｈ０１，ｂｈ０１），（ａｖ０１，ｂｖ０
１））より拡大あるいは縮小画像を生成する。この場合
は拡大ズームであるので、縮小画像を生成する。Next, in the enlargement / reduction processing unit 104, the field # temporarily stored in the field memory 103
1 and the zoom coefficients ((ah01, bh01), (av01, bv0) calculated by the zoom coefficient calculation unit 102.
1) Generate an enlarged or reduced image from the above. In this case, since the zoom is enlarged, a reduced image is generated.

【００１８】図９に縮小画像を生成する様子を示す。図
９（ａ）はフィールドデータを表しており、斜線部がズ
ーム係数によって間引かれる画素である。図９（ｂ）は
間引き処理後の画像である。同図において、斜線部は間
引き処理によりデータの存在しない画素であり、この部
分に関しては、基準フィールドの同一位置の画素で置き
換える、あるいは同一フィールドの周辺画素から補間す
る等の処理により、以降の符号化効率の劣化を抑える処
理を行う必要がある。FIG. 9 shows how a reduced image is generated. FIG. 9A shows the field data, and the hatched portion is a pixel to be thinned out by the zoom coefficient. FIG. 9B is an image after the thinning processing. In the figure, hatched portions indicate pixels for which no data exists due to the thinning process, and this portion is replaced by a pixel at the same position in the reference field or interpolated from peripheral pixels in the same field. It is necessary to perform processing for suppressing the deterioration of the conversion efficiency.

【００１９】このように、拡大・縮小処理部１０４にお
いて、フィールド＃１の縮小画像フィールド＃１’を生
成する。スイッチ部１０５では、基準フィールド制御信
号１０７はネゲートされているので、拡大・縮小処理部
１０４の出力が選択され、被符号化フィールド＃１’が
符号化部１０６に出力される。As described above, the enlargement / reduction processing unit 104 generates the reduced image field # 1 'of the field # 1. In the switch unit 105, since the reference field control signal 107 is negated, the output of the enlargement / reduction processing unit 104 is selected, and the encoded field # 1 'is output to the encoding unit 106.

【００２０】フィールド＃２以降についても同様に、基
準フィールド＃０に対する縮小画像フィールド＃２’、
フィールド＃３’が生成され、符号化部１０６に出力さ
れる。符号化部１０６の出力は、フレームおよびフィー
ルド間の相関を利用する符号化器によって符号化され
る。Similarly, for fields # 2 and thereafter, reduced image fields # 2 ',
Field # 3 ′ is generated and output to encoding section 106. The output of the encoding unit 106 is encoded by an encoder that uses the correlation between frames and fields.

【００２１】次に復号化処理について説明する。図２は
本発明の実施例における復号化装置のブロック図を示す
ものである。図２において、２００は復号化されたデー
タ入力部であり、２０１は復号化データ入力部２００か
ら入力されたフィールドを一時記憶するフィールドメモ
リ、２０２はズーム係数入力部２０６から入力された、
ズーム係数を一時記憶するズーム係数メモリ部、２０３
はズーム係数メモリ部２０２のズーム係数に従って、フ
ィールドメモリ２０１のフィールドデータから、拡大画
像あるいは縮小画像を生成する拡大・縮小処理部であ
る。２０４はスイッチ部であり、係数メモリ部２０２か
らの基準フィールド制御信号により、フィールドメモリ
２０１から読みだした画像と拡大・縮小処理部２０３で
生成された画像を切り換えて出力する。Next, the decoding process will be described. FIG. 2 is a block diagram showing a decoding apparatus according to the embodiment of the present invention. In FIG. 2, reference numeral 200 denotes a decoded data input unit, 201 denotes a field memory that temporarily stores a field input from the decoded data input unit 200, 202 denotes a field input from the zoom coefficient input unit 206,
A zoom coefficient memory unit 203 for temporarily storing a zoom coefficient;
Reference numeral denotes an enlargement / reduction processing unit that generates an enlarged image or a reduced image from the field data in the field memory 201 in accordance with the zoom coefficient of the zoom coefficient memory unit 202. Reference numeral 204 denotes a switch unit, which switches and outputs an image read from the field memory 201 and an image generated by the enlargement / reduction processing unit 203 according to a reference field control signal from the coefficient memory unit 202.

【００２２】図５および図９を用いて図２のブロック図
の詳細な動作を説明する。図５におけるフィールド＃０
からフィールド＃３で構成されるフレーム群に対し、符
号化前処理時に生成された被符号化フィールドをそれぞ
れフィールド＃０’〜＃３’、符号化・復号化によって
得られた復号化フィールドをフィールド＃０’’〜＃
３’’、復号化フィールドに対し、復号化後処理で得ら
れたフィールドをフィールド＃０’’’〜＃３’’’と
する。The detailed operation of the block diagram of FIG. 2 will be described with reference to FIGS. Field # 0 in FIG.
To the frame group composed of the fields # 3 to # 3, the encoded fields generated in the pre-encoding process are represented by fields # 0 'to # 3', and the decoded fields obtained by the encoding / decoding are represented by the fields # 0 '' ~ #
3 ″, the fields obtained by the post-decoding processing for the decoded fields are fields # 0 ″ ′ to # 3 ″ ″.

【００２３】まず、復号化データとしてフィールド＃
０’’が復号化データ入力部２００から入力される。ズ
ーム係数メモリ部２０２にはズーム係数入力部２０６よ
り基準フィールド＃０のズーム係数 （（ａｈ００，ｂｈ００），（ａｖ００，ｂｖ００））
＝（（０，０），（０，０）） が入力される。ズーム係数メモリ部２０２は基準フィー
ルド制御信号をアサートし、スイッチ部２０４に与え
る。同じサイクルで復号化データ入力部２００から入力
されたデータはフィールドメモリ２０１に書き込まれ
る。次のサイクルでフィールドメモリ２０１からフィー
ルド＃０’’の画像を読みだしスイッチ部２０４では出
力画像２０５として、基準フィールド＃０’’を出力す
る。First, field # is used as decoded data.
0 ″ is input from the decryption data input unit 200. The zoom coefficient of the reference field # 0 is input to the zoom coefficient memory unit 202 from the zoom coefficient input unit 206 ((ah00, bh00), (av00, bv00)).
= ((0,0), (0,0)) is input. The zoom coefficient memory unit 202 asserts the reference field control signal and supplies the asserted reference field control signal to the switch unit 204. Data input from the decoded data input unit 200 in the same cycle is written to the field memory 201. In the next cycle, the image of field # 0 ″ is read from the field memory 201, and the switch unit 204 outputs the reference field # 0 ″ as the output image 205.

【００２４】また同一サイクルで復号化データ入力部２
００より、フィールド＃１’’が入力される。ズーム係
数メモリ部２０２にはズーム係数入力部２０６よりフィ
ールド＃１’’のズーム係数（（ａｈ０１，ｂｈ０
１），（ａｖ０１，ｂｖ０１））が入力される。ズーム
係数メモリ部２０２は基準フィールド制御信号をネゲー
トし、スイッチ部２０４に与える。In the same cycle, the decoded data input unit 2
00, field # 1 '' is input. The zoom coefficient ((ah01, bh0) of the field # 1 '' is input to the zoom coefficient memory unit 202 from the zoom coefficient input unit 206.
1), (av01, bv01)) are input. The zoom coefficient memory unit 202 negates the reference field control signal and supplies the same to the switch unit 204.

【００２５】フィールドメモリ２０１ではフィールド＃
１’’の書き込みを行う。拡大・縮小処理部２０３はズ
ーム係数メモリ部２０２から読みだしたフィールド＃
１’’のズーム係数（（ａｈ０１，ｂｈ０１），（ａｖ
０１，ｂｖ０１））と、フィールドメモリ２０１に一時
記憶した復号化データフィールド＃１’’より、拡大画
像を生成し、出力する。In the field memory 201, the field #
Write 1 ″. The enlargement / reduction processing unit 203 stores the field # read from the zoom coefficient memory unit 202.
1 '' zoom factor ((ah01, bh01), (av
01, bv01)) and the decoded data field # 1 '' temporarily stored in the field memory 201, and generates and outputs an enlarged image.

【００２６】図９に拡大画像を生成する様子を示す。図
９（ｃ）は復号化フィールドデータを表しており、斜線
部が符号化時にズーム係数による間引き処理によりデー
タの存在しない画素であり、この部分に関しては、基準
フィールドの同一位置の画素で置き換える、あるいは同
一フィールドの周辺画素から補間する等の処理により、
補間された画素である。図９（ｄ）はズーム係数によっ
て符号化前処理時に間引かれた画素位置に、画素を補間
することによって得られた復号化フィールド図９（ｃ）
の拡大画像である。図９（ｄ）において、画素０７、１
０、１１、１２、１３、１４、１５、１６、１７、１
８、１９、、２７、３７が周辺画素により補間された画
素である。FIG. 9 shows how an enlarged image is generated. FIG. 9C shows the decoded field data, in which the hatched portion is a pixel in which no data exists due to the thinning process by the zoom coefficient at the time of encoding, and this portion is replaced with a pixel at the same position in the reference field. Alternatively, by processing such as interpolation from peripheral pixels in the same field,
The interpolated pixel. FIG. 9D shows a decoded field obtained by interpolating a pixel at a pixel position thinned out at the time of pre-encoding by a zoom coefficient.
3 is an enlarged image of FIG. In FIG. 9D, pixels 07, 1
0, 11, 12, 13, 14, 15, 16, 17, 1
8, 19, 27 and 37 are pixels interpolated by peripheral pixels.

【００２７】このように、拡大・縮小処理部２０３にお
いて、復号化フィールド＃１’’の拡大画像フィールド
＃１’’’を生成する。スイッチ部２０４では出力画像
２０５として、拡大・縮小画像処理部２０３で生成され
たフィールド＃１’’’を出力する。フィールド＃
２’’以降についても同様に、基準フィールド＃０に対
する拡大画像フィールド＃２’’’、フィールド＃
３’’’が生成され、出力画像２０５として出力され
る。As described above, the enlargement / reduction processing unit 203 generates an enlarged image field # 1 ″ ′ of the decoded field # 1 ″. The switch unit 204 outputs the field # 1 ″ ″ generated by the enlarged / reduced image processing unit 203 as the output image 205. field#
Similarly, the enlarged image field # 2 ″ ′ with respect to the reference field # 0,
3 ″ ″ is generated and output as the output image 205.

【００２８】次に、縮小ズームの場合について図８およ
び図１０を用いて説明する。基本的には上記した拡大ズ
ームの場合と同様である。図８に縮小ズームの場合のズ
ーム係数と動きベクトルの関係図を示す。Next, the case of reduced zoom will be described with reference to FIGS. Basically, it is the same as in the case of the above-described enlarged zoom. FIG. 8 shows a relationship diagram between a zoom coefficient and a motion vector in the case of reduced zoom.

【００２９】図８（ａ）は基準フィールド（この場合は
フィールド＃０）に対する、対象フィールド（この場合
は、フィールド＃１）の動きベクトルを示す図である。
同図においてＨは水平方向、Ｖは垂直方向を示し、左上
が基準点であり、丸印○はズームの中心を示す。同図は
縮小ズームであるので動きベクトルはズームの中心から
外に向かって放射状にのびている。図８（ｂ）は、図８
（ａ）における水平方向の動きベクトルを一次関数で近
似した様子を示す。基準点より水平方向にｘ画素離れた
位置の動きベクトルＶｈ（ｘ）は水平方向のズーム係数
（ａｈ，ｂｈ）を用いて Ｖｈ（ｘ）＝ａｈ＊ｘ ＋ ｂｈ で表すことができる。FIG. 8A shows a motion vector of a target field (in this case, field # 1) with respect to a reference field (in this case, field # 0).
In the figure, H indicates the horizontal direction, V indicates the vertical direction, the upper left is the reference point, and the circle ○ indicates the center of the zoom. Since the figure shows a reduced zoom, the motion vector extends radially outward from the center of the zoom. FIG.
6A shows a state in which the horizontal motion vector in FIG. The motion vector Vh (x) at a position that is x pixels away from the reference point in the horizontal direction can be expressed as Vh (x) = ah * x + bh using the horizontal zoom coefficient (ah, bh).

【００３０】同様に図８（ｃ）は、図８（ａ）における
垂直方向の動きベクトルを一次関数で近似した様子を示
す。基準点より垂直方向にｙ画素離れた位置の動きベク
トルＶｖ（ｙ）は垂直方向のズーム係数（ａｖ，ｂｖ）
を用いて Ｖｖ（ｙ）＝ａｖ＊ｙ ＋ ｂｖ で表すことができる。このような基準フィールド＃０に
対する、フィールド＃１の動きベクトルより水平方向の
ズーム係数（ａｈ０１，ｂｈ０１）と垂直方向のズーム
係数（ａｖ０１，ｂｖ０１）を用いて拡大画像を生成す
る。Similarly, FIG. 8C shows a state in which the vertical motion vector in FIG. 8A is approximated by a linear function. The motion vector Vv (y) at a position away from the reference point by y pixels in the vertical direction is a vertical zoom coefficient (av, bv).
And Vv (y) = av * y + bv. For such a reference field # 0, an enlarged image is generated from the motion vector of the field # 1 using the horizontal zoom coefficients (ah01, bh01) and the vertical zoom coefficients (av01, bv01).

【００３１】図１０に拡大画像を生成する様子を示す。
図１０（ａ）は入力フィールドデータを表している。図
１０（ｂ）は補間後の画像である。同図において斜線部
は補間処理により生成された画素であり、この部分に関
しては、基準フィールドの同一位置の画素で置き換え
る、あるいは同一フィールドの周辺画素から補間する等
の処理により、以降の符号化効率の劣化を抑える処理を
行う必要がある。FIG. 10 shows how an enlarged image is generated.
FIG. 10A shows input field data. FIG. 10B is an image after interpolation. In the figure, hatched portions indicate pixels generated by the interpolation process, and this portion is replaced with a pixel at the same position in the reference field or interpolated from peripheral pixels in the same field to perform the subsequent coding efficiency. It is necessary to perform processing for suppressing the deterioration of.

【００３２】復号化時には、復号化データに対し、符号
化時に補間によって挿入した画素を間引く処理を行う。At the time of decoding, a process of thinning out the pixels inserted by interpolation at the time of encoding is performed on the decoded data.

【００３３】図１０（ｃ）は復号化フィールドデータを
表しており、斜線部が符号化前処理時にズーム係数によ
り挿入された画素であり、この部分に関しては、基準フ
ィールドの同一位置の画素で置き換える、あるいは同一
フィールドの周辺画素から補間する等の処理により、補
間された画素である。図１０（ｄ）はズーム係数によっ
て符号化時に挿入された画素を間引くことによって得ら
れた復号化フィールド図１０（ｃ）の縮小画像である。
斜線部分は間引き処理によりデータの存在しない画素で
ある。この部分に関しては、同一フィールドの周辺画素
から補間する等の処理により、画質劣化を抑える処理を
行う必要がある。FIG. 10C shows the decoded field data. The hatched portion is a pixel inserted by the zoom coefficient at the time of the pre-coding process, and this portion is replaced by a pixel at the same position in the reference field. Or a pixel interpolated by a process such as interpolation from neighboring pixels in the same field. FIG. 10D is a reduced image of the decoded field in FIG. 10C obtained by thinning out the pixels inserted at the time of encoding by the zoom coefficient.
The hatched portions are pixels for which no data exists due to the thinning process. For this part, it is necessary to perform processing for suppressing image quality degradation by processing such as interpolation from peripheral pixels in the same field.

【００３４】次に、上述した符号化前処理と復号化後処
理によって画質の劣化する様子について説明する。図１
１に拡大ズームの場合の符号化前処理および復号化後処
理の様子、図１２に縮小ズームの場合の符号化前処理お
よび復号化後処理の様子を示す。図１１（ａ）はフレー
ムを表しており、ａ０，ｂ０，ｃ０，ｄ０，ｅ０は偶数
フィールドのラインデータ、ａ１，ｂ１，ｃ１，ｄ１は
奇数フィールドのラインデータを示す。また、斜線部と
白抜き部はエッジの境界を示すものであるとする。この
とき、間引き処理により偶数フィールドのｂ０ラインを
間引き縮小画像を生成する。図１１（ｂ）にｂ０ライン
を間引いて得た被符号化画像を示す。図１１（ｃ）に間
引かれたｂ０ラインを周辺画素から補間して得た図１１
（ｂ）の拡大画像を示す。ｂ０’ラインが補間されたラ
インである。このようにフレームとして構成した場合、
ａ１ラインとｂ１ラインの間にｂ０’ラインのような新
たなエッジが生成される。Next, how the image quality is degraded by the above-described pre-encoding processing and post-decoding processing will be described. FIG.
1 shows a state of pre-encoding processing and post-decoding processing in the case of enlargement zoom, and FIG. 12 shows a state of pre-encoding processing and post-decoding processing in the case of reduction zoom. FIG. 11A shows a frame, in which a0, b0, c0, d0, and e0 show line data of an even field, and a1, b1, c1, and d1 show line data of an odd field. Further, it is assumed that the hatched portion and the white portion indicate the boundary of the edge. At this time, a reduced image is generated by thinning out the b0 line of the even field by the thinning processing. FIG. 11B shows an encoded image obtained by thinning out the b0 line. FIG. 11C obtained by interpolating the thinned b0 line from the peripheral pixels in FIG.
The enlarged image of (b) is shown. The b0 'line is the interpolated line. When configured as a frame like this,
A new edge such as the b0 ′ line is generated between the a1 line and the b1 line.

【００３５】次に、縮小ズーム時の処理について説明す
る。図１２（ａ）はフレームを表しており、ａ０，ｂ
０，ｃ０，ｄ０，ｅ０は偶数フィールドのラインデー
タ、ａ１，ｂ１，ｃ１，ｄ１は奇数フィールドのライン
データを示す。また、斜線部と白抜き部はエッジの境界
を示すものであるとする。このとき、補間による挿入処
理により偶数フィールドのｂ０ラインに画素を挿入し、
拡大画像を生成する。図１２（ｂ）に新たにｂ０’ライ
ンを挿入して得た被符号化画像を示す。図１２（ｃ）に
補間により挿入されたｂ０’ラインを間引いて得た図１
２（ｂ）の縮小画像を示す。この場合、拡大ズームのよ
うな問題は発生しない。一方、図１０（ｄ）に示すよう
に、画像の周辺部の画素が間引き処理により欠落する。
この場合、周辺の画素より補間する処理を行い、劣化を
より少なくする必要がある。Next, processing at the time of reduction zoom will be described. FIG. 12A shows a frame, and a0, b
0, c0, d0, and e0 indicate line data of an even field, and a1, b1, c1, and d1 indicate line data of an odd field. Further, it is assumed that the hatched portion and the white portion indicate the boundary of the edge. At this time, a pixel is inserted into the b0 line of the even field by an insertion process by interpolation,
Generate an enlarged image. FIG. 12B shows an encoded image obtained by inserting a new b0 ′ line. FIG. 1 obtained by thinning out the b0 ′ line inserted by interpolation in FIG.
2B shows a reduced image. In this case, a problem such as the enlargement zoom does not occur. On the other hand, as shown in FIG. 10D, pixels in the peripheral portion of the image are missing due to the thinning process.
In this case, it is necessary to perform a process of interpolating from peripheral pixels to further reduce deterioration.

【００３６】このように、拡大ズームの場合は、符号化
前処理および復号化後処理により、画質の劣化が画像の
中央付近にランダムに発生するのに対し、縮小ズームの
場合は周辺部に集中して発生するという特徴がある。視
覚的には、前者は許容しがたく、後者は補間法により許
容できる範囲にある。As described above, in the case of the enlarged zoom, the deterioration of the image quality occurs randomly near the center of the image due to the pre-encoding process and the post-decoding process, whereas in the case of the reduced zoom, it is concentrated in the peripheral portion. There is a feature that occurs. Visually, the former is unacceptable and the latter is in an acceptable range by interpolation.

【００３７】以下、本発明の他の実施例の画像符号化方
法について、図面を参照しながら説明する。図３は本発
明の他の実施例における画像符号化装置のブロック図を
示すものである。Hereinafter, an image encoding method according to another embodiment of the present invention will be described with reference to the drawings. FIG. 3 is a block diagram showing an image encoding apparatus according to another embodiment of the present invention.

【００３８】図３において、３００は画像入力部であ
り、フィールドデータが入力される。３０１は基準フィ
ールド決定部であり、同一フレーム群に属する入力フィ
ールドの内、最も拡大されたフィールドを基準フィール
ドにする。３０３〜３０６はそれぞれ、画像入力部３０
０から入力されたフィールドデータを一時記憶する１フ
ィールド分のメモリである。３０２はフィールドメモリ
３０３からフィールドメモリ３０６を制御するメモリ制
御部、３０７は動きベクトル検出部であり、基準となる
フィールドデータに対する動きベクトルを検出する。３
０８はズーム係数算出部であり、動きベクトル検出部３
０７で求めたベクトルより、ズーム係数を算出する。３
０９は拡大処理部であり、ズーム係数算出部３０８で求
めたズーム係数により、フィールドメモリ３０３から３
０６に記憶されたフィールドデータの拡大画像を生成
し、符号化部３１０に出力する。In FIG. 3, reference numeral 300 denotes an image input unit to which field data is input. Reference numeral 301 denotes a reference field determination unit, which sets the most enlarged field among input fields belonging to the same frame group as a reference field. 303 to 306 are image input units 30
This is a one-field memory for temporarily storing field data input from 0. Reference numeral 302 denotes a memory control unit for controlling the field memory 306 from the field memory 303, and reference numeral 307 denotes a motion vector detection unit, which detects a motion vector for reference field data. 3
Reference numeral 08 denotes a zoom coefficient calculation unit, and the motion vector detection unit 3
A zoom coefficient is calculated from the vector obtained in step 07. 3
Reference numeral 09 denotes an enlargement processing unit, which outputs 3 to 3 from the field memory 303 based on the zoom coefficient obtained by the zoom coefficient calculation unit 308.
An enlarged image of the field data stored in 06 is generated and output to the encoding unit 310.

【００３９】以下図６を用いて図３のブロック図の詳細
な動作を説明する。図６は２フレーム（４フィールド）
から構成されるフレーム群であり、フィールド＃０から
フィールド＃３で構成される。このフレーム群において
フィールド＃２が最大の拡大画像、すなわちフィールド
＃０からフィールド＃２まで拡大ズームであり、フィー
ルド＃２からフィールド＃３にかけては縮小ズームであ
る場合の処理について以下説明する。The detailed operation of the block diagram of FIG. 3 will be described below with reference to FIG. FIG. 6 shows two frames (four fields)
And a frame group composed of fields # 0 to # 3. A process in the case where the field # 2 in this frame group is the largest enlarged image, that is, the enlarged zoom from the field # 0 to the field # 2, and the reduced zoom from the field # 2 to the field # 3 will be described below.

【００４０】まず、入力画像として、フィールド＃０が
画像入力部３００より入力される。基準フィールド決定
部３０１では、基準フィールドをフィールド＃０として
フィールド＃０のデータを一時記憶する。この場合、フ
ィールド＃０のデータを全て記憶する必要はなく、代表
点のみを記憶してもよい（例えば、特開平２ー５６８９
号公報）。また、メモリ制御部３０２によりフィールド
＃０のデータをフィールドメモリ３０３に書き込む。次
にフィールド＃１が入力される。基準フィールド決定部
３０１では、基準フィールド＃０とフィールド＃１より
動きベクトルを検出し、このベクトル値によりズーム係
数 （（ａｈ０１，ｂｈ０１），（ａｖ０１，ｂｖ０１）） を得る。同時にフィールド＃１のデータをフィールドメ
モリ３０４に書き込む。First, a field # 0 is input from the image input unit 300 as an input image. The reference field determination unit 301 sets the reference field to field # 0 and temporarily stores the data in field # 0. In this case, it is not necessary to store all the data of the field # 0, and only the representative point may be stored (for example, see Japanese Patent Application Laid-Open No. Hei 2-5689).
No.). Further, the data of the field # 0 is written into the field memory 303 by the memory control unit 302. Next, field # 1 is input. The reference field determination unit 301 detects a motion vector from the reference fields # 0 and # 1, and obtains a zoom coefficient ((ah01, bh01), (av01, bv01)) from the vector value. At the same time, the data of the field # 1 is written into the field memory 304.

【００４１】フィールド＃２およびフィールド＃３につ
いても同様にズーム係数 （（ａｈ０２，ｂｈ０２），（ａｖ０２，ｂｖ０
２））、（（ａｈ０３，ｂｈ０３），（ａｖ０３，ｂｖ
０３）） を得ると同時に、フィールド＃２をフィールドメモリ３
０５に、フィールド＃３をフィールドメモリ３０６に書
き込む。このようにフィールド＃０を基準フィールドと
して各フィールドのズーム係数を求めることで、前記フ
レーム群における最大の拡大画像であるフィールド＃２
を決定し、基準フィールドとする。またこのサイクル
で、求まった基準フィールドをフィールド＃０とするフ
ィールド＃２のズーム係数（（ａｈ０２，ｂｈ０２），
（ａｖ０２，ｂｖ０２））より基準フィールドをフィー
ルド＃２とするフィールド＃０のズーム係数 （（ａｈ２０，ｂｈ２０），（ａｖ２０，ｂｖ２０））
を（（ａｈ２０，ｂｈ２０），（ａｖ２０，ｂｖ２
０））＝（−（ａｈ０２，ｂｈ０２），−（ａｖ０２，
ｂｖ０２）） よりズーム係数算出部３０８で求める。次のサイクルで
フィールドメモリ３０３よりフィールド＃０のデータを
読みだし、拡大処理部３０９により、ズーム係数 （（ａｈ２０，ｂｈ２０），（ａｖ２０，ｂｖ２０）） を用いて拡大画像を生成し、符号化部３１０に出力す
る。また同じサイクルで、画像入力部３００より次のフ
ィールドを入力し、フィールドメモリ３０３に書き込む
と同時に、基準フィールド決定部３０１に入力する。さ
らに同サイクルにおいてフィールドメモリ３０４よりフ
ィールド＃１を読みだし、動きベクトル検出部３０７で
動きベクトルを求め、係数算出部３０８で基準フィール
ドをフィールド＃２とするフィールド＃１のズーム係数 （（ａｈ２１，ｂｈ２１），（ａｖ２１，ｂｖ２１）） を算出する。Similarly, for the field # 2 and the field # 3, the zoom coefficients ((ah02, bh02), (av02, bv0)
2)), ((ah03, bh03), (av03, bv
03)), and at the same time, field # 2 is stored in the field memory 3
At 05, field # 3 is written to field memory 306. By calculating the zoom coefficient of each field using the field # 0 as a reference field, the field # 2, which is the largest enlarged image in the frame group, is obtained.
Is determined as a reference field. In this cycle, the zoom coefficient ((ah02, bh02),
From (av02, bv02)), the zoom coefficient of field # 0 with the reference field as field # 2 ((ah20, bh20), (av20, bv20))
To ((ah20, bh20), (av20, bv2
0)) = (− (ah02, bh02), − (av02,
bv02)) is determined by the zoom coefficient calculation unit 308. In the next cycle, the data of the field # 0 is read from the field memory 303, and the enlargement processing unit 309 generates an enlarged image by using the zoom coefficient ((ah20, bh20), (av20, bv20)). Output to 310. In the same cycle, the next field is input from the image input unit 300 and written into the field memory 303, and at the same time, is input to the reference field determination unit 301. Further, in the same cycle, the field # 1 is read from the field memory 304, a motion vector is obtained by the motion vector detecting unit 307, and the zoom coefficient ((ah21, bh21) of the field # 1 is set by the coefficient calculating unit 308 to the field # 2 as the reference field. ), (Av21, bv21)) are calculated.

【００４２】次のサイクルで、フィールドメモリ３０４
よりフィールド＃１のデータを読みだし、拡大処理部３
０９により、ズーム係数 （（ａｈ２１，ｂｈ２１），（ａｖ２１，ｂｖ２１）） を用いて拡大画像を生成し、符号化部３１０に出力す
る。また同じサイクルで、画像入力部３００より次のフ
ィールドを入力し、フィールドメモリ３０４に書き込む
と同時に、基準フィールド決定部３０１に入力する。こ
のように基準フィールドをフィールド＃２とした場合の
各フィールドの拡大画像を生成し被符号化データとして
符号化部３１０に順次出力する。In the next cycle, the field memory 304
Field # 1 data is read from the
In step 09, an enlarged image is generated using the zoom coefficient ((ah21, bh21), (av21, bv21)), and is output to the encoding unit 310. In the same cycle, the next field is input from the image input unit 300 and written into the field memory 304, and at the same time, is input to the reference field determination unit 301. In this way, an enlarged image of each field when the reference field is the field # 2 is generated and sequentially output to the encoding unit 310 as encoded data.

【００４３】次に復号化処理について説明する。図４は
本発明の実施例における復号化装置のブロック図を示す
ものである。図４において、４００は復号化されたデー
タ入力部であり、４０１は復号化データ入力部４００か
ら入力されたフィールドを一時記憶するフィールドメモ
リ、４０２はズーム係数入力部４０６から入力された、
ズーム係数を一時記憶するズーム係数メモリ部、４０３
はズーム係数メモリ部４０２のズーム係数に従って、フ
ィールドメモリ４０１のフィールドデータから、縮小画
像を生成する縮小処理部である。４０４はスイッチ部で
あり、係数メモリ部４０２からの基準フィールド制御信
号により、フィールドメモリ４０１から読みだした画像
と縮小処理部４０３で生成された画像を切り換えて出力
する。Next, the decoding process will be described. FIG. 4 is a block diagram showing a decoding apparatus according to the embodiment of the present invention. In FIG. 4, reference numeral 400 denotes a decoded data input unit, 401 denotes a field memory for temporarily storing a field input from the decoded data input unit 400, and 402 denotes a field input from the zoom coefficient input unit 406.
A zoom coefficient memory unit 403 for temporarily storing a zoom coefficient
A reduction processing unit generates a reduced image from field data in the field memory 401 in accordance with the zoom coefficient of the zoom coefficient memory unit 402. A switch unit 404 switches between an image read from the field memory 401 and an image generated by the reduction processing unit 403 according to a reference field control signal from the coefficient memory unit 402 and outputs the image.

【００４４】以下図６を用いて図４のブロック図の詳細
な動作を説明する。図６におけるフィールド＃０からフ
ィールド＃３で構成されるフレーム群に対し、符号化前
処理時に生成された被符号化フィールドをそれぞれフィ
ールド＃０’〜＃３’、符号化・復号化によって得られ
た復号化フィールドをフィールド＃０’’〜＃３’’と
し、復号化フィールドに対し、復号化後処理で得られた
フィールドをフィールド＃０’’’〜＃３’’’とす
る。The detailed operation of the block diagram of FIG. 4 will be described below with reference to FIG. For the frame group composed of fields # 0 to # 3 in FIG. 6, the encoded fields generated during the pre-encoding process are obtained by encoding and decoding fields # 0 'to # 3', respectively. The decoded fields are fields # 0 ″ to # 3 ″, and the fields obtained by the post-decoding processing for the decoded fields are fields # 0 ′ ″ to # 3 ′ ″.

【００４５】まず、復号化データとしてフィールド＃
０’’が復号化データ入力部４００から入力される。ズ
ーム係数メモリ部４０２にはズーム係数入力部４０６よ
り基準となるフィールド＃２のズーム係数 （（ａｈ２０，ｂｈ２０），（ａｖ２０，ｂｖ２０）） が入力される。ズーム係数メモリ部４０２は基準フィー
ルド制御信号をネゲートし、スイッチ部４０４に与える
と同時に、フィールドメモリ４０１に入力フィールド＃
０’’の書き込みを行う。次のサイクルで、縮小処理部
４０３はズーム係数メモリ部４０２から読みだしたフィ
ールド＃０’’のズーム係数 （（ａｈ２０，ｂｈ２０），（ａｖ２０，ｂｖ２０）） と、フィールドメモリ４０１に一時記憶した復号化デー
タフィールド＃０’’より、縮小画像を生成し、出力す
る。また、スイッチ部４０４では出力画像４０５とし
て、縮小処理部４０３で生成された画像を出力する。First, field # is used as decrypted data.
0 ″ is input from the decoded data input unit 400. The zoom factor memory unit 402 receives the zoom factor ((ah20, bh20), (av20, bv20)) of the field # 2 as a reference from the zoom factor input unit 406. The zoom coefficient memory unit 402 negates the reference field control signal and supplies the negated reference field control signal to the switch unit 404.
Write 0 ″. In the next cycle, the reduction processing unit 403 reads the zoom coefficient ((ah20, bh20), (av20, bv20)) of the field # 0 ″ read from the zoom coefficient memory unit 402, and decodes the data temporarily stored in the field memory 401. A reduced image is generated and output from the encrypted data field # 0 ''. The switch unit 404 outputs the image generated by the reduction processing unit 403 as the output image 405.

【００４６】次に復号化データ入力部４００より、フィ
ールド＃１’’が入力され、フィールドメモリ４０１に
フィールド＃１’’の書き込みを行う。ズーム係数メモ
リ部４０２にはズーム係数入力部４０６よりフィールド
＃１’’のズーム係数 （（ａｈ２１，ｂｈ２１），（ａｖ２１，ｂｖ２１）） が入力される。次のサイクルで、縮小処理部４０３はズ
ーム係数メモリ部４０２から読みだしたフィールド＃
１’’のズーム係数 （（ａｈ２１，ｂｈ２１），（ａｖ２１，ｂｖ２１）） と、フィールドメモリ４０１に一時記憶した復号化デー
タフィールド＃１’’より、縮小画像を生成し、出力す
る。このように、基準フィールドに対する各フィールド
のズーム係数より縮小画像を生成し出力する。Next, field # 1 ″ is input from the decoded data input section 400, and field # 1 ″ is written into the field memory 401. The zoom coefficient memory unit 402 receives the zoom coefficient ((ah21, bh21), (av21, bv21)) of the field # 1 '' from the zoom coefficient input unit 406. In the next cycle, the reduction processing unit 403 reads the field # read from the zoom coefficient memory unit 402.
A reduced image is generated and output from the zoom coefficient ((ah21, bh21), (av21, bv21)) of 1 ″ and the decoded data field # 1 ″ temporarily stored in the field memory 401. In this manner, a reduced image is generated and output from the zoom coefficient of each field with respect to the reference field.

【００４７】このように復号化時には、復号化データに
対し、符号化前処理時に補間によって挿入した画素を間
引く処理を行う。As described above, at the time of decoding, a process of thinning out the pixels inserted by interpolation during the pre-encoding process is performed on the decoded data.

【００４８】図１０（ｃ）は復号化フィールドデータを
表しており、斜線部が符号化時にズーム係数により挿入
された画素であり、この部分に関しては、基準フィール
ドの同一位置の画素で置き換える、あるいは同一フィー
ルドの周辺画素から補間する等の処理により、補間され
た画素である。同図において斜線部が復号化後処理で間
引く画素である。図１０（ｄ）はズーム係数によって符
号化時に挿入された画素を間引くことによって得られた
復号化フィールド図１０（ｃ）の縮小画像である。斜線
部分は間引き処理によりデータの存在しない画素であ
る。この部分に関しては、同一フィールドの周辺画素か
ら補間する等の処理により、画質劣化を抑える処理を縮
小処理部４０３で行う。FIG. 10C shows the decoded field data, in which the hatched portion is a pixel inserted by the zoom coefficient at the time of encoding, and this portion is replaced by a pixel at the same position in the reference field, or Pixels interpolated by processing such as interpolation from peripheral pixels in the same field. In the figure, hatched portions are pixels to be thinned out in post-decoding processing. FIG. 10D is a reduced image of the decoded field in FIG. 10C obtained by thinning out the pixels inserted at the time of encoding by the zoom coefficient. The hatched portions are pixels for which no data exists due to the thinning process. With respect to this part, the reduction processing unit 403 performs processing of suppressing image quality degradation by processing such as interpolation from peripheral pixels in the same field.

【００４９】[0049]

【発明の効果】以上、説明したように本発明によれば （１）画像のフレーム間、或はフィールド間の相関を利
用する符号化方法において、画像系列中にズーミングに
よる拡大・縮小された画像が存在する場合、同一フレー
ム群に属する各入力フィールドの基準フィールドに対す
る動きベクトルを検出し、前記動きベクトルを用い、各
入力フィールドの拡大・縮小画像を生成し、該拡大・縮
小画像を被符号化フィールドとすることで、同一フレー
ム群における被符号化フレームおよび被符号化フィール
ド間の相関がより強くなり、符号化効率をより向上させ
ることができる。 （２）同一フレーム群に属する全ての被符号化フィール
ドが各入力フィールドの拡大画像となる基準フィールド
を設定し、画素を補間することで各入力フィールドの拡
大画像を生成し、該拡大画像を被符号化フィールドとす
ることで、復号化処理で得られた既復号フィールドにお
いて、前記符号化前処理で補間した画素を間引くことで
縮小画像を生成するので、前記復号化後処理による画質
の劣化を画像の周辺部のみに抑えることができる。As described above, according to the present invention, according to the present invention, (1) In an encoding method utilizing correlation between frames or between fields of an image, an image enlarged or reduced by zooming in an image sequence Exists, a motion vector of each input field belonging to the same frame group with respect to a reference field is detected, and an enlarged / reduced image of each input field is generated using the motion vector, and the enlarged / reduced image is encoded. By using the field, the correlation between the coded frame and the coded field in the same frame group becomes stronger, and the coding efficiency can be further improved. (2) A reference field in which all the encoded fields belonging to the same frame group are enlarged images of each input field is set, and an enlarged image of each input field is generated by interpolating pixels. By using the encoded field, a reduced image is generated by thinning out the pixels interpolated in the pre-encoding process in the already-decoded field obtained in the decoding process. It can be suppressed only to the peripheral part of the image.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の一実施例における符号化装置のブロッ
ク図FIG. 1 is a block diagram of an encoding device according to an embodiment of the present invention.

【図２】本発明の一実施例における復号化装置のブロッ
ク図FIG. 2 is a block diagram of a decoding device according to an embodiment of the present invention.

【図３】本発明の一実施例における符号化装置のブロッ
ク図FIG. 3 is a block diagram of an encoding device according to an embodiment of the present invention.

【図４】本発明の実施例における復号化装置のブロック
図FIG. 4 is a block diagram of a decoding device according to an embodiment of the present invention.

【図５】同一フレーム群に属するフィールドデータの様
子を示す図FIG. 5 is a diagram showing a state of field data belonging to the same frame group;

【図６】同一フレーム群に属するフィールドデータの様
子を示す図FIG. 6 is a diagram showing a state of field data belonging to the same frame group;

【図７】ズーム係数と動きベクトルの関係を示す図FIG. 7 is a diagram illustrating a relationship between a zoom coefficient and a motion vector.

【図８】ズーム係数と動きベクトルの関係を示す図FIG. 8 is a diagram showing a relationship between a zoom coefficient and a motion vector.

【図９】拡大ズーム時の符号化前処理と復号化後処理に
よるフィールドデータの様子を示す図FIG. 9 is a diagram showing a state of field data by a pre-encoding process and a post-decoding process at the time of enlarged zoom.

【図１０】縮小ズーム時の符号化前処理と復号化後処理
によるフィールドデータの様子を示す図FIG. 10 is a diagram showing a state of field data by a pre-encoding process and a post-decoding process at the time of reduction zoom.

【図１１】拡大ズーム時の符号化前処理と復号化後処理
によるフレームデータの様子を示す図FIG. 11 is a diagram showing a state of frame data by a pre-encoding process and a post-decoding process at the time of enlarged zoom.

【図１２】縮小ズーム時の符号化前処理と復号化後処理
によるフレームデータの様子を示す図FIG. 12 is a diagram illustrating a state of frame data by a pre-encoding process and a post-decoding process at the time of reduction zoom;

【図１３】従来の符号化装置のブロック図FIG. 13 is a block diagram of a conventional encoding device.

【符号の説明】[Explanation of symbols]

１００ 画像入力部 １０１ 動きベクトル検出部 １０２ ズーム係数算出部 １０３ フィールドメモリ １０４ 拡大・縮小処理部 １０５ スイッチ部 １０６ 符号化部 Reference Signs List 100 Image input unit 101 Motion vector detection unit 102 Zoom coefficient calculation unit 103 Field memory 104 Enlargement / reduction processing unit 105 Switch unit 106 Encoding unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 豊彦 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平４−84588（ＪＰ，Ａ) 特開 平３−49373（ＪＰ，Ａ) 特開 平４−10788（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/24 - 7/68 ────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Toyohiko Matsuda 1006 Kazuma Kadoma, Kadoma City, Osaka Inside Matsushita Electric Industrial Co., Ltd. (56) References JP-A-4-84588 (JP, A) JP-A-3-3 49373 (JP, A) JP-A-4-10788 (JP, A) (58) Fields investigated (Int. Cl. ⁶ , DB name) H04N ^7/ 24-7/68

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】画像のフレーム間、或はフィールド間の相
関を利用する符号化方法において、画像系列中にズーミ
ングによる拡大・縮小された画像が存在する場合、ｎ個
のフレーム（ｎ：自然数）から構成されるフレーム群を
形成し、前記フレーム群に属する各入力フィールドに対
し、第ｍフィールド（ｍ：０≦ｍ≦２ｎ−１、整数）を
基準フィールドとし、前記基準フィールドに対する各入
力フィールドの動きベクトルを検出し、前記動きベクト
ルを用い、各入力フィールドの拡大・縮小画像を生成
し、該拡大・縮小画像を被符号化フィールド（符号化処
理における入力画像）とすることを特徴とする画像符号
化方法。In an encoding method utilizing correlation between frames of an image or between fields, if there is an image enlarged or reduced by zooming in an image sequence, n frames (n: natural number) , And for each input field belonging to the frame group, the m-th field (m: 0 ≦ m ≦ 2n−1, an integer) is used as a reference field. An image characterized by detecting a motion vector, generating an enlarged / reduced image of each input field using the motion vector, and using the enlarged / reduced image as a field to be coded (input image in the encoding process). Encoding method. 【請求項２】同一フレーム群に属する全ての被符号化フ
ィールドが各入力フィールドの拡大画像となる基準フィ
ールドを設定し、前記基準フィールドに対する各フィー
ルドの動きベクトルを用い、各入力フィールドの拡大画
像を生成し、該拡大画像を被符号化フィールドとするこ
とを特徴とする請求項１記載の画像符号化方法。2. A reference field in which all encoded fields belonging to the same frame group are enlarged images of each input field, and an enlarged image of each input field is formed using a motion vector of each field with respect to the reference field. 2. The image encoding method according to claim 1, wherein the enlarged image is generated as an encoded field.