JP2897579B2 - Image coding method - Google Patents
Image coding methodInfo
- Publication number
- JP2897579B2 JP2897579B2 JP3160193A JP3160193A JP2897579B2 JP 2897579 B2 JP2897579 B2 JP 2897579B2 JP 3160193 A JP3160193 A JP 3160193A JP 3160193 A JP3160193 A JP 3160193A JP 2897579 B2 JP2897579 B2 JP 2897579B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- image
- zoom
- enlarged
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は画像符号化方法に係り、
特に動画像等のフレーム間および、フィールド間の相関
を利用する符号化において、画像系列中にズーム等によ
り、拡大・縮小された画像が存在する場合に効率的な、
画像符号化方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image encoding method,
In particular, in encoding using the correlation between frames such as moving images, and between fields, efficient when there is an image that has been enlarged or reduced by a zoom or the like in an image sequence,
The present invention relates to an image encoding method.
【0002】[0002]
【従来の技術】動画像の符号化方法として、フレーム
間、或はフィールド間の和および差分画像に対し、N×
M個(サイズ8×8)のブロックに分割し、前記ブロッ
クのデータに対し、直交変換(例えばDCT:離散コサ
イン変換)等の変換を施し、得られた変換係数に対し、
量子化を行い、符号化を行う方法がある。図13に従来
の符号化装置のブロック図を示す。以下、従来の符号化
装置について図13を用いて説明する。2. Description of the Related Art As a moving image encoding method, a sum and difference image between frames or between fields is calculated by N ×
The data is divided into M (8 × 8) blocks, and the data of the blocks are subjected to a transform such as an orthogonal transform (for example, DCT: discrete cosine transform).
There is a method of performing quantization and coding. FIG. 13 shows a block diagram of a conventional encoding device. Hereinafter, a conventional encoding apparatus will be described with reference to FIG.
【0003】図13において、1300は画像入力部、130
1、1302はそれぞれ1フレーム分の画像データを一時記
憶するフレームメモリであり、画像入力部1300から入力
された画像データの第1フレームはフレームメモリ1301
に、第2フレームは1302に記憶される。1303は加算器で
あり、フレームメモリ1301に記憶されている画像データ
と、フレームメモリ1302に記憶されている画像データの
加算結果を求める。1304は減算器であり、フレームメモ
リ1302に記憶されている画像データと、フレームメモリ
1302に記憶されている画像データの差分値を求める。13
05はセレクタであり、加算器1303と減算器1304の出力を
切り換える。1306はDCT部(離散コサイン変換)であ
り、セレクタ1305からの出力に対し、N×M個(サイズ
8×8)のブロックに分割し、DCTを施す。1307は量
子化部であり、DCT部1306でDCTされたブロックに
対し量子化処理を行う。1308は可変長符号化部であり、
量子化部1307の出力に対し、エントロピー符号化を行
う。In FIG. 13, reference numeral 1300 denotes an image input unit;
Reference numerals 1 and 1302 denote frame memories for temporarily storing one frame of image data. The first frame of the image data input from the image input unit 1300 is a frame memory 1301.
The second frame is stored in 1302. Reference numeral 1303 denotes an adder, which obtains an addition result of the image data stored in the frame memory 1301 and the image data stored in the frame memory 1302. Reference numeral 1304 denotes a subtractor, which stores image data stored in a frame memory 1302 and a frame memory.
A difference value of the image data stored in 1302 is obtained. 13
05 is a selector, which switches the output of the adder 1303 and the output of the subtractor 1304. Reference numeral 1306 denotes a DCT unit (discrete cosine transform), which divides the output from the selector 1305 into N × M (size 8 × 8) blocks and performs DCT. Reference numeral 1307 denotes a quantization unit that performs a quantization process on the block DCT processed by the DCT unit 1306. 1308 is a variable length coding unit,
Entropy coding is performed on the output of the quantization unit 1307.
【0004】[0004]
【発明が解決しようとする課題】しかしながら、上記従
来の符号化方法では、 (1)画像系列中にズーミングにより拡大・縮小された
画像が存在する場合、画像全体にわたってフレームおよ
びフィールド間の相関が低くなり、符号化効率が低下す
る。 (2)画像系列中にズーミングにより、基準フィールド
に対し拡大された画像が存在する場合、符号化前処理と
して画素を間引くことにより縮小画像を生成し被符号化
フィールドとし、復号化時には復号化によって得られた
既復号化フィールドに対し、復号化後処理として符号化
前処理で間引いた画素を補間し、既復号化フィールドの
拡大画像を生成するため、前記復号化後処理の補間処理
により画像の中心部に劣化が生じる。 という問題点を有していた。However, in the above-mentioned conventional encoding method, (1) when there is an image enlarged or reduced by zooming in an image sequence, the correlation between frames and fields is low over the entire image. And the coding efficiency decreases. (2) When there is an image enlarged with respect to the reference field due to zooming in the image sequence, a reduced image is generated by thinning out pixels as a pre-encoding process and used as a field to be encoded. The obtained decoded field is interpolated with the pixels decimated in the pre-coding process as the post-decoding process to generate an enlarged image of the decoded field. Deterioration occurs at the center. There was a problem that.
【0005】本発明はかかる点に鑑み、動画像等のフレ
ーム間およびフィールド間の相関を利用する符号化にお
いて、特にズーミングによる画像の拡大・縮小が存在す
る場合、符号化処理対象のフレーム間およびフィールド
間の相関を高めるとともに、拡大ズームの場合でも再生
時に画像の中心部の劣化を抑え、符号化効率を向上させ
ることを目的としている。In view of the foregoing, the present invention has been made in consideration of the above-described problems in encoding using correlation between frames and between fields of a moving image, especially when there is an enlargement / reduction of an image due to zooming. It is an object of the present invention to increase the correlation between fields, suppress deterioration of the center of an image during reproduction even in the case of enlarged zoom, and improve coding efficiency.
【0006】[0006]
【課題を解決するための手段】かかる点に鑑み、第1の
発明は、画像系列中にズーミングによる画像の拡大・縮
小が存在する場合、n個のフレームから構成される同一
のフレーム群に属する各入力フィールドに対し、1つの
基準フィールドを設定し、前記基準フィールドに対する
各フィールドの動きベクトルを検出し、前記動きベクト
ルを用い、各入力フィールドの拡大・縮小画像を生成
し、該拡大・縮小画像を被符号化フィールドとすること
を特徴とする。In view of the above, according to a first aspect of the present invention, when an image is enlarged or reduced by zooming in an image sequence, the image belongs to the same frame group composed of n frames. One reference field is set for each input field, a motion vector of each field with respect to the reference field is detected, and an enlarged / reduced image of each input field is generated using the motion vector. Is a field to be encoded.
【0007】また、第2の発明は、基準フィールドの決
定法として、同一フレーム群に属する全ての被符号化フ
ィールドが各入力フィールドの拡大画像となる基準フィ
ールドを設定し、前記基準フィールドに対する各フィー
ルドの動きベクトルを用い、各入力フィールドの拡大画
像を生成し、該拡大画像を被符号化フィールドとするこ
とを特徴とする。According to a second aspect of the present invention, as a method of determining a reference field, a reference field is set such that all encoded fields belonging to the same frame group are enlarged images of each input field, and each field corresponding to the reference field is set. , An enlarged image of each input field is generated, and the enlarged image is used as a field to be encoded.
【0008】[0008]
【作用】上記した構成により、第1の発明によれば、画
像系列中にズーミングによる拡大・縮小された画像が存
在する場合、同一フレーム群に属する各入力フィールド
の基準フィールドに対する動きベクトルを検出し、前記
動きベクトルを用い、各入力フィールドの拡大・縮小画
像を生成し、該拡大・縮小画像を被符号化フィールドと
することで、同一フレーム群における被符号化フレーム
および被符号化フィールド間の相関がより強くなる。According to the first aspect of the present invention, when there is an image enlarged or reduced by zooming in an image sequence, a motion vector with respect to a reference field of each input field belonging to the same frame group is detected. By using the motion vector, an enlarged / reduced image of each input field is generated, and the enlarged / reduced image is used as a coded field, so that the correlation between the coded frame and the coded field in the same frame group is obtained. Becomes stronger.
【0009】また、第2の発明によれば、同一フレーム
群に属する全ての被符号化フィールドが各入力フィール
ドの拡大画像となる基準フィールドを設定するので、前
記基準フィールドに対する各フィールドの動きベクトル
を用い、画素を補間することで各入力フィールドの拡大
画像を生成し、該拡大画像を被符号化フィールドとする
符号化前処理と、復号化処理で得られた既復号フィール
ドと前記動きベクトルにより、前記符号化前処理で補間
した画素を間引くことで縮小画像を生成する復号化後処
理により、前記復号化後処理による画質の劣化を画像の
周辺部のみに抑えることができる。According to the second aspect of the present invention, since all encoded fields belonging to the same frame group set a reference field that is an enlarged image of each input field, a motion vector of each field with respect to the reference field is determined. Use, to generate an enlarged image of each input field by interpolating the pixels, pre-encoding processing with the enlarged image as a field to be encoded, and the already decoded field and the motion vector obtained in the decoding process, By the post-decoding process of generating a reduced image by thinning out the pixels interpolated in the pre-coding process, the deterioration of the image quality due to the post-decoding process can be suppressed to only the peripheral part of the image.
【0010】[0010]
【実施例】以下、本発明の一実施例の画像符号化方法に
ついて、図面を参照しながら説明する。図1は本発明の
実施例における画像符号化装置のブロック図を示すもの
である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An image coding method according to an embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing an image encoding apparatus according to an embodiment of the present invention.
【0011】図1において、100は画像入力部であ
り、フィールドデータが入力される。101は動きベク
トル検出部であり、基準となるフィールドデータに対す
る動きベクトルを検出する。102はズーム係数算出部
であり、動きベクトル検出部101で求めたベクトルよ
り、ズーム係数を算出する。103はフィールドメモリ
であり、画像入力部100から入力されたフィールドデ
ータを一時記憶する1フィールド分のメモリである。1
04は拡大・縮小処理部であり、ズーム係数算出部10
2で求めたズーム係数により、フィールドメモリ103
に記憶されたフィールドデータの拡大画像あるいは縮小
画像を生成する。105はスイッチ部であり、基準フィ
ールド制御信号107によりフィールドメモリ103か
ら読みだしたフィールドデータと、拡大・縮小画像処理
部104により生成された拡大画像あるいは縮小画像を
切り換えて符号化部106に出力する。In FIG. 1, reference numeral 100 denotes an image input unit to which field data is input. Reference numeral 101 denotes a motion vector detection unit which detects a motion vector corresponding to reference field data. A zoom coefficient calculation unit 102 calculates a zoom coefficient from the vector obtained by the motion vector detection unit 101. Reference numeral 103 denotes a field memory, which is a memory for one field that temporarily stores field data input from the image input unit 100. 1
Reference numeral 04 denotes an enlargement / reduction processing unit, and a zoom coefficient calculation unit 10
According to the zoom coefficient obtained in step 2, the field memory 103
To generate an enlarged image or reduced image of the field data stored in. A switch unit 105 switches between field data read from the field memory 103 by the reference field control signal 107 and an enlarged image or a reduced image generated by the enlarged / reduced image processing unit 104 and outputs the switched image to the encoding unit 106. .
【0012】図5、図7および図9を用いて図1のブロ
ック図の詳細な動作を説明する。図5は2フレーム(4
フィールド)から構成されるフレーム群であり、フィー
ルド#0からフィールド#3で構成される。このフレー
ム群においてフィールド#0を基準フィールドとした場
合の処理について以下説明する。また、条件としてこの
場合、拡大ズームであるとする。The detailed operation of the block diagram of FIG. 1 will be described with reference to FIGS. 5, 7 and 9. FIG. 5 shows two frames (4
Field), and is composed of fields # 0 to # 3. Processing when field # 0 is used as a reference field in this frame group will be described below. In this case, it is assumed that the zoom is an enlarged zoom in this case.
【0013】まず、入力画像として、基準フィールド#
0が画像入力部100より入力される。このとき基準フ
ィールド制御信号107はアサートされる。動きベクト
ル検出部101では、基準フィールド制御信号107が
アサートされているので、基準フィールド#0のデータ
を一時記憶する。この場合、基準フィールド#0のデー
タを全て記憶する必要はなく、代表点のみを記憶しても
よい(例えば、特開平2ー5689号公報)。また、同
じサイクルで基準フィールド#0のデータをフィールド
メモリ103に書き込む。次のサイクルでスイッチ部1
05では基準フィールド制御信号107により、フィー
ルドメモリ103から読みだされた基準フィールド#0
が選択され、符号化部106に出力される。First, as an input image, a reference field #
0 is input from the image input unit 100. At this time, the reference field control signal 107 is asserted. Since the reference field control signal 107 is asserted, the motion vector detection unit 101 temporarily stores the data of the reference field # 0. In this case, it is not necessary to store all the data of the reference field # 0, and only the representative point may be stored (for example, JP-A-2-5689). The data of the reference field # 0 is written to the field memory 103 in the same cycle. Switch part 1 in the next cycle
05, the reference field control signal 107 causes the reference field # 0 read from the field memory 103 to be read.
Is selected and output to encoding section 106.
【0014】また同じサイクルで画像入力部100より
フィールド#1が入力される。動きベクトル検出部10
1では、基準フィールド#0とフィールド#1より動き
ベクトルを検出し、このベクトル値により、ズーム係数
算出部102で基準フィールド#0に対するフィールド
#1のズーム係数を算出する。In the same cycle, field # 1 is input from image input unit 100. Motion vector detection unit 10
In step 1, a motion vector is detected from the reference field # 0 and the field # 1, and the zoom coefficient calculation unit 102 calculates a zoom coefficient of the field # 1 with respect to the reference field # 0 based on the vector value.
【0015】図7にズーム係数と動きベクトルの関係図
を示す。図7(a)は基準フィールド(この場合はフィ
ールド#0)に対する、対象フィールド(この場合は、
フィールド#1)の動きベクトルを示す図である。同図
においてHは水平方向、Vは垂直方向を示し、左上が基
準点であり、丸印○はズームの中心を示す。同図は拡大
ズームであるので、動きベクトルはズームの中心に向か
って放射状にのびている。図7(b)は、図7(a)に
おける水平方向の動きベクトルを一次関数で近似した様
子を示す。基準点より水平方向にx画素離れた位置の動
きベクトルVh(x)は水平方向のズーム係数(ah,
bh)を用いて Vh(x)=ah*x + bh で表すことができる。同様に図7(c)は、図7(a)
における垂直方向の動きベクトルを一次関数で近似した
様子を示す。基準点より垂直方向にy画素離れた位置の
動きベクトルVv(y)は垂直方向のズーム係数(a
v,bv)を用いて Vv(y)=av*y + bv で表すことができる。FIG. 7 shows the relationship between the zoom coefficient and the motion vector. FIG. 7A shows a target field (in this case, a reference field (field # 0 in this case))
It is a figure showing the motion vector of field # 1). In the figure, H indicates the horizontal direction, V indicates the vertical direction, the upper left is the reference point, and the circle ○ indicates the center of the zoom. Since the figure is an enlarged zoom, the motion vector extends radially toward the center of the zoom. FIG. 7B illustrates a state in which the horizontal motion vector in FIG. 7A is approximated by a linear function. The motion vector Vh (x) at a position that is x pixels away from the reference point in the horizontal direction is a horizontal zoom coefficient (ah,
bh), it can be expressed as Vh (x) = ah * x + bh. Similarly, FIG. 7 (c) is similar to FIG.
5 shows a state in which the vertical motion vector in is approximated by a linear function. The motion vector Vv (y) at a position y pixels away from the reference point in the vertical direction is a vertical zoom factor (a
Vv (y) = av * y + bv using (v, bv).
【0016】このように、基準フィールド#0に対す
る、フィールド#1の動きベクトルより水平方向のズー
ム係数(ah01,bh01)と垂直方向のズーム係数
(av01,bv01)を、ズーム係数算出部102で
算出する。As described above, the zoom coefficient calculating section 102 calculates the horizontal zoom coefficients (ah01, bh01) and the vertical zoom coefficients (av01, bv01) from the motion vector of the field # 1 with respect to the reference field # 0. I do.
【0017】次に拡大・縮小処理部104において、フ
ィールドメモリ103に一時記憶しているフィールド#
1のデータとズーム係数算出部102で算出したズーム
係数((ah01,bh01),(av01,bv0
1))より拡大あるいは縮小画像を生成する。この場合
は拡大ズームであるので、縮小画像を生成する。Next, in the enlargement / reduction processing unit 104, the field # temporarily stored in the field memory 103
1 and the zoom coefficients ((ah01, bh01), (av01, bv0) calculated by the zoom coefficient calculation unit 102.
1) Generate an enlarged or reduced image from the above. In this case, since the zoom is enlarged, a reduced image is generated.
【0018】図9に縮小画像を生成する様子を示す。図
9(a)はフィールドデータを表しており、斜線部がズ
ーム係数によって間引かれる画素である。図9(b)は
間引き処理後の画像である。同図において、斜線部は間
引き処理によりデータの存在しない画素であり、この部
分に関しては、基準フィールドの同一位置の画素で置き
換える、あるいは同一フィールドの周辺画素から補間す
る等の処理により、以降の符号化効率の劣化を抑える処
理を行う必要がある。FIG. 9 shows how a reduced image is generated. FIG. 9A shows the field data, and the hatched portion is a pixel to be thinned out by the zoom coefficient. FIG. 9B is an image after the thinning processing. In the figure, hatched portions indicate pixels for which no data exists due to the thinning process, and this portion is replaced by a pixel at the same position in the reference field or interpolated from peripheral pixels in the same field. It is necessary to perform processing for suppressing the deterioration of the conversion efficiency.
【0019】このように、拡大・縮小処理部104にお
いて、フィールド#1の縮小画像フィールド#1’を生
成する。スイッチ部105では、基準フィールド制御信
号107はネゲートされているので、拡大・縮小処理部
104の出力が選択され、被符号化フィールド#1’が
符号化部106に出力される。As described above, the enlargement / reduction processing unit 104 generates the reduced image field # 1 'of the field # 1. In the switch unit 105, since the reference field control signal 107 is negated, the output of the enlargement / reduction processing unit 104 is selected, and the encoded field # 1 'is output to the encoding unit 106.
【0020】フィールド#2以降についても同様に、基
準フィールド#0に対する縮小画像フィールド#2’、
フィールド#3’が生成され、符号化部106に出力さ
れる。符号化部106の出力は、フレームおよびフィー
ルド間の相関を利用する符号化器によって符号化され
る。Similarly, for fields # 2 and thereafter, reduced image fields # 2 ',
Field # 3 ′ is generated and output to encoding section 106. The output of the encoding unit 106 is encoded by an encoder that uses the correlation between frames and fields.
【0021】次に復号化処理について説明する。図2は
本発明の実施例における復号化装置のブロック図を示す
ものである。図2において、200は復号化されたデー
タ入力部であり、201は復号化データ入力部200か
ら入力されたフィールドを一時記憶するフィールドメモ
リ、202はズーム係数入力部206から入力された、
ズーム係数を一時記憶するズーム係数メモリ部、203
はズーム係数メモリ部202のズーム係数に従って、フ
ィールドメモリ201のフィールドデータから、拡大画
像あるいは縮小画像を生成する拡大・縮小処理部であ
る。204はスイッチ部であり、係数メモリ部202か
らの基準フィールド制御信号により、フィールドメモリ
201から読みだした画像と拡大・縮小処理部203で
生成された画像を切り換えて出力する。Next, the decoding process will be described. FIG. 2 is a block diagram showing a decoding apparatus according to the embodiment of the present invention. In FIG. 2, reference numeral 200 denotes a decoded data input unit, 201 denotes a field memory that temporarily stores a field input from the decoded data input unit 200, 202 denotes a field input from the zoom coefficient input unit 206,
A zoom coefficient memory unit 203 for temporarily storing a zoom coefficient;
Reference numeral denotes an enlargement / reduction processing unit that generates an enlarged image or a reduced image from the field data in the field memory 201 in accordance with the zoom coefficient of the zoom coefficient memory unit 202. Reference numeral 204 denotes a switch unit, which switches and outputs an image read from the field memory 201 and an image generated by the enlargement / reduction processing unit 203 according to a reference field control signal from the coefficient memory unit 202.
【0022】図5および図9を用いて図2のブロック図
の詳細な動作を説明する。図5におけるフィールド#0
からフィールド#3で構成されるフレーム群に対し、符
号化前処理時に生成された被符号化フィールドをそれぞ
れフィールド#0’〜#3’、符号化・復号化によって
得られた復号化フィールドをフィールド#0’’〜#
3’’、復号化フィールドに対し、復号化後処理で得ら
れたフィールドをフィールド#0’’’〜#3’’’と
する。The detailed operation of the block diagram of FIG. 2 will be described with reference to FIGS. Field # 0 in FIG.
To the frame group composed of the fields # 3 to # 3, the encoded fields generated in the pre-encoding process are represented by fields # 0 'to # 3', and the decoded fields obtained by the encoding / decoding are represented by the fields # 0 '' ~ #
3 ″, the fields obtained by the post-decoding processing for the decoded fields are fields # 0 ″ ′ to # 3 ″ ″.
【0023】まず、復号化データとしてフィールド#
0’’が復号化データ入力部200から入力される。ズ
ーム係数メモリ部202にはズーム係数入力部206よ
り基準フィールド#0のズーム係数 ((ah00,bh00),(av00,bv00))
=((0,0),(0,0)) が入力される。ズーム係数メモリ部202は基準フィー
ルド制御信号をアサートし、スイッチ部204に与え
る。同じサイクルで復号化データ入力部200から入力
されたデータはフィールドメモリ201に書き込まれ
る。次のサイクルでフィールドメモリ201からフィー
ルド#0’’の画像を読みだしスイッチ部204では出
力画像205として、基準フィールド#0’’を出力す
る。First, field # is used as decoded data.
0 ″ is input from the decryption data input unit 200. The zoom coefficient of the reference field # 0 is input to the zoom coefficient memory unit 202 from the zoom coefficient input unit 206 ((ah00, bh00), (av00, bv00)).
= ((0,0), (0,0)) is input. The zoom coefficient memory unit 202 asserts the reference field control signal and supplies the asserted reference field control signal to the switch unit 204. Data input from the decoded data input unit 200 in the same cycle is written to the field memory 201. In the next cycle, the image of field # 0 ″ is read from the field memory 201, and the switch unit 204 outputs the reference field # 0 ″ as the output image 205.
【0024】また同一サイクルで復号化データ入力部2
00より、フィールド#1’’が入力される。ズーム係
数メモリ部202にはズーム係数入力部206よりフィ
ールド#1’’のズーム係数((ah01,bh0
1),(av01,bv01))が入力される。ズーム
係数メモリ部202は基準フィールド制御信号をネゲー
トし、スイッチ部204に与える。In the same cycle, the decoded data input unit 2
00, field # 1 '' is input. The zoom coefficient ((ah01, bh0) of the field # 1 '' is input to the zoom coefficient memory unit 202 from the zoom coefficient input unit 206.
1), (av01, bv01)) are input. The zoom coefficient memory unit 202 negates the reference field control signal and supplies the same to the switch unit 204.
【0025】フィールドメモリ201ではフィールド#
1’’の書き込みを行う。拡大・縮小処理部203はズ
ーム係数メモリ部202から読みだしたフィールド#
1’’のズーム係数((ah01,bh01),(av
01,bv01))と、フィールドメモリ201に一時
記憶した復号化データフィールド#1’’より、拡大画
像を生成し、出力する。In the field memory 201, the field #
Write 1 ″. The enlargement / reduction processing unit 203 stores the field # read from the zoom coefficient memory unit 202.
1 '' zoom factor ((ah01, bh01), (av
01, bv01)) and the decoded data field # 1 '' temporarily stored in the field memory 201, and generates and outputs an enlarged image.
【0026】図9に拡大画像を生成する様子を示す。図
9(c)は復号化フィールドデータを表しており、斜線
部が符号化時にズーム係数による間引き処理によりデー
タの存在しない画素であり、この部分に関しては、基準
フィールドの同一位置の画素で置き換える、あるいは同
一フィールドの周辺画素から補間する等の処理により、
補間された画素である。図9(d)はズーム係数によっ
て符号化前処理時に間引かれた画素位置に、画素を補間
することによって得られた復号化フィールド図9(c)
の拡大画像である。図9(d)において、画素07、1
0、11、12、13、14、15、16、17、1
8、19、、27、37が周辺画素により補間された画
素である。FIG. 9 shows how an enlarged image is generated. FIG. 9C shows the decoded field data, in which the hatched portion is a pixel in which no data exists due to the thinning process by the zoom coefficient at the time of encoding, and this portion is replaced with a pixel at the same position in the reference field. Alternatively, by processing such as interpolation from peripheral pixels in the same field,
The interpolated pixel. FIG. 9D shows a decoded field obtained by interpolating a pixel at a pixel position thinned out at the time of pre-encoding by a zoom coefficient.
3 is an enlarged image of FIG. In FIG. 9D, pixels 07, 1
0, 11, 12, 13, 14, 15, 16, 17, 1
8, 19, 27 and 37 are pixels interpolated by peripheral pixels.
【0027】このように、拡大・縮小処理部203にお
いて、復号化フィールド#1’’の拡大画像フィールド
#1’’’を生成する。スイッチ部204では出力画像
205として、拡大・縮小画像処理部203で生成され
たフィールド#1’’’を出力する。フィールド#
2’’以降についても同様に、基準フィールド#0に対
する拡大画像フィールド#2’’’、フィールド#
3’’’が生成され、出力画像205として出力され
る。As described above, the enlargement / reduction processing unit 203 generates an enlarged image field # 1 ″ ′ of the decoded field # 1 ″. The switch unit 204 outputs the field # 1 ″ ″ generated by the enlarged / reduced image processing unit 203 as the output image 205. field#
Similarly, the enlarged image field # 2 ″ ′ with respect to the reference field # 0,
3 ″ ″ is generated and output as the output image 205.
【0028】次に、縮小ズームの場合について図8およ
び図10を用いて説明する。基本的には上記した拡大ズ
ームの場合と同様である。図8に縮小ズームの場合のズ
ーム係数と動きベクトルの関係図を示す。Next, the case of reduced zoom will be described with reference to FIGS. Basically, it is the same as in the case of the above-described enlarged zoom. FIG. 8 shows a relationship diagram between a zoom coefficient and a motion vector in the case of reduced zoom.
【0029】図8(a)は基準フィールド(この場合は
フィールド#0)に対する、対象フィールド(この場合
は、フィールド#1)の動きベクトルを示す図である。
同図においてHは水平方向、Vは垂直方向を示し、左上
が基準点であり、丸印○はズームの中心を示す。同図は
縮小ズームであるので動きベクトルはズームの中心から
外に向かって放射状にのびている。図8(b)は、図8
(a)における水平方向の動きベクトルを一次関数で近
似した様子を示す。基準点より水平方向にx画素離れた
位置の動きベクトルVh(x)は水平方向のズーム係数
(ah,bh)を用いて Vh(x)=ah*x + bh で表すことができる。FIG. 8A shows a motion vector of a target field (in this case, field # 1) with respect to a reference field (in this case, field # 0).
In the figure, H indicates the horizontal direction, V indicates the vertical direction, the upper left is the reference point, and the circle ○ indicates the center of the zoom. Since the figure shows a reduced zoom, the motion vector extends radially outward from the center of the zoom. FIG.
6A shows a state in which the horizontal motion vector in FIG. The motion vector Vh (x) at a position that is x pixels away from the reference point in the horizontal direction can be expressed as Vh (x) = ah * x + bh using the horizontal zoom coefficient (ah, bh).
【0030】同様に図8(c)は、図8(a)における
垂直方向の動きベクトルを一次関数で近似した様子を示
す。基準点より垂直方向にy画素離れた位置の動きベク
トルVv(y)は垂直方向のズーム係数(av,bv)
を用いて Vv(y)=av*y + bv で表すことができる。このような基準フィールド#0に
対する、フィールド#1の動きベクトルより水平方向の
ズーム係数(ah01,bh01)と垂直方向のズーム
係数(av01,bv01)を用いて拡大画像を生成す
る。Similarly, FIG. 8C shows a state in which the vertical motion vector in FIG. 8A is approximated by a linear function. The motion vector Vv (y) at a position away from the reference point by y pixels in the vertical direction is a vertical zoom coefficient (av, bv).
And Vv (y) = av * y + bv. For such a reference field # 0, an enlarged image is generated from the motion vector of the field # 1 using the horizontal zoom coefficients (ah01, bh01) and the vertical zoom coefficients (av01, bv01).
【0031】図10に拡大画像を生成する様子を示す。
図10(a)は入力フィールドデータを表している。図
10(b)は補間後の画像である。同図において斜線部
は補間処理により生成された画素であり、この部分に関
しては、基準フィールドの同一位置の画素で置き換え
る、あるいは同一フィールドの周辺画素から補間する等
の処理により、以降の符号化効率の劣化を抑える処理を
行う必要がある。FIG. 10 shows how an enlarged image is generated.
FIG. 10A shows input field data. FIG. 10B is an image after interpolation. In the figure, hatched portions indicate pixels generated by the interpolation process, and this portion is replaced with a pixel at the same position in the reference field or interpolated from peripheral pixels in the same field to perform the subsequent coding efficiency. It is necessary to perform processing for suppressing the deterioration of.
【0032】復号化時には、復号化データに対し、符号
化時に補間によって挿入した画素を間引く処理を行う。At the time of decoding, a process of thinning out the pixels inserted by interpolation at the time of encoding is performed on the decoded data.
【0033】図10(c)は復号化フィールドデータを
表しており、斜線部が符号化前処理時にズーム係数によ
り挿入された画素であり、この部分に関しては、基準フ
ィールドの同一位置の画素で置き換える、あるいは同一
フィールドの周辺画素から補間する等の処理により、補
間された画素である。図10(d)はズーム係数によっ
て符号化時に挿入された画素を間引くことによって得ら
れた復号化フィールド図10(c)の縮小画像である。
斜線部分は間引き処理によりデータの存在しない画素で
ある。この部分に関しては、同一フィールドの周辺画素
から補間する等の処理により、画質劣化を抑える処理を
行う必要がある。FIG. 10C shows the decoded field data. The hatched portion is a pixel inserted by the zoom coefficient at the time of the pre-coding process, and this portion is replaced by a pixel at the same position in the reference field. Or a pixel interpolated by a process such as interpolation from neighboring pixels in the same field. FIG. 10D is a reduced image of the decoded field in FIG. 10C obtained by thinning out the pixels inserted at the time of encoding by the zoom coefficient.
The hatched portions are pixels for which no data exists due to the thinning process. For this part, it is necessary to perform processing for suppressing image quality degradation by processing such as interpolation from peripheral pixels in the same field.
【0034】次に、上述した符号化前処理と復号化後処
理によって画質の劣化する様子について説明する。図1
1に拡大ズームの場合の符号化前処理および復号化後処
理の様子、図12に縮小ズームの場合の符号化前処理お
よび復号化後処理の様子を示す。図11(a)はフレー
ムを表しており、a0,b0,c0,d0,e0は偶数
フィールドのラインデータ、a1,b1,c1,d1は
奇数フィールドのラインデータを示す。また、斜線部と
白抜き部はエッジの境界を示すものであるとする。この
とき、間引き処理により偶数フィールドのb0ラインを
間引き縮小画像を生成する。図11(b)にb0ライン
を間引いて得た被符号化画像を示す。図11(c)に間
引かれたb0ラインを周辺画素から補間して得た図11
(b)の拡大画像を示す。b0’ラインが補間されたラ
インである。このようにフレームとして構成した場合、
a1ラインとb1ラインの間にb0’ラインのような新
たなエッジが生成される。Next, how the image quality is degraded by the above-described pre-encoding processing and post-decoding processing will be described. FIG.
1 shows a state of pre-encoding processing and post-decoding processing in the case of enlargement zoom, and FIG. 12 shows a state of pre-encoding processing and post-decoding processing in the case of reduction zoom. FIG. 11A shows a frame, in which a0, b0, c0, d0, and e0 show line data of an even field, and a1, b1, c1, and d1 show line data of an odd field. Further, it is assumed that the hatched portion and the white portion indicate the boundary of the edge. At this time, a reduced image is generated by thinning out the b0 line of the even field by the thinning processing. FIG. 11B shows an encoded image obtained by thinning out the b0 line. FIG. 11C obtained by interpolating the thinned b0 line from the peripheral pixels in FIG.
The enlarged image of (b) is shown. The b0 'line is the interpolated line. When configured as a frame like this,
A new edge such as the b0 ′ line is generated between the a1 line and the b1 line.
【0035】次に、縮小ズーム時の処理について説明す
る。図12(a)はフレームを表しており、a0,b
0,c0,d0,e0は偶数フィールドのラインデー
タ、a1,b1,c1,d1は奇数フィールドのライン
データを示す。また、斜線部と白抜き部はエッジの境界
を示すものであるとする。このとき、補間による挿入処
理により偶数フィールドのb0ラインに画素を挿入し、
拡大画像を生成する。図12(b)に新たにb0’ライ
ンを挿入して得た被符号化画像を示す。図12(c)に
補間により挿入されたb0’ラインを間引いて得た図1
2(b)の縮小画像を示す。この場合、拡大ズームのよ
うな問題は発生しない。一方、図10(d)に示すよう
に、画像の周辺部の画素が間引き処理により欠落する。
この場合、周辺の画素より補間する処理を行い、劣化を
より少なくする必要がある。Next, processing at the time of reduction zoom will be described. FIG. 12A shows a frame, and a0, b
0, c0, d0, and e0 indicate line data of an even field, and a1, b1, c1, and d1 indicate line data of an odd field. Further, it is assumed that the hatched portion and the white portion indicate the boundary of the edge. At this time, a pixel is inserted into the b0 line of the even field by an insertion process by interpolation,
Generate an enlarged image. FIG. 12B shows an encoded image obtained by inserting a new b0 ′ line. FIG. 1 obtained by thinning out the b0 ′ line inserted by interpolation in FIG.
2B shows a reduced image. In this case, a problem such as the enlargement zoom does not occur. On the other hand, as shown in FIG. 10D, pixels in the peripheral portion of the image are missing due to the thinning process.
In this case, it is necessary to perform a process of interpolating from peripheral pixels to further reduce deterioration.
【0036】このように、拡大ズームの場合は、符号化
前処理および復号化後処理により、画質の劣化が画像の
中央付近にランダムに発生するのに対し、縮小ズームの
場合は周辺部に集中して発生するという特徴がある。視
覚的には、前者は許容しがたく、後者は補間法により許
容できる範囲にある。As described above, in the case of the enlarged zoom, the deterioration of the image quality occurs randomly near the center of the image due to the pre-encoding process and the post-decoding process, whereas in the case of the reduced zoom, it is concentrated in the peripheral portion. There is a feature that occurs. Visually, the former is unacceptable and the latter is in an acceptable range by interpolation.
【0037】以下、本発明の他の実施例の画像符号化方
法について、図面を参照しながら説明する。図3は本発
明の他の実施例における画像符号化装置のブロック図を
示すものである。Hereinafter, an image encoding method according to another embodiment of the present invention will be described with reference to the drawings. FIG. 3 is a block diagram showing an image encoding apparatus according to another embodiment of the present invention.
【0038】図3において、300は画像入力部であ
り、フィールドデータが入力される。301は基準フィ
ールド決定部であり、同一フレーム群に属する入力フィ
ールドの内、最も拡大されたフィールドを基準フィール
ドにする。303〜306はそれぞれ、画像入力部30
0から入力されたフィールドデータを一時記憶する1フ
ィールド分のメモリである。302はフィールドメモリ
303からフィールドメモリ306を制御するメモリ制
御部、307は動きベクトル検出部であり、基準となる
フィールドデータに対する動きベクトルを検出する。3
08はズーム係数算出部であり、動きベクトル検出部3
07で求めたベクトルより、ズーム係数を算出する。3
09は拡大処理部であり、ズーム係数算出部308で求
めたズーム係数により、フィールドメモリ303から3
06に記憶されたフィールドデータの拡大画像を生成
し、符号化部310に出力する。In FIG. 3, reference numeral 300 denotes an image input unit to which field data is input. Reference numeral 301 denotes a reference field determination unit, which sets the most enlarged field among input fields belonging to the same frame group as a reference field. 303 to 306 are image input units 30
This is a one-field memory for temporarily storing field data input from 0. Reference numeral 302 denotes a memory control unit for controlling the field memory 306 from the field memory 303, and reference numeral 307 denotes a motion vector detection unit, which detects a motion vector for reference field data. 3
Reference numeral 08 denotes a zoom coefficient calculation unit, and the motion vector detection unit 3
A zoom coefficient is calculated from the vector obtained in step 07. 3
Reference numeral 09 denotes an enlargement processing unit, which outputs 3 to 3 from the field memory 303 based on the zoom coefficient obtained by the zoom coefficient calculation unit 308.
An enlarged image of the field data stored in 06 is generated and output to the encoding unit 310.
【0039】以下図6を用いて図3のブロック図の詳細
な動作を説明する。図6は2フレーム(4フィールド)
から構成されるフレーム群であり、フィールド#0から
フィールド#3で構成される。このフレーム群において
フィールド#2が最大の拡大画像、すなわちフィールド
#0からフィールド#2まで拡大ズームであり、フィー
ルド#2からフィールド#3にかけては縮小ズームであ
る場合の処理について以下説明する。The detailed operation of the block diagram of FIG. 3 will be described below with reference to FIG. FIG. 6 shows two frames (four fields)
And a frame group composed of fields # 0 to # 3. A process in the case where the field # 2 in this frame group is the largest enlarged image, that is, the enlarged zoom from the field # 0 to the field # 2, and the reduced zoom from the field # 2 to the field # 3 will be described below.
【0040】まず、入力画像として、フィールド#0が
画像入力部300より入力される。基準フィールド決定
部301では、基準フィールドをフィールド#0として
フィールド#0のデータを一時記憶する。この場合、フ
ィールド#0のデータを全て記憶する必要はなく、代表
点のみを記憶してもよい(例えば、特開平2ー5689
号公報)。また、メモリ制御部302によりフィールド
#0のデータをフィールドメモリ303に書き込む。次
にフィールド#1が入力される。基準フィールド決定部
301では、基準フィールド#0とフィールド#1より
動きベクトルを検出し、このベクトル値によりズーム係
数 ((ah01,bh01),(av01,bv01)) を得る。同時にフィールド#1のデータをフィールドメ
モリ304に書き込む。First, a field # 0 is input from the image input unit 300 as an input image. The reference field determination unit 301 sets the reference field to field # 0 and temporarily stores the data in field # 0. In this case, it is not necessary to store all the data of the field # 0, and only the representative point may be stored (for example, see Japanese Patent Application Laid-Open No. Hei 2-5689).
No.). Further, the data of the field # 0 is written into the field memory 303 by the memory control unit 302. Next, field # 1 is input. The reference field determination unit 301 detects a motion vector from the reference fields # 0 and # 1, and obtains a zoom coefficient ((ah01, bh01), (av01, bv01)) from the vector value. At the same time, the data of the field # 1 is written into the field memory 304.
【0041】フィールド#2およびフィールド#3につ
いても同様にズーム係数 ((ah02,bh02),(av02,bv0
2))、((ah03,bh03),(av03,bv
03)) を得ると同時に、フィールド#2をフィールドメモリ3
05に、フィールド#3をフィールドメモリ306に書
き込む。このようにフィールド#0を基準フィールドと
して各フィールドのズーム係数を求めることで、前記フ
レーム群における最大の拡大画像であるフィールド#2
を決定し、基準フィールドとする。またこのサイクル
で、求まった基準フィールドをフィールド#0とするフ
ィールド#2のズーム係数((ah02,bh02),
(av02,bv02))より基準フィールドをフィー
ルド#2とするフィールド#0のズーム係数 ((ah20,bh20),(av20,bv20))
を((ah20,bh20),(av20,bv2
0))=(−(ah02,bh02),−(av02,
bv02)) よりズーム係数算出部308で求める。次のサイクルで
フィールドメモリ303よりフィールド#0のデータを
読みだし、拡大処理部309により、ズーム係数 ((ah20,bh20),(av20,bv20)) を用いて拡大画像を生成し、符号化部310に出力す
る。また同じサイクルで、画像入力部300より次のフ
ィールドを入力し、フィールドメモリ303に書き込む
と同時に、基準フィールド決定部301に入力する。さ
らに同サイクルにおいてフィールドメモリ304よりフ
ィールド#1を読みだし、動きベクトル検出部307で
動きベクトルを求め、係数算出部308で基準フィール
ドをフィールド#2とするフィールド#1のズーム係数 ((ah21,bh21),(av21,bv21)) を算出する。Similarly, for the field # 2 and the field # 3, the zoom coefficients ((ah02, bh02), (av02, bv0)
2)), ((ah03, bh03), (av03, bv
03)), and at the same time, field # 2 is stored in the field memory 3
At 05, field # 3 is written to field memory 306. By calculating the zoom coefficient of each field using the field # 0 as a reference field, the field # 2, which is the largest enlarged image in the frame group, is obtained.
Is determined as a reference field. In this cycle, the zoom coefficient ((ah02, bh02),
From (av02, bv02)), the zoom coefficient of field # 0 with the reference field as field # 2 ((ah20, bh20), (av20, bv20))
To ((ah20, bh20), (av20, bv2
0)) = (− (ah02, bh02), − (av02,
bv02)) is determined by the zoom coefficient calculation unit 308. In the next cycle, the data of the field # 0 is read from the field memory 303, and the enlargement processing unit 309 generates an enlarged image by using the zoom coefficient ((ah20, bh20), (av20, bv20)). Output to 310. In the same cycle, the next field is input from the image input unit 300 and written into the field memory 303, and at the same time, is input to the reference field determination unit 301. Further, in the same cycle, the field # 1 is read from the field memory 304, a motion vector is obtained by the motion vector detecting unit 307, and the zoom coefficient ((ah21, bh21) of the field # 1 is set by the coefficient calculating unit 308 to the field # 2 as the reference field. ), (Av21, bv21)) are calculated.
【0042】次のサイクルで、フィールドメモリ304
よりフィールド#1のデータを読みだし、拡大処理部3
09により、ズーム係数 ((ah21,bh21),(av21,bv21)) を用いて拡大画像を生成し、符号化部310に出力す
る。また同じサイクルで、画像入力部300より次のフ
ィールドを入力し、フィールドメモリ304に書き込む
と同時に、基準フィールド決定部301に入力する。こ
のように基準フィールドをフィールド#2とした場合の
各フィールドの拡大画像を生成し被符号化データとして
符号化部310に順次出力する。In the next cycle, the field memory 304
Field # 1 data is read from the
In step 09, an enlarged image is generated using the zoom coefficient ((ah21, bh21), (av21, bv21)), and is output to the encoding unit 310. In the same cycle, the next field is input from the image input unit 300 and written into the field memory 304, and at the same time, is input to the reference field determination unit 301. In this way, an enlarged image of each field when the reference field is the field # 2 is generated and sequentially output to the encoding unit 310 as encoded data.
【0043】次に復号化処理について説明する。図4は
本発明の実施例における復号化装置のブロック図を示す
ものである。図4において、400は復号化されたデー
タ入力部であり、401は復号化データ入力部400か
ら入力されたフィールドを一時記憶するフィールドメモ
リ、402はズーム係数入力部406から入力された、
ズーム係数を一時記憶するズーム係数メモリ部、403
はズーム係数メモリ部402のズーム係数に従って、フ
ィールドメモリ401のフィールドデータから、縮小画
像を生成する縮小処理部である。404はスイッチ部で
あり、係数メモリ部402からの基準フィールド制御信
号により、フィールドメモリ401から読みだした画像
と縮小処理部403で生成された画像を切り換えて出力
する。Next, the decoding process will be described. FIG. 4 is a block diagram showing a decoding apparatus according to the embodiment of the present invention. In FIG. 4, reference numeral 400 denotes a decoded data input unit, 401 denotes a field memory for temporarily storing a field input from the decoded data input unit 400, and 402 denotes a field input from the zoom coefficient input unit 406.
A zoom coefficient memory unit 403 for temporarily storing a zoom coefficient
A reduction processing unit generates a reduced image from field data in the field memory 401 in accordance with the zoom coefficient of the zoom coefficient memory unit 402. A switch unit 404 switches between an image read from the field memory 401 and an image generated by the reduction processing unit 403 according to a reference field control signal from the coefficient memory unit 402 and outputs the image.
【0044】以下図6を用いて図4のブロック図の詳細
な動作を説明する。図6におけるフィールド#0からフ
ィールド#3で構成されるフレーム群に対し、符号化前
処理時に生成された被符号化フィールドをそれぞれフィ
ールド#0’〜#3’、符号化・復号化によって得られ
た復号化フィールドをフィールド#0’’〜#3’’と
し、復号化フィールドに対し、復号化後処理で得られた
フィールドをフィールド#0’’’〜#3’’’とす
る。The detailed operation of the block diagram of FIG. 4 will be described below with reference to FIG. For the frame group composed of fields # 0 to # 3 in FIG. 6, the encoded fields generated during the pre-encoding process are obtained by encoding and decoding fields # 0 'to # 3', respectively. The decoded fields are fields # 0 ″ to # 3 ″, and the fields obtained by the post-decoding processing for the decoded fields are fields # 0 ′ ″ to # 3 ′ ″.
【0045】まず、復号化データとしてフィールド#
0’’が復号化データ入力部400から入力される。ズ
ーム係数メモリ部402にはズーム係数入力部406よ
り基準となるフィールド#2のズーム係数 ((ah20,bh20),(av20,bv20)) が入力される。ズーム係数メモリ部402は基準フィー
ルド制御信号をネゲートし、スイッチ部404に与える
と同時に、フィールドメモリ401に入力フィールド#
0’’の書き込みを行う。次のサイクルで、縮小処理部
403はズーム係数メモリ部402から読みだしたフィ
ールド#0’’のズーム係数 ((ah20,bh20),(av20,bv20)) と、フィールドメモリ401に一時記憶した復号化デー
タフィールド#0’’より、縮小画像を生成し、出力す
る。また、スイッチ部404では出力画像405とし
て、縮小処理部403で生成された画像を出力する。First, field # is used as decrypted data.
0 ″ is input from the decoded data input unit 400. The zoom factor memory unit 402 receives the zoom factor ((ah20, bh20), (av20, bv20)) of the field # 2 as a reference from the zoom factor input unit 406. The zoom coefficient memory unit 402 negates the reference field control signal and supplies the negated reference field control signal to the switch unit 404.
Write 0 ″. In the next cycle, the reduction processing unit 403 reads the zoom coefficient ((ah20, bh20), (av20, bv20)) of the field # 0 ″ read from the zoom coefficient memory unit 402, and decodes the data temporarily stored in the field memory 401. A reduced image is generated and output from the encrypted data field # 0 ''. The switch unit 404 outputs the image generated by the reduction processing unit 403 as the output image 405.
【0046】次に復号化データ入力部400より、フィ
ールド#1’’が入力され、フィールドメモリ401に
フィールド#1’’の書き込みを行う。ズーム係数メモ
リ部402にはズーム係数入力部406よりフィールド
#1’’のズーム係数 ((ah21,bh21),(av21,bv21)) が入力される。次のサイクルで、縮小処理部403はズ
ーム係数メモリ部402から読みだしたフィールド#
1’’のズーム係数 ((ah21,bh21),(av21,bv21)) と、フィールドメモリ401に一時記憶した復号化デー
タフィールド#1’’より、縮小画像を生成し、出力す
る。このように、基準フィールドに対する各フィールド
のズーム係数より縮小画像を生成し出力する。Next, field # 1 ″ is input from the decoded data input section 400, and field # 1 ″ is written into the field memory 401. The zoom coefficient memory unit 402 receives the zoom coefficient ((ah21, bh21), (av21, bv21)) of the field # 1 '' from the zoom coefficient input unit 406. In the next cycle, the reduction processing unit 403 reads the field # read from the zoom coefficient memory unit 402.
A reduced image is generated and output from the zoom coefficient ((ah21, bh21), (av21, bv21)) of 1 ″ and the decoded data field # 1 ″ temporarily stored in the field memory 401. In this manner, a reduced image is generated and output from the zoom coefficient of each field with respect to the reference field.
【0047】このように復号化時には、復号化データに
対し、符号化前処理時に補間によって挿入した画素を間
引く処理を行う。As described above, at the time of decoding, a process of thinning out the pixels inserted by interpolation during the pre-encoding process is performed on the decoded data.
【0048】図10(c)は復号化フィールドデータを
表しており、斜線部が符号化時にズーム係数により挿入
された画素であり、この部分に関しては、基準フィール
ドの同一位置の画素で置き換える、あるいは同一フィー
ルドの周辺画素から補間する等の処理により、補間され
た画素である。同図において斜線部が復号化後処理で間
引く画素である。図10(d)はズーム係数によって符
号化時に挿入された画素を間引くことによって得られた
復号化フィールド図10(c)の縮小画像である。斜線
部分は間引き処理によりデータの存在しない画素であ
る。この部分に関しては、同一フィールドの周辺画素か
ら補間する等の処理により、画質劣化を抑える処理を縮
小処理部403で行う。FIG. 10C shows the decoded field data, in which the hatched portion is a pixel inserted by the zoom coefficient at the time of encoding, and this portion is replaced by a pixel at the same position in the reference field, or Pixels interpolated by processing such as interpolation from peripheral pixels in the same field. In the figure, hatched portions are pixels to be thinned out in post-decoding processing. FIG. 10D is a reduced image of the decoded field in FIG. 10C obtained by thinning out the pixels inserted at the time of encoding by the zoom coefficient. The hatched portions are pixels for which no data exists due to the thinning process. With respect to this part, the reduction processing unit 403 performs processing of suppressing image quality degradation by processing such as interpolation from peripheral pixels in the same field.
【0049】[0049]
【発明の効果】以上、説明したように本発明によれば (1)画像のフレーム間、或はフィールド間の相関を利
用する符号化方法において、画像系列中にズーミングに
よる拡大・縮小された画像が存在する場合、同一フレー
ム群に属する各入力フィールドの基準フィールドに対す
る動きベクトルを検出し、前記動きベクトルを用い、各
入力フィールドの拡大・縮小画像を生成し、該拡大・縮
小画像を被符号化フィールドとすることで、同一フレー
ム群における被符号化フレームおよび被符号化フィール
ド間の相関がより強くなり、符号化効率をより向上させ
ることができる。 (2)同一フレーム群に属する全ての被符号化フィール
ドが各入力フィールドの拡大画像となる基準フィールド
を設定し、画素を補間することで各入力フィールドの拡
大画像を生成し、該拡大画像を被符号化フィールドとす
ることで、復号化処理で得られた既復号フィールドにお
いて、前記符号化前処理で補間した画素を間引くことで
縮小画像を生成するので、前記復号化後処理による画質
の劣化を画像の周辺部のみに抑えることができる。As described above, according to the present invention, according to the present invention, (1) In an encoding method utilizing correlation between frames or between fields of an image, an image enlarged or reduced by zooming in an image sequence Exists, a motion vector of each input field belonging to the same frame group with respect to a reference field is detected, and an enlarged / reduced image of each input field is generated using the motion vector, and the enlarged / reduced image is encoded. By using the field, the correlation between the coded frame and the coded field in the same frame group becomes stronger, and the coding efficiency can be further improved. (2) A reference field in which all the encoded fields belonging to the same frame group are enlarged images of each input field is set, and an enlarged image of each input field is generated by interpolating pixels. By using the encoded field, a reduced image is generated by thinning out the pixels interpolated in the pre-encoding process in the already-decoded field obtained in the decoding process. It can be suppressed only to the peripheral part of the image.
【図1】本発明の一実施例における符号化装置のブロッ
ク図FIG. 1 is a block diagram of an encoding device according to an embodiment of the present invention.
【図2】本発明の一実施例における復号化装置のブロッ
ク図FIG. 2 is a block diagram of a decoding device according to an embodiment of the present invention.
【図3】本発明の一実施例における符号化装置のブロッ
ク図FIG. 3 is a block diagram of an encoding device according to an embodiment of the present invention.
【図4】本発明の実施例における復号化装置のブロック
図FIG. 4 is a block diagram of a decoding device according to an embodiment of the present invention.
【図5】同一フレーム群に属するフィールドデータの様
子を示す図FIG. 5 is a diagram showing a state of field data belonging to the same frame group;
【図6】同一フレーム群に属するフィールドデータの様
子を示す図FIG. 6 is a diagram showing a state of field data belonging to the same frame group;
【図7】ズーム係数と動きベクトルの関係を示す図FIG. 7 is a diagram illustrating a relationship between a zoom coefficient and a motion vector.
【図8】ズーム係数と動きベクトルの関係を示す図FIG. 8 is a diagram showing a relationship between a zoom coefficient and a motion vector.
【図9】拡大ズーム時の符号化前処理と復号化後処理に
よるフィールドデータの様子を示す図FIG. 9 is a diagram showing a state of field data by a pre-encoding process and a post-decoding process at the time of enlarged zoom.
【図10】縮小ズーム時の符号化前処理と復号化後処理
によるフィールドデータの様子を示す図FIG. 10 is a diagram showing a state of field data by a pre-encoding process and a post-decoding process at the time of reduction zoom.
【図11】拡大ズーム時の符号化前処理と復号化後処理
によるフレームデータの様子を示す図FIG. 11 is a diagram showing a state of frame data by a pre-encoding process and a post-decoding process at the time of enlarged zoom.
【図12】縮小ズーム時の符号化前処理と復号化後処理
によるフレームデータの様子を示す図FIG. 12 is a diagram illustrating a state of frame data by a pre-encoding process and a post-decoding process at the time of reduction zoom;
【図13】従来の符号化装置のブロック図FIG. 13 is a block diagram of a conventional encoding device.
100 画像入力部 101 動きベクトル検出部 102 ズーム係数算出部 103 フィールドメモリ 104 拡大・縮小処理部 105 スイッチ部 106 符号化部 Reference Signs List 100 Image input unit 101 Motion vector detection unit 102 Zoom coefficient calculation unit 103 Field memory 104 Enlargement / reduction processing unit 105 Switch unit 106 Encoding unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 豊彦 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平4−84588(JP,A) 特開 平3−49373(JP,A) 特開 平4−10788(JP,A) (58)調査した分野(Int.Cl.6,DB名) H04N 7/24 - 7/68 ────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Toyohiko Matsuda 1006 Kazuma Kadoma, Kadoma City, Osaka Inside Matsushita Electric Industrial Co., Ltd. (56) References JP-A-4-84588 (JP, A) JP-A-3-3 49373 (JP, A) JP-A-4-10788 (JP, A) (58) Fields investigated (Int. Cl. 6 , DB name) H04N 7/ 24-7/68
Claims (2)
関を利用する符号化方法において、画像系列中にズーミ
ングによる拡大・縮小された画像が存在する場合、n個
のフレーム(n:自然数)から構成されるフレーム群を
形成し、前記フレーム群に属する各入力フィールドに対
し、第mフィールド(m:0≦m≦2n−1、整数)を
基準フィールドとし、前記基準フィールドに対する各入
力フィールドの動きベクトルを検出し、前記動きベクト
ルを用い、各入力フィールドの拡大・縮小画像を生成
し、該拡大・縮小画像を被符号化フィールド(符号化処
理における入力画像)とすることを特徴とする画像符号
化方法。In an encoding method utilizing correlation between frames of an image or between fields, if there is an image enlarged or reduced by zooming in an image sequence, n frames (n: natural number) , And for each input field belonging to the frame group, the m-th field (m: 0 ≦ m ≦ 2n−1, an integer) is used as a reference field. An image characterized by detecting a motion vector, generating an enlarged / reduced image of each input field using the motion vector, and using the enlarged / reduced image as a field to be coded (input image in the encoding process). Encoding method.
ィールドが各入力フィールドの拡大画像となる基準フィ
ールドを設定し、前記基準フィールドに対する各フィー
ルドの動きベクトルを用い、各入力フィールドの拡大画
像を生成し、該拡大画像を被符号化フィールドとするこ
とを特徴とする請求項1記載の画像符号化方法。2. A reference field in which all encoded fields belonging to the same frame group are enlarged images of each input field, and an enlarged image of each input field is formed using a motion vector of each field with respect to the reference field. 2. The image encoding method according to claim 1, wherein the enlarged image is generated as an encoded field.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3160193A JP2897579B2 (en) | 1993-02-22 | 1993-02-22 | Image coding method |
KR1019940003023A KR100219005B1 (en) | 1993-02-22 | 1994-02-21 | Image encoding method and apparatus |
DE69415702T DE69415702T2 (en) | 1993-02-22 | 1994-02-21 | Methods and devices for coding and decoding moving images |
EP94301197A EP0614316B1 (en) | 1993-02-22 | 1994-02-21 | Apparatuses and methods for moving picture coding and decoding |
US08/199,630 US5467135A (en) | 1993-02-22 | 1994-02-22 | Apparatus and method for moving picture coding |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3160193A JP2897579B2 (en) | 1993-02-22 | 1993-02-22 | Image coding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06253292A JPH06253292A (en) | 1994-09-09 |
JP2897579B2 true JP2897579B2 (en) | 1999-05-31 |
Family
ID=12335726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3160193A Expired - Fee Related JP2897579B2 (en) | 1993-02-22 | 1993-02-22 | Image coding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2897579B2 (en) |
-
1993
- 1993-02-22 JP JP3160193A patent/JP2897579B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH06253292A (en) | 1994-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2904704B2 (en) | Digital signal processing system | |
JP3183155B2 (en) | Image decoding apparatus and image decoding method | |
KR100239260B1 (en) | Picture decoder | |
JP2570384B2 (en) | Video signal encoding / decoding method | |
JP4734168B2 (en) | Image decoding apparatus and image decoding method | |
JP3540855B2 (en) | Block distortion corrector | |
US5436666A (en) | Limited-domain motion estimation/compensation for video encoding/decoding | |
JP3767582B2 (en) | Image display device, image display method, and image display program | |
JP2003333540A (en) | Frame rate converting apparatus, video display apparatus using the same, and a television broadcast receiving apparatus | |
JP2897579B2 (en) | Image coding method | |
JP2824222B2 (en) | Video data compensation method and compensation device | |
JP2947103B2 (en) | Moving picture coding apparatus and moving picture coding method | |
JP2894140B2 (en) | Image coding method | |
JPH0389792A (en) | Picture encoding device | |
JP3784086B2 (en) | Video signal encoding / decoding device and encoding / decoding method | |
JP2830881B2 (en) | Predictive encoding method for interlaced image signals | |
JP3326879B2 (en) | Image signal converter | |
JP2005506808A (en) | Motion compensation with sub-block scanning | |
JP3235266B2 (en) | Image enlargement device and image encoding / decoding device | |
JP2863026B2 (en) | Motion compensation prediction method | |
JPH06311503A (en) | Motion picture coding method | |
JP3214819B2 (en) | Image conversion method and image encoding method | |
JPH04192695A (en) | Moving image decoding device | |
JPH0799647A (en) | Image signal reproducing device | |
JPH10136371A (en) | Moving image decoder and method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |