JP2002300583A - Coding method of interlace scanned digital video signal - Google Patents

Abstract

PROBLEM TO BE SOLVED: To efficiently code an interlace scanned video sequence. SOLUTION: An input image (1) is divided into small blocks of pixel data (2), and two fields in each block are inspected in terms of correlation (3). When the difference between the two fields in the block is small (high correlation), the block is coded by using the frame-coding method for successively scanning all lines in the blocks, hence the inter-frame movement compensation method for efficient design, and color data intra-frame sub sampling method (6). Conversely, when the difference between the two fields in the block is large (namely, low correlation) the block is coded by a field-coding process for intensifying the investigation of the (intra-field) correlation in each field, and the (inter-field) correlation between each field and the adjacent field (5).

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、ディジタルストレ
ージメディアまたは伝送メディアのための、インタレー
ス走査ディジタルビデオシーケンスの効率的情報符号化
に関する。The present invention relates to efficient information encoding of interlaced scanned digital video sequences for digital storage or transmission media.

【０００２】[0002]

【従来の技術】ビデオ信号のためのディジタル符号化方
法の標準化の努力の成果は、今日活発に進歩しつつあ
る。このような標準化の努力には、異なったビットレー
トにおけるさまざまなビデオ信号フォーマットのディジ
タル符号化の研究が含まれる。ビデオシーケンスがどの
ようにして記録装置により捕捉され、また表示装置上に
リフレッシュされるかを定める走査技術により、ビデオ
シーケンスは２つの型に分類される。すなわち順次走査
ビデオシーケンスと、インタレース走査ビデオシーケン
スとである。順次走査ビデオシーケンスにおいては、シ
ーケンス内のフレームは、フレームの頂部から底部まで
線毎に順次捕捉されリフレッシュされる。インタレース
走査ビデオシーケンスのフレームは２フィールドから成
り、偶数フィールドはフレームの偶数線から形成され、
奇数フィールドはフレームの奇数線から形成される。捕
捉およびリフレッシュは、まず偶数フィールドにおいて
フィールドの頂部から底部まで順次行なわれ、続いて奇
数フィールドにおいて同様に行なわれる。現在多数の信
号源はインタレース走査フォーマットのものである（例
えばＮＴＳＣ、ＰＡＬ）ので、多くの研究努力はインタ
レース走査ビデオシーケンスの効率的符号化に対して向
けられてきた。BACKGROUND OF THE INVENTION The results of efforts to standardize digital encoding methods for video signals are actively evolving today. Such standardization efforts include the study of digital encoding of various video signal formats at different bit rates. Depending on the scanning technique that determines how the video sequence is captured by the recording device and refreshed on the display device, the video sequence is classified into two types. That is, a progressive scan video sequence and an interlaced scan video sequence. In a progressive scan video sequence, the frames in the sequence are sequentially captured and refreshed line by line from the top to the bottom of the frame. A frame of the interlaced scanned video sequence consists of two fields, the even fields are formed from the even lines of the frame,
Odd fields are formed from odd lines of the frame. Acquisition and refreshing are performed sequentially from the top to the bottom of the field in the even field, and so on in the odd field. Since many sources are now of interlaced scan format (eg, NTSC, PAL), much research effort has been directed to efficient coding of interlaced scanned video sequences.

【０００３】従来の研究結果は３種類に分類される。す
なわちフレーム符号化プロセスと、フィールド符号化プ
ロセスと、補間フィールド符号化プロセスと、である。
フレーム符号化プロセスにおいては、例えばKazuto Kam
ikuraおよびTaikun Li著「Consideration of Bit Alloca
tion and Distribution of Moving Image Coding forSt
orage Media」，DAPA Meeting Report，Fourth Telemati
c Symposium，Tokyo，February 1991によれば、ビデオ
シーケンスは基本的にはフレーム毎に符号化され、その
場合偶数フィールドはインタレース的に合成される（諸
フレームは順次的であるかのようにして処理される）。
フレーム符号化プロセスにおいては、それぞれのフレー
ムを画素データのブロックに区分し、その後それらを、
MPEG Video Simulation Model Three，International O
rganization for Standardization，Coded Representat
ion of Picture and Audio Information，1990，ISO-IE
C/JTC1/SC2/WG8 MPEG90/041に説明されているように、
動き補償（ＭＣ）のある、またはない、離散コサイン変
換（ＤＣＴ）のようなブロック符号化方法により処理す
ることができる。もし、フレームが、シーケンス内の他
フレームと無関係に、かつ偶奇フィールドに対して異な
った処理を行なうことなく、符号化されるならば、その
プロセスは、イントラフレーム符号化プロセスと呼ばれ
る。もし、フレームが、シーケンス内の他フレームを用
いた動き補償のもとに符号化されるならば、そのプロセ
スはインタフレーム符号化プロセスと呼ばれる。要する
に、フレーム符号化プロセスは、ビデオシーケンスが、
イントラフレーム符号化プロセスのみによって、または
イントラフレームおよびインタフレーム符号化プロセス
の組合せによって、符号化されるプロセスである。[0003] Conventional research results are classified into three types. That is, a frame encoding process, a field encoding process, and an interpolation field encoding process.
In the frame encoding process, for example, Kazuto Kam
"Consideration of Bit Alloca" by ikura and Taikun Li
tion and Distribution of Moving Image Coding forSt
orage Media ", DAPA Meeting Report, Fourth Telemati
c According to Symposium, Tokyo, February 1991, video sequences are basically coded on a frame-by-frame basis, in which case the even fields are interlaced (as if the frames were sequential). It is processed).
In the frame encoding process, each frame is partitioned into blocks of pixel data, which are then
MPEG Video Simulation Model Three, International O
rganization for Standardization, Coded Representat
ion of Picture and Audio Information, 1990, ISO-IE
As described in C / JTC1 / SC2 / WG8 MPEG90 / 041,
It can be processed by block coding methods such as discrete cosine transform (DCT) with or without motion compensation (MC). If a frame is encoded independently of the other frames in the sequence and without performing different processing on the even and odd fields, the process is called an intra-frame encoding process. If a frame is encoded under motion compensation using other frames in the sequence, the process is called an interframe encoding process. In short, the frame encoding process is based on the fact that the video sequence
A process that is encoded by the intra-frame encoding process alone or by a combination of the intra-frame and inter-frame encoding processes.

【０００４】フィールド符号化プロセスにおいては、ビ
デオシーケンスはまず、偶数フィールドシーケンスと奇
数フィールドシーケンスとの２シーケンスに分割され、
偶奇フィールドシーケンスのそれぞれは同じ符号化プロ
セスを受ける（例えば、Ichiro Andoh，Y．Yamada外著
の論文「Some Considerations and Experiments of Int
erlaced Moving Image Coding」，DAPA Meeting Repor
t，Fourth Telematic Symposium，Tokyo，February 199
1参照）。フィールド符号化プロセスにおける動き補償
または動き補間は、偶奇フィールドシーケンスのそれぞ
れとは無関係に、またはIchiro Andoh外著の論文に示さ
れているように２シーケンスに相互依存して、行なわれ
うる。従って、フィールド符号化プロセスは、正にイン
トラフィールド符号化プロセスであるか、またはイント
ラフィールドおよびインタフィールド符号化プロセスの
組合せである。[0004] In the field encoding process, a video sequence is first divided into two sequences, an even field sequence and an odd field sequence.
Each of the even-odd field sequences undergoes the same encoding process (see, for example, a paper by Ichiro Andoh, Y. Yamada, "Some Considerations and Experiments of Int."
erlaced Moving Image Coding ”, DAPA Meeting Repor
t, Fourth Telematic Symposium, Tokyo, February 199
1). Motion compensation or motion interpolation in the field encoding process can be performed independently of each of the even and odd field sequences, or interdependently on the two sequences as shown in a paper by Ichiro Andoh. Thus, the field encoding process is just an intra-field encoding process or a combination of an intra-field and an inter-field encoding process.

【０００５】補間フィールド符号化プロセスの場合は、
一方のフィールドシーケンスのみが符号化され、他方の
フィールドシーケンスは符号化されたフィールドシーケ
ンスに基づく予測または補間プロセスによって再生され
る。この符号化プロセスの例は、Feng-Ming Wangおよび
Dimitris Anastassiou著の論文「High-Quality Coding
of the Even Fields Based on the Odd Fields of the
Interlaced Video Sequences」，IEEE Transaction on
Circuits and Systems,January 1991，およびMPEG Vide
o Simulation Model Three，International Organizati
on for Standardization，Coded Representation of Pi
cture and Audio Information，1990，ISO-IEC/JTC1/SC
2/WG8 MPEG90/041に説明されている。In the case of an interpolated field encoding process,
Only one field sequence is encoded and the other is reproduced by a prediction or interpolation process based on the encoded field sequence. Examples of this encoding process are Feng-Ming Wang and
Dimitris Anastassiou's paper `` High-Quality Coding
of the Even Fields Based on the Odd Fields of the
Interlaced Video Sequences ", IEEE Transaction on
Circuits and Systems, January 1991, and MPEG Vide
o Simulation Model Three, International Organizati
on for Standardization, Coded Representation of Pi
cture and Audio Information, 1990, ISO-IEC / JTC1 / SC
2 / WG8 described in MPEG90 / 041.

【０００６】[0006]

【発明が解決しようとする課題】インタレース走査ビデ
オシーケンス内の対象物が静止を続ける時には、毎ライ
ン上のおよび相互隣接ライン上の、隣接画素間の相関は
高いので、通常の離散コサイン変換符号化方法のような
一般に知られた画像圧縮方法により、フレーム符号化プ
ロセスにおいて（線間の高相関を利用して）、フィール
ドまたは補間フィールド符号化プロセスと比較して、高
圧縮比を達成することができる。この場合、インタフレ
ーム動き補償も、より良い効率で行なわれうる。しか
し、もしシーケンス内の対象物が動き始めれば、フィー
ルド間の相関は低下し、従って、例えばＤＣＴ法の効率
は、フィールド符号化プロセスが用いられた時の方がよ
くなる。さらに、この状況に動き補償が関与する時は、
それぞれのフィールドに対し個々に動き補償を行なうイ
ンタフィールド符号化プロセスは、シーケンス内の対象
物の動きのより良い予測を行なう利点を有する。一般
に、フレーム符号化、フィールド符号化、および補間フ
ィールド符号化のプロセスは、シーケンス内の対象物の
動きが極めてダイナミックでありうる場合には、効率に
関しては準最適でしかない。ビデオ符号化方式の効率の
改善は、高ビットレート低減符号化方式においては特に
重要である。When the objects in an interlaced scanned video sequence remain stationary, the correlation between adjacent pixels on each line and on mutually adjacent lines is high, so that a conventional discrete cosine transform code is used. Achieving a high compression ratio in a frame encoding process (using high correlation between lines) compared to a field or interpolated field encoding process by commonly known image compression methods such as encoding methods Can be. In this case, inter-frame motion compensation can also be performed with better efficiency. However, if the objects in the sequence start to move, the correlation between the fields will be reduced, and thus, for example, the efficiency of the DCT method will be better when a field coding process is used. Furthermore, when motion compensation is involved in this situation,
An inter-field coding process that performs motion compensation individually for each field has the advantage of providing better prediction of the motion of objects in the sequence. In general, the processes of frame coding, field coding, and interpolated field coding are only suboptimal in terms of efficiency if the motion of objects in the sequence can be very dynamic. Improving the efficiency of video coding schemes is particularly important in high bit rate reduction coding schemes.

【０００７】[0007]

【課題を解決するための手段】（イントラ／インタ）フ
レーム符号化および（イントラ／インタ）フィールド符
号化プロセスを利用するためには、フレームおよびフィ
ールド符号化プロセスのいずれを使用すべきかを判断す
るためにフレームのそれぞれの領域を適応的に検査する
方法が考案されうる。そのようにして、フレーム内の静
止領域は、フレーム内の高い空間的相関を利用して、フ
レーム符号化プロセスを効率的に用いることにより符号
化される。また、シーケンス内の動く対象物に対応する
フレーム内の領域は、それぞれのフィールド内において
これらの領域内により良い相関が見出されるので、フィ
ールド符号化プロセスを用いて符号化される。SUMMARY OF THE INVENTION In order to utilize (intra / inter) frame encoding and (intra / inter) field encoding processes, it is necessary to determine which of the frame and field encoding processes to use. A method for adaptively inspecting each region of the frame can be devised. As such, stationary regions within the frame are encoded by taking advantage of the high spatial correlation within the frame and efficiently using the frame encoding process. Also, regions in the frame corresponding to moving objects in the sequence are coded using a field coding process as better correlation is found in these regions within each field.

【０００８】この方法は、まず入力インタレース走査ビ
デオ信号のそれぞれのフレームを画素データの小ブロッ
クに区分し、それぞれの該ブロック内の２フィールド間
の画素値の差を決定し、もし該ブロック内の２フィール
ド間の誤差が小さいと決定されたならば該ブロックをし
てフレーム符号化プロセスを受けしめ、そうでない場合
は該ブロックをしてフィールド符号化プロセスを受けし
めることによって行なわれうる。The method first partitions each frame of the input interlaced scanned video signal into small blocks of pixel data, determines the difference in pixel values between the two fields in each of the blocks, If the error between the two fields is determined to be small, the block may be subjected to a frame encoding process, otherwise the block may be subjected to a field encoding process.

【０００９】上述の方法によれば、フィールド間におけ
る動きを有する、すなわち相関の低いフィールドを有す
るブロックを、フィールド間において高い空間的相関を
有するブロックから分離することができ、これら２種類
のブロックにおいて最良の結果を達成するためにフィー
ルド符号化プロセスまたはフレーム符号化プロセスが最
適に適用されうる。そのフレーム符号化プロセスの場合
には、該ブロックは、ＤＣＴ法のような通常のブロック
符号化技術を用いてイントラフレーム符号化されるか、
またはインタフレーム動き補償を伴うブロック符号化技
術を用いてインタフレーム符号化されうる。フィールド
符号化プロセスの場合におけるように、前記ブロック内
の２フィールドは、サブブロックに分けられ、通常のブ
ロック符号化方法を用いてイントラフィールド符号化さ
れるか、またはインタフィールド動き補償を伴ってイン
タフィールド符号化される。According to the above-described method, a block having motion between fields, that is, a field having a low correlation can be separated from a block having a high spatial correlation between the fields. A field coding process or a frame coding process may be optimally applied to achieve the best results. In the case of the frame coding process, the block is intra-frame coded using normal block coding techniques such as DCT,
Alternatively, it may be inter-frame coded using a block coding technique with inter-frame motion compensation. As in the case of the field coding process, the two fields within the block are divided into sub-blocks and either intra-field coded using normal block coding methods or inter-field coded with inter-field motion compensation. Field encoded.

【００１０】[0010]

【発明の実施の形態】従来技術の動き補償（例えば、MP
EG Video Simulation Model Three，International Org
anization for Standardization，Coded Representatio
n of Pictureand Audio Information，1990，ISO-IEC/J
TC1/SC2/WG8 MPEG90/041参照）においては、インタレ
ース走査ビデオシーケンス内の、画像とも呼ばれうるフ
レームは３通りに分類されうる。すなわち、（１）イン
トラ符号化フレーム（すなわちＩフレーム）−それぞれ
のフレームはそれ自身からのみの情報を用いて符号化さ
れる；（２）予測符号化フレーム（すなわちＰフレー
ム）−それぞれのフレームは過去のＩまたはＰフレーム
からの動き補償された予測を用いて符号化される；
（３）２方向予測符号化フレーム（すなわちＢフレー
ム）−それぞれのフレームは過去および／または未来の
ＩまたはＰフレームからの動き補償された予測を用いて
符号化される；である。図５には、シーケンス内におけ
る３種類のフレームの配置例が示されている。Ｉフレー
ム間にあるＰフレームの数およびＩまたはＰフレーム間
にあるＢフレームの数は、必ずしもそれぞれ４および２
である必要はない。シーケンスの符号化には、他の適切
な数が用いられうる。例えばＢフレームはなくてもよ
く、あるいはＢおよびＰフレームが全くなくてもよい。DETAILED DESCRIPTION OF THE INVENTION Prior art motion compensation (eg, MP
EG Video Simulation Model Three, International Org
anization for Standardization, Coded Representatio
n of Picture and Audio Information, 1990, ISO-IEC / J
In TC1 / SC2 / WG8 MPEG90 / 041), a frame, which can be called an image, in an interlaced scanning video sequence can be classified into three types. That is, (1) intra-coded frames (i.e., I frames)-each frame is coded using information only from itself; (2) predictive coded frames (i.e., P frames)-each frame is Encoded using motion compensated predictions from past I or P frames;
(3) bi-directionally coded frames (i.e., B frames)-each frame is coded using motion compensated prediction from past and / or future I or P frames; FIG. 5 shows an example of the arrangement of three types of frames in the sequence. The number of P frames between I frames and the number of B frames between I or P frames are not necessarily 4 and 2 respectively.
Need not be. Other suitable numbers may be used to encode the sequence. For example, there may be no B frames, or no B and P frames.

【００１１】図１は、本発明の１実施の形態の方法を用
いるインタレース走査ビデオ信号符号化装置のブロック
図である。シーケンスの入力フレーム１はまずブロック
区分プロセス２により画素データのブロックに区分さ
れ、それぞれの該ブロックは、ブロック内の２フィール
ドからの画素データ間の差を検査するインタフィールド
差検出プロセス３を受ける。該インタフィールド差検出
プロセスの一例においては、ブロック輝度領域の偶奇線
対間の２乗誤差が計算され、その計算された結果が、同
じ領域の連続する奇数線対および連続する偶数線対間に
おいて計算された２乗誤差と比較される。もし、連続す
る奇数線対および偶数線対間の２乗誤差に対する偶奇線
対間の２乗誤差の比が、あらかじめ定められたスレッシ
ョルド値より大ならば、前記ブロック４はフィールド符
号化プロセス５によって符号化され、そうでない場合
は、該ブロックはフレーム符号化プロセス６によって符
号化される。２つの計算された２乗誤差の比は、ブロッ
クの活動性による多くのスレッショルドと比較されて、
より良い検出が行なわれるようにされうる。１６×１６
画素のブロックサイズ用の「Ｃ」プログラムプロシージ
ャとして構成されたインタフィールド差検出プロセスの
例は、次のように与えられる。FIG. 1 is a block diagram of an interlaced scanning video signal encoding apparatus using the method according to one embodiment of the present invention. The input frame 1 of the sequence is first partitioned by a block partitioning process 2 into blocks of pixel data, each of which undergoes an interfield difference detection process 3 which checks for differences between pixel data from two fields in the block. In one example of the interfield difference detection process, the square error between even and odd line pairs in a block luminance region is calculated and the calculated result is calculated between successive odd and consecutive even line pairs in the same region. This is compared with the calculated squared error. If the ratio of the square error between even and odd line pairs to the square error between successive odd and even line pairs is greater than a predetermined threshold value, the block 4 is processed by the field encoding process 5. If encoded, otherwise the block is encoded by a frame encoding process 6. The ratio of the two calculated squared errors is compared to a number of thresholds due to block activity,
A better detection can be made. 16x16
An example of an interfield difference detection process configured as a "C" program procedure for a block size of pixels is given as follows.

【００１２】[0012]

【表１】 [Table 1]

【００１３】上記「Ｃ」プログラムの例におけるブロッ
クサイズ、スレッショルド値の１２，１８，３０、およ
び活動値の８０００，１０００００は、もし必要なら
ば、他の適切な値に調節または拡張されうる。このイン
タフィールド差検出プロセスの結果７は、サイド情報と
して符号化される。The block size, threshold values of 12, 18, 30, and activity values of 8,000, 100,000 in the above "C" program example can be adjusted or extended to other suitable values, if necessary. The result 7 of this interfield difference detection process is encoded as side information.

【００１４】図２には、フレーム符号化プロセス６およ
びフィールド符号化プロセス５を行なう装置の実施の形
態が示されている。フレーム符号化プロセスにおいて
は、入力ブロックは、もし入力フレームがＩフレームで
あれば、フレーム再構成プロセス２１、ブロック符号化
プロセス２２、およびブロック復号化プロセス２３を含
むイントラフレーム符号化プロセスを受け、もし入力フ
レームがＩフレームでなければ、インタフレーム動き補
償プロセス２０、フレーム再構成プロセス２１、ブロッ
ク符号化プロセス２２、およびブロック復号化プロセス
２３を含むインタフレーム符号化プロセスを受ける。同
様にして、フィールド符号化プロセス５においては、入
力ブロックは、もし入力フレームがＩフレームであれ
ば、フィールド再構成プロセス２５、ブロック符号化プ
ロセス２２、およびブロック復号化プロセス２３を含む
イントラフィールド符号化プロセスを受け、そうでない
場合は、インタフィールド動き補償プロセス２６、フィ
ールド再構成プロセス２５、ブロック符号化プロセス２
２、およびブロック復号化プロセス２３を含むインタフ
ィールド符号化プロセスを受ける。フレームメモリ２８
は、ブロック復号化プロセス２３の結果から再構成され
たフレームを記憶し、それは符号化されるべき次のフレ
ームからの入力ブロックの、インタフレームまたはイン
タフィールド動き補償プロセス２０，２６において用い
られる。FIG. 2 shows an embodiment of an apparatus for performing the frame encoding process 6 and the field encoding process 5. In the frame encoding process, the input block undergoes an intra-frame encoding process including a frame reconstruction process 21, a block encoding process 22, and a block decoding process 23 if the input frame is an I-frame. If the input frame is not an I-frame, it undergoes an inter-frame encoding process including an inter-frame motion compensation process 20, a frame reconstruction process 21, a block encoding process 22, and a block decoding process 23. Similarly, in the field encoding process 5, the input block is an intra-field encoding including a field reconstruction process 25, a block encoding process 22, and a block decoding process 23 if the input frame is an I-frame. Process, otherwise, the interfield motion compensation process 26, the field reconstruction process 25, the block encoding process 2
2 and undergoes an interfield encoding process including a block decoding process 23. Frame memory 28
Stores the frame reconstructed from the result of the block decoding process 23, which is used in the interframe or interfield motion compensation processes 20, 26 of the input block from the next frame to be encoded.

【００１５】図３はインタフレーム動き補償プロセスの
１実施の形態の装置のブロック図である。インタフレー
ム動き補償プロセスへの入力ブロック２７は、入力フレ
ームの型により１つの動き補償プロセスを、すなわち、
もし入力フレームがＰフレームであればインタフレーム
動き予測プロセスを、またもし入力フレームがＢフレー
ムであればインタフレーム動き補間プロセスを、受け
る。インタフレーム動き予測プロセスにおいては、入力
ブロックは、前動きベクトル４４を評価するためのイン
タフレーム前動きベクトル検出プロセス４１を受ける。
該動きベクトルの検出においては、通常のブロック比較
技術が用いられうる。次に、前動き予測プロセス４２が
行なわれるが、これは基本的に、検出された前動きベク
トルを用いて以前に符号化されたフレームから前動き変
位ブロックを得るものである。最後に、前動き予測プロ
セス４２の結果が、動き補償モード選択プロセス４３に
おいて入力ブロック２７と比較され、２ブロックのいず
れが符号化されるべきかが判断される。そのわけは、動
き補償は、特にビデオシーケンス内において極めて速い
変化が行なわれる領域内では、必ずしも成功しないから
である。もし入力ブロックが符号化されるべきであると
判断されれば、入力ブロックの実際の値が符号化され
る。そうでない場合は、入力ブロックと前動き変位ブロ
ックとの差、すなわち前動き補償されたブロックが符号
化される。動き補償モード選択プロセスのＣ言語による
プロシージャの例は次の通りである。FIG. 3 is a block diagram of an apparatus according to an embodiment of the inter-frame motion compensation process. The input block 27 to the inter-frame motion compensation process has one motion compensation process depending on the type of input frame:
If the input frame is a P frame, it undergoes an interframe motion estimation process, and if the input frame is a B frame, it undergoes an interframe motion interpolation process. In the inter-frame motion estimation process, the input block undergoes an inter-frame pre-motion vector detection process 41 for evaluating the previous motion vector 44.
In detecting the motion vector, an ordinary block comparison technique can be used. Next, a pre-motion prediction process 42 is performed, which basically derives a pre-motion displacement block from a previously encoded frame using the detected pre-motion vector. Finally, the result of the previous motion prediction process 42 is compared with the input block 27 in a motion compensation mode selection process 43 to determine which of the two blocks is to be coded. This is because motion compensation is not always successful, especially in regions where very fast changes occur in the video sequence. If it is determined that the input block is to be coded, the actual value of the input block is coded. Otherwise, the difference between the input block and the previous motion displacement block, ie, the previous motion compensated block, is encoded. An example of a procedure in the C language for the motion compensation mode selection process is as follows.

【００１６】[0016]

【表２】 [Table 2]

【００１７】インタフレーム動き補間プロセスは、イン
タフレーム前動きベクトル検出４１、インタフレーム後
動きベクトル検出４６、前動き予測４２、前／後動き補
間４７、後動き予測４８、および動き補間モード選択４
９の諸プロセスを含む。過去および未来のＩまたはＰフ
レーム（符号化された、またはされないフレームが使用
されうる）を参照して、インタフレーム前および後動き
ベクトル検出プロセスは、通常のブロック比較技術を用
いることにより前動きベクトルおよび後動きベクトルを
評価する。２つの評価された動きベクトルを用い、前述
と同様にして、前および後動き予測プロセス４２および
４８により、前動き変位ブロックおよび後動き変位ブロ
ックが見出される。前／後動き補間プロセス４７におい
ては、前および後動き変位ブロックを平均することによ
り、前／後動き補間ブロックが計算される。前および後
動き変位ブロックを平均する時は、フレーム距離に基づ
く加重が用いられ、あるいは用いられない。上述の３つ
の動き変位および補間ブロックは入力ブロック２７と共
に、動き補間モード選択プロセス４９において比較さ
れ、いずれのブロックが符号化されるべきかが決定され
る。いずれのブロックが符号化されるべきかを決定する
１つの方法は、MPEG Video Simulation ModelThree，In
ternational Organization for Standardization，Code
d Representation of Picture and Audio Informatio
n，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041に説明さ
れている平均２乗誤差の比較による。もし決定されたブ
ロックが入力ブロックでなければ、決定されたブロック
と入力ブロックとの差が符号化される。The inter-frame motion interpolation process includes a pre-interframe motion vector detection 41, a post-interframe motion vector detection 46, a pre-motion prediction 42, a pre / post-motion interpolation 47, a post-motion prediction 48, and a motion interpolation mode selection 4.
9 processes. With reference to past and future I or P frames (encoded or unencoded frames may be used), the inter-frame pre- and post-motion vector detection process uses pre- And evaluate the post-motion vector. Using the two estimated motion vectors, the pre- and post-motion prediction processes 42 and 48 find a pre-motion displacement block and a post-motion displacement block in the same manner as described above. In the forward / backward motion interpolation process 47, a forward / backward motion interpolation block is calculated by averaging the forward and backward motion displacement blocks. When averaging the forward and backward motion displacement blocks, weighting based on frame distance is used or not used. The three motion displacement and interpolation blocks described above, along with the input block 27, are compared in a motion interpolation mode selection process 49 to determine which block is to be coded. One way to determine which blocks should be coded is to use the MPEG Video Simulation ModelThree, In
ternational Organization for Standardization, Code
d Representation of Picture and Audio Informatio
n, 1990, based on comparison of mean square error described in ISO-IEC / JTC1 / SC2 / WG8 MPEG90 / 041. If the determined block is not an input block, the difference between the determined block and the input block is encoded.

【００１８】フィールド符号化プロセス５への入力ブロ
ック２９内の２フィールドのデータは、一般に相関がな
く、あるいはインタフィールド差検出プロセス３によっ
て選択された動きを含むので、２フィールドからのデー
タに基づいて独立して動き補償を行なうインタフィール
ド動き補償が選択される。しかし、図４に示されている
インタフィールド動き補償プロセスの実施の形態は、動
きベクトル検出プロセスおよび動き変位ブロックの構成
を除外すると、インタフレーム動き補償プロセス（図
３）に極めて類似している。インタフィールド前／後動
きベクトル検出プロセス６１および６２においては、１
つの動きベクトルが、入力ブロック３０内のそれぞれの
フィールドに対して、かつ前および後方向において評価
され、従って、前動きベクトル１および２と、後動きベ
クトル１および２とが評価される。評価された動きベク
トル１および２に基づき、以前に符号化された画像から
ブロックの２つの動き変位フィールドが得られ、それに
よって動き変位ブロックおよびさらに動き補間ブロック
が、プロセス６３，６４，６５において形成される。モ
ード選択プロセス４３および４９は、インタフレーム動
き補償プロセス２０において用いられたものと同じプロ
セスである。前動きベクトル１および２または後動きベ
クトル１および２の符号化に関しては、入力ブロック内
の２フィールドにおける動きの差および以前の隣接符号
化ブロック間の動きの差は大きいものとは考えられない
ので、効率的な符号化の方法は、１フィールドの（前お
よび／または後）動きベクトルを、以前の符号化ブロッ
ク、および入力ブロック内の２フィールドの動きのデル
タ差を参照して、デルタ符号化することである。Since the two fields of data in the input block 29 to the field encoding process 5 are generally uncorrelated or include the motion selected by the interfield difference detection process 3, the two fields of data are based on the data from the two fields. Interfield motion compensation, which performs motion compensation independently, is selected. However, the embodiment of the inter-field motion compensation process shown in FIG. 4 is very similar to the inter-frame motion compensation process (FIG. 3), except for the motion vector detection process and the configuration of the motion displacement block. In the interfield pre / post motion vector detection processes 61 and 62, 1
One motion vector is evaluated for each field in the input block 30 and in the forward and backward directions, so that the front motion vectors 1 and 2 and the back motion vectors 1 and 2 are evaluated. Based on the estimated motion vectors 1 and 2, two motion displacement fields of the block are obtained from the previously coded image, whereby a motion displacement block and further a motion interpolation block are formed in processes 63, 64, 65 Is done. Mode selection processes 43 and 49 are the same processes used in interframe motion compensation process 20. Regarding the encoding of the previous motion vectors 1 and 2 or the subsequent motion vectors 1 and 2, since the motion difference between two fields in the input block and the motion difference between the previous adjacent coded blocks are not considered to be large. An efficient coding method is to delta-encode a one-field (before and / or after) motion vector by referring to the delta difference between the previous coded block and the two-field motion in the input block. It is to be.

【００１９】入力ブロック４またはインタフレーム動き
補償プロセスの出力は、フレーム再構成プロセス（図２
の参照番号２１）を受け、そこでそれは、例えばＤＣＴ
（離散コサイン変換）法に基づくブロック符号化プロセ
スに適するさらに小さいサブブロックに空間的に区分さ
れる。図６（ａ）は、４つのさらに小さい８×８サブブ
ロックに区分された、輝度データ（Ｙ）の１６×１６ブ
ロックの例を示す。フレーム再構成プロセスにおいてイ
ンタレースフィールドは、ブロック符号化プロセスがフ
ィールド間の相関を利用しうるようにするために、分離
されない。フレーム再構成プロセスは、さらに、色情報
（Ｃｒ／Ｃｂ）の解像度を低下せしめるイントラフレー
ム・サブサンプリングプロセスを含みうる。図６（ｂ）
においては、（４：２：２源における１６×１６輝度ブ
ロックと同位置にある）８×１６色ブロックの例が、そ
の色ブロックのそれぞれの偶奇線対を平均することによ
って、８×８色サブブロックにイントラフレーム・サブ
サンプリングされている。色信号のこのようなサブサン
プリングは、可視的な差を発生せしめることなく符号化
される必要のある情報量を減少させるために行なわれ
る。The input block 4 or the output of the interframe motion compensation process is the output of the frame reconstruction process (FIG. 2).
21) where it is, for example, DCT
It is spatially partitioned into smaller sub-blocks suitable for a block coding process based on the (discrete cosine transform) method. FIG. 6A shows an example of a 16 × 16 block of luminance data (Y) divided into four smaller 8 × 8 sub-blocks. In the frame reconstruction process, the interlaced fields are not separated so that the block coding process can take advantage of the correlation between the fields. The frame reconstruction process may further include an intra-frame subsampling process that reduces the resolution of the color information (Cr / Cb). FIG. 6 (b)
In the example, an 8 × 16 color block (co-located with a 16 × 16 luminance block in a 4: 2: 2 source) is transformed into an 8 × 8 color block by averaging each even-odd line pair of that color block. Intra-frame sub-sampling is performed on the sub-block. Such sub-sampling of the chrominance signal is performed to reduce the amount of information that needs to be encoded without causing visible differences.

【００２０】フィールド再構成プロセス（図２の参照番
号２５）は、インタフィールド動き補償プロセス（図２
の参照番号２６）または入力ブロック４から結果を受け
る。該プロセスは、入力の輝度データ（Ｙ）を、２フィ
ールドが分離されたさらに小さいサブブロックに区分す
る。図７（ａ）は、１６×１６入力輝度ブロックを、４
つの８×８サブブロックであってその２つが偶数フィー
ルドデータを含み、他の２つが奇数フィールドデータを
含む該４つの８×８サブブロックに区分する、そのよう
なプロセスを示す。これは、ブロック符号化プロセス
（図２の参照番号２２）が、それぞれのサブブロックに
おけるフィールド内の高相関を利用するように行なわれ
る。フィールド再構成プロセスは、さらに、それぞれの
フィールドにおける色情報（Ｃｒ／Ｃｂ）の解像度を低
下せしめるイントラフィールド・サブサンプリングプロ
セスを含む。図７（ｂ）において、８×１６色ブロック
の例は、それぞれのフィールドの全ての連続する２線を
別々に平均することによって、８×８色サブブロックに
イントラフィールド・サブサンプリングされている。こ
れらの平均された線は、２フィールドが出力サブブロッ
クにおいて分離されているように再配置される。これら
の平均された線はまた、出力サブブロックにおいてはイ
ンタレース状に配列されるが、得られる符号化効率は前
述の方法ほど良くない。The field reconstruction process (reference numeral 25 in FIG. 2) comprises an interfield motion compensation process (FIG. 2).
Or the input block 4 receives the result. The process partitions the input luminance data (Y) into smaller sub-blocks separated by two fields. FIG. 7A shows that a 16 × 16 input luminance block is represented by 4 pixels.
FIG. 4 illustrates such a process of partitioning into four 8 × 8 sub-blocks, two of which contain even field data and two of which contain odd field data. This is done so that the block coding process (reference numeral 22 in FIG. 2) takes advantage of the high correlation in the field in each sub-block. The field reconstruction process further includes an intrafield subsampling process that reduces the resolution of the color information (Cr / Cb) in each field. In FIG. 7 (b), the example of an 8 × 16 color block is intrafield subsampled into 8 × 8 color subblocks by separately averaging all two consecutive lines in each field. These averaged lines are rearranged such that the two fields are separated in the output sub-block. These averaged lines are also arranged in an interlaced fashion in the output sub-block, but the resulting coding efficiency is not as good as the method described above.

【００２１】フレームまたはフィールド再構成プロセス
によって発生せしめられるそれぞれのサブブロックは、
サブブロック内の相関を調査することにより、データ圧
縮のためのブロック符号化プロセス（図２の参照番号２
２）を受けしめられる。図８に示されているブロック符
号化装置の実施の形態は、サブブロックを離散コサイン
変換（ＤＣＴ）係数に離散コサイン変換８０（ＤＣＴ）
し、ＤＣＴ係数を出力情報８５の量を監視するレート制
御装置８４に基づいて量子化８１し、量子化されたＤＣ
Ｔ係数をジグザグ走査８２し、ジグザグ走査の結果およ
びサブブロックを記述するのに必要な全てのサイド情報
を可変長符号化８３（ＶＬＣ）して、ディジタルストレ
ージメディアまたは伝送メディアのための符号化情報８
５を発生するための手段を含む。図８に示されているブ
ロック符号化プロセスの装置化の例の詳細は、MPEG Vid
eo Simulation Model Three，International Organizat
ion for Standardization，Coded Representation of P
icture and Audio Information，1990，ISO-IEC/JTC1/S
C2/WG8 MPEG90/041に見出される。Each sub-block generated by the frame or field reconstruction process is:
By examining the correlations within the sub-blocks, the block encoding process for data compression (reference numeral 2 in FIG. 2)
2) Accepted. The embodiment of the block encoding apparatus shown in FIG. 8 converts the sub-blocks into discrete cosine transform (DCT) coefficients by a discrete cosine transform 80 (DCT).
Then, the DCT coefficient is quantized 81 based on a rate control device 84 which monitors the amount of output information 85, and the quantized DC
The T coefficient is zigzag scanned 82 and all side information necessary to describe the results of the zigzag scan and sub-blocks is variable length coded 83 (VLC) to provide coding information for digital storage media or transmission media. 8
5 means. The details of the example of the device implementation of the block encoding process shown in FIG.
eo Simulation Model Three, International Organizat
ion for Standardization, Coded Representation of P
icture and Audio Information, 1990, ISO-IEC / JTC1 / S
C2 / WG8 Found in MPEG90 / 041.

【００２２】ブロック復号化プロセス（図２の参照番号
２３）は、ブロック符号化プロセス（図２の参照番号２
２）の出力を復号化し、フレームを再構成する。ブロッ
ク復号化プロセスにより再構成されたフレームは、フレ
ームメモリ（図２の参照番号２８）内に記憶されて、イ
ンタフレーム／インタフィールド動き補償プロセス（図
２の参照番号２０および２６）によって使用される。該
ブロック復号化プロセスはまた、前記ブロック符号化プ
ロセスおよび／または前記動き補償プロセスによって作
られた、ディジタルストレージメディアまたは伝送メデ
ィアからの符号化情報を復号化するのにも用いられる。
図９は、図８に示されたブロック符号化プロセスに対応
するブロック復号化装置の実施の形態を示し、これは、
符号化情報を多重分離／ＶＬＣ復号化９０してジグザグ
走査されたサブブロックおよび含まれていたサイド情報
を再生し、該サブブロックを逆ジグザグ走査９１した後
逆量子化９２してＤＣＴ係数を再生し、該係数を逆ＤＣ
Ｔ９３し、この逆ＤＣＴの結果をして、符号化画像型
（Ｉ，Ｐ、またはＢフレーム）およびインタフィールド
差検出プロセス（図１の参照番号３）の符号化結果に従
って、インタフレームまたはインタフィールド動き補償
プロセス（図３および図４）の逆９４および９５を受け
しめることにより再構成サブブロック９６を再生し、イ
ンタフィールド差検出プロセスの符号化結果に従ってフ
レーム／フィールド再構成プロセスの逆９７および９８
を行なって再構成ブロック１００を再生し、これが次に
フレームメモリ１０１内に記憶せしめられて逆動き補償
プロセス９４または９５に、あるいはモニタスクリーン
上への表示に用いられるようにする手段を含む。もしブ
ロック復号化プロセスがビデオ信号符号器内においてブ
ロック符号化プロセスと共に用いられるべき場合は、逆
量子化器への入力および他のサイド情報はブロック符号
化プロセスにおける対応する諸プロセスから直接得られ
るので、多重分離器／ＶＬＣ復号器および逆ジグザグ走
査装置は省略されうる。The block decoding process (reference numeral 23 in FIG. 2) corresponds to the block encoding process (reference numeral 2 in FIG. 2).
Decode the output of 2) and reconstruct the frame. The frames reconstructed by the block decoding process are stored in a frame memory (reference numeral 28 in FIG. 2) and used by the interframe / interfield motion compensation process (reference numerals 20 and 26 in FIG. 2). . The block decoding process is also used to decode encoded information from digital storage media or transmission media created by the block encoding process and / or the motion compensation process.
FIG. 9 shows an embodiment of a block decoding device corresponding to the block encoding process shown in FIG.
The encoded information is demultiplexed / VLC decoded 90 to reproduce the zigzag-scanned sub-blocks and the included side information. The sub-blocks are inversely zigzag-scanned 91 and then inversely quantized 92 to reproduce the DCT coefficients. And the coefficient is inverse DC
T93, the result of the inverse DCT is used to calculate the interframe or interfield according to the coding image type (I, P, or B frame) and the coding result of the interfield difference detection process (reference numeral 3 in FIG. 1). The reconstruction sub-block 96 is reconstructed by receiving the inverses 94 and 95 of the motion compensation process (FIGS. 3 and 4), and the inverses 97 and 98 of the frame / field reconstruction process according to the coding result of the interfield difference detection process.
To reproduce the reconstructed block 100 which is then stored in the frame memory 101 for use in the inverse motion compensation process 94 or 95 or for display on a monitor screen. If the block decoding process is to be used in a video signal encoder with the block encoding process, the input to the inverse quantizer and other side information is obtained directly from the corresponding processes in the block encoding process. , The demultiplexer / VLC decoder and the inverse zigzag scanner may be omitted.

【００２３】[0023]

【発明の効果】以上説明したように、入力フレームは画
素データの小ブロックに区分され、それぞれのブロック
内の２フィールドは相関について検査される。もしブロ
ック内の２フィールド間の差が小さければ（すなわち相
関が高ければ）、そのブロックは、ブロック内の全ての
線が順次走査されるフレーム符号化プロセスにより、従
って効率的に設計されるインタフレーム動き補償プロセ
スおよび色データのイントラフレーム・サブサンプリン
グプロセスを用いて、符号化される。一方、もしブロッ
ク内の２フィールド間の差が大きければ（すなわち相関
が低ければ）、そのブロックは、それぞれのフィールド
内の（イントラフィールド）相関およびそれぞれのフィ
ールドとその隣接フィールドとの（インタフィールド）
相関の調査が強化されるフィールド符号化プロセスによ
って符号化され、さらに、このようなブロックにおいて
は、色データのイントラフィールド・サブサンプリング
はより良く行なわれる。一般のビデオシーケンスにおい
ては、それぞれの画像フレーム内における相関レベル
は、静止情景または対象物を含む領域と、動く情景また
は対象物を含む領域との間では相異なる。従って、本発
明は、これら２つの型の領域を、それぞれの領域の型に
より適する方法によって、より効率的に、または適応的
に符号化する効果を提供する。固定ビットレートのビデ
オ符号化システムにおいては、本発明は、より良い再構
成画像品質を与える効果を提供する。As described above, an input frame is partitioned into small blocks of pixel data, and two fields within each block are checked for correlation. If the difference between two fields in a block is small (ie, the correlation is high), the block is inter-frame, which is designed by a frame encoding process in which all lines in the block are scanned sequentially, and thus efficiently. It is encoded using a motion compensation process and an intra-frame sub-sampling process for color data. On the other hand, if the difference between two fields in a block is large (i.e., the correlation is low), then the block will have the (intra-field) correlation in each field and the (inter-field) between each field and its neighboring fields.
Correlation studies are coded by an enhanced field coding process, and in such blocks, intra-field subsampling of color data is better. In a typical video sequence, the level of correlation within each image frame is different between regions containing still scenes or objects and regions containing moving scenes or objects. Thus, the present invention provides the effect of encoding these two types of regions more efficiently or adaptively in a way that is more suitable for the type of each region. In a fixed bit rate video coding system, the present invention provides the advantage of providing better reconstructed image quality.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の一実施の形態に係るインタレース走査
ビデオ符号化方法のブロック図FIG. 1 is a block diagram of an interlaced scan video encoding method according to an embodiment of the present invention.

【図２】本発明の該実施の形態の一部を示す、フレーム
符号化プロセスおよびフィールド符号化プロセスのブロ
ック図FIG. 2 is a block diagram of a frame encoding process and a field encoding process, showing a part of the embodiment of the present invention;

【図３】本発明の前記実施の形態の一部を示す、インタ
フレーム動き補償プロセスのブロック図FIG. 3 is a block diagram of an interframe motion compensation process, showing part of the embodiment of the present invention.

【図４】本発明の前記実施の形態の一部を示す、インタ
フィールドブロック動き補償プロセスのブロック図FIG. 4 is a block diagram of an interfield block motion compensation process, showing part of the embodiment of the present invention.

【図５】Ｉ画像，Ｐ画像、およびＢ画像の配置および関
係の例の説明図FIG. 5 is an explanatory diagram of an example of the arrangement and relationship of an I image, a P image, and a B image.

【図６】（ａ）は、フレーム再構成プロセスの効果例の
説明図 （ｂ）は、色データに対するイントラフレーム・サブサ
ンプリングプロセスの例を示す説明図FIG. 6A is an explanatory diagram of an effect example of a frame reconstruction process. FIG. 6B is an explanatory diagram showing an example of an intra-frame subsampling process for color data.

【図７】（ａ）は、フィールド再構成の効果例を示す説
明図 （ｂ）は、色データに対するイントラフィールド・サブ
サンプリングプロセスの例を示す説明図FIG. 7A is an explanatory diagram showing an example of the effect of field reconstruction; FIG. 7B is an explanatory diagram showing an example of an intra-field subsampling process for color data;

【図８】本発明の一実施の形態の一部に係るブロック符
号化プロセスのブロック図FIG. 8 is a block diagram of a block encoding process according to one embodiment of the present invention.

【図９】本発明の一実施の形態におけるブロック復号化
プロセスのブロック図FIG. 9 is a block diagram of a block decoding process in one embodiment of the present invention.

【符号の説明】[Explanation of symbols]

２ ブロック区分プロセス ３ インタフィールド差検出プロセス ５ フィールド符号化プロセス ６ フレーム符号化プロセス ２０ インタフレーム動き補償プロセス ２１ フレーム再構成プロセス ２２ ブロック符号化プロセス ２３ ブロック復号化プロセス ２５ フィールド再構成プロセス ２６ インタフィールド動き補償プロセス 2 Block partitioning process 3 Interfield difference detection process 5 Field encoding process 6 Frame encoding process 20 Interframe motion compensation process 21 Frame reconstruction process 22 Block encoding process 23 Block decoding process 25 Field reconstruction process 26 Interfield motion Compensation process

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 MA02 MA03 MA04 MA05 MA14 MA23 MC11 MC38 ME01 PP05 PP06 PP07 PP16 TA24 TB07 TC03 TD05 TD06 TD12 UA02 UA05  ──────────────────────────────────────────────────の Continued on the front page F term (reference) 5C059 MA02 MA03 MA04 MA05 MA14 MA23 MC11 MC38 ME01 PP05 PP06 PP07 PP16 TA24 TB07 TC03 TD05 TD06 TD12 UA02 UA05

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 インタレース走査ディジタルビデオ信号
のフレームを画素データのブロックに区分するステップ
と、 前記ブロック内の２フィールド間の画素値の差を決定す
るステップと、 前記画素値の差に応じて前記ブロックをフィールド符号
化処理するかフレーム符号化処理する符号化ステップと
を記録したメディアであって、 前記符号化ステップは、前記ブロックを、前動きベクト
ルを用いたインタフィールド動き補償処理をするか、後
ろ動きベクトルを用いたインタフィールド動き補償処理
をするか、双方の動きベクトルを用いたインタフィール
ド動き補償処理をするか、もしくは、前動きベクトルを
用いたインタフレーム動き補償処理をするか、後ろ動き
ベクトルを用いたインタフレーム動き補償処理をする
か、双方の動きベクトルを用いたインタフレーム動き補
償処理をするか、のいずれかを行うステップを有し、 符号化した前記ビデオ信号を前記フィールド符号化処理
したか前記フレーム符号化処理したかを示す第１のサイ
ド情報と、前記フィールド符号化処理及び前記フレーム
符号化処理の夫々において、前動きベクトルを用いて動
き補償処理をしたか、後ろ動きベクトルを用いて動き補
償処理をしたか、又は、前及び後ろの双方の動きベクト
ルを用いて動き補償処理をしたかを示す第２のサイド情
報とを発生させるステップとを含む方法により生成され
た、前記符号化処理されたビデオ信号と前記第１のサイ
ド情報と前記第２のサイド情報とを記録したメディア。A step of dividing a frame of an interlaced scanned digital video signal into blocks of pixel data; a step of determining a pixel value difference between two fields in the block; and a step of responding to the pixel value difference. A medium that records an encoding step of performing field encoding processing or frame encoding processing on the block, wherein the encoding step performs inter-field motion compensation processing on the block using a previous motion vector. Whether to perform inter-field motion compensation using the back motion vector, perform inter-field motion compensation using both motion vectors, or perform inter-frame motion compensation using the previous motion vector. Either perform inter-frame motion compensation processing using motion vectors or both motion vectors Or performing an inter-frame motion compensation process using a first side information indicating whether the coded video signal has been subjected to the field coding process or the frame coding process. And in each of the field encoding process and the frame encoding process, whether a motion compensation process was performed using a front motion vector, a motion compensation process was performed using a rear motion vector, or both front and rear. Generating the second side information indicating whether the motion compensation processing has been performed using the motion vector of the coded video signal, the first side information, and the second side information. Media recording second side information.