JP2007513566A - Video coding method and apparatus - Google Patents

Video coding method and apparatus Download PDF

Info

Publication number
JP2007513566A
JP2007513566A JP2006542495A JP2006542495A JP2007513566A JP 2007513566 A JP2007513566 A JP 2007513566A JP 2006542495 A JP2006542495 A JP 2006542495A JP 2006542495 A JP2006542495 A JP 2006542495A JP 2007513566 A JP2007513566 A JP 2007513566A
Authority
JP
Japan
Prior art keywords
block
encoding
mode
predetermined
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006542495A
Other languages
Japanese (ja)
Inventor
ジョン，ビョン−ウー
リー，ジェ−ユン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020040006651A external-priority patent/KR20050053297A/en
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2007513566A publication Critical patent/JP2007513566A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、動画符号化時に符号化モードを速く決定し、その符号化モード下で動画を符号化する方法及び装置を提供する。
本発明に係る映像符号化方法は、（ａ）映像の符号化に使用される複数の符号化モードのうち、映像を構成する所定大きさのブロックが、所定の第１モードに対応する条件を満足するか否かを判断するステップと、（ｂ）所定の条件を満足する場合には、第１モードをブロックの符号化モードと決定するステップとを含むことを特徴とする。これにより、画質の大きな低下なしに映像の符号化を迅速に行える。
The present invention provides a method and apparatus for quickly determining an encoding mode during moving image encoding and encoding a moving image under the encoding mode.
In the video encoding method according to the present invention, (a) among a plurality of encoding modes used for video encoding, a block having a predetermined size constituting a video satisfies a condition corresponding to a predetermined first mode. A step of determining whether or not the condition is satisfied; and (b) a step of determining the first mode as a block coding mode when a predetermined condition is satisfied. As a result, it is possible to quickly encode a video without causing a significant deterioration in image quality.

Description

本発明は、動画符号化に係り、さらに詳細には、動画符号化時に符号化モードを速く決定し、その符号化モード下で動画を符号化する方法及び装置に関する。   The present invention relates to moving image encoding, and more particularly, to a method and apparatus for quickly determining an encoding mode during moving image encoding and encoding a moving image under the encoding mode.

動画の圧縮に関するＨ．２６４標準によって動画を符号化するためには、一つのピクチャをマクロブロックに分ける。そして、それぞれのマクロブロックをインタープリディクションでの全ての符号化モード及びイントラプリディクションでの全ての符号化モードで符号化した後に、マクロブロックの符号化に所要されるビット率及び元のマクロブロックと復号化されたマクロブロックとの歪曲程度によって符号化モードを一つ決めて符号化する。   H. on video compression In order to encode a moving picture according to the H.264 standard, one picture is divided into macro blocks. Then, after encoding each macroblock in all encoding modes in interpretation and in all encoding modes in intraprediction, the bit rate required for encoding the macroblock and the original One encoding mode is determined according to the degree of distortion between the macroblock and the decoded macroblock.

インターモードは、現在ピクチャのマクロブロックを符号化するために、参照ピクチャから選択された一つまたは複数のブロックの位置を表す動きベクトルの情報と画素値との差を符号化するインタープリディクションで使用されるモードである。Ｈ．２６４標準では、参照ピクチャを最大５個まで有しうるので、参照ピクチャを保存したフレームメモリ内で参照ピクチャを検索して、現在マクロブロックが参照するブロックを探す。フレームメモリに保存される参照ピクチャは、現在ピクチャを基準に過去ピクチャまたは未来ピクチャとなりうる。   The inter mode encodes a difference between a pixel value and a motion vector information indicating a position of one or a plurality of blocks selected from a reference picture in order to encode a macroblock of a current picture. Is the mode used in H. In the H.264 standard, since there can be up to five reference pictures, the reference picture is searched in the frame memory in which the reference picture is stored, and the block to which the current macroblock refers is searched. The reference picture stored in the frame memory can be a past picture or a future picture based on the current picture.

イントラモードは、現在ピクチャのマクロブロックを符号化するために参照ピクチャを参照するのではなく、符号化しようとするマクロブロックと空間的に隣接した画素値を利用して、符号化しようとするマクロブロックについての予測値を計算した後、この予測値と画素値との差を符号化するイントラプリディクションで使用されるモードである。   Intra mode does not refer to a reference picture to encode a macroblock of the current picture, but uses a pixel value that is spatially adjacent to the macroblock to be encoded and uses the macro value to be encoded. This mode is used in intra-prediction in which the difference between the predicted value and the pixel value is encoded after calculating the predicted value for the block.

ところが、インターモードでは、マクロブロックをどのように分けるかによって非常に多くのモードが存在し、イントラモードでは、予測方向によって多様なモードが存在する。したがって、このような全てのモードのうち最適のモードを決定することは、映像符号化性能の決定に重要なものである。このために、通常的には可能な全てのモードに対して、それぞれ率−歪曲コスト（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ：ＲＤｃｏｓｔ）を計算して、その値の最小であるモードを符号化モードとして選択する。しかし、この過程は、映像の符号化に時間及びコストが非常に多くかかるという問題点がある。   However, in the inter mode, there are a large number of modes depending on how the macroblock is divided, and in the intra mode, there are various modes depending on the prediction direction. Therefore, determining the optimum mode among all such modes is important for determining video coding performance. For this reason, a rate-distortion cost (RDcost) is calculated for all possible modes, and the mode having the smallest value is selected as the encoding mode. However, this process has a problem in that it takes much time and cost to encode the video.

したがって、本発明が解決しようとする技術的課題は、符号化モードの決定に当たって、所定の順序に応じて符号化モードの決定過程を行うことによって、符号化モードを速く決定して動画を符号化する方法及び装置を提供することである。   Therefore, the technical problem to be solved by the present invention is to determine a coding mode in accordance with a predetermined order in coding mode determination, thereby quickly determining a coding mode and coding a moving image. A method and apparatus is provided.

前記技術的課題は、本発明によって、映像の符号化方法において、（ａ）前記映像の符号化に使用される複数の符号化モードのうち、前記映像を構成する所定大きさのブロックが、所定の第１モードに対応する条件を満足するか否かを判断するステップと、（ｂ）前記所定の条件を満足する場合には、前記第１モードを前記ブロックの符号化モードと決定するステップとを含むことを特徴とする符号化方法により達成される。   The technical problem is that according to the present invention, in the video encoding method, (a) among a plurality of encoding modes used for encoding the video, a block of a predetermined size constituting the video is predetermined. Determining whether or not a condition corresponding to the first mode is satisfied; and (b) determining that the first mode is an encoding mode of the block if the predetermined condition is satisfied; It is achieved by an encoding method characterized by including:

また、前記技術的課題は、映像の符号化方法において、（ａ）前記映像を構成する現在ピクチャでの所定大きさのブロックに対して、インターモード下で参照ピクチャの参照ブロックとの時間的類似度を計算するステップと、（ｂ）前記計算された時間的類似度及び、前記ブロックと前記現在ピクチャから隣接したブロックとの空間的類似度の差によって、イントラモード下での符号化過程を省略するか否かを決定するステップと、を含むことを特徴とする符号化方法によっても達成される。   Further, the technical problem is that, in the video encoding method, (a) temporal similarity between a block of a predetermined size in the current picture constituting the video and a reference block of a reference picture under the inter mode And (b) omitting the encoding process under the intra mode according to the calculated temporal similarity and the difference in spatial similarity between the block and the block adjacent to the current picture. Determining whether or not to perform the encoding method.

また、前記技術的課題は、前述した映像符号化のための装置によっても達成される。   The technical problem is also achieved by the above-described apparatus for video encoding.

また、前記技術的課題は、前述した映像符号化のための方法を行うプログラムが具現されたコンピュータで読み取り可能な媒体によっても達成される。   The technical problem is also achieved by a computer-readable medium in which a program for performing the above-described video encoding method is implemented.

以下、添付された図面を参照して本発明の望ましい実施例について詳細に説明する。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

本発明に係る符号化装置は、動画データを符号化する。動画データは、時間軸上に配列される複数のピクチャから構成され、ピクチャは、複数のブロックから構成される。ブロックは、マクロブロック、マクロブロックを垂直または水平方向に二分割または四分割して得られたサブブロックを含む。マクロブロックの分割については、図２を参照して後述する。   The encoding device according to the present invention encodes moving image data. The moving image data is composed of a plurality of pictures arranged on the time axis, and the picture is composed of a plurality of blocks. The block includes a macroblock and a subblock obtained by dividing the macroblock into two or four in the vertical or horizontal direction. The division of the macroblock will be described later with reference to FIG.

図１は、本発明の望ましい実施例に係る符号化装置のブロック図である。   FIG. 1 is a block diagram of an encoding apparatus according to a preferred embodiment of the present invention.

符号化装置は、動き推定部１０２、動き補償部１０４、イントラプリディクション実行部１０６、変換部１０８、量子化部１１０、再配列部１１２、エントロピーコーディング部１１４、逆量子化部１１６、逆変還部１１８、フィルタ１２０及びフレームメモリ１２２を備える。   The encoding apparatus includes a motion estimation unit 102, a motion compensation unit 104, an intra-prediction execution unit 106, a conversion unit 108, a quantization unit 110, a rearrangement unit 112, an entropy coding unit 114, an inverse quantization unit 116, an inverse variation. A return unit 118, a filter 120, and a frame memory 122 are provided.

符号化装置は、多様な符号化モードから選択された一つの符号化モード下で、現在ピクチャのマクロブロックに対して符号化を行う。このために、前述したインタープリディクション及びイントラプリディクションが有しうる全てのモード下で符号化を行って、ＲＤｃｏｓｔを計算して、その値が最小であるモードを最適モードとして決めて、そのモード下で符号化を行う。ＲＤｃｏｓｔについては後述する。しかし、本発明の符号化モードの決定方法で最適のモードを決定することは、ＲＤｃｏｓｔの計算だけでなく、多様な方法によって行える。   The encoding apparatus performs encoding on the macroblock of the current picture under one encoding mode selected from various encoding modes. For this purpose, encoding is performed under all modes that the above-described interpretation and intra-prediction may have, RDcost is calculated, and the mode having the smallest value is determined as the optimum mode, Encoding is performed under that mode. RDcost will be described later. However, the optimum mode can be determined by the encoding mode determination method of the present invention by various methods in addition to the calculation of RDcost.

インタープリディクションのために、現在ピクチャのマクロブロックの予測値を参照ピクチャで探すことは、動き推定部１０２で行われる。そして、動き補償部１０４は、１／２画素または１／４画素単位で参照ブロックが探された場合には、これら中間画素値を計算して参照ブロックデータ値を決定する。このようにインタープリディクションは、動き推定部１０２及び動き補償部１０４で行われる。   The motion estimation unit 102 searches the reference picture for the predicted value of the macroblock of the current picture for interpretation. Then, when a reference block is found in units of 1/2 pixel or 1/4 pixel, the motion compensation unit 104 determines the reference block data value by calculating these intermediate pixel values. In this way, the interpretation is performed by the motion estimation unit 102 and the motion compensation unit 104.

また、現在ピクチャのマクロブロックの予測値を現在ピクチャ内で探すイントラプリディクションが、イントラプリディクション実行部１０６で行われる。現在マクロブロックに対してインタープリディクションを行うか、またはイントラプリディクションを行うかは、全ての符号化モード下でのＲＤｃｏｓｔを計算して、その値が最小であるモードを前記ブロックの符号化モードとして決定して、マクロブロックに対する符号化を行う。   Also, intra prediction execution unit 106 performs intra prediction for searching for a predicted value of a macroblock of the current picture in the current picture. Whether the current macroblock is to be interpreted or intrapredicted is calculated by calculating the RDcost under all coding modes, and selecting the mode with the smallest value as the code of the block. Encoding is performed on the macroblock.

前述したように、インタープリディクションまたはイントラプリディクションが実行されて、現在フレームのマクロブロックが参照する予測データが探されたならば、これを現在ピクチャのマクロブロックから引いて、変換部１０８で変換を行った後に、量子化部１１０で量子化を行う。現在フレームのマクロブロックから動き推定された参照ブロックを引いたものを残差というが、符号化時のデータ量を減らすために、残差値を符号化することである。量子化された残差値は、エントロピーコーディング部１１４でエンコーディングするために再配列部１１２を経る。   As described above, when the prediction data referred to by the macroblock of the current frame is found through the execution of the interpredation or intraprediction, the prediction data is subtracted from the macroblock of the current picture, and converted by the conversion unit 108. After performing the transformation at, the quantization unit 110 performs the quantization. A difference obtained by subtracting a motion-estimated reference block from a macroblock of the current frame is called a residual, which is to encode a residual value in order to reduce the amount of data at the time of encoding. The quantized residual value passes through the rearrangement unit 112 for encoding by the entropy coding unit 114.

一方、インタープリディクションに使用される参照ピクチャを得るために、量子化されたピクチャを逆量子化部１１６及び逆変還部１１８を経て、現在ピクチャを復元する。このように復元された現在ピクチャは、フレームメモリに保存されて、次のピクチャに対するインタープリディクションの実行に使用される。復元されたピクチャがフィルタ１２０を通過すれば、本来のピクチャで若干の符号化エラーを含むピクチャとなる。   On the other hand, in order to obtain a reference picture used for interpretation, the current picture is restored by passing the quantized picture through the inverse quantization unit 116 and the inverse transform unit 118. The current picture restored in this way is stored in the frame memory and used for execution of interpretation for the next picture. If the restored picture passes through the filter 120, the original picture becomes a picture including some coding errors.

図２は、インタープリディクション時にマクロブロックが有しうる可変ブロックを示す図である。   FIG. 2 is a diagram illustrating variable blocks that a macroblock may have at the time of interpretation.

Ｈ．２６４でのインタープリディクションで、一つの１６×１６マクロブロックは、１６×１６、１６×８、８×１６、または８×８ブロックに分けられ、それぞれの８×８ブロックは、さらに小さな単位の８×４、４×８、４×４ブロックに分けられうる。このように分けられたそれぞれのサブブロックに対して動き推定及び補償が実行されて、動きベクトルが決まる。このような多様な種類の可変ブロックを使用してインタープリディクションを行えば、映像の特性及び動きによって効果的に符号化を行える。   H. In the H.264 interpretation, one 16 × 16 macroblock is divided into 16 × 16, 16 × 8, 8 × 16, or 8 × 8 blocks, and each 8 × 8 block is divided into smaller units. 8 × 4, 4 × 8, and 4 × 4 blocks. Motion estimation and compensation are performed on each of the sub-blocks thus divided to determine a motion vector. If interpretation is performed using such various types of variable blocks, encoding can be effectively performed according to video characteristics and motion.

図３は、符号化を行う現在ピクチャのそれぞれのマクロブロックに割当てられたブロック状の一例を示す図である。図３に示すように、映像の動きが少なく、物体が大きい場合には、大きいブロックを使用し、映像の動きが複雑であり、物体が小さい場合には、小さいブロックを使用してインタープリディクションを行うように、可変ブロックの大きさが割当てられるということが分かる。   FIG. 3 is a diagram illustrating an example of a block shape allocated to each macroblock of a current picture to be encoded. As shown in FIG. 3, when the video motion is small and the object is large, a large block is used. When the video motion is complex and the object is small, the small block is used to interpret. It can be seen that the size of the variable block is assigned to perform the operation.

したがって、一つのマクロブロックが有しうるサブブロックの種類は非常に多い。前述したように、一つのマクロブロックが１６×８、８×１６、８×８に分けられ、それぞれの８×８ブロックは、８×４、４×８、４×４ブロックにさらに小さく分けられ得るので、一つのマクロブロックが有しうるモードの種類は、１６×１６、１６×８、８×１６、８×８の４種類と、それぞれの８×８ブロックが４種類の場合が存在するので、（４×４×４×４−１）＝２５５種類で、全て４＋２５５＝２５９種類のモードが存在する。したがって、インタープリディクションでは、全て２５９種類のブロック状に対してＲＤｃｏｓｔを計算して一つのモードを決定せねばならないので、計算量が非常に多い。   Therefore, there are many types of subblocks that one macroblock can have. As described above, one macro block is divided into 16 × 8, 8 × 16, and 8 × 8, and each 8 × 8 block is further divided into 8 × 4, 4 × 8, and 4 × 4 blocks. As a result, there are four types of modes that a single macroblock can have: 16 × 16, 16 × 8, 8 × 16, and 8 × 8, and there are four types of each 8 × 8 block. Therefore, there are (4 × 4 × 4 × 4-1) = 255 types, and all 4 + 255 = 259 types of modes exist. Therefore, in the interpretation, since RDcost must be calculated for all 259 types of block shapes and one mode must be determined, the amount of calculation is very large.

図４は、予測しようとする輝度（ｌｕｍｉｎａｎｃｅ：ｌｕｍａ）ブロックＰ及び予測に使用される隣接ブロックを示す図である。   FIG. 4 is a diagram illustrating a luminance (luma) block P to be predicted and adjacent blocks used for prediction.

イントラプリディクションは、輝度及び色度に対してそれぞれ実行される。あるブロックがイントラモードでエンコーディングされていれば、予測しようとするブロックＰ４１０は、そのブロックに隣接したデコーディングされたブロックＡな〜Ｌを利用して予測される。予測は、輝度ブロックだけでなく、色度（Ｕ信号、Ｖ信号）ブロックに対しても実行される。輝度予測ブロックＰ４１０は、複数の４ｘ４ブロックから構成された１６ｘ１６ブロックである。ここで、ａないしｐは、予測しようとする４ｘ４ブロックであり、Ａ、Ｂ、Ｃ、Ｄ及びＩ、Ｊ、Ｋ、Ｌは、予測に使用されるブロックである。   Intraprediction is performed for luminance and chromaticity, respectively. If a block is encoded in the intra mode, the block P410 to be predicted is predicted using the decoded blocks A to L adjacent to the block. The prediction is performed not only on the luminance block but also on the chromaticity (U signal, V signal) block. The luminance prediction block P410 is a 16 × 16 block composed of a plurality of 4 × 4 blocks. Here, a to p are 4 × 4 blocks to be predicted, and A, B, C, D and I, J, K, and L are blocks used for prediction.

イントラプリディクションは、予測しようとするブロックの大きさによって、４ｘ４予測及び１６ｘ１６予測の２種類がある。そして、予測する方向によって、４ｘ４予測には９種類のモードがあり、１６ｘ１６予測には４種類のモードがある。４ｘ４予測モードは、予測しようとする４ｘ４ブロックに隣接したブロックＡ、Ｂ、Ｃ、Ｄ及びＩ、Ｊ、Ｋ、Ｌの画素値を利用して予測サンプルを求めるときの予測方向によって分けられる。   There are two types of intra prediction, 4 × 4 prediction and 16 × 16 prediction, depending on the size of the block to be predicted. Depending on the direction of prediction, there are 9 types of modes for 4x4 prediction and 4 types of modes for 16x16 prediction. The 4 × 4 prediction mode is divided according to a prediction direction when a prediction sample is obtained using pixel values of blocks A, B, C, D and I, J, K, and L adjacent to the 4 × 4 block to be predicted.

さらに具体的には、４ｘ４イントラ輝度予測モードは、ｖｅｒｔｉｃａｌモード、ｈｏｒｉｚｏｎｔａｌモード、ＤＣモード、ｄｉａｇｏｎａｌ＿ｄｏｗｎ＿ｌｅｆｔモード、ｄｉａｇｏｎａｌ＿ｄｏｗｎ＿ｒｉｇｈｔモード、ｖｅｒｔｉｃａｌ＿ｒｉｇｈｔモード、ｈｏｒｉｚｏｎｔａｌ＿ｄｏｗｎモード、ｖｅｒｔｉｃａｌ＿ｕｐモード、ｈｏｒｉｚｏｎｔａｌ＿ｕｐモードがある。そして、１６ｘ１６イントラ輝度予測モードは、ｖｅｒｔｉｃａｌモード、ｈｏｒｉｚｏｎｔａｌモード、ＤＣモード、ｐｌａｎｅモードの全部４種類がある。したがって、これらの多様なモードでのＲＤｃｏｓｔを計算せねばならないので、インタープリディクションと同様に、計算量が非常に多い。   More specifically, the 4 × 4 intra luminance prediction mode includes a vertical mode, a horizontal mode, a DC mode, a diagonal_down_left mode, a diagonal_down_right mode, a vertical_right mode, a horizontal_down mode, and a vertical mode, vertical mode, and vertical mode. There are four types of 16 × 16 intra luminance prediction modes: a vertical mode, a horizontal mode, a DC mode, and a plane mode. Therefore, since the RDcost in these various modes must be calculated, the amount of calculation is very large as in the case of interpretation.

図５Ａないし図５Ｂは、予測動きベクトル（Ｐｒｅｄｉｃｔｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ；ＰＭＶ）の計算を説明するための図である。   5A to 5B are diagrams for explaining calculation of a predicted motion vector (PMV).

図５Ａを参照して説明するに、現在マクロブロックＣは、隣接マクロブロックの動きベクトルと相互類似している確率が高い。したがって、現在マクロブロックＣの動きベクトルを、Ｃと隣接したマクロブロックであるＡ、Ｂ、Ｄの動きベクトルを利用して推測する。推測する一例としては、Ａ、Ｂ、Ｄマクロブロックの動きベクトルの中間値が取れる。このように推測された動きベクトルをＰＭＶとし、符号化時には実際動きベクトルでＰＭＶを引いて符号化する。   As will be described with reference to FIG. 5A, the current macroblock C has a high probability of being similar to the motion vector of the adjacent macroblock. Therefore, the motion vector of the current macroblock C is estimated using the motion vectors of A, B, and D, which are macroblocks adjacent to C. As an example of estimation, an intermediate value of motion vectors of A, B, and D macroblocks can be taken. The motion vector estimated in this way is set as PMV, and at the time of encoding, the PMV is subtracted from the actual motion vector for encoding.

図５Ｂに示すように、もし、現在ブロックＣ’のブロックの大きさと、隣接マクロブロックの分割されたブロックの大きさとが相異なる場合には、隣接マクロブロックの分割されたいずれのブロックを隣接ブロックとして決定するかが問題となる。このときには、現在ブロックの上側と隣接したブロックでは、最左側に位置するブロックであるＡ’ブロックを、そして、現在ブロックの上側の最右側の画素と右上側に対角線に隣接したブロックであるＢ’ブロックを、また、現在ブロックの左側と隣接したブロックでは、最上側に存在するブロックであるＤ’ブロックを選択する。このように選択されたブロックＡ’、Ｂ’、Ｄ’の動きベクトルを利用して、ＰＭＶを計算する。   As shown in FIG. 5B, if the size of the block of the current block C ′ is different from the size of the divided block of the adjacent macroblock, any of the divided blocks of the adjacent macroblock is changed to the adjacent block. It becomes a problem whether to decide as. At this time, in the block adjacent to the upper side of the current block, the A ′ block that is the leftmost block is selected, and the rightmost pixel on the upper side of the current block and the block B ′ that is adjacent to the upper right side diagonally. In the block and the block adjacent to the left side of the current block, the D ′ block which is the uppermost block is selected. The PMV is calculated using the motion vectors of the blocks A ′, B ′, and D ′ thus selected.

Ｈ．２６４符号化時には、前述したインタープリディクションから選択された一つのモード及びイントラプリディクションから選択された一つのモードのうち、何れか一つのモードを選択して予測を行う。何なるモードを選択して予測を行うかによって、Ｈ．２６４の圧縮効率が変わるが、最も良好なモードを選択するために、全てのモードを適用してブロックの予測を行い、ＲＤｃｏｓｔを計算する。   H. At the time of H.264 encoding, prediction is performed by selecting any one mode from one mode selected from the above-described interpretation and one mode selected from intra-prediction. Depending on what mode is selected for prediction, H. H.264 compression efficiency changes, but in order to select the best mode, block prediction is performed by applying all modes, and RDcost is calculated.

図６は、ＲＤｃｏｓｔの計算を説明するための図である。   FIG. 6 is a diagram for explaining calculation of RDcost.

率（Ｒａｔｅ；Ｒ）は、ビット率を意味するものであって、一つのマクロブロックの符号化に使用されるビット数を表す。したがって、率は、インタープリディクションまたはイントラプリディクションが実行された後の残差信号が変換及び量子化部６１０を経て、可変長コーディング部６２０を通過して得られたビット数と、動きベクトル情報が可変長コーディング部６２０を経たときのビット数、及び参照ピクチャ情報が可変長コーディング部６２０を経たときのビット数を全て合算した値である。一方、歪曲（Ｄｉｓｔｏｒｔｉｏｎ；Ｄ）は、符号化が実行された映像を復号化したときの本来のマクロブロックと、デコーディングされたマクロブロックとの差である。したがって、歪曲Ｄは、逆量子化及び逆変還部６３０を経て本来のマクロブロックが復元されれば分かる値である。このように得られた率及び歪曲を有し、ＲＤｃｏｓｔ計算部６４０でＲＤｃｏｓｔが次の式（１）によって計算される。   Rate (R) means a bit rate and represents the number of bits used for encoding one macroblock. Therefore, the rate is the number of bits obtained by passing the residual signal after the execution of the interprediction or intraprediction through the transform and quantization unit 610 and the variable length coding unit 620, and the motion. This is a value obtained by adding together the number of bits when the vector information passes through the variable length coding unit 620 and the number of bits when the reference picture information passes through the variable length coding unit 620. On the other hand, distortion (D) is the difference between the original macroblock when the encoded video is decoded and the decoded macroblock. Therefore, the distortion D is a value that can be understood if the original macroblock is restored through the inverse quantization and inverse transform unit 630. The RDcost is calculated by the following equation (1) by the RDcost calculation unit 640 having the rate and distortion obtained as described above.

Figure 2007513566
式（１）でＤｉｓｔｏｒｔｉｏｎは、現在マクロブロックとエンコーディングされて、デコーディングされて復元された該マクロブロックとの画素値の差を意味し、次の式（２）によって計算される。そして、Ｒａｔｅは、前述した方法により計算されたビット率を意味する。
Figure 2007513566
 In Expression (1), “Distortion” means a difference in pixel value between the current macroblock and the decoded macroblock, and is calculated by the following Expression (2). “Rate” means a bit rate calculated by the above-described method.

Figure 2007513566
式（２）で、Ｂ（ｋ，ｌ）及びＢ’（ｋ，ｌ）は、それぞれ現在マクロブロック及び復元されたマクロブロックの（ｋ，ｌ）番目の画素値を表す。λの一例は、次の式（３）のような式によって決定され得る。
Figure 2007513566
 In Equation (2), B (k, l) and B ′ (k, l) represent the (k, l) -th pixel values of the current macroblock and the restored macroblock, respectively. An example of λ can be determined by the following equation (3).

Figure 2007513566
式（３）で、ＱＰは、０ないし５１の整数であって、Ｈ．２６４量子化値である。Ｒａｔｅは、現在マクロブロックの符号化に所要されたビット数である。
Figure 2007513566
 In the formula (3), QP is an integer of 0 to 51, and H.P. H.264 quantization value. Rate is the number of bits required for encoding the current macroblock.

図７は、符号化モードを決定する方法のフローチャートである。   FIG. 7 is a flowchart of a method for determining an encoding mode.

現在ブロックを入力されれば、そのブロックをスキップモードとして決定できるかを優先的にチェックする。スキップモードは、符号化しようとするブロックの符号化モード情報のみを伝送または保存するモードである。映像の背景部分などでは、現在ピクチャの与えられたブロックが、参照ピクチャの該当ブロックと画素値が同じである確率が高く、この場合には、残差信号や動きベクトル情報のように、別途の符号化されたデータの伝送または保存の必要なしに、符号化モード情報のみを伝送するか、または保存すればよいためである。スキップモードとして決定できるかを検査するために、現在ブロックに対して動き推定を行い、参照ピクチャを決定する（Ｓ７０５）。そして、現在ブロックがスキップモード条件を満足するか否かを判断する（Ｓ７１０）。スキップモードとして決定されるためには、次の四つの場合を全て満足せねばならない。   If a current block is input, it is preferentially checked whether the block can be determined as a skip mode. The skip mode is a mode in which only the encoding mode information of the block to be encoded is transmitted or stored. In the background part of the video, etc., there is a high probability that the block given the current picture has the same pixel value as the corresponding block of the reference picture. In this case, a separate signal such as a residual signal or motion vector information is used. This is because only the encoding mode information needs to be transmitted or stored without the need to transmit or store the encoded data. In order to check whether the skip mode can be determined, motion estimation is performed on the current block, and a reference picture is determined (S705). Then, it is determined whether or not the current block satisfies the skip mode condition (S710). In order to be determined as the skip mode, all of the following four cases must be satisfied.

（１）インタープリディクションに使用されるブロックの大きさが１６ｘ１６であり、（２）現在ブロックの符号化に使用される参照ピクチャが、フレームメモリに保存された参照ピクチャのうち現在ピクチャと時間的に最も近いピクチャであり、（３）動きベクトルが（０，０）であるか、またはＰＭＶと同じであり、（４）現在ブロックと参照ピクチャのブロックとの画素値の差である残差値を変換及び量子化した後の値が０である場合である。   (1) The size of the block used for interpretation is 16 × 16, and (2) the reference picture used for encoding the current block is the current picture and time among the reference pictures stored in the frame memory. (3) the motion vector is (0, 0) or the same as PMV, and (4) the residual that is the difference in pixel values between the current block and the reference picture block This is a case where the value after the value is converted and quantized is 0.

または、次の３つの場合を全て満足せねばならない。（１）インタープリディクションに使用されるブロックの大きさが８ｘ８であり、（２）現在ブロックの符号化に使用される参照ピクチャ及び動きベクトルが、現在ブロックの空間的または時間的な隣接ブロックの参照ピクチャ及び動きベクトル情報から推定したものと同じであり、（３）現在ブロックと参照ピクチャのブロックとの画素値の差である残差値を変換及び量子化した後の値が０である場合である。   Or you must satisfy all the following three cases. (1) The size of a block used for interpretation is 8x8, and (2) a reference picture and motion vector used for encoding the current block are spatially or temporally adjacent blocks of the current block. (3) The value after converting and quantizing the residual value, which is the difference between the pixel values of the current block and the block of the reference picture, is 0. Is the case.

前述したスキップ条件を全て満足すれば、そのブロックは、スキップモードとして決定され、他のモードとなる可能性についてチェックせずに終了する（Ｓ７２０）。   If all the skip conditions described above are satisfied, the block is determined as a skip mode, and the process ends without checking the possibility of entering another mode (S720).

前述したスキップ条件を満足せねば、インタープリディクションで有しうる他のモード下でインタープリディクションを行って、そのうち一つのインターモードを決定した後、その決定されたインターモード下で符号化を行うときのビット数を計算する（Ｓ７２５）。このとき、可能な全てのモードを対象とせずに、必要に応じて一部のモードを含むグループのうち何れか一つのインターモードを決定してもよい。このようにして、平均レート（Ａｖｅｒａｇｅ Ｒａｔｅ；ＡＲ）を計算する。平均レートＡＲは、次の式（４）によって計算され、１画素当りのレートを表す。既にインタープリディクションが実行されたので、Ｒａｔｅは、既に知っている値である。   If the skip condition described above is not satisfied, the interpredation is performed under other modes that may be included in the interpretation, and one of the intermodes is determined, and then encoding is performed under the determined intermode. The number of bits when performing is calculated (S725). At this time, instead of targeting all possible modes, any one inter mode among groups including some modes may be determined as necessary. In this way, an average rate (AR) is calculated. The average rate AR is calculated by the following equation (4) and represents the rate per pixel. Since Interpretation has already been performed, Rate is a value already known.

Figure 2007513566
そして、平均境界エラー（Ａｖｅｒａｇｅ Ｂｏｕｎｄａｒｙ Ｅｒｒｏｒ；ＡＢＥ）を計算する（Ｓ７３０）。
Figure 2007513566
 Then, an average boundary error (ABE) is calculated (S730).

図８Ａないし図８Ｂは、平均境界エラーＡＢＥの計算を説明するための図である。   8A to 8B are diagrams for explaining the calculation of the average boundary error ABE.

平均境界エラーＡＢＥを計算するために、次の式（５）によって、境界エラーの総和（Ｓｕｍ ｏｆ Ｂｏｕｎｄａｒｙ Ｅｒｒｏｒ；ＳＢＥ）を計算する。その後、１画素当りの平均境界エラーＡＢＥを計算する。   In order to calculate the average boundary error ABE, the sum of boundary errors (Sum of Boundary Error: SBE) is calculated by the following equation (5). Thereafter, an average boundary error ABE per pixel is calculated.

Figure 2007513566
ここで、Ｙｏｒｇ、Ｕｏｒｇ、Ｖｏｒｇは、符号化される現在マクロブロックの画素値を意味し、ＹＲｅｃ、ＵＲｅｃ、ＶＲｅｃは、復号化された隣接マクロブロックの画素値を意味する。図８Ａに示すように、また（ｘ，ｙ）は、輝度ブロックの画素座標値を、（ｃｘ，ｃｙ）は、色度ブロックの画素座標値を表す。
Figure 2007513566
 Here, Y org , U org , and V org mean the pixel values of the current macroblock to be encoded, and Y Rec , U Rec , and V Rec mean the pixel values of the decoded neighboring macroblock. . As shown in FIG. 8A, (x, y) represents the pixel coordinate value of the luminance block, and (cx, cy) represents the pixel coordinate value of the chromaticity block.

図８Ｂに示す第１場合では、復号化された隣接したマクロブロックが存在しないので、前述した式（５）によって平均境界エラーＡＢＥを計算できない。したがって、この場合には、ＡＢＥ＝０と決定する。第２の場合のように、左側の隣接ブロックが存在しない場合には、前述した式（５）は、次の式（６）の通りである。   In the first case shown in FIG. 8B, since there is no decoded adjacent macroblock, the average boundary error ABE cannot be calculated by the above-described equation (5). Therefore, in this case, ABE = 0 is determined. When there is no left adjacent block as in the second case, the above-described equation (5) is as the following equation (6).

Figure 2007513566

第３の場合のように、上側の隣接ブロックが存在しない場合には、前述した式（５）は、次の式（７）の通りである。
Figure 2007513566
When there is no upper adjacent block as in the third case, the above-described equation (5) is as the following equation (7).

Figure 2007513566
第４の場合は、既に説明した式（５）によって平均境界エラーを求めうる。
Figure 2007513566
 In the fourth case, the average boundary error can be obtained by Equation (5) already described.

このように計算された平均レートＡＲと平均境界エラーＡＢＥとを比較する（Ｓ７３５）。平均レートと平均境界エラーＡＢＥとは、それぞれ時間的類似度及び空間的類似度を計算する一実施例である。もし、平均境界エラーＡＢＥが平均レートＡＲより大きければ、イントラモードよりはインターモードと決定される確率が高いということを意味する。したがって、マクロブロックをＳ７２５で決定されたインターモードと決定して終了する（Ｓ７５０）。もし、平均境界エラーＡＢＥが平均レートＡＲより大きくなければ、イントラモードのうち一つのモードを選択する（Ｓ７４０）。最後に、このように決まったイントラモード及び既に決まったインターモードのうち何れか一つのモードを選択して、マクロブロックの符号化モードを決定する（Ｓ７４５）。   The average rate AR calculated in this way is compared with the average boundary error ABE (S735). Average rate and average boundary error ABE are examples of calculating temporal similarity and spatial similarity, respectively. If the average boundary error ABE is larger than the average rate AR, it means that the probability that the inter mode is determined is higher than the intra mode. Therefore, the macro block is determined to be the inter mode determined in S725, and the process ends (S750). If the average boundary error ABE is not greater than the average rate AR, one of the intra modes is selected (S740). Finally, one of the determined intra mode and the already determined inter mode is selected to determine the macroblock coding mode (S745).

時間的類似度を決定するさらに他の実施例は、現在ピクチャでのマクロブロックと、インターモード下で参照ピクチャの参照ブロックとの画素値の差を利用することである。この差は、現在マクロブロックを構成する各画素値と、各画素位置に該当する参照ピクチャの参照ブロック内の画素値との差を計算した後、それらの絶対値の和または二乗和を求めた後、所定の比λを乗算することで得られうる。   Yet another example of determining temporal similarity is to use the difference in pixel values between the macroblock in the current picture and the reference block in the reference picture under inter mode. This difference is calculated by calculating the difference between each pixel value constituting the current macroblock and the pixel value in the reference block of the reference picture corresponding to each pixel position, and then obtaining the sum or square sum of those absolute values. Later, it can be obtained by multiplying by a predetermined ratio λ.

図９は、本発明の符号化装置を簡略化したブロック図である。   FIG. 9 is a simplified block diagram of the encoding apparatus of the present invention.

符号化装置は、判断部９１０、符号化モード決定部９２０及び符号化実行部９３０を備える。   The encoding device includes a determination unit 910, an encoding mode determination unit 920, and an encoding execution unit 930.

判断部９１０は、映像の符号化に使用される複数の符号化モードのうち、映像を構成する所定大きさのブロックがスキップモードに対応する条件を満足するか否かを判断する。スキップモード条件は、前述した通りである。符号化モード決定部９２０は、スキップモード条件を満足する場合には、スキップモードを前記ブロックの符号化モードと決定し、満足しない場合には、インタープリディクションまたはイントラプリディクションをさらに行って、その多様な符号化モードのうち何れか一つの符号化モードを前記ブロックの符号化モードと決定する。   The determination unit 910 determines whether or not a block having a predetermined size constituting a video satisfies a condition corresponding to the skip mode among a plurality of encoding modes used for video encoding. The skip mode condition is as described above. If the skip mode condition is satisfied, the encoding mode determination unit 920 determines the skip mode as the encoding mode of the block, and if not satisfied, further performs interpretation or intra-prediction. Then, one of the various encoding modes is determined as the encoding mode of the block.

符号化実行部９３０は、符号化モード決定部９２０で決定された符号化モードによって、圧縮された動画データを生成する。   The encoding execution unit 930 generates compressed moving image data according to the encoding mode determined by the encoding mode determination unit 920.

図１０は、本発明の符号化装置の他の一実施例である。   FIG. 10 shows another embodiment of the encoding apparatus of the present invention.

時間的類似度計算部１０１０は、現在ピクチャでのマクロブロックに対して、インターモード下で参照ピクチャの参照ブロックとの時間的類似度を計算する。   The temporal similarity calculation unit 1010 calculates the temporal similarity between the macroblock in the current picture and the reference block of the reference picture under the inter mode.

比較部１０２０は、測定された時間的類似度と、現在ピクチャでのマクロブロックと隣接したブロックとの空間的類似度との差によって、イントラモード下で符号化過程を省略するかを判断する。このようにして、一つの符号化モードを決定する。時間的類似度及び空間的類似度は、前述した平均レート及び平均境界エラーＡＢＥに基づいて計算することが望ましい。   The comparison unit 1020 determines whether to omit the encoding process under the intra mode based on the difference between the measured temporal similarity and the spatial similarity between the macroblock and the adjacent block in the current picture. In this way, one encoding mode is determined. The temporal similarity and the spatial similarity are preferably calculated based on the average rate and the average boundary error ABE described above.

時間的類似度を決定するさらに他の実施例は、現在ピクチャでのマクロブロックと、インターモード下で参照ピクチャの参照ブロックとの画素値の差を使用することである。この差は、現在マクロブロックを構成する各画素値と、各画素の位置に該当する参照ピクチャの参照ブロック内の画素値との差を計算した後、それらの絶対値の和または二乗和を求めた後、所定の比λを乗算することで得られる。   Yet another example of determining temporal similarity is to use the pixel value difference between the macroblock in the current picture and the reference block of the reference picture under inter mode. This difference is calculated by calculating the difference between each pixel value constituting the current macroblock and the pixel value in the reference block of the reference picture corresponding to the position of each pixel, and then obtaining the sum or square sum of those absolute values. And then multiplied by a predetermined ratio λ.

符号化実行部１０３０は、比較部１０２０で決定された符号化モードによって、圧縮された動画データを生成する。   The encoding execution unit 1030 generates compressed moving image data according to the encoding mode determined by the comparison unit 1020.

一方、前述した符号化方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当業界のコンピュータプログラマーによって容易に推論され得る。また、前記プログラムは、コンピュータで読み取り可能な情報記録媒体に保存され、コンピュータによって読み取られ、かつ実行されることによって符号化方法を具現する。前記情報記録媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。   On the other hand, the encoding method described above can be created by a computer program. The code and code segments that make up the program can be easily inferred by computer programmers in the art. The program is stored in a computer-readable information recording medium, and is read and executed by the computer to implement the encoding method. The information recording medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium.

以上、本発明についてその望ましい実施例を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現され得るということを理解できる。したがって、開示された実施例は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異点は、本発明に含まれたものと解釈されねばならない。   The present invention has been mainly described with reference to preferred embodiments. Those skilled in the art will understand that the present invention may be embodied in a modified form without departing from the essential characteristics of the present invention. Accordingly, the disclosed embodiments should be considered in an illustrative, not a limiting sense. The scope of the present invention is shown not in the above description but in the claims, and all differences within the equivalent scope should be construed as being included in the present invention.

本発明によれば、画質の大きな低下なしに映像の符号化を速く行える。すなわち、ＳＮＲの損失は、大きくなく、かつＲＤｃｏｓｔの計算回数を７０％以上減らして、映像の符号化にかかる時間を約３０％短縮させ得る。   According to the present invention, video encoding can be performed quickly without a significant decrease in image quality. That is, the loss of SNR is not large, and the number of times of calculation of RDcost can be reduced by 70% or more, and the time required for video encoding can be shortened by about 30%.

本発明の望ましい実施例に係る符号化装置のブロック図である。1 is a block diagram of an encoding apparatus according to a preferred embodiment of the present invention. インタープリディクション時にマクロブロックが有しうる可変ブロックを示す図である。It is a figure which shows the variable block which a macroblock can have at the time of interpretation. 符号化を行う現在ピクチャのそれぞれのマクロブロックに割当てられたブロック状の一例を示す図である。It is a figure which shows an example of the block shape allocated to each macroblock of the present picture which encodes. 予測しようとする輝度ブロックＰ及び予測に使用される隣接ブロックを示す図である。It is a figure which shows the luminance block P which it is going to predict, and the adjacent block used for prediction. ＰＭＶの計算を説明するための図である。It is a figure for demonstrating calculation of PMV. ＰＭＶの計算を説明するための図である。It is a figure for demonstrating calculation of PMV. ＲＤｃｏｓｔの計算を説明するための図である。It is a figure for demonstrating calculation of RDcost. 符号化モードを決定する方法を表すフローチャートである。It is a flowchart showing the method of determining encoding mode. 平均境界エラーＡＢＥの計算を説明するための図である。It is a figure for demonstrating calculation of the average boundary error ABE. 平均境界エラーＡＢＥの計算を説明するための図である。It is a figure for demonstrating calculation of the average boundary error ABE. 本発明の符号化装置を簡略化したブロック図である。It is the block diagram which simplified the encoding apparatus of this invention. 本発明の符号化装置の他の一実施例である。It is another Example of the encoding apparatus of this invention.

Claims (23)

映像の符号化方法において、
（ａ）前記映像の符号化に使用される複数の符号化モードのうち、前記映像を構成する所定大きさのブロックが、所定の第１モードに対応する条件を満足するか否かを判断するステップと、
（ｂ）前記所定の条件を満足する場合には、前記第１モードを前記ブロックの符号化モードと決定するステップとを含むことを特徴とする符号化方法。 In the video encoding method,
(A) It is determined whether a block having a predetermined size constituting the video among a plurality of encoding modes used for encoding the video satisfies a condition corresponding to a predetermined first mode. Steps,
And (b) a step of determining the first mode as the encoding mode of the block when the predetermined condition is satisfied. （ｃ）前記第１モード下で、前記ブロックに対する符号化された動画データを生成するステップをさらに含むことを特徴とする請求項１に記載の符号化方法。   The encoding method according to claim 1, further comprising: (c) generating encoded moving image data for the block under the first mode. 前記第１モードは
前記ブロックの符号化モード情報のみを伝送または保存するスキップモードであることを特徴とする請求項１に記載の符号化方法。 The encoding method according to claim 1, wherein the first mode is a skip mode in which only the encoding mode information of the block is transmitted or stored. 前記第１モードは、Ｈ．２６４でのスキップモードであることを特徴とする請求項３に記載の符号化方法。   The first mode is H.264. The encoding method according to claim 3, wherein the skip mode is H.264. 前記所定の条件は、前記所定のブロックの動きの推定に使用されるブロックの大きさが１６ｘ１６であり、参照ピクチャが、フレームメモリに保存された参照ピクチャのうち、前記所定のブロックが属したピクチャと時間的に最も近いピクチャであり、動きベクトルが（０，０）であるか、または予測動きベクトルと同じであり、前記所定のブロックと参照ピクチャのブロックとの画素値の差を変換して量子化した結果が何れも０であることを特徴とする請求項１に記載の符号化方法。   The predetermined condition is that a block size used for motion estimation of the predetermined block is 16 × 16, and a reference picture is a picture to which the predetermined block belongs among reference pictures stored in a frame memory. And the motion vector is (0, 0) or the same as the predicted motion vector, and the difference between pixel values of the predetermined block and the reference picture block is converted. 2. The encoding method according to claim 1, wherein the quantized results are all zero. 前記所定の条件は、前記所定のブロックの動きの推定に使用されるブロックの大きさが８ｘ８であり、第１参照ピクチャ及び第１動きベクトルは、前記ブロックの空間的または時間的隣接ブロックの第２参照ピクチャ及び第２動きベクトル情報から推定したものと同じであり、前記所定のブロックと参照ピクチャの隣接ブロックとの画素値の差を変換して量子化した結果が何れも０であることを特徴とする請求項１に記載の符号化方法。   The predetermined condition is that a block size used for estimation of motion of the predetermined block is 8 × 8, and the first reference picture and the first motion vector are the first and second spatial blocks of the block. 2 is the same as that estimated from the reference picture and the second motion vector information, and the result of transforming and quantizing the difference between the pixel values of the predetermined block and the adjacent block of the reference picture is 0. The encoding method according to claim 1, characterized in that: 映像の符号化方法において、
（ａ）前記映像を構成する現在ピクチャでの所定大きさのブロックに対して、インターモード下で参照ピクチャの参照ブロックとの時間的類似度を計算するステップと、
（ｂ）前記計算された時間的類似度及び、前記ブロックと、前記現在ピクチャから隣接したブロックとの空間的類似度の差によって、イントラモード下での符号化過程を省略するステップとを含むことを特徴とする符号化方法。 In the video encoding method,
(A) calculating a temporal similarity with a reference block of a reference picture under an inter mode for a block of a predetermined size in a current picture constituting the video;
(B) The step of omitting the encoding process under the intra mode according to the calculated temporal similarity and the difference in spatial similarity between the block and the block adjacent to the current picture is included. An encoding method characterized by the above. 前記時間的類似度は、前記ブロックの符号化に所要されたビット数により決定され、前記空間的類似度は、符号化しようとする現在ピクチャのブロックと隣接したブロックとの画素値の差によって決定されることを特徴とする請求項７に記載の符号化方法。   The temporal similarity is determined by the number of bits required to encode the block, and the spatial similarity is determined by a difference in pixel values between a current picture block to be encoded and an adjacent block. The encoding method according to claim 7, wherein: 前記時間的類似度は、前記ブロックと参照ピクチャの参照ブロックとの画素値の差によって決定され、前記空間的類似度は、符号化しようとする現在ピクチャのブロックと隣接したブロックとの画素値の差によって決定されることを特徴とする請求項７に記載の符号化方法。   The temporal similarity is determined by a difference in pixel value between the block and a reference block of a reference picture, and the spatial similarity is determined by a pixel value between a current picture block to be encoded and an adjacent block. The encoding method according to claim 7, wherein the encoding method is determined by the difference. 前記空間的類似度は、
現在符号化しようとするブロック内で、他のブロックとの境界部分に存在する画素と、前記画素と隣接したデコーディングされたブロックの画素との画素値の差を、輝度及び色度別にそれぞれ計算して決定されることを特徴とする請求項８に記載の符号化方法。 The spatial similarity is
Within the block to be encoded, the difference in pixel value between the pixel existing at the boundary with another block and the pixel of the decoded block adjacent to the pixel is calculated for each luminance and chromaticity. The encoding method according to claim 8, wherein the encoding method is determined as follows. 前記時間的類似度は、
現在ピクチャのブロックと、これに対する参照ブロックとの差値の符号化に所要されたビット数、動きベクトルの符号化に所要されたビット数、及び参照ピクチャ情報の符号化に所要されたビット数を含む情報によって決定されることを特徴とする請求項８に記載の符号化方法。 The temporal similarity is
The number of bits required for encoding the difference value between the current picture block and the reference block corresponding thereto, the number of bits required for encoding the motion vector, and the number of bits required for encoding the reference picture information The encoding method according to claim 8, wherein the encoding method is determined by information to be included. 映像の符号化に使用される複数の符号化モードのうち、前記映像を構成する所定大きさのブロックが、所定の第１モードに対応する条件を満足するか否かを判断する判断部と、
前記所定の条件を満足する場合には、前記第１モードを前記ブロックの符号化モードと決定する符号化モード決定部とを備えることを特徴とする符号化装置。 A determination unit configured to determine whether or not a block having a predetermined size that constitutes the video among a plurality of encoding modes used for video encoding satisfies a condition corresponding to a predetermined first mode;
An encoding apparatus comprising: an encoding mode determining unit that determines the first mode as the encoding mode of the block when the predetermined condition is satisfied. 前記第１モード下で圧縮された動画データを生成する符号化実行部をさらに備えることを特徴とする請求項１２に記載の符号化装置。   The encoding apparatus according to claim 12, further comprising an encoding execution unit that generates moving image data compressed under the first mode. 前記第１モードは、
前記ブロックの符号化モード情報のみを伝送または保存するスキップモードであることを特徴とする請求項１２に記載の符号化装置。 The first mode is:
The encoding apparatus according to claim 12, wherein the encoding mode is a skip mode in which only the encoding mode information of the block is transmitted or stored. 前記所定の条件は、前記所定のブロックの動きの推定に使用されるブロックの大きさが１６ｘ１６であり、参照ピクチャが、フレームメモリに保存された参照ピクチャのうち、前記所定のブロックが属したピクチャと時間的に最も近いピクチャであり、動きベクトルが（０，０）であるか、または予測動きベクトルと同じであり、前記所定のブロックと参照ピクチャのブロックとの画素値の差を変換して量子化した結果が何れも０であることを特徴とする請求項１２に記載の符号化装置。   The predetermined condition is that a block size used for motion estimation of the predetermined block is 16 × 16, and a reference picture is a picture to which the predetermined block belongs among reference pictures stored in a frame memory. And the motion vector is (0, 0) or the same as the predicted motion vector, and the difference between pixel values of the predetermined block and the reference picture block is converted. 13. The encoding apparatus according to claim 12, wherein the quantized results are all zero. 前記所定の条件は、前記所定のブロックの動きの推定に使用されるブロックの大きさが８ｘ８であり、第１参照ピクチャ及び第１動きベクトルは、前記ブロックの空間的または時間的隣接ブロックの第２参照ピクチャ及び第２動きベクトル情報から推定したものと同じであり、前記所定のブロックと参照ピクチャの隣接ブロックとの画素値の差を変換して量子化した結果が何れも０であることを特徴とする請求項１２に記載の符号化装置。   The predetermined condition is that a block size used for estimation of motion of the predetermined block is 8 × 8, and the first reference picture and the first motion vector are the first and second spatial blocks of the block. 2 is the same as that estimated from the reference picture and the second motion vector information, and the result of transforming and quantizing the difference between the pixel values of the predetermined block and the adjacent block of the reference picture is 0. The encoding device according to claim 12, characterized in that: 現在ピクチャでの所定大きさのブロックに対して、インターモード下で参照ピクチャの参照ブロックとの時間的類似度を計算する時間的類似度計算部と、
前記測定された時間的類似度及び、前記ブロックと前記現在ピクチャから隣接したブロックとの空間的類似度の差によって、イントラモード下での符号化過程を省略して一つの符号化モードを定める比較部とを備えることを特徴とする符号化装置。 A temporal similarity calculation unit that calculates temporal similarity with a reference block of a reference picture under an inter mode for a block of a predetermined size in a current picture;
A comparison in which one encoding mode is determined by omitting the encoding process under the intra mode according to the measured temporal similarity and the difference in spatial similarity between the block and the block adjacent to the current picture. An encoding device. 前記決まった符号化モード下で圧縮された動画データを生成する符号化実行部をさらに備えることを特徴とする請求項１７に記載の符号化装置。   The encoding apparatus according to claim 17, further comprising an encoding execution unit that generates moving image data compressed under the predetermined encoding mode. 前記時間的類似度は、前記ブロックの符号化に所要されたビット数により決定され、前記空間的類似度は、符号化しようとする前記所定ブロックと、それに隣接したブロックとの画素値の差によって決定されることを特徴とする請求項１７に記載の符号化装置。   The temporal similarity is determined by the number of bits required for encoding the block, and the spatial similarity is determined by a difference in pixel values between the predetermined block to be encoded and a block adjacent thereto. 18. The encoding apparatus according to claim 17, wherein the encoding apparatus is determined. 前記時間的類似度は、前記ブロックと参照ピクチャの参照ブロックとの画素値の差によって決定され、前記空間的類似度は、符号化しようとする前記所定ブロックと、それに隣接したブロックとの画素値の差によって決定されることを特徴とする請求項１７に記載の符号化装置。   The temporal similarity is determined by a pixel value difference between the block and a reference block of a reference picture, and the spatial similarity is a pixel value between the predetermined block to be encoded and a block adjacent thereto. The encoding apparatus according to claim 17, wherein the encoding apparatus is determined by a difference between 前記空間的類似度は、
現在符号化しようとする所定ブロック内で、他のブロックとの境界部分に存在する画素と、前記画素と隣接したデコーディングされたブロックの画素との画素値の差を、輝度及び色度別にそれぞれ計算して決定されることを特徴とする請求項１９に記載の符号化装置。 The spatial similarity is
Within a predetermined block to be encoded, the difference in pixel value between a pixel existing at a boundary with another block and a pixel of a decoded block adjacent to the pixel is classified by luminance and chromaticity, respectively. The encoding apparatus according to claim 19, wherein the encoding apparatus is determined by calculation. 前記時間的類似度は、
現在ピクチャのブロックと、これに対する参照ブロックとの差値の符号化に所要されたビット数、動きベクトルの符号化に所要されたビット数、及び参照ピクチャ情報の符号化に所要されたビット数を含む情報によって決定されることを特徴とする請求項１９に記載の符号化装置。 The temporal similarity is
The number of bits required for encoding the difference value between the current picture block and the reference block corresponding thereto, the number of bits required for encoding the motion vector, and the number of bits required for encoding the reference picture information The encoding apparatus according to claim 19, wherein the encoding apparatus is determined by information to be included. 映像の符号化方法を行うプログラムが具現されたコンピュータで読み取り可能な媒体において、前記映像符号化方法は、
（ａ）前記映像の符号化に使用される複数の符号化モードのうち、前記映像を構成する所定大きさのブロックが、所定の第１モードに対応する条件を満足するか否かを判断するステップと、
（ｂ）前記所定の条件を満足する場合には、前記第１モードを前記ブロックの符号化モードと決定するステップとを含むことを特徴とするコンピュータで読み取り可能な媒体。 In a computer-readable medium in which a program for performing a video encoding method is implemented, the video encoding method includes:
(A) It is determined whether a block having a predetermined size constituting the video among a plurality of encoding modes used for encoding the video satisfies a condition corresponding to a predetermined first mode. Steps,
(B) A computer-readable medium comprising: a step of determining the first mode as an encoding mode of the block when the predetermined condition is satisfied.
JP2006542495A 2003-12-02 2004-11-30 Video coding method and apparatus Withdrawn JP2007513566A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US52613003P 2003-12-02 2003-12-02
KR1020040006651A KR20050053297A (en) 2003-12-02 2004-02-02 Method and apparatus of video encoding
PCT/KR2004/003120 WO2005055612A1 (en) 2003-12-02 2004-11-30 Method and apparatus for video encoding

Publications (1)

Publication Number Publication Date
JP2007513566A true JP2007513566A (en) 2007-05-24

Family

ID=36847711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006542495A Withdrawn JP2007513566A (en) 2003-12-02 2004-11-30 Video coding method and apparatus

Country Status (3)

Country Link
EP (1) EP1704723A1 (en)
JP (1) JP2007513566A (en)
WO (1) WO2005055612A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010226528A (en) * 2009-03-24 2010-10-07 Canon Inc Coding device and method therefor
WO2011121894A1 (en) * 2010-03-31 2011-10-06 三菱電機株式会社 Image encoding device, image decoding device, image encoding method, and image decoding method
JP5215462B2 (en) * 2009-05-29 2013-06-19 三菱電機株式会社 Image decoding apparatus and image decoding method
JP2013207402A (en) * 2012-03-27 2013-10-07 Nippon Hoso Kyokai <Nhk> Image encoding device and program

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2907989B1 (en) * 2006-10-27 2009-01-16 Actimagine Sarl METHOD AND DEVICE FOR OPTIMIZING THE COMPRESSION OF A VIDEO STREAM
KR20110017719A (en) 2009-08-14 2011-02-22 삼성전자주식회사 Method and apparatus for video encoding, and method and apparatus for video decoding
KR101624649B1 (en) * 2009-08-14 2016-05-26 삼성전자주식회사 Method and apparatus for video encoding considering hierarchical coded block pattern, and method and apparatus for video decoding considering hierarchical coded block pattern
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US10142647B2 (en) 2014-11-13 2018-11-27 Google Llc Alternating block constrained decision mode coding

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010226528A (en) * 2009-03-24 2010-10-07 Canon Inc Coding device and method therefor
JP5215462B2 (en) * 2009-05-29 2013-06-19 三菱電機株式会社 Image decoding apparatus and image decoding method
JP2014132765A (en) * 2009-05-29 2014-07-17 Mitsubishi Electric Corp Image decoder and image decoding method
JP2015084574A (en) * 2009-05-29 2015-04-30 三菱電機株式会社 Image decoder and image decoding method
JP2016036176A (en) * 2009-05-29 2016-03-17 三菱電機株式会社 Image decoding device, image coding device and bit stream
JP2017118573A (en) * 2009-05-29 2017-06-29 三菱電機株式会社 Image decoder, image decoding method, image encoder, image encoding method, and encoded data
WO2011121894A1 (en) * 2010-03-31 2011-10-06 三菱電機株式会社 Image encoding device, image decoding device, image encoding method, and image decoding method
JPWO2011121894A1 (en) * 2010-03-31 2013-07-04 三菱電機株式会社 Image encoding device, image decoding device, image encoding method, and image decoding method
US8948243B2 (en) 2010-03-31 2015-02-03 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
JP2013207402A (en) * 2012-03-27 2013-10-07 Nippon Hoso Kyokai <Nhk> Image encoding device and program

Also Published As

Publication number Publication date
WO2005055612A1 (en) 2005-06-16
EP1704723A1 (en) 2006-09-27

Similar Documents

Publication Publication Date Title
KR20050053297A (en) Method and apparatus of video encoding
KR100739714B1 (en) Method and apparatus for intra prediction mode decision
KR100728031B1 (en) Method and apparatus for deciding encoding mode for variable block size motion estimation
JP4509104B2 (en) Fast mode decision algorithm for intra prediction in advanced video coding
KR101103699B1 (en) Video coding method and decoding method, their device, their program and program-recorded medium
RU2408161C1 (en) Method of image coding/image decoding, device of image coding/image decoding
JP5650294B2 (en) Moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program
KR100739790B1 (en) Method and apparatus for deciding intra prediction mode
KR100727990B1 (en) Intra prediction encoding method and encoder thereof
KR20200002697A (en) Method and apparatus for image encoding/decoding to improve throughput and recording medium for storing bitstream
US20060159354A1 (en) Method and apparatus for predicting frequency transform coefficients in video codec, video encoder and decoder having the apparatus, and encoding and decoding method using the method
KR20120138248A (en) Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program
TWI401967B (en) Method for scalable video coding, scalable video coding apparatus, program for scalable video coding, and computer readable storage medium storing program for scalable video coding
KR20080069069A (en) Method and apparatus for intra/inter prediction
WO2017122604A1 (en) Moving image encoding device, moving image encoding method, and recording medium for recording moving image encoding program
KR20090087767A (en) Method for predictive intra coding for image data
JP4074868B2 (en) Image coding control method and apparatus
JP5326828B2 (en) Moving picture coding apparatus and moving picture coding method
KR20060008523A (en) Method and apparatus for intra prediction of video data
JP2007513566A (en) Video coding method and apparatus
KR20210000689A (en) Method and Apparatus for Image Encoding and Decoding Thereof
JP4130617B2 (en) Moving picture coding method and moving picture coding apparatus
KR100771640B1 (en) H.264 encoder having a fast mode determinning function
KR101204788B1 (en) Method of and apparatus for predictive video data encoding and/or decoding
CN111263158B (en) Multi-transformation-core rapid processing method based on spatial correlation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071022

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090127