JP2008124707A - Moving image encoding apparatus - Google Patents
Moving image encoding apparatus Download PDFInfo
- Publication number
- JP2008124707A JP2008124707A JP2006305274A JP2006305274A JP2008124707A JP 2008124707 A JP2008124707 A JP 2008124707A JP 2006305274 A JP2006305274 A JP 2006305274A JP 2006305274 A JP2006305274 A JP 2006305274A JP 2008124707 A JP2008124707 A JP 2008124707A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- encoding
- image
- field
- generation amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 238000000034 method Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 23
- 238000013139 quantization Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000007704 transition Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像である入力画像信号を符号化して伝送する動画像符号化装置に関する。 The present invention relates to a moving image encoding apparatus that encodes and transmits an input image signal that is a moving image.
インターレース画像である動画像の入力画像信号を符号化する構造としては、フレーム構造とフィールド構造の2種類がある。一般的に、フレーム構造は、静止した画像、あるいは動きの少ない画像に有効であり、フィールド構造は、動きの多い画像に有効であるといわれている。 There are two types of structures for encoding an input image signal of a moving image that is an interlaced image, a frame structure and a field structure. In general, the frame structure is effective for a still image or an image with little motion, and the field structure is effective for an image with much motion.
インターレース画像の符号化にフィールド構造を採用した場合には、フレーム構造を採用した場合と比較して、画像入力から符号化開始までの時間が短くできる。図14は、符号化の対象となる入力画像信号の構造を示す説明図である。この図14に示すように、インターレース画像は、OddフィールドとEvenフィールドから構成されており、インターレース画像の符号化においては、先ず、動画像符号化装置にOddフィールドの画像信号が入力され、次に、Evenフィールドの画像信号が入力される。 When the field structure is used for encoding the interlaced image, the time from the image input to the start of encoding can be shortened compared to the case where the frame structure is used. FIG. 14 is an explanatory diagram showing the structure of an input image signal to be encoded. As shown in FIG. 14, an interlaced image is composed of an Odd field and an Even field. In encoding of an interlaced image, first, an image signal of the Odd field is input to the moving image encoding device, and then The image signal of the Even field is input.
フレーム構造は、OddフィールドとEvenフィールドを合成した構造で符号化を行うのに対して、フィールド構造ではOddフィールドとEvenフィールドの符号化は、独立して行なわれる。したがって、フィールド構造の場合、Oddフィールドの画像信号が入力され、符号化に必要な最低限の画像信号が入力された時点で符号化開始が可能となる。 The frame structure is encoded with a structure in which the Odd field and the Even field are combined, whereas the Odd field and the Even field are encoded independently in the field structure. Therefore, in the case of the field structure, encoding can be started when an image signal of the Odd field is input and a minimum image signal necessary for encoding is input.
一方、フレーム構造は、Oddフィールドの画像信号とEvenフィールドの画像信号で構成されるため、Oddフィールドの画像信号の入力完了後、フレーム構造での符号化に必要な最低限のEvenフィールドの画像信号が入力された時点で符号化開始が可能となる。 On the other hand, since the frame structure is composed of an Odd field image signal and an Even field image signal, after the input of the Odd field image signal is completed, the minimum Even field image signal necessary for encoding in the frame structure is required. Encoding can be started at the time when is input.
このことより、フィールド構造を採用する方が、画像信号の入力を開始した時点から符号化結果の出力を開始する時点までの時間、すなわち、符号化遅延が、フレーム構造を採用する場合に比べて短くなる。 Therefore, the time from when the input of the image signal is started to the time when the output of the encoding result is started, that is, the encoding delay is longer when the field structure is adopted than when the frame structure is adopted. Shorter.
一方、従来の動画像符号化装置では、フィールド構造で符号化した画質と比較して、フレーム構造で符号化した画質の方が良いとされていることから、フレーム構造を採用している場合が多い。フィールド構造を採用した符号化としては、例えば、動きの速いシーンではフィールド構造で符号化を行い、動きの少ないシーンではフレーム構造で符号化を行うように、シーンに応じて適応的にフィールド構造・フレーム構造の切り替えを行う方式が存在する。 On the other hand, in the conventional moving image encoding apparatus, since the image quality encoded with the frame structure is better than the image quality encoded with the field structure, the frame structure may be adopted. Many. For example, the field structure is adaptively adapted to the scene so that the field structure is encoded in a fast-moving scene and the frame structure is encoded in a low-motion scene. There is a method for switching the frame structure.
よって、静止画像、あるいは動きの少ない画像をフィールド構造で符号化した場合の画質を向上させることができれば、従来と比較して、画質は同等で、符号化遅延が短い動画像符号化装置を提供できることになる。 Therefore, if the image quality when a still image or an image with little motion is encoded with a field structure can be improved, a moving image encoding device that has the same image quality and a shorter encoding delay than the conventional one is provided. It will be possible.
しかしながら、上述したように、フレーム構造が有利とされる静止画像、あるいは動きの少ない画像を対象にフィールド構造で符号化を行う場合、フレーム構造を用いた符号化画像の画質と比較して、符号化画像の画質が劣るとされる。 However, as described above, when encoding with a field structure for a still image in which the frame structure is advantageous or an image with little motion, the image quality is compared with the image quality of the encoded image using the frame structure. The image quality of the converted image is inferior.
例えば、デジタル放送サービスに採用されているMPEG−2(Moving Picture Experts Group−2)を符号化方式に用いる場合、GOP(Group Pictures)単位で符号化が行われる。図15は、GOP構造の一例を示す説明図である。ただし、この図15に示すGOPは、単なる一例であり、すべてのGOPがこの構成であるとは限らない。 For example, when MPEG-2 (Moving Picture Experts Group-2) adopted in a digital broadcasting service is used as an encoding method, encoding is performed in units of GOP (Group Pictures). FIG. 15 is an explanatory diagram showing an example of the GOP structure. However, the GOP shown in FIG. 15 is merely an example, and not all GOPs have this configuration.
また、図15では、複数のGOPとして、GOP(n−1)、GOP(n)、GOP(n+1)を例示している。そして、図15では、異なるGOPのピクチャ間隔が同一GOP内のピクチャ間隔より広く描いているが、これは、GOPの境界を示すためであり、実際にはすべてのピクチャ間隔は、同一である。ピクチャ間隔とは、各ピクチャが入力される時間間隔を意味する。 In FIG. 15, GOP (n−1), GOP (n), and GOP (n + 1) are illustrated as a plurality of GOPs. In FIG. 15, the picture intervals of different GOPs are drawn wider than the picture intervals in the same GOP, but this is to indicate the boundary of the GOP, and in fact, all picture intervals are the same. The picture interval means a time interval at which each picture is input.
図15に示すように、GOPは、複数のピクチャで構成されており、図15の例では、GOP(n)は、ピクチャ0からピクチャ27までの28ピクチャ、すなわち、28フィールドで構成されている。なお、各ピクチャに付されている番号0〜27は、ピクチャを符号化順に並べ替えた後にナンバリングした数字を示している。これらのピクチャにおいて、Oddフィールドは、0と偶数番号のピクチャであり、Evenフィールドは、奇数番号のピクチャである。
As shown in FIG. 15, GOP is composed of a plurality of pictures, and in the example of FIG. 15, GOP (n) is composed of 28 pictures from
ピクチャには3種類のタイプがあり、具体的には、ピクチャ内で符号化(イントラ符号化)を行うIピクチャ(Intra−Coded Picture)、過去のフィールドを参照して動き補償予測を行うPピクチャ(Predictive−Coded Picture)、過去と未来のフィールドを参照して動き補償予測を行うBピクチャ(Bidirectionally Predictive−Coded Picture)の3タイプがある。 There are three types of pictures. Specifically, an I picture (Intra-coded Picture) that performs coding (intra coding) within a picture, and a P picture that performs motion compensation prediction with reference to past fields There are three types of (Predictive-Coded Picture) and B picture (Bidirectionally Predictive-Coded Picture) that performs motion compensation prediction with reference to past and future fields.
また、符号化結果である実情報発生量は、通常、Iピクチャが最も多く、次に、Pピクチャ、最も少ないのがBピクチャである。また、フィールド構造のGOPは、符号化順としては、OddフィールドがIピクチャ、EvenフィールドがPピクチャとして符号化されるIPフィールドペアから始まる。図15のGOP(n)ではピクチャ0(Iピクチャ)とピクチャ1(Pピクチャ)がIPフィールドペアである。 Also, the actual information generation amount that is the result of encoding is usually the largest for I pictures, then P pictures, and the smallest is B pictures. The field structure GOP starts with an IP field pair in which the Odd field is encoded as an I picture and the Even field is encoded as a P picture. In GOP (n) in FIG. 15, picture 0 (I picture) and picture 1 (P picture) are IP field pairs.
フィールド構造を採用して動画像符号化を行う場合、Pピクチャは、過去の2つのフィールドを参照して動き補償予測を行うことができる。例えば、図15のGOP(n)を構成しているPピクチャのピクチャ4は、IピクチャであるOddフィールドのピクチャ0とPピクチャであるEvenフィールドのピクチャ1を、ピクチャ5はOddフィールドのピクチャ4とEvenフィールドのピクチャ1を参照できる。
When moving picture coding is performed using a field structure, a P picture can perform motion compensation prediction with reference to two past fields. For example,
図16は、動き補償予測における参照面の一例を示す説明図である。ただし、IPフィールドペアのPピクチャであるピクチャ1の参照可能なピクチャは制限されており、Oddフィールドのピクチャ0への参照のみ可能である。したがって、図15において、GOP(n)のピクチャ1は、GOP(n−1)のピクチャ25への参照、GOP(n+1)のピクチャ1は、GOP(n)のピクチャ25への参照は禁止されている。すなわち、IPフィールドペアのPピクチャは、同一パリティのピクチャへの参照が禁止され、異パリティ、すなわちOddフィールドのIピクチャへのみ参照が可能である。
FIG. 16 is an explanatory diagram illustrating an example of a reference plane in motion compensation prediction. However, the referenceable picture of
静止画像、または動きが緩慢な画像では、同一パリティのピクチャ間の相関と比べ、異パリティのピクチャ間の相関は、低くなる傾向がある。また、IPフィールドペアのPピクチャ1は、異パリティのIピクチャ0のみ参照可能である。このため、その符号化画質は、Iピクチャ0の符号化画質と比較して劣化が大きくなり、Pピクチャ1を参照するピクチャ、特に、同一パリティであるEvenフィールドのピクチャ、例えば、Pピクチャ5、Bピクチャ7、Pピクチャ9などの符号化画質の劣化の原因となる。
In a still image or an image with slow motion, the correlation between pictures of different parity tends to be lower than the correlation between pictures of the same parity. Further,
図17は、フィールド構造による符号化結果におけるOddフィールドとEvenフィールドのSNR(Signal to Noise Ration:信号対雑音比)の遷移を示す図である。より具体的には、ITE標準画像の1つである「Weather Report」(HDTV解像度1080i)を対象に、TM5(Test Model 5)の方式を用いて図15に示したGOP構造で符号化を行った結果であるOddフィールドとEvenフィールドのSNRの遷移を示す。 FIG. 17 is a diagram illustrating a transition of an SNR (Signal to Noise Ratio) between the Odd field and the Even field in the encoding result by the field structure. More specifically, “Weather Report” (HDTV resolution 1080i), which is one of the ITE standard images, is encoded using the GOP structure shown in FIG. 15 using the TM5 (Test Model 5) method. The SNR transition of the Odd field and the Even field, which is the result of the above.
図17において、IPフィールドペアのSNRを示している箇所を○で囲んでいる。この画像は、静止画像ではないものの、背景は静止しており、動きとしては、前面の人物の腕の動きが存在する程度の非常に動きが少ない緩慢な画像である。 In FIG. 17, a part indicating the SNR of the IP field pair is circled. Although this image is not a still image, the background is still, and the motion is a slow image with very little motion to the extent that there is a motion of the arm of the front person.
図17から明らかな通り、IPフィールドペアのIピクチャ0とPピクチャ1のSNRの差が大きく、EvenフィールドであるPピクチャ1のSNRの方が低いことがわかる。また、各GOP内の遷移を見ると、EvenフィールドのSNRが、OddフィールドのSNRの下側を遷移しながら徐々にSNRの差が縮まっていることが分かる。なお、ビットレートは、18Mbpsに設定して符号化を行った。
As can be seen from FIG. 17, the SNR difference between I
図17に示したSNRの結果から、動きが非常に緩慢な画像を符号化した場合、GOP先頭のIPフィールドペアのPピクチャの劣化が映像シーケンス全体のSNRの平均値を下げていることがわかる。なお、この状況は、静止画像を対象とした符号化結果についても同様である。 From the result of the SNR shown in FIG. 17, it can be seen that when an image with very slow motion is encoded, the deterioration of the P picture of the IP field pair at the head of the GOP reduces the average value of the SNR of the entire video sequence. . This situation is the same for the encoding result for still images.
そこで、静止画像、または動きが緩慢な画像の符号化画質を向上するために、従来の動画像符号化装置では、Iピクチャに対する目標情報発生量の割合を多くし、Pピクチャ、Bピクチャに対する目標情報発生量の割合を少なくしているものがある(例えば、特許文献1参照)。 Therefore, in order to improve the encoded image quality of a still image or an image with slow motion, the conventional moving image encoding apparatus increases the ratio of the target information generation amount with respect to the I picture and increases the target information with respect to the P picture and B picture. Some of them reduce the rate of information generation (see, for example, Patent Document 1).
しかしながら、従来技術には次のような課題がある。
従来の動画像符号化装置は、各ピクチャに対する目標情報発生量の割合を調整するように構成されており、静止画像、または動きが緩慢な画像の符号化画質を向上させる効果を有する。しかしながら、従来の動画像符号化装置は、フレーム画像を対象としており、フィールド画像を用いた符号化に適用する場合には、次の課題を必ずしも解決していない。
However, the prior art has the following problems.
The conventional moving image coding apparatus is configured to adjust the ratio of the target information generation amount for each picture, and has an effect of improving the coding image quality of a still image or an image with slow motion. However, the conventional moving image encoding device is intended for frame images, and does not necessarily solve the following problems when applied to encoding using field images.
すなわち、フレーム構造では、OddフィールドとEvenフィールドとを合わせて符号化するため、Iピクチャの目標情報発生量の割合を多くすることは、OddフィールドとEvenフィールド両方の符号化画質が向上することになる。 That is, in the frame structure, since the Odd field and the Even field are encoded together, increasing the ratio of the target information generation amount of the I picture improves the encoded image quality of both the Odd field and the Even field. Become.
一方、フィールド構造で符号化を行う場合には、OddフィールドとEvenフィールドは、独立して符号化される。このため、従来技術のようにIピクチャの目標情報発生量の割合を多くすると、Oddフィールド側の画質は、向上するが、Evenフィールド側の符号化画質は、必ずしも向上するとは限らない。 On the other hand, when encoding is performed with a field structure, the Odd field and the Even field are encoded independently. For this reason, when the ratio of the target information generation amount of the I picture is increased as in the prior art, the image quality on the odd field side is improved, but the encoded image quality on the even field side is not necessarily improved.
より具体的には、IPペアのPピクチャは、Iピクチャのみ参照するが、異パリティであるため相関が低く、Iピクチャの目標情報発生量の割合を多くしてIピクチャの符号化画質を向上しても、Pピクチャの符号化画質が向上するとは限らない。 More specifically, the P picture of the IP pair refers only to the I picture, but has a low correlation because of the different parity, and increases the target information generation amount of the I picture to improve the encoded picture quality of the I picture. Even so, the encoded picture quality of the P picture is not always improved.
さらに、低遅延符号化を行う場合には、通常の符号化の場合と比較して、バッファサイズを小さくする。Iピクチャの目標情報発生量の割合が多くなると、遅延量が増加することに加え、バッファ破綻を回避するため、Pピクチャの目標情報発生量の割合をより少なくする必要が生じる。したがって、Iピクチャの符号化画質の向上がPピクチャには影響しない可能性があることに加え、Pピクチャの目標情報発生量自体を少なくすることによる符号化画質の劣化が生ずることになる。 Furthermore, when performing low-delay encoding, the buffer size is made smaller than in normal encoding. When the ratio of the target information generation amount of the I picture increases, in addition to the increase of the delay amount, it is necessary to reduce the ratio of the target information generation amount of the P picture in order to avoid buffer failure. Therefore, the improvement of the encoded picture quality of the I picture may not affect the P picture, and the encoded picture quality is deteriorated by reducing the target information generation amount of the P picture itself.
本発明は上述のような課題を解決するためになされたもので、フィールド構造で動画像の符号化を行う際(特に、静止画像、または動きの緩慢な画像の符号化を行う際)に、符号化対象の映像シーケンス全体の符号化画像の画質を向上させることのできる動画像符号化装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and when encoding a moving image with a field structure (especially when encoding a still image or a slow-moving image), It is an object of the present invention to obtain a moving image encoding apparatus capable of improving the image quality of an encoded image of the entire video sequence to be encoded.
本発明に係る動画像符号化装置は、時間的に連続したインターレース画像である入力画像信号をGOP単位のフィールド構造で圧縮符号化する符号化部を有する動画像符号化装置において、入力画像信号の中から画像特徴量を抽出する特徴量抽出回路と、画像特徴量に基づいて入力画像信号が静止画像または動きが緩慢な画像であるか否かを示す静止画像判定情報を生成する静止画像判定部と、静止画像判定情報に応じて符号化の対象となるピクチャの目標情報発生量を算出し、符号化部で符号化を実行するフィールドの実情報発生量が前記目標情報発生量に納まるように符号化部を制御する符号化制御部とを備えるものである。 A moving image encoding apparatus according to the present invention includes an encoding unit that compresses and encodes an input image signal that is a temporally continuous interlaced image with a field structure in units of GOPs. A feature amount extraction circuit that extracts an image feature amount from the inside, and a still image determination unit that generates still image determination information indicating whether the input image signal is a still image or an image with slow motion based on the image feature amount Then, the target information generation amount of the picture to be encoded is calculated according to the still image determination information, and the actual information generation amount of the field where the encoding is performed by the encoding unit falls within the target information generation amount. And an encoding control unit that controls the encoding unit.
本発明によれば、静止画像判定情報に応じて符号化の対象となるピクチャの目標情報発生量を求め、目標情報発生量に基づいて符号化部を制御し、OddフィールドとEvenフィールドの符号化画質を同等にすることにより、フィールド構造で動画像の符号化を行う際(特に、静止画像、または動きの緩慢な画像の符号化を行う際)に、符号化対象の映像シーケンス全体の符号化画像の画質を向上させることのできる動画像符号化装置を得ることができる。 According to the present invention, the target information generation amount of the picture to be encoded is obtained according to the still image determination information, the encoding unit is controlled based on the target information generation amount, and the Odd field and the Even field are encoded. Encoding the entire video sequence to be encoded when encoding a moving image with a field structure (particularly when encoding a still image or a slow-moving image) by equalizing the image quality A moving image encoding apparatus capable of improving the image quality of an image can be obtained.
実施の形態1.
図1は、本発明の実施の形態1における動画像符号化装置の構成を示すブロック図である。図1に示した動画像符号化装置1は、符号化部100、静止画像判定部200、および符号化制御部300で構成される。
FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to
符号化部100は、時間的に連続したインターレース画像である入力画像信号をフィールド構造で圧縮符号化する。さらに、本発明の実施の形態1においては、この符号化部100内に、入力画像信号の中から画像特徴量を抽出する特徴量抽出回路を備えており、詳細は後述する。
The
また、静止画像判定部200は、画像特徴量に基づいて符号化の対象となる入力画像信号が静止画像または動きが緩慢な画像であるか否かを示す静止画像判定情報を生成する。さらに、符号化制御部300は、静止画像判定部200により生成された静止画像判定情報に基づいて目標情報発生量を算出し、算出した目標情報発生量に基づいて符号化部100の圧縮符号化を制御する。
Further, the still
図2は、本発明の実施の形態1における動画像符号化装置の詳細構成を示すブロック図である。符号化部100は、フレームメモリ101、ブロック化回路102、減算器103、変換回路104、量子化回路105、逆量子化回路106、逆変換回路107、加算器108、フレームメモリ109、動き補償回路110、符号化回路111、バッファ112、および特徴量抽出回路113を備えている。
FIG. 2 is a block diagram showing a detailed configuration of the moving picture coding apparatus according to
また、静止画像判定部200は、静止画像判定回路201を備えている。さらに、符号化制御部300は、制御回路301およびメモリ302を備えている。
The still
次に、これらの個々の構成の機能、動作について、順に説明する。
まず始めに、フレームメモリ101には、符号化の対象となる入力画像の画像信号である入力画像信号が格納される。この入力画像信号は、先の図14に示したように、1つのフレームが2つのフィールドから構成されるインターレース構造であり、OddフィールドとEvenフィールドより成り立っている。通常は、Oddフィールドの画像信号から入力され、続いて、Evenフィールドの画像信号が入力される。
Next, functions and operations of these individual configurations will be described in order.
First, the
ブロック化回路102は、フレームメモリ101に格納された入力画像信号を分割する。以降の動作は、この分割された領域(ブロック)を単位に行われる。例えば、デジタル放送やDVD(Digital Versatile Disc)レコーダなどに採用されているMPEG−2では、この領域は、マクロブロック(MB:Macroblock)と呼ばれ、大きさは、16×16画素である。
The blocking
減算器103は、ブロック化回路102を介した入力画像信号と、後述する動き補償回路110により生成された予測画像信号との誤差を求め、その予測誤差信号を出力する。変換回路104は、減算器103から出力された予測誤差信号を直交変換して、その変換係数を出力する。この直交変換の一例としては、離散コサイン変換(DCT:Discrete Cosine Transform)の適用が考えられる。
The
量子化回路105は、変換回路104から出力される変換係数を量子化する。逆量子化回路106は、量子化回路105により量子化された変換係数を逆量子化する。逆変換回路107は、逆量子化回路106により逆量子化された変換係数を逆変換して予測誤差信号を復号する。この逆変換の一例としては、変換回路104で離散コサイン変換が適用された場合には、逆離散コサイン変換を適用することとなる。
The
加算器108は、逆変換回路107により復号された予測誤差信号と、動き補償回路110により生成された予測画像信号とを加算して参照画像信号を生成する。フレームメモリ109は、加算器108により生成された参照画像信号が格納される。動き補償回路110は、フレームメモリ109に格納された参照画像信号と、ブロック化回路102で分割出力された入力画像信号から動き補償予測を実施して予測画像信号および動きベクトル情報を生成する。
The
符号化回路111は、量子化回路105により量子化された変換係数、および動き補償回路110で生成された動きベクトル情報を符号化し、それらの符号化データを多重化する。また、符号化回路111は、多重化した符号化データをバッファ112に格納するとともに、外部に伝送する。
The
さらに、特徴量抽出回路113は、フレームメモリ101に格納されている入力画像信号の中から画像特徴量を抽出する。この画像特徴量の一例として、特徴量抽出回路113は、静止画像判定に用いるフィールド間差分情報を画像特徴量として抽出することができる。このフィールド間差分情報は、時間軸上で連続する同一パリティのフィールド間差分情報および時間軸上で連続する異パリティのフィールド間差分情報を含んでいる。
Further, the feature
これに対して、静止画像判定部200内の静止画像判定回路201は、特徴量抽出回路113と接続されており、特徴量抽出回路113で抽出された画像特徴量に基づいて静止画像判定情報の算出を行う。例えば、静止画像判定回路201は、フィールド間差分情報から静止画像判定情報を生成する。
On the other hand, the still
また、符号化制御部300内の制御回路301は、バッファ112、あるいは静止画像判定回路201の出力に基づいて量子化回路105を制御する。一例として、制御回路301は、バッファ112の残量から量子化回路105が量子化処理実行時に用いる量子化パラメータを算出することができる。あるいは、制御回路301は、静止画像判定回路201が生成した静止画像判定情報を基にして、目標情報発生量の補正値を算出することができる。そして、メモリ302は、制御回路301が算出した目標情報発生量の補正値を一次的に保持する。
Also, the
ここで、本発明の動画像符号化装置1の特徴を最も示している部分は、符号化部100内の特徴量抽出回路113、静止画像判定部200内の静止画像判定回路201、および符号化制御部300内の制御回路301である。そこで、これらの構成を中心にした一連の動作について、次に説明する。
Here, the most characteristic features of the moving
図3は、本発明の実施の形態1におけるフレームメモリ101に入力される画像信号を入力順に示した説明図である。フレームメモリ101には、インターレース画像のOddフィールドの画像信号から順に入力される。ここで、画像信号は、輝度信号と色差信号から構成されている。そして、フレームメモリ101には、必要に応じて複数のフィールドの画像信号が保持されている。
FIG. 3 is an explanatory diagram showing the image signals input to the
この図3において、フィールド0、2、4、6がOddフィールドであり、フィールド1、3、5、7がEvenフィールドである。動画像符号化においては、符号化効率を向上させるために、画像信号の並べ替えを行う場合がある。例えば、先の図15に示したGOPの並びは、符号化効率を向上させるために画像信号を並べ替えている。
In FIG. 3,
そこで、図3に示す順番で入力された画像信号に対して、図15に示したGOPと同じような並べ替えを行うことを考える。図4は、本発明の実施の形態1における符号化順に並べ替えた画像信号の説明図である。なお、図4における各ピクチャに付されている数字は、ピクチャを符号化順に並べ替えた後にナンバリングした数字ではなく、入力順のままの数字を示している。
Therefore, consider rearranging the image signals input in the order shown in FIG. 3 in the same manner as the GOP shown in FIG. FIG. 4 is an explanatory diagram of image signals rearranged in the encoding order according to
最初に符号化されるのは、3番目に入力されたフィールド2であり、このフィールド2は、ピクチャ内で符号化(イントラ符号化)を行うIピクチャである。また、フィールド3、フィールド6、フィールド7は、過去のフィールドを参照して動き補償予測を行うPピクチャである。また、フィールド0、フィールド1、フィールド4、フィールド5は、過去と未来のフィールドを参照して動き補償予測を行うBピクチャとなる。
The first field to be encoded is the
例えば、フィールド4は、Bピクチャとするので、過去の画像であるIピクチャのフィールド2、およびPピクチャであるフィールド3とともに、未来の画像であるPピクチャのフィールド6、7を参照画像とする。また、Pピクチャであるフィールド3は、Iピクチャであるフィールド2のみを参照画像とする。さらに、Pピクチャであるフィールド6は、フィールド2、フィールド3を参照画像とする。
For example, since the
次に、フローチャートに基づいて、各構成要素の動作について説明する。図5は、本発明の実施の形態1における特徴量抽出回路113および静止画像判定回路201の動作を示すフローチャートである。まず始めに、ステップS501において、特徴量抽出回路113は、先の図3に示した入力順にしたがって、同一パリティのフィールド間のフィールド間差分絶対値和SSADを算出する。
Next, the operation of each component will be described based on the flowchart. FIG. 5 is a flowchart showing operations of the feature
次に、ステップS502において、特徴量抽出回路113は、異パリティのフィールド間のフィールド間差分絶対値和DSADを求める。図6は、本発明の実施の形態1における同一パリティのフィールド間のフィールド間差分絶対値和SSAD、および異パリティのフィールド間のフィールド間差分絶対値和DSADの算出に関する説明図である。
Next, in step S502, the feature
図6に示すように、同一パリティのフィールド間差分絶対値和SSADは、例えば、連続するOddフィールド間のフィールド0とフィールド2との間、フィールド2とフィールド4との間などで求められる。ここで、フィールド間差分絶対値和とは、それぞれのフィールドの同じ位置にある画素の信号における輝度値の差分の絶対値を合計したものである。
As shown in FIG. 6, the inter-field difference absolute value sum SSAD of the same parity is obtained, for example, between
一方、異パリティのフィールド間差分絶対値和DSADは、時間軸上で連続する2つのフィールド間の差分絶対値和であり、例えば、フィールド0とフィールド1との間、フィールド2とフィールド3との間などで求められる。このDSADにおけるフィールド間差分絶対値和も、SSADと同様に、それぞれのフィールドの同じ位置にある画素の信号における輝度値の差分の絶対値を合計したものである。
On the other hand, the inter-field difference absolute value sum DSAD of different parity is the sum of absolute differences between two fields that are continuous on the time axis. For example, between the
次に、ステップS503において、静止画像判定回路201は、同一パリティのフィールド間差分絶対値和SSADを、空間的変移を示す値であるとみなし、異パリティのフィールド間差分絶対値和DSADを、時間的変移を示す値であるとみなし、この2つの比S(S=DSAD/SSAD)を求め、制御回路301に出力する。
Next, in step S503, the still
図7は、本発明の実施の形態1における画像信号の入力順と符号化順の時間軸での対応関係を示す説明図である。Sの算出に関しては、低遅延符号化の場合、図7に示すように、ピクチャ0では、入力後、符号化開始されるまで時間間隔が存在する。これに対し、ピクチャ2では、入力後、直ちに符号化が開始される。このため、図7のケースでは、Sの算出は、ピクチャ0とピクチャ2との間のSSADと、ピクチャ0とピクチャ1との間のDSADを用いて行ってもよい。
FIG. 7 is an explanatory diagram illustrating a correspondence relationship between the input order of image signals and the encoding order on the time axis according to
あるいは、例えば、図15に示したGOP(n)の符号化を実施する場合には、GOP(n−1)におけるSSADの総和とDSADの総和との比率をSとして用いてもよい。すなわち、1つ前のGOPの画像特徴量を用いてもよい。ただし、1つ前のGOPでシーンチェンジが発生している場合は、シーンチェンジ後のSSADとDSADを用いる。 Alternatively, for example, when encoding GOP (n) shown in FIG. 15, the ratio of the sum of SSAD and the sum of DSAD in GOP (n−1) may be used as S. That is, the image feature amount of the previous GOP may be used. However, when a scene change has occurred in the previous GOP, SSAD and DSAD after the scene change are used.
次に、制御回路301の動作をフローチャートに基づいて説明する。図8は、本発明の実施の形態1における符号化制御部300内の制御回路301の動作を示すフローチャートである。まず始めに、ステップS801において、制御回路301は、StillFlagをOffに設定(リセット)する。このStillFlagとは、静止画像、あるいは動きが緩慢な画像である場合にOn設定され、それ以外の画像である場合にOff設定されるフラグである。
Next, the operation of the
次に、ステップS802において、制御回路301は、静止画像判定回路201により算出されたSの値を読み取り、Sと所定の閾値THとを比較する。そして、SがTH未満であった場合には、静止画像、あるいは動きが緩慢な画像であると判断し、S803に遷移し、StillFlagをOnに設定した後、ステップS804に遷移する。一方、SがTH以上であった場合には、StillFlagはOffのままで、ステップS804に遷移する。なお、THの値は、例えば、0.4である。
Next, in step S802, the
次に、ステップS804において、制御回路301は、nに0をセットする。ここで、nは、GOP内のピクチャのカウントに用いる。次に、ステップS805において、制御回路301は、GOP内のすべてのピクチャに対する処理が終了したかを判断する。Nは、GOP内のピクチャ枚数であり、例えば、先の図15に示したGOPでは、Nの値は、28となる。
Next, in step S804, the
そして、このステップS805において、GOP内のすべてのピクチャに対する処理が終了したと判断した場合(すなわち、n<Nでない場合)には、一連の処理を終了する。一方、GOP内のすべてのピクチャに対する処理が終了していないと判断した場合(すなわち、n<Nである場合)には、次のステップS806に遷移する。 If it is determined in step S805 that the processing for all the pictures in the GOP has been completed (that is, if n <N), the series of processing ends. On the other hand, when it is determined that the processing for all the pictures in the GOP has not been completed (that is, when n <N), the process proceeds to the next step S806.
次に、ステップS806において、制御回路301は、符号化対象ピクチャの符号化に先立ち、ピクチャ単位の目標情報発生量を計算する。目標情報発生量の計算方式として、ここでは、MPEG−2のTM5に採用された方式を記載しておく。
Next, in step S806, the
TM5に採用された方式では、先ず、GOPを構成するピクチャにおいて、まだ符号化されていないピクチャに対して割り当てられている目標情報発生量Rを基に、各ピクチャの目標情報発生量を算出する。GOPを構成するピクチャが1枚も符号化されていない状態では、目標情報発生量Rは、GOP全体の目標情報発生量に等しい。具体的なピクチャ単位の目標情報発生量の算出は、下式(1)〜(3)を用いて行う。 In the scheme adopted in TM5, first, in the pictures constituting the GOP, the target information generation amount of each picture is calculated based on the target information generation amount R assigned to a picture that has not yet been encoded. . In a state where no picture constituting the GOP is encoded, the target information generation amount R is equal to the target information generation amount of the entire GOP. The calculation of the specific target information generation amount in units of pictures is performed using the following equations (1) to (3).
式(1)〜(3)を用いて、それぞれIピクチャの目標情報発生量Ti、Pピクチャの目標情報発生量Tp、そしてBピクチャの目標情報発生量Tbが算出される。
Ti=R/{1+Np・Xp/(Xi・Kp)+Nb・Xb/(Xi・Kb)}(1)
Tp=R/{Np+Nb・Kp・Xb/(Kb・Xp)} (2)
Tb=R/{Nb+Np・Kb・Xp/(Kp・Xb)} (3)
Using the equations (1) to (3), the target information generation amount Ti for the I picture, the target information generation amount Tp for the P picture, and the target information generation amount Tb for the B picture are calculated.
Ti = R / {1 + Np · Xp / (Xi · Kp) + Nb · Xb / (Xi · Kb)} (1)
Tp = R / {Np + Nb · Kp · Xb / (Kb · Xp)} (2)
Tb = R / {Nb + Np · Kb · Xp / (Kp · Xb)} (3)
ここで、Npは、GOP内でまだ符号化されていないPピクチャの枚数を表す。また、Nbは、GOP内でまだ符号化されていないBピクチャの枚数を表す。例えば、図15に示したGOPでは、Npの値は13、Nbの値は14となる。ここで、GOPに含まれるIピクチャの枚数は1であるため、Iピクチャの枚数を表す変数は存在しない。 Here, Np represents the number of P pictures that have not been encoded in the GOP. Nb represents the number of B pictures that have not yet been encoded in the GOP. For example, in the GOP shown in FIG. 15, the value of Np is 13 and the value of Nb is 14. Here, since the number of I pictures included in the GOP is 1, there is no variable representing the number of I pictures.
また、Xi、Xp、Xbは、各ピクチャタイプの画面の複雑度を示しており、それぞれ、XiがIピクチャの複雑度、XpがPピクチャの複雑度、XbがBピクチャの複雑度を表している。この複雑度の値が相対的に大きいピクチャでは、情報発生量が相対的に多く、複雑度が相対的に小さいピクチャでは、情報発生量が相対的に少ない。 Xi, Xp, and Xb indicate the complexity of the screen of each picture type. Xi represents the complexity of the I picture, Xp represents the complexity of the P picture, and Xb represents the complexity of the B picture. Yes. A picture with a relatively large complexity value has a relatively large amount of information generation, and a picture with a relatively small complexity value has a relatively small amount of information generation.
また、KpとKbは、それぞれIピクチャの量子化スケールコードを基準とした場合のPピクチャとBピクチャの量子化スケールコードの比率を表している。 Kp and Kb represent the ratio of the quantization scale code of the P picture and the B picture when the quantization scale code of the I picture is used as a reference.
上述したように、制御回路301は、ステップS806において、Iピクチャの場合は式(1)を用いてTiを、Pピクチャの場合は式(2)を用いてTpを、Bピクチャの場合は式(3)を用いてTbをそれぞれ算出し、その後、ステップS807に遷移する。次に、ステップS807において、制御回路301は、StillFlagがOnであるかを判断する。
As described above, in step S806, the
そして、StillFlagがOnでない場合には、後述するステップS810に遷移する。一方、StillFlagがOnである場合には、ステップS808に遷移し、制御回路301は、Iピクチャであるかを判定する。そして、Iピクチャである場合には、ステップS809に遷移し、制御回路301は、先のステップS806で算出したTiに補正を加える。
And when StillFlag is not On, it changes to Step S810 mentioned below. On the other hand, if StillFlag is On, the process proceeds to step S808, and the
補正方法としては、Ti=(1−α)Ti(0<α<1)とし、StillFlagがOnである場合のIピクチャの目標情報発生量Tiが、元の値よりもα・Ti分だけ小さい値に補正される。また、制御回路301は、α・Tiの値を第1の補正量としてメモリ302に一時記憶する。そして、ステップS809の処理が終了すると、ステップS810に遷移する。
As a correction method, Ti = (1−α) Ti (0 <α <1), and when the Still Flag is On, the target information generation amount Ti of the I picture is smaller by α · Ti than the original value. It is corrected to the value. The
一方、先のステップS808において、Iピクチャでないと判断した場合には、ステップS811に遷移し、制御回路301は、現在の符号化対象のピクチャがPピクチャであるかを判断する。
On the other hand, if it is determined in step S808 that the current picture is not an I picture, the process proceeds to step S811, and the
Pピクチャである場合には、ステップS812に遷移し、制御回路301は、現在の符号化対象ピクチャがEvenフィールドで、かつ、カウンタnの値がK(0<K<N)未満であるかを判定する。この条件は、EvenフィールドでGOPの先頭からK番目未満のPピクチャのTpに補正を加えることを意味している。
If it is a P picture, the process proceeds to step S812, and the
この条件を満たした場合には、ステップS813に遷移し、制御回路301は、Tpに補正を加える。補正方法は、先のステップS809でメモリ302に一時記憶している第1の補正量α・Tiを、ステップS812の条件を満たすPピクチャに分配する。
When this condition is satisfied, the process proceeds to step S813, and the
具体的には、制御回路301は、ステップS812の条件を満たした各Pピクチャに、重み係数W(n)を用いてα・Ti・W(n)により分配を行う。各W(n)は、1未満の正の値であり、W(n)>W(n+1)の関係にある。すなわち、時間的にIピクチャに近いPピクチャほど多くの情報発生量が分配される。また、W(n)の合計は、1である。
Specifically, the
図9は、本発明の実施の形態1における重み係数Wに基づく目標情報発生量の分配に関する説明図であり、ステップS813におけるα・Ti・W(n)の分配例を示したものである。 FIG. 9 is an explanatory diagram relating to the distribution of the target information generation amount based on the weighting factor W in the first embodiment of the present invention, and shows an example of the distribution of α · Ti · W (n) in step S813.
Kの値として10を設定した場合には、EvenフィールドのPピクチャでカウンタnの値が10未満となるPピクチャ(すなわち、P1、P5、P9)に第1の補正量α・Tiが分配される。P1に対しては、α・Ti・W(1)が、P5に対しては、α・Ti・W(5)が、P9に対しては、α・Ti・W(9)がそれぞれ分配される。このとき、W(1)+W(5)+W(9)=1となる。 When K is set to 10, the first correction amount α · Ti is distributed to P pictures (that is, P1, P5, P9) in which the value of the counter n is less than 10 in the P picture of the Even field. The Α · Ti · W (1) is distributed to P1, α · Ti · W (5) is distributed to P5, and α · Ti · W (9) is distributed to P9. The At this time, W (1) + W (5) + W (9) = 1.
この分配により、P1の目標情報発生量は、図8のS806で算出されたTp(1)にα・Ti・W(1)を加算した値となる。また、P5の目標情報発生量は、図8のS806で算出されたTp(5)にα・Ti・W(5)を加算した値となる。さらに、P9の目標情報発生量は、図8のS806で算出されたTp(9)にα・Ti・W(9)を加算した値となる。 By this distribution, the target information generation amount of P1 becomes a value obtained by adding α · Ti · W (1) to Tp (1) calculated in S806 of FIG. Further, the target information generation amount of P5 is a value obtained by adding α · Ti · W (5) to Tp (5) calculated in S806 of FIG. Further, the target information generation amount of P9 is a value obtained by adding α · Ti · W (9) to Tp (9) calculated in S806 of FIG.
また、このとき、図示していないが、バッファ112の空き容量と補正を加えた後のTpとを比較し、バッファ破綻が発生する可能性がある場合には、例えば、バッファ112の空き容量の90%をTpの値として更新する。なお、重み係数W(n)の値は、例えば、W(1)が0.7、W(5)が0.2、W(9)が0.1である。 At this time, although not shown in the figure, the free space of the buffer 112 is compared with the Tp after the correction, and if there is a possibility that a buffer failure may occur, for example, the free space of the buffer 112 90% is updated as the value of Tp. The values of the weighting factor W (n) are, for example, 0.7 for W (1), 0.2 for W (5), and 0.1 for W (9).
S813の処理が終了すると、S810に遷移する。また、先のステップS809の処理が終了した場合、先のステップS811の条件を満たさない場合、あるいは、先のステップS812の条件を満たさない場合にも、ステップS810に遷移する。そして、ステップS810において、制御回路301は、GOP内のピクチャのカウント値であるnに1を加えて、nの値を更新する。
When the process of S813 ends, the process proceeds to S810. In addition, when the process of the previous step S809 is completed, when the condition of the previous step S811 is not satisfied, or when the condition of the previous step S812 is not satisfied, the process proceeds to step S810. In step S810, the
nの値を更新した後、ステップS805に遷移し、制御回路301は、上述したステップS805〜ステップS813の処理を繰り返し行う。そして、最終的にステップS805において、制御回路301は、GOP内のすべてのピクチャに対する処理が終了したと判断した場合には、一連の処理を終了する。この終了とは、1GOP分の処理が終了することを意味する。また、図示していないが、目標情報発生量の算出が完了する、または補正が完了すると、各ピクチャ毎に前述の符号化動作が行われる。
After updating the value of n, the process proceeds to step S805, and the
目標情報発生量は、ピクチャ単位、すなわち、I0、P1、B2などの1フィールド単位に算出される。符号化動作においては、制御回路301が目標情報発生量を基に量子化パラメータをMB単位で算出し、符号化中のフィールドの実情報発生量が目標情報発生量に納まるように、主に量子化回路105を制御する。この制御においては、実情報発生量が目標情報発生量を超えることを防ぐことと、GOP全体の画質が均一となることを目的として量子化パラメータにリミット値を設定してもよい。
The target information generation amount is calculated in units of pictures, that is, in units of one field such as I0, P1, and B2. In the encoding operation, the
以上のように、実施の形態1によれば、静止画像判定情報に応じて符号化の対象となるピクチャの目標情報発生量を求め、目標情報発生量に基づいて符号化部を制御することにより、GOP全体としての符号化画質を向上させることができる。 As described above, according to the first embodiment, the target information generation amount of the picture to be encoded is obtained according to the still image determination information, and the encoding unit is controlled based on the target information generation amount. Therefore, it is possible to improve the encoded image quality of the entire GOP.
具体的には、GOP先頭のOddフィールドのIピクチャは、情報発生量が削減されるため、符号化画質を示すSNRは劣化する。しかしながら、このIピクチャの次に符号化されるEvenフィールドのPピクチャにおいては、情報発生量が増加することにより符号化画質を示すSNRが改善する。このため、このIPペアを含むGOPを構成するピクチャの符号化画質を示すSNRの平均値が改善し、GOP全体としての符号化画質の向上を実現できる。 Specifically, since the amount of information generated is reduced in the I picture in the Odd field at the beginning of the GOP, the SNR indicating the encoded image quality deteriorates. However, in the P picture of the Even field encoded next to the I picture, the SNR indicating the encoded image quality is improved by increasing the information generation amount. For this reason, the average value of the SNR indicating the encoded image quality of the pictures constituting the GOP including the IP pair is improved, and the encoded image quality as a whole GOP can be improved.
さらに、先の図17に示したようなOddフィールドとEvenフィールドとのSNRの差が縮小し、OddフィールドとEvenフィールドのSNRの遷移がほぼ等しくなるという効果が得られる。 Further, the SNR difference between the Odd field and the Even field as shown in FIG. 17 is reduced, and the SNR transition between the Odd field and the Even field is almost equal.
これに対して、従来の動画像符号化装置では、Iピクチャの目標情報発生量を増加するため、フィールド構造に適応した場合、Oddフィールド側のSNRは向上するが、Evenフィールド側のSNRは劣化する。このため、図17に示したSNRの差が大きくなりGOP全体としての画質の改善がなされない。 On the other hand, in the conventional video encoding device, the target information generation amount of the I picture is increased, so that when applied to the field structure, the SNR on the odd field side is improved, but the SNR on the even field side is degraded. To do. For this reason, the difference in SNR shown in FIG. 17 becomes large, and the image quality as a whole GOP is not improved.
実施の形態2.
本実施の形態2においては、符号化制御部300におけるPピクチャの目標情報発生量Tpの補正処理が、先の実施の形態1と異なる動画像符号化装置について説明する。なお、本実施の形態2における動画像符号化装置の構成は、図1に示す先の実施の形態1の構成と同一である。
In the second embodiment, a moving picture encoding apparatus in which the correction processing of the target information generation amount Tp of the P picture in the
図10は、本発明の実施の形態2における符号化制御部300内の制御回路301の動作を示すフローチャートである。図10に示したステップの内、ステップS1001〜ステップS1011の動作は、先の図8におけるステップS801〜ステップS811の動作と同じである。そこで、図8に示した先の実施の形態1とは異なるステップS1012およびステップS1013によるPピクチャの目標情報発生量Tpの補正処理について、詳細に説明する。
FIG. 10 is a flowchart showing the operation of the
Pピクチャである場合には、ステップS1012に遷移し、制御回路301は、現在符号化対象のPピクチャがGOP先頭のIピクチャからカウントしてK(0<K<N)番目未満であるかを判定する。具体的には、カウンタnの値をKと比較し、n<Kの場合には、ステップS1013に遷移し、n≧Kである場合には、ステップS1010に遷移する。
If it is a P picture, the process proceeds to step S1012, and the
先の図8におけるステップS812では、現在の符号化対象ピクチャがEvenフィールドであることも条件として判定していたが、このステップS1012においては、nとKとの比較のみにより判定を行っており、EvenフィールドとOddフィールドの両方を補正の対象としている。 In step S812 in FIG. 8, it is determined as a condition that the current encoding target picture is an Even field, but in this step S1012, the determination is made only by comparing n and K. Both the Even field and the Odd field are subject to correction.
ステップS1012の条件を満たしている場合には、ステップS1013において、制御回路301は、Pピクチャの目標情報発生量に変更を加える。S1013における変更方法において、制御回路301は、バッファ112の占有量を基に計算を行う。
If the condition of step S1012 is satisfied, in step S1013, the
ここで、バッファ12の占有量をバッファの最大サイズから減算した値、すなわち、n番目のピクチャの符号化後のバッファの空き容量をRMN(n)とした場合に、n番目のピクチャの次に符号化される(n+1)番目のPピクチャの目標情報発生量Tpは、RMN(n)と重み係数w(n+1)との積とする。ここで、本実施の形態2における重み係数wは、先の実施の形態1における重み係数Wとは異なり、符号化順に従ってあらかじめ決められている重み係数である。
Here, when the value obtained by subtracting the occupation amount of the
図11は、本発明の実施の形態2におけるバッファの空き容量に基づく目標情報発生量の分配に関する説明図である。図11の上段は、バッファ112の空き容量の遷移の一例を示しており、下段は、空き容量と重み係数wとの積から計算される目標発生情報量の遷移の一例を示している。 FIG. 11 is an explanatory diagram relating to the distribution of the target information generation amount based on the free space of the buffer according to the second embodiment of the present invention. The upper part of FIG. 11 shows an example of the transition of the free capacity of the buffer 112, and the lower part shows an example of the transition of the target generated information amount calculated from the product of the free capacity and the weighting factor w.
具体的には、I0の符号化終了後のバッファ空き容量は、RMN(0)で示されており、このRMN(0)とw(1)の積が、P1の目標情報発生量Tpとなる。同様にP4の場合には、RMN(3)・w(4)が目標情報発生量Tpとなり、P5の場合には、RMN(4)・w(5)が目標情報発生量Tpとなる。 Specifically, the buffer free space after the encoding of I0 is indicated by RMN (0), and the product of RMN (0) and w (1) is the target information generation amount Tp of P1. . Similarly, in the case of P4, RMN (3) · w (4) is the target information generation amount Tp, and in the case of P5, RMN (4) · w (5) is the target information generation amount Tp.
ステップS1013の処理は、ステップS1012の条件を満たすすべてのPピクチャに対して適用される。先の実施の形態1では、EvenフィールドのPピクチャのみを対象にTpの補正を加えたが、本実施の形態2では、OddフィールドとEvenフィールドの両方のPピクチャのTpに変更を加える。このため、本実施の形態2によれば、両フィールドのSNRの遷移がより近くなる。 The process of step S1013 is applied to all P pictures that satisfy the condition of step S1012. In the first embodiment, the Tp correction is applied only to the P picture in the Even field, but in the second embodiment, the Tp of the P picture in both the Odd field and the Even field is changed. For this reason, according to the second embodiment, the SNR transitions of both fields become closer.
図12は、本発明の実施の形態2のフィールド構造による符号化結果におけるOddフィールドとEvenフィールドのSNRの遷移を示す図である。先の図17と比較して、図12では、IPフィールドにおけるSNRの差がなく、全体を通してOddフィールドとEvenフィールドの差が縮小されており、加えて、SNRの値が改善されていることが分かる。 FIG. 12 is a diagram showing the transition of the SNR between the Odd field and the Even field in the encoding result by the field structure according to the second embodiment of the present invention. Compared to the previous FIG. 17, in FIG. 12, there is no SNR difference in the IP field, the difference between the Odd field and the Even field is reduced throughout, and in addition, the SNR value is improved. I understand.
図13は、インターレース画像の構成を示す図である。フィールド構造のピクチャは、表示される際に、この図13に示すように、OddフィールドとEvenフィールドが1ライン単位で交互に表示される。このため、両フィールドのSNRの差がより少なくなることにより、主観画質がさらに向上するという効果が得られる。 FIG. 13 is a diagram illustrating a configuration of an interlaced image. When the field structure picture is displayed, as shown in FIG. 13, the Odd field and the Even field are alternately displayed in units of one line. For this reason, the effect that the subjective image quality is further improved is obtained by reducing the difference in SNR between the two fields.
以上のように、実施の形態2によれば、OddフィールドとEvenフィールドの両方のPピクチャのTpに変更を加えることにより、GOP全体としての符号化画質をさらに向上させることができる。さらに、先の実施の形態1と比較して、OddフィールドとEvenフィールドのSNRの遷移がより近くなるという効果が得られる。 As described above, according to the second embodiment, it is possible to further improve the encoded image quality of the entire GOP by changing the Tp of the P picture in both the Odd field and the Even field. Furthermore, the effect that the SNR transition between the Odd field and the Even field becomes closer compared to the first embodiment is obtained.
なお、上述の実施の形態1、2においては、静止画像判定を同一パリティのフィールド間のフィールド間差分絶対値和と、異パリティのフィールド間のフィールド間差分絶対値和の比率で判定を行ったが、他の静止画像判定方法を用いても本発明は同様の効果を得ることができる。 In the first and second embodiments described above, still image determination is performed based on the ratio of the inter-field difference absolute value sum between fields of the same parity and the inter-field difference absolute value sum between fields of different parity. However, the present invention can obtain the same effect even if other still image determination methods are used.
また、上述の実施の形態1、2においては、特徴量抽出回路113を符号化部100内に設けた場合について説明したが、本発明の動画像符号化装置は、このような構成に限定されるものではない。例えば、この特徴量抽出回路113の機能を静止画像判定部200内に持たせることも可能であり、同様の効果を得ることができる。
In the first and second embodiments, the case where the feature
また、上述の実施の形態1においては、EvenフィールドのPピクチャのみを対象にPピクチャの目標情報発生量Tpの補正を行う場合を説明し、実施の形態2においては、EvenフィールドとOddフィールドの両方のPピクチャを対象にPピクチャの目標情報発生量Tpの補正を行う場合を説明したが、本発明の動画像符号化装置は、このような処理に限定されるものではない。 Further, in the above-described first embodiment, a case where the target information generation amount Tp of the P picture is corrected only for the P picture in the Even field will be described. In the second embodiment, the Even field and the Odd field are corrected. Although the case where the target information generation amount Tp of the P picture is corrected for both P pictures has been described, the moving picture encoding apparatus of the present invention is not limited to such processing.
実施の形態1においても、EvenフィールドとOddフィールドの両方のPピクチャを対象とすることができ、実施の形態2と同様の効果を得ることができる。また、実施の形態2においても、EvenフィールドのPピクチャのみを対象とすることができ、実施の形態1と同様の効果を得ることができる。 Also in the first embodiment, P pictures in both the Even field and the Odd field can be targeted, and the same effect as in the second embodiment can be obtained. Also in the second embodiment, only the P picture in the Even field can be targeted, and the same effect as in the first embodiment can be obtained.
1 動画像符号化装置、100 符号化部、101 フレームメモリ、102 ブロック化回路、103 減算器、104 変換回路、105 量子化回路、106 逆量子化回路、107 逆変換回路、108 加算器、109 フレームメモリ、110 動き補償回路、111 符号化回路、112 バッファ、113 特徴量抽出回路、200 静止画像判定部、201 静止画像判定回路、300 符号化制御部、301 制御回路、302 メモリ。
DESCRIPTION OF
Claims (6)
前記入力画像信号の中から画像特徴量を抽出する特徴量抽出回路と、
前記画像特徴量に基づいて前記入力画像信号が静止画像または動きが緩慢な画像であるか否かを示す静止画像判定情報を生成する静止画像判定部と、
前記静止画像判定情報に応じて符号化の対象となるピクチャの目標情報発生量を算出し、前記符号化部で符号化を実行するフィールドの実情報発生量が前記目標情報発生量に納まるように前記符号化部を制御する符号化制御部と
を備えることを特徴とする動画像符号化装置。 In a video encoding device having an encoding unit that compresses and encodes an input image signal, which is an interlaced image that is temporally continuous, with a field structure in units of GOPs,
A feature amount extraction circuit for extracting an image feature amount from the input image signal;
A still image determination unit that generates still image determination information indicating whether the input image signal is a still image or a slow-moving image based on the image feature amount;
A target information generation amount of a picture to be encoded is calculated according to the still image determination information, and an actual information generation amount of a field in which encoding is performed by the encoding unit falls within the target information generation amount. A video encoding apparatus comprising: an encoding control unit that controls the encoding unit.
前記特徴量抽出回路は、時間軸上で連続する同一パリティのフィールド間差分情報、および時間軸上で連続する異パリティのフィールド間差分情報を前記画像特徴量として抽出し、
前記静止画像判定部は、前記同一パリティのフィールド間差分情報と前記異パリティのフィールド間差分情報との比率を前記静止画像判定情報として生成し、
前記符号化制御部は、前記比率と所定閾値との比較結果に応じて前記目標情報発生量を算出する
ことを特徴とする動画像符号化装置。 The moving image encoding device according to claim 1,
The feature amount extraction circuit extracts the difference information between fields of the same parity continuous on the time axis and the difference information between fields of the different parity continuous on the time axis as the image feature amounts,
The still image determination unit generates a ratio between the difference information between fields of the same parity and the difference information between fields of different parity as the still image determination information,
The encoding control unit calculates the target information generation amount according to a comparison result between the ratio and a predetermined threshold value.
前記符号化制御部は、
符号化の対象となるピクチャがIピクチャであり、前記Iピクチャに対応する静止画像判定情報が静止画像または動きが緩慢な画像であることを示す情報である場合には、前記Iピクチャに対する目標情報発生量を小さくするように第1の補正量で補正し、
符号化の対象となるピクチャがPピクチャであり、前記Pピクチャに対応する静止画像判定情報が静止画像または動きが緩慢な画像であることを示す情報であり、かつ前記Pピクチャが前記GOP単位内の先頭からカウントして所定枚数未満の場合には、該当する1以上のPピクチャに対する目標情報発生量を、前記Iピクチャの目標情報発生量の補正に用いた前記第1の補正量を分配して大きくなるように補正する
ことを特徴とする動画像符号化装置。 The moving picture encoding apparatus according to claim 1 or 2,
The encoding control unit
When the picture to be encoded is an I picture, and the still picture determination information corresponding to the I picture is information indicating that the picture is a still picture or a slow-moving picture, target information for the I picture Correct with the first correction amount to reduce the generation amount,
The picture to be encoded is a P picture, the still picture determination information corresponding to the P picture is information indicating that the picture is a still picture or a slow-moving picture, and the P picture is within the GOP unit. If the number is less than the predetermined number, the target information generation amount for the corresponding one or more P pictures is distributed as the first correction amount used for correcting the target information generation amount of the I picture. The moving picture coding apparatus is characterized in that correction is performed so as to increase.
前記符号化制御部は、Pピクチャに対する補正後の目標情報発生量を、前記Pピクチャの1つ前のピクチャの符号化完了後における前記符号化部のバッファ空き容量に基づいてさらに補正することを特徴とする動画像符号化装置。 In the moving image encoding device according to claim 3,
The encoding control unit further corrects the corrected target information generation amount for the P picture based on the buffer free space of the encoding unit after the encoding of the picture immediately before the P picture is completed. A moving image encoding device.
前記符号化制御部は、
符号化の対象となるピクチャがIピクチャであり、前記Iピクチャに対応する静止画像判定情報が静止画像または動きが緩慢な画像であることを示す情報である場合には、前記Iピクチャに対する目標情報発生量を小さくするように第1の補正量で補正し、
符号化の対象となるピクチャがPピクチャであり、前記Pピクチャに対応する静止画像判定情報が静止画像または動きが緩慢な画像であることを示す情報であり、かつ前記Pピクチャが前記GOP単位内の先頭からカウントして所定枚数未満の場合には、該当する前記Pピクチャに対する目標情報発生量を、前記Pピクチャの1つ前のピクチャの符号化完了後における前記符号化部のバッファ空き容量に基づいて補正する
ことを特徴とする動画像符号化装置。 The moving picture encoding apparatus according to claim 1 or 2,
The encoding control unit
When the picture to be encoded is an I picture, and the still picture determination information corresponding to the I picture is information indicating that the picture is a still picture or a slow-moving picture, target information for the I picture Correct with the first correction amount to reduce the generation amount,
The picture to be encoded is a P picture, the still picture determination information corresponding to the P picture is information indicating that the picture is a still picture or a slow-moving picture, and the P picture is within the GOP unit. Is less than a predetermined number, the target information generation amount for the corresponding P picture is set to the buffer free space of the encoding unit after the encoding of the picture immediately before the P picture is completed. A moving picture encoding apparatus, wherein correction is performed based on the correction.
前記符号化制御部は、符号化の対象となるピクチャがEvenフィールドのPピクチャに対してのみ、Pピクチャに対する目標情報発生量の補正を行うことを特徴とする動画像符号化装置。 In the moving image encoder according to any one of claims 3 to 5,
The moving picture coding apparatus, wherein the coding control unit corrects the target information generation amount for a P picture only when the picture to be coded is a P picture in the Even field.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006305274A JP4762860B2 (en) | 2006-11-10 | 2006-11-10 | Video encoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006305274A JP4762860B2 (en) | 2006-11-10 | 2006-11-10 | Video encoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008124707A true JP2008124707A (en) | 2008-05-29 |
JP4762860B2 JP4762860B2 (en) | 2011-08-31 |
Family
ID=39509024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006305274A Active JP4762860B2 (en) | 2006-11-10 | 2006-11-10 | Video encoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4762860B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011013304A1 (en) * | 2009-07-29 | 2011-02-03 | パナソニック株式会社 | Picture encoding method, picture encoding device, program, and integrated circuit |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05111012A (en) * | 1991-10-17 | 1993-04-30 | Toshiba Corp | Moving image encoder |
JP2003009156A (en) * | 2001-06-22 | 2003-01-10 | Matsushita Electric Ind Co Ltd | Moving picture coding apparatus, method therefor, storing medium and moving picture decoding method |
-
2006
- 2006-11-10 JP JP2006305274A patent/JP4762860B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05111012A (en) * | 1991-10-17 | 1993-04-30 | Toshiba Corp | Moving image encoder |
JP2003009156A (en) * | 2001-06-22 | 2003-01-10 | Matsushita Electric Ind Co Ltd | Moving picture coding apparatus, method therefor, storing medium and moving picture decoding method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011013304A1 (en) * | 2009-07-29 | 2011-02-03 | パナソニック株式会社 | Picture encoding method, picture encoding device, program, and integrated circuit |
US8699778B2 (en) | 2009-07-29 | 2014-04-15 | Panasonic Corporation | Image coding method, image coding apparatus, program, and integrated circuit |
JP5499035B2 (en) * | 2009-07-29 | 2014-05-21 | パナソニック株式会社 | Image coding method, image coding apparatus, program, and integrated circuit |
Also Published As
Publication number | Publication date |
---|---|
JP4762860B2 (en) | 2011-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4851741B2 (en) | Method and apparatus for encoding a sequence of source images | |
JP4014263B2 (en) | Video signal conversion apparatus and video signal conversion method | |
US6819714B2 (en) | Video encoding apparatus that adjusts code amount by skipping encoding of image data | |
US20030202587A1 (en) | Video data encoding apparatus and method for removing a continuous repeat field from the video data | |
JP2000270332A (en) | Method and device for encoding dynamic picture | |
JP4669239B2 (en) | Apparatus and method for encoding video data | |
JP3210082B2 (en) | Encoding device and method | |
JP4257655B2 (en) | Video encoding device | |
JP5032936B2 (en) | Video encoding apparatus and control method thereof | |
JP5136470B2 (en) | Moving picture coding apparatus and moving picture coding method | |
JP4357560B2 (en) | Moving picture coding apparatus, moving picture coding method, and moving picture coding program | |
JP4762860B2 (en) | Video encoding device | |
JPH07193818A (en) | Method and device for processing picture | |
JP2008005183A (en) | Video image coding method and coding device suitable for movie material | |
JP3778606B2 (en) | Image quality improvement device | |
JP6182888B2 (en) | Image encoding device | |
JPH07131793A (en) | Video signal high efficiency coding device | |
JP5391479B2 (en) | Encoder | |
US9131233B1 (en) | Methods for intra beating reduction in video compression | |
JPH05308628A (en) | Moving image encoder | |
JP4399794B2 (en) | Image coding apparatus and image coding method | |
JP4130197B2 (en) | Video coding method and apparatus | |
GB2417630A (en) | Encoding a video signal based on the activity within the video signal | |
JP2004015351A (en) | Encoding apparatus and method, program, and recording medium | |
KR20030065694A (en) | Error concealment method of Itra coded frame by spatio-temporal information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110608 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4762860 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |