JP2018113525A - Moving picture encoding device and moving picture encoding method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To suppress distortion due to encoding by forming the encoding more efficiently in a fade period.SOLUTION: A moving picture encoding device which performs encoding by selecting, frame by frame, a plurality of encoding methods including a first encoding method for performing inter-frame predictive encoding based upon a temporally past image having been already encoded as a reference image and a second encoding method for performing the inter-frame predictive encoding based upon temporally past and future images having been already encoded as reference images has encoding method selecting means for selecting an encoding method for a frame to be encoded from the plurality of encoding methods including the first encoding method and the second encoding method according to fade information indicating whether the frame to be encoded is an image in a fade period. The encoding method selecting means increases a rate at which the second encoding method is selected more when the fade information indicates that the frame is within the fade period than when the frame is not in the fade period.SELECTED DRAWING: Figure 1

Description

本発明は、編集された動画像データを符号化することができる動画像符号化装置及び動画像符号化方法に関する。   The present invention relates to a moving image encoding apparatus and a moving image encoding method capable of encoding edited moving image data.

近年、音声信号、画像信号など所謂マルチメディアに関連する情報のデジタル化が急進しており、これに対応して画像データの圧縮符号化／復号化技術が注目されている。圧縮符号化及び復号化技術により、画像データの格納に必要な記憶容量や伝送に必要な帯域を減少させることができるため、マルチメディア産業には極めて重要な技術である。   In recent years, digitalization of information related to so-called multimedia such as audio signals and image signals has been rapidly progressing, and in response to this, compression encoding / decoding technology of image data has attracted attention. Since compression encoding and decoding techniques can reduce the storage capacity necessary for storing image data and the bandwidth necessary for transmission, this technique is extremely important for the multimedia industry.

圧縮符号化技術は、多くの画像が有する自己相関性の高さ（すなわち、冗長性）を利用して情報量／データ量を圧縮している。画像データが有する冗長性には、時間冗長性と二次元の空間冗長性があり、時間冗長性は、ブロック単位の動き検出及び動き補償を用いて低減することができる。一方、空間冗長性は、離散コサイン変換（ＤＣＴ）を用いて低減させることが出来る。これらの技術を用いた画像符号化方式に、Ｈ．２６４／ＭＰＥＧ−４ ＰＡＲＴ１０（ＡＶＣ）（以下、Ｈ．２６４と呼ぶ）がある。   The compression encoding technique compresses the information amount / data amount by utilizing the high autocorrelation (that is, redundancy) of many images. The redundancy of image data includes temporal redundancy and two-dimensional spatial redundancy, and temporal redundancy can be reduced by using block-based motion detection and motion compensation. On the other hand, spatial redundancy can be reduced using discrete cosine transform (DCT). An image encoding method using these techniques is described in H.264. H.264 / MPEG-4 PART10 (AVC) (hereinafter referred to as H.264).

Ｈ．２６４では、そのフレームだけで符号化を行うＩピクチャ、すでに符号化を行った時間的に過去のフレームを参照画像として参照画像との差分を符号化するＰピクチャ、すでに符号化を行った時間的に過去のフレームあるいは、未来のフレーム、あるいは過去のフレームと未来のフレームの平均値を参照画像として差分を符号化するＢピクチャがある。これら複数の符号化方法を組み合わせて動画像の符号化を行う。   H. In H.264, an I picture that is encoded using only that frame, a P picture that encodes a difference from a reference image using a past frame that has already been encoded as a reference image, and a temporal that has already been encoded In addition, there is a B picture that encodes a difference using a past frame, a future frame, or an average value of a past frame and a future frame as a reference image. A moving image is encoded by combining these plurality of encoding methods.

一般的には、再生時にストリームの途中から再生することなどを考慮して、０．５秒程度の間隔でフレーム間の相関を使用しないＩピクチャで符号化を行う。また、ＩピクチャとＰピクチャ、ＰピクチャとＰピクチャの間に２枚のＢピクチャを配置して符号化を行うのが一般的である。   In general, in consideration of reproduction from the middle of a stream at the time of reproduction, encoding is performed with an I picture that does not use correlation between frames at intervals of about 0.5 seconds. In general, encoding is performed by arranging two B pictures between an I picture and a P picture, and between a P picture and a P picture.

特開２００５−３０３３６２号公報Japanese Patent Laying-Open No. 2005-303362

ところで、動画像の編集を行う際によく使われる技法のなかにフェードがある。フェードは、動画像が徐々に現れてきたり（フェードイン）、徐々に消えたり（フェードアウト）する動画像効果で、動画像と動画像のつなぎ目などでよく使われている。また、つなぎ前の動画像のフェードアウトと、つなぎ後の動画像のフェードインを重ねて、動画像が徐々に入れ替わっていく（クロスフェード）ものもある。このような、フェード部分の動画像は、フレーム間の相関が低く、画像データの時間冗長性を利用してデータ量を圧縮するＨ．２６４で符号化する場合は、圧縮効率が低くなってしまうという問題があった。   By the way, there is a fade in a technique often used when editing a moving image. Fade is a moving image effect in which moving images gradually appear (fade in) and gradually disappear (fade out), and is often used at the joint between moving images and moving images. In addition, there is a type in which a moving image is gradually switched (cross fade) by superimposing a fade-out of a moving image before joining and a fade-in of a moving image after joining. Such a moving image of the fade portion has a low correlation between frames, and the data amount is compressed using temporal redundancy of image data. In the case of encoding with H.264, there is a problem that the compression efficiency is lowered.

特許文献１では、フェード期間におけるＰピクチャとＢピクチャの符号量の比率を、非フェード期間の場合よりも大きくすることで、フェード期間の符号化による歪の低減を図る技術が提案されている。しかしながら、特許文献１では、フェード期間におけるフレーム間の相関を用いた符号化の圧縮効率は低いままであり、部分的に符号量が多くなってしまっていた。   Patent Document 1 proposes a technique for reducing distortion due to encoding of a fade period by increasing the ratio of the code amount of a P picture and a B picture in a fade period as compared with the case of a non-fade period. However, in Patent Document 1, the compression efficiency of encoding using the correlation between frames in the fade period remains low, and the amount of code partially increases.

そこで、本発明は、フェード期間において、より効率よく符号化し、符号化による歪を抑制できるようにすることを目的とする。   Therefore, an object of the present invention is to perform encoding more efficiently in a fade period and to suppress distortion due to encoding.

上記目的を達成するために、本発明に係る動画像符号化装置は、既に符号化済みの時間的に過去の画像を参照画像としてフレーム間予測符号化を行う第１の符号化方法と、既に符号化済みの時間的に過去および未来の画像を参照画像としてフレーム間予測符号化を行う第２の符号化方法とを含む複数の符号化方法をフレーム毎に選択して符号化する動画像符号化装置であって、符号化対象のフレームがフェード期間内の画像であるか否かを示すフェード情報に応じて、前記第１の符号化方法および、前記第２の符号化方法を含む複数の符号化方法から、符号化対象のフレームの符号化方法を選択する符号化方法選択手段を有し、前記符号化方法選択手段は、前記フェード情報がフェード期間内であることを示している場合は、フェード期間内ではない場合よりも、前記第２の符号化方法を選択する割合を増やすことを特徴とする。   In order to achieve the above object, a video encoding apparatus according to the present invention includes a first encoding method that performs interframe predictive encoding using a previously encoded temporally past image as a reference image, A moving image code that selects and encodes a plurality of encoding methods for each frame, including a second encoding method that performs inter-frame predictive encoding using encoded past and future images as reference images A plurality of encoding methods including a first encoding method and a second encoding method according to fade information indicating whether a frame to be encoded is an image within a fade period. A coding method selection unit that selects a coding method of a frame to be coded from the coding method, and the coding method selection unit indicates that the fade information is within a fade period; Within the fade period Than not is characterized by increasing the proportion of selecting the second encoding method.

上記目的を達成するために、本発明に係る動画像符号化方法は、既に符号化済みの時間的に過去の画像を参照画像としてフレーム間予測符号化を行う第１の符号化方法と、既に符号化済みの時間的に過去および未来の画像を参照画像としてフレーム間予測符号化を行う第２の符号化方法とを含む複数の符号化方法をフレーム毎に選択して符号化する動画像符号化方法であって、符号化対象のフレームがフェード期間内の画像であるか否かを示すフェード情報に応じて、前記第１の符号化方法および、前記第２の符号化方法を含む複数の符号化方法から、符号化対象のフレームの符号化方法を選択する符号化方法選択ステップを有し、前記符号化方法選択ステップにおいて、前記フェード情報がフェード期間内であることを示している場合は、フェード期間内ではない場合よりも、前記第２の符号化方法を選択する割合を増やすことを特徴とする。   In order to achieve the above object, a moving image encoding method according to the present invention includes a first encoding method that performs interframe predictive encoding using a temporally past image that has already been encoded as a reference image, A moving image code that selects and encodes a plurality of encoding methods for each frame, including a second encoding method that performs inter-frame predictive encoding using encoded past and future images as reference images A plurality of encoding methods including a first encoding method and a second encoding method according to fade information indicating whether or not a frame to be encoded is an image within a fade period. A coding method selection step for selecting a coding method of a frame to be coded from the coding method, and the coding method selection step indicates that the fade information is within a fade period; , Than not within Edo period, characterized by increasing the proportion of selecting the second encoding method.

本発明によれば、フェード期間において、より効率よく符号化し、符号化による歪を抑制することができる。   ADVANTAGE OF THE INVENTION According to this invention, it can encode more efficiently in a fade period and can suppress the distortion by encoding.

実施形態１における動画像符号化装置１００の構成の一例を説明するためのブロック図である。2 is a block diagram for explaining an example of a configuration of a moving image encoding apparatus 100 according to Embodiment 1. FIG. 動画像符号化装置１００を適用した画像編集システムの構成の一例を説明するための図である。It is a figure for demonstrating an example of a structure of the image editing system to which the moving image encoder 100 is applied. クロスフェード期間の画像と符号化方式の選択を模式的に示した図である。It is the figure which showed typically selection of the image and encoding method of a cross-fade period. 実施形態１における符号化方式選択回路の動作を説明するためのフローチャートである。6 is a flowchart for explaining the operation of the encoding method selection circuit according to the first embodiment. 実施形態２における符号化方式選択回路の動作を説明するためのフローチャートである。10 is a flowchart for explaining an operation of an encoding scheme selection circuit in the second embodiment.

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。
［実施形態１］
図２は、動画像符号化装置１００を適用した画像編集システムの構成の一例を説明するための図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to the following embodiments.
[Embodiment 1]
FIG. 2 is a diagram for explaining an example of the configuration of an image editing system to which the moving image encoding apparatus 100 is applied.

画像編集装置２０１は、動画や静止画を復号する復号手段を含み、記録媒体２０３に記録されている符号化画像データを記録再生手段２０２を介して読み出し、復号手段によって画像データを復号する。復号された画像データは、画像編集装置２０１によって編集処理された後、符号化装置１００へ送信される。符号化装置１００は、画像編集装置２０１から送信される編集済みの画像を動画として符号化し、生成した符号化画像データを、記録再生装置２０２を介して記録媒体２０３へ記録する。なお、画像の編集に使用する画像は静止画、動画を問わず、編集後の画像は動画として出力する。   The image editing apparatus 201 includes a decoding unit that decodes a moving image or a still image, reads the encoded image data recorded on the recording medium 203 through the recording / reproducing unit 202, and decodes the image data by the decoding unit. The decoded image data is edited by the image editing apparatus 201 and then transmitted to the encoding apparatus 100. The encoding device 100 encodes the edited image transmitted from the image editing device 201 as a moving image, and records the generated encoded image data on the recording medium 203 via the recording / reproducing device 202. Note that the image used for image editing is output as a moving image regardless of whether it is a still image or a moving image.

画像編集装置２０１は、少なくともフェード処理を施すことが可能であり、符号化装置１００へ送信している画像の各フレームが、フェード処理された期間のフレームかどうかを識別するためのフェード情報を、符号化装置１００へ送信する。なお、フェード処理は、画像が時間とともに徐々に現れる効果（フェードイン）と、徐々に消える効果（フェードアウト）があり、さらに、時間とともに徐々に画像が切り替わる効果（クロスフェード）も含まれる。   The image editing apparatus 201 can perform at least a fade process, and fade information for identifying whether or not each frame of an image transmitted to the encoding apparatus 100 is a frame in a fade-processed period, The data is transmitted to the encoding device 100. Note that the fade process has an effect that the image gradually appears with time (fade in), an effect that gradually disappears (fade out), and further includes an effect that the image gradually changes with time (cross fade).

図１は、動画像データを予測符号化する動画像符号化装置１００の構成の一例を説明するためのブロック図である。図１において、動画像符号化装置１００は、符号化方法選択回路１２０と、フレームメモリ１０２と、動きベクトルを探索するインター予測回路１０３と、イントラ予測方法を選択するイントラ予測回路１０４とを備えている。さらに、インター予測とイントラ予測とのどちらかの予測方法を選択するイントラ・インター選択回路１０５と、予測画像生成回路１０６と、減算器１０７と、整数変換回路１０８と、量子化回路１０９とを備えている。   FIG. 1 is a block diagram for explaining an example of a configuration of a moving image encoding apparatus 100 that predictively encodes moving image data. In FIG. 1, the moving picture encoding apparatus 100 includes an encoding method selection circuit 120, a frame memory 102, an inter prediction circuit 103 that searches for a motion vector, and an intra prediction circuit 104 that selects an intra prediction method. Yes. Furthermore, an intra / inter selection circuit 105 that selects a prediction method of inter prediction or intra prediction, a predicted image generation circuit 106, a subtractor 107, an integer conversion circuit 108, and a quantization circuit 109 are provided. ing.

さらに、逆量子化回路１１０と、逆整数変換回路１１１と、加算器１１２と、ループ内フィルタ１１３と、エントロピー符号化回路１１５と、量子化制御回路１１６と、符号量制御回路１１７とを備えている。また、フレームメモリ１０２は、インター予測に用いる参照画像を記憶する参照画像メモリも含んでいる。画像編集装置２０１から送信される動画像データは、第１フレーム、第２フレーム、第３フレーム、・・・の順で、フレームメモリ１０２に順次格納される。フレームメモリ１０２からは、例えば、第３フレーム、第１フレーム、第２フレーム、・・・と、符号化を行う順序で画像データを取り出していく。   Furthermore, an inverse quantization circuit 110, an inverse integer conversion circuit 111, an adder 112, an in-loop filter 113, an entropy encoding circuit 115, a quantization control circuit 116, and a code amount control circuit 117 are provided. Yes. The frame memory 102 also includes a reference image memory that stores a reference image used for inter prediction. The moving image data transmitted from the image editing apparatus 201 is sequentially stored in the frame memory 102 in the order of the first frame, the second frame, the third frame,. Image data is extracted from the frame memory 102 in the order of encoding, for example, the third frame, the first frame, the second frame,...

ここで、符号化方法には、フレーム内の画像データのみで符号化するイントラ符号化と、フレーム間での予測も含めて符号化するインター符号化とがある。インター符号化を行うピクチャは、動き補償の単位（ＭＣブロック）に対して１枚の参照フレームとの予測を行うＰピクチャと、ＭＣブロックに対して２枚までの参照フレームとの予測を行うＢピクチャとがある。Ｂピクチャにおいて、２枚の参照フレームを参照する場合には、２枚の参照フレームの画素値を画素ごとに平均した画像を参照フレームとして符号化を行う。一方、イントラ符号化を行うピクチャは、Ｉピクチャである。   Here, the encoding methods include intra encoding that encodes only image data within a frame, and inter encoding that encodes including prediction between frames. A picture to be inter-encoded is a P picture that predicts one reference frame for a motion compensation unit (MC block) and B that predicts up to two reference frames for an MC block. There is a picture. In the case of referring to two reference frames in a B picture, encoding is performed using an image obtained by averaging the pixel values of the two reference frames for each pixel as a reference frame. On the other hand, a picture to be subjected to intra coding is an I picture.

なお、符号化するフレームの順番が入力されたフレームの順番と異なるのは、過去のフレームだけではなく、時間的に未来のフレームとの予測（後方予測）を可能にするためである。各フレームの符号化方法の選択は、符号化方法選択回路１２０によって行われ、選択した符号化方法を動画像符号化装置１００内の各処理回路へ通知する。   Note that the order of frames to be encoded is different from the order of input frames in order to enable prediction (rearward prediction) with not only past frames but also temporally future frames. The selection of the encoding method for each frame is performed by the encoding method selection circuit 120, and the selected encoding method is notified to each processing circuit in the moving image encoding apparatus 100.

イントラ符号化を行う場合、符号化単位となる符号化対象ブロックの画像データがフレームメモリ１０２から読み出されて、イントラ予測回路１０４へ入力される。実施形態１では、１つの符号化対象ブロックの単位を横１６画素×縦１６画素とする。また、読み出された符号化対象ブロック周辺の画素のデータもフレームメモリ１０２から読み出されて、イントラ予測回路１０４へ入力される。   In the case of performing intra coding, image data of a coding target block serving as a coding unit is read from the frame memory 102 and input to the intra prediction circuit 104. In Embodiment 1, the unit of one encoding target block is 16 horizontal pixels × 16 vertical pixels. Further, the read pixel data around the encoding target block is also read from the frame memory 102 and input to the intra prediction circuit 104.

イントラ予測回路１０４は、符号化対象ブロックと、その符号化対象ブロック周辺の画素のデータから生成される複数のイントラ予測画像データとの相関を基にイントラ予測方式を選択してイントラ・インター選択回路１０５へ出力する。イントラ符号化を行う場合は、イントラ・インター選択回路１０５は常にイントラ予測を選択し、予測画像生成回路１０６へ選択結果を通知する。予測画像生成回路１０６はイントラ・インター選択回路１０５が選択した予測方法に従って、後述する加算器１１２から出力される再構成画像データからイントラ予測画像データを生成する。   The intra prediction circuit 104 selects an intra prediction method based on the correlation between the encoding target block and a plurality of intra prediction image data generated from pixel data around the encoding target block, and an intra / inter selection circuit. To 105. When performing intra coding, the intra / inter selection circuit 105 always selects intra prediction and notifies the prediction image generation circuit 106 of the selection result. The predicted image generation circuit 106 generates intra predicted image data from reconstructed image data output from an adder 112 described later according to the prediction method selected by the intra / inter selection circuit 105.

減算器１０７には、前述のイントラ予測画像データとフレームメモリ１０２から読み出される符号化対象ブロックの画像データとが入力され、符号化対象ブロックの画像とイントラ予測画像との画素値の差分画像データを整数変換回路１０８へ出力する。整数変換回路１０８は、入力された画素値の差分画像データに整数変換を施し、量子化回路１０９は、整数変換回路１０８により整数変換された信号に対して量子化処理を行う。   The subtractor 107 receives the above-described intra prediction image data and the image data of the encoding target block read from the frame memory 102, and calculates the difference image data of the pixel values of the image of the encoding target block and the intra prediction image. Output to the integer conversion circuit 108. The integer conversion circuit 108 performs integer conversion on the input difference image data of the pixel value, and the quantization circuit 109 performs quantization processing on the signal converted by the integer conversion circuit 108.

エントロピー符号化回路１１５は、量子化回路１０９により量子化された変換係数をエントロピー符号化し、ストリームを出力する。ここで、量子化回路１０９における量子化係数は、エントロピー符号化回路１１５で発生した符号量や、符号量制御回路１１７から設定される目標符号量などから量子化制御回路１１６が計算する。また、量子化回路１０９により量子化された変換係数は、逆量子化回路１１０にも入力される。逆量子化回路１１０は、入力された変換係数を逆量子化し、逆整数変換回路１１１は、逆量子化された信号に対して逆整数変換処理を施す。   The entropy coding circuit 115 entropy codes the transform coefficient quantized by the quantization circuit 109 and outputs a stream. Here, the quantization coefficient in the quantization circuit 109 is calculated by the quantization control circuit 116 from the code amount generated in the entropy encoding circuit 115, the target code amount set from the code amount control circuit 117, and the like. Further, the transform coefficient quantized by the quantization circuit 109 is also input to the inverse quantization circuit 110. The inverse quantization circuit 110 inversely quantizes the input transform coefficient, and the inverse integer transform circuit 111 performs an inverse integer transform process on the inversely quantized signal.

加算器１１２には、逆整数変換されたデータと、予測画像生成回路１０６により生成されたイントラ予測画像データとが入力されて加算される。加算後のデータは復号された再構成画像データとなり、前述した予測画像生成回路１０６に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ１１３によって符号化歪の軽減処理が施され、後述するインター符号化の際に用いる参照画像データとしてフレームメモリ１０２の参照画像メモリに記憶される。   The adder 112 receives and adds the inverse integer-converted data and the intra predicted image data generated by the predicted image generation circuit 106. The data after the addition becomes decoded reconstructed image data, which is input to the above-described predicted image generation circuit 106 and used to generate intra predicted image data. In addition, the reconstructed image data is subjected to encoding distortion reduction processing by the in-loop filter 113 and is stored in the reference image memory of the frame memory 102 as reference image data used in inter-encoding described later.

一方、インター符号化を行う場合、符号化単位となる符号化対象ブロックの画像データがフレームメモリ１０２から読み出されて、インター予測回路１０３へ入力される。また、インター予測回路１０３は、参照画像データを参照画像メモリから読み出し、符号化対象の画像データと参照画像データとから動きベクトルを検出して、イントラ・インター選択回路１０５へ通知する。   On the other hand, when inter coding is performed, image data of an encoding target block serving as a coding unit is read from the frame memory 102 and input to the inter prediction circuit 103. The inter prediction circuit 103 reads reference image data from the reference image memory, detects a motion vector from the image data to be encoded and the reference image data, and notifies the intra / inter selection circuit 105 of the motion vector.

なお、フレームによっては、符号化対象ブロックごとにインター予測かイントラ予測かを選択することができる。イントラ予測回路１０４は前述のように動作し、イントラ予測の結果をイントラ・インター選択回路１０５へ通知する。イントラ・インター選択回路１０５は、インター予測回路１０３の結果とイントラ予測回路１０４の結果とを入力し、例えば、差分値が小さい方の予測方法を選択して、予測画像生成回路１０６へ通知する。減算器１０７では、符号化対象の画像と予測画像との差分を計算し、差分画像データが生成される。差分画像データは整数変換回路１０８に出力され、その後の処理は前述したイントラ符号化の場合と同様である。   Depending on the frame, it is possible to select inter prediction or intra prediction for each encoding target block. The intra prediction circuit 104 operates as described above, and notifies the intra / inter selection circuit 105 of the result of intra prediction. The intra / inter selection circuit 105 receives the result of the inter prediction circuit 103 and the result of the intra prediction circuit 104, selects, for example, the prediction method with the smaller difference value, and notifies the prediction image generation circuit 106 of the prediction method. The subtractor 107 calculates the difference between the image to be encoded and the predicted image, and generates difference image data. The difference image data is output to the integer conversion circuit 108, and the subsequent processing is the same as in the case of the intra coding described above.

符号化方法選択回路１２０の動作について詳細に説明する。ここでは、編集装置２０１が出力する編集済みの画像データに、画像Ａから画像Ｂへのクロスフェードによる切り替わり部分が含まれているとし、その切り替わり期間の動作について説明する。図３（ａ）は、編集済みの画像データにおける、画像の切り替わり前後について、画像の時間変化を示している。また、それに対応するフェード情報の変化を図３（ｂ）に示している。符号化方法選択回路１２０が符号化対象フレームのピクチャタイプを決定する処理を図４のフローチャートを用いて説明する。   The operation of the encoding method selection circuit 120 will be described in detail. Here, it is assumed that the edited image data output from the editing apparatus 201 includes a switching portion by cross fading from the image A to the image B, and the operation during the switching period will be described. FIG. 3A shows temporal changes of images before and after image switching in edited image data. Further, FIG. 3B shows a change in fade information corresponding thereto. A process in which the encoding method selection circuit 120 determines the picture type of the encoding target frame will be described with reference to the flowchart of FIG.

符号化方法選択回路１２０は、Ｓ４０１でＢピクチャが何枚連続しているかを数えるカウンタであるＢカウンタの初期化を行うかどうかの判定が実施される。Ｂカウンタの初期化をしない場合（Ｓ４０１でＮｏ）はＳ４０３へ遷移する。一方、記録開始時など、Ｂカウンタの初期化を行う場合（Ｓ４０１でＹｅｓ）はＳ４０２に遷移し、Ｓ４０２でＢカウンタの値を０に初期化してＳ４０３に遷移する。Ｓ４０３で符号化対象フレームがフェード期間に含まれるか否かの判定を、画像編集装置などから通知されるフェード情報を基に行う。フェード期間である場合（Ｓ４０３でＹｅｓ）はＳ４０４へ遷移し、Ｓ４０４で連続するＢピクチャの設定値であるＢ枚数を３に設定してＳ４０６へ遷移する。   The encoding method selection circuit 120 determines whether or not to initialize the B counter, which is a counter that counts how many B pictures are continuous, in S401. When the B counter is not initialized (No in S401), the process proceeds to S403. On the other hand, when the B counter is initialized at the start of recording (Yes in S401), the process proceeds to S402. In S402, the value of the B counter is initialized to 0, and the process proceeds to S403. In step S403, whether or not the encoding target frame is included in the fade period is determined based on the fade information notified from the image editing apparatus or the like. When it is a fade period (Yes in S403), the process proceeds to S404, and in S404, the number of B, which is a set value of consecutive B pictures, is set to 3, and the process proceeds to S406.

一方、フェード期間ではない場合（Ｓ４０３でＮｏ）はＳ４０５へ遷移し、Ｓ４０５でＢ枚数を２に設定してＳ４０６へ遷移する。Ｓ４０６でＢカウンタの値と、Ｂ枚数の値が同じであるか否かを判定する。Ｂカウンタの値とＢ枚数の値が同じではない場合（Ｓ４０６でＮｏ）はＳ４１０へ遷移し、Ｓ４１０で符号化方法をＢピクチャにすると決定して、Ｓ４１２でＢカウンタの値に１加算して処理を終了する。一方、Ｓ４０６でＢカウンタの値とＢ枚数の値が同じである場合（Ｓ４０６でＹｅｓ）はＳ４０７へ遷移する。Ｓ４０７で以前にＩピクチャを選択してから０．５秒以上経過しているか否かを判定する。   On the other hand, if it is not the fade period (No in S403), the process proceeds to S405, the number of B is set to 2 in S405, and the process proceeds to S406. In S406, it is determined whether or not the value of the B counter is the same as the value of the B number. If the value of the B counter is not the same as the value of the B number (No in S406), the process proceeds to S410. In S410, the encoding method is determined to be B picture, and 1 is added to the value of the B counter in S412. The process ends. On the other hand, if the value of the B counter is the same as the value of the B number in S406 (Yes in S406), the process proceeds to S407. In S407, it is determined whether 0.5 seconds or more have elapsed since the previous selection of the I picture.

０．５秒以上経過している場合（Ｓ４０７でＹｅｓ）はＳ４０８で符号化方法をＩピクチャにすると決定して、Ｓ４１１でＢカウンタの値を０にして処理を終了する。一方、０．５秒以上経過していない場合（Ｓ４０７でＮｏ）はＳ４０９で符号化方法をＰピクチャにすると決定して、Ｓ４１１でＢカウンタの値を０にして処理を終了する。   If 0.5 seconds or more have elapsed (Yes in S407), it is determined in S408 that the encoding method is I picture, the value of the B counter is set to 0 in S411, and the process ends. On the other hand, if 0.5 seconds or more have not elapsed (No in S407), it is determined in S409 that the encoding method is P picture, the value of the B counter is set to 0 in S411, and the process ends.

以上の動作により、フェード期間の近傍の符号化方法は図３（ｄ）のように選択される。図３（ｄ）中の矢印は、矢印の元の画像を矢印の先の符号化時に参照画像として使用することを示している。また、比較のために、実施形態１及び２における方法を適用しない場合の符号化方法の選択を図３（ｃ）に示している。図３（ｃ）中の矢印も、同様に参照画像を示している。図３（ｃ）はフェード期間においても、フェード期間ではない期間と同じ符号化方法の選択を行っている。   With the above operation, the encoding method in the vicinity of the fade period is selected as shown in FIG. An arrow in FIG. 3D indicates that the original image of the arrow is used as a reference image at the time of encoding at the tip of the arrow. For comparison, FIG. 3C shows selection of an encoding method when the methods in the first and second embodiments are not applied. Similarly, the arrow in FIG. 3C indicates a reference image. In FIG. 3C, the same encoding method is selected in the fade period as in the non-fade period.

実施形態１における方法を適用した場合、フェード期間において、Ｂピクチャが選択される割合が、フェード期間ではない期間と比較して多くなり、符号化効率が向上する。フェード期間は時間的に過去の画像と未来の画像が合成された画像であるため、時間的に過去の画像と未来の画像を合成した画像を参照画像として使用できるＢピクチャの方が、過去の画像のみ参照可能なＰピクチャと比較して符号化効率は高いためである。   When the method according to the first embodiment is applied, the ratio at which the B picture is selected in the fade period is larger than that in the period other than the fade period, and the coding efficiency is improved. Since the fade period is an image obtained by combining the past image and the future image in time, the B picture that can use the image obtained by combining the past image and the future image in time as the reference image This is because the encoding efficiency is higher than that of a P picture that can only refer to an image.

［実施形態２］
実施形態２では、実施形態２における動画像符号化装置の構成は、実施形態１で説明したものと同様であるので、ここでは、主に実施形態１との差異について説明する。実施形態２では、符号化方法選択回路１２０の動作が異なる。符号化方法選択回路１２０が符号化対象フレームのピクチャタイプを決定する処理を図５のフローチャートを用いて説明する。 [Embodiment 2]
In the second embodiment, the configuration of the video encoding apparatus in the second embodiment is the same as that described in the first embodiment, and here, differences from the first embodiment will be mainly described. In the second embodiment, the operation of the encoding method selection circuit 120 is different. The process in which the encoding method selection circuit 120 determines the picture type of the encoding target frame will be described with reference to the flowchart of FIG.

符号化方法選択回路１２０は、Ｓ４０１でＢピクチャが何枚連続しているかを数えるカウンタであるＢカウンタの初期化を行うかどうかの判定が実施される。Ｂカウンタの初期化をしない場合（Ｓ４０１でＮｏ）はＳ４０３へ遷移する。一方、記録開始時など、Ｂカウンタの初期化を行う場合（Ｓ４０１でＹｅｓ）はＳ４０２に遷移し、Ｓ４０２でＢカウンタの値を０に初期化してＳ４０３に遷移する。Ｓ４０３で符号化対象フレームがフェード期間に含まれるか否かの判定を、画像編集装置などから通知されるフェード情報を基に行う。   The encoding method selection circuit 120 determines whether or not to initialize the B counter, which is a counter that counts how many B pictures are continuous, in S401. When the B counter is not initialized (No in S401), the process proceeds to S403. On the other hand, when the B counter is initialized at the start of recording (Yes in S401), the process proceeds to S402. In S402, the value of the B counter is initialized to 0, and the process proceeds to S403. In step S403, whether or not the encoding target frame is included in the fade period is determined based on the fade information notified from the image editing apparatus or the like.

フェード期間である場合（Ｓ４０３でＹｅｓ）はＳ４０４へ遷移し、Ｓ４０４で連続するＢピクチャの設定値であるＢ枚数を３に設定してＳ４０６へ遷移する。一方、フェード期間ではない場合（Ｓ４０３でＮｏ）はＳ４０５へ遷移し、Ｓ４０５でＢ枚数を２に設定してＳ４０６へ遷移する。Ｓ４０６でＢカウンタの値と、Ｂ枚数の値が同じであるか否かを判定する。Ｂカウンタの値とＢ枚数の値が同じではない場合（Ｓ４０６でＮｏ）はＳ５０１へ遷移する。Ｓ５０１でフェード期間であり、かつ、Ｂカウンタの値が１であるか否かを判定する。   When it is a fade period (Yes in S403), the process proceeds to S404, and in S404, the number of B, which is a set value of consecutive B pictures, is set to 3, and the process proceeds to S406. On the other hand, if it is not the fade period (No in S403), the process proceeds to S405, the number of B is set to 2 in S405, and the process proceeds to S406. In S406, it is determined whether or not the value of the B counter is the same as the value of the B number. If the value of the B counter is not the same as the value of the B number (No in S406), the process proceeds to S501. In S501, it is determined whether it is a fade period and the value of the B counter is 1.

フェード期間であり、かつ、Ｂカウンタの値が１である場合（Ｓ５０１でＹｅｓ）はＳ５０２で符号化方法を参照Ｂピクチャにすると決定してＳ４１２へ遷移する。参照Ｂピクチャとは、Ｂピクチャのうち、当該フレームが他のフレームの参照画像として使用される場合がある符号化方法である。一方、フェード期間であり、かつ、Ｂカウンタの値が１ではない場合（Ｓ５０１でＮｏ）はＳ４１０で符号化方法をＢピクチャにすると決定してＳ４１２へ遷移する。Ｓ４１２でＢカウンタの値に１加算して処理を終了する。   If it is a fade period and the value of the B counter is 1 (Yes in S501), the encoding method is determined to be the reference B picture in S502, and the process proceeds to S412. The reference B picture is an encoding method that may be used as a reference image of another frame in the B picture. On the other hand, if it is a fade period and the value of the B counter is not 1 (No in S501), it is determined in S410 that the encoding method is B picture, and the process proceeds to S412. In S412, 1 is added to the value of the B counter, and the process ends.

一方、Ｓ４０６でＢカウンタの値とＢ枚数の値が同じである場合（Ｓ４０６でＹｅｓ）はＳ４０７へ遷移する。Ｓ４０７で以前にＩピクチャを選択してから０．５秒以上経過しているか否かを判定する。０．５秒以上経過している場合（Ｓ４０７でＹｅｓ）はＳ４０８で符号化方法をＩピクチャにすると決定して、Ｓ４１１でＢカウンタの値を０にして処理を終了する。一方、０．５秒以上経過していない場合（Ｓ４０７でＮｏ）はＳ４０９で符号化方法をＰピクチャにすると決定して、Ｓ４１１でＢカウンタの値を０にして処理を終了する。   On the other hand, if the value of the B counter is the same as the value of the B number in S406 (Yes in S406), the process proceeds to S407. In S407, it is determined whether 0.5 seconds or more have elapsed since the previous selection of the I picture. If 0.5 seconds or more have elapsed (Yes in S407), it is determined in S408 that the encoding method is I picture, the value of the B counter is set to 0 in S411, and the process ends. On the other hand, if 0.5 seconds or more have not elapsed (No in S407), it is determined in S409 that the encoding method is P picture, the value of the B counter is set to 0 in S411, and the process ends.

以上の動作により、フェード期間の近傍の符号化方法は図３（ｅ）のように選択される。なお、図３（ｅ）中の矢印は、矢印の元の画像を矢印の先の符号化時に参照画像として使用することを示している。また、比較のために、実施形態１及び２における方法を適用しない場合の符号化方法の選択を図３（ｃ）に示している。図３（ｃ）中の矢印も、同様に参照画像を示している。図３（ｃ）はフェード期間においても、フェード期間ではない期間と同じ符号化方法の選択を行っている。   With the above operation, the encoding method in the vicinity of the fade period is selected as shown in FIG. In addition, the arrow in FIG.3 (e) has shown using the original image of an arrow as a reference image at the time of the encoding of the tip of an arrow. For comparison, FIG. 3C shows selection of an encoding method when the methods in the first and second embodiments are not applied. Similarly, the arrow in FIG. 3C indicates a reference image. In FIG. 3C, the same encoding method is selected in the fade period as in the non-fade period.

実施形態２における方法を適用した場合、フェード期間において、すべてのＢピクチャについて、２枚の参照画像の時間的距離が等しくなるため符号化効率が向上する。フェード期間は時間的に過去の画像と未来の画像が合成された画像であり、また、一般的にはその合成比率は時間に対して一定の速さで変わるので、時間的に等間隔となっている過去の参照画像と未来の参照画像を平均して合成した画像を参照画像として使用するＢピクチャの符号化効率が高くなるためである。   When the method according to the second embodiment is applied, the encoding efficiency is improved because the temporal distance between the two reference images is equal for all the B pictures in the fade period. The fade period is an image in which the past image and the future image are synthesized in time. In general, the composition ratio changes at a constant speed with respect to time, so the intervals become equal in time. This is because the coding efficiency of a B picture that uses an image obtained by combining an average of past reference images and future reference images as a reference image increases.

［実施形態３］
実施形態１及び２で説明した様々な機能、処理及び方法は、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などがプログラムを用いて実現することもできる。以下、実施形態３では、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵなどを「コンピュータＸ」と呼ぶ。また、実施形態３では、コンピュータＸを制御するためのプログラムであって、実施形態１及び２で説明した様々な機能、処理及び方法を実現するためのプログラムを「プログラムＹ」と呼ぶ。 [Embodiment 3]
The various functions, processes, and methods described in the first and second embodiments can also be realized by using a program by a personal computer, a microcomputer, a CPU (Central Processing Unit), or the like. Hereinafter, in the third embodiment, a personal computer, a microcomputer, a CPU, and the like are referred to as “computer X”. In the third embodiment, a program for controlling the computer X and realizing the various functions, processes, and methods described in the first and second embodiments is referred to as “program Y”.

実施形態１及び２で説明した様々な機能、処理及び方法は、コンピュータＸがプログラムＹを実行することによって実現される。この場合において、プログラムＹは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＸに供給される。実施形態３におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、揮発性メモリ、不揮発性メモリなどの少なくとも一つを含む。実施形態３におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。   The various functions, processes, and methods described in the first and second embodiments are realized by the computer X executing the program Y. In this case, the program Y is supplied to the computer X via a computer-readable storage medium. The computer-readable storage medium according to the third embodiment includes at least one of a hard disk device, a magnetic storage device, an optical storage device, a magneto-optical storage device, a memory card, a volatile memory, and a nonvolatile memory. The computer-readable storage medium in the third embodiment is a non-transitory storage medium.

１００ 動画像符号化装置 １２０ 符号化方法選択回路
１０２ フレームメモリ １０３ インター予測回路
１０４ イントラ予測回路 DESCRIPTION OF SYMBOLS 100 Moving image encoder 120 Coding method selection circuit 102 Frame memory 103 Inter prediction circuit 104 Intra prediction circuit

Claims (6)

既に符号化済みの時間的に過去の画像を参照画像としてフレーム間予測符号化を行う第１の符号化方法と、既に符号化済みの時間的に過去および未来の画像を参照画像としてフレーム間予測符号化を行う第２の符号化方法とを含む複数の符号化方法をフレーム毎に選択して符号化する動画像符号化装置であって、
符号化対象のフレームがフェード期間内の画像であるか否かを示すフェード情報に応じて、前記第１の符号化方法および、前記第２の符号化方法を含む複数の符号化方法から、符号化対象のフレームの符号化方法を選択する符号化方法選択手段
を有し、
前記符号化方法選択手段は、前記フェード情報がフェード期間内であることを示している場合は、フェード期間内ではない場合よりも、前記第２の符号化方法を選択する割合を増やすことを特徴とする動画像符号化装置。 A first encoding method for performing inter-frame predictive encoding using an already encoded temporally past image as a reference image, and inter-frame prediction using an already encoded temporally past and future image as a reference image A video encoding device that selects and encodes a plurality of encoding methods including a second encoding method that performs encoding for each frame,
From the plurality of encoding methods including the first encoding method and the second encoding method according to fade information indicating whether or not the frame to be encoded is an image within a fade period, Encoding method selection means for selecting an encoding method of a frame to be encoded,
The encoding method selection means increases the ratio of selecting the second encoding method when the fade information indicates that it is within a fade period, compared to when it is not within a fade period. A video encoding device. 前記第２の符号化方法は、
復号した画像のフレームを他のフレームを符号化時するときに参照画像として使うことができる、参照可能な第２の符号化方法と、
復号した画像のフレームを他のフレームを符号化時するときに参照画像として使うことができない、参照不可能な第２の符号化方法と
のいずれかから選択可能であることを特徴とする請求項１に記載の動画像符号化装置。 The second encoding method is:
A referenceable second encoding method that can be used as a reference image when decoding a frame of a decoded image when encoding another frame;
The decoded image frame can be selected from any one of the second non-referenceable encoding methods that cannot be used as a reference image when encoding other frames. The moving image encoding apparatus according to 1. 前記符号化方法選択手段は、前記フェード情報がフェード期間内であることを示している場合は、前記参照不可能な第２の符号化方法を１フレームおきに選択し、
前記参照不可能な第２の符号化方法を選択しないフレームについては、前記第１の符号化方法と前記参照可能な第２の符号化方法とのいずれかを交互に選択することを特徴とする請求項２に記載の動画像符号化装置。 The encoding method selection means, when the fade information indicates that it is within a fade period, selects the second encoding method that cannot be referred to every other frame,
For a frame in which the second non-referenceable encoding method is not selected, either the first encoding method or the referenceable second encoding method is alternately selected. The moving image encoding apparatus according to claim 2. 既に符号化済みの時間的に過去の画像を参照画像としてフレーム間予測符号化を行う第１の符号化方法と、既に符号化済みの時間的に過去および未来の画像を参照画像としてフレーム間予測符号化を行う第２の符号化方法とを含む複数の符号化方法をフレーム毎に選択して符号化する動画像符号化方法であって、
符号化対象のフレームがフェード期間内の画像であるか否かを示すフェード情報に応じて、前記第１の符号化方法および、前記第２の符号化方法を含む複数の符号化方法から、符号化対象のフレームの符号化方法を選択する符号化方法選択ステップ
を有し、
前記符号化方法選択ステップにおいて、前記フェード情報がフェード期間内であることを示している場合は、フェード期間内ではない場合よりも、前記第２の符号化方法を選択する割合を増やすことを特徴とする動画像符号化方法。 A first encoding method for performing inter-frame predictive encoding using an already encoded temporally past image as a reference image, and inter-frame prediction using an already encoded temporally past and future image as a reference image A video encoding method that selects and encodes for each frame a plurality of encoding methods including a second encoding method that performs encoding,
From the plurality of encoding methods including the first encoding method and the second encoding method according to fade information indicating whether or not the frame to be encoded is an image within a fade period, An encoding method selection step of selecting an encoding method of a frame to be encoded;
In the encoding method selection step, when the fade information indicates that it is within a fade period, the ratio of selecting the second encoding method is increased as compared with a case where the fade information is not within a fade period. A video encoding method. 前記第２の符号化方法は、
復号した画像のフレームを他のフレームを符号化時するときに参照画像として使うことができる、参照可能な第２の符号化方法と、
復号した画像のフレームを他のフレームを符号化時するときに参照画像として使うことができない、参照不可能な第２の符号化方法と
のいずれかから選択可能であることを特徴とする請求項４に記載の動画像符号化方法。 The second encoding method is:
A referenceable second encoding method that can be used as a reference image when decoding a frame of a decoded image when encoding another frame;
The decoded image frame can be selected from any one of the second non-referenceable encoding methods that cannot be used as a reference image when encoding other frames. 5. The moving image encoding method according to 4. 前記符号化方法選択ステップにおいて、前記フェード情報がフェード期間内であることを示している場合は、前記参照不可能な第２の符号化方法を１フレームおきに選択し、
前記参照不可能な第２の符号化方法を選択しないフレームについては、前記第１の符号化方法と前記参照可能な第２の符号化方法とのいずれかを交互に選択することを特徴とする請求項５に記載の動画像符号化方法。 In the encoding method selection step, when the fade information indicates that it is within a fade period, the second non-referenceable encoding method is selected every other frame,
For a frame in which the second non-referenceable encoding method is not selected, either the first encoding method or the referenceable second encoding method is alternately selected. The moving image encoding method according to claim 5.