JP2005176095A

JP2005176095A - Image coding apparatus and method

Info

Publication number: JP2005176095A
Application number: JP2003415423A
Authority: JP
Inventors: Tadashi Ohira; 正大平
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-12-12
Filing date: 2003-12-12
Publication date: 2005-06-30

Abstract

<P>PROBLEM TO BE SOLVED: To enhance the quality of a decoded image of an entire object image in a simple manner. <P>SOLUTION: An image coding apparatus capable of performing inter-frame prediction coding of a moving picture includes: a frame memory (103) of storing the moving picture of a plurality of frames; an image feature quantities calculation means (100) for calculating a feature qualities for each frame of the stored moving picture; image coding means (105, 106 and 107) for coding the moving picture stored in the frame memory on the basis of the calculated feature quantities; a decision means (100) for deciding a plurality of the frames as one group of the processing object on the basis of the feature quantities; and an assignment means (100) for assigning a code quantity to each frame on the basis of the feature quantities and the number of frames included in the decided group, and the image coding means apply coding to the moving picture stored in the storage means so that the moving picture has the assigned code quantity. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、動画像を符号化する画像符号化装置及び方法に関するものである。 The present invention relates to an image encoding apparatus and method for encoding a moving image.

従来、画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやDigital Video等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１、Ｈ．２６３、ＭＰＥＧ−１，ＭＰＥＧ−２等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。フレーム内符号化方式はフレーム単位で独立に符号化を行うもので、フレームの管理がしやすいため、動画像の編集や特殊再生が必要な場合に適している。また、フレーム間予測符号化方式は、フレーム間での画像データの差分に基づくフレーム間予測を用いるため、符号化効率が高いという特徴を持っている。 Conventionally, as an image encoding method, an intra-frame encoding method such as Motion JPEG or Digital Video, or H.264 using inter-frame predictive encoding is used. 261, H.H. Coding schemes such as H.263, MPEG-1, and MPEG-2 are known. These encoding methods are internationally standardized by ISO (International Organization for Standardization) and ITU (International Telecommunication Union). The intra-frame coding method performs coding independently for each frame, and is easy to manage frames, and is therefore suitable for cases where editing of moving images and special reproduction are required. In addition, the inter-frame predictive coding method has a feature that coding efficiency is high because inter-frame prediction based on a difference in image data between frames is used.

ＭＰＥＧなどでは、前後２枚の参照画像を用いてフレーム間予測を行うことで符号化効率を向上させている。現在符号化対象となるフレームと参照フレームとの間で高い相関があれば符号化効率は向上する。このとき、参照フレームには符号化器内で既に符号化し、復号した局部復号フレームを用いるため、何らかの符号化歪みを持つ画像となる。この歪みはフレーム間の相関を低下させる場合があり、極力少ないことが望まれる。
さらに新しい動画像の符号化方式としてＨ．２６４符号化方式が注目されている。Ｈ．２６４符号化方式はＩＴＵ−ＴとＩＳＯが共同で開発した符号化方式である。Ｈ．２６４符号化方式の特徴は、従来のＭＰＥＧ−１、２、４符号化方式と異なり、４ｘ４整数変換を用い、イントラ予測は複数用意されていることである。また、ループ内フィルタが用いられ、動き補償は７種類のサブブロックで行われる。動き補償の画素精度はＭＰＥＧ−４符号化方式と同様で、１／４画素精度の動き補償を行うことができる。エントロピー符号化としてユニバーサル可変長符号化やコンテキスト適応可変長符号化が用いられている。 In MPEG or the like, encoding efficiency is improved by performing inter-frame prediction using two reference images before and after. If there is a high correlation between the current encoding target frame and the reference frame, the encoding efficiency is improved. At this time, since a locally decoded frame that has already been encoded and decoded in the encoder is used as the reference frame, an image having some coding distortion is obtained. This distortion may reduce the correlation between frames, and it is desirable that this distortion be as small as possible.
Furthermore, H.264 is a new moving picture encoding method. The H.264 encoding method is attracting attention. H. The H.264 encoding method is an encoding method jointly developed by ITU-T and ISO. H. A feature of the H.264 encoding method is that, unlike the conventional MPEG-1, 2, 4 encoding method, 4 × 4 integer conversion is used and a plurality of intra predictions are prepared. Further, an in-loop filter is used, and motion compensation is performed in seven types of sub-blocks. The pixel accuracy of motion compensation is the same as that of the MPEG-4 encoding method, and motion compensation with 1/4 pixel accuracy can be performed. Universal variable length coding and context adaptive variable length coding are used as entropy coding.

さらに大きな特徴として、ＭＰＥＧ−１、２、４では前後２枚の参照画像を用いて動き補償を行っていたことに対し、Ｈ．２６４ではより多くの、且つ離れた参照画像を用いることが可能になった。ビットストリームの先頭のヘッダに含まれるnum_ref_frames符号は最大１６の値をとることができる。すなわち、前後１６フレームを参照することが可能である。符号化対象となるマクロブロックは前述のとおり、最大１６フレーム、且つ７種類のサブブロックについて１／４画素精度で予測誤差を求め、予測誤差が最小になるマクロブロックを選択することで、符号化効率を大幅に改善することが可能となる（例えば、非特許文献１参照）。 Further, as a major feature, MPEG-1, 2, and 4 perform motion compensation using two reference images before and after. H.264 makes it possible to use a larger number of remote reference images. The num_ref_frames code included in the head header of the bitstream can take a maximum of 16 values. That is, it is possible to refer to the 16 frames before and after. As described above, a macroblock to be encoded is encoded by obtaining a prediction error with 1/4 pixel accuracy for a maximum of 16 frames and 7 types of sub-blocks, and selecting a macroblock with the smallest prediction error. The efficiency can be greatly improved (for example, see Non-Patent Document 1).

この概念を図９（ｂ）に示す。前述のとおりＭＰＥＧ−１，２，４に比べ、Ｈ．２６４では参照画像の選択方法に対し自由度を高めることができる。 This concept is shown in FIG. Compared to MPEG-1, 2, 4 as described above, H.264. H.264 can increase the degree of freedom with respect to the reference image selection method.

“Overview of the H.264 / AVC Video Coding Standard”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FORVIDEO TECHNOLOGY, JULY 2003“Overview of the H.264 / AVC Video Coding Standard”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FORVIDEO TECHNOLOGY, JULY 2003

Ｈ．２６４の枠組みにおいては、図９のように１つの画像を複数の画像から参照できるが、この参照画像の選択などの具体的方法は明示されていない。 H. In the H.264 framework, one image can be referred to from a plurality of images as shown in FIG. 9, but a specific method such as selection of the reference image is not clearly described.

本発明は上記問題点を鑑みてなされたものであり、対象とする画像全体の復号画像の品質を簡便に向上させることを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to easily improve the quality of a decoded image of the entire target image.

上記目的を達成するために、動画像のフレーム間予測符号化を実行可能な本発明の画像符号化装置は、複数のフレーム分の動画像を蓄積する蓄積手段と、前記蓄積した動画像のフレーム毎に特徴量を算出する特徴量算出手段と、前記蓄積手段に蓄積した動画像を前記算出した特徴量に基づいて符号化する画像符号化手段と、前記特徴量算出手段により算出した特徴量に基づいて、複数のフレームを処理対象の１グループと判断する判断手段と、前記特徴量及び前記判断されたグループに含まれるフレーム数に基づいて、各フレームに符号量を割り当てる割当手段とを有し、前記画像符号化手段は、前記蓄積手段に蓄積した動画像を、前記割り当てられた符号量となるように符号化する。 In order to achieve the above object, an image encoding apparatus of the present invention capable of performing inter-frame predictive encoding of a moving image includes storage means for storing a plurality of frames of moving images, and the frames of the stored moving images. A feature amount calculating unit that calculates a feature amount for each time; an image encoding unit that encodes a moving image stored in the storage unit based on the calculated feature amount; and a feature amount calculated by the feature amount calculating unit. A determination unit that determines a plurality of frames as a group to be processed, and an allocation unit that allocates a code amount to each frame based on the feature amount and the number of frames included in the determined group. The image encoding unit encodes the moving image stored in the storage unit so that the allocated code amount is obtained.

また、動画像のフレーム間予測符号化を実行可能な本発明の画像符号化方法は、複数のフレーム分の動画像を蓄積する蓄積工程と、前記蓄積した動画像のフレーム毎に特徴量を算出する特徴量算出工程と、前記蓄積工程で蓄積した動画像を前記算出した特徴量に基づいて符号化する画像符号化工程と、前記特徴量算出工程において算出した特徴量に基づいて、複数のフレームを処理対象の１グループと判断する判断工程と、前記特徴量及び前記判断されたグループに含まれるフレーム数に基づいて、各フレームに符号量を割り当てる割当工程とを有し、前記画像符号化工程では、前記蓄積工程で蓄積した動画像を、前記割り当てられた符号量となるように符号化する。 The image coding method of the present invention capable of performing inter-frame predictive coding of moving images includes a storing step of storing moving images for a plurality of frames, and a feature amount is calculated for each frame of the stored moving images. A feature amount calculating step, an image encoding step for encoding the moving image stored in the storage step based on the calculated feature amount, and a plurality of frames based on the feature amount calculated in the feature amount calculating step. A determination step of determining a group to be processed, and an allocation step of allocating a code amount to each frame based on the feature amount and the number of frames included in the determined group. Then, the moving image accumulated in the accumulation step is encoded so as to have the allocated code amount.

また、動画像のフレーム間予測符号化を実行可能な本発明の別の画像符号化装置は、複数のフレーム分の動画像を蓄積する蓄積手段と、前記蓄積した複数のフレーム分の動画像を符号化する符号化手段と、前記符号化したフレームの再符号化の要否を判断する判断手段と、前記判断手段が再符号化をすると判断した場合に、前記符号化手段により前記複数のフレーム分の動画像を再度符号化するように制御する制御手段と、前記判断手段が再符号化をすると判断した場合に再符号化による符号化フレームを出力し、前記判断手段が再符号化をしないと判断した場合に１回目の符号化による符号化フレームを出力する出力手段とを備える。 Further, another image coding apparatus of the present invention capable of performing inter-frame predictive coding of a moving image includes a storage unit that stores a plurality of frames of moving images, and the stored moving images of the plurality of frames. An encoding means for encoding; a determining means for determining whether or not the encoded frame needs to be re-encoded; and when the determining means determines to re-encode, the encoding means And a control means for controlling to re-encode the moving image for a minute, and when the determination means determines to re-encode, outputs an encoded frame by re-encoding, and the determination means does not re-encode Output means for outputting an encoded frame by the first encoding when it is determined.

更に、動画像のフレーム間予測符号化を実行可能な本発明の別の画像符号化方法は、複数のフレーム分の動画像を蓄積する蓄積工程と、前記蓄積した複数のフレーム分の動画像を符号化する符号化工程と、前記符号化したフレームの再符号化の要否を判断する判断工程と、前記判断工程で再符号化をすると判断した場合に、前記複数のフレーム分の動画像を再度符号化する再符号化工程と、前記判断工程で再符号化をすると判断した場合に再符号化工程で得た符号化フレームを出力し、前記判断工程が再符号化をしないと判断した場合に符号化工程で得た符号化フレームを出力する出力工程とを備える。 Furthermore, another image encoding method of the present invention capable of performing inter-frame predictive encoding of a moving image includes a storage step of storing a plurality of frames of moving images, and the stored moving images of a plurality of frames. An encoding step for encoding, a determination step for determining whether re-encoding of the encoded frame is necessary, and a moving image for the plurality of frames when it is determined that re-encoding is performed in the determination step. A re-encoding step for re-encoding, and a case where it is determined that re-encoding is performed in the determination step, and the encoded frame obtained in the re-encoding step is output, and the determination step is determined not to re-encode And an output step of outputting the encoded frame obtained in the encoding step.

上記構成により、対象とする画像全体の復号画像の品質を簡便に向上させることができる。 With the above configuration, it is possible to easily improve the quality of the decoded image of the entire target image.

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

尚、本実施の形態では、フレーム間予測符号化方式として、Ｈ．２６４における実現方法を述べるが、本発明はこれに限るものではなく、複数のフレームを参照画像として用いることが可能なフレーム間予測符号化方式に適用することが可能である。また、マクロブロックとは符号化処理の単位であり、輝度信号１６画素×１６ライン、色差信号８画素×８ラインの画像の領域を示す。 In this embodiment, H.264 is used as the inter-frame predictive coding method. An implementation method in H.264 will be described, but the present invention is not limited to this, and can be applied to an inter-frame predictive encoding method that can use a plurality of frames as reference images. A macroblock is a unit of encoding processing, and indicates an image area of luminance signal 16 pixels × 16 lines and color difference signal 8 pixels × 8 lines.

＜第１の実施形態＞
図１は本発明の第１の実施形態における符号化装置の構成を示すブロック図である。 <First Embodiment>
FIG. 1 is a block diagram showing a configuration of an encoding apparatus according to the first embodiment of the present invention.

図１において、１００はフレームメモリ１０３に蓄積されたフレームの特徴量を算出する画像特徴量算出器、１０１は画像特徴量算出器１００からの特徴量を格納する制御メモリ、１０２は符号化装置全体の発生符号量を制御するレート制御器であり、同時に制御メモリ１０１からの特徴量を入力する。１０３は複数フレームの画像を蓄積するフレームメモリであり、入力画像１フレーム分を格納し、符号化単位であるマクロブロックとして出力する。 In FIG. 1, 100 is an image feature quantity calculator that calculates the feature quantity of a frame accumulated in the frame memory 103, 101 is a control memory that stores the feature quantity from the image feature quantity calculator 100, and 102 is the entire encoding apparatus. Is a rate controller that controls the amount of generated codes, and simultaneously inputs a feature quantity from the control memory 101. Reference numeral 103 denotes a frame memory for accumulating images of a plurality of frames, which stores one frame of an input image and outputs it as a macroblock which is a coding unit.

１０４、１１１は、フレーム内符号化を行うＩＮＴＲＡモードと、フレーム間予測符号化を行うＩＮＴＥＲモードに応じて切り替えられるスイッチ、１０５は８×８画素（ブロック）単位の２次元の離散コサイン変換（Discrete Cosign Transform）を行うＤＣＴ器であり、入力されたマクロブロックをブロック毎に順次変換し、ＤＣＴ係数を出力する。 Reference numerals 104 and 111 denote switches that are switched according to the INTRA mode for performing intraframe coding and the INTER mode for performing interframe predictive coding. 105 is a two-dimensional discrete cosine transform (Discrete) in units of 8 × 8 pixels (blocks). This is a DCT device that performs (Cosign Transform), and sequentially converts the input macroblocks for each block and outputs DCT coefficients.

１０６は、ブロック毎に量子化を行い、量子化代表値を出力する量子化器、１０７は、ハフマン符号化を行い、ハフマンコードを出力する可変長符号化器である。 Reference numeral 106 denotes a quantizer that performs quantization for each block and outputs a quantized representative value. Reference numeral 107 denotes a variable length encoder that performs Huffman coding and outputs a Huffman code.

１０８はＩＮＴＲＡモードとＩＮＴＥＲモードのいずれを選択するかを判定するモード判定器、１０９は量子化代表値をＤＣＴ係数として出力する逆量子化器、１１０はＤＣＴ係数を画像へ変換する逆ＤＣＴ器、１１２はフレームメモリ１０３からの入力画像とフレームメモリ１１３からの局部復号画像を入力し、マクロブロック毎に動きベクトル検出を行い、予測画像を出力する動き補償器、１１３は局部復号画像を格納するフレームメモリである。 108 is a mode determination unit that determines whether to select the INTRA mode or the INTER mode, 109 is an inverse quantizer that outputs the quantized representative value as a DCT coefficient, 110 is an inverse DCT unit that converts the DCT coefficient into an image, 112 is a motion compensator that inputs an input image from the frame memory 103 and a local decoded image from the frame memory 113, performs motion vector detection for each macroblock, and outputs a predicted image; 113 is a frame for storing the local decoded image It is memory.

次に、図１の構成を有する符号化装置動作について、図２のフローチャートを参照して説明する。 Next, the operation of the encoding apparatus having the configuration of FIG. 1 will be described with reference to the flowchart of FIG.

まず、ステップＳ１００でフレームカウンタcnt_finをリセットする。次にステップＳ１０１においてフレームメモリ１０３に画像を１フレーム分格納し、画像特徴量算出器１００に出力する。画像特徴量算出器１００はステップＳ１０２で入力したフレームの特徴量Ｘを算出する。なお、本第１の実施形態では、算出する特徴量Ｘをフレーム全体の画素の分散値とする。 First, in step S100, the frame counter cnt_fin is reset. In step S <b> 101, one frame of image is stored in the frame memory 103 and output to the image feature amount calculator 100. The image feature amount calculator 100 calculates the feature amount X of the frame input in step S102. In the first embodiment, the calculated feature value X is a variance value of pixels in the entire frame.

次に、ステップＳ１０３でフレームカウンタcnt_finが０であるか判断し、０であればステップＳ１０４に進んで、全符号化対象フレームから１シーケンスを切り出すための閾値ＸＢ及びＸＢＬを定める。ＸＢは、先頭フレームのＸより大きく、且つＸＢＬは小さな値とすることが望ましい。本第１の実施形態では、先頭フレームのＸとの差をαとして設け次のように設定する。
ＸＢ＝先頭フレームのＸ＋α
ＸＢＬ＝先頭フレームのＸ−α Next, in step S103, it is determined whether the frame counter cnt_fin is 0. If it is 0, the process proceeds to step S104, and thresholds XB and XBL for extracting one sequence from all the encoding target frames are determined. It is desirable that XB is larger than X of the first frame and XBL is small. In the first embodiment, the difference from X of the first frame is set as α and is set as follows.
XB = X + α of the first frame
XBL = X-α of the first frame

次のステップＳ１０５ではフレームカウンタcnt_finを１インクリメントする。 In the next step S105, the frame counter cnt_fin is incremented by one.

ステップＳ１０６では、ステップＳ１０２で算出した特徴量Ｘが比較値ＸＢよりも小さく、且つ比較値ＸＢＬよりも大きいかどうかを判断し、条件を満たす場合には上述したステップＳ１０１〜Ｓ１０５の処理を繰り返す。なお、この比較値ＸＢは、全符号化対象フレームから１シーケンスを切り出すための閾値であり、予め定めておく。 In step S106, it is determined whether or not the feature amount X calculated in step S102 is smaller than the comparison value XB and larger than the comparison value XBL. If the condition is satisfied, the processes in steps S101 to S105 described above are repeated. The comparison value XB is a threshold value for cutting out one sequence from all the encoding target frames, and is determined in advance.

ステップＳ１０６で、算出した分散値が比較値ＸＢ以上、またはＸＢＬ以下であると判断された場合、ステップＳ１０５に進み、その時のcnt_fin、すなわち、比較値ＸＢ以上またはＸＢＬ以下の特徴量Ｘを持つフレームにあたるまでに処理したフレーム数を１シーケンスのフレーム数finとして格納する。このフレーム数を用いて、フレーム毎の目標符号量Ｔr及びＴeを求め（ステップＳ１０８）、求めた目標符号量Ｔr及びＴeを制御メモリ１０１へ格納する（ステップＳ１０９）。なお、画像特徴量算出器１００による目標符号量Ｔr及びＴeの算出方法については後述する。 If it is determined in step S106 that the calculated variance value is greater than or equal to the comparison value XB or less than or equal to XBL, the process proceeds to step S105, where cnt_fin, that is, a frame having a feature quantity X greater than or equal to the comparison value XB or less than or equal to XBL. The number of frames processed until hitting is stored as the number of frames of one sequence fin. Using the number of frames, the target code amounts Tr and Te for each frame are obtained (step S108), and the obtained target code amounts Tr and Te are stored in the control memory 101 (step S109). A method for calculating the target code amounts Tr and Te by the image feature amount calculator 100 will be described later.

次に、フレームカウンタcnt_finをリセットし（ステップＳ１１０）。フレームメモリ１０３に格納された画像データを１フレーム分入力する（ステップＳ１１１）。レート制御器１０２は、制御メモリ１０１に格納された各フレームの目標符号量ＴrまたはＴeを入力し（ステップＳ１１２）、この目標符号量ＴrまたはＴeに応じて制御し、１フレーム毎の符号化を行う。 Next, the frame counter cnt_fin is reset (step S110). One frame of image data stored in the frame memory 103 is input (step S111). The rate controller 102 inputs the target code amount Tr or Te of each frame stored in the control memory 101 (step S112), controls according to the target code amount Tr or Te, and performs encoding for each frame. Do.

モード判定器１０８は、フレームメモリ１０３からの現フレームと動き補償器１１２からの予測信号から、それぞれの分散値を算出し小さな信号を選択することで、ＩＮＴＲＡモードとＩＮＴＥＲモードのどちらで符号化を行うかを判定し（ステップＳ１１３）、スイッチ１０４、１１１を制御する。 The mode determiner 108 calculates each variance value from the current frame from the frame memory 103 and the prediction signal from the motion compensator 112 and selects a small signal, thereby encoding in either the INTRA mode or the INTER mode. It is determined whether or not to perform (step S113), and the switches 104 and 111 are controlled.

ＩＮＴＲＡモードの時は（ステップＳ１１４でＹＥＳ）、モード判定器１０８はスイッチ１０４をａ端子に接続すると共に、スイッチ１１１を開く。従って、フレームメモリ１０３に格納された画像が、スイッチ１０４を経て、ＤＣＴ器１０５でＤＣＴ係数へ変換され、量子化器１０６にて量子化され、可変長符号化器１０７へ入力される（ステップＳ１１５）。 In the INTRA mode (YES in step S114), the mode determiner 108 connects the switch 104 to the terminal a and opens the switch 111. Therefore, the image stored in the frame memory 103 is converted into a DCT coefficient by the DCT unit 105 via the switch 104, quantized by the quantizer 106, and input to the variable length encoder 107 (step S115). ).

また、量子化器１０６の出力は、逆量子化器１０９、逆ＤＣＴ器１１０へも入力され（ステップＳ１１６）、局部復号画像としてフレームメモリ１１３へ格納される（ステップＳ１２１）。 The output of the quantizer 106 is also input to the inverse quantizer 109 and the inverse DCT device 110 (step S116), and is stored in the frame memory 113 as a locally decoded image (step S121).

一方、ＩＮＴＥＲモードの時は（ステップＳ１１４でＮＯ）、モード判定器１０８はスイッチ１０４をｂ端子に接続すると共に、スイッチ１１１を閉じる。従って、フレームメモリ１０３に格納された画像は、フレームメモリ１１３に格納された局部復号画像から動き補償器１１２を経て生成された予測画像との差分がとられて、ＤＣＴ器１０５へ予測誤差信号として入力される（ステップＳ１１７）。この予測誤差信号は、ＩＮＴＲＡモード時と同様に、ＤＣＴ器１０５でＤＣＴ係数へ変換され、量子化器１０６にて量子化され、可変長符号化器１０７へ入力される（ステップＳ１１８）。 On the other hand, in the INTER mode (NO in step S114), the mode determiner 108 connects the switch 104 to the b terminal and closes the switch 111. Accordingly, the difference between the image stored in the frame memory 103 and the predicted image generated through the motion compensator 112 from the locally decoded image stored in the frame memory 113 is taken as a prediction error signal to the DCT unit 105. Input (step S117). As in the INTRA mode, the prediction error signal is converted into DCT coefficients by the DCT unit 105, quantized by the quantizer 106, and input to the variable length encoder 107 (step S118).

また、量子化器１０６の出力は、逆量子化器１０９、逆ＤＣＴ器１１０へも入力され（ステップＳ１１９）る。逆ＤＣＴ器１１０からの信号は、スイッチ１１１を介して入力される動き補償器１１２を経て生成された予測画像信号と加算されて（ステップＳ１２０）、局部復号画像としてフレームメモリ１１３へ格納される（ステップＳ１２１）。 The output of the quantizer 106 is also input to the inverse quantizer 109 and the inverse DCT device 110 (step S119). The signal from the inverse DCT unit 110 is added to the predicted image signal generated through the motion compensator 112 input via the switch 111 (step S120), and is stored in the frame memory 113 as a locally decoded image (step S120). Step S121).

可変長符号化器１０７は、入力された係数を可変長符号化し、ストリームとして出力する（ステップＳ１２２）。以上を１シーケンス分、cnt_finがfinとなるまで繰り返す。 The variable length encoder 107 performs variable length encoding on the input coefficient and outputs it as a stream (step S122). Repeat the above for one sequence until cnt_fin becomes fin.

以上の処理を符号化対象のフレーム全てに対して繰り返し行う。 The above processing is repeated for all frames to be encoded.

次に、ステップＳ１０８における画像特徴量算出器１００で行われる目標符号量の算出処理について詳述する。 Next, the target code amount calculation processing performed by the image feature amount calculator 100 in step S108 will be described in detail.

Ｔrは、参照フレーム、Ｔeはその他のフレームの目標符号量である。
Ｔr ＝Ｔ * (1 + 0.01 * ＴＸ)
Ｔe ＝Ｔ * (1 - 0.01 * ＴＸ/(fin - 1)) Tr is a reference frame, and Te is a target code amount of other frames.
Tr = T * (1 + 0.01 * TX)
Te = T * (1-0.01 * TX / (fin-1))

Ｔは画像特徴量を算出する前の、レート制御器１０２で予想された目標符号量である。Ｔは主として、シーケンス全体のフレーム数、及びその中のピクチャタイプ構成などで決定する。本第１の実施形態では、動画像シーケンスはフレーム数finで構成されており、その中で先頭フレームを一意に参照画像とする。 T is a target code amount predicted by the rate controller 102 before the image feature amount is calculated. T is mainly determined by the number of frames in the entire sequence and the picture type configuration in the sequence. In the first embodiment, the moving image sequence is composed of the number of frames fin, and the first frame is uniquely used as a reference image.

比較値ＸＢ及びＸＢＬはシーケンスの区切りを切り分けるための指標となる。この操作で同じ絵柄を持つフレームの連続を判定しようとする。そして、Ｈ．２６４特有の「１フレームを複数のフレームから参照できる」という機能を利用して、その１フレームに多くの符号量を集中的に割り当てる具体的方法を示している。 The comparison values XB and XBL are indexes for separating the sequence breaks. This operation tries to determine the continuation of frames with the same pattern. And H. A specific method of intensively allocating a large amount of code to one frame by using a function of “one frame can be referred to from a plurality of frames” unique to H.264 is shown.

なお、本第１の実施形態では、フレーム数finで切り出されたシーケンスの先頭フレームを参照フレームとしている。 In the first embodiment, the first frame of the sequence cut out with the number of frames fin is used as the reference frame.

本第１の実施形態では、Ｔrは参照画像でＴＸ％の増加としている。 In the first embodiment, Tr is increased by TX% in the reference image.

この目標符号量の割当概念を図３に示す。 The concept of target code amount allocation is shown in FIG.

上記の通り本第１の実施形態によれば、Ｈ．２６４画像符号化において、任意に離れた複数の参照画像を選ぶ際、参照画像の符号の割当量を増加させることで、符号化効率上げることができ、対象とする画像全体の復号画像の品質を簡便に向上させることができる。 As described above, according to the first embodiment, the H.264 standard. In H.264 image coding, when selecting a plurality of reference images that are arbitrarily separated from each other, it is possible to increase the coding efficiency by increasing the amount of reference image code allocation, and to improve the quality of the decoded image of the entire target image. It can be improved easily.

なお、本第１の実施形態では、目標符号量を算出する際は、参照しているフレーム数の比率を考慮したものとしているが、この式にさらに乗数を加えるなど、その他の式に適用しても構わない。 In the first embodiment, when calculating the target code amount, the ratio of the number of frames being referred to is taken into consideration. However, this is applied to other equations such as adding a multiplier to this equation. It doesn't matter.

また本第１の実施形態では、MPEGのピクチャタイプＩ，Ｐ，Ｂのどのピクチャに対して適用してもよい。 In the first embodiment, the present invention may be applied to any picture of MPEG picture types I, P, and B.

また、画像特徴量算出部では特徴量として分散値を算出しているが、それ以外の値であってもよい。 Further, although the image feature value calculation unit calculates the variance value as the feature value, other values may be used.

また、本第１の実施形態では、割り当てる目標符号量を参照フレームとそれ以外のフレームとで異ならせる場合について説明したが、これに限るものではなく、特徴量に応じて適宜目標符号量の割合を変更するようにすることも可能である。 In the first embodiment, the case where the target code amount to be assigned is different between the reference frame and the other frames has been described. However, the present invention is not limited to this, and the ratio of the target code amount is appropriately determined according to the feature amount. It is also possible to change.

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。 <Second Embodiment>
Next, a second embodiment of the present invention will be described.

図４は本発明の第２の実施形態における符号化装置の構成を示すブロック図である。 FIG. 4 is a block diagram showing the configuration of the encoding apparatus according to the second embodiment of the present invention.

図４において、２０１は複数フレームの画像を格納可能なフレームメモリ、２０２はフレームメモリ２０１からの画像を符号化する画像符号化器である。画像符号化器２０２は、フレームメモリ２０１内の画像を２回にわたって符号化する。１回目は、仮符号化であり、符号化処理と同時に、マクロブロック毎の動きベクトル探索処理にて参照画像を選択する際、最も多く参照画像として選択したフレームの識別コードとして、予測フレーム識別コードＦを出力する。２回目は後述する再符号割当器２００からの符号割当信号によりフレーム毎の符号割当をし直し、同対象画像を再度符号化する。 In FIG. 4, reference numeral 201 denotes a frame memory capable of storing a plurality of frames of images, and 202 denotes an image encoder that encodes images from the frame memory 201. The image encoder 202 encodes the image in the frame memory 201 twice. The first time is provisional encoding. When a reference image is selected in the motion vector search process for each macroblock simultaneously with the encoding process, a predicted frame identification code is used as the identification code of the frame most frequently selected as the reference image. F is output. In the second time, code allocation for each frame is performed again by a code allocation signal from a recode allocator 200 described later, and the same image is encoded again.

２０３は画像符号化器２０２からのストリームを蓄積するストリームメモリ、２００は、画像符号化器２０２からの予測フレーム識別コードＦ、及びストリームメモリ２０３からの符号化したフレーム毎の発生符号量Ｓを入力し、再符号化のためのフレーム毎の目標符号量Ｔを算出し画像符号化器２０２へ出力する再符号割当器である。 Reference numeral 203 denotes a stream memory for accumulating the stream from the image encoder 202, and 200 denotes a prediction frame identification code F from the image encoder 202 and a generated code amount S for each encoded frame from the stream memory 203. The recode allocator calculates a target code amount T for each frame for recoding and outputs the target code amount T to the image encoder 202.

次に、図４の構成を有する符号化装置の動作概要について、図５のフローチャートを参照して説明する。 Next, an outline of the operation of the encoding apparatus having the configuration of FIG. 4 will be described with reference to the flowchart of FIG.

なお、第２の実施形態では１シーケンスのフレーム数をfinとする。 In the second embodiment, the number of frames in one sequence is fin.

まず、１シーケンス分の画像をフレームメモリ２０１へ蓄積する（ステップＳ２００）。次に蓄積された画像を順次画像符号化器２０２にて符号化し、符号化したストリームをストリームメモリ２０３へ蓄積する（ステップＳ２０１）。次に、再符号割当器２００により１シーケンス分の再符号割当量を算出し（ステップＳ２０２）、算出した再符号割当量に基づいて再符号化が必要か否かを判定する（ステップＳ２０３）、再符号化が必要な場合（ステップＳ２０３でＹＥＳ）、ステップＳ２０４に進んで１シーケンス分の画像を再符号化し、ステップＳ２０５で新たなストリームを出力する。一方、再符号化が必要でない場合（ステップＳ２０３でＮＯ）、ステップＳ２０５に進んで、ステップＳ２０１で得たストリームを出力する。 First, an image for one sequence is stored in the frame memory 201 (step S200). Next, the stored images are sequentially encoded by the image encoder 202, and the encoded stream is stored in the stream memory 203 (step S201). Next, a recode allocation amount for one sequence is calculated by the recode allocator 200 (step S202), and it is determined whether recoding is necessary based on the calculated recode allocation amount (step S203). If re-encoding is necessary (YES in step S203), the process proceeds to step S204 to re-encode one sequence of images, and a new stream is output in step S205. On the other hand, if re-encoding is not necessary (NO in step S203), the process proceeds to step S205, and the stream obtained in step S201 is output.

以上を符号化対象のフレーム全てにおいて（ステップＳ２０７でＹＥＳとなるまで）繰り返す。 The above is repeated for all the encoding target frames (until YES in step S207).

次に、ステップＳ２０１で行われる画像符号化器２０２の処理について、図６のフローチャートを参照して詳述する。 Next, the processing of the image encoder 202 performed in step S201 will be described in detail with reference to the flowchart of FIG.

まず、フレームカウンタcnt_finをリセットし（ステップＳ３００）、フレームメモリ２０１から蓄積された画像を１フレーム分入力する（ステップＳ３０１）。次に入力した画像を符号化し（ステップＳ３０２）、ストリームメモリ２０３へ出力し蓄積する（ステップＳ３０３）。 First, the frame counter cnt_fin is reset (step S300), and the image stored from the frame memory 201 is input for one frame (step S301). Next, the input image is encoded (step S302), output to the stream memory 203 and stored (step S303).

このとき、１フレームの符号化毎に、予測フレーム識別コードＦを再符号割当器２０３へ出力する（ステップＳ３０４）。予測フレーム識別コードＦとは、上述したように、当該フレームにて、マクロブロック毎の動きベクトル探索処理にて参照画像を選択する際、最も多く参照画像として選択したフレームの番号である。なお、この時、ストリームメモリ２０３からは１フレーム毎の発生符号量Ｓが再符号割当器２０３へ出力されている。 At this time, every time one frame is encoded, the predicted frame identification code F is output to the recode assigner 203 (step S304). As described above, the predicted frame identification code F is the number of the frame most frequently selected as a reference image when a reference image is selected in the motion vector search process for each macroblock. At this time, the generated code amount S for each frame is output from the stream memory 203 to the recode assigner 203.

以上の処理が済むとステップＳ３０５でフレームカウンタcnt_finをインクリメントする。以上の処理をシーケンス内フレーム数finまで（ステップＳ３０６でＮＯとなるまで）繰り返す。 When the above processing is completed, the frame counter cnt_fin is incremented in step S305. The above processing is repeated up to the number of frames in the sequence fin (until NO in step S306).

次に、ステップＳ２０２で行われる再符号割当器２００の処理について、図７のフローチャートを参照して詳述する。 Next, the process of the recode assigner 200 performed in step S202 will be described in detail with reference to the flowchart of FIG.

まず、フレームカウンタcnt_finをリセットし（ステップＳ４００）、ストリームメモリ２０３から発生符号量Ｓを（ステップＳ４０１）、画像符号化器２０２から予測フレーム識別コードＦを入力する（ステップＳ４０２）。そしてステップＳ４０３でフレームカウンタcnt_finをインクリメントし、シーケンス内フレーム数finまで（ステップＳ４０４でＮＯとなるまで）繰り返す。 First, the frame counter cnt_fin is reset (step S400), the generated code amount S is input from the stream memory 203 (step S401), and the predicted frame identification code F is input from the image encoder 202 (step S402). In step S403, the frame counter cnt_fin is incremented and repeated until the number of frames in the sequence fin (until NO in step S404).

なお、発生符号量及び予測フレーム識別コードＦは、それぞれ蓄積し、多い番号の順序にソートする。 The generated code amount and the predicted frame identification code F are accumulated and sorted in the order of larger numbers.

ステップＳ４０５において、発生符号量Ｓの最大値を持つフレームと最も多い予測フレーム識別コードＦの番号が等しいか否かを判断する。等しくない場合（ステップＳ４０５でＮＯ、シーケンス内の各フレームの目標符号量Ｔを再度計算し（ステップＳ４０６）、画像符号化器２０２へ出力する（ステップＳ４０７）。 In step S405, it is determined whether the frame having the maximum value of the generated code amount S is the same as the number of most predicted frame identification codes F. If they are not equal (NO in step S405), the target code amount T of each frame in the sequence is calculated again (step S406) and output to the image encoder 202 (step S407).

一方、等しい場合は目標符号量Ｔ＝０として出力する（ステップＳ４０９）。 On the other hand, if equal, the target code amount T = 0 is output (step S409).

なお、第２の実施形態では、予測フレーム識別コードＦのソート結果を次のものとする。
3(x), 1(y), 2(z),… In the second embodiment, the sorting result of the prediction frame identification code F is as follows.
3 (x), 1 (y), 2 (z),…

（）内は参照しているフレーム数を、（）の前の数字はフレーム番号を示すものとする。この場合、最も多く参照されるフレーム番号は３で、フレーム数xの画像から参照されている。
ステップＳ４０６における目標符号量Ｔの再割当の具体的方法について記述する。 The number in () indicates the number of frames being referenced, and the number before () indicates the frame number. In this case, the most frequently referred frame number is 3, which is referenced from an image having the number of frames x.
A specific method of reassigning the target code amount T in step S406 will be described.

ここでは予測フレーム識別コードＦのソート結果より、最も多く参照されているフレームに対する増加させるべき符号量を算出する。シーケンス内の総フレーム数がfinなので、目標符号量Ｔは次の式で算出する。
Ｔ＝Ｓ × (1 + x / fin) Here, from the sorting result of the prediction frame identification code F, the code amount to be increased with respect to the frame most frequently referred to is calculated. Since the total number of frames in the sequence is fin, the target code amount T is calculated by the following equation.
T = S × (1 + x / fin)

このように、最も多く参照されているフレームにより多い符号量を割り当てることになる。それ以外の残フレームに対しては、上記式を反映して目標符号量を削減することになる。本第２の実施形態では以下の式により均一に削減することとする。
Ｔ＝Ｓ×（１−（ｘ/fin）/（fin-1））
上記の通り本第２の実施形態によれば、Ｈ．２６４画像符号化において、任意に離れた複数の参照画像を選ぶ際、多く参照される画像の符号の割当量を増加させ、再度符号化することで、対象とする画像全体の復号画像の品質を簡便に向上させることができる。 In this way, a larger code amount is assigned to the frame that is most frequently referenced. For the remaining frames other than that, the target code amount is reduced by reflecting the above equation. In the second embodiment, the reduction is uniformly performed by the following equation.
T = S × (1- (x / fin) / (fin-1))
As described above, according to the second embodiment, the H.264 standard. In H.264 image encoding, when selecting a plurality of reference images that are arbitrarily separated from each other, the code allocation amount of images that are often referred to is increased and encoded again, thereby reducing the quality of the decoded image of the entire target image. It can be improved easily.

なお、本第２の実施形態では、目標符号量を算出する際は、参照しているフレーム数の比率を考慮したものとしているが、この式にさらに乗数を加えるなど、その他の式に適用しても構わない。 In the second embodiment, when calculating the target code amount, the ratio of the number of frames being referred to is taken into consideration. However, this is applied to other equations such as adding a multiplier to this equation. It doesn't matter.

また本第２の実施形態では、MPEGのピクチャタイプＩ，Ｐ，Ｂのどのピクチャに対しても適用してもよい。 In the second embodiment, the present invention may be applied to any picture of MPEG picture types I, P, and B.

また、本第２の実施形態では、割り当てる目標符号量を、最も多く参照されたフレームとそれ以外のフレームとで異ならせる場合について説明したが、これに限るものではなく、参照回数に応じて適宜目標符号量の割合を変更するようにすることも可能である。 Further, in the second embodiment, the case where the target code amount to be allocated is different between the most referenced frame and the other frames is described, but the present invention is not limited to this, and is appropriately determined according to the number of times of reference. It is also possible to change the ratio of the target code amount.

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。 <Third Embodiment>
Next, a third embodiment of the present invention will be described.

図８は、第３の実施形態におけるコンピュータの構成を示すブロック図である。 FIG. 8 is a block diagram illustrating a configuration of a computer according to the third embodiment.

１０００はコンピュータ全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、１００１は本コンピュータの制御に必要なオペレーティングシステム（ＯＳ）、ソフトウエア、データ、演算に必要な記憶領域を提供するメモリである。また、ＣＰＵ１０００が各種の処理を行う際のワークエリアとしても用いられる。 Reference numeral 1000 denotes a central processing unit (CPU) that controls the entire computer and performs various processes. Reference numeral 1001 denotes an operating system (OS) necessary for controlling the computer, software, data, and a memory that provides a storage area necessary for computation. It is. It is also used as a work area when the CPU 1000 performs various processes.

１００２は種々の装置をつなぎ、データ、制御信号をやりとりするバス、１００３は各種の祖ソフトウエアを蓄積する記憶装置、１００４は動画像データを蓄積する記憶装置、１００５は画像やコンピュータからのシステムメッセージなどを表示するモニタである。 1002 is a bus for connecting various devices to exchange data and control signals, 1003 is a storage device for storing various original software, 1004 is a storage device for storing moving image data, and 1005 is a system message from an image or a computer. It is a monitor that displays.

１００７は通信回路１００８に符号化データを送信する通信インターフェースであり、装置外部のLAN、公衆回線、無線回線、放送電波等と接続されている。１００６はコンピュータを起動したり、ビットレート等の各種条件を設定したりするための端末である。 A communication interface 1007 transmits encoded data to the communication circuit 1008, and is connected to a LAN, a public line, a wireless line, a broadcast wave, and the like outside the apparatus. Reference numeral 1006 denotes a terminal for starting up a computer and setting various conditions such as a bit rate.

メモリ１００１にはコンピュータ全体を制御し、各種ソフトウエアを動作させるためのOSや動作させるソフトウエアを格納し、画像データを符号化のために読み込むエリア、一時的に符号データを格納する符号エリア、各種演算のパラメータ等を格納しておくワーキングエリアが存在する。 The memory 1001 controls the entire computer, stores an OS for operating various software and software to be operated, an area for reading image data for encoding, a code area for temporarily storing code data, There is a working area where parameters for various operations are stored.

このような構成において、処理に先立ち、端末１００６から記憶装置１００４に蓄積されている動画像データから符号化する動画像データを選択し、コンピュータの起動が指示される。すると、記憶装置１００３に格納されているソフトウエアがバス１００２を介してメモリ１００１に展開され、ソフトウエアが起動される。 In such a configuration, prior to processing, moving image data to be encoded is selected from moving image data stored in the storage device 1004 from the terminal 1006, and activation of the computer is instructed. Then, the software stored in the storage device 1003 is expanded in the memory 1001 via the bus 1002, and the software is activated.

そして、ＣＰＵ１０００による記憶装置１００４に格納されている動画像データの符号化動作は図２、または図５〜図７に示したフローチャートに従ったプログラムコード（前述のソフトウエア）が実行されることになる。 Then, the encoding operation of the moving image data stored in the storage device 1004 by the CPU 1000 is executed by executing the program code (the above-described software) according to the flowchart shown in FIG. Become.

このように、本第３の実施形態におけるコンピュータは、第１及び第２の実施形態における画像符号化を実現する装置として機能する。 As described above, the computer according to the third embodiment functions as a device that realizes the image coding according to the first and second embodiments.

本発明の第１の実施形態にかかる画像符号化装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image coding apparatus concerning the 1st Embodiment of this invention. 本発明の第１の実施形態における画像符号化装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image coding apparatus in the 1st Embodiment of this invention. 本発明の第１の実施形態における１つの参照画像へ集中して符号量を割り当てる概念を示す図である。It is a figure which shows the concept which allocates code amount concentrated on one reference image in the 1st Embodiment of this invention. 本発明の第２の実施形態にかかる画像符号化装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image coding apparatus concerning the 2nd Embodiment of this invention. 本発明の第２の実施形態における画像符号化装置の動作概念を示すフローチャーである。It is a flowchart which shows the operation | movement concept of the image coding apparatus in the 2nd Embodiment of this invention. 本発明の第２の実施形態における符号化動作の詳細を示すフローチャートである。It is a flowchart which shows the detail of the encoding operation | movement in the 2nd Embodiment of this invention. 本発明の第２の実施形態における再符号割当動作の詳細を示すフローチャートである。It is a flowchart which shows the detail of the re-code allocation operation | movement in the 2nd Embodiment of this invention. 本発明の第３の実施形態にかかるコンピュータの構成を示すブロック図である。It is a block diagram which shows the structure of the computer concerning the 3rd Embodiment of this invention. ＭＰＥＧ−１，２，４とＨ．２６４におけるフレーム間符号化の参照フレームと被参照フレームとの関係図である。MPEG-1, 2, 4 and H.264 2 is a relationship diagram between a reference frame and a referenced frame for inter-frame coding in H.264.

符号の説明Explanation of symbols

１００画像特徴量算出器
１０１制御メモリ
１０２レート制御器
１０３、１１３フレームメモリ
１０４、１１１スイッチ
１０５ＤＣＴ器
１０６量子化器
１０７可変長符号化器
１０８モード判定器
１０９逆量子化器
１１０逆ＤＣＴ器
１１２動き補償器
２００再符号割当器
２０１フレームメモリ
２０２画像符号化器
２０３ストリームメモリ
１０００ＣＰＵ
１００１メモリ
１００２バス
１００３、１００４記憶メディア
１００５モニタ
１００６端末
１００７通信Ｉ／Ｆ DESCRIPTION OF SYMBOLS 100 Image feature-value calculator 101 Control memory 102 Rate controller 103, 113 Frame memory 104, 111 Switch 105 DCT device 106 Quantizer 107 Variable length encoder 108 Mode decision device 109 Inverse quantizer 110 Inverse DCT device 112 Motion Compensator 200 Recode assigner 201 Frame memory 202 Image encoder 203 Stream memory 1000 CPU
1001 Memory 1002 Bus 1003, 1004 Storage media 1005 Monitor 1006 Terminal 1007 Communication I / F

Claims

動画像のフレーム間予測符号化を実行可能な画像符号化装置であって、
複数のフレーム分の動画像を蓄積する蓄積手段と、
前記蓄積した動画像のフレーム毎に特徴量を算出する特徴量算出手段と、
前記蓄積手段に蓄積した動画像を前記算出した特徴量に基づいて符号化する画像符号化手段と、
前記特徴量算出手段により算出した特徴量に基づいて、複数のフレームを処理対象の１グループと判断する判断手段と、
前記特徴量及び前記判断されたグループに含まれるフレーム数に基づいて、各フレームに符号量を割り当てる割当手段とを有し、
前記画像符号化手段は、前記蓄積手段に蓄積した動画像を、前記割り当てられた符号量となるように符号化することを特徴とする画像符号化装置。 An image encoding device capable of performing inter-frame predictive encoding of a moving image,
Storage means for storing moving images for a plurality of frames;
Feature quantity calculating means for calculating a feature quantity for each frame of the accumulated moving image;
Image encoding means for encoding the moving image stored in the storage means based on the calculated feature amount;
A determination unit that determines a plurality of frames as one group to be processed based on the feature amount calculated by the feature amount calculation unit;
Allocating means for allocating a code amount to each frame based on the feature amount and the number of frames included in the determined group;
The image encoding device, wherein the image encoding unit encodes the moving image stored in the storage unit so as to have the allocated code amount.

前記判断手段は、所定値以上の特徴量を有するフレームの次のフレームから、次に所定値以上の特徴量を有するフレームまでのフレームを１グループと判断し、前記割当手段は、参照フレームに対して他フレームよりも符号量を多く割り当てることを特徴とする請求項１に記載の画像符号化装置。 The determining means determines a frame from a frame next to a frame having a feature value equal to or greater than a predetermined value to a frame having a feature value equal to or greater than a predetermined value as one group, and the assigning means determines a reference frame The image coding apparatus according to claim 1, wherein a larger amount of code is allocated than other frames.

動画像のフレーム間予測符号化を実行可能な画像符号化装置であって、
複数のフレーム分の動画像を蓄積する蓄積手段と、
前記蓄積した複数のフレーム分の動画像を符号化する符号化手段と、
前記符号化したフレームの再符号化の要否を判断する判断手段と、
前記判断手段が再符号化をすると判断した場合に、前記符号化手段により前記複数のフレーム分の動画像を再度符号化するように制御する制御手段と、
前記判断手段が再符号化をすると判断した場合に再符号化による符号化フレームを出力し、前記判断手段が再符号化をしないと判断した場合に１回目の符号化による符号化フレームを出力する出力手段と
を備えたことを特徴とする画像符号化装置。 An image encoding device capable of performing inter-frame predictive encoding of a moving image,
Storage means for storing moving images for a plurality of frames;
Encoding means for encoding the accumulated moving images for a plurality of frames;
Determining means for determining whether re-encoding of the encoded frame is necessary;
Control means for controlling to re-encode the moving images for the plurality of frames by the encoding means when the determination means determines to re-encode;
When the determination unit determines to re-encode, the encoded frame is output by re-encoding, and when the determination unit determines not to re-encode, the encoded frame by the first encoding is output. An image encoding device comprising: output means.

前記符号化手段において各フレームの１回目の符号化時に参照したフレームと、１回目の符号化により得られた各フレームの符号量を前記判断手段に通知し、前記判断手段は、前記複数のフレームの１回目の符号化時に最も多く参照されたフレームと、最も大きい符号量を有するフレームとを検出して比較し、異なる場合に再符号化を行うと判断し、同じ場合に再符号化を行わないと判断することを特徴とする請求項３に記載の画像符号化装置。 The encoding unit notifies the determination unit of a frame referred to at the time of the first encoding of each frame and a code amount of each frame obtained by the first encoding, and the determination unit includes the plurality of frames. The most frequently referenced frame and the frame with the largest code amount are detected and compared in the first encoding, and it is determined that re-encoding is performed when they are different, and re-encoding is performed when they are the same. The image coding apparatus according to claim 3, wherein it is determined that there is no image.

前記判断手段が再符号化を行うと判断した場合に、前記検出した最も大きい符号量及びフレーム数に基づいて、各フレームに符号量を割り当てる割当手段を更に有し、
前記制御手段は、前記割り当てられた符号量となるように前記複数のフレームを再符号化するように前記符号化手段を制御することを特徴とする請求項４に記載の画像符号化装置。 When the determination unit determines to perform re-encoding, the apparatus further includes an allocation unit that allocates a code amount to each frame based on the detected maximum code amount and the number of frames.
5. The image encoding apparatus according to claim 4, wherein the control unit controls the encoding unit to re-encode the plurality of frames so that the allocated code amount is obtained.

前記割当手段は、前記複数のフレームの１回目の符号化時に最も多く参照されたフレームに対して、それ以外のフレームよりも符号量を多く割り当てることを特徴とする請求項５に記載の画像符号化装置。 6. The image code according to claim 5, wherein the allocating unit allocates a larger amount of code than the other frames to the frame most frequently referred to during the first encoding of the plurality of frames. Device.

動画像のフレーム間予測符号化を実行可能な画像符号化方法であって、
複数のフレーム分の動画像を蓄積する蓄積工程と、
前記蓄積した動画像のフレーム毎に特徴量を算出する特徴量算出工程と、
前記蓄積工程で蓄積した動画像を前記算出した特徴量に基づいて符号化する画像符号化工程と、
前記特徴量算出工程において算出した特徴量に基づいて、複数のフレームを処理対象の１グループと判断する判断工程と、
前記特徴量及び前記判断されたグループに含まれるフレーム数に基づいて、各フレームに符号量を割り当てる割当工程とを有し、
前記画像符号化工程では、前記蓄積工程で蓄積した動画像を、前記割り当てられた符号量となるように符号化することを特徴とする画像符号化方法。 An image encoding method capable of performing inter-frame predictive encoding of a moving image,
An accumulation process for accumulating a plurality of frames of moving images;
A feature amount calculating step for calculating a feature amount for each frame of the accumulated moving image;
An image encoding step for encoding the moving image stored in the storage step based on the calculated feature amount;
A determination step of determining a plurality of frames as one group to be processed based on the feature amount calculated in the feature amount calculation step;
An allocation step of allocating a code amount to each frame based on the feature amount and the number of frames included in the determined group;
In the image encoding step, the moving image accumulated in the accumulation step is encoded so as to have the allocated code amount.

前記判断工程では、所定値以上の特徴量を有するフレームの次のフレームから、次に所定値以上の特徴量を有するフレームまでのフレームを１グループと判断し、前記割当工程では、参照フレームに対して他フレームよりも符号量を多く割り当てることを特徴とする請求項７に記載の画像符号化方法。 In the determining step, frames from the next frame having a feature value equal to or greater than a predetermined value to the next frame having a feature value equal to or greater than the predetermined value are determined as one group. The image encoding method according to claim 7, wherein a larger amount of code is assigned than other frames.

動画像のフレーム間予測符号化を実行可能な画像符号化方法であって、
複数のフレーム分の動画像を蓄積する蓄積工程と、
前記蓄積した複数のフレーム分の動画像を符号化する符号化工程と、
前記符号化したフレームの再符号化の要否を判断する判断工程と、
前記判断工程で再符号化をすると判断した場合に、前記複数のフレーム分の動画像を再度符号化する再符号化工程と、
前記判断工程で再符号化をすると判断した場合に再符号化工程で得た符号化フレームを出力し、前記判断工程が再符号化をしないと判断した場合に符号化工程で得た符号化フレームを出力する出力工程と
を備えたことを特徴とする画像符号化方法。 An image encoding method capable of performing inter-frame predictive encoding of a moving image,
An accumulation process for accumulating a plurality of frames of moving images;
An encoding step of encoding the accumulated moving images for a plurality of frames;
A determination step of determining whether re-encoding of the encoded frame is necessary;
A re-encoding step of re-encoding the moving images for the plurality of frames when it is determined to re-encode in the determination step;
When it is determined that re-encoding is performed in the determination step, the encoded frame obtained in the re-encoding step is output, and when the determination step is determined not to re-encode, the encoded frame obtained in the encoding step is output. An image encoding method, comprising: an output step for outputting.

前記判断工程は、
前記符号化工程において各フレームの符号化時に参照したフレームと、符号化により得られた各フレームの符号量を得る工程と、
前記符号化工程における符号化時に最も多く参照されたフレームと、最も大きい符号量を有するフレームとを検出して比較する工程と、
異なる場合に再符号化を行うと判断し、同じ場合に再符号化を行わないと判断する工程と
を有することを特徴とする請求項９に記載の画像符号化方法。 The determination step includes
A step of obtaining a frame referred to when encoding each frame in the encoding step, and a code amount of each frame obtained by encoding;
Detecting and comparing the frame most referenced during encoding in the encoding step and a frame having the largest code amount;
The image encoding method according to claim 9, further comprising: determining that re-encoding is performed when they are different, and determining not to perform re-encoding when they are the same.

前記判断工程で再符号化を行うと判断した場合に、前記検出した最も大きい符号量及びフレーム数に基づいて、各フレームに符号量を割り当てる割当工程を更に有し、
前記再符号化工程では、前記割り当てられた符号量となるように前記複数のフレームを再符号化することを特徴とする請求項１０に記載の画像符号化方法。 An allocation step of assigning a code amount to each frame based on the detected maximum code amount and the number of frames when it is determined that re-encoding is performed in the determination step;
The image encoding method according to claim 10, wherein in the re-encoding step, the plurality of frames are re-encoded so that the allocated code amount is obtained.

前記割当工程では、前記符号化工程において最も多く参照されたフレームに対して、それ以外のフレームよりも符号量を多く割り当てることを特徴とする請求項１１に記載の画像符号化方法。 12. The image encoding method according to claim 11, wherein, in the assigning step, a larger amount of code is assigned to a frame that is referred to most frequently in the encoding step than other frames.

情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１乃至６のいずれかに記載の画像符号化装置として機能させることを特徴とするプログラム。 A program that can be executed by an information processing apparatus, and that causes the information processing apparatus that has executed the program to function as the image encoding apparatus according to any one of claims 1 to 6.

請求項７乃至１２のいずれかに記載の画像符号化方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。 A program executable by an information processing apparatus, comprising program code for realizing the image coding method according to claim 7.

請求項１３又は１４に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。 15. A storage medium readable by an information processing apparatus, wherein the program according to claim 13 or 14 is stored.