JP2009296300A

JP2009296300A - Image encoding device and method

Info

Publication number: JP2009296300A
Application number: JP2008147757A
Authority: JP
Inventors: Hideyuki Okose; 秀之大古瀬
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2008-06-05
Filing date: 2008-06-05
Publication date: 2009-12-17

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging encoding device capable of reducing an encoding processing amount while achieving scalability, and to provide an image encoding method. <P>SOLUTION: An input image is respectively thinned out to 1/2 horizontally and vertically, is divided into four images with a phase shifted by one pixel, and is output as first to fourth divided images from an image dividing means. A first encoding means encodes the first divided image and outputs a first stream, and an encoded information processing means outputs first encoded information obtained when the first encoding means performs encoding as second encoded information. The second to fourth encoding means use the second encoded information to encode the second to fourth divided images and output second to fourth streams. A multiplexing means multiplexes the first to fourth streams, and generates an output stream. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、ハイビジョン画像をＨ．２６４規格に従って符号化する画像符号化装置および方法に関するものである。 The present invention converts a high-definition image into H.264. The present invention relates to an image encoding apparatus and method for encoding according to the H.264 standard.

近年、テレビ放送がスタンダードディフィニション（ＳＤＴＶ）放送からハイデフィニション（ＨＤＴＶ）放送への移行が進むと共に、デジタル放送対応テレビ、デジタルビデオレコーダやカムコーダなどの商品のハイビジョン化が進んでいる。 In recent years, television broadcasts have shifted from standard definition (SDTV) broadcasts to high definition (HDTV) broadcasts, and products such as digital broadcast compatible televisions, digital video recorders and camcorders have become high definition.

また、デジタルシネマでは更に高解像度の画像フォーマット（４Ｋ×２Ｋ画像）が用いられており、放送、撮像、録画機器もデジタルシネマと同様に、さらに高解像度化が進むことが予想される。 Digital cinema uses a higher-resolution image format (4K × 2K images), and it is expected that higher resolution will be achieved for broadcasting, imaging, and recording devices as well as digital cinema.

現状のＨＤＴＶ放送では、通常の画像圧縮（例えばＭＰＥＧ−２）を行い、１つのストリームに１つの解像度の画像が格納されている。４Ｋ×２Ｋ画像はＨＤＴＶ放送の４倍の画素数を持つため、符号化ストリームの符号量が３〜４倍程度必要となる。そのため、４Ｋ×２Ｋ画像を伝送するためには、ＨＤＴＶ放送の複数チャネル分の伝送路を必要とする。 In the current HDTV broadcast, normal image compression (for example, MPEG-2) is performed, and one resolution image is stored in one stream. Since 4K × 2K images have four times as many pixels as HDTV broadcasts, the code amount of the encoded stream is required to be about 3 to 4 times. Therefore, in order to transmit 4K × 2K images, a transmission path for a plurality of HDTV broadcast channels is required.

従来のテレビ等での再生互換を保証してＨＤＴＶ放送と同時に４Ｋ×２Ｋ画像を伝送するためには、解像度スケーラビリティ等の技術を使用したストリームを伝送することが必要となる。この場合、低解像度の画像ストリームとしてＨＤＴＶ画像を、高解像度の画像ストリームとして４Ｋ×２Ｋ画像を格納したストリームとなる。さらに、解像度スケーラビリティ技術は、低解像度画像の情報を利用して高解像度画像を生成することにより、圧縮効率を高めることも行っている。 In order to guarantee playback compatibility on a conventional television or the like and transmit 4K × 2K images simultaneously with HDTV broadcasting, it is necessary to transmit a stream using a technique such as resolution scalability. In this case, an HDTV image is stored as a low-resolution image stream, and a 4K × 2K image is stored as a high-resolution image stream. Furthermore, the resolution scalability technique also improves compression efficiency by generating a high-resolution image using information of a low-resolution image.

放送規格で用いられているＭＰＥＧ−２規格や、ＢＤ規格、ＡＶＣＨＤ規格、ＭＰＥＧ−４ＡＶＣ規格では、それぞれスケーラビリティ方式が規定されている。また、これ以外にも例えば、（特許文献１）の「画像符号伝送システム」には、動画像を時間方向、または空間方向に分割して符号化する方法が記載されている。具体的には空間方向に４分割した画像を符号化する際、空間的に同じ位置にある４つのマクロブロックを合成して３２×３２画素ブロック単位で動き検出を行い、検出した動きベクトルを４つのマクロブロックの動きベクトルとすることで処理の簡易化を図っている。
特開平１０−１０８１７５号公報 In the MPEG-2 standard, the BD standard, the AVCHD standard, and the MPEG-4 AVC standard used in the broadcast standard, a scalability method is defined respectively. In addition to this, for example, “Image Code Transmission System” in (Patent Document 1) describes a method of encoding a moving image by dividing it in a time direction or a spatial direction. Specifically, when encoding an image divided into four in the spatial direction, four macroblocks at the same spatial position are combined to perform motion detection in units of 32 × 32 pixel blocks, and the detected motion vector is converted to 4 The processing is simplified by using the motion vector of one macroblock.
JP-A-10-108175

従来の解像度スケーラビリティ方式を用いる従来のテレビでは、低解像度のストリームのみを復号することで再生互換を確保することが可能となる。しかし、４Ｋ×２Ｋ画像として復号する場合には、低解像度画像のストリームを復号した後に、高解像度画像のストリームも復号する必要があり、復号器の構成が複雑化する。また、スケーラビリティ技術を用いた符号化装置も低解像度画像と高解像度画像の相関を利用した符号化を行う必要があるため、二つの解像度を同期して符号化する必要があり、符号化器の構成が複雑化するという課題がある。さらに、二つの解像度の画像を符号化するため、４Ｋ×２Ｋ画像に対してのみ通常の符号化を行う場合よりも、符号化の処理量が増加するという課題がある。 In a conventional television using a conventional resolution scalability method, it is possible to ensure reproduction compatibility by decoding only a low-resolution stream. However, when decoding as a 4K × 2K image, it is necessary to decode the stream of the high resolution image after decoding the stream of the low resolution image, which complicates the configuration of the decoder. In addition, since an encoding device using scalability technology needs to perform encoding using the correlation between a low resolution image and a high resolution image, it is necessary to encode the two resolutions in synchronization. There is a problem that the configuration becomes complicated. Furthermore, since an image having two resolutions is encoded, there is a problem that the amount of encoding processing is increased as compared with a case where normal encoding is performed only on a 4K × 2K image.

さらに、従来技術では３２×３２画素単位で動きベクトル検出を行う。このとき、水平、垂直とも１／２間引きした画像を参照画像としているため、間引き無しの動きベクトル検出に対しては処理量を１／４に削減できる。しかし、１６×１６画素ブロックでの動き検出で参照画像を水平、垂直とも１／２間引きした場合と処理量が同じとなるため、処理量削減の優位性がない。むしろ、４マクロブロックをまとめた動きベクトル検出を行うため、マクロブロック毎に行う動きベクトル検出よりも動きベクトル検出の精度が落ちる可能性がある。 Furthermore, in the prior art, motion vector detection is performed in units of 32 × 32 pixels. At this time, since an image that has been thinned by 1/2 in both horizontal and vertical directions is used as a reference image, the processing amount can be reduced to 1/4 for motion vector detection without thinning. However, since the processing amount is the same as when the reference image is decimated in both horizontal and vertical directions by motion detection in a 16 × 16 pixel block, there is no advantage in reducing the processing amount. Rather, since motion vector detection is performed on four macroblocks, motion vector detection may be less accurate than motion vector detection performed for each macroblock.

そこで、本発明は上記の事情に鑑みてなされたものであり、再生互換を保証可能な解像度スケーラビリティを実現しつつ、処理量を削減して動画像を符号化することができる画像符号化装置および方法を提供することを目的とする。 Therefore, the present invention has been made in view of the above circumstances, and an image encoding device capable of encoding a moving image with a reduced processing amount while realizing resolution scalability capable of guaranteeing reproduction compatibility and It aims to provide a method.

上記の課題を解決するために、本発明に係る画像符号化装置は、入力された動画像データに対して、水平方向と垂直方向に各々１／２に間引きし、かつ位相が１画素ずれた４つの分割画像を第１から第４の分割画像として出力する画像分割部と、前記第１の分割画像をブロック単位で符号化して第１のストリームを出力する第１の符号化部と、前記第１の符号化部で符号化したときに得られる第１の符号化情報を抽出し、第２の符号化情報として出力する符号化情報処理部と、前記第２の符号化情報を利用して前記第２の分割画像をブロック単位で符号化し、第２のストリームを出力する第２の符号化部と、前記第２の符号化情報を利用して前記第３の分割画像をブロック単位で符号化し、第３のストリームを出力する第３の符号化部と、前記第２の符号化情報を利用して前記第４の分割画像をブロック単位で符号化し、第４のストリームを出力する第４の符号化部と、前記第１から第４のストリームを多重化し、出力ストリームを生成する多重化部とを備える。 In order to solve the above-described problem, the image coding apparatus according to the present invention thins the input moving image data by 1/2 in the horizontal direction and the vertical direction, and the phase is shifted by one pixel. An image dividing unit that outputs four divided images as first to fourth divided images, a first encoding unit that encodes the first divided image in units of blocks and outputs a first stream, and Extracting the first encoded information obtained when encoded by the first encoding unit, and outputting the second encoded information as the second encoded information, and using the second encoded information A second encoding unit that encodes the second divided image in block units and outputs a second stream; and the third divided image in block units using the second encoding information. A third encoding unit for encoding and outputting a third stream; A fourth encoding unit that encodes the fourth divided image in units of blocks using second encoding information, outputs a fourth stream, and multiplexes the first to fourth streams; A multiplexing unit for generating an output stream.

これにより、再生互換を保証可能な解像度スケーラビリティを実現しつつ、処理量を削減して動画像を符号化することが可能となる。 Thus, it is possible to encode a moving image with a reduced processing amount while realizing resolution scalability that can guarantee reproduction compatibility.

以上のように本発明によれば、空間方向に４分割した画像のうち、一つの画像の符号化情報を利用することで処理量を削減することが可能となる。また、４つの分割画像全てを復号する、もしくは任意の１画像を復号することで解像度スケーラビリティを実現できる。また、空間的に同じ位置にあるブロックの量子化値、符号化タイプ等を揃えることで４つの分割画像の画質差を減らし、良好な画質を得ることが可能となる。 As described above, according to the present invention, it is possible to reduce the processing amount by using the encoding information of one image among the images divided into four in the spatial direction. Also, resolution scalability can be realized by decoding all four divided images or decoding one arbitrary image. Further, by aligning the quantization values, coding types, and the like of blocks located at the same spatial position, it is possible to reduce the difference in image quality between the four divided images and to obtain good image quality.

以下、本発明の実施の形態について、図面を用いて説明する。なお、本発明について説明する、以下の実施の形態および添付の図面は、本発明の例示を目的としており、本発明がこれらに限定されることを意図しない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The following embodiments and the accompanying drawings for explaining the present invention are intended to illustrate the present invention and are not intended to limit the present invention.

（実施の形態１）
図１は、本実施の形態１に係る画像符号化装置の構成を示すブロック図である。本発明の画像符号化装置は、画像分割部１０２、第１の符号化部１０３、符号化情報処理部１０４、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７、多重化部１０８で構成されており、動画像データ１０１は画像分割部１０２に入力され、多重化部１０８からは出力ストリーム１０９が出力される。 (Embodiment 1)
FIG. 1 is a block diagram showing the configuration of the image coding apparatus according to the first embodiment. The image encoding device of the present invention includes an image dividing unit 102, a first encoding unit 103, an encoded information processing unit 104, a second encoding unit 105, a third encoding unit 106, and a fourth encoding. The moving image data 101 is input to the image dividing unit 102, and an output stream 109 is output from the multiplexing unit 108.

本発明の実施の形態１においては、動画像データ１０１として、１秒間に６０フィールドのピクチャ（以下「６０ｉ」と記す）で解像度が水平３８４０画素、垂直１０８０ライン（フレームでは２１６０ライン）で、分割画像の解像度は水平１９２０画素、垂直５４０ラインであることを前提とする。また、第１の符号化部１０３、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７では、Ｈ．２６４規格に従って符号化処理が実行され、ＭＰＥＧ−２規格と同じ参照関係で動き補償することを前提とする。また、マクロブロック単位の動きベクトルの検出は、１つの参照画像に対して１つの矩形領域を探索することを前提とする。 In the first embodiment of the present invention, the moving image data 101 is divided into a picture of 60 fields per second (hereinafter referred to as “60i”) with a resolution of horizontal 3840 pixels and vertical 1080 lines (2160 lines in a frame). It is assumed that the resolution of the image is horizontal 1920 pixels and vertical 540 lines. In addition, the first encoding unit 103, the second encoding unit 105, the third encoding unit 106, and the fourth encoding unit 107 are H.264. It is assumed that encoding processing is executed according to the H.264 standard and motion compensation is performed with the same reference relationship as that of the MPEG-2 standard. In addition, detection of motion vectors in units of macroblocks is based on the premise that one rectangular area is searched for one reference image.

画像分割部１０２は、図２に示すように、動画像データ１０１の各ピクチャを画面内で水平、垂直それぞれ１／２に間引きし、かつ位相が１画素ずれた４画像を生成する。図２において、○、△、□、×はそれぞれ画素の位置を表している。元の画像において、○の画素位置にある画素のみを取り出して分割画像１を生成する。また、○の画素位置から水平方向に１画素ずらした位置にある△の画素位置にある画素を取り出して分割画像２を生成する。同様に○の画素位置から垂直方向に１ラインずらした位置の□の画素、水平方向に１画素、垂直方向に１ラインずらした位置の×の画素をそれぞれ分割画像３、分割画像４として生成する。 As shown in FIG. 2, the image dividing unit 102 thins out each picture of the moving image data 101 by ½ both horizontally and vertically in the screen, and generates four images whose phases are shifted by one pixel. In FIG. 2, ◯, Δ, □, and x represent pixel positions, respectively. In the original image, only the pixel at the pixel position of ◯ is extracted to generate the divided image 1. Further, the divided image 2 is generated by taking out the pixel at the pixel position of Δ at the position shifted by one pixel in the horizontal direction from the pixel position of ○. Similarly, a pixel □ at a position shifted by one line in the vertical direction from the pixel position of ◯, a pixel at a position shifted by one line in the horizontal direction, and a pixel shifted by one line in the vertical direction are generated as divided image 3 and divided image 4, respectively. .

第１の符号化部１０３は、分割画像１を入力としてＨ．２６４規格に基づいて符号化し、符号化ストリームを出力する。また、符号化時の符号化情報として、シーケンス或いはピクチャ単位で、量子化マトリクス、デブロックフィルタの強度等のシンタックスに関する情報、ピクチャあたりの割り当て符号量、ターゲットの量子化幅といった符号化制御に関する情報を出力する。さらに、マクロブロック単位で、量子化幅、マクロブロックタイプ、動きベクトル、参照画像といった符号化情報を出力する。第１の符号化部１０３の一般的な構成を図３に示し、簡単に説明する。ここでは第１の符号化部１０３を例示するが、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７も同様の構成であり、それぞれ分割画像２、分割画像３、分割画像４を入力とする。 The first encoding unit 103 receives the divided image 1 as an input. The encoded stream is output based on the H.264 standard. In addition, as encoding information at the time of encoding, information on syntax such as quantization matrix, deblocking filter strength, etc., encoding code amount assigned per picture, target quantization width, etc. in sequence or picture units Output information. Further, encoding information such as a quantization width, a macroblock type, a motion vector, and a reference image is output for each macroblock. A general configuration of the first encoding unit 103 is shown in FIG. 3 and will be briefly described. Here, the first encoding unit 103 is illustrated, but the second encoding unit 105, the third encoding unit 106, and the fourth encoding unit 107 have the same configuration, and are divided image 2 and divided image respectively. The image 3 and the divided image 4 are input.

符号化部１０３は、画像分割部１０２の出力である分割画像１を入力画像とし、符号化単位ブロックであるマクロブロックごとにストリームに符号化する。符号化部１０３は、この符号化を、イントラ予測及びインター予測のいずれかの予測方法を用いて行う。予測方法の選択方法は一般的に各予測を行ったときの評価値を生成し、評価値の小さい方を選択する。 The encoding unit 103 uses the divided image 1 that is the output of the image dividing unit 102 as an input image, and encodes each macroblock that is an encoding unit block into a stream. The encoding unit 103 performs this encoding by using any one of intra prediction and inter prediction. The selection method of the prediction method generally generates an evaluation value when each prediction is performed, and selects the smaller evaluation value.

加算器３０１は、分割画像１の画素値と予測に用いられる参照画素値との誤差を算出し、直交変換部３０２は、その誤差を例えば離散コサイン係数に変換し、量子化部３０３は、その離散コサイン係数を量子化する。 The adder 301 calculates an error between the pixel value of the divided image 1 and the reference pixel value used for prediction, the orthogonal transform unit 302 converts the error into, for example, a discrete cosine coefficient, and the quantization unit 303 Quantize discrete cosine coefficients.

逆量子化部３０４及び逆直交変換部３０５は、前記量子化部３０３の結果をデコードすることで、再生機器において算出される誤差と同等の誤差を局所的に求める。 The inverse quantization unit 304 and the inverse orthogonal transform unit 305 locally obtain an error equivalent to the error calculated in the playback device by decoding the result of the quantization unit 303.

加算器３０６は、この誤差と参照画素値とを加算することで、局所的な復号結果である画素値を得る。この画素値は、引き続き行われるイントラ予測及びインター予測において新たな参照画素値となるべき値であり、イントラ予測部３０７へ出力され、デブロックフィルタ部３０８を介してフレームメモリ３０９に記憶される。 The adder 306 adds the error and the reference pixel value to obtain a pixel value that is a local decoding result. This pixel value is a value that should be a new reference pixel value in the subsequent intra prediction and inter prediction, and is output to the intra prediction unit 307 and stored in the frame memory 309 via the deblock filter unit 308.

符号化にイントラ予測が用いられる場合、イントラ予測部３０７は、加算器３０６から与えられる前記画素値に基づいて、Ｈ．２６４規格によって隣接するマクロブロックとの対比に用いるように定められた所定の参照画素値を生成する。 When intra prediction is used for encoding, the intra prediction unit 307 determines the H.264 based on the pixel value given from the adder 306. A predetermined reference pixel value determined to be used for comparison with an adjacent macroblock according to the H.264 standard is generated.

そして、スイッチ３１２は、イントラ予測部３０７からの参照画素値を選択し、加算器３０１は、入力画像に含まれる隣接するマクロブロックの画素値と選択された参照画素値との誤差を算出することで、後続する符号化が実行される。 The switch 312 selects the reference pixel value from the intra prediction unit 307, and the adder 301 calculates an error between the pixel value of the adjacent macroblock included in the input image and the selected reference pixel value. Subsequent encoding is then performed.

符号化にインター予測が用いられる場合、動き検出部３１０は、先行するフレーム又はフィールド（つまり参照画像）について算出されてフレームメモリ３０９に記憶されている参照画素値に基づいて、後続するフレーム又はフィールドを表す入力画像におけるマクロブロックの動きベクトルを算出する。動き補償部３１１は、参照画像における算出された動きベクトルで表される範囲の画素値を参照画素値として出力する。 When inter prediction is used for encoding, the motion detection unit 310 calculates the subsequent frame or field based on the reference pixel value calculated for the previous frame or field (that is, the reference image) and stored in the frame memory 309. The motion vector of the macroblock in the input image representing is calculated. The motion compensation unit 311 outputs a pixel value in a range represented by the calculated motion vector in the reference image as a reference pixel value.

そして、スイッチ３１２は、動き補償部３１１からの参照画素値を選択し、加算器３０１は、後続するフレーム又はフィールドにおけるマクロブロックの画素値と選択された参照画素値との誤差を算出することで、後続する符号化が実行される。 Then, the switch 312 selects the reference pixel value from the motion compensation unit 311, and the adder 301 calculates the error between the pixel value of the macroblock and the selected reference pixel value in the subsequent frame or field. Subsequent encoding is performed.

符号化情報処理部１０４は、第１の符号化部１０３の出力である符号化情報を入力とし、シーケンス或いはピクチャ単位の符号化情報を出力する。また、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７のマクロブロック処理に同期してマクロブロック単位の符号化制御に関する情報を出力する。具体的には図４に示すように、マクロブロック処理単位でパイプラインを構成し、第１の符号化部１０３が時刻ｔ（ｎ）で、画面の左上に位置するマクロブロックを先頭として、ラスタスキャン順にｎ番目のマクロブロックＭＢ１（ｎ）を符号化する。符号化情報処理部１０４は、時刻ｔ（ｎ＋１）でＭＢ１（ｎ）のマクロブロックタイプ、動きベクトル等の符号化情報を一旦保持し、時刻ｔ（ｎ＋２）で出力する。第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７は、符号化情報処理部１０４の出力である符号化情報を利用して、時刻ｔ（ｎ＋２）でＭＢ１（ｎ）と空間的に同じ位置にあるマクロブロックＭＢ２（ｎ）、ＭＢ３（ｎ）、ＭＢ４（ｎ）を、それぞれ符号化する。具体的な利用方法は後述する。 The encoded information processing unit 104 receives the encoded information output from the first encoding unit 103 and outputs encoded information in sequence or picture units. In addition, in synchronization with the macroblock processing of the second encoding unit 105, the third encoding unit 106, and the fourth encoding unit 107, information related to encoding control in units of macroblocks is output. Specifically, as shown in FIG. 4, a pipeline is configured in units of macroblock processing, and the first encoding unit 103 starts a macroblock located at the upper left of the screen at time t (n), and starts with a raster. The nth macroblock MB1 (n) is encoded in the scan order. The encoded information processing unit 104 temporarily stores encoded information such as the macroblock type and motion vector of MB1 (n) at time t (n + 1), and outputs it at time t (n + 2). The second encoding unit 105, the third encoding unit 106, and the fourth encoding unit 107 use the encoded information that is the output of the encoded information processing unit 104, and perform MB1 at time t (n + 2). Macroblocks MB2 (n), MB3 (n), and MB4 (n) at the same spatial position as (n) are encoded. A specific usage method will be described later.

多重化部１０８は、第１の符号化部１０３、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７の出力ストリームを多重化し、出力ストリーム１０９を生成する。このとき、各ストリームの位相情報をストリームに埋め込むことが可能である。 The multiplexing unit 108 multiplexes the output streams of the first encoding unit 103, the second encoding unit 105, the third encoding unit 106, and the fourth encoding unit 107, and generates an output stream 109. . At this time, the phase information of each stream can be embedded in the stream.

次に、第２の符号化部１０５、第３の符号化部１０６、第４の符号化部１０７による、符号化情報処理部１０４の出力である符号化情報の利用方法を説明する。 Next, a method of using encoded information, which is an output of the encoded information processing unit 104, by the second encoding unit 105, the third encoding unit 106, and the fourth encoding unit 107 will be described.

シーケンス、ピクチャ単位での情報の利用方法は、第１の符号化部１０３から第４の符号化部１０７の出力である４つのストリーム間で画質差が現れにくくするように、同じピクチャタイプ、量子化マトリクス、デブロックフィルタ強度等を設定する。 The method of using information in units of sequences and pictures uses the same picture type and quantum so that image quality differences are less likely to appear between the four streams output from the first encoding unit 103 to the fourth encoding unit 107. Set the quantization matrix, deblock filter strength, etc.

マクロブロックタイプの利用方法は、ＭＢ２（ｎ）、ＭＢ３（ｎ）、ＭＢ４（ｎ）のマクロブロックタイプを決定するときに、ＭＢ１（ｎ）のマクロブロックタイプと同じにする方法がある。或いは、ＭＢ１（ｎ）で選択されたマクロブロックタイプの評価値に重み付けをして選択されやすくする方法がある。 The macroblock type is used in the same manner as the macroblock type of MB1 (n) when determining the macroblock types of MB2 (n), MB3 (n), and MB4 (n). Alternatively, there is a method for facilitating selection by weighting the evaluation value of the macroblock type selected in MB1 (n).

直交変換サイズやイントラ予測の利用方法は、マクロブロックタイプと同様にＭＢ１（ｎ）で選択された直交変換サイズと選択された予測方向と同じ予測方向と同じにする方法がある。或いは、評価値に重み付けをしてＭＢ１（ｎ）で選択された直交変換サイズとイントラ予測方向が選択されやすくする方法がある。 As a method of using the orthogonal transform size and intra prediction, there is a method in which the orthogonal transform size selected in MB1 (n) and the same prediction direction as the selected prediction direction are the same as in the macroblock type. Alternatively, there is a method in which the evaluation value is weighted so that the orthogonal transform size selected in MB1 (n) and the intra prediction direction are easily selected.

動きベクトル情報の利用方法は、ＭＢ１（ｎ）で検出した動きベクトル、動き補償のブロックサイズ、参照画像と同じにする方法がある。分割画像は位相が１画素ずれた画像なので、それを考慮した方法を以下に示す。図５の（ａ）に示すとおり、符号化対象画像がＢ（ｎ）である時、参照画像はＰ（ｎ−２）、Ｐ（ｎ−１）、Ｐ（ｎ＋４）、Ｐ（ｎ＋５）の４フィールドとなる。一般的には、すべての動き補償サイズで、それぞれの参照画像に対しブロックマッチングを行い、評価値が最も小さくなるモードを選択する。例えば、図５の（ｂ）に示すように、第１の符号化部１０３では、ＭＢ１（ｎ）の動きベクトルＭＶ１（ｎ）を検出するために一点鎖線で囲まれた範囲をすべてブロックマッチングを行う。これをＨ．２６４規格で規定される動き補償サイズすべてに対して行い、評価値が最も小さいモードを選択する。このとき、動きベクトル、動き補償サイズ、参照画像が決定される。この情報に基づき、例えば第２の符号化部１０５のＭＢ２（ｎ）では、ＭＢ１（ｎ）の動きベクトル情報を用いて、図５の（ｃ）に示すようにＭＶ１（ｎ）が指し示す位置を中心に狭い探索範囲でブロックマッチングを行うことで動きベクトルＭＶ２（ｎ）を検出する。この場合、参照画像と動き補償サイズはＭＢ１（ｎ）と同じになる。第３の符号化部１０６、第４の符号化部１０７でも同様に動きベクトルを求めることができる。 The motion vector information may be used in the same manner as the motion vector detected in MB1 (n), the motion compensation block size, and the reference image. Since the divided image is an image whose phase is shifted by one pixel, a method that takes this into consideration is described below. As shown in FIG. 5A, when the encoding target image is B (n), the reference images are P (n−2), P (n−1), P (n + 4), and P (n + 5). There are 4 fields. In general, block matching is performed on each reference image at all motion compensation sizes, and a mode with the smallest evaluation value is selected. For example, as shown in FIG. 5B, the first encoding unit 103 performs block matching on the entire range surrounded by the alternate long and short dash line in order to detect the motion vector MV1 (n) of MB1 (n). Do. H. This is performed for all motion compensation sizes defined in the H.264 standard, and the mode with the smallest evaluation value is selected. At this time, a motion vector, a motion compensation size, and a reference image are determined. Based on this information, for example, MB2 (n) of the second encoding unit 105 uses the motion vector information of MB1 (n) to determine the position indicated by MV1 (n) as shown in (c) of FIG. The motion vector MV2 (n) is detected by performing block matching with a narrow search range at the center. In this case, the reference image and the motion compensation size are the same as MB1 (n). The third encoding unit 106 and the fourth encoding unit 107 can similarly obtain a motion vector.

量子化値の利用方法は、ＭＢ２（ｎ）、ＭＢ３（ｎ）、ＭＢ４（ｎ）の量子化値を決定するときに、ＭＢ１（ｎ）の量子化値と同じにする方法がある。或いは、ＭＢ１（ｎ）で選択された量子化値をベースとして変調をかける方法がある。具体的には、マクロブロックの特徴、バッファ制御の状態に基づいて変調をかける事が考えられる。 As a method of using the quantized value, there is a method of determining the quantized value of MB2 (n), MB3 (n), and MB4 (n) to be the same as the quantized value of MB1 (n). Alternatively, there is a method of performing modulation based on the quantized value selected by MB1 (n). Specifically, it may be possible to apply modulation based on the characteristics of the macroblock and the buffer control status.

（実施の形態２）
本発明の実施の形態２に係る画像符号化装置の構成を図６を用いて説明する。本発明の実施の形態２に係る画像符号化装置は、上述の本発明の実施の形態１にかかる画像符号化装置とは、画像分割部１０２、第１の符号化部１０３、多重化部１０８はその構成が同じであるのでその説明を省略する。符号化情報処理部６０４、第２の符号化部６０５、第３の符号化部６０６、第４の符号化部６０７は、本発明の実施の形態１にかかる画像符号化装置とは、動作が異なる。また、前提については上述の本発明の実施の形態１と同じである。 (Embodiment 2)
The configuration of the image coding apparatus according to Embodiment 2 of the present invention will be described with reference to FIG. The image coding apparatus according to the second embodiment of the present invention is different from the above-described image coding apparatus according to the first embodiment of the present invention in the image dividing unit 102, the first coding unit 103, and the multiplexing unit 108. Since the structure is the same, the description thereof is omitted. The encoded information processing unit 604, the second encoding unit 605, the third encoding unit 606, and the fourth encoding unit 607 operate in the same manner as the image encoding apparatus according to the first embodiment of the present invention. Different. The premise is the same as that of the first embodiment of the present invention.

符号化情報処理部６０４は、第１の符号化部１０３の出力であるマクロブロック単位の符号化情報を入力とし、１フィールド分の情報を蓄積する。蓄積した符号化情報の統計情報を算出して、加工符号化情報として出力する。統計を算出する単位は１フィールド全体、或いは１フィールドを複数領域に分割して領域ごと等が考えられる。統計情報は具体的に、各マクロブロックタイプの選択率、直交変換サイズの選択率、平均量子化値、イントラ予測方向の選択率、参照画像ごとの平均動きベクトルと分散、参照画像の選択率、動き補償サイズの選択率、実際の発生符号量の総和等である。 The encoded information processing unit 604 receives encoded information in units of macroblocks, which is the output of the first encoding unit 103, and accumulates information for one field. Statistical information of the accumulated encoded information is calculated and output as processed encoded information. The unit for calculating the statistics may be one field as a whole or each field divided into a plurality of areas. Specifically, the statistical information includes the selection rate of each macroblock type, the selection rate of the orthogonal transform size, the average quantization value, the selection rate of the intra prediction direction, the average motion vector and variance for each reference image, the selection rate of the reference image, The selection rate of the motion compensation size, the total sum of the actual generated code amounts, and the like.

図７に各符号化部と符号化情報処理部の処理の時間的関係を示す。このようにピクチャ単位でパイプラインを構成し、第１の符号化部１０３が時刻ｔ（ｎ）で先頭からｎ番目のフィールドＰｉｃ１（ｎ）を符号化する。符号化情報処理部６０４はＰｉｃ１（ｎ）の符号化情報を取得し、時刻ｔ（ｎ＋１）になる前に統計情報を算出し、加工符号化情報を出力する。第２の符号化部６０５、第３の符号化部６０６、第４の符号化部６０７は符号化情報処理部６０４の出力である加工符号化情報を利用して時刻ｔ（ｎ＋１）で先頭からｎ番目のフィールドＰｉｃ２（ｎ）、Ｐｉｃ３（ｎ）、Ｐｉｃ４（ｎ）をそれぞれ符号化する。 FIG. 7 shows the temporal relationship between the processing of each encoding unit and the encoded information processing unit. In this way, a pipeline is configured in units of pictures, and the first encoding unit 103 encodes the nth field Pic1 (n) from the beginning at time t (n). The encoded information processing unit 604 acquires the encoded information of Pic1 (n), calculates statistical information before time t (n + 1), and outputs the processed encoded information. The second encoding unit 605, the third encoding unit 606, and the fourth encoding unit 607 use the processed encoded information that is the output of the encoded information processing unit 604 from the beginning at time t (n + 1). The nth fields Pic2 (n), Pic3 (n), and Pic4 (n) are encoded.

第２の符号化部６０５、第３の符号化部６０６、第４の符号化部６０７では、通常の符号化を行うが、加工符号化情報に基づき、符号化パラメータを設定、或いは評価値の重み付け等を行う。例えば、レート制御では、過去に発生した符号量をフィードバックして符号化対象ピクチャのターゲット符号量、ターゲット量子化値を決定するが、これに加工符号化情報のひとつである実際の発生符号量の総和を加味する。一般的に量子化値と符号量は反比例の関係にあるため、ターゲット量子化値＝ターゲット符号量×（平均量子化値／実際の発生符号量）といった式に基づき、ターゲット量子化値を決定する。 The second encoding unit 605, the third encoding unit 606, and the fourth encoding unit 607 perform normal encoding. However, based on the processed encoding information, an encoding parameter is set or an evaluation value is set. Perform weighting. For example, in rate control, the code amount generated in the past is fed back to determine the target code amount and target quantization value of the encoding target picture, and the actual generated code amount, which is one of the processed coding information, is determined. Add the sum. In general, since the quantized value and the code amount are in an inversely proportional relationship, the target quantized value is determined based on an expression of target quantized value = target code amount × (average quantized value / actual generated code amount). .

マクロブロックタイプに関しては、選択率に応じて評価値の重み付けを行うが、画面の中で選択されるマクロブロックタイプの偏りが出る場合があるため、画像を空間方向に複数領域に分割して領域ごとに選択率に応じた重み付けを行う。 For macroblock types, the evaluation value is weighted according to the selection rate. However, since the macroblock type selected in the screen may be biased, the image is divided into multiple regions in the spatial direction. Each is weighted according to the selectivity.

直交変換サイズの選択に関しては、マクロブロックタイプと同様に選択率に応じて重み付けを行う。また、前述と同様に領域ごとに重み付けを行う。 Regarding the selection of the orthogonal transform size, weighting is performed according to the selection rate as in the macroblock type. Similarly to the above, weighting is performed for each region.

イントラ予測方向の決定では、加工符号化情報のマクロブロックタイプとイントラ予測方向の選択率を利用することが可能である。マクロブロックタイプの選択率が低い場合、予測方向にバラつきが生じる可能性が高いため、ある程度高い場合のみ、イントラ予測方向の重み付けを行う。また、前述と同様に領域ごとに重み付けを行う。 In determining the intra prediction direction, it is possible to use the macroblock type of the processed coding information and the selectivity of the intra prediction direction. When the macroblock type selection rate is low, there is a high possibility that the prediction direction will vary. Therefore, weighting of the intra prediction direction is performed only when the macroblock type selection rate is high to some extent. Similarly to the above, weighting is performed for each region.

動きベクトル検出では、参照画像の絞込み、探索窓の設定、動き補償サイズの決定に加工符号化情報を利用する方法がある。参照画像の絞込みは、加工符号化情報の参照画像の選択率がある閾値以上の参照画像のみを用いる。探索窓の設定は、加工符号化情報の平均動きベクトルを用いて、参照画像ごとに探索窓のずらし量を設定する。このとき、動きベクトルの分散値に応じてずらし量を調整する。具体的には、分散値が小さい場合は動きベクトルの大きさがそろっていることが想定されるため、平均動きベクトルの大きさをずらし量とする。分散値が大きくなると、ベクトルがばらつく傾向にあるため、その大きさに応じてずらし量を０に近づけていく。動き補償サイズの決定に関しては、選択率が低い動き補償サイズの動き検出を行わないようにする。或いは、通常通り動きベクトル検出を行い、動き補償サイズを選択する時に選択率の高いサイズに重み付けを行う。これも前述と同様に領域ごとに重み付けを行う。 In motion vector detection, there is a method of using processing coding information for narrowing down a reference image, setting a search window, and determining a motion compensation size. For narrowing down the reference images, only reference images having a selection rate of the reference image of the processed coding information that is equal to or higher than a threshold value are used. The search window is set by setting the shift amount of the search window for each reference image using the average motion vector of the processed coding information. At this time, the shift amount is adjusted according to the variance value of the motion vector. Specifically, when the variance value is small, it is assumed that the motion vectors have the same size. Therefore, the size of the average motion vector is used as the shift amount. As the variance value increases, the vector tends to vary, and the shift amount is made close to 0 according to the size. Regarding the determination of the motion compensation size, motion detection with a motion compensation size having a low selection rate is not performed. Alternatively, motion vector detection is performed as usual, and when a motion compensation size is selected, a size with a high selection rate is weighted. Similarly to the above, weighting is performed for each region.

上記の内容では領域単位で重み付けを行うことを説明したが、フィールド単位で行うことも可能である。或いは、１つの領域をマクロブロックと同じ画素数とすることも可能である。 In the above description, weighting is performed in units of areas, but it is also possible to perform weighting in units of fields. Alternatively, one area can have the same number of pixels as the macroblock.

本発明の画像符号化装置およびその方法は、４Ｋ×２Ｋ等の高解像度な画像をスケーラビリティを実現しつつ、処理量を削減してＨ．２６４規格で符号化し、放送、録画を行う用途として有用である。 The image coding apparatus and method according to the present invention reduce the processing amount while realizing scalability of a high-resolution image of 4K × 2K or the like. It is useful as an application for encoding and broadcasting and recording according to the H.264 standard.

本発明の画像符号化装置を示すブロック図The block diagram which shows the image coding apparatus of this invention 分割画像の生成方法を示す図The figure which shows the production | generation method of a divided image 符号化部の一例を示す図The figure which shows an example of an encoding part 実施の形態１に係る符号化部のパイプライン構成を示す図The figure which shows the pipeline structure of the encoding part which concerns on Embodiment 1. FIG. 実施の形態１に係る動きベクトル検出方法を示す図The figure which shows the motion vector detection method which concerns on Embodiment 1. FIG. 実施の形態２に係る画像符号化装置を示すブロック図Block diagram showing an image coding apparatus according to Embodiment 2 実施の形態２に係る符号化部のパイプライン構成を示す図The figure which shows the pipeline structure of the encoding part which concerns on Embodiment 2. FIG.

符号の説明Explanation of symbols

１０１動画像データ
１０２画像分割部
１０３第１の符号化部
１０４、６０４符号化情報処理部
１０５、６０５第２の符号化部
１０６、６０６第３の符号化部
１０７、６０７第４の符号化部
１０８多重化部
１０９出力ストリーム
３０１加算器
３０２直交変換部
３０３量子化部
３０４逆量子化部
３０５逆直交変換部
３０６加算器
３０７イントラ予測部
３０８デブロックフィルタ部
３０９フレームメモリ
３１０動き検出部
３１１動き補償部
３１２スイッチ DESCRIPTION OF SYMBOLS 101 Moving image data 102 Image division part 103 1st encoding part 104,604 Encoding information processing part 105,605 2nd encoding part 106,606 3rd encoding part 107,607 4th encoding part 108 Multiplexer 109 Output Stream 301 Adder 302 Orthogonal Transformer 303 Quantizer 304 Deverse Quantizer 305 Inverse Orthogonal Transformer 306 Adder 307 Intra Predictor 308 Deblock Filter 309 Frame Memory 310 Motion Detector 311 Motion Compensation Part 312 switch

Claims

入力された動画像データに対して、水平方向と垂直方向に各々１／２に間引きし、かつ位相が１画素ずれた４つの分割画像を第１から第４の分割画像として出力する画像分割部と、前記第１の分割画像をブロック単位で符号化して第１のストリームを出力する第１の符号化部と、前記第１の符号化部で符号化したときに得られる第１の符号化情報を抽出し、第２の符号化情報として出力する符号化情報処理部と、前記第２の符号化情報を利用して前記第２の分割画像をブロック単位で符号化し、第２のストリームを出力する第２の符号化部と、前記第２の符号化情報を利用して前記第３の分割画像をブロック単位で符号化し、第３のストリームを出力する第３の符号化部と、前記第２の符号化情報を利用して前記第４の分割画像をブロック単位で符号化し、第４のストリームを出力する第４の符号化部と、前記第１から第４のストリームを多重化し、出力ストリームを生成する多重化部とを備えることを特徴とする画像符号化装置。 An image dividing unit which outputs four divided images whose first and fourth divided images are thinned out to 1/2 each in the horizontal direction and the vertical direction with respect to the input moving image data and whose phases are shifted by one pixel. A first encoding unit that encodes the first divided image in units of blocks and outputs a first stream; and a first encoding obtained by encoding the first divided image by the first encoding unit An information processing unit that extracts information and outputs it as second encoded information; and uses the second encoded information to encode the second divided image in units of blocks; A second encoding unit that outputs, a third encoding unit that encodes the third divided image in units of blocks using the second encoding information, and outputs a third stream; Using the second encoded information, the fourth divided image is divided into blocks. And a fourth encoding unit that outputs the fourth stream and a multiplexing unit that multiplexes the first to fourth streams and generates an output stream. apparatus.

前記符号化情報処理部は、前記第２の符号化情報として、前記第１の分割画像を符号化する際のブロック単位の符号化情報を出力し、前記第２から第４の符号化部は、当該符号化部が符号化する際の符号化対象ブロックと同じ空間位置となるブロックに対して、前記第１の分割画像を符号化する際のブロック単位の符号化情報を利用することを特徴とする請求項１に記載の画像符号化装置。 The encoded information processing unit outputs, as the second encoded information, block-based encoded information when encoding the first divided image, and the second to fourth encoding units The block unit encoding information used when encoding the first divided image is used for a block having the same spatial position as the encoding target block when the encoding unit performs encoding. The image encoding device according to claim 1.

前記符号化情報処理部は、前記第２の符号化情報として、さらに、前記第１の分割画像を符号化する際のブロックの動きベクトルである第１の動きベクトル情報を含み、前記第２から第４の符号化部は、当該符号化部が符号化する際の符号化対象ブロックと同じ空間位置となるブロックに対して、前記第１の動きベクトル情報が示す位置を中心とした範囲で、当該符号化部が対象とする分割画像に対する動きベクトル検出を行うことを特徴とする請求項２に記載の画像符号化装置。 The encoded information processing unit further includes, as the second encoded information, first motion vector information that is a motion vector of a block when the first divided image is encoded. The fourth encoding unit is a range centered on the position indicated by the first motion vector information with respect to a block having the same spatial position as the encoding target block when the encoding unit encodes, The image encoding apparatus according to claim 2, wherein the encoding unit performs motion vector detection on a divided image.

前記符号化情報処理部は、前記第２の符号化情報として、さらに、前記第１の分割画像を符号化する際のブロックの量子化情報である第１の量子化情報を含み、前記第２から第４の符号化部は、当該符号化部が符号化する際の符号化対象ブロックと同じ空間位置となるブロックに対して、前記第１の量子化情報が示す量子化値で、当該符号化部が対象とする分割画像に対する量子化を行うことを特徴とする請求項２に記載の画像符号化装置。 The encoded information processing unit further includes, as the second encoded information, first quantized information that is quantized information of a block when the first divided image is encoded, To the fourth encoding unit, with respect to a block having the same spatial position as the target block to be encoded when the encoding unit encodes, with the quantization value indicated by the first quantization information, The image coding apparatus according to claim 2, wherein the quantization unit performs quantization on the divided image.

前記符号化情報処理部は、前記第２の符号化情報として、さらに、前記第１の分割画像を符号化する際のブロックの符号化タイプ情報である第１の符号化タイプ情報を含み、前記第２から第４の符号化部は、当該符号化部が符号化する際の符号化対象ブロックと同じ空間位置となるブロックに対して、前記第１の符号化タイプと同じ符号化タイプで、当該符号化部が対象とする分割画像に対する符号化を行うことを特徴とする請求項２記載の画像符号化装置。 The encoded information processing unit further includes, as the second encoded information, first encoding type information that is encoding type information of a block when encoding the first divided image, The second to fourth encoding units are the same encoding type as the first encoding type with respect to a block having the same spatial position as the encoding target block when the encoding unit encodes, The image coding apparatus according to claim 2, wherein the coding unit performs coding on a target divided image.

前記第２から第４の符号化部は、当該符号化部が符号化する際の符号化対象ブロックと同じ空間位置となるブロックに対して、前記第１の符号化タイプと同じ符号化タイプに、重み付けして符号化タイプを決定し、当該符号化部が対象とする分割画像に対する符号化を行うことを特徴とする請求項５に記載の画像符号化装置。 The second to fourth encoding units are set to the same encoding type as the first encoding type with respect to a block having the same spatial position as the encoding target block when the encoding unit encodes. The image coding apparatus according to claim 5, wherein the coding type is determined by weighting, and coding is performed on the divided image targeted by the coding unit.

前記符号化情報処理部は、前記第２の符号化情報として、前記第１の符号化部で符号化した全て或いは一部のブロックの符号化情報の統計情報であることを特徴とする請求項１に記載の画像符号化装置。 The encoded information processing unit is statistical information of encoded information of all or a part of blocks encoded by the first encoding unit as the second encoded information. 2. The image encoding device according to 1.

前記符号化情報処理部は、前記第２の符号化情報として、さらに、前記第１の分割画像を符号化する際のブロックの動きベクトルの統計情報を含み、前記第２から第４の符号化部は、前記動きベクトルの統計情報が示す位置を中心に、当該符号化部が対象とする分割画像に対する動きベクトル検出を行うことを特徴とする請求項７に記載の画像符号化装置。 The encoded information processing unit further includes, as the second encoded information, statistical information of a motion vector of a block when the first divided image is encoded, and the second to fourth encoded information The image encoding apparatus according to claim 7, wherein the unit performs motion vector detection on a divided image targeted by the encoding unit, with a position indicated by the statistical information of the motion vector as a center.

前記符号化情報処理部は、前記第２の符号化情報として、前記ブロックの量子化情報の統計情報を含み、前記第２から第４の符号化部は、前記量子化情報の統計情報が示す量子化値と発生符号量から、当該符号化部が対象とする分割画像に対する量子化値を決定することを特徴とする請求項７に記載の画像符号化装置。 The encoded information processing unit includes statistical information of quantization information of the block as the second encoded information, and the second to fourth encoding units are indicated by statistical information of the quantization information The image coding apparatus according to claim 7, wherein a quantization value for a divided image targeted by the coding unit is determined from the quantization value and the generated code amount.

入力された動画像データに対して、水平方向と垂直方向に各々１／２に間引きし、かつ位相が１画素ずれた４つの分割画像を第１から第４の分割画像として出力し、前記第１の分割画像をブロック単位で符号化して第１のストリームを出力し、前記第１の符号化部で符号化したときに得られる第１の符号化情報を抽出し、第２の符号化情報として出力し、前記第２の符号化情報を利用して前記第２の分割画像をブロック単位で符号化し、第２のストリームを出力し、前記第２の符号化情報を利用して前記第３の分割画像をブロック単位で符号化し、第３のストリームを出力し、前記第２の符号化情報を利用して前記第４の分割画像をブロック単位で符号化し、第４のストリームを出力し、前記第１から第４のストリームを多重化し、出力ストリームを生成することを特徴とする画像符号化方法。 With respect to the input moving image data, four divided images that are decimated to 1/2 each in the horizontal direction and the vertical direction and whose phase is shifted by one pixel are output as first to fourth divided images, and the first 1 divided image is encoded on a block-by-block basis, a first stream is output, first encoded information obtained when encoded by the first encoding unit is extracted, and second encoded information is extracted Output the second divided image using the second encoding information as a block, output a second stream, and use the second encoding information to output the third Encoding the divided images in units of blocks, outputting a third stream, using the second encoding information, encoding the fourth divided images in units of blocks, and outputting a fourth stream, The first to fourth streams are multiplexed and output streams Picture coding method and generating a over arm.

入力された動画像データに対して、水平方向と垂直方向に各々１／２に間引きし、かつ位相が１画素ずれた４つの分割画像を第１から第４の分割画像として出力する画像分割手段と、前記第１の分割画像をブロック単位で符号化して第１のストリームを出力する第１の符号化手段と、前記第１の符号化部で符号化したときに得られる第１の符号化情報を抽出し、第２の符号化情報として出力する符号化情報処理手段と、前記第２の符号化情報を利用して前記第２の分割画像をブロック単位で符号化し、第２のストリームを出力する第２の符号化手段と、前記第２の符号化情報を利用して前記第３の分割画像をブロック単位で符号化し、第３のストリームを出力する第３の符号化手段と、前記第２の符号化情報を利用して前記第４の分割画像をブロック単位で符号化し、第４のストリームを出力する第４の符号化手段と、前記第１から第４のストリームを多重化し、出力ストリームを生成する多重化手段とを含むことを特徴とする画像符号化プログラム。 Image dividing means for thinning out the input moving image data by 1/2 each in the horizontal direction and the vertical direction and outputting four divided images whose phases are shifted by one pixel as first to fourth divided images A first encoding unit that encodes the first divided image in units of blocks and outputs a first stream; and a first encoding obtained by encoding with the first encoding unit Encoding information processing means for extracting information and outputting it as second encoded information; encoding the second divided image in units of blocks using the second encoded information; Second encoding means for outputting, third encoding means for encoding the third divided image in units of blocks using the second encoding information, and outputting a third stream; The fourth divided image is converted using the second encoded information. An image comprising: a fourth encoding means for encoding in a lock unit and outputting a fourth stream; and a multiplexing means for multiplexing the first to fourth streams to generate an output stream. Encoding program.

入力された動画像データに対して、水平方向と垂直方向に各々１／２に間引きし、かつ位相が１画素ずれた４つの分割画像を第１から第４の分割画像として出力する画像分割部と、前記第１の分割画像をブロック単位で符号化して第１のストリームを出力する第１の符号化部と、前記第１の符号化部で符号化したときに得られる第１の符号化情報を抽出し、第２の符号化情報として出力する符号化情報処理部と、前記第２の符号化情報を利用して前記第２の分割画像をブロック単位で符号化し、第２のストリームを出力する第２の符号化部と、前記第２の符号化情報を利用して前記第３の分割画像をブロック単位で符号化し、第３のストリームを出力する第３の符号化部と、前記第２の符号化情報を利用して前記第４の分割画像をブロック単位で符号化し、第４のストリームを出力する第４の符号化部と、前記第１から第４のストリームを多重化し、出力ストリームを生成する多重化部とを含むことを特徴とする集積回路。 An image dividing unit which outputs four divided images whose first and fourth divided images are thinned out to 1/2 each in the horizontal direction and the vertical direction with respect to the input moving image data and whose phases are shifted by one pixel. A first encoding unit that encodes the first divided image in units of blocks and outputs a first stream; and a first encoding obtained by encoding the first divided image by the first encoding unit An information processing unit that extracts information and outputs it as second encoded information; and uses the second encoded information to encode the second divided image in units of blocks; A second encoding unit that outputs, a third encoding unit that encodes the third divided image in units of blocks using the second encoding information, and outputs a third stream; Using the second encoded information, the fourth divided image is divided into blocks. In encoding, a fourth encoding unit for outputting the fourth stream, the fourth stream from said first multiplexing integrated circuit, characterized in that it comprises a multiplexing unit for generating an output stream.