JP2011135622A - Image encoding unit - Google Patents
Image encoding unit Download PDFInfo
- Publication number
- JP2011135622A JP2011135622A JP2011085960A JP2011085960A JP2011135622A JP 2011135622 A JP2011135622 A JP 2011135622A JP 2011085960 A JP2011085960 A JP 2011085960A JP 2011085960 A JP2011085960 A JP 2011085960A JP 2011135622 A JP2011135622 A JP 2011135622A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- prediction mode
- prediction
- mode determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
この発明は、画像符号化ユニットに関し、例えばＨ．２６４／ＭＰＥＧ４−ＡＶＣに適合された画像符号化ユニットに有効な技術に関するものである。 The present invention relates to an image coding unit, for example, H. The present invention relates to a technique effective for an image encoding unit adapted to H.264 / MPEG4-AVC.
ＩＴＵ−ＴおよびＭＰＥＧ(Moving Picture Experts Group)で規定されるＨ．２６４／ＭＰＥＧ４−ＡＶＣ（ Advanced Video Coding)(以下、Ｈ．２６４と呼ぶ）では、画像をフレーム内で予測し符号化する方式として、符号化画像ブロックの周辺画素の情報から予測画像データを作成し、符号化ブロックとの差分データを伝送することにより符号化効率を高める方法が規格化されている。フレーム内予測は輝度成分に対して４×４画素単位（サブマクロブロックと呼ぶ）で予測するイントラ（Intra)４×４モードと、１６×１６画素単位（マクロブロックと呼ぶ）で予測するイントラ１６×１６モードがあり、色差成分に対して８×８画素単位で予測するイントラクロマ（chroma）モードがある。さらにプロファイルによっては輝度成分を８×８画素単位（ブロックと呼ぶ）で予測するモードがある。このような画像符号化技術に関しては、特開２００４−２００９９１公報や特開２００５−００５８４４公報がある。 H.264 is defined by ITU-T and MPEG (Moving Picture Experts Group). In H.264 / MPEG4-AVC (Advanced Video Coding) (hereinafter referred to as H.264), predictive image data is created from information on peripheral pixels of an encoded image block as a method for predicting and encoding an image within a frame. A method for increasing the coding efficiency by transmitting differential data with the coding block has been standardized. Intra-frame prediction is performed for 4 × 4 pixel units (referred to as sub-macroblocks) with respect to the luminance component, and 4 × 4 mode is used for prediction in 16 × 16 pixel units (referred to as macroblocks). There is a × 16 mode, and there is an intra chroma (chroma) mode that predicts color difference components in units of 8 × 8 pixels. Furthermore, depending on the profile, there is a mode in which the luminance component is predicted in units of 8 × 8 pixels (called a block). With regard to such an image encoding technique, there are JP-A-2004-200991 and JP-A-2005-005844.
従来のフレーム内予測は図９に示すように符号化対象ブロック１００と参照画像データから対象ブロックの周辺画素データ１０１を読み出し、予測画像データ生成部１０２で各予測モードに従った複数通りの予測画像データを生成し、評価部１０３でその予測画像データと符号化画像データの差分値から最も符号化効率の良い予測モードを決定する。予測画像データの生成をイントラ１６×１６モードの１つであるＤＣモードを例に説明すると、例えば図３に示すようにマクロブロックＸのフレーム内予測を行う場合においてマクロブロックＡ、Ｃともに予測可能な場合、つまりマクロブロックＡ及びＣともに既に符号化が行われ、それを復号化した参照画像データが存在する場合は、かかる直上マクロブロックＣの復号後の下１６画素データと左マクロブロックＡの右側１６画素データとの平均値が予測画像となる。１フレーム画面の左端又は上部のマクロブロックにおいて隣接画素が存在しないので規定値が定められている。
In the conventional intraframe prediction, as shown in FIG. 9, the surrounding
上記のＨ．２６４の場合、フレーム内予測のモードを決定するには、サブマクロブロック単位で９モードのうち最も符号化効率が良いと思われるモードを決定するイントラ４×４モードと、マクロブロック単位で４モードのうち最も符号化効率が良いと思われるモードを決定するイントラ１６×１６モードとを比較し、二つのうちで符号化効率の良い方を輝度のフレーム内予測モードに決定する。また、色差成分も同様にブロック単位で４モードのうち最も符号化効率が良いと思われるモードに決定する。 H. above. In the case of H.264, in order to determine the mode of intra-frame prediction, an intra 4 × 4 mode for determining a mode that seems to have the best coding efficiency among 9 modes in units of sub-macroblocks, and 4 modes in units of macroblocks The intra 16 × 16 mode that determines the mode that is considered to have the best coding efficiency is compared, and the better one of the coding efficiency is determined as the intra-frame prediction mode for luminance. Similarly, the color difference component is also determined to be the mode that is considered to have the highest coding efficiency among the four modes in block units.
上記イントラ４×４モードを決定する場合、図１０のようなマクロブロックに設けられる１６個のサブマクロブロック０〜１５を０〜８の９通りの予測モードに対応して順に処理する必要がある。つまり、サブマクロブロック０において、フレーム内予測においてはモード０からモード８まで９通りの予測画像データを形成し、かつ変換−量子化−逆量子化−逆変換−フレーム内補償といった復号処理を予測画像データ生成部１０２で行い、それらと符号化画像データとの差分を求めて評価部１０３で最適な予測画像データを選択し、上記モード０〜８の選択に用いた情報ｍと上記差分データｄにより符号化信号が形成される。上記符号化画像データは、符号化前のもとの画像データのことをいう。上記最適な予測画像データの符号化信号について復号化されたものが参照画像データとしてメモリに格納される。
When determining the intra 4 × 4 mode, it is necessary to sequentially process the 16
例として図４のようなサブマクロブロックの構成において、サブマクロブロック１を処理する場合は、それに隣接する上記のサブマクロブロック０についての復号処理の結果、すなわち参照画像データが必要なため、サブマクロブロック０のフレーム内予測終了後、サブマクロブロック０について上記９通りの予測画像データの生成とその選択及び復号処理を待たなくてはならず、すぐにサブマクロブロック１のフレーム内予測を開始することができない。この結果、１つのマクロブロックにおける１６個のサブマクロブロックの符号化においては、１６個のサブマクロブロック０〜１５について、それぞれモード０〜８に対応して９通りの予測画像データを形成し、かつ変換−量子化−逆量子化−逆変換−フレーム内補償といった処理を行う必要がある。上記０〜８に対応して９通りの予測画像データは、９個の信号処理回路を備えれば同時に９通りの予測画像データを形成できるので比較的高速な信号処理が可能である。しかし、そのためには９通りの予測画像データを同時に形成するために９通りの信号処理並列に行うことが可能な回路が必要となり、回路規模の増大とそれに伴い消費電力も大きくなってしまう。上記９モードのうちの一部を省略すれば、回路規模等はその分小さくなるが、予測画像データの最適化が犠牲になり受信側での画質が劣化してしまう。
For example, in the sub-macroblock configuration shown in FIG. 4, when
この発明の目的は、簡単な構成で高速化及び高画質化を実現した画像号符号化ユニットを提供することにある。この発明の前記ならびにそのほかの目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 An object of the present invention is to provide an image signal encoding unit that achieves high speed and high image quality with a simple configuration. The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、下記の通りである。すなわち、符号化対象マクロブロックが複数に分割されてなるブロック単位での符号化動作を行う。画像符号化ユニットは、画像メモリと、フレーム内予測を行なうためのフレーム内予測モード決定部と、予測演算部と、変換部とを有する。上記フレーム内予測モード決定部は、上記画像メモリから上記符号化されるべき画像データを取得し、当該ブロックに隣接するブロックの周辺画像データを用いて複数通りからなる第１予測画像データを作成し、かかる複数通りの第１予測画像データから最も適切な１つの第１予測画像データを選択する予測モード決定情報を生成する第１動作を行うものである。上記フレーム内予測モード決定部は、更に、予測モード演算部と、予測モード決定部と、を有する。上記予測モード演算部は、上記周辺画像データを用いて複数通りからなる上記第１予測画像データを生成し、複数通りからなる上記第１予測画像データと上記当該ブロックのデータとの差分を各々演算し、差分情報を上記モード決定部に伝達し、上記差分情報に基づいて、複数通りからなる上記第１予測画像データと上記当該ブロックのデータとの差分が最も小さくなる予測モードを選択して、予測モード決定情報を生成する。上記予測演算部は、上記予測モード決定情報に従って上記周辺画像データを用いて第２予測画像データを作成する第２動作を行う。上記変換部は、上記第２予測画像データとそれに対応した符号化されるべき画像データとの差分を符号化処理する第３動作を行う。 The outline of a typical invention among the inventions disclosed in the present application will be briefly described as follows. That is, an encoding operation is performed in units of blocks obtained by dividing the encoding target macroblock into a plurality of blocks. The image encoding unit includes an image memory, an intra-frame prediction mode determination unit for performing intra-frame prediction, a prediction calculation unit, and a conversion unit. The intra-frame prediction mode determination unit acquires the image data to be encoded from the image memory, and creates a plurality of first prediction image data using peripheral image data of a block adjacent to the block. The first operation of generating prediction mode determination information for selecting the most appropriate first predicted image data from the plurality of first predicted image data is performed. The intra-frame prediction mode determination unit further includes a prediction mode calculation unit and a prediction mode determination unit. The prediction mode calculation unit generates a plurality of first prediction image data using the peripheral image data, and calculates a difference between the plurality of first prediction image data and the data of the block. Then, the difference information is transmitted to the mode determination unit, and based on the difference information, a prediction mode in which the difference between the first prediction image data consisting of a plurality of types and the data of the block is the smallest is selected, Prediction mode determination information is generated. The said prediction calculating part performs 2nd operation | movement which produces 2nd prediction image data using the said surrounding image data according to the said prediction mode determination information. The conversion unit performs a third operation of encoding a difference between the second predicted image data and the corresponding image data to be encoded.
符号化画像データを用いて予測モード決定情報を決定するので簡単な構成で高速化及び高画質化を実現した画像号符号化ユニットを得ることができる。 Since the prediction mode determination information is determined using the encoded image data, it is possible to obtain an image signal encoding unit that achieves high speed and high image quality with a simple configuration.
この発明をより詳細に説明するために、添付の図面に従ってこれを説明する。In order to explain the present invention in more detail, it will be described with reference to the accompanying drawings.
図１には、この発明に係る画像符号化方法を説明するための構成図が示されている。同図は、前記Ｈ．２６４に適合したイントラ４×４モードでの符号化に向けられている。同図の符号化画像は、画像メモリに対応するものであり、符号化画像データは白で表し、前記参照画像データはハッチングを付して表している。上記ハッチングを付した参照画像データの部分には、上記白で表すべき符号化画像データが隠されていると理解されたい。つまり、上記ハッチングを付した部分には、上記参照画像データと符号化画像データの両方が存在する。そして、符号化対象マクロブロックは黒で表している。 FIG. 1 is a block diagram for explaining an image coding method according to the present invention. FIG. H.264 compatible with intra 4 × 4 mode encoding. The encoded image shown in the figure corresponds to the image memory, the encoded image data is represented in white, and the reference image data is represented by hatching. It should be understood that the coded image data to be expressed in white is hidden in the hatched reference image data portion. That is, both the reference image data and the encoded image data exist in the hatched portion. The encoding target macroblock is shown in black.
この実施例では、イントラ４×４モードでの符号化において、先行的に参照画像データではなく上記本来なら白で示すべき符号化画像データ及び符号化対象マクロブロックを示す黒の上記符号化画像データについて仮予測周辺データ読み出し部で読み出しを行う。読み出された仮予測データを量子化値を参照してデータ最適化処理部で処理し、仮予測画像データ生成部で仮の予測画像データを生成する。つまり、前記９通りに対応した仮の予測画像データを作成し、これと上記符号化マクロブロック読み出し部によりえられた符号化データの差分を求めて評価部で最適な仮の予測画像データを選択する。このような評価結果から９通りのモード０〜８の仮の予測データの選択に用いたモード情報が抽出される。そして、予測画像生成部において、上記抽出されたモード情報と上記符号化画像データではなく参照画像データを用いてイントラ４×４モードでの本来の予測画像データ生成が行われて、上記符号化データの差分データｄと上記抽出されたモード情報ｍが符号化信号として出力される。
In this embodiment, in the encoding in the intra 4 × 4 mode, not the reference image data but the encoded image data that should be originally shown in white and the encoded image data in black that indicates the macroblock to be encoded. Is read by the temporary prediction peripheral data reading unit. The read temporary prediction data is processed by the data optimization processing unit with reference to the quantization value, and the temporary predicted image data generation unit generates temporary predicted image data. That is, provisional predicted image data corresponding to the above nine patterns is created, and the difference between this and the encoded data obtained by the encoded macroblock reading unit is obtained, and the optimum temporary predicted image data is selected by the evaluation unit To do. From such evaluation results, mode information used for selection of temporary prediction data in nine
図２には、図１に示した画像符号化方法を説明するための構成図が示されている。この実施例では、上記イントラ４×４モードでの符号化のためのデータ処理が２つに分けて行われる。つまり、最適な予測画像データを選択するためモード選択動作と、予測画像データ及び参照画像データを形成するための動作とが時間的に分離して行うことが可能なようにされる。上記２つの処理の１つは、モード決定処理であり、他の１つは予測画像データ及び参照データの形成する処理である。
FIG. 2 is a block diagram for explaining the image encoding method shown in FIG. In this embodiment, data processing for encoding in the
上記モード決定処理は、１つのマクロブロック（ＭＢ）について、前記９モードに対応してサブＭＢ演算０−０〜０−１５、サブＭＢ演算１−０〜１−１５、……サブＭＢ演算８−０〜８−１５のように、９×１６回のサブＭＢ演算からなる。ただし、個々のサブＭＢ演算は、フレーム内予測モードのみとなる。このフレーム内予測モードは、前記図１で説明したように符号化画像データを仮参照画像データとして用いるものである。フレーム内予測モードでは、符号化画像データを用いて９通りのモード０〜８に対応した仮の予測画像データを作成し、その中から最適な予測画像データを選択する過程が生成されるモード情報を抽出するに止まる。それ故、上記のようにモード決定処理は、９×１６回ものサブＭＢ演算を行うにもかかわらず、それに要する時間は比較的短くてよく、隣接するサブマクロブロックの演算処理の終了を待つ必要がなく、高速に処理することができる。
The mode determination process is performed for one macroblock (MB) corresponding to the nine modes, sub MB operations 0-0 to 0-15, sub MB operations 1-0 to 1-15,... It consists of 9 × 16 sub-MB operations such as −0 to 8-15. However, each sub MB operation is only in the intra-frame prediction mode. In this intra-frame prediction mode, encoded image data is used as temporary reference image data as described with reference to FIG. In the intra-frame prediction mode, temporary prediction image data corresponding to nine
一方、予測画像データ及び参照データの形成する処理は、各サブＭＢ演算においてフレーム内予測演算−変換−量子化−逆量子化−逆変換−フレーム内補償というようにデータ処理量は大きいものであるが、上記モード決定処理により抽出されたモード情報を利用するものであるので、前記図１０のように９通りのモードのそれぞれについて行う必要がないから、１つのマクロブロック（ＭＢ）につい１６回のサブＭＢ演算０〜１５で済む。そして、サブＭＢ演算０〜１５では、予測画像データの生成には真の参照画像データが用いられるが、例えばサブＭＢ演算０では、それに隣接する他のマクロブロックの参照画像データが生成されているので直ちに実行でき、サブＭＢ演算１では、上記サブＭＢ演算０で形成された参照画像データにより直ちに実行できる。以下、サブＭＢ演算１５まで同様に実行できる。
On the other hand, the process of forming predicted image data and reference data requires a large amount of data processing such as intra-frame prediction calculation-transform-quantization-inverse quantization-inverse transform-intra-frame compensation in each sub MB calculation. However, since the mode information extracted by the mode determination process is used, there is no need to perform each of the nine modes as shown in FIG.
この実施例では、上記のようにモード決定動作と、予測画像データ及び参照画像データを形成するための動作とが時間的に分離して行うことが可能であることから、つまりは、上記モード決定動作が参照画像データを必要としないことから、マクロブロックＮについて、上記予測画像データ及び参照画像データの生成動作を行うときには、次に符号化すべきマクロブロックＮ＋１のモード決定処理を行うようにする。このようなパイプライン動作を採用した場合、上記マクロブロックＮについて、上記予測画像データ及び参照画像データの生成動作を行うときに、その前のサイクルで既に前記サブＭＢ演算０〜１５でのフレーム内予測演算に必要なモード情報が抽出されているので、直ちにこれらのサブＭＢ演算０〜１５を順次に実行することができる。このような本願発明の係る特徴は、前記図１と図９及び図２と図１０との比較から容易に理解されるであろう。
In this embodiment, since the mode determination operation and the operation for forming the predicted image data and the reference image data can be performed separately in time as described above, that is, the mode determination operation is performed. Since the operation does not require reference image data, when the predicted image data and the reference image data are generated for the macroblock N, the mode determination process for the macroblock N + 1 to be encoded next is performed. When such a pipeline operation is employed, when the prediction image data and the reference image data are generated for the macroblock N, the intra-frame operation in the
図３には、予測画像データの生成をイントラ１６×１６モードの１つであるＤＣモードの説明図である。マクロブロックＸのフレーム内予測を行う場合でマクロブロックＡ、Ｃともに予測可能な場合は、直上マクロブロックＣの復号後の下１６画素データと左マクロブロックＡの右側１６画素データとの平均値が予測画像となる。予測画像を作成する為の周辺画素データには参照画像データが用いられる。このようなイントラ１６×１６モードでは、当該マクロブロックＸの符号化においては、それの予測画像データを作成するための参照画像データは常に作成されているので、本願発明を適用する必要はない。 FIG. 3 is an explanatory diagram of a DC mode, which is one of the intra 16 × 16 modes, for generating predicted image data. When intra-frame prediction of the macroblock X is performed and both the macroblocks A and C are predictable, the average value of the lower 16-pixel data after decoding the immediately above macroblock C and the right-side 16 pixel data of the left macroblock A is It becomes a prediction image. Reference image data is used as peripheral pixel data for creating a predicted image. In such an intra 16 × 16 mode, in encoding of the macroblock X, the reference image data for generating the predicted image data is always generated, and therefore it is not necessary to apply the present invention.
前記発明が解決しようとしている課題を説明するために用いた図４には、この発明に係る画像符号化におけるサブマクロブロックの構成図でもある。同図には、１６×１６画素からなるマクロブロックの中に４×４画素からなるサブマクロブロックが１６個に分割される。そして、同図のサブマクロブロック０〜１５の順に前記図２に示したサブＭＢ演算０〜１５を行うことにより、予測画像データに必要な真参照画像データが常に先行的に存在するものとなる。
FIG. 4 used for explaining the problem to be solved by the present invention is also a configuration diagram of sub-macroblocks in image coding according to the present invention. In the figure, a sub-macroblock consisting of 4 × 4 pixels is divided into 16 macroblocks consisting of 16 × 16 pixels. Then, by performing the
図５には、この発明に係る画像符号化ユニットの一実施例のブロック図が示されている。本実施例では、フレーム内予測モード決定部４０２とフレーム内予測演算部４０３を別パイプラインステージ０と１で構成している。ここで、４００は動き予測部、４０１は画像メモリ部、４０４は変換処理部、４０５は量子化部、４０６は逆量子化部、４０７は逆変換処理部、４０８はフレーム内予測逆演算部、４０９は動き補償部、４１０はパイプラインバッファ、４１１は周辺データ格納用バッファである。
FIG. 5 shows a block diagram of an embodiment of an image encoding unit according to the present invention. In this embodiment, the intra-frame prediction
上記フレーム内予測演算部４０３は、フレーム内予測モード決定部で既に抽出されているモード情報を用いて、パイプラインバッファ４１０から参照画像データを取得して予測画像データを形成する。以下、前記図２に示したように変換部４０４で変換動作、量子化部４０５で量子化動作、逆量子化部４０６で逆量子化、逆変換部４０７で逆変換及びフレーム内予測逆演算部で参照画像データを生成してパイプラインバッファ４１０に記憶させるという動作を行う。パイプラインステージ０において、フレーム内予測モード決定部４０２は、画像メモリ４０１に記憶されている当該マクロブロック及びその周辺画像データを用いて、４×４のサブマクロブロック単位でのモード情報を抽出する。
The intra-frame
動き予測部４００や動き補償部４０９は、フレーム間予測（インター予測）に用いられる。このフレーム間予測は、本願発明とは直接関係ないが、インター予測の基本となる動き予測と動き補償の概念は次の通りである。動き予測とは、符号化済みのピクチャ（参照ピクチャ）から対象マクロブロック内の内容と似通った部分を検出するものである。現ピクチャの特定の輝度成分と空間的に同位置を含んだ参照ピクチャの一定の探索領域を設定し、この探索範囲内を１画素ずつ縦横に移動しながら探索して、評価値が最小となる位置をそのブロックの予測位置する。評価値の算出には、ブロック内の予測誤差信号の絶対値和、又は二乗誤差和に動きベクトルの符号量を紙した関数が用いられる。動きベクトルとは、元のブロックから探索位置までの移動量をベクトルで示したものである。動き補償は、動きベクトルと参照ピクチャから予測ブロックを生成するものである。
The
この実施例では、上記のようなフレーム間予測に用いられる画像メモリ４０１に、上記符号化画像データ（現ピクチャ）や参照ピクチャが記憶されるものであるので、それを上記フレーム内予測にも利用するものである。つまり、フレーム内予測モード決定部を追加し、フレーム内予測演算部では、１つのサブマクロブロックに対応した演算部を用いるという簡単な構成で、高速化及び高画質化を実現した画像号符号化ユニット及び画像符号化方法を実現することができるものとなる。
In this embodiment, since the encoded image data (current picture) and the reference picture are stored in the
図６には、前記図５のフレーム内予測モード決定部４０２の一実施例の詳細なブロック図が示されている。フレーム内予測決定部４０２内では４×４画素単位で処理を行う。仮の予測画像データの作成に必要な周辺画素データおよび４×４画素の符号化画像データは動き予測部４００と共有している画像メモリ４０１から取得する。取得した周辺画像データは符号化画像データであり、画像データの下位ビットをどれだけ丸めるか（切り捨てるか）を決めて画像データの粗さを決めるための量子化係数が大きくなるにつれて、参照画像データとの歪が大きくなる傾向がある。そのため、周辺画像データ５２０と量子化係数５２６をデータ最適化部５１０に送り、量子化係数の値によって周辺画像データを最適化し、データ線５２１から予測モード演算部５１１へ送られる。周辺画像データの最適化は例えば量子化係数の値により下位ビットを丸める量子化などが行われる。
FIG. 6 shows a detailed block diagram of an embodiment of the intra-frame prediction
予測モード演算部５１１では上記最適化後の周辺画像データ５２１と符号化対象ブロックの符号化画像データ５２２から各モードに従って仮の予測画像データを作成する。作成した仮予測画像データを使い、サブマクロブロック毎に４×４画素の符号化画像との差分絶対値和（ＳＡＤ）を算出し、イントラ４×４、イントラ１６×１６、イントラクロマ（intra-chroma）それぞれのＳＡＤを１マクロブロック分加算した値をデータ線５２３、５２４、５２５から予測モード決定部５１２へ送る。
The prediction
イントラ４×４モードとイントラ１６×１６モードの選択は次段パイプラインの量子化部に大きく依存するため、量子化係数５２６および外部から補正を行うための外部オフセット値５２７からオフセット値を決定し、イントラ４×４モードでの差分絶対値和５２３に作成したオフセット値を加算したものとイントラ１６×１６の差分絶対値和５２４を比較し、１６個のイントラ４×４モードまたは１個のイントラ１６×１６モードを決定する。又、上記オフセット値は周辺画像の最適化のためにも用いられる。また、色差の予測モードであるイントラクロマモードはイントラクロマのＳＡＤ値５２５の値が最も小さいものをイントラクロマモードに決定する。決定された輝度予測モードおよび色差予測モードはそれぞれ信号線５２８および５２９によってフレーム内予測演算部４０３へ送られる。外部オフセット値５２７を外部から設定可能にすることにより、１６個のイントラ４×４モードまたは１個のイントラ１６×１６モードの決定及び周辺画像の最適化を柔軟に行うことができ、それによって符号化画像の画質を高めることができる。
Since the selection of the
図７には、前記図５のフレーム内予測演算部４０３の一実施例の詳細ブロック図が示されている。フレーム内予測演算部４０３ではフレーム内予測モード決定部４０２にて決定した輝度成分の予測モード５２８と色差成分の予測モード５２９に従って、周辺データ格納用バッファ４１１からの周辺データを元に予測画像作成部６００にて真の予測画像データを作成する。パイプラインバッファである４１０からの符号化画像データと予測画像生成部６００で作成した真の予測画像データ６１０との差分を差分演算部６０１で作成することによりフレーム内予測符号化を行う。作成した予測符号化データはデータ線６１１にて変換処理部４０４へ送られる。
FIG. 7 shows a detailed block diagram of an embodiment of the intra-frame
前記図５において、上記変換処理部４０４では受け取ったデータに対して変換処理を行い、量子化部４０５へ送る。量子化部は受け取ったデータに量子化処理を施し、逆量子化部４０６へ送るとともに、パイプラインバッファ４１２へデータを格納する。逆量子化部４０６は受け取ったデータに逆量子化処理を施し、逆変換処理部４０７へデータを送る。逆変換処理部４０７は逆変換処理を施し、フレーム内予測逆演算部４０８へデータを転送する。フレーム内予測逆演算部４０８は逆変換処理を行い処理後のデータをパイプラインバッファ４１０に格納するとともに、周辺データ格納バッファ４１１に周辺データを格納してパイプライン動作が終了する。
In FIG. 5, the
図８には、この発明に係る画像符号化ユニットを備えたシステムＬＳＩの一実施例のブロック図が示されている。この実施例のシステムＬＳＩは、特に制限されないが、携帯電話機等に向けらており、携帯電話機のベースバンド処理に向けられた中央処理装置ＣＰＵ、バスコントローラ、バスブリッジ、及び画像符号化ユニットとＳＲＡＭ（スタティック型ランダム・アクセス・メモリ）が設けられている。このＳＲＡＭは、前記パイプラインバッファ、周辺データ格納バッファ及び画像メモリを構成する。この他、ＤＳＰ（デジタル・シグナル・プロセッサ）及びＡＳＩＣ（論理回路）や不揮発性メモリが必要に応じて搭載される。ＳＤＲＡＭは、シンクロナス・ダイナミック型ＲＡＭであり、大容量の外部画像メモリ等として用いられる。 FIG. 8 is a block diagram showing an embodiment of a system LSI provided with an image encoding unit according to the present invention. The system LSI of this embodiment is not particularly limited, but is directed to a mobile phone and the like. A central processing unit CPU, a bus controller, a bus bridge, an image encoding unit, and an SRAM that are directed to baseband processing of the mobile phone (Static random access memory) is provided. The SRAM constitutes the pipeline buffer, the peripheral data storage buffer, and the image memory. In addition, a DSP (digital signal processor), an ASIC (logic circuit), and a nonvolatile memory are mounted as necessary. The SDRAM is a synchronous dynamic RAM and is used as a large-capacity external image memory or the like.
画像符号化ユニットは、前記図５の実施例に対応しており、可変長符号化部、可変長復号化部が新たに付加されている。つまり、ＡＶＣにおける符号化方法においては、可変長符号化を採用する場合に上記可変長符号化部、可変長復号化部が必要とされる。この他に算術符号化がある。 The image encoding unit corresponds to the embodiment of FIG. 5, and a variable length encoding unit and a variable length decoding unit are newly added. That is, in the encoding method in AVC, the variable length encoding unit and the variable length decoding unit are required when variable length encoding is employed. There is also arithmetic coding.
以上本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えばパイプラインにより上記モード決定処理と予測画像データ及び参照データの形成する処理を行う必要はない。つまり、予測画像データ及び参照データの形成する処理を行うサブＭＢ演算時に、上記９通りのモード情報の１つが上記上記モード決定処理により行われていればよい。つまり、前記図２において、サブマクロブロック１に対応した上記予測画像データ及び参照データの形成する処理を行うサブＭＢ演算１の前に、１つ前のサブマクロブロック０に対応した上記モード決定処理がサブＭＢ演算００〜８０の９回のフレーム内予測モードが先行的に終了していればよい。
Although the invention made by the inventor has been specifically described based on the above embodiment, the present invention is not limited to the above embodiment, and various modifications can be made without departing from the scope of the invention. For example, it is not necessary to perform the mode determination process and the process of forming predicted image data and reference data by a pipeline. That is, it is only necessary that one of the nine types of mode information is performed by the mode determination process at the time of sub-MB calculation in which the process of forming predicted image data and reference data is performed. That is, in FIG. 2, the mode determination process corresponding to the
この発明は、例えばＨ．２６４／ＭＰＥＧ４−ＡＶＣ等に適合された画像符号化処理ユニットに広く利用することができる。This invention is disclosed in, for example, H.H. It can be widely used for an image encoding processing unit adapted to H.264 / MPEG4-AVC or the like.
１００…符号化対象ブロック、１０１…周辺画素データ、１０２…予測画像データ生成部、１０３…評価部、４００…動き予測部、４０１…画像メモリ、４０２…フレーム内予測モード決定部、４０３…フレーム内予測演算部、４０４…変換処理部、４０５…量子化部、４０６…逆量子化部、４０７…逆変換処理部、４０８…フレーム内予測逆演算部、４０９…動き補償部、４１０、４１２…パイプラインバッファ、４１１…周辺データ格納バッファ、５１０…データ最適化部、５１１…予測モード演算部、５１２…予測モード決定部、５２０〜５２５…データ線および信号線、６００…予測画像作成部、６０１…差分演算部、６１０、６１１…データ線
DESCRIPTION OF
Claims (16)
画像メモリと、
フレーム内予測を行なうためのフレーム内予測モード決定部と、
予測演算部と、
変換部と、を有し、
上記フレーム内予測モード決定部は、
上記画像メモリから上記符号化されるべき画像データを取得し、当該ブロックに隣接するブロックの周辺画像データを用いて複数通りからなる第１予測画像データを作成し、かかる複数通りの第１予測画像データから最も適切な１つの第１予測画像データを選択する予測モード決定情報を生成する第１動作を行うものであり、
上記フレーム内予測モード決定部は、更に、
予測モード演算部と、
予測モード決定部と、を有し、
上記予測モード演算部は、上記周辺画像データを用いて複数通りからなる上記第１予測画像データを生成し、複数通りからなる上記第１予測画像データと上記当該ブロックのデータとの差分を各々演算し、差分情報を上記モード決定部に伝達し、
上記予測モード決定部は、上記差分情報に基づいて、複数通りからなる上記第１予測画像データと上記当該ブロックのデータとの差分が最も小さくなる予測モードを選択して、予測モード決定情報を生成し、
上記予測演算部は、上記予測モード決定情報に従って上記周辺画像データを用いて第２予測画像データを作成する第２動作を行い、
上記変換部は、上記第２予測画像データとそれに対応した符号化されるべき画像データとの差分を符号化処理する第３動作を行うことを特徴とする画像符号化ユニット。 An image encoding unit capable of performing an encoding operation in units of blocks formed by dividing an encoding target macroblock into a plurality of blocks,
And images memory,
An intra-frame prediction mode determination unit for performing intra-frame prediction;
A prediction calculation unit;
A conversion unit,
Above Symbol intra-frame prediction mode determining unit,
You acquire image data to be the coded from the image memory by using surrounding image data of the block adjacent to the block to create a first predictive image data composed of a plurality of ways, first prediction image of the plural Street the first operation of generating a prediction mode decision information for selecting the most appropriate one of the first predictive image data from the data a row Umono,
The intra-frame prediction mode determination unit further includes:
A prediction mode calculation unit;
A prediction mode determination unit,
The prediction mode calculation unit generates a plurality of first prediction image data using the peripheral image data, and calculates a difference between the plurality of first prediction image data and the data of the block. And transmitting the difference information to the mode determining unit,
The prediction mode determination unit generates a prediction mode determination information by selecting a prediction mode in which a difference between the first prediction image data including a plurality of types and the data of the block is the smallest based on the difference information. And
The prediction calculation unit performs a second operation of creating second predicted image data using the peripheral image data according to the prediction mode determination information,
The said encoding part performs the 3rd operation | movement which carries out the encoding process of the difference of the said 2nd prediction image data and the image data which should be encoded corresponding to it, The image encoding unit characterized by the above-mentioned.
上記予測モード決定部は、外部からのオフセット情報を上記差分情報に加算することにより上記予測モードを選択することを特徴とする画像符号化ユニット。 In claim 1,
The image coding unit , wherein the prediction mode determination unit selects the prediction mode by adding external offset information to the difference information .
上記予測演算部により演算される上記当該ブロックの第２予測画像データを形成するときに、上記予測モード決定部は、上記予測演算部が演算すべき次のブロックに対応した予測モード決定情報を生成するものであることを特徴とする画像符号化ユニット。 In claim 1 ,
When forming a second predictive image data of the corresponding block is computed by the prediction computation unit, the prediction mode determining unit generates the prediction mode decision information the prediction calculation section corresponding to the next block to be computed An image encoding unit characterized by comprising:
上記マクロブロックは、１６画素×１６画素により構成され、
上記ブロックは、４画素×４画素から構成されるサブマクロブロックであることを特徴とする画像符号化ユニット。 In claim 1,
The macroblock is composed of 16 pixels × 16 pixels,
The block is a sub-macroblock composed of 4 pixels × 4 pixels.
上記予測回路及び上記予測モード決定部は、パイプライン動作における第１ステージを構成し、上記予測モード決定部を除いた上記変換部は、パイプライン動作における第２ステージを構成するものであることを特徴とする画像符号化ユニット。 In claim 1,
The prediction circuit and the prediction mode determination unit constitute a first stage in the pipeline operation, and the conversion unit excluding the prediction mode determination unit constitutes a second stage in the pipeline operation. Characteristic image encoding unit.
上記画像処理ユニットは、上記画像メモリ及び中央処理装置を含んだシステムＬＳＩに搭載されるものであることを特徴とする画像符号化ユニット。 In claim 1,
The image coding unit, wherein the image processing unit is mounted on a system LSI including the image memory and a central processing unit.
上記第１、第２および第３動作は１フレームの画像情報を用いて上記符号化処理を行うためのものであることを特徴とする画像符号化ユニット。 In claim 1,
The image encoding unit according to claim 1, wherein the first, second and third operations are for performing the encoding process using image information of one frame.
上記予測モード決定部は上記量子化係数値と外部からの補正値とに基づいて従ってデータ最適化処理が行われて、最も適切な１つの第１予測画像データを選択することを特徴とする画像符号化ユニット。 In claim 1 ,
The prediction mode determination unit selects one of the most appropriate first prediction image data by performing data optimization processing based on the quantization coefficient value and an external correction value. Encoding unit.
画像メモリと、Image memory,
フレーム内予測を行なうためのフレーム内予測モード決定部と、An intra-frame prediction mode determination unit for performing intra-frame prediction;
予測演算部と、A prediction calculation unit;
変換部と、を有し、A conversion unit,
上記フレーム内予測モード決定部は、The intra-frame prediction mode determination unit
上記画像メモリから上記符号化されるべき画像データを取得し、当該ブロックに隣接するブロックの周辺画像データを用いて複数通りからなる第１予測画像データを作成し、かかる複数通りの第１予測画像データから最も適切な１つの第１予測画像データを選択する予測モード決定情報を生成する第１動作を行うものであり、Obtaining the image data to be encoded from the image memory, creating a plurality of first predicted image data using peripheral image data of a block adjacent to the block, and the plurality of first predicted images. Performing a first operation of generating prediction mode determination information for selecting the most appropriate one first prediction image data from the data;
上記フレーム内予測モード決定部は、更に、The intra-frame prediction mode determination unit further includes:
データ最適化部と、A data optimization unit;
予測モード演算部と、A prediction mode calculation unit;
予測モード決定部と、を有し、A prediction mode determination unit,
上記データ最適化部は、量子化係数に基づいたビット数だけ、上記周辺画像データの下位ビットの切捨てを行い最適化周辺画像データの生成を行い、The data optimization unit generates optimized peripheral image data by truncating the lower bits of the peripheral image data by the number of bits based on the quantization coefficient,
上記予測モード演算部は、上記最適化周辺画像データを用いて複数通りからなる上記第１予測画像データを生成し、複数通りからなる上記第１予測画像データと上記当該ブロックのデータとの差分を各々演算し、差分情報を上記モード決定部に伝達し、The prediction mode calculation unit generates a plurality of first prediction image data using the optimized peripheral image data, and calculates a difference between the plurality of first prediction image data and the data of the block. Calculating each, and transmitting the difference information to the mode determining unit,
上記予測モード決定部は、上記差分情報に基づいて、複数通りからなる上記第１予測画像データと上記当該ブロックのデータとの差分が最も小さくなる予測モードを選択して、予測モード決定情報を生成し、The prediction mode determination unit generates a prediction mode determination information by selecting a prediction mode in which a difference between the first prediction image data including a plurality of types and the data of the block is the smallest based on the difference information. And
上記予測演算部は、上記予測モード決定情報に従って上記周辺画像データを用いて第２予測画像データを作成する第２動作を行い、The prediction calculation unit performs a second operation of creating second predicted image data using the peripheral image data according to the prediction mode determination information,
上記変換部は、上記第２予測画像データとそれに対応した符号化されるべき画像データとの差分を符号化処理する第３動作を行うことを特徴とする画像符号化ユニット。The said encoding part performs the 3rd operation | movement which carries out the encoding process of the difference of the said 2nd prediction image data and the image data which should be encoded corresponding to it, The image encoding unit characterized by the above-mentioned.
上記予測モード決定部は、外部からのオフセット情報を上記差分情報に加算することにより上記予測モードを選択することを特徴とする画像符号化ユニット。The image coding unit, wherein the prediction mode determination unit selects the prediction mode by adding external offset information to the difference information.
上記予測演算部により演算される上記当該ブロックの第２予測画像データを形成するときに、上記予測モード決定部は、上記予測演算部が演算すべき次のブロックに対応した予測モード決定情報を生成するものであることを特徴とする画像符号化ユニット。 In claim 9,
When forming the second predicted image data of the block calculated by the prediction calculation unit, the prediction mode determination unit generates prediction mode determination information corresponding to the next block to be calculated by the prediction calculation unit An image encoding unit characterized by comprising:
上記マクロブロックは、１６画素×１６画素により構成され、The macroblock is composed of 16 pixels × 16 pixels,
上記ブロックは、４画素×４画素から構成されるサブマクロブロックであることを特徴とする画像符号化ユニット。The block is a sub-macroblock composed of 4 pixels × 4 pixels.
上記予測回路及び上記予測モード決定部は、パイプライン動作における第１ステージを構成し、上記予測モード決定部を除いた上記変換部は、パイプライン動作における第２ステージを構成するものであることを特徴とする画像符号化ユニット。The prediction circuit and the prediction mode determination unit constitute a first stage in the pipeline operation, and the conversion unit excluding the prediction mode determination unit constitutes a second stage in the pipeline operation. Characteristic image encoding unit.
上記画像処理ユニットは、上記画像メモリ及び中央処理装置を含んだシステムＬＳＩに搭載されるものであることを特徴とする画像符号化ユニット。The image coding unit, wherein the image processing unit is mounted on a system LSI including the image memory and a central processing unit.
上記第１、第２および第３動作は１フレームの画像情報を用いて上記符号化処理を行うためのものであることを特徴とする画像符号化ユニット。The image encoding unit according to claim 1, wherein the first, second and third operations are for performing the encoding process using image information of one frame.
上記予測モード決定部は上記量子化係数値と外部からの補正値とに基づいて従ってデータ最適化処理が行われて、最も適切な１つの第１予測画像データを選択することを特徴とする画像符号化ユニット。The prediction mode determination unit selects one of the most appropriate first prediction image data by performing data optimization processing based on the quantization coefficient value and an external correction value. Encoding unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011085960A JP2011135622A (en) | 2011-04-08 | 2011-04-08 | Image encoding unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011085960A JP2011135622A (en) | 2011-04-08 | 2011-04-08 | Image encoding unit |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005125558A Division JP2006304102A (en) | 2005-04-22 | 2005-04-22 | Image coding unit and image coding method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011135622A true JP2011135622A (en) | 2011-07-07 |
Family
ID=44347785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011085960A Pending JP2011135622A (en) | 2011-04-08 | 2011-04-08 | Image encoding unit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011135622A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003299102A (en) * | 2002-03-18 | 2003-10-17 | Lg Electronics Inc | B picture mode determining method in video encoding system and apparatus thereof |
-
2011
- 2011-04-08 JP JP2011085960A patent/JP2011135622A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003299102A (en) * | 2002-03-18 | 2003-10-17 | Lg Electronics Inc | B picture mode determining method in video encoding system and apparatus thereof |
Non-Patent Citations (1)
| Title |
|---|
| JPN6010020973; Ｔｕ-Ｃｈｉｈ Ｗａｎｇ（外３名）: 'ＰＥＲＦＯＲＭＡＮＣＥ ＡＮＡＬＹＳＩＳ ＯＦ ＨＡＲＤＷＡＲＥ ＯＲＩＥＮＴＥＤ ＡＬＧＯＲＩＴＨＭ ＭＯＤＩＦＩＣＡＴＩＯＮＳ ＩＮ Ｈ．２６４' ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ ２００３） Ｖｏｌ．２, 20030406, ｐ．４９３-４９６, ＩＥＥＥ * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2006304102A (en) | Image coding unit and image coding method | |
| US11843768B2 (en) | Method and apparatus for setting reference picture index of temporal merging candidate | |
| TWI735172B (en) | Mutual excluding settings for multiple tools | |
| US11902563B2 (en) | Encoding and decoding method and device, encoder side apparatus and decoder side apparatus | |
| JP2022507683A (en) | Decoder side motion vector improvement | |
| JP5669278B2 (en) | Method for coding a block of an image sequence and method for reconstructing this block | |
| CN111385569A (en) | Coding and decoding method and equipment thereof | |
| JP2014116950A (en) | Moving image decoding device and moving image decoding method | |
| US20190230379A1 (en) | Method and device for intra-prediction | |
| JP3880985B2 (en) | Motion vector detection apparatus and motion vector detection method | |
| JPWO2012086829A1 (en) | Motion estimation device, motion estimation method, motion estimation program, and moving image encoding device | |
| JP2009049519A (en) | Prediction motion vector generating device of motion picture coding device | |
| JP2008271127A (en) | Coding apparatus | |
| JP4257789B2 (en) | Video encoding device | |
| WO2012117900A1 (en) | Encoding device | |
| JP4802928B2 (en) | Image data processing device | |
| JP2011135622A (en) | Image encoding unit | |
| TWI493942B (en) | Moving picture coding method, moving picture coding apparatus, and moving picture coding program | |
| KR101368732B1 (en) | Apparatus for estimating motion for h.264/avc encoder with high performance and method thereof | |
| WO2023044916A1 (en) | Intra prediction method, encoder, decoder, and encoding and decoding system | |
| JP2011151655A (en) | Apparatus, method and program for encoding of moving picture | |
| JP6480790B2 (en) | Image determination apparatus, encoding apparatus, and program | |
| JP2011015260A (en) | Image decoding apparatus and method therefor | |
| CN117981299A (en) | Method for intra prediction, encoder, decoder and encoding/decoding system | |
| JP2007221420A (en) | Encoder and image processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121003 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121003 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130220 |