JP2020028022A - Image encoding apparatus, control method therefor, and program - Google Patents
Image encoding apparatus, control method therefor, and program Download PDFInfo
- Publication number
- JP2020028022A JP2020028022A JP2018151964A JP2018151964A JP2020028022A JP 2020028022 A JP2020028022 A JP 2020028022A JP 2018151964 A JP2018151964 A JP 2018151964A JP 2018151964 A JP2018151964 A JP 2018151964A JP 2020028022 A JP2020028022 A JP 2020028022A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- block
- component
- interest
- code amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は画像符号化技術、特にＤＰＣＭを用いた画像符号化技術に関するものである。 The present invention relates to an image coding technique, and more particularly to an image coding technique using DPCM.
近年、デジタルビデオなどの撮像装置は高解像度化、高フレームレート化に伴って、システムで扱う画像データ量が著しく増加しており、画像メモリやバスインターフェース回路の高速化が必要となり、装置の高コスト化を招いている。そこで、画像メモリやバスインターフェースの前後で画像の圧縮符号化を行って、画像データ量を削減する事で回路の高速化を抑制する技術がある。この用途の画像符号化方式は回路規模が小型で、符号化遅延の小さい事が望まれる。そのため、従来のＪＰＥＧやＭＰＥＧ２に代表されるＤＣＴベースの符号化方式は不向きである。そこでＤＰＣＭベースの予測符号化方式での提案がされている（例えば特許文献１）。 In recent years, with the increase in resolution and frame rate of imaging devices for digital video and the like, the amount of image data handled by the system has increased remarkably, and it has become necessary to increase the speed of image memories and bus interface circuits. It is costly. Therefore, there is a technique for compressing and encoding an image before and after an image memory and a bus interface to reduce the amount of image data, thereby suppressing an increase in circuit speed. It is desired that the image coding system for this purpose has a small circuit scale and a small coding delay. Therefore, the conventional DCT-based coding method represented by JPEG or MPEG2 is not suitable. Therefore, a proposal has been made for a DPCM-based predictive coding method (for example, Patent Document 1).
特許文献１に記載の符号化方法によれば、輝度信号と色差信号で表される画像のブロックの符号化において、輝度信号の複雑度が高く、色差信号が平坦なブロックの場合、そのブロックの輝度信号の画質劣化はあまり目立たないものの、色差信号の画質劣化が目立つというという問題が存在する。
According to the encoding method described in
本発明は上記課題に鑑みなされたものであり、輝度信号の複雑度が高く、色差信号が低いような画像であってもこれまでよりも画質劣化を抑制する符号化データを生成する技術を提供しようとするものである。 The present invention has been made in view of the above problems, and provides a technique for generating encoded data that suppresses image quality deterioration even in an image having a high luminance signal complexity and a low color difference signal. What you want to do.
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
輝度成分と色差成分で構成される画像データから、予め設定されたサイズのブロックを単位に入力し、当該ブロックを単位に符号化データを生成する画像符号化装置であって、
着目ブロック内の輝度成分、色差成分それぞれの複雑度を検出する検出手段と、
前記着目ブロック内の輝度成分、色差成分それぞれについて、互いに異なる複数の量子化パラメータを用いて仮のＤＰＣＭ符号化し、量子化パラメータ毎の符号量を求める第１の符号化手段と、
前記検出手段による検出の結果、前記第１の符号化手段で求めた量子化パラメータ毎の符号量、並びに、予め設定された目標符号量に基づき、前記着目ブロックに対してＤＰＣＭ符号化するか、ＰＣＭ符号化するか、並びに、ＤＰＣＭ符号化する場合には輝度成分に対して色差成分の量子化パラメータを小さくするためのオフセットを判定する判定手段と
該判定手段の判定の結果に基づき、前記着目ブロックから前記目標符号量の符号化データを生成する第２の符号化手段とを有し、
前記第２の符号化手段は、
該判定手段が、前記着目ブロックに対して前記ＰＣＭ符号化すると判定した場合、当該着目ブロックの輝度成分及び色差成分のデータをＰＣＭ符号化を行って、前記目標符号量の符号化データを生成し、
該判定手段が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを無しにすると判定した場合には、当該着目ブロックの輝度成分及び色差成分を同じ量子化パラメータを用いて、ＤＰＣＭ符号化して、前記目標符号量の符号化データを生成し、
該判定手段が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを設定すると判定した場合には、当該着目ブロックの輝度成分、前記色差成分に対して前記オフセットに従った量子化パラメータを用いて、ＤＰＣＭ符号化し、前記目標符号量の符号化データを生成することを特徴とする。
In order to solve this problem, for example, an image encoding device of the present invention has the following configuration. That is,
An image encoding apparatus configured to input a block of a predetermined size as a unit from image data including a luminance component and a chrominance component in units, and generate encoded data in units of the block.
Detecting means for detecting the complexity of each of the luminance component and the color difference component in the block of interest;
First encoding means for provisionally DPCM-encoding each of the luminance component and the chrominance component in the block of interest using a plurality of mutually different quantization parameters, and calculating a code amount for each quantization parameter;
As a result of the detection by the detection unit, based on the code amount for each quantization parameter obtained by the first encoding unit and the target code amount set in advance, whether to perform DPCM encoding on the block of interest, Judgment means for judging whether to perform PCM encoding or, in the case of DPCM encoding, an offset for reducing a quantization parameter of a chrominance component with respect to a luminance component, and And second encoding means for generating encoded data of the target code amount from the block.
The second encoding means includes:
When the determination means determines that the target block is to be subjected to the PCM encoding, the data of the luminance component and the chrominance component of the target block are subjected to the PCM encoding to generate encoded data of the target code amount. ,
When the determination unit determines that the block of interest is subjected to the DPCM encoding and the offset is eliminated, the luminance component and the color difference component of the block of interest are subjected to DPCM encoding using the same quantization parameter. Generating encoded data of the target code amount,
When the determination unit determines that the DPCM encoding is performed on the block of interest and the offset is set, a quantization parameter according to the offset is used for the luminance component and the color difference component of the block of interest. Then, DPCM encoding is performed to generate encoded data of the target code amount.
本発明によれば、単純な符号化処理でありながら、輝度成分の複雑度が高く、色差成分の複雑度が低いような画像に対して画質劣化を抑制でき、かつ、目標符号量の符号化データを生成することが可能になる。 Advantageous Effects of Invention According to the present invention, it is possible to suppress image quality degradation for an image in which the complexity of a luminance component is high and the complexity of a chrominance component is low while performing simple encoding processing, and encoding of a target code amount is performed. It is possible to generate data.
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
［第１の実施形態］
図１は、本実施形態に係る画像符号化装置の構成例を示すブロック図である。この画像符号化装置１００は、入力端子１０１、仮符号化処理部１１０、本符号化処理部１２０、および、出力端子１０２を有する。仮符号化処理部１１０は、複雑度検出部１１１、複数の符号化部１１２〜１１４、符号化パラメータ決定部１１５から構成される。また、本符号化処理部１２０は、遅延部１２１、符号化部１２２、多重化部１２３、ＱＰ生成部１２４で構成されている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that the configurations in the embodiments described below are merely examples, and the present invention is not limited to the illustrated configurations.
[First Embodiment]
FIG. 1 is a block diagram illustrating a configuration example of an image encoding device according to the present embodiment. The
本実施形態における画像符号化装置１００は、入力端子１０１から入力される画像データを符号化して符号化データを生成し、その符号化データを出力端子１０２よりストリームデータとして出力する。符号化対象の画像データは、予め設定されたブロック単位に入力端子１０１を介して入力されるものとする。また、符号化対象の画像データの信号フォーマットは、輝度成分Ｙ、色差成分Ｃｂ、ＣｒによるＹＣｂＣｒ４：２：２であり、各成分のビット深度は１０ビットとする。また実施形態では、符号化対象のブロックは、水平方向３２画素、垂直方向１画素の領域に対応する。そして、１ブロックに含まれる成分の内訳は、水平３２×垂直１画素分の輝度値Ｙ、水平１６×垂直１画素分の色差成分値Ｃｂ、および、水平１６×垂直１画素分の色差成分値Ｃｒの合計６４個の画素成分値で構成されるものとする。
The
なお、１つのブロック内の各成分は、ラスタースキャン順（画像の左から右方向に並んでいるものとする）に並んでいるものとする。また、実施形態において、画像データのビット数は１０ビットに限定されるものではなく、８ビット、１２ビットなどであってもよい。また、ブロックのサイズは水平３２画素×垂直１画素に限られるものではなく任意のサイズでよい。例えば水平８画素×垂直８画素のように２次元構造であってもかまわない。 Note that the components in one block are arranged in a raster scan order (assume that the components are arranged from left to right in the image). In the embodiment, the number of bits of the image data is not limited to 10 bits, but may be 8 bits, 12 bits, or the like. Further, the size of the block is not limited to 32 horizontal pixels × 1 vertical pixel, but may be any size. For example, a two-dimensional structure such as 8 horizontal pixels × 8 vertical pixels may be used.
本実施形態では、１ブロック分の画像データを６／１０の圧縮率で符号化されるものとして説明する。１ブロックには６４個の成分値が含まれ、各成分値は１０ビットとしているので、１ブロックのデータ量は、１０×６４＝６４０ビットであるので、１ブロックの符号化データの符号量は３８４ビット（＝６４０ビット×６／１０）になる。符号化対象のブロックの画像データの各成分は、図４に示すようにラスタースキャン順であって、Ｃｂ０、Ｙ０、Ｃｒ０、Ｙ１、・・・の順で多重化されて入力端子１０１を介し、画像符号化装置１００に入力されるものとする。
In the present embodiment, description will be made on the assumption that image data for one block is encoded at a compression ratio of 6/10. One block contains 64 component values, and each component value has 10 bits. Therefore, the data amount of one block is 10 × 64 = 640 bits, so that the code amount of the encoded data of one block is This is 384 bits (= 640 bits × 6/10). The components of the image data of the block to be encoded are multiplexed in the order of Cb0, Y0, Cr0, Y1,... In the raster scan order as shown in FIG. It is assumed that the image is input to the
仮符号化処理部１１０内の符号化部１１１〜１１４、および、本符号化処理部１２０内の符号化部１２２はともに同じ構成である。そこで、まず、図３を参照して、そのうちの１つを符号化部３００として説明する。
Encoding
符号化部３００の外部からは、画像データ、量子化パラメータ（以降、ＱＰ）、符号化モードが入力されている。なお、ここで言う画像データは、図４に示す１ブロック内の各成分値であるが、便宜的に以下では各成分を、画素、画素データ、画素値としても説明する。
Image data, a quantization parameter (hereinafter, QP), and a coding mode are input from outside the
減算器３０１は、入力された画素値から、後述の予測値生成部３０５で生成された予測値を減算して、予測差分データを算出する。予測差分データは、正負の符号を持つデータであり、画素値の変動が比較的小さい平坦な部分では０付近の値となり、また、変動の大きいエッジ部分などでは大きな差分値になる。予測差分データは一般に０を中心としたラプラス分布の特性を持つ。
The
セレクタ３０７は２つの入力端子と１つの出力端子を有し、符号化モードに応じて、その２つの入力端子の一方に供給されたデータを選択し、出力端子より出力する。具体的には、セレクタ３０７は、ＤＰＣＭモードの場合は減算器３０１からの予測差分データを選択し、ＰＣＭモードの場合は入力された画素データを選択する。そして、セレクタ３０７は、選択したデータ（予測差分データまたは画素データ）を量子化部３０２に出力する。なお、符号化モードについては後述する。
The
量子化部３０２は、セレクタ３０７から出力されたデータを、設定されたＱＰに応じた量子化ステップ値を用いて量子化する。量子化部３０２は、量子化後のデータ（以降、量子化データ）を、逆量子化部３０３、可変長符号化部３０６および符号化部３００の外部に出力する。なお、量子化部３０２内には、外部から設定されるＱＰに対して実際に用いる量子化ステップ値（ただしゼロより大きい値）との関係を示すテーブルを保持しているものとする。ＱＰが大きくなればなるほど量子化ステップ値も大きくなる関係にある。
The
逆量子化部３０３は、量子化部３０２からの量子化データを、前記量子化部３０２と同じ量子化ステップ値を用いて逆量子する。
The
加算器３０４は、逆量子化された予測差分データと、後述の予測値とを加算し、復号値を算出する。
The
予測値生成部３０５は、符号化対象の画素値に対する予測値を、復号値から生成する。予測値生成部３０５には色成分Ｙ，Ｃｂ、Ｃｒそれぞれに少なくとも１画素分の復号値を保持するメモリ（保持手段）を有しており、符号化対象の成分値と同じ成分値の復号値を用いて予測値を生成する。例えば、符号化対象の成分値が輝度成分値の場合、その符号化対象の輝度成分値の左側（符号化済み）の最も近い輝度成分の復号値を、その予測値とする。なお、符号化ブロックの左端から３つの成分値については、それより左の復号値が存在しないので、所定の値を予測値として用いる。例えば信号レンジの中間値（ビット深度１０ビットの場合は中央の“５１２”）等をその所定の値として用いる。
The predicted
可変長符号化部３０６は入力された量子化データに対して所定の可変長符号化方式による符号化を行って、画素毎に符号データと符号長（ビット数）を出力する。所定の可変長符号化方式とはハフマン符号、ゴロム符号などでよい。可変長符号化部３０６は、入力値が０の場合に最も短い符号長の符号データを出力し、入力値の絶対値が大きくなるほど、長い符号長の符号データを出力する。入力される予測差分データは前述のように０中心のラプラス分布特性であり、０付近の発生頻度が高く、予測差分データの絶対値が大きいほど発生頻度が低い。発生頻度の高い値に短い符号データを割り当て、発生頻度の低い値に長い符号データを割り当てる事により、符号化ブロック全体としては発生する符号長を小さくする事ができる所以である。
The variable
次に符号化モードについて説明する。実施形態における符号化部３００における符号化モードは、上記の通り、ＤＰＣＭモードとＰＣＭモードがある。ＤＰＣＭモードは減算器３０１で予測差分データを生成し、量子化部３０２で量子化し、可変長符号化部３０６で可変長符号化を行うモードであり、画像データやＱＰによって可変長の符号が生成される符号化モードである。一方、ＰＣＭモードは、入力された画像データをそのまま量子化部３０２で量子化して量子化データとして出力するモードであり、ＱＰによって固定長の符号が生成される符号化モードである。
Next, the encoding mode will be described. As described above, the encoding mode in the
以上、仮符号化処理部１１０内の符号化部１１１〜１１４、本符号化処理部１２０内の符号化部１２２の構成と動作について説明した。次に、仮符号化処理部１１０について詳しく説明する。
The configuration and operation of the
符号化部１１２〜１１４には、それぞれ異なるＱＰ（０〜Ｎ）が設定されている。そして、符号化部１１２〜１１４は、それぞれに設定されたＱＰに従って仮符号化を行い、生成される符号化データの符号長を符号化パラメータ決定部１１５に出力する。符号化対象の着目ブロック内の画素データは、図４に示すようにＣｂ０、Ｙ０、Ｃｒ０、Ｙ１・・・と１画素ずつ入力されるので、符号化部１１２〜１１４それぞれは、この順番に符号した際に得られる符号長を出力することになる。
Different QPs (0 to N) are set in the
複雑度検出部１１１は、符号化対象の着目ブロックが示す画像の複雑度を、輝度成分と色差成分毎に算出し出力する。実施形態では、複雑度として分散を採用するものとする。したがって、輝度成分の複雑度は、輝度成分Ｙの画素値の分散となる。また、色差成分の複雑度は、成分値Ｃｂの分散と成分値Ｃｒの分散の平均値（平均分散）とする。複雑度検出部１１１は、算出された輝度成分の複雑度、色差成分の複雑度を符号化パラメータ決定部１１５に出力する。なお、ここでは複雑度として分散を求めるものとしたが、ブロック内での画素値の変動の程度を示す指標値であれば特にその種類は問わない。例えば演算を単純化させるために、精度が多少は落ちるが、成分値の最大値と最小値との差分を複雑度としてもよい。
The
符号化部１１２〜１１４は前述の符号化部３００であり、量子化データ、符号データ、符号長を出力するが、この仮符号化処理部１１０は、各符号化部１１２〜１１４から符号長のみを利用する。
The encoding
符号化パラメータ決定部１１５は、符号化部１１２〜１１４からの符号長と、複雑度検出部１１１からの輝度成分の複雑度と色差成分の複雑度を用いて、着目ブロックに対する符号化モード、最適なＱＰを決定する。特に、符号化パラメータ決定部１１５は、符号化モードとしてＤＰＣＭモードを決定した場合には、さらに、後述する色差優遇モードについても決定する。以下、符号化パラメータ決定部１１５における処理内容について詳細に説明する。
The encoding
実施形態における、符号化パラメータ決定部１１５の処理手順について、図５を用いて説明する。なお、符号化パラメータ決定部１１５は、符号化部１１２〜１１４に設定されているＱＰことを知っている（保持している）ものとする。
A processing procedure of the encoding
Ｓ５０１にて、符号化パラメータ決定部１１５は、着目ブロック内の各画素の符号長を、符号化部１１２〜１１４から取得する。
In S501, the coding
次に、Ｓ５０２にて、符号化パラメータ決定部１１５は、取得した画素毎の符号長を累積して、着目ブロックの符号量を求める。ここで、符号化パラメータ決定部１１５は、量子化パラメータ毎（ＱＰ毎）に、輝度成分値（Ｙ０、Ｙ１，Ｙ２…）の符号量（符号長の合計）、色差成分値（Ｃｂ０，Ｃｒ０、Ｃｂ１，Ｃｒ１…）の符号量の算出を行う。ここで、ＱＰ値：ｑｐを要素とした場合、輝度成分の符号量をｂｌ＿ｓｉｚｅ＿ｙ［ｑｐ］、色差成分の符号量をｂｌ＿ｓｉｚｅ＿ｃ［ｑｐ］と定義する。符号化パラメータ決定部１１５内の不図示のメモリに、ｂｌ＿ｓｉｚｅ＿ｙ［ｑｐ］、色差成分の符号量をｂｌ＿ｓｉｚｅ＿ｃ［ｑｐ］を保持する。実施形態では、符号化パラメータが０乃至Ｎであるので、符号化パラメータ決定部１１５が有する不図示のメモリには、
ｂｌ＿ｓｉｚｅ＿ｙ［０］、ｂｌ＿ｓｉｚｅ＿ｃ［０］、
ｂｌ＿ｓｉｚｅ＿ｙ［１］、ｂｌ＿ｓｉｚｅ＿ｃ［１］、
：
ｂｌ＿ｓｉｚｅ＿ｙ［Ｎ］、ｂｌ＿ｓｉｚｅ＿ｃ［Ｎ］
が格納されることになる。
Next, in S502, the coding
bl_size_y [0], bl_size_c [0],
bl_size_y [1], bl_size_c [1],
:
bl_size_y [N], bl_size_c [N]
Will be stored.
次に、Ｓ５０３にて、符号化パラメータ決定部１１５は、複雑度検出部１１１から着目ブロックの輝度成分の複雑度と色差成分の複雑度を取得する。ここで輝度成分の複雑度をｃｍｐｌｘ＿ｙ、色差成分の複雑度をｃｍｐｌｘ＿ｃと表現することとする。
Next, in S503, the encoding
Ｓ５０４にて、符号化パラメータ決定部１１５は、輝度成分の複雑度ｃｍｐｌｘ＿ｙ、色差成分の複雑度ｃｍｐｌｘ＿ｃを用いて色差優遇モードの有効／無効を決定する。
In S504, the encoding
色差優遇モードが無効の場合は、輝度成分と色差成分は同じＱＰ値を用いて符号化され、輝度成分と色差成分の符号化誤差は同等となる。一方、色差優遇モードが有効の場合は輝度成分より色差成分に対して小さいＱＰ値を割り当て符号化する。つまり、輝度成分については或る程度の符号化誤差を許容する代わり、色差成分の符号化誤差を低減させるのが、色差優遇モード＝有効の場合である。 When the preferential color difference mode is invalid, the luminance component and the color difference component are encoded using the same QP value, and the encoding errors of the luminance component and the color difference component become equal. On the other hand, when the preferential color difference mode is valid, a smaller QP value is assigned to the color difference component than the luminance component and encoded. That is, instead of allowing a certain amount of coding error for the luminance component, the coding error of the chrominance component is reduced when the preferential color difference mode is valid.
以下は、符号化パラメータ決定部１１５による、色差優遇モードの有効（ＴＲＵＥ）・無効（ＦＡＬＳＥ）の決定にかかる処理の具体例である。
The following is a specific example of processing for determining whether the preferential color difference mode is valid (TRUE) or invalid (FALSE) by the encoding
符号化パラメータ決定部１１５は、輝度成分の複雑度ｃｍｐｌｘ＿ｙ、色差成分の複雑度ｃｍｐｌｘ＿ｃと、所定の輝度成分の複雑度の閾値ＴＨ＿ＣＭＰＬＸ＿Ｙ、所定の色差成分の複雑度の閾値ＴＨ＿ＣＭＰＬＸ＿Ｃを用いて、色差優遇モードｃａｒｅ＿ｍｏｄｅを以下の判定式により決定する。
if ((cmplx_y＞TH_CMPLX_Y) & (cmplx_c＜TH_CMPLX_C))
care_mode ＝ 有効（ＴＲＵＥ）
else
care_mode ＝ 無効（ＦＡＬＳＥ）
The encoding
if ((cmplx_y> TH_CMPLX_Y) & (cmplx_c <TH_CMPLX_C))
care_mode = enabled (TRUE)
else
care_mode = invalid (FALSE)
すなわち、輝度成分の複雑度ｃｍｐｌｘ＿ｙが所定の輝度成分の複雑度の閾値ＴＨ＿ＣＭＰＬＸ＿Ｙよりも大きく、かつ、色差成分の複雑度ｃｍｐｌｘ＿ｃが所定の色差成分の複雑度の閾値ＴＨ＿ＣＭＰＬＸ＿Ｃよりも小さい場合に、色差優遇モードを“有効”とし、それ以外の場合に、“無効”とする。 That is, when the complexity cmplx_y of the luminance component is larger than the threshold value TH_CMPRX_Y of the complexity of the predetermined luminance component, and the complexity cmplx_c of the chrominance component is smaller than the threshold value TH_CMPLX_C of the complexity of the predetermined chrominance component, the color difference preferential treatment is performed. The mode is set to “valid”, and otherwise, set to “invalid”.
Ｓ５０５にて、符号化パラメータ決定部１１５は、輝度成分の符号量ｂｌ＿ｓｉｚｅ＿ｙ［ｑｐ］と、色差成分の符号量ｂｌ＿ｓｉｚｅ＿ｃ［ｑｐ］と、所定の色差ＱＰオフセット値ＯＦＦＳＥＴ＿ＱＰ＿Ｃ、並びに、Ｓ５０４で決定された色差優遇モード（有効or無効）に従って、着目ブロックの符号化における最適ＱＰを決定する。このＳ５０５の具体的な処理内容を図７のフローチャートに示す。
In S505, the coding
図６はＳ５０５の詳細な処理方法を示すフローチャートである。処理の概要としてはＱＰ毎の輝度成分と色差成分の符号量から着目ブロックの符号量を算出し、その符号量が目標符号量以下となる最も小さいＱＰを選定する事である。 FIG. 6 is a flowchart showing the detailed processing method of S505. As an outline of the processing, the code amount of the block of interest is calculated from the code amounts of the luminance component and the color difference component for each QP, and the smallest QP whose code amount is equal to or less than the target code amount is selected.
Ｓ６０１にて、符号化パラメータ決定部１１５は、色差優遇モードｃａｒｅ＿ｍｏｄｅの有効（Ｔｒｕｅ）／無効（ＦＡＬＳＥ）を判定する。
In S601, the coding
色差優遇モードｃａｒｅ＿ｍｏｄｅが無効の場合、符号化パラメータ決定部１１５は処理をＳ６０２に進め、有効の場合は処理をＳ６０３に進める。
If the preferential color difference mode care_mode is invalid, the coding
Ｓ６０２にて、符号化パラメータ決定部１１５は、変数ｏｆｆｓｅｔを値“０”に設定する。これは、色差優遇モードｃａｒｅ＿ｍｏｄｅが無効の場合、輝度成分に対するＱＰと色差成分に対するＱＰとを同じにする（オフセットを設けない）ためである。
In S602, encoding
Ｓ６０３にて、符号化パラメータ決定部１１５は、予め設定された所定の色差ＱＰオフセット値ＯＦＦＳＥＴ＿ＱＰ＿Ｃを変数ｏｆｆｓｅｔにセットする。これは輝度成分に対して色差成分の符号化誤差を小さくするためである。
In S603, encoding
次に、Ｓ６０４に進み、符号化パラメータ決定部１１５は、本処理において符号量算出に用いる変数ｑｐを“０”をセットすることで、初期化する。
Next, proceeding to S604, the encoding
Ｓ６０５には、符号化パラメータ決定部１１５は、次に色差成分用のＱＰである“ｑｐｃ”の算出を行う。色差成分用のＱＰ値“ｑｐｃ”は、ｑｐ値からｏｆｆｓｅｔを引いた数である。なお、負数にならないようＭＡＸ（）関数を用いて“０”にクリップさせている。色差優遇モードが無効の場合はｏｆｆｓｅｔ＝０となるのでｑｐ＝ｑｐｃとなる。色差優遇モードが有効の場合、ｑｐｃがｏｆｆｓｅｔ分、小さい値となる。ｑｐｃは以下のブロック全体の符号量の算出で用いられる。
In S605, the encoding
Ｓ６０６にて、符号化パラメータ決定部１１５は着目ブロックの全体の符号量ｂｌ＿ｓｉｚｅ（ｑｐ）の算出を行う。
In S606, the encoding
着目ブロックの全体の符号量ｂｌ＿ｓｉｚｅ（ｑｐ）は、輝度成分の符号量ｂｌ＿ｓｉｚｅ＿ｙ［ｑｐ］、色差成分の符号量ｂｌ＿ｓｉｚｅ＿ｃ［ｑｐｃ］と、符号化ブロック毎に必要なヘッダ情報の符号量ｂｌ＿ｓｉｚｅ＿ｈを加算する事により算出される。ここで色差成分の符号量の引数が「ｑｐｃ」となる点に注意されたい。 The code amount bl_size (qp) of the entire block of interest is obtained by adding the code amount bl_size_y [qp] of the luminance component, the code amount bl_size_c [qpc] of the color difference component, and the code amount bl_size_h of the header information necessary for each coding block. It is calculated by the thing. Here, it should be noted that the argument of the code amount of the color difference component is “qpc”.
ヘッダ情報は例えば、符号化モードを示す１ビット、色差優遇モードが有効／無効かを示す１ビット、ＱＰ値を表す４ビットの計６ビットである。なお、ＱＰ値を表すビット数は、４ビットに限らず何ビットでも良い（ＱＰの最大値Ｎで決まる）。 The header information is, for example, 1 bit indicating the encoding mode, 1 bit indicating whether the preferential color difference mode is enabled / disabled, and 4 bits indicating the QP value, for a total of 6 bits. The number of bits representing the QP value is not limited to 4 bits, but may be any number of bits (determined by the maximum value N of QP).
次にＳ６０７にて、符号化パラメータ決定部１１５は、算出した着目ブロックの符号量ｂｌ＿ｓｉｚｅ（ｑｐ）が目標符号量ＴＡＲＧＥＴ＿ＳＩＺＥ（実施形態では３８４ビット）以下であるという条件を満たすか否か判定する。この条件を満たす場合、すなわち、符号化ブロックの符号量ｂｌ＿ｓｉｚｅ（ｑｐ）が目標符号量ＴＡＲＧＥＴ＿ＳＩＺＥ以下の場合、符号化パラメータ決定部１１５は処理をＳ６０８に移行する。
Next, in S607, the coding
Ｓ６０８にて、符号化パラメータ決定部１１５は、この段階のｑｐ値が最適ＱＰとして変数ｓｅｌ＿ｑｐにｑｐ値をセットする。そして、Ｓ６１２にて、符号化パラメータ決定部１１５は、着目ブロックをＤＰＣＭ符号化するため、符号化モードｅｎｃ＿ｍｏｄｅをＤＰＣＭモードとして決定し、本処理を終了する。
In S608, encoding
一方、符号量ｂｌ＿ｓｉｚｅ（ｑｐ）が目標符号量ＴＡＲＧＥＴ＿ＳＩＺＥを超える場合、符号化パラメータ決定部１１５は処理をＳ６０９に移行する。このＳ６０９にて、符号化パラメータ決定部１１５は、ＱＰの許容最大値であるＭＡＸ＿ＱＰまで、ｑｐをインクリメントしたか否かを判定する。ＭＡＸ＿ＱＰまで到達していないと判定した場合、符号化パラメータ決定部１１５は処理をＳ６１０に進め、ｑｐを“１”だけ増加させ、ｑｐ値を更新する。そして、符号化パラメータ決定部１１５は、処理をＳ６０５に戻す。
On the other hand, when the code amount bl_size (qp) exceeds the target code amount TARGET_SIZE, the coding
上記処理を繰り返し、符号量ｂｌ＿ｓｉｚｅ（ｑｐ）が目標符号量ＴＡＲＧＥＴ＿ＳＩＺＥを超えると判定されたまま、ｑｐ値が許容最大ＱＰ値であるＭＡＸ＿ＱＰに到達してまった場合、符号化パラメータ決定部１１５は、処理をＳ６１１に進める。このＳ６１１にて、符号化パラメータ決定部１１５は、着目ブロックをＰＣＭ符号化するため、符号化モードｅｎｃ＿ｍｏｄｅをＰＣＭモードに設定し、本処理を終了する。
If the qp value reaches MAX_QP which is the maximum allowable QP value while it is determined that the code amount bl_size (qp) exceeds the target code amount TARGET_SIZE, the coding
次に図７（ａ），（ｂ）を参照して具体的な符号量の一例を示しながら、最適ＱＰの選定について説明する。実施形態では、目標符号量ＴＡＲＧＥＴ＿ＳＩＺＥは３８４ビット、ＯＦＦＳＥＴ＿ＱＰ＿Ｃは８、ＭＡＸ＿ＱＰは１５であるものとする。 Next, the selection of the optimal QP will be described with reference to FIGS. 7A and 7B, showing an example of a specific code amount. In the embodiment, it is assumed that the target code amount TARGET_SIZE is 384 bits, OFFSET_QP_C is 8, and MAX_QP is 15.
図７（ａ）は、着目ブロックに対して、ｏｆｆｓｅｔ＝０にし、ＱＰ：０〜１５で仮符号化した際の輝度、色差それぞれの符号量及び合計符号量との関係を示している。ちょうど、着目ブロックに対し、符号化部１１２〜１１３それぞれが符号化した際の輝度成分と色差成分の符号量を表していると考えると分かり易い。 FIG. 7A shows the relationship between the code amount of each of the luminance and chrominance and the total code amount when provisional encoding is performed with offset = 0 and QP: 0 to 15 for the block of interest. It is easy to understand if it is assumed that the coding unit 112-113 represents the coding amount of the luminance component and the chrominance component when the coding unit 112-113 codes the target block.
着目ブロックに対して色差優遇モードｃｓａｒｅ＿ｍｏｄｅが“無効”と決定された場合、ヘッダ符号量、輝度成分符号量、色差成分符号量の合計が目標符号量の３８４以下となる最小のｑｐは、図７（ａ）から、合計が“３７９”ビットのｑｐ＝７の場合である。色差優遇モードが無効であるので、着目ブロック内の輝度、色差はともに同じｑｐ値を用いて量子化されることになる点に注意されたい。 When the color difference preferential mode csare_mode is determined to be “invalid” for the block of interest, the minimum qp at which the sum of the header code amount, the luminance component code amount, and the color difference component code amount is 384 or less of the target code amount is as shown in FIG. (A) shows a case where the sum is qp = 7 of “379” bits. Note that since the preferential color difference mode is invalid, both the luminance and the color difference in the block of interest are quantized using the same qp value.
図７（ｂ）は、色差優遇モードが“有効”の場合の、着目ブロックに対して、ＱＰ：０〜１５で仮符号化した際の輝度、色差それぞれの符号量及び合計符号量との関係を示している。色差優遇モードが有効であるので、輝度成分の符号量に対し、色差成分の符号量はｑｐ−８だけずれた位置の符号量が示されている点に注意されたい。ｑｐが０〜８の範囲で、色差成分の符号量が“１３５”となっているのは、ｑｐ−８の値が“０”にクリップされているためである。 FIG. 7B shows the relationship between the code amount of each of the luminance and chrominance when the target block is provisionally coded at QP: 0 to 15 and the total code amount when the preferential color difference mode is “valid”. Is shown. It should be noted that since the preferential color difference mode is effective, the code amount of the chrominance component is shown at a position shifted by qp-8 from the code amount of the luminance component. The reason why the code amount of the color difference component is “135” in the range where qp is 0 to 8 is that the value of qp−8 is clipped to “0”.
さて、色差優遇モードが“有効”の場合、着目ブロックの符号量の合計が目標符号量の３８４以下となる最小のｑｐは、合計が３７８ビットのｑｐ＝１０の場合となる。 When the color difference preferential mode is “valid”, the minimum qp in which the total code amount of the block of interest is 384 or less of the target code amount is a case in which qp = 10 with a total of 378 bits.
上記からわかるように、色差優遇モードが“無効”の場合は輝度成分、色差成分ともｑｐ＝７となるのに対して、色差優遇モードが“有効”の場合では輝度成分のｑｐは１０、色差成分のｑｐは２となることを意味する。つまり、色差優遇モードが“無効”の場合と比較して、輝度成分のＱＰが“３”高くなった代わりに、色差成分のＱＰは“５”低くなり、色差成分の符号化誤差を低減させる事ができる。 As can be seen from the above, when the preferential color difference mode is “invalid”, both the luminance component and the chroma component are qp = 7, whereas when the preferential color difference mode is “valid”, the qp of the luminance component is 10, and the chroma It means that qp of the component is 2. That is, as compared with the case where the preferential color difference mode is “invalid”, the QP of the luminance component is increased by “3”, but the QP of the chrominance component is decreased by “5”, thereby reducing the encoding error of the chrominance component. Can do things.
一般的な自然画の場合、輝度成分の複雑度と色差成分の複雑度は同程度であって、輝度成分と色差成分は同じＱＰ値を用いて符号化する事でそれぞれの符号化誤差は同等となり、主観的な画質評価においても輝度成分と色差成分は同等の画質となり好適と言える。しかし、輝度成分の複雑度が高く、色差成分の複雑度が低く、それが著しく差があるような場合、複雑度の高い輝度成分の画質劣化はあまり目立たないが、複雑度の低い色差成分の画質劣化が目立つというという現象が発生する。そこで、輝度成分の複雑度が高く、色差成分の複雑度が低い符号化ブロックは、色差優遇モードを有効にして符号化する事によって、色差成分の画質劣化を視覚的に目立たなくする効果がある。 In the case of a general natural image, the complexity of the luminance component and the complexity of the chrominance component are almost the same, and the encoding error of the luminance component and the chrominance component is equal by encoding using the same QP value. In the subjective image quality evaluation, the luminance component and the color difference component have the same image quality, which is preferable. However, when the complexity of the luminance component is high and the complexity of the chrominance component is low, and there is a remarkable difference, the image quality degradation of the high-complexity luminance component is not so conspicuous, but the The phenomenon that image quality degradation is conspicuous occurs. Therefore, a coding block having a high complexity of the luminance component and a low complexity of the chrominance component has an effect of making the image quality deterioration of the chrominance component visually inconspicuous by coding by enabling the preferential color difference mode. .
上記のようにして、符号化パラメータ決定部１１５は、着目ブロックに対し、符号化モード、色差優遇モード、最適ＱＰ値を決定する。以降、これら符号化モード、色差優遇モード、最適ＱＰ値を、符号化パラメータと呼ぶ。そして、符号化パラメータ決定部１１５は決定した符号化パラメータを本符号化処理部１２０に出力する。
As described above, the encoding
次に、実施形態における本符号化処理部１２０の処理内容について説明する。
Next, processing contents of the main
符号化対象の着目ブロックの画像データは遅延部１２１に入力される。この遅延部１２は、上記の仮符号化処理部１００内の符号化パラメータ決定部１１５が符号化パラメータを決定するに要する時間だけ遅延させるものであり、少なくとも１ブロック分の容量を持つバッファメモリで構成すればよい。
The image data of the target block to be encoded is input to the
これにより、符号化部１２２は、仮符号化処理部１００で決定した符号パラメータに従って、着目ブロックの符号化を行うことが可能になる。
Accordingly, the
符号化部１２２は、先に示した符号化部３００の構造を有し、仮符号化処理部１００で符号化パラメータを用いて、遅延部１２１で遅延して入力される着目ブロックの本符号化処理を実行する。この結果、符号化部１２２は、符号化パラメータ決定部１１５で算出したブロック符号量と同じ符号量の符号化データを生成し、多重化部１２３に出力することになる。
The
ＱＰ生成部１２４は、色差優遇モードが無効の場合、着目ブロック内の全画素（全成分）について、設定されたＱＰをそのまま符号化部１２２に供給する。
When the preferential color difference mode is invalid, the
一方、色差優遇モードが有効の場合、ＱＰ生成部１２４は、色成分の種類に応じたＱＰを生成し、符号化部１２２に供給する。具体的には、ＱＰ生成部１２４は、輝度成分が符号化されるタイミングでは、設定されたＱＰを符号化部１２２に供給する。一方、色差成分が符号化されるタイミングでは、ＱＰ生成部１２４は、「ＱＰ−ＯＦＦＳＥＴ＿ＱＰ＿Ｃ」（実施形態では「ＱＰ−８」）を符号化部１２２に供給する。ただし、「ＱＰ−ＯＦＦＳＥＴ＿ＱＰ＿Ｃ」が負となる場合には、ＱＰ生成部１２４は“０”をＱＰとして符号化部１２２に供給する。
On the other hand, when the preferential color difference mode is valid, the
多重化部１２３は、符号化部１２２からの符号データ、符号長、量子化データ、符号化パラメータ決定部１１５からの符号化パラメータを入力し、ブロック毎に所定のフォーマットで多重化を行い、出力する。具体的な出力フォーマットを図８（ａ）、（ｂ）を参照して以下に説明する。
The
図８（ａ）は、符号化モードがＤＰＣＭモード時の１ブロック分の符号化データ構造を示している。ブロックの全体の符号化データ９０１（３８４ビット）は、ヘッダ部９０２（６ビット）と、ペイロードである画素データ部９０３（３７８ビット）から構成される。 FIG. 8A shows an encoded data structure for one block when the encoding mode is the DPCM mode. Encoded data 901 (384 bits) of the entire block includes a header section 902 (6 bits) and a pixel data section 903 (378 bits) as a payload.
ヘッダ部９０２は、符号化モード９０４（１ビット）、色差優遇モード９０５（１ビット）、最適ＱＰ値９０６（４ビット）で構成される。続いて画素データ部９０３には画素数分（６４画素分）の可変長の符号化データが格納される。なお、符号化モード９０４は、ＤＰＣＭモードであることを示す値（例えば“１”）を持つことになる。
The
なお、図８（ａ）のｑｐ＝７のように、輝度成分と色差成分の合計符号量“３７３”（＝３１２＋６１）ビットであり、ペイロード部として確保された“３７８”ビットに満たない場合には、後端に不足分のダミービットを付加することで、固定長の目標符号量の符号化データとする。 When qp = 7 in FIG. 8A, the total code amount of the luminance component and the chrominance component is “373” (= 312 + 61) bits, and the code amount is less than “378” bits secured as the payload portion. Is added to the trailing end with insufficient dummy bits to obtain coded data having a fixed-length target code amount.
図８（ｂ）は符号化モードがＰＣＭモード時の符号化フォーマットのデータ構造を表す図である。ＰＣＭモードの場合、ブロックの全体の符号化データ９１１（３８４ビット）は、ヘッダ部９１２（１ビット）と、画素データ部９１３（３８３ビット）から構成される。ヘッダ部９１２には、ＰＣＭモードであること（非ＤＰＣＭモードであること）を示す値（例えば“０”）が格納される。そして、後続する画素データ部９１３には画素数分（６４画素分）のＰＣＭデータが格納される。
FIG. 8B is a diagram illustrating a data structure of an encoding format when the encoding mode is the PCM mode. In the PCM mode, the encoded data 911 (384 bits) of the entire block is composed of a header section 912 (1 bit) and a pixel data section 913 (383 bits). The
ここでＰＣＭモード時の符号化方法について説明する。ＰＣＭモードは、上記説明からわかるように、ＤＰＣＭモードでは目標符号量以下とならなかった場合（Ｓ６０９がＮｏと判定された場合）に用いられる符号化モードである。データ構造は図８（ｂ）に示すようにヘッダ部にＰＣＭモードを示す符号化モード１ビットと、画素データ部のＰＣＭデータで構成されている。ＰＣＭデータは全画素を固定長に量子化されたデータが格納される。１つのブロックには６４個の成分値が格納されているので、１成分当たり６ビットとすると、３８４（＝６×６４）ビット分必要になり、確保された３８３ビットより１ビット多くなってしまう。そこで、本実施形態では、輝度成分の最初の輝度成分Ｙ０を５ビットに量子化し、他の３１個の輝度成分値と、３２個の色差成分値については６ビットに量子化する。こうすることで、ヘッダ部１ビットと画素データ部３８３ビットあわせて３８４ビットに符号化データとすることができる。なお、５ビットにする輝度成分の位置は、最初とするではなく、中央、最後尾など、どこでもあってもかまわない。要するに、復号装置と共通の認識であればよい。 Here, an encoding method in the PCM mode will be described. As can be seen from the above description, the PCM mode is an encoding mode used when the code amount does not become equal to or less than the target code amount in the DPCM mode (when S609 is determined to be No). The data structure includes, as shown in FIG. 8B, one bit of an encoding mode indicating the PCM mode in the header part and PCM data in the pixel data part. The PCM data stores data obtained by quantizing all pixels to a fixed length. Since 64 components are stored in one block, if each component has 6 bits, 384 (= 6 × 64) bits are required, which is one bit more than the reserved 383 bits. . Therefore, in the present embodiment, the first luminance component Y0 of the luminance component is quantized to 5 bits, and the other 31 luminance component values and 32 color difference component values are quantized to 6 bits. By doing so, the coded data can be 384 bits including the 1-bit header part and the 383 bits of the pixel data part. Note that the position of the luminance component to be made up of 5 bits does not have to be at the beginning, but may be anywhere, such as the center or the tail. In short, any recognition that is common to the decoding device may be used.
実施形態のＱＰ生成部１２４について更に詳しく説明する。ＱＰ生成部１２４は、符号化モードがＤＰＣＭモードで、かつ色差優遇モードが無効の場合は、輝度成分、色差成分を問わず、符号化パラメータ１１５が決定した最適ＱＰが適用されるようにＱＰを生成して出力する。そして、符号化モードがＤＰＣＭモードで、かつ色差優遇モードが有効の場合は、輝度成分のＱＰは符号化パラメータ１１５が決定した最適ＱＰを生成し、色差成分については、符号化パラメータ１１５が決定した最適ＱＰより所定のオフセット（ＯＦＦＳＥＴ＿ＱＰ＿Ｃ）分小さいＱＰが適用されるようにＱＰを生成して出力する。ただし、ＱＰ生成部１２４、オフセットを減じた値が負になる場合には、“０”を生成し出力する。
The
そして、符号化モードがＰＣＭモードの場合は、ＱＰ生成部１２４は、上記に述べたＰＣＭモード時の量子化がなされるようにＱＰを生成して出力する。例えば、輝度成分の最初の画素だけ５ビットに量子化されるＱＰが適用され、その他の画素に対しては６ビットに量子化されるＱＰが適用されるようにＱＰを生成して出力する。そして、ＰＣＭモードの場合、符号化部１２２は、量子化後のデータをそのまま符号化データとして出力すればよいであろう。
When the encoding mode is the PCM mode, the
多重化部１２３は、上記のようにして生成されたヘッダ部と画素データ部とを多重化し、出力端子１０２を介して、不図示の画像メモリ、バスインターフェースに出力する。
The
次に、図２を参照して、実施形態における画像復号装置について説明する。同図は、画像復号装置のブロック構成図である。以下、本実施形態の画像復号化装置の構成例において各ブロックの動作について説明する。画像復号装置２００は、入力端子２０１、分離部２０３、可変長復号部２０４、加算器２０５、セレクタ２０６、逆量子化部２０７、予測部２０８、ＱＰ生成部２０９、および、出力端子２０２で構成されている。
Next, an image decoding apparatus according to the embodiment will be described with reference to FIG. FIG. 1 is a block diagram of the image decoding apparatus. Hereinafter, the operation of each block in the configuration example of the image decoding device according to the present embodiment will be described. The
不図示の画像メモリに格納された、画像符号化装置１００で生成された符号化データは、バスインターフェースを介して読み出され、入力端子２０１に入力され、分離部２０３に供給される。
Encoded data generated by the
分離部２０３は、入力したストリームデータを所定のフォーマットに従ってデコードして、符号化モード、色差優遇モード、ＱＰ値、符号データを分離し、処理サイクル毎に順次出力する。そして、先頭の１ビットがＰＣＭモードを示す場合、分離部２０３は、画素データが量子化データであると判定し、セレクタ２０６に出力する。また、先頭の１ビットがＤＰＣＭモードを示している場合、分離部２０３は、符号化画素データは可変長データとして可変長復号化部２０４に出力する。
The
可変長復号化部２０４は入力されたＤＰＣＭデータの可変長復号を行って復号して得た予測差分データを加算器２０５に出力する。
The variable-
セレクタ２０６は符号化モードがＰＣＭモードの場合は、分離部２０３からの量子化データを選択する。また、符号化モードがＤＰＣＭモードの場合は、セレクタ２０６は可変長復号部２０４からの予測差分データを選択し、逆量子化部２０１７へ出力する。
When the encoding mode is the PCM mode, the
ＱＰ生成部２０９は、分離部２０３でデコードされた符号化モード、最適ＱＰ値に応じて、符号化ブロックの成分毎のＱＰを生成して逆量子化部２０７へ出力する。生成されるＱＰ値は符号化装置１００におけるＱＰ生成部１２４と同じなので詳細な説明は省略する。
逆量子化部２０７はＱＰ値を用いて、セレクタ２０６からの予測差分データを逆量子化して、加算器２０５とセレクタ２０９に出力する。
The
加算器２０５は、後述の予測部２０８からの予測値と予測差分データを加算して復号値として、予測生成部２０８とセレクタ２０９に出力する。
The
予測値生成部２０８は復号値から予測値を生成する。予測値生成部２０８には色成分毎に少なくとも１個の復号値を保持する保持手段を有しており、符号化対象色成分と同じ色成分の復号値を用いて予測値が生成される。例えば、符号化対象が輝度成分Ｙである場合、同じ輝度成分であり、その左側（復号済み）で最も近い位置の復号値を予測値とする。なお、符号化ブロックの最初の画素は復号値が存在しないので、所定の値を予測値として用いる。例えば信号レンジの中間値（ビット深度１０ビットの場合は５１２）等を用いる。
The predicted
セレクタ２０９は符号化モードがＰＣＭモードの場合は、逆量子化２０７からの、ＰＣＭ復号データを選択し、符号化モードがＤＰＣＭモードの場合は加算器２０５からのＤＰＣＭ復号値を選択して出力する。出力された復号データは出力端子２０２を介し、外部へと出力される。
The
以上説明したように本実施形態によれば、単純な符号化処理でありながら、輝度成分の複雑度が高く、色差成分の複雑度が低いような画像に対して画質劣化を抑制でき、かつ、目標符号量の符号化データを生成することが可能になる。 As described above, according to the present embodiment, image quality degradation can be suppressed for an image in which the complexity of the luminance component is high and the complexity of the color difference component is low, even though the encoding process is simple, and It becomes possible to generate encoded data of a target code amount.
なお、上記実施形態に相当する処理や制御を、コンピュータプログラムで実現させても構わない。この場合、図１に示す各種処理部は、プログラムを構成するプロシージャや関数で実現することになる。 The processing and control corresponding to the above embodiment may be realized by a computer program. In this case, the various processing units shown in FIG. 1 are realized by procedures and functions constituting a program.
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other Examples)
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.
１００…画像符号化装置、１０１…入力端子、１０２…出力端子、１１０…仮符号化処理部、１１１…複雑度検出部、１１２〜１１４…符号化部、１１５…符号化パラメータ決定部、１２０…本符号化処理部、１２１…遅延部、１２２…ＱＰ生成部、１２３…符号化部、１２３…多重化部 Reference numeral 100: image encoding device, 101: input terminal, 102: output terminal, 110: provisional encoding processing unit, 111: complexity detection unit, 112 to 114: encoding unit, 115: encoding parameter determination unit, 120 ... Main encoding processing unit, 121 delay unit, 122 QP generation unit, 123 encoding unit, 123 multiplexing unit
Claims (7)
着目ブロック内の輝度成分、色差成分それぞれの複雑度を検出する検出手段と、
前記着目ブロック内の輝度成分、色差成分それぞれについて、互いに異なる複数の量子化パラメータを用いて仮のＤＰＣＭ符号化し、量子化パラメータ毎の符号量を求める第１の符号化手段と、
前記検出手段による検出の結果、前記第１の符号化手段で求めた量子化パラメータ毎の符号量、並びに、予め設定された目標符号量に基づき、前記着目ブロックに対してＤＰＣＭ符号化するか、ＰＣＭ符号化するか、並びに、ＤＰＣＭ符号化する場合には輝度成分に対して色差成分の量子化パラメータを小さくするためのオフセットを判定する判定手段と、
該判定手段の判定の結果に基づき、前記着目ブロックから前記目標符号量の符号化データを生成する第２の符号化手段とを有し、
前記第２の符号化手段は、
該判定手段が、前記着目ブロックに対して前記ＰＣＭ符号化すると判定した場合、当該着目ブロックの輝度成分及び色差成分のデータをＰＣＭ符号化を行って、前記目標符号量の符号化データを生成し、
該判定手段が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを無しにすると判定した場合には、当該着目ブロックの輝度成分及び色差成分を同じ量子化パラメータを用いて、ＤＰＣＭ符号化して、前記目標符号量の符号化データを生成し、
該判定手段が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを設定すると判定した場合には、当該着目ブロックの輝度成分、前記色差成分に対して前記オフセットに従った量子化パラメータを用いて、ＤＰＣＭ符号化し、前記目標符号量の符号化データを生成する
ことを特徴とする画像符号化装置。 An image encoding apparatus that inputs a block of a predetermined size in units from image data including a luminance component and a chrominance component, and generates encoded data in units of the block.
Detecting means for detecting the complexity of each of the luminance component and the color difference component in the block of interest;
First encoding means for provisionally DPCM-encoding each of the luminance component and the chrominance component in the block of interest using a plurality of mutually different quantization parameters, and calculating a code amount for each quantization parameter;
As a result of the detection by the detection unit, based on the code amount for each quantization parameter obtained by the first encoding unit and the target code amount set in advance, whether to perform DPCM encoding on the block of interest, A determination unit that determines whether to perform PCM encoding or, when performing DPCM encoding, an offset for reducing a quantization parameter of a chrominance component with respect to a luminance component;
A second encoding unit that generates encoded data of the target code amount from the block of interest based on a result of the determination by the determination unit,
The second encoding means includes:
When the determination means determines that the target block is to be subjected to the PCM encoding, the data of the luminance component and the chrominance component of the target block are subjected to the PCM encoding to generate encoded data of the target code amount. ,
When the determination unit determines that the block of interest is subjected to the DPCM encoding and the offset is eliminated, the luminance component and the color difference component of the block of interest are subjected to DPCM encoding using the same quantization parameter. Generating encoded data of the target code amount,
When the determination unit determines that the DPCM encoding is performed on the block of interest and the offset is set, a quantization parameter according to the offset is used for the luminance component and the color difference component of the block of interest. An image encoding apparatus that performs DPCM encoding to generate encoded data of the target code amount.
前記着目ブロック内の輝度成分の複雑度が予め設定された輝度成分の閾値より大きく、かつ、前記着目ブロック内の色差成分の複雑度が予め設定された色差成分の閾値より小さいという条件を満たすか否かを判定し、
前記条件を満たすと判定した場合に前記オフセットを設定すると判定し、
前記条件を満たさない場合に前記オフセットを無しにすると判定する
ことを特徴とする請求項１又は２に記載の画像符号化装置。 The determining means includes:
Whether the condition that the complexity of the luminance component in the block of interest is larger than a preset threshold of the luminance component and the complexity of the color difference component in the block of interest is smaller than the threshold of the preset color difference component Judge whether or not
When it is determined that the condition is satisfied, it is determined that the offset is to be set,
The image encoding device according to claim 1, wherein it is determined that the offset is absent when the condition is not satisfied.
第ｉ番目の量子化パラメータに従って前記着目ブロックの輝度成分をＤＰＣＭ符号化した際の符号量をｂｌ＿ｓｉｚｅ＿ｙ（ｉ）、色差成分をＤＰＣＭ符号化した際の符号量をｂｌ＿ｓｉｚｅ＿ｃ（ｉ）とし、
前記目標符号量をＴＡＲＧＥＴ＿ＳＩＺＥとし、
量子化パラメータの許容最大値をＮとし、
オフセットを設定すると判定された場合に予め設定された値を持ち、オフセットを無しと判定された場合の値“０”を持つ値をｏｆｆｓｅｔと定義したとき、
前記判定手段は、前記Ｎ以下であって、
ＴＡＲＧＥＴ＿ＳＩＺＥ≧｛ｂｌ＿ｓｉｚｅ＿ｈ＋ｂｌ＿ｓｉｚｅ＿ｙ（ｊ）＋ｂｌ＿ｓｉｚｅ＿ｃ（ｊ−ｏｆｆｓｅｔ）｝
を満たす最小の整数ｊを求め、
前記着目ブロックの輝度成分に対する量子化パラメータをｊ、
前記着目ブロックの色差成分に対する量子化パラメータをｊ−ｏｆｆｓｅｔ
として判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。 The size of the header part of the encoded data of one block is bl_size_h,
According to the i-th quantization parameter, the code amount when the luminance component of the block of interest is subjected to the DPCM coding is bl_size_y (i), and the code amount when the chrominance component is subjected to the DPCM coding is bl_size_c (i).
The target code amount is TARGET_SIZE,
Let N be the maximum allowable value of the quantization parameter,
When a value having a preset value when it is determined to set an offset and a value having a value “0” when it is determined to have no offset is defined as an offset,
The determination means is equal to or less than the N,
TARGET_SIZE ≧ {bl_size_h + bl_size_y (j) + bl_size_c (j-offset)}
Find the smallest integer j that satisfies
The quantization parameter for the luminance component of the block of interest is j,
The quantization parameter for the chrominance component of the block of interest is j-offset
The image encoding apparatus according to any one of claims 1 to 3, wherein the determination is made as:
ＴＡＲＧＥＴ＿ＳＩＺＥ≧｛ｂｌ＿ｓｉｚｅ＿ｈ＋ｂｌ＿ｓｉｚｅ＿ｙ（ｊ）＋ｂｌ＿ｓｉｚｅ＿ｃ（ｊ−ｏｆｆｓｅｔ）｝
を満たす最小の整数ｊを求めることができなかった場合、前記着目ブロックに対してＰＣＭ符号化を行うと判定する
ことを特徴とする請求項４に記載の画像符号化装置。 The determination means is equal to or less than the N,
TARGET_SIZE ≧ {bl_size_h + bl_size_y (j) + bl_size_c (j-offset)}
The image encoding device according to claim 4, wherein if the minimum integer j that satisfies is not determined, it is determined that PCM encoding is to be performed on the block of interest.
着目ブロック内の輝度成分、色差成分それぞれの複雑度を検出する検出工程と、
前記着目ブロック内の輝度成分、色差成分それぞれについて、互いに異なる複数の量子化パラメータを用いて仮のＤＰＣＭ符号化し、量子化パラメータ毎の符号量を求める第１の符号化工程と、
前記検出工程による検出の結果、前記第１の符号化工程で求めた量子化パラメータ毎の符号量、並びに、予め設定された目標符号量に基づき、前記着目ブロックに対してＤＰＣＭ符号化するか、ＰＣＭ符号化するか、並びに、ＤＰＣＭ符号化する場合には輝度成分に対して色差成分の量子化パラメータを小さくするためのオフセットを判定する判定工程と、
該判定工程の判定の結果に基づき、前記着目ブロックから前記目標符号量の符号化データを生成する第２の符号化工程とを有し、
前記第２の符号化工程では、
該判定工程が、前記着目ブロックに対して前記ＰＣＭ符号化すると判定した場合、当該着目ブロックの輝度成分及び色差成分のデータをＰＣＭ符号化を行って、前記目標符号量の符号化データを生成し、
該判定工程が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを無しにすると判定した場合には、当該着目ブロックの輝度成分及び色差成分を同じ量子化パラメータを用いて、ＤＰＣＭ符号化して、前記目標符号量の符号化データを生成し、
該判定工程が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを設定すると判定した場合には、当該着目ブロックの輝度成分、前記色差成分に対して前記オフセットに従った量子化パラメータを用いて、ＤＰＣＭ符号化し、前記目標符号量の符号化データを生成する
ことを特徴とする画像符号化装置の制御方法。 A control method of an image coding apparatus that inputs a block of a predetermined size as a unit from image data composed of a luminance component and a chrominance component and generates encoded data in a unit of the block,
A detection step of detecting the complexity of each of the luminance component and the chrominance component in the block of interest;
A first encoding step of tentatively DPCM-encoding each of the luminance component and the chrominance component in the block of interest using a plurality of mutually different quantization parameters, and obtaining a code amount for each quantization parameter;
As a result of the detection by the detection step, based on the code amount for each quantization parameter obtained in the first encoding step, and the target code amount set in advance, whether the block of interest is DPCM-encoded, A determination step of determining an offset for reducing a quantization parameter of a chrominance component with respect to a luminance component in the case of performing PCM encoding and, in the case of performing DPCM encoding,
A second encoding step of generating encoded data of the target code amount from the block of interest based on a result of the determination in the determination step,
In the second encoding step,
When the determination step determines that the PCM encoding is performed on the block of interest, the data of the luminance component and the color difference component of the block of interest is subjected to PCM encoding to generate encoded data of the target code amount. ,
When the determination step determines that the block of interest is subjected to the DPCM encoding and the offset is eliminated, the luminance component and the color difference component of the block of interest are subjected to DPCM encoding using the same quantization parameter. Generating encoded data of the target code amount,
When the determination step determines that the block of interest is subjected to the DPCM encoding and the offset is set, a quantization parameter according to the offset is used for the luminance component and the color difference component of the block of interest. A DPCM encoding method to generate encoded data of the target code amount.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018151964A JP7121584B2 (en) | 2018-08-10 | 2018-08-10 | Image encoding device and its control method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018151964A JP7121584B2 (en) | 2018-08-10 | 2018-08-10 | Image encoding device and its control method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020028022A true JP2020028022A (en) | 2020-02-20 |
| JP7121584B2 JP7121584B2 (en) | 2022-08-18 |
Family
ID=69622240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018151964A Active JP7121584B2 (en) | 2018-08-10 | 2018-08-10 | Image encoding device and its control method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7121584B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7514325B2 (en) | 2021-05-25 | 2024-07-10 | テンセント・アメリカ・エルエルシー | METHOD, APPARATUS, NON-TRANSITORY COMPUTER-READABLE STORAGE MEDIUM AND COMPUTER PROGRAM FOR VIDEO CODING - Patent application |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070092001A1 (en) * | 2005-10-21 | 2007-04-26 | Hiroshi Arakawa | Moving picture coding apparatus, method and computer program |
| US20110292247A1 (en) * | 2010-05-27 | 2011-12-01 | Sony Corporation | Image compression method with random access capability |
| JP2011259362A (en) * | 2010-06-11 | 2011-12-22 | Sony Corp | Image processing system and method of the same |
| US20160323578A1 (en) * | 2015-04-28 | 2016-11-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
-
2018
- 2018-08-10 JP JP2018151964A patent/JP7121584B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070092001A1 (en) * | 2005-10-21 | 2007-04-26 | Hiroshi Arakawa | Moving picture coding apparatus, method and computer program |
| JP2007116558A (en) * | 2005-10-21 | 2007-05-10 | Matsushita Electric Ind Co Ltd | Moving image encoding apparatus |
| US20110292247A1 (en) * | 2010-05-27 | 2011-12-01 | Sony Corporation | Image compression method with random access capability |
| JP2013530610A (en) * | 2010-05-27 | 2013-07-25 | ソニー株式会社 | Image compression method using random access function |
| JP2011259362A (en) * | 2010-06-11 | 2011-12-22 | Sony Corp | Image processing system and method of the same |
| US20130077676A1 (en) * | 2010-06-11 | 2013-03-28 | Kazushi Sato | Image processing device and method |
| US20160323578A1 (en) * | 2015-04-28 | 2016-11-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2016213528A (en) * | 2015-04-28 | 2016-12-15 | キヤノン株式会社 | Image encoder, image processing apparatus, image coding method |
Non-Patent Citations (1)
| Title |
|---|
| DAVID FLYNN, ET AL.: "RExt: CU-adaptive chroma QP offsets", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT -VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 15TH, vol. JCTVC-O0044, JPN6022027984, 31 October 2013 (2013-10-31), pages 1 - 4, ISSN: 0004821346 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7514325B2 (en) | 2021-05-25 | 2024-07-10 | テンセント・アメリカ・エルエルシー | METHOD, APPARATUS, NON-TRANSITORY COMPUTER-READABLE STORAGE MEDIUM AND COMPUTER PROGRAM FOR VIDEO CODING - Patent application |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7121584B2 (en) | 2022-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11166042B2 (en) | Encoding/decoding with flags to indicate switching of color spaces, color sampling rates and/or bit depths | |
| JP6626295B2 (en) | Image encoding device, image processing device, image encoding method | |
| US9749632B2 (en) | Method for determining color difference component quantization parameter and device using the method | |
| JP6512928B2 (en) | Image coding apparatus, image processing apparatus, image coding method | |
| US8204105B2 (en) | Transcoder and coded image conversion method | |
| US7443320B2 (en) | Decoding method and encoding method | |
| JP3888597B2 (en) | Motion compensation coding apparatus and motion compensation coding / decoding method | |
| TW201804797A (en) | Methods and apparatuses of video data processing and associated non-transitory computer readable medium | |
| US9942550B2 (en) | Image encoding device, image encoding method and program, image decoding device, and image decoding method and program | |
| US9131249B2 (en) | Apparatus for encoding moving images to minimize an amount of generated code | |
| US8879628B2 (en) | Floating point video coding | |
| JP7362847B2 (en) | Quantization parameter signaling | |
| KR20190016502A (en) | Substream multiplexing for display stream compression | |
| KR20180122354A (en) | Apparatus and methods for adaptive computation of quantization parameters in display stream compression | |
| JP6502739B2 (en) | Image coding apparatus, image processing apparatus, image coding method | |
| JP6502753B2 (en) | Image coding apparatus, image processing apparatus, image coding method | |
| JP7121584B2 (en) | Image encoding device and its control method and program | |
| JP2023553996A (en) | Derivation of offset in inter-component transform coefficient level restoration | |
| JP2024515888A (en) | Method, device and storage medium for multiple symbol arithmetic coding - Patents.com | |
| JP6985924B2 (en) | Image coding device, image processing device, image coding method | |
| KR102020953B1 (en) | Image Reencoding Method based on Decoding Data of Image of Camera and System thereof | |
| JP6749725B2 (en) | Image coding apparatus, image processing apparatus, and image coding method | |
| JP7444541B2 (en) | Image encoding device, image decoding device, imaging device, image encoding method, image decoding method, and program | |
| JP3948442B2 (en) | Motion compensation decoding apparatus | |
| JP2020028021A (en) | Image encoding apparatus, control method of the same, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210727 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220708 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220805 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7121584 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |