JP4956612B2 - 画像符号化装置及び画像符号化方法 - Google Patents
画像符号化装置及び画像符号化方法 Download PDFInfo
- Publication number
- JP4956612B2 JP4956612B2 JP2009510624A JP2009510624A JP4956612B2 JP 4956612 B2 JP4956612 B2 JP 4956612B2 JP 2009510624 A JP2009510624 A JP 2009510624A JP 2009510624 A JP2009510624 A JP 2009510624A JP 4956612 B2 JP4956612 B2 JP 4956612B2
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- encoding
- quantization matrix
- quantization
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、画像信号の量子化・逆量子化に用いられる画像符号化装置及び画像符号化方法に関するものである。
ITU−T及びISO/IEC等で勧告されているITU−T T.81及びISO/IEC10918−1(以下、JPEG:Joint Photographic Experts Group)では、変換係数を同じ量子化スケールで量子化(符号化)する場合、全周波数領域に対して均等に量子化が行われている。また、人間の視覚特性は、高周波数領域部分に比較的鈍感であるため、JPEGでは、量子化マトリクスと呼ばれる係数表を用いて周波数領域毎に重み付けを行うことで、低周波数成分に比べて高周波数成分でより粗い量子化を行うのが一般的である。このような視覚特性を利用した量子化マトリクスは、DCT(離散コサイン変換)係数の分布をラプラス分布と仮定し、符号化歪みが最小となるよう設計が行われている。
また、ISO/IEC MPEG−1、2、4、ITU−T H.261、H.263といった従来の動画符号化方法でも、直交変換後のDCT(離散コサイン変換)係数に対して量子化を行い、変換係数の符号量削減を行っている。更に近年、符号化効率を大幅に向上させた動画像符号化方法が、ITU−TとISO/IECとにより、ITU−T Rec.H.264及びISO/IEC 14496−10として勧告されている(以下、「H.264」という)。このH.264ハイプロファイルでは、二種類の変換量子化ブロックサイズ(4×4画素ブロックと8×8画素ブロック)に対応して、符号化モード毎(画面内予測と画面間予測)、信号毎(輝度信号、色差信号)に合計8種類の異なる量子化マトリクスを持つことが可能となっている。
従来、周波数位置毎に量子化スケールを変更できるという量子化マトリクスの特性を生かすため、視覚特性を考慮した量子化マトリクスの設計方法が提案されている(例えば、非特許文献1参照)。また、符号化効率を向上させるため画像依存性が高い量子化マトリクスを符号化歪みDと符号量Rの最適化によって設計する技術が提案されている(例えば、非特許文献2参照)。また、量子化マトリクスをモデル化することで設計を簡易化する技術が提案されている(例えば、非特許文献3参照)。
Y.Chen、"Fast Computation of perceptually Optimal Quantization Matrix for Mpeg−2 Intra Pictures"、ICIP−98 p419−422、Oct、1998
S.W.Wu、"Rate−Constrained Picture−Adaptive Quantization for JPEG Baseline Coders"、ICASP−93、p389−392、April 1993
J.Lee、"Rate−Distortion Optimization of Parameterized Quantization Matrix for MPEG−2 Encoding"、ICIP−98 p383−386、Oct、1998
しかしながら、非特許文献1の技術では、実際の符号量は考慮されていないため、符号化効率の点から見ると最適に設計されているとは言えず、非効率的な符号化が行われてしまう可能性がある。また、非特許文献2の技術では、周波数位置毎の再符号化処理が必要となるため、比較的大きな処理コストが必要となり実用的ではない。また、非特許文献3の技術では、モデル化に必要なパラメータの組み合わせが大量に存在するため、非特許文献2と同様比較的大きな処理コストが必要となり実用的ではない。
本発明は、上記に鑑みてなされたものであって、符号化効率の向上とともに、量子化マトリクスの設計に要する処理コストを削減することが可能な画像符号化装置及び画像符号化方法を提供することである。
上述した課題を解決し、目的を達成するために、本発明は、画像信号を取得する画像取得手段と、量子化マトリクスを導出するためのモデル式に含まれる複数のパラメータから、一つの選択パラメータを順次選択し、この選択パラメータの値を所定の値に更新するモデル化パラメータ設定手段と、前記選択パラメータの更新毎に、前記モデル式を用いて前記量子化マトリクスを算出する量子化マトリクス算出手段と、前記量子化マトリクスを用いて前記画像信号の仮符号化を行い、符号量、符号化歪み、及び、量子化スケールを示した量子化パラメータ、を導出する仮符号化手段と、前記符号量と選択パラメータとの関係を近似した第1近似式と、前記符号化歪みと選択パラメータとの関係を近似した第2近似式と、を夫々算出する近似式推定手段と、前記第1近似式及び第2近似式を用いて、前記符号量と符号化歪みとの関係を示した符号量歪み関係式を算出する符号量歪み式算出手段と、前記符号量歪み関係式と前記量子化パラメータとを用いて、目標符号量又は目標符号化歪みを算出する目標符号量算出手段と、前記第1近似式を用いて前記目標符号量に対応する前記選択パラメータの値、又は、前記第2近似式を用いて前記目標符号化歪みに対応する前記選択パラメータの値を算出するモデル化パラメータ算出手段と、前記モデル化パラメータ算出手段により算出された前記選択パラメータの値と、前記モデル式とに基づいて、前記画像信号の符号化に利用するための最適化済量子化マトリクスを算出する最適化済量子化マトリクス算出手段と、前記最適化済量子化マトリクスを用いて、前記画像信号の符号化を行う本符号化処理手段と、を備え、前記近似式推定手段は、前記符号量の対数と前記符号化歪みの対数とが前記選択パラメータに対して夫々線形近似となるよう、前記第1近似式及び前記第2近似式を算出することを特徴とする。
また、本発明は、画像信号を取得する画像取得工程と、量子化マトリクスを導出するためのモデル式に含まれる複数のパラメータから、一つの選択パラメータを順次選択し、前記選択パラメータの値を所定の値に更新するモデル化パラメータ設定工程と、前記選択パラメータの更新毎に、前記モデル式を用いて前記量子化マトリクスを算出する量子化マトリクス算出工程と、前記量子化マトリクスを用いて前記画像信号の仮符号化を行い、符号量、符号化歪み、及び、量子化スケールを示した量子化パラメータ、を導出する仮符号化工程と、前記符号量と選択パラメータとの関係を近似した第1近似式と、前記符号化歪みと選択パラメータとの関係を近似した第2近似式と、を夫々算出する近似式推定工程と、前記第1近似式及び第2近似式を用いて、前記符号量と符号化歪みとの関係を示した符号量歪み関係式を算出する符号量歪み式算出工程と、前記符号量歪み関係式と前記量子化パラメータとを用いて、目標符号量又は目標符号化歪みを算出する目標符号量算出工程と、前記第1近似式を用いて前記目標符号量に対応する前記選択パラメータの値、又は、前記第2近似式を用いて前記目標符号化歪みに対応する前記選択パラメータの値を算出するモデル化パラメータ算出工程と、前記モデル化パラメータ算出工程で算出された前記選択パラメータの値と、前記モデル式とに基づいて、前記画像信号の符号化に利用するための最適化済量子化マトリクスを算出する最適化済量子化マトリクス算出工程と、前記最適化済量子化マトリクスを用いて、前記画像信号の符号化を行う本符号化処理工程と、を含み、前記近似式推定工程では、前記符号量の対数と前記符号化歪みの対数とが前記選択パラメータに対して夫々線形近似となるよう前記第1近似式及び第2近似式を算出することを特徴とする。
本発明によれば、仮符号化時に実際に算出された符号量及び符号化歪みを用いてモデル式から量子化マトリクスを求めるため、画像信号に適した量子化マトリクスを設計することができ、符号化効率の向上を図ることができる。また、符号量及び符号化歪みと量子化マトリクスにかかるパラメータとの関係を近似式で表し、当該近似式に基づいて最適化済量子化マトリクスを求めるため、量子化マトリクスの設計に要する処理コストを削減することができる。
100 画像符号化装置
200 画像符号化装置
300 画像符号化装置
1 CPU
2 ROM
3 RAM
4 HDD
5 通信I/F
6 バス
11 符号化処理部
12 量子化マトリクス設計部
121 モデル化パラメータ初期化部
122 モデル化パラメータ設定部
123 量子化マトリクス算出部
124 モデル化曲線推定部
125 符号量歪み曲線推定部
126 目標符号量算出部
127 モデル化パラメータ算出部
128 目標符号化歪み算出部
13 符号化制御部
14 領域分割部
141 特徴量抽出部
142 領域分別部
143 領域分割情報生成部
144 分割処理制御部
15 領域選択部
151 ダウンサンプリング部
152 ポストフィルタ部
153 切り替えスイッチ
154 選択制御部
200 画像符号化装置
300 画像符号化装置
1 CPU
2 ROM
3 RAM
4 HDD
5 通信I/F
6 バス
11 符号化処理部
12 量子化マトリクス設計部
121 モデル化パラメータ初期化部
122 モデル化パラメータ設定部
123 量子化マトリクス算出部
124 モデル化曲線推定部
125 符号量歪み曲線推定部
126 目標符号量算出部
127 モデル化パラメータ算出部
128 目標符号化歪み算出部
13 符号化制御部
14 領域分割部
141 特徴量抽出部
142 領域分別部
143 領域分割情報生成部
144 分割処理制御部
15 領域選択部
151 ダウンサンプリング部
152 ポストフィルタ部
153 切り替えスイッチ
154 選択制御部
以下に添付図面を参照して、この発明にかかる画像符号化装置及び画像符号化方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
[第1の実施の形態]
図1は、本実施形態の画像符号化装置100の構成を示すブロック図である。図1に示すように、画像符号化装置100は、CPU(Central Processing Unit)1、ROM(Read Only Memory)2、RAM(Random Access Memory)3、HDD(Hard Disk Drive)4、通信I/F5等から構成されており、各部はバス6により接続されている。
図1は、本実施形態の画像符号化装置100の構成を示すブロック図である。図1に示すように、画像符号化装置100は、CPU(Central Processing Unit)1、ROM(Read Only Memory)2、RAM(Random Access Memory)3、HDD(Hard Disk Drive)4、通信I/F5等から構成されており、各部はバス6により接続されている。
CPU1は、RAM3の所定領域を作業領域として、ROM2やHDD4(以下、総称して記憶部という)に予め記憶された各種制御プログラムとの協働により各種処理(例えば、後述する画像符号化処理)を実行し、画像符号化装置100を構成する各部の動作を統括的に制御する。
ROM2は、画像符号化装置100の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。
RAM3は、SDRAM(Synchronous DRAM)等の記憶装置であって、各種データを書換え可能に記憶する性質を有していることから、CPU1の作業エリアとして機能してバッファ等の役割を果たす。
HDD4は、磁気的又は光学的に記録可能な記録媒体を有し、通信I/F5を介して入力された画像信号や後述する符号化処理部11(図2参照)により符号化された符号化データ、画像符号化装置100の制御にかかるプログラムや各種設定情報等を記憶する。
通信I/F5は、画像処理装置等の外部機器との間で通信を行うインターフェースであって、外部機器から入力された画像信号(以下、入力画像信号という)をCPU1に出力する。なお、ここで画像信号とは、静止画像、動画像を含む概念であるものとする。
図2は、画像符号化装置100の機能構成を示すブロック図である。図2に示すように、CPU1が記憶部に予め記憶された所定のプログラムに従って各部を制御することにより、符号化処理部11、量子化マトリクス設計部12及び符号化制御部13がRAM3に生成されるようになっている。ここで、通信I/F5を介して入力された入力画像信号は、符号化制御部13が管理するタイミングで符号化処理部11へと入力されるようになっている。
符号化処理部11は、通信I/F5を介して入力された1フレームの入力画像信号(符号化フレーム)を取得し、この入力画像信号に対し、図3に示した予測処理S1、モード判定処理S2、変換量子化処理S3、エントロピー符号化処理S4等を施すことで、符号化データを生成し出力する。
予測処理S1では、既に復号化処理が行われた参照画像信号を用いて、予測モードとして予め規定された方法により、符号化フレーム毎の予測信号(予測画像)を生成する。ここで、参照画像信号とは、既に符号化処理が終了しており、後述する局所復号画像として生成された、時間的又は空間的に位置する特定の画素を指している。具体的な予測モードの例としては、符号化フレーム内の参照画像信号だけを用いて予測する画面内(フレーム内)予測モードや、時間的に異なるフレームの参照画像信号を用いて予測する画面間(フレーム間)予測モード等が挙げられる。予測処理S1では更に、入力画像信号と予測信号を差し引いた予測誤差信号の生成も行う。
モード判定処理S2では、予測処理S1により生成された予測誤差信号に基づいて、予め規定された複数の予測モード候補のうち、符号化対象となった符号化フレームに適した予測モードを選択する。具体的に説明すると、モード判定処理S2では、予測処理S1により生成された差分誤差値、つまり予測信号と原画像信号(つまり、符号化対象となった1フレーム分の入力画像信号)との差分値の絶対値を表す差分誤差SADと、現在の予測モードに必要なサイド情報の値OHと、を下記(1)式のコスト関数に代入することでコストKの値を導出し、このコストKの値に基づいて予測モードの妥当性を判定する。ここで、λは量子化スケールに対応する量子化パラメータの値に応じて定まる所定の定数である。
モード判定処理S2では、予測モード毎に(1)式のコスト関数により導出される各コストKの値を比較し、その値が最小となる予測モードを符号化対象となった符号化フレームに最適な予測モードとして選択する。一般に、最適となる予測モードは、符号化フレーム内に含まれる画素ブロックの性質によって夫々異なることになる。そのため、本実施形態のように符号化フレーム毎にその性質に応じた適切な予測モードを選択することで、高い符号化効率を得ることができる。
なお、本実施形態では、差分誤差SADとサイド情報の値OHとを用いて、予測モードの妥当性を判定する態様としたが、これに限らず、例えば、差分誤差SAD又はサイド情報の値OHのみを用いて判定する態様としてもよいし、量子化スケールを利用してコスト関数を作成し、このコスト関数から導出されるコストKに基づいて判定する態様としてもよい。また、これらをアダマール変換したり、近似したりした値を用いて判定する態様としてもよい。また、後述する入力画像信号のアクティビティを用いてコスト関数を作成してもよいし、量子化スケールを利用してコスト関数を作成してもよい。
また、他の態様としては、特定の予測モードにて一旦仮符号化を行った後、仮符号化した際の符号量と変換係数を局所復号した局所復号画像と入力画像信号との二乗誤差を用いて予測モードの妥当性を判定することとしてもよい。この場合のモード判定式は下記式(2)のように表すことができる。
ここで、Dは入力画像信号と後述する局所復号画像信号の二乗誤差を表す符号化歪みであり、Rは仮符号化によって見積もられた符号量を表している。モード判定処理S2では、各予測モードに応じて(2)式により導出されるコストJのうち、その値が最小となる予測モードを最適な予測モードとして選択する。本例においては、符号化モード毎にエントロピー符号化と局所復号(逆量子化処理や逆変換処理を含む)を行うため、正確な符号量と符号化歪みを用いることが可能となり、符号化効率を高く維持することができる。なお、(2)式で示したコスト関数の場合も、符号化歪みD又は符号量Rのみを用いて判定する態様としてもよいし、これらを近似等した値を用いて判定する態様としてもよい。
変換量子化処理S3では、予測処理S1で生成された予測信号と入力画像信号との差分値を直行変換(例えば、離散コサイン変換等)する。また、変換量子化処理S3では、直行変換された差分値(以下、変換係数という)に対し、後述する量子化マトリクス(最適化済量子化マトリクス)を用いて量子化処理を行う。なお、変換量子化処理S3では、局所復号画像信号を生成するために行われる逆量子化処理、逆変換処理も行われるものとする。この逆量子化処理では量子化された変換係数が逆量子化され、更に逆変換処理において逆量子化された変換係数が逆変換されることで差分値が抽出される。そして、抽出された差分値と予測信号とが加算することによって、局所復号画像信号が生成される。この生成された局所復号画像信号は、予測処理S1を行うための上述した参照画像信号として利用されるようになっている。
エントロピー符号化処理S4では、量子化された変換係数をエントロピー符号化処理によりエントロピー符号化(例えば、ハフマン符号化や算術符号化等)を行う。
符号化処理部11では、エントロピー符号化処理S4の過程で符号化が完了した際の符号量Rを算出し、また、局所復号画像と入力画像信号との二乗誤差を符号化歪みDとして算出する。そして、これら符号量R、符号化歪みDとともに量子化を行った際の量子化スケール等を示した量子化パラメータを、量子化マトリクス設計部12に出力する。
なお、本実施形態では、上記符号化処理を図4−1に示した符号化フレームF単位で処理するものとするが、これに限らず、例えば、符号化シーケンス単位で処理する態様としてもよいし、図4−2に示したように、符号化フレームFを複数の矩形スライス(例えば、矩形スライス1〜3)に分割し、各矩形スライス単位で処理する態様としてもよい。また、図4−3に示したように、符号化フレームFを、円形、菱形、ダイヤモンド型、L字型等の形状領域(例えば、スライス1、2)に分割し、各形状領域単位で処理を行う態様としてもよいし、図4−4に示したように、複数の画素P(例えば、16×16画素)から構成される画素ブロック(量子化ブロック)Bを処理単位としてもよい。
量子化マトリクス設計部12は、符号化処理部11から入力される符号量R、符号化歪みD及び量子化パラメータに基づいて、量子化マトリクスを設計し、この設計した量子化マトリクスを符号化処理部11へと出力する。ここで、量子化マトリクス設計部12で設計される量子化マトリクスは、所定の関係式により予めモデル化が実施されているものとする。以下、量子化マトリクスのモデル化について説明する。量子化マトリクスは、符号化処理部11で利用される処理単位(量子化ブロック)の形状に応じた行列で表される。ここで、図5−1は、量子化ブロックが4×4画素の場合の量子化マトリクスの一例を示しており、図5−2は、量子化ブロックが8×8画素の場合の量子化マトリクスの一例を示している。
量子化マトリクスの行列に含まれる夫々の値は、量子化スケールの重み付けの大きさを示しており、大きな値は荒く量子化され、小さな値は細かく量子化されるようになっている。行列中の左上(0、0)成分が周波数におけるDC値に対応する量子化スケールの重み付けの大きさを表しており、右下に行くほどAC成分の高周波成分に対応する値となる。ここで量子化マトリクスのモデル化とは、複数のモデル化パラメータを用いて量子化マトリクスを定式化することである。以下、量子化マトリクスを定式化する方法の一例を、図6を参照しながら説明する。
図6−1、図6−2は、モデル化した量子化マトリクスの位置(周波数位置r)と量子化マトリクスの値Qとの関係を示したグラフである。ここで、周波数位置rは、下記式(3)により導出される値である。
ここで、i、jは夫々量子化マトリクスの位置を表すインデックスである。例えば、図5−1で示した量子化マトリクスにおいて、DC値は(i、j)=(0、0)であるため、その量子化マトリクスの値Qは、Q(0、0)=6となる。なお、図6−1、6−2において、DC値のマトリクスの値QをCとしている。図6−1では、このDC値の量子化スケールCを切片として、マトリクスの値の変化の傾きを勾配aとすることで、量子化マトリクスをモデル化している。モデル化された量子化マトリクスは、下記(4)のモデル式で表される。なお、(4)式においてQ(r)は、Q(i、j)を一次元で表したものである。
一方、図6−2は、他の方法を用いてモデル化した場合の状態を示している。ここでは、より複雑なモデルとして、図6−3で示されるサイン関数を用いている。ここで用いたサイン関数は、下記(5)式で定義されるように、大きさbの振幅を有している。
ここで、(4)式と(5)式を加算することで、図6−2の量子化マトリクスの状態を下記(6)のモデル式で表すことができる。
(4)式において、量子化マトリクスのモデル化のためのパラメータセット(以下、モデル化パラメータセットという)は(a、c)の二つであり、(6)式では(a、b、c)の三つとなる。以下説明する、量子化マトリクス設計部12では、符号化処理部11から入力される符号量、符号化歪み及び量子化パラメータに基づいて、これらモデル化パラメータセットの値を導出し、後述する最適化済量子化マトリクスの算出を行う。
本実施形態では、上記した(6)式を用いたモデル化方法について以下詳細に説明するが、これに限らず、(4)式を用いることとしてもよいし、sin関数の内部変数を変更してもよい。また、周波数位置を示す「r」を縦方向又は横方向に重み付けた関数として利用してもよいし、コサイン関数や指数関数、シグモイド関数等を用いて新たにモデル化してもよい。いずれにせよ、モデル化パラメータによって、周波数位置毎に量子化スケールの値が変化し、モデル化パラメータの増減によって後述する符号量Rと符号化歪みDとの対数が線形に変化する性質の関係を利用することが重要である。
以下、図7を参照して量子化マトリクス設計部12が有する各機能部について説明する。図7は、量子化マトリクス設計部12の機能構成を示したブロック図である。同図に示すとおり、量子化マトリクス設計部12は、モデル化パラメータ初期化部121、モデル化パラメータ設定部122、モデル化曲線推定部124、符号量歪み曲線推定部125、目標符号量算出部126、モデル化パラメータ算出部127及び量子化マトリクス算出部123を有する。
モデル化パラメータ初期化部121は、(6)式のモデル化パラメータセット(a、b、c)を、記憶部に予め記憶された設定情報に基づいて、所定の初期値(例えば、(a、b、c)=(0、0、16))に設定(初期化)する。また、モデル化パラメータ初期化部121は、記憶部に記憶された後述するモデル化曲線情報、符号化歪み曲線情報、目標符号量を所定の初期値(例えば、null)に初期化する。
モデル化パラメータ設定部122は、後述するモデル化パラメータ算出部127から入力されるモデル化パラメータ算出フラグに基づいて、モデル化パラメータの設定を行う。ここで、モデル化パラメータ算出フラグとは、モデル化パラメータ算出部127から入力されるモデル化パラメータの算出にかかる状態を示すフラグである。このモデル化パラメータ算出フラグが「0」を示す場合、モデル化パラメータの算出が不可能な状態であることを意味し、「1」を示す場合、モデル化パラメータの算出が可能な状態であることを意味している。
モデル化パラメータ設定部122は、記憶部に予め記憶されたモデル化パラメータテーブルを参照し、モデル化パラメータ算出フラグの状態に応じた値をモデル化パラメータ毎に設定する。図8は、記憶部に記憶されたモデル化パラメータテーブルの一例を模式的に示した図である。
図8を参照して、モデル化パラメータ設定部122の動作を説明する。モデル化パラメータ算出部127から入力されたモデル化パラメータ算出フラグが「0」であった場合、モデル化パラメータ設定部122は、後述するモデル化パラメータインデックスに対応するモデル化パラメータに、モデル化パラメータテーブルの1回目に登録された値を設定することで、モデル化パラメータセットを更新する。一方、モデル化パラメータ算出フラグが「1」であった場合、後述するモデル化パラメータインデックスに対応するモデル化パラメータに、モデル化パラメータテーブルの2回目に登録された値を設定することで、モデル化パラメータセットを更新する。
つまり、モデル化パラメータaには、モデル化パラメータ算出フラグが「0」の時「0」が、モデル化パラメータ算出フラグが「1」の時「4」が夫々設定されることになる。同様に、モデル化パラメータbには、モデル化パラメータ算出フラグが「0」の時「−2」が、モデル化パラメータ算出フラグが「1」の時「2」が夫々設定されることになり、モデル化パラメータcには、モデル化パラメータ算出フラグが「0」の時「10」が、モデル化パラメータ算出フラグが「1」の時「20」が夫々設定されることになる。なお、モデル化パラメータ設定部122は、モデル化パラメータ算出フラグが「1」あった場合、上述したモデル化パラメータの設定とともに、後述するモデル化パラメータインデックスの値を1インクリメントすることで、次のモデル化パラメータを設定対象とする。
また、モデル化パラメータ設定部122は、モデル化パラメータセット(a、b、c)のうち、処理対象となるモデル化パラメータを示すモデル化パラメータインデックスをRAMに保持している。具体的には、モデル化パラメータaの推定時にはモデル化パラメータインデックスは「0」を設定するようになっている。また、モデル化パラメータbの推定時にはモデル化パラメータインデックスは「1」を、モデル化パラメータcの推定時にはモデル化パラメータインデックスは「2」を設定するようになっている。
モデル化パラメータ設定部122では、まずモデル化パラメータaの一回目(モデル化パラメータ算出フラグ「0」)の値が設定されると、この設定されたモデル化パラメータaの値が量子化マトリクス算出部123及びモデル化曲線推定部124へと渡される。つまり、モデル化パラメータ設定部122は、モデル化パラメータの設定毎に、当該設定されたモデル化パラメータの値を量子化マトリクス算出部123及びモデル化曲線推定部124へと渡すようになっている。
量子化マトリクス算出部123では、モデル化パラメータ設定部122で設定されたモデル化パラメータの値を受けると、当該モデル化パラメータの値を代入した(6)式を用いて、量子化マトリクスを求め、この量子化マトリクスを符号化処理部11に出力する。これにより、この量子化マトリクスに応じた符号量R、符号化歪みD及び量子化パラメータが符号化処理部11から量子化マトリクス設計部12にフィードバックされることになる。そして、符号化処理部11から出力された符号量R、符号化歪みD及び量子化パラメータは、量子化マトリクス設計部12の各機能部が参照可能なRAMの所定領域に保持される。
また、量子化マトリクス算出部123は、モデル化パラメータ算出部127から、後述する最適化済パラメータセット(a、b、c)を受け取ると、この最適化済パラメータセットの各値を代入した(6)式用いて、量子化マトリクス(以下、最適化済量子化マトリクスという)を求め、この最適化済量子化マトリクスを符号化処理部11に出力する。
モデル化曲線推定部124は、モデル化パラメータ設定部122で設定されたモデル化パラメータセットと、符号化処理部11から入力された符号量R及び符号化歪みDとに基づいて、後述するモデル化曲線情報を算出し、符号量歪み曲線推定部125に出力する。
具体的に、モデル化曲線推定部124は、モデル化パラメータ算出部127により設定されたモデル化パラメータ算出フラグの状態をチェックし、この値が「0」である時、入力された各種情報を1回目のモデル化パラメータとしてRAM3に格納し、モデル化パラメータの推定を行わずに、モデル化パラメータ初期化部121で初期化されたモデル化曲線情報を符号化歪み曲線推定部125に出力する。
また、モデル化パラメータ算出フラグの状態が「1」である時、モデル化曲線推定部124は、入力された各種情報を2回目のモデル化パラメータとしてRAM3に格納する。そして、モデル化曲線推定部124は、格納した2回分のモデル化パラメータに基づいて、モデル化パラメータを表す近似式(モデル化曲線)の算出(推定)を行う。なお、本実施形態では、モデル化パラメータSが符号量Rの対数と、符号化歪みDの対数とに線形近似できる性質を利用して、モデル化曲線を推定する。ここで、モデル化パラメータSは、モデル化パラメータa、b、cのうち、最適化対象となった一のモデル化パラメータを意味する。
図9は、モデル化パラメータSを符号量Rの対数と、符号化歪みDの対数とに線形近似した一例を示す図である。ここではモデル化パラメータの増加に伴って、符号量Rの対数と符号化歪みDの対数とが単調変化する様子が図示されている。同図で示すような符号量R及び符号化歪みDは、下記(7)式及び(8)式で近似することができる。
ここで、d、e、f、gは、符号化領域ごとに異なる所定の固定値を示している。また、Rは符号量、Dは符号化歪みを表しており、Sはモデル化パラメータを表している。モデル化曲線推定部124は、RAM3に格納した2回分の符号量Rと符号化歪みDとのセット(R1、D1)、(R2、D2)を用いて、上記(7)、(8)式から、d、e、f、gの値を算出する。これにより、符号量Rとモデル化パラメータSとの関係式と、符号化歪みDとモデル化パラメータSとの関係式とが得られる。モデル化曲線推定部124は、この取得した二つの関係式をモデル化曲線情報として、符号量歪み曲線推定部125に出力する。なお、モデル化曲線推定部124は、量子化マトリクス算出部123において、符号化処理部11の処理単位に応じて量子化マトリクスが求められた場合には、この処理単位毎にモデル化曲線情報を出力することは言うまでもない。
符号量歪み曲線推定部125は、モデル化曲線推定部124から入力されたモデル化曲線情報に基づいて、後述する符号量歪み曲線情報を算出し、目標符号量算出部126に出力する。
具体的に、符号量歪み曲線推定部125は、モデル化曲線推定部124から入力されたモデル化曲線情報が初期値であるか否かを判別し、初期値であることを確認した場合、モデル化パラメータ初期化部121で初期化された符号量歪み曲線情報を符号化歪み曲線推定部125に出力する。
また、入力されたモデル化曲線情報が初期値でないことを確認した場合、符号量歪み曲線の推定を行う。具体的に説明すると、符号量歪み曲線推定部125は、モデル化曲線情報として入力された上記(7)、(8)式からモデル化パラメータSを削除し、次の(9)式を導出する。
ここで、k、lは、下記式(10)、(11)で示される。
つまり、符号量歪み曲線推定部125では、入力されたモデル化曲線情報から、(9)式の関係式が算出される。そして、この算出された関係式が符号量歪み曲線情報として、目標符号量算出部126に出力される。
目標符号量算出部126は、符号量歪み曲線推定部125から入力された符号量歪み曲線情報に基づいて、後述する目標符号量情報を算出し、モデル化パラメータ算出部127に出力する。
具体的に、目標符号量算出部126は、符号量歪み曲線推定部125から入力された符号量歪み曲線情報が初期値であるか否かを判別し、初期値であることを確認した場合、モデル化パラメータ初期化部121で初期化された目標符号量情報をモデル化パラメータ算出部127に出力する。
また、入力された符号量歪み曲線情報が初期値でないことを確認した場合、目標符号量の算出を行う。具体的に説明すると、目標符号量算出部126は、符号量歪み曲線情報として入力された(9)式を、下記(12)式のように変形する。
次に、目標符号量算出部126は、(12)式の両辺を符号量Rについて偏微分することで、下記(13)式を導出する。
ここで、(2)式で示されるラグランジュ未定乗数法を用いることにより、目標符号量Rc<符号量Rの制約から下記(14)式が成り立つ。
次に、目標符号量算出部126は、(13)及び(14)式から、下記(15)式を導出し、この導出した(15)式を目標符号量情報として、モデル化パラメータ算出部127へと出力する。なお、(15)式において、k及びlは、(10)、(11)式により導出された値である。
モデル化パラメータ算出部127は、目標符号量算出部126から入力された目標符号量情報及び符号化処理部11から入力された量子化パラメータを用いて、モデル化パラメータSの値を算出する。
具体的に、モデル化パラメータ算出部127は、目標符号量算出部126から入力された目標符号量情報が初期値か否かを判別し、初期値であることを確認した場合、モデル化パラメータ算出フラグを「1」に設定した後、後述する算出処理によりモデル化パラメータSの算出を行う。また、入力された目標符号量情報が初期値でないことを確認した場合、モデル化パラメータ算出フラグを「0」に設定した後、モデル化パラメータSの算出を行う。
以下、モデル化パラメータSの算出について説明する。本実施形態のモデル化パラメータ算出部127は、下記(15)式で示されるラグランジュ未定乗数が量子化パラメータの関数で近似できる性質を利用することで、モデル化パラメータSを導出する。なお、(16)式において、QPは量子化パラメータを示している。
まず、モデル化パラメータ算出部127は、(16)式と(15)式で表される目標符号量情報とに基づいて、λを消去することにより目標符号量Rcを算出する。そして、モデル化パラメータ算出部127は、算出した目標符号量Rcを、(7)式の符号量Rに代入することにより、モデル化パラメータSを導出する。
ここで、一回目及び二回目に導出したモデル化パラメータSの値が大きく外れている場合、符号化フレーム内の発生符号量が非常に少ないことが予想される。例えば、変換係数が全て0の場合、符号化対象のフレームでは量子化を行う必要が無く、量子化マトリクスによって符号量が変動しない。そのため、モデル化パラメータ算出部127は、一回目と二回目に導出したモデル化パラメータSの値を比較し、両モデル化パラメータSの値が所定値以上離れている場合、予め規定しておいた想定値範囲内(例えば、モデル化パラメータaでは、図8の0〜4の範囲内)の値にクリッピングする(置き換える)ことでモデル化パラメータの補正を行う。
これにより、モデル化パラメータSの値が想定される所定値から大きく外れてしまうような場合であっても、予め規定しておいた想定値範囲内に補正することが可能であるため、符号化効率を維持することができる。
なお、本実施形態では、クリッピングを行う態様としたが、これに限らず、他の実施態様として、予め規定しておいたデフォルトの値に設定する態様としてもよいし、導出したモデル化パラメータSを利用しないよう設定する態様としてもよい。
上述したとおり、モデル化パラメータ算出部127により設定されたモデル化パラメータ算出フラグは、モデル化パラメータ設定部122及びモデル化曲線推定部124へと渡される。これにより、モデル化パラメータ算出ループ(モデル化パラメータ設定部122→量子化マトリクス算出部123→符号化処理部11→モデル化曲線推定部124→符号量歪み曲線推定部125→目標符号量算出部126→モデル化パラメータ算出部127へと渡る処理のループ)は、1のモデル化パラメータに対して2回ずつ行われることになる。本実施形態では、3つのモデル化パラメータ(a、b、c)が導出される必要があるため、合計6回のモデル化パラメータ算出ループが行われることになる。
モデル化パラメータ算出部127では、6回のモデル化パラメータ算出ループを行うことで得られたモデル化パラメータセット(以下、最適化済パラメータセットという)を量子化マトリクス算出部123へと出力する。
図2に戻り、符号化制御部13は、符号化処理部11の発生符号量のフィードバック制御及び量子化特性制御、モード判定制御等を行う、発生符号量の制御を行うレート制御や、予測処理の制御、外部入力パラメータの制御、符号化全体の制御を行う。また、符号化制御部13は、量子化マトリクス設計部12と符号化処理部11とのタイミング制御を行い、適切なタイミングで符号化データを外部に出力する機能を有する。
次に、図10を参照して、本実施形態の画像符号化装置100で行われる画像符号化方法について説明する。図10は、画像符号化処理の流れを示したフローチャートである。
まず、画像符号化装置100に1フレーム分の入力画像信号が入力されると、符号化制御部13により制御の下、モデル化パラメータ初期化部121は、所定のタイミングでモデル化パラメータセット、モデル化曲線情報、符号化歪み曲線情報及び目標符号量の初期化を行い、初期化したモデル化パラメータセットをモデル化パラメータ設定部122に出力する(ステップS11)。
続くステップS12では、モデル化パラメータ設定部122により、モデル化パラメータ設定処理が行われる。以下、図11を参照して、ステップS12のモデル化パラメータ設定処理について説明する。
図11は、モデル化パラメータ設定部122により実行されるモデル化パラメータ設定処理の流れを示したフローチャートである。まず、モデル化パラメータ設定部122は、モデル化パラメータ算出部127から入力されたモデル化パラメータ算出フラグの状態を判別する(ステップS121)。ここで、入力されたモデル化パラメータ算出フラグが「0」と判別した場合には(ステップS121;0)、モデル化パラメータテーブルを参照し、モデル化パラメータセットのうち、最適化対象となったモデル化パラメータに当該モデル化パラメータに対応する1回目の設定値を設定することで、モデル化パラメータセットを更新し(ステップS122)、ステップS13へと移行する。
一方、ステップS121において、モデル化パラメータ算出フラグが「1」と判別した場合には(ステップS121;1)、モデル化パラメータテーブルを参照し、モデル化パラメータセットのうち、最適化対象となったモデル化パラメータに当該モデル化パラメータに対応する2回目の設定値を設定することで、モデル化パラメータセットを更新する(ステップS123)。そして、内部インデックスであるモデル化パラメータインデックスを1インクリメントした後(ステップS124)、ステップS13へと移行する。
図10に戻り、量子化マトリクス算出部123は、モデル化パラメータ設定部122により更新されたモデル化パラメータセットを、上述した(6)式に代入することで量子化マトリクスを導出し、符号化処理部11に出力する(ステップS13)。
続くステップS14では、符号化処理部11が、入力された量子化マトリクスを用いて仮符号化を行い(ステップS14)、この時算出した符号量R及び符号化歪みDを量子化パラメータとともに量子化マトリクス設計部12に出力(フィードバック)する(ステップS15)。
ステップS16では、モデル化曲線推定部124により、モデル化パラメータ曲線推定処理が行われる。以下、図12を参照して、ステップS16のモデル化パラメータ曲線推定処理について説明する。
図12は、モデル化曲線推定部124により実行されるモデル化パラメータ曲線推定処理の流れを示したフローチャートである。まず、モデル化曲線推定部124は、モデル化パラメータ算出部127から入力されたモデル化パラメータ算出フラグの状態を判別する(ステップS161)。ここで、入力されたモデル化パラメータ算出フラグが「0」と判別した場合には(ステップS161;0)、ステップS15で符号化処理部11から入力された符号量R及び符号化歪みDを1回目のモデル化パラメータとしてRAM3の所定領域に格納する(ステップS162)。そして、ステップS11で初期化されたモデル化曲線情報を符号量歪み曲線推定部125に出力した後(ステップS163)、ステップS17の符号量歪み曲線推定処理へと移行する。
一方、入力されたモデル化パラメータ算出フラグが「1」と判別した場合には(ステップS161;1)、ステップS15で符号化処理部11から入力された符号量R及び符号化歪みDを2回目のモデル化パラメータとしてRAM3の所定領域に格納する(ステップS164)。そして、モデル化曲線推定部124は、RAMに記憶された2回分のモデル化パラメータセット(R1、D1)、(R2、D2)と、モデル化パラメータSを用いて、符号量Rにかかるモデル化パラメータSの近似式と符号化歪みDにかかるモデル化パラメータSの近似式とを算出し(ステップS165)、モデル化曲線情報として符号量歪み曲線推定部125に出力した後(ステップS166)、ステップS17の符号量歪み曲線推定処理へと移行する。
図13は、ステップS17の符号量歪み曲線推定処理の流れを示したフローチャートである。まず、ステップS171において、符号量歪み曲線推定部125は、モデル化曲線推定部124から入力されたモデル化曲線情報が、初期値か否かを判別する(ステップS171)。ここで、モデル化曲線情報が初期値と判別した場合(ステップS171;Yes)、符号量歪み曲線推定部125は、ステップS11で初期化された符号量歪み曲線情報を目標符号量算出部126に出力した後(ステップS172)、ステップS18の目標符号量算出処理へと移行する。
一方、ステップS171において、モデル化曲線情報が初期値ではないと判別した場合(ステップS171;No)、符号量歪み曲線推定部125は、入力されたモデル化曲線情報から、(9)式で示した関係式を算出し(ステップS173)、この算出した関係式を符号量歪み曲線情報として目標符号量算出部126に出力した後(ステップS174)、ステップS18の目標符号量算出処理へと移行する。
図14は、ステップS18の目標符号量算出処理の流れを示したフローチャートである。まず、ステップS181において、目標符号量算出部126は、符号量歪み曲線推定部125から入力された符号量歪み曲線情報が、初期値か否かを判別する(ステップS181)。ここで、符号量歪み曲線情報が初期値と判別した場合(ステップS181;Yes)、目標符号量算出部126は、ステップS11で初期化された目標符号量情報をモデル化パラメータ算出部127に出力した後(ステップS182)、ステップS19の目標符号量算出処理へと移行する。
一方、ステップS181において、符号量歪み曲線情報が初期値ではないと判別した場合(ステップS181;No)、目標符号量算出部126は、入力された符号量歪み曲線情報及び(12)〜(15)式を用いて目標符号量情報を算出し(ステップS183)、モデル化パラメータ算出部127に出力した後(ステップS184)、ステップS19の目標符号量算出処理へと移行する。
図10に戻り、ステップS19では、モデル化パラメータ算出部127が、目標符号量算出部126から入力された目標符号量情報が、初期値か否かを判別する(ステップS19)。ここで、目標符号量情報を初期値と判別した場合(ステップS19;Yes)、モデル化パラメータ算出部127は、モデル化パラメータ算出フラグを「1」に設定し、モデル化パラメータ設定部122及びモデル化曲線推定部124に出力した後(ステップS20)、ステップS12へと再び戻る。
また、ステップS19において、目標符号量情報を初期値ではないと判別した場合には(ステップS19;No)、モデル化パラメータ算出部127は、入力された目標符号量情報及び(16)、(7)式を用いて、処理対象となったモデル化パラメータSの値を導出する(ステップS21)。そして、モデル化パラメータ算出部127は、モデル化パラメータ算出フラグを「0」に設定し、モデル化パラメータ設定部122及びモデル化曲線推定部124に出力した後(ステップS22)、ステップS23へと移行する。
続くステップS23において、モデル化パラメータ算出部127は、モデル化パラメータ算出ループを6回行ったか否か、即ち、全てのモデル化パラメータSについてステップS21の処理を施したか否かを判定する(ステップS23)。ここで、未処理のモデル化パラメータSが存在するような場合には(ステップS23;No)、ステップS12へと再び戻り、モデル化パラメータ算出ループを再び実行する。
一方、ステップS23において、全てのモデル化パラメータSについてステップS21の処理を施したと判定した場合には(ステップS23;Yes)、これまでに導出したモデル化パラメータセット(最適化済パラメータセット)を量子化マトリクス算出部123へと出力する(ステップS24)。
次いで、量子化マトリクス算出部123では、モデル化パラメータ算出部127から入力された最適化済パラメータセット及び(6)式を用いることで、量子化マトリクス(最適化済量子化マトリクス)を導出し(ステップS25)、符号化処理部11へと出力する(ステップS26)。
そして、符号化処理部11は、入力された最適化済量子化マトリクスを用いて、ステップS11で入力された1フレーム分の入力画像信号の符号化(本符号化)を行い(ステップS27)、本処理は終了する。なお、本処理は1フレーム分の入力画像信号の入力毎に行われるものとする。
以上のように、本実施形態によれば、仮符号化時に算出された実際の符号量及び符号化歪みを用いてモデル式から量子化マトリクスを求めるため、画像信号に適した量子化マトリクスを設計することができ、符号化効率の向上を図ることができる。また、符号量及び符号化歪みと量子化マトリクスにかかるモデル化パラメータとの関係を近似式で表し、当該近似式に基づいて最適化済量子化マトリクスを求めるため、量子化マトリクスの設計に要する処理コストを削減することができる。
なお、本実施形態では、1枚の符号化フレームに対して量子化マトリックスを設計する態様に関して説明したが、量子化マトリックスの設計単位はこれに限らないものとする。例えば、32×32画素ブロックや16×16画素ブロック、8×8画素ブロック等に対して上述の方式を用いて量子化マトリクスを設計する態様としてもよい。この場合、符号化処理部11は、1つの32×32画素ブロックや16×16画素ブロック、8×8画素ブロック等に対して符号化処理を行った時に得られる符号量R及び符号化歪みDが、量子化マトリクス設計部12に出力されるものとする。
また、本実施形態では、符号量Rの対数と、符号化歪みDの対数とがモデル化パラメータSに対して線形近似できる性質を利用したが、このことは、上記した(7)、(8)式を下記(17)、(18)式のように変形することで明らかなように、符号量Rと符号化歪みDとがモデル化パラメータSに対して指数近似できる性質を利用していることと等価である。
ここで、m、n、o、pは画像データに対して一意に定まる変数である。同様な概念で、(9)の性質は、符号量Rが符号化歪みDに対して累乗近似できる性質とみなすことができる。本実施形態では、近似の容易さから、線形近似できる性質を利用することとしたが、これに限らず、上述した他の近似を行ってモデル化パラメータを導出する態様としてもよい。
また、本実施形態では、符号量Rに基づき、目標符号量算出部126により算出された目標符号量情報を用いてモデル化パラメータを導出する態様としたが、これに限らず、符号化歪みDに基づいてモデル化パラメータを導出する態様としてもよい。この場合、量子化マトリクス設計部12の構成は図15のように示すことができる。なお、上述した図3の構成と同様の要素については、同一の符号を付し、その説明は適宜省略する。
図15において、目標符号化歪み算出部128は、上記(9)式を符号化歪みDで偏微分することで下記(19)式を算出する。そして、目標符号化歪み算出部128は、(14)式と(19)式を用いることで、下記(20)式を導出する。
よって、目標符号化歪み算出部128は、(20)式で算出される目標符号化歪みDvを目標符号化歪み情報としてモデル化パラメータ算出部127に出力する。モデル化パラメータ算出部127では、入力された目標符号化歪み情報から(16)式、(8)式を用いてモデル化パラメータSを導出することが可能である。
また、本実施形態では、量子化マトリクスとして4×4画素ブロック、8×8画素ブロックの例を示しているが、量子化マトリクスは符号化処理における量子化ブロックサイズに合わせて設計されるものとする。符号化処理部11で時間と空間を含めた3次元量子化などを行う場合、量子化マトリクスとして4×4×4、8×8×8、8×8×4等の任意の形状の量子化マトリクスも作成可能である。このような量子化マトリクスに対しても、同様のモデル化を行い、このモデル化パラメータに対して上述した推定方式を用いることによって符号量Rと符号化歪みDを考慮した量子化マトリクスを設計できる。
また、本実施形態では、符号化フレーム毎に6回の符号化処理が必要となるが、予測処理S1やモード判定処理S2を簡略化することとしてもよい。具体的には、複数ある予測モードの内、選択率の高い予測モードの予測処理とモード判定処理を行い、選択率の低い予測モードを省略することが可能である。この場合、最適な符号量Rと符号化歪みDが得られないため、推定精度が多少下がるが、高速な量子化マトリクス設計が可能となる。
さらに前述した画面間予測を行う場合、当該符号化フレームと、時間的に異なる参照画像を用いて動き探索を行う。動き探索処理は、通常ブロック毎のマッチング処理によってなされるが、ブロック毎のマッチングは多大な反復処理によって処理コストが大きいことが知られている。量子化マトリクスの設計時に、高速な仮符号化を実行するため、上記マッチング処理を減らすことが重要である。具体的に説明すると、量子化マトリクス設計時には、探索点数を削減した動き探索を行い、処理コストを削減する。量子化マトリクスの設計が完了し、本符号化を行う際には、より予測性能の良い動き探索を行うことで符号化効率を維持することができる。また、量子化マトリクス設計時にはダイヤモンドサーチを用い、本符号化処理にはフルサーチを用いることで処理コストを削減する態様としてもよい。
また、本実施形態においては、モデル化パラメータを、輝度成分と色差成分毎に夫々導出することが可能である。具体的には、仮符号化時において、発生符号量Rと符号化歪みDを算出する際、輝度の符号量RLと符号化歪みDL、色差の符号量RCと符号化歪みDCを個別に算出する。そして、各成分に対応するモデル化パラメータセット(RL、DL)、(RC、DC)に対して(7)式〜(16)式を用いてモデル化パラメータを近似することで、夫々の成分に対して量子化マトリクスを設計することが可能となる。ここで、入力画像がR、G、B等の色空間を保持している場合、それぞれR、G、B毎に量子化マトリクスを設計することも可能である。更に、それぞれの符号量RL、RCを算出する際、輝度と色差の符号化モードが共通の場合には、符号化モードとしてデコーダ側に送信されるサイド情報を分割できないため、それぞれの成分で発生する変換係数の符号量を用いることによって、量子化マトリクスを設計することも可能である。
また、本実施形態では、上述したようにモデル化パラメータを量子化ブロックサイズ毎に導出することが可能であるが、符号化装置によっては4×4画素ブロックや8×8画素ブロックの量子化ブロックが混在するような場合があり、各量子化ブロックサイズによって、最適な量子化マトリクス値は異なる場合がある。そこで、仮符号化時に、各量子化ブロックサイズに最適な量子化マトリクスを利用して、4×4画素ブロックで符号化したときの符号量R4と符号化歪みD4、8×8画素ブロックで符号化したときの符号量R8と符号化歪みD8とを夫々算出し、各ブロックサイズに対応するモデル化パラメータセット(R4、D4)、(R8、D8)に対して(7)式〜(16)式を用いてモデル化パラメータを近似することで、それぞれの量子化ブロックに最適な量子化マトリクスを設計することができる。なお、ここでは4×4画素ブロックと8×8画素ブロックのときの例を示したが、16×16画素ブロックや、2×2画素ブロック、また4×2画素ブロックや4×4×2画素ブロックなどの様々な画素ブロックに対しても同様に適応が可能である。
また、本実施形態では、モデル化パラメータを符号化モード毎に導出することが可能である。動画像符号化では、当該符号化フレームだけを用いて符号化が行われる画面内符号化と、時間的に前後する符号化フレームを用いて符号化が行われる画面間符号化が利用される。それぞれ予測構造が異なるため、発生する予測誤差の傾向は大きく異なり、この理由によって最適な量子化マトリクス値は異なる傾向が多い。そこで、仮符号化時に、画面内符号化に限定して符号化した場合の符号量Rintraと符号化歪みDintra、また画面間符号化に限定して符号化した場合の符号量Rinterと符号化歪みDinterを算出し、夫々対応する(Rintra,Dintra)、(Rinter、Dinter)に対して数7から数16を用いてモデル化パラメータを近似する態様としてもよい。これにより、符号化フレーム毎の性質に適した量子化マトリクスの設計が可能となる。
[第2の実施形態]
次に、第2の実施形態の画像符号化装置について説明する。なお、上述した第1の実施形態と同様の要素については、同一の符号を付し、その説明は適宜省略する。
次に、第2の実施形態の画像符号化装置について説明する。なお、上述した第1の実施形態と同様の要素については、同一の符号を付し、その説明は適宜省略する。
図16は、本実施形態の画像符号化装置200の機能的構成を示した図である。上述した第1の実施形態と異なる機能部として、領域分割部14が追加されている。なお、領域分割部14は、他の機能部と同様に、CPU1が記憶部に予め記憶された所定のプログラムに従って各部を制御することによりRAM3に生成されるようになっている。以下、領域分割部14について説明する。
領域分割部14は、入力画像信号の特徴量を利用して符号化フレーム内の領域分けを行う機能を有する。量子化マトリクス設計部12は、符号化処理部11による仮符号化によって得られた符号量Rと符号化歪みDによって量子化マトリクスを設計する。このため、符号化の難易度によって、量子化マトリクスの最適解が異なる。そこで、入力画像信号の難易度に対応する特徴量を用いて符号化前に領域分けを行うことで、領域別に量子化マトリクスを設計する。
図17は、領域分割部14の機能構成を示したブロック図である。同図に示すとおり、領域分割部14は、特徴量抽出部141、領域分別部142、領域分割情報生成部143、分割処理制御部144を有している。
特徴量抽出部141は、入力画像信号を構成する複数の画素から、8×8画素ブロック毎に信号のアクティビティを計算する。ここで信号のアクティビティとは、ブロック内の輝度値の分散を意味している。ここで、符号化難易度が高い領域を表す一指標として、アクティビティの程度を用いることができる。複雑なテクスチャを持つ画像領域では、アクティビティが高くなるため、符号化難易度が高いと考えることができる。一方、平坦な画像領域ではアクティビティが低くなるため、符号化難易度は低いと考えることができる。このように、特徴量抽出部141は、8×8画素ブロック毎のアクティビティを算出し、この算出したアクティビティを特徴量情報として領域分別部142に出力する。
領域分別部142は、特徴量抽出部141から入力された特徴量情報を所定の閾値に基づいて分別する閾値処理を施すことで、符号化フレームを複数の領域に分割する。例えば、2つの領域に分割する場合には、符号化フレームに対してラスタスキャン順でX番目の8×8画素ブロックのアクティビティをA(X)とすると、閾値THよりA(X)が大きい場合はクラス1に、小さい場合はクラス2に分別する。このように分別された分別結果が分別結果情報として領域分割情報生成部143に出力される。
領域分割情報生成部143は、領域分別部142から入力された分別結果情報を元に量子化マトリクスを設計するために必要な領域分割情報を生成する。また、分割処理制御部144は、領域分割部14に含まれる各機能の動作を統括的に制御する。
以下、図18を参照して、領域分割情報の生成について説明する。図18−1は、分別結果情報の一例を示した模式図である。この符号化フレームFは24個の8×8画素ブロックB1により構成されている。同図に示すとおり、領域分別部142により、各ブロックはクラス1とクラス2とに夫々分別されている。
ここで、領域分割情報生成部143は、図18−1に示された四つ分の画素ブロックB1の分別結果情報に基づいて、図18−2で示した16×16画素毎の領域(量子化マトリクス1、量子化マトリクス2)B2に分割したデータに変換する。具体的には、四つ分の画素ブロックB1夫々が属するクラスに基づいて多数決を取り、より多数となったクラスをその領域の属性とする。なお、図18−2では、クラス1とクラス2に属するブロック数が同数であった場合、その領域はクラス1となるよう設定した場合を例示している。
このように領域分割部14では、図18−2で示した量子化マトリクス分割情報を、領域分割情報として生成し、量子化マトリクス設計部12に出力する。
領域分割情報が量子化マトリクス設計部12に入力されると、量子化マトリクス設計部12は、領域分割情報で示された領域毎に、符号化処理部11から入力された符号量Rと符号化歪みDに基づいて量子化マトリクスを導出する。これらの制御は、符号化制御部13が担っており、16×16画素ブロック毎に符号量Rと符号化歪みDの累積を切り替えるようになっている。
以上のように、本実施形態によれば、符号化対象となった画像信号(符号化フレーム)を複数の領域に分割し、当該分割された領域毎に量子化マトリクスを求めることで、画像信号により適した量子化マトリクスを設計することができるため、符号化効率をより向上させることができる。
なお、本実施形態では、8×8画素ブロック毎にアクティビティを計算したが、これに限らず、例えば、計算対象の画素ブロックサイズを4×4画素ブロック、16×16画素ブロックとしても良いし、8×16画素ブロックや16×8画素ブロック等としてもよい。
また、本実施形態では、画像の特徴量として入力画像信号の分散として算出可能なアクティビティを用いることとしたが、これに限らず、例えば他の特徴量として、入力画像から算出可能なフレーム内の輝度分布、フレーム内の色差分布、フレーム間の差分値等の何れかを用いてもよい。また、より複雑な特徴量として、フレーム間の動きベクトル、フレーム内及びフレーム間の変換係数分布、フレーム内及びフレーム間の量子化誤差(符号化歪み)分布等の何れかを用いてもよい。この場合、実際に予測処理や動きベクトル探索処理、直交変換処理、量子化処理、逆量子化処理などが必要になるが、より正確な領域分割が可能となるため、符号化効率をより向上させることができる。
[第3の実施形態]
次に、第3の実施形態の画像符号化装置について説明する。なお、上述した第1の実施形態と同様の要素については、同一の符号を付し、その説明は適宜省略する。
次に、第3の実施形態の画像符号化装置について説明する。なお、上述した第1の実施形態と同様の要素については、同一の符号を付し、その説明は適宜省略する。
図19は、本実施形態の画像符号化装置300の機能的構成を示した図である。上述した第1の実施形態と異なる機能部として、領域選択部15が追加されている。なお、領域選択部15は、他の機能部と同様に、CPU1が記憶部に予め記憶された所定のプログラムに従って各部を制御することによりRAM3に生成されるようになっている。以下、領域選択部15について説明する。
第1の実施形態及び第2の実施形態と異なり、本実施形態では、入力画像信号は領域選択部15へと入力されるようになっている。領域選択部15は、入力画像信号から、量子化マトリクス設計に利用する画像範囲を選択する機能を有する。具体的には、入力画像信号に対してダウンサンプリング処理を行うことによって縮小画像を作成し、仮符号化で必要となる処理コストを削減しつつ、効果的に量子化マトリクスを作成する。
図20は、領域選択部15の機能構成を示したブロック図である。同図に示すとおり、領域選択部15は、ダウンサンプリング部151、ポストフィルタ部152、切り替えスイッチ153、選択制御部154を有している。
ダウンサンプリング部151は、入力画像信号に図21に示されるようなダウンサンプリング処理を行って画像を縮小する。図21は最も単純なダウンサンプリング処理を示している。ここで、図21−1は、4×4画素で表示された入力画像信号を模式的に示している。ダウンサンプリング部151では、この入力画像信号に含まれた複数の画素Pを1つおきに選択し、図21−2に示される4つの画素P1〜P4を決定する。そして、この4つの画素P1〜P4だけを集めた画像が図21−3で表される1/4縮小画像となる。この縮小画像はフィルタ前縮小画像として、ポストフィルタ部152に出力される。
ポストフィルタ部152では、平滑化フィルタを用いることによってフィルタ前縮小画像を補正し、補正後のフィルタ前縮小画像をフィルタ後縮小画像として、切り替えスイッチ153に出力する。一般に、図21−2のようなダウンサンプリングを行う場合、サンプリング境界の不連続性が発生し、リンギングノイズとなって目立つことがある。ポストフィルタ部152では、このノイズを削減するため、フィルタ前縮小画像に補正を施す。
切り替えスイッチ153は、選択制御部154が制御するタイミングで、スイッチの切り替えを行う。具体的に説明すると、選択制御部154は、画像符号化装置300の2つのフェーズを制御している。1つは量子化マトリクス設計フェーズであり、2つ目は本符号化フェーズである。切り替えスイッチ153は、選択制御部154から与えられるフェーズが量子化マトリクス設計フェーズであるときは、ポストフィルタ部152の出力端と接続する。一方、本符号化フェーズであるときは入力画像信号が直接出力されるように切り替えスイッチ153が制御される。
以上のように、本実施形態によれば、画像符号化装置300のフェーズに応じて切り替えスイッチ153を動的に制御することで、量子化マトリクスの設計時にはダウンサンプリング部151、ポストフィルタ部152を経て、縮小された画像を用いて量子化マトリクスを設計し、本符号化時に、この量子マトリクスを用いて入力画像信号に符号化を施すことができるため、量子化マトリクスの設計時間を大幅に短縮することが可能となる。
なお、本実施形態では、単純な1つ飛ばしのダウンサンプリング方法について説明したが、これに限らず、信号特性や回路特性に応じてより高度なダウンサンプリングを用いることとしてもよい。更に、縮小画像は1/4画像に必ずしも限定する必要はなく、1/2画像や1/8画像なども利用できる。但し、画像サイズが小さくなればなるほど、量子化マトリクスの設計に必要な時間は減少する一方で、入力画像信号に対して符号化効率の点で劣化が見られるため、処理コストと符号化効率の両面でバランスの取れた選択を行うことが重要である。
また、ポストフィルタ部152で用いるフィルタの種別は、対応するダウンサンプリング処理に応じて選択されるものとする。また、本実施形態では、単純な平滑化フィルタについて説明したが、これに限らず、例えば、タップ長の異なる適応フィルタなどを用いる態様としてもよい。
以上のように、本発明にかかる画像符号化装置及び画像符号化方法は、画像信号の量子化・逆量子化に有用であり、特に、量子化マトリクスを用いる場合に適している。
Claims (6)
- 画像信号を取得する画像取得手段と、
量子化マトリクスを導出するためのモデル式に含まれる複数のパラメータから、一つの選択パラメータを順次選択し、この選択パラメータの値を所定の値に更新するモデル化パラメータ設定手段と、
前記選択パラメータの更新毎に、前記モデル式を用いて前記量子化マトリクスを算出する量子化マトリクス算出手段と、
前記量子化マトリクスを用いて前記画像信号の仮符号化を行い、符号量、符号化歪み、及び、量子化スケールを示した量子化パラメータ、を導出する仮符号化手段と、
前記符号量と選択パラメータとの関係を近似した第1近似式と、前記符号化歪みと選択パラメータとの関係を近似した第2近似式と、を夫々算出する近似式推定手段と、
前記第1近似式及び第2近似式を用いて、前記符号量と符号化歪みとの関係を示した符号量歪み関係式を算出する符号量歪み式算出手段と、
前記符号量歪み関係式と前記量子化パラメータとを用いて、目標符号量又は目標符号化歪みを算出する目標符号量算出手段と、
前記第1近似式を用いて前記目標符号量に対応する前記選択パラメータの値、又は、前記第2近似式を用いて前記目標符号化歪みに対応する前記選択パラメータの値を算出するモデル化パラメータ算出手段と、
前記モデル化パラメータ算出手段により算出された前記選択パラメータの値と、前記モデル式とに基づいて、前記画像信号の符号化に利用するための最適化済量子化マトリクスを算出する最適化済量子化マトリクス算出手段と、
前記最適化済量子化マトリクスを用いて、前記画像信号の符号化を行う本符号化処理手段と、
を備え、
前記近似式推定手段は、前記符号量の対数と前記符号化歪みの対数とが前記選択パラメータに対して夫々線形近似となるよう、前記第1近似式及び前記第2近似式を算出することを特徴とする画像符号化装置。 - 前記画像信号に含まれた所定の画素ブロック単位の特徴量を抽出する特徴量抽出手段と、
前記特徴量に基づいて、前記画像信号を複数の領域に分割する領域分割手段と、
を更に備え、
前記量子化マトリクス算出手段は、前記分割された領域毎に前記量子化マトリクスを算出することを特徴とする請求項1に記載の画像符号化装置。 - 前記特徴量抽出手段は、前記画像信号内の輝度分布、色差分布、アクティビティ、連続して入力された前記画像信号間の差分値、動きベクトル、画像信号内の変換係数分布、画像信号間の変換係数分布、画像信号内の量子化誤差分布、画像信号間の量子化誤差分布のうち少なくとも一つを前記特徴量として用いることを特徴とする請求項2に記載の画像符号化装置。
- 画像信号を取得する画像取得工程と、
量子化マトリクスを導出するためのモデル式に含まれる複数のパラメータから、一つの選択パラメータを順次選択し、前記選択パラメータの値を所定の値に更新するモデル化パラメータ設定工程と、
前記選択パラメータの更新毎に、前記モデル式を用いて前記量子化マトリクスを算出する量子化マトリクス算出工程と、
前記量子化マトリクスを用いて前記画像信号の仮符号化を行い、符号量、符号化歪み、及び、量子化スケールを示した量子化パラメータ、を導出する仮符号化工程と、
前記符号量と選択パラメータとの関係を近似した第1近似式と、前記符号化歪みと選択パラメータとの関係を近似した第2近似式と、を夫々算出する近似式推定工程と、
前記第1近似式及び第2近似式を用いて、前記符号量と符号化歪みとの関係を示した符号量歪み関係式を算出する符号量歪み式算出工程と、
前記符号量歪み関係式と前記量子化パラメータとを用いて、目標符号量又は目標符号化歪みを算出する目標符号量算出工程と、
前記第1近似式を用いて前記目標符号量に対応する前記選択パラメータの値、又は、前記第2近似式を用いて前記目標符号化歪みに対応する前記選択パラメータの値を算出するモデル化パラメータ算出工程と、
前記モデル化パラメータ算出工程で算出された前記選択パラメータの値と、前記モデル式とに基づいて、前記画像信号の符号化に利用するための最適化済量子化マトリクスを算出する最適化済量子化マトリクス算出工程と、
前記最適化済量子化マトリクスを用いて、前記画像信号の符号化を行う本符号化処理工程と、
を含み、
前記近似式推定工程では、前記符号量の対数と前記符号化歪みの対数とが前記選択パラメータに対して夫々線形近似となるよう前記第1近似式及び第2近似式を算出することを特徴とする画像符号化方法。 - 前記画像信号に含まれた所定の画素ブロック単位の特徴量を抽出する特徴量抽出工程と、
前記特徴量に基づいて、前記画像信号を複数の領域に分割する領域分割工程と、
を更に含み、
前記量子化マトリクス算出工程では、前記分割された領域毎に前記量子化マトリクスを算出することを特徴とする請求項4に記載の画像符号化方法。 - 前記特徴量抽出工程では、前記画像信号内の輝度分布、色差分布、アクティビティ、連続して入力された前記画像信号間の差分値、動きベクトル、画像信号内の変換係数分布、画像信号間の変換係数分布、画像信号内の量子化誤差分布、画像信号間の量子化誤差分布のうち少なくとも一つを前記特徴量として用いることを特徴とする請求項5に記載の画像符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009510624A JP4956612B2 (ja) | 2006-10-12 | 2007-09-21 | 画像符号化装置及び画像符号化方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006279323 | 2006-10-12 | ||
JP2006279323 | 2006-10-12 | ||
JP2009510624A JP4956612B2 (ja) | 2006-10-12 | 2007-09-21 | 画像符号化装置及び画像符号化方法 |
PCT/JP2007/069133 WO2008044511A1 (en) | 2006-10-12 | 2007-09-21 | Method and apparatus for encoding image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010503245A JP2010503245A (ja) | 2010-01-28 |
JP4956612B2 true JP4956612B2 (ja) | 2012-06-20 |
Family
ID=39282721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009510624A Expired - Fee Related JP4956612B2 (ja) | 2006-10-12 | 2007-09-21 | 画像符号化装置及び画像符号化方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7965896B2 (ja) |
JP (1) | JP4956612B2 (ja) |
TW (1) | TW200833123A (ja) |
WO (1) | WO2008044511A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8363719B2 (en) * | 2007-10-29 | 2013-01-29 | Canon Kabushiki Kaisha | Encoding apparatus, method of controlling thereof, and computer program |
US8467451B2 (en) * | 2007-11-07 | 2013-06-18 | Industrial Technology Research Institute | Methods for selecting a prediction mode |
CN101682782B (zh) * | 2008-01-23 | 2013-03-20 | 松下电器产业株式会社 | 运动图像编码方法 |
JP5339855B2 (ja) * | 2008-10-31 | 2013-11-13 | キヤノン株式会社 | 動きベクトル探索装置、動きベクトル探索方法、画像処理装置、画像処理方法、プログラム及び記憶媒体 |
JP4697557B2 (ja) * | 2009-01-07 | 2011-06-08 | ソニー株式会社 | 符号化装置、符号化方法、記録媒体及び画像処理装置 |
CA2751785C (en) | 2009-02-13 | 2016-04-05 | Research In Motion Limited | Adaptive quantization with balanced pixel-domain distortion distribution in image processing |
EP2396969A4 (en) * | 2009-02-13 | 2012-12-12 | Research In Motion Ltd | MODIFIED ENTROPIC CODING FOR IMAGES AND VIDEOS |
JP5257215B2 (ja) * | 2009-04-16 | 2013-08-07 | ソニー株式会社 | 画像符号化装置と画像符号化方法 |
US8635357B2 (en) | 2009-09-08 | 2014-01-21 | Google Inc. | Dynamic selection of parameter sets for transcoding media data |
KR101710883B1 (ko) * | 2009-11-04 | 2017-02-28 | 삼성전자주식회사 | 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법 |
HUE057597T2 (hu) | 2010-04-13 | 2022-05-28 | Ge Video Compression Llc | Videó kódolás képek többes fa struktúrájú alosztásainak használatával |
TWI666882B (zh) * | 2010-04-13 | 2019-07-21 | 美商Ge影像壓縮有限公司 | 在樣本陣列多元樹細分中之繼承技術 |
KR101549644B1 (ko) | 2010-04-13 | 2015-09-03 | 지이 비디오 컴프레션, 엘엘씨 | 샘플 영역 병합 |
JP5741076B2 (ja) | 2010-12-09 | 2015-07-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP2012253722A (ja) * | 2011-06-07 | 2012-12-20 | Sony Corp | 画像符号化装置と画像復号装置およびその方法とプログラム |
JP2013038768A (ja) * | 2011-07-13 | 2013-02-21 | Canon Inc | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
US9143802B2 (en) | 2011-10-31 | 2015-09-22 | Qualcomm Incorporated | Fragmented parameter set for video coding |
US10277915B2 (en) * | 2011-11-07 | 2019-04-30 | Qualcomm Incorporated | Signaling quantization matrices for video coding |
US9185414B1 (en) * | 2012-06-29 | 2015-11-10 | Google Inc. | Video encoding using variance |
JP5765348B2 (ja) * | 2013-01-11 | 2015-08-19 | Nttエレクトロニクス株式会社 | 動画像符号化装置 |
JP2015177466A (ja) * | 2014-03-17 | 2015-10-05 | 富士通株式会社 | 動画符号化装置、動画符号化方法および動画符号化プログラム |
JP6348746B2 (ja) * | 2014-03-28 | 2018-06-27 | 株式会社メガチップス | 画像圧縮回路および画像圧縮方法 |
US20160088298A1 (en) * | 2014-09-22 | 2016-03-24 | Ximin Zhang | Video coding rate control including target bitrate and quality control |
US9860535B2 (en) * | 2015-05-20 | 2018-01-02 | Integrated Device Technology, Inc. | Method for time-dependent visual quality encoding for broadcast services |
US20170278244A1 (en) * | 2016-03-24 | 2017-09-28 | The Chinese University Of Hong Kong | Method and a system for non-rigid image registration |
JP7041379B2 (ja) * | 2018-03-06 | 2022-03-24 | 日本電信電話株式会社 | 符号量推定装置、符号量推定方法及び符号量推定プログラム |
CN112771865A (zh) | 2018-08-23 | 2021-05-07 | 交互数字Vc控股法国公司 | 使用参数化模型对量化矩阵进行编解码 |
JP2020098984A (ja) * | 2018-12-17 | 2020-06-25 | キヤノン株式会社 | 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5479211A (en) * | 1992-04-30 | 1995-12-26 | Olympus Optical Co., Ltd. | Image-signal decoding apparatus |
US5613015A (en) * | 1992-11-12 | 1997-03-18 | Fuji Xerox Co., Ltd. | Image signal analyzing system and coding system |
JP2679769B2 (ja) * | 1992-11-16 | 1997-11-19 | 富士ゼロックス株式会社 | 画像信号の符号化装置 |
US5493513A (en) * | 1993-11-24 | 1996-02-20 | Intel Corporation | Process, apparatus and system for encoding video signals using motion estimation |
JPH08126013A (ja) * | 1994-10-27 | 1996-05-17 | Meidensha Corp | 画像伝送装置 |
JP3721716B2 (ja) * | 1997-06-02 | 2005-11-30 | 富士ゼロックス株式会社 | 画像情報符号化装置および方法 |
US6748113B1 (en) * | 1999-08-25 | 2004-06-08 | Matsushita Electric Insdustrial Co., Ltd. | Noise detecting method, noise detector and image decoding apparatus |
JP2001169280A (ja) * | 1999-12-09 | 2001-06-22 | Sharp Corp | 画像圧縮装置、画像圧縮方法及び記憶媒体 |
JP3815665B2 (ja) * | 2000-12-27 | 2006-08-30 | Kddi株式会社 | 可変ビットレート動画像符号化装置および記録媒体 |
JP2004056680A (ja) * | 2002-07-23 | 2004-02-19 | Ricoh Co Ltd | 画像処理装置および画像処理方法 |
JP4538724B2 (ja) * | 2004-08-18 | 2010-09-08 | 富士ゼロックス株式会社 | パラメータ決定装置、符号化装置、パラメータ決定方法及びそのプログラム |
KR101035754B1 (ko) * | 2006-02-13 | 2011-05-20 | 가부시끼가이샤 도시바 | 동화상 부호화/복호화 방법 및 장치 |
-
2007
- 2007-09-21 US US11/913,238 patent/US7965896B2/en not_active Expired - Fee Related
- 2007-09-21 WO PCT/JP2007/069133 patent/WO2008044511A1/en active Application Filing
- 2007-09-21 JP JP2009510624A patent/JP4956612B2/ja not_active Expired - Fee Related
- 2007-10-12 TW TW96138267A patent/TW200833123A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
US7965896B2 (en) | 2011-06-21 |
US20100074518A1 (en) | 2010-03-25 |
JP2010503245A (ja) | 2010-01-28 |
WO2008044511A1 (en) | 2008-04-17 |
TW200833123A (en) | 2008-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4956612B2 (ja) | 画像符号化装置及び画像符号化方法 | |
US11647219B2 (en) | Image encoding and decoding method with merge flag and motion vectors | |
CN107241605B (zh) | 视频编码器以及视频编码方法 | |
WO2017133660A1 (en) | Method and apparatus of non-local adaptive in-loop filters in video coding | |
EP1672928B1 (en) | Video encoder and method for encoding a video signal | |
CN106131566B (zh) | 用于基于变换和反变换执行内插的方法和设备 | |
JP4609670B2 (ja) | 画像符号化装置、画像符号化方法及びそのプログラム | |
JP5259396B2 (ja) | ハイブリッド映像圧縮のための非線形予測フィルタ | |
WO2011125256A1 (ja) | 画像符号化方法及び画像復号化方法 | |
JP2010514246A (ja) | 画像圧縮及び伸張 | |
WO2012035640A1 (ja) | 動画像符号化方法及び動画像復号化方法 | |
JP6042001B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
KR20130129418A (ko) | 픽처들의 압축 | |
CN115567722A (zh) | 应用加速 | |
CN108702506B (zh) | 编码设备和编码方法 | |
JP6796405B2 (ja) | イントラ予測器、画像符号化装置、画像復号装置およびプログラム | |
KR20230115043A (ko) | 영상의 화질에 따라 초해상도 딥러닝 네트워크를 적용하는 비디오 처리 방법 및 비디오 처리 장치 | |
JP2017073602A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
JP6510084B2 (ja) | 動画像復号化方法及び電子装置 | |
JP6317720B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム | |
WO2012090286A1 (ja) | 動画像符号化方法及び動画像復号化方法 | |
JP6435822B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
JP5367161B2 (ja) | 画像符号化方法、装置、及びプログラム | |
WO2024120307A1 (en) | Method and apparatus of candidates reordering of inherited cross-component models in video coding system | |
KR102435445B1 (ko) | 영상 부호화/복호화 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120316 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |