JP2016131381A - 画像処理装置および方法、記録媒体、並びに、プログラム - Google Patents
画像処理装置および方法、記録媒体、並びに、プログラム Download PDFInfo
- Publication number
- JP2016131381A JP2016131381A JP2016045170A JP2016045170A JP2016131381A JP 2016131381 A JP2016131381 A JP 2016131381A JP 2016045170 A JP2016045170 A JP 2016045170A JP 2016045170 A JP2016045170 A JP 2016045170A JP 2016131381 A JP2016131381 A JP 2016131381A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- matrix
- quantization
- quantization matrix
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】量子化行列の符号量の増大を抑制することができるようにする。【解決手段】本開示の画像処理装置は、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を、前記伝送サイズから量子化又は逆量子化の処理単位であるブロックサイズと同じサイズに、アップコンバートするアップコンバート部を備える。本開示は、例えば、画像データを処理する画像処理装置に適用することができる。【選択図】図4
Description
本開示は、画像処理装置および方法、記録媒体、並びに、プログラムに関する。
映像符号化方式の標準仕様の1つであるH.264/AVC(Advanced Video Coding)では、High Profile以上のプロファイルにおいて、画像データの量子化の際に、直交変換係数の成分ごとに異なる量子化ステップを用いることができる。直交変換係数の成分ごとの量子化ステップは、直交変換の単位と同等のサイズで定義される量子化行列(スケーリングリストともいう)及び基準のステップ値に基づいて設定され得る。
例えば、イントラ予測モードにおいて変換単位のサイズが4×4である場合、インター予測モードにおいて変換単位のサイズが4×4である場合、イントラ予測モードにおいて変換単位のサイズが8×8である場合、および、インター予測モードにおいて変換単位のサイズが8×8である場合のそれぞれについて、量子化行列の既定値が定められている。また、ユーザは、シーケンスパラメータセット又はピクチャパラメータセットにおいて、既定値とは異なる独自の量子化行列を指定することができる。量子化行列が使用されない場合には、量子化の際に使用される量子化ステップは、全ての成分について等しい値となる。
H.264/AVCに続く次世代の映像符号化方式として標準化が進められているHEVC(High Efficiency Video Coding)では、従来のマクロブロックに相当する符号化単位としてCU(Coding Unit)という概念が導入されている(例えば、非特許文献1参照)。符号化単位のサイズの範囲は、シーケンスパラメータセットにおいて、LCU(LargestCoding Unit)及びSCU(Smallest Coding Unit)という2のべき乗の値の組で指定される。そして、split_flagを用いて、LCU及びSCUで指定された範囲内の具体的な符号化単位のサイズが特定される。
HEVCでは、1つの符号化単位は、1つ以上の直交変換の単位、即ち1つ以上の変換単位(TU(Transform Unit))に分割され得る。変換単位のサイズとしては、4×4、8×8、16×16及び32×32のいずれかが利用可能である。従って、量子化行列もまた、これら変換単位の候補のサイズごとに指定され得る。
ところで、H.264/AVCでは、1ピクチャ内で1つの変換単位のサイズについて1つの量子化行列のみを指定することが可能であった。これに対して、1ピクチャ内で1つの変換単位のサイズについて複数の量子化行列の候補を指定し、RD(Rate-Distortion)の最適化の観点でブロックごとに適応的に量子化行列を選択することが提案されている(例えば、非特許文献2参照)。
JCTVC-B205, "Test Model under Consideration", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010
VCEG-AD06, "Adaptive Quantization Matrix Selection on KTA Software", ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 30th Meeting: Hangzhou, China, 23 - 24 October, 2006
しかしながら、変換単位のサイズが大きくなれば、対応する量子化行列のサイズも大きくなり、伝送する量子化マトリクスの符号量も大きくなる。さらに、変換単位のサイズが大きくなれば、オーバーヘッドは大きくなり、量子化行列を切り替えることが圧縮効率の観点で問題になる恐れがあった。
本開示は、このような状況に鑑みて提案されたものであり、量子化行列の符号量の増加を抑制することができるようにすることを目的とする。
本開示の一側面は、32×32の量子化行列の要素が間引かれた8×8の量子化行列を含むビットストリームを復号して量子化データを生成する復号部と、前記復号部により生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する場合に、8×8の前記量子化行列の各要素を用いて近傍の15要素を複製する最近傍補間処理を行うことにより、32×32の前記量子化行列を設定する設定部と、前記設定部により設定された32×32の前記量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部とを備える画像処理装置である。
32×32の前記量子化行列の要素が間引かれた8×8の前記量子化行列は、前記ビットストリームのピクチャパラメータセットに含まれるようにすることができる。
前記復号部により生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する逆直交変換部をさらに備えることができる。
本開示の一側面は、また、32×32の量子化行列の要素が間引かれた8×8の量子化行列を含むビットストリームを復号して量子化データを生成し、生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する場合に、8×8の前記量子化行列の各要素を用いて近傍の15要素を複製する最近傍補間処理を行うことにより、32×32の前記量子化行列を設定し、設定された32×32の前記量子化行列を用いて、生成された量子化データを逆量子化する画像処理方法である。
32×32の前記量子化行列の要素が間引かれた8×8の前記量子化行列は、前記ビットストリームのピクチャパラメータセットに含まれるようにすることができる。
生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換することができる。
本開示の一側面は、さらに、コンピュータを、32×32の量子化行列の要素が間引かれた8×8の量子化行列を含むビットストリームを復号して量子化データを生成する復号部と、前記復号部により生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する場合に、8×8の前記量子化行列の各要素を用いて近傍の15要素を複製する最近傍補間処理を行うことにより、32×32の前記量子化行列を設定する設定部と、前記設定部により設定された32×32の前記量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部として機能させるプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本開示の一側面は、さらに、コンピュータを、32×32の量子化行列の要素が間引かれた8×8の量子化行列を含むビットストリームを復号して量子化データを生成する復号部と、前記復号部により生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する場合に、8×8の前記量子化行列の各要素を用いて近傍の15要素を複製する最近傍補間処理を行うことにより、32×32の前記量子化行列を設定する設定部と、前記設定部により設定された32×32の前記量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部として機能させるプログラムである。
本開示の一側面においては、32×32の量子化行列の要素が間引かれた8×8の量子化行列を含むビットストリームが復号されて量子化データが生成され、生成された量子化データを逆量子化した変換係数データが32×32のトランスフォームユニットで逆直交変換される場合に、8×8の量子化行列の各要素を用いて近傍の15要素を複製する最近傍補間処理が行われることにより、32×32の量子化行列が設定され、設定された32×32の量子化行列が用いられて、生成された量子化データが逆量子化される。
本開示によれば、画像を処理することが出来る。特に、量子化行列の符号量の増加を抑制することができる。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(画像符号化装置、画像復号装置)
2.第2の実施の形態(画像符号化装置、画像復号装置)
3.第3の実施の形態(アップコンバート)
4.第4の実施の形態(多視点画像符号化・多視点画像復号装置)
5.第5の実施の形態(階層画像符号化・階層画像復号装置)
6.第6の実施の形態(コンピュータ)
7.第7の実施の形態(テレビジョン受像機)
8.第8の実施の形態(携帯電話機)
9.第9の実施の形態(記録再生装置)
10.第10の実施の形態(撮像装置)
11.スケーラブル符号化の応用例
1.第1の実施の形態(画像符号化装置、画像復号装置)
2.第2の実施の形態(画像符号化装置、画像復号装置)
3.第3の実施の形態(アップコンバート)
4.第4の実施の形態(多視点画像符号化・多視点画像復号装置)
5.第5の実施の形態(階層画像符号化・階層画像復号装置)
6.第6の実施の形態(コンピュータ)
7.第7の実施の形態(テレビジョン受像機)
8.第8の実施の形態(携帯電話機)
9.第9の実施の形態(記録再生装置)
10.第10の実施の形態(撮像装置)
11.スケーラブル符号化の応用例
<1.第1の実施の形態>
[1−1.画像符号化装置]
図1は、本開示の一実施形態に係る画像符号化装置10の構成の一例を示すブロック図である。図1に示される画像符号化装置10は、入力された画像データを符号化し、得られた符号化データを出力する、本技術を適用した画像処理装置である。図1を参照すると、画像符号化装置10は、A/D(Analogue to Digital)変換部11(A/D)、並べ替えバッファ12、減算部13、直交変換・量子化部14、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、デブロックフィルタ24、フレームメモリ25、セレクタ26、イントラ予測部30、動き探索部40、及びモード選択部50を備える。
[1−1.画像符号化装置]
図1は、本開示の一実施形態に係る画像符号化装置10の構成の一例を示すブロック図である。図1に示される画像符号化装置10は、入力された画像データを符号化し、得られた符号化データを出力する、本技術を適用した画像処理装置である。図1を参照すると、画像符号化装置10は、A/D(Analogue to Digital)変換部11(A/D)、並べ替えバッファ12、減算部13、直交変換・量子化部14、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、デブロックフィルタ24、フレームメモリ25、セレクタ26、イントラ予測部30、動き探索部40、及びモード選択部50を備える。
A/D変換部11は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ12へ出力する。
並べ替えバッファ12は、A/D変換部11から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ12は、符号化処理に係るGOP(Group of Pictures)構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部13、イントラ予測部30、および動き探索部40へ出力する。
減算部13には、並べ替えバッファ12から入力される画像データ、および、後に説明するモード選択部50により選択される予測画像データが供給される。減算部13は、並べ替えバッファ12から入力される画像データとモード選択部50から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換・量子化部14へ出力する。
直交変換・量子化部14は、減算部13から入力される予測誤差データについて直交変換および量子化を行い、量子化された変換係数データ(以下、量子化データという)を可逆符号化部16および逆量子化部21へ出力する。直交変換・量子化部14から出力される量子化データのビットレートは、レート制御部18からのレート制御信号に基づいて制御される。直交変換・量子化部14の詳細な構成について、後にさらに説明する。
可逆符号化部16には、直交変換・量子化部14から入力される量子化データ、復号側で量子化行列を生成するための情報、並びに、モード選択部50により選択されるイントラ予測またはインター予測に関する情報が供給される。イントラ予測に関する情報は、例えば、ブロック毎の最適なイントラ予測モードを示す予測モード情報を含み得る。また、インター予測に関する情報は、例えば、ブロック毎の動きベクトルの予測のための予測モード情報、差分動きベクトル情報、および参照画像情報等を含み得る。さらに、復号側で量子化行列を生成するための情報には、伝送する量子化行列(若しくは、量子化行列とその予測行列との差分行列)の最大サイズを示す識別情報を含み得る。
可逆符号化部16は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部16による可逆符号化は、例えば、可変長符号化または算術符号化等であってよい。また、可逆符号化部16は、後に詳しく説明する量子化行列を生成するための情報を、符号化ストリーム(例えばシーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ等)内に多重化する。さらに、可逆符号化部16は、上述したイントラ予測またはインター予測に関する情報を、符号化ストリーム内に多重化する。そして、可逆符号化部16は、生成した符号化ストリームを蓄積バッファ17へ出力する。
蓄積バッファ17は、可逆符号化部16から入力される符号化ストリームを半導体メモリ等の記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ17は、蓄積した符号化ストリームを、伝送路(または画像符号化装置10からの出力線)の帯域に応じたレートで出力する。
レート制御部18は、蓄積バッファ17の空き容量を監視する。そして、レート制御部18は、蓄積バッファ17の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を直交変換・量子化部14へ出力する。例えば、レート制御部18は、蓄積バッファ17の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部18は、蓄積バッファ17の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
逆量子化部21は、直交変換・量子化部14から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部21は、逆量子化処理により取得される変換係数データを、逆直交変換部22へ出力する。
逆直交変換部22は、逆量子化部21から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部22は、復元した予測誤差データを加算部23へ出力する。
加算部23は、逆直交変換部22から入力される復元された予測誤差データとモード選択部50から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部23は、生成した復号画像データをデブロックフィルタ24およびフレームメモリ25へ出力する。
デブロックフィルタ24は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ24は、加算部23から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ25へ出力する。
フレームメモリ25は、加算部23から入力される復号画像データ、および、デブロックフィルタ24から入力されるフィルタリング後の復号画像データを、記憶媒体を用いて記憶する。
セレクタ26は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部30に供給する。また、セレクタ26は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとして動き探索部40に供給する。
イントラ予測部30は、並べ替えバッファ12から入力される符号化対象の画像データ、および、セレクタ26を介して供給される復号画像データ(すなわち参照画像データ)に基づいて、各イントラ予測モードのイントラ予測処理を行う。例えば、イントラ予測部30は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部30は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。さらに、イントラ予測部30は、選択したイントラ予測モードの予測画像データとともに、当該最適なイントラ予測モードを示す予測モード情報やコスト関数値等のイントラ予測に関する情報を、モード選択部50へ出力する。
動き探索部40は、並べ替えバッファ12から入力される符号化対象の画像データ、および、セレクタ26を介して供給される復号画像データに基づいて、インター予測処理(フレーム間予測処理)を行う。例えば、動き探索部40は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部40は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部40は、選択したインター予測モードの予測画像データとともに、当該最適なインター予測モードを示す予測モード情報やコスト関数値等のインター予測に関する情報を、モード選択部50へ出力する。
モード選択部50は、イントラ予測部30から入力されるイントラ予測に関するコスト関数値と動き探索部40から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部50は、イントラ予測およびインター予測のうちコスト関数値がより少ない予測手法を選択する。モード選択部50は、イントラ予測を選択した場合、イントラ予測に関する情報を可逆符号化部16へ出力するとともに、予測画像データを減算部13および加算部23へ出力する。また、モード選択部50は、インター予測を選択した場合、インター予測に関する情報を可逆符号化部16へ出力するとともに、予測画像データを減算部13および加算部23へ出力する。
[1−2.直交変換・量子化部の構成例]
図2は、図1に示した画像符号化装置10の直交変換・量子化部14の詳細な構成の一例を示すブロック図である。図2を参照すると、直交変換・量子化部14は、選択部110、直交変換部120、量子化部130、量子化行列バッファ140、および行列処理部150を有する。
図2は、図1に示した画像符号化装置10の直交変換・量子化部14の詳細な構成の一例を示すブロック図である。図2を参照すると、直交変換・量子化部14は、選択部110、直交変換部120、量子化部130、量子化行列バッファ140、および行列処理部150を有する。
(1)選択部
選択部110は、サイズの異なる複数の変換単位から、符号化される画像データの直交変換のために使用される変換単位(TU)を選択する。選択部110により選択され得る変換単位のサイズの候補は、例えば、H.264/AVC(Advanced Video Coding)では4×4および8×8を含み、HEVC(High Efficiency Video Coding)では4×4、8×8、16×16及び32×32を含む。選択部110は、例えば、符号化される画像のサイズ若しくは画質、または、装置の性能等に応じていずれかの変換単位を選択してよい。選択部110による変換単位の選択は、装置を開発するユーザによってハンドチューニングされてもよい。そして、選択部110は、選択した変換単位のサイズを指定する情報を、直交変換部120、量子化部130、可逆符号化部16、および逆量子化部21へ出力する。
選択部110は、サイズの異なる複数の変換単位から、符号化される画像データの直交変換のために使用される変換単位(TU)を選択する。選択部110により選択され得る変換単位のサイズの候補は、例えば、H.264/AVC(Advanced Video Coding)では4×4および8×8を含み、HEVC(High Efficiency Video Coding)では4×4、8×8、16×16及び32×32を含む。選択部110は、例えば、符号化される画像のサイズ若しくは画質、または、装置の性能等に応じていずれかの変換単位を選択してよい。選択部110による変換単位の選択は、装置を開発するユーザによってハンドチューニングされてもよい。そして、選択部110は、選択した変換単位のサイズを指定する情報を、直交変換部120、量子化部130、可逆符号化部16、および逆量子化部21へ出力する。
(2)直交変換部
直交変換部120は、選択部110により選択された変換単位で、減算部13から供給される画像データ(即ち、予測誤差データ)を直交変換する。直交変換部120により実行される直交変換は、例えば、離散コサイン変換(DCT(Discrete Cosine Transform))またはカルーネン・レーベ変換などであってよい。そして、直交変換部120は、直交変換処理により取得される変換係数データを量子化部130へ出力する。
直交変換部120は、選択部110により選択された変換単位で、減算部13から供給される画像データ(即ち、予測誤差データ)を直交変換する。直交変換部120により実行される直交変換は、例えば、離散コサイン変換(DCT(Discrete Cosine Transform))またはカルーネン・レーベ変換などであってよい。そして、直交変換部120は、直交変換処理により取得される変換係数データを量子化部130へ出力する。
(3)量子化部
量子化部130は、選択部110により選択された変換単位に対応する量子化行列を用いて、直交変換部120により生成された変換係数データを量子化する。また、量子化部130は、レート制御部18からのレート制御信号に基づいて量子化ステップを切替えることにより、出力される量子化データのビットレートを変化させる。
量子化部130は、選択部110により選択された変換単位に対応する量子化行列を用いて、直交変換部120により生成された変換係数データを量子化する。また、量子化部130は、レート制御部18からのレート制御信号に基づいて量子化ステップを切替えることにより、出力される量子化データのビットレートを変化させる。
また、量子化部130は、選択部110により選択され得る複数の変換単位にそれぞれ対応する量子化行列のセットを、量子化行列バッファ140に記憶させる。例えば、HEVCのように4×4、8×8、16×16及び32×32という4種類のサイズの変換単位の候補が存在する場合、これら4種類のサイズにそれぞれ対応する4種類の量子化行列のセットが、量子化行列バッファ140により記憶され得る。なお、あるサイズについて既定の量子化行列が使用される場合、既定の量子化行列が使用されること(ユーザにより定義された量子化行列を使用しないこと)を示すフラグのみが、当該サイズと関連付けて量子化行列バッファ140により記憶されるようにしてもよい。
量子化部130により使用される可能性のある量子化行列のセットは、典型的には、符号化ストリームのシーケンス毎に設定され得る。また、量子化部130は、シーケンス毎に設定した量子化行列のセットを、ピクチャ毎に更新してもよい。このような量子化行列のセットの設定および更新を制御するための情報は、例えば、シーケンスパラメータセットおよびピクチャパラメータセットに挿入され得る。
(4)量子化行列バッファ
量子化行列バッファ140は、半導体メモリなどの記憶媒体を用いて、選択部110により選択され得る複数の変換単位にそれぞれ対応する量子化行列のセットを一時的に記憶する。量子化行列バッファ140により記憶される量子化行列のセットは、次に説明する行列処理部150による処理に際して参照される。
量子化行列バッファ140は、半導体メモリなどの記憶媒体を用いて、選択部110により選択され得る複数の変換単位にそれぞれ対応する量子化行列のセットを一時的に記憶する。量子化行列バッファ140により記憶される量子化行列のセットは、次に説明する行列処理部150による処理に際して参照される。
(5)行列処理部
行列処理部150は、符号化ストリームのシーケンス毎およびピクチャ毎に、量子化行列バッファ140に記憶されている量子化行列のセットを参照し、ある1つのサイズの変換単位に対応する量子化行列から他の1つ以上のサイズの変換単位に対応する量子化行列を生成するための情報を生成する。量子化行列の生成の基礎となる変換単位のサイズは、典型的には、複数の変換単位のサイズのうち最小のサイズであってよい。即ち、HEVCのように4×4、8×8、16×16、および32×32という4種類のサイズの変換単位の候補が存在する場合、例えば4×4の量子化行列から他のサイズの量子化行列を生成するための情報が生成され得る。行列処理部150により生成される情報は、例えば、後に説明する基礎行列情報および差分行列情報を含み得る。そして、行列処理部150により生成された情報は、可逆符号化部16へ出力され、符号化ストリームのヘッダ内に挿入され得る。
行列処理部150は、符号化ストリームのシーケンス毎およびピクチャ毎に、量子化行列バッファ140に記憶されている量子化行列のセットを参照し、ある1つのサイズの変換単位に対応する量子化行列から他の1つ以上のサイズの変換単位に対応する量子化行列を生成するための情報を生成する。量子化行列の生成の基礎となる変換単位のサイズは、典型的には、複数の変換単位のサイズのうち最小のサイズであってよい。即ち、HEVCのように4×4、8×8、16×16、および32×32という4種類のサイズの変換単位の候補が存在する場合、例えば4×4の量子化行列から他のサイズの量子化行列を生成するための情報が生成され得る。行列処理部150により生成される情報は、例えば、後に説明する基礎行列情報および差分行列情報を含み得る。そして、行列処理部150により生成された情報は、可逆符号化部16へ出力され、符号化ストリームのヘッダ内に挿入され得る。
なお、本明細書では、主に最小のサイズの量子化行列からより大きいサイズの量子化行列が生成される例について説明する。しかしながら、かかる例に限定されず、最小ではないサイズの量子化行列から、より小さいサイズの量子化行列、および、より大きいサイズの量子化行列のうち、少なくともいずれか一方が生成されるようにしてもよい。
[1−3.行列処理部の詳細な構成例]
図3は、図2に示した直交変換・量子化部14の行列処理部150のさらに詳細な構成の一例を示すブロック図である。図3を参照すると、行列処理部150は、予測部152及び差分演算部154を含む。
図3は、図2に示した直交変換・量子化部14の行列処理部150のさらに詳細な構成の一例を示すブロック図である。図3を参照すると、行列処理部150は、予測部152及び差分演算部154を含む。
(1)予測部
予測部152は、量子化行列バッファ140に記憶されている量子化行列のセットを取得し、取得したセットに含まれる第1の量子化行列からより大きいサイズの第2の量子化行列を予測する(予測行列(予測量子化行列とも称する)を生成する)。
予測部152は、量子化行列バッファ140に記憶されている量子化行列のセットを取得し、取得したセットに含まれる第1の量子化行列からより大きいサイズの第2の量子化行列を予測する(予測行列(予測量子化行列とも称する)を生成する)。
予測部152は、4×4の量子化行列SL1から予測行列PSL2を生成すると、生成した予測行列PSL2を差分演算部154へ出力する。また、予測部152は、例えば、量子化行列のセットに含まれる8×8の量子化行列SL2から16×16の予測行列PSL3を予測し、予測行列PSL3を差分演算部154へ出力する。さらに、予測部152は、量子化行列のセットに含まれる16×16の量子化行列SL3から32×32の予測行列PSL4を予測し、予測行列PSL4を差分演算部154へ出力する。また、予測部152は、上述した予測行列PSL2、PSL3、およびPSL4の生成の基礎とした4×4の量子化行列SL1を特定する基礎行列情報を、可逆符号化部16へ出力する。
(2)差分演算部
差分演算部154は、予測部152から入力される予測行列PSL2、PSL3、およびPSL4と対応する量子化行列SL2、SL3、およびSL4との差分(残差とも称する)を表す差分行列(残差行列とも称する)DSL2、DSL3、およびDSL4を算出する。
差分演算部154は、予測部152から入力される予測行列PSL2、PSL3、およびPSL4と対応する量子化行列SL2、SL3、およびSL4との差分(残差とも称する)を表す差分行列(残差行列とも称する)DSL2、DSL3、およびDSL4を算出する。
そして、差分演算部154は、これら差分行列DSL2、DSL3、およびDSL4を表す差分行列情報を可逆符号化部16へ出力する。
なお、行列処理部150は、あるサイズについて既定の量子化行列が使用される場合、当該サイズの量子化行列の予測と差分演算とを実行することなく、既定の量子化行列が使用されることを示すフラグのみを、対応するサイズと関連付けて可逆符号化部16へ出力する。また、差分演算部154は、予測行列と量子化行列との差分がゼロである場合、差分行列情報を出力する代わりに、差分が存在しないことを示すフラグのみを可逆符号化部16へ出力し得る。また、行列処理部150は、ピクチャの切り替わりのタイミングで量子化行列が更新されない場合、量子化行列が更新されないことを示すフラグのみを可逆符号化部16へ出力し得る。
[1−4.行列処理部の詳細な構成例]
図4は、行列処理部150のさらに詳細な構成の一例を示すブロック図である。図4を参照すると、行列処理部150は、予測部161、差分行列生成部162、差分行列サイズ変換部163、エントロピ符号化部164、復号部165、および出力部166を有する。
図4は、行列処理部150のさらに詳細な構成の一例を示すブロック図である。図4を参照すると、行列処理部150は、予測部161、差分行列生成部162、差分行列サイズ変換部163、エントロピ符号化部164、復号部165、および出力部166を有する。
本技術の重要な点は、符号化側において、サイズの大きい(例えば32×32)量子化行列に対して、小さいサイズ(例えば16×16)で残差行列(残差信号)を生成・伝送し、復号側において、小さいサイズの残差行列を拡大(アップサンプリング)してから予測量子化行列に加算することである。
アプローチとしては以下が考えられる。
アプローチ1:
閾値となる最大の量子化行列を伝送して、それ以上の大きさの場合はアップサンプリングする手法である。この手法を用いると、デコーダが保持する最大の量子化行列が規定できるので使用メモリを削減できる。この場合、最大のサイズを示す識別情報をエンコーダ側から伝送して、デコーダ側で利用してもよい。また、規格のレベル又はプロファイルに応じて最大サイズが規定されるようにしてもよい(例えば、高いプロファイル・レベルほどサイズを大きく規定する)。
閾値となる最大の量子化行列を伝送して、それ以上の大きさの場合はアップサンプリングする手法である。この手法を用いると、デコーダが保持する最大の量子化行列が規定できるので使用メモリを削減できる。この場合、最大のサイズを示す識別情報をエンコーダ側から伝送して、デコーダ側で利用してもよい。また、規格のレベル又はプロファイルに応じて最大サイズが規定されるようにしてもよい(例えば、高いプロファイル・レベルほどサイズを大きく規定する)。
アプローチ2:
量子化行列ごとにアップサンプリングするかを示す識別情報、アップサンプリングする階層を伝送する。この手法を用いると、アップサンプリングしない場合は、デコーダは最大サイズの量子化行列をサポートする必要があるが、圧縮の応用例として適用することができる。
量子化行列ごとにアップサンプリングするかを示す識別情報、アップサンプリングする階層を伝送する。この手法を用いると、アップサンプリングしない場合は、デコーダは最大サイズの量子化行列をサポートする必要があるが、圧縮の応用例として適用することができる。
予測部161は、予測行列を生成する。図4に示されるように、予測部161は、コピー部171および予測行列生成部172を有する。
コピーモードの場合、コピー部171は、過去に伝送した量子化行列を複製し、それを予測行列とする(処理対象の直交変換単位の量子化行列を予測する)。より具体的には、コピー部171は、過去に伝送した量子化行列のサイズとリストID(ListID)を復号部165の記憶部202から取得する。サイズは、量子化行列の大きさ(例えば4×4乃至32×32等)を示す情報である。リストIDは、量子化の対象となる予測誤差データの種類を示す情報である。
例えば、リストIDは、その量子化対象が、イントラ予測された予測画像を用いて生成される輝度成分の予測誤差データ(IntraLuma)であるか、イントラ予測された予測画像を用いて生成される色差成分(Cr)の予測誤差データ(IntraCr)であるか、イントラ予測された予測画像を用いて生成される色差成分(Cb)の予測誤差データ(IntraCb)であるか、若しくは、インター予測された予測画像を用いて生成される輝度成分の予測誤差データ(InterLuma)であるかを示す識別情報を含む。
コピー部171は、行列処理部150に入力された量子化行列(処理対象の直交変換単位の量子化行列)と同じサイズの過去に伝送した量子化行列を複製対象として選択し、その複製対象とする量子化行列のリストIDを出力部166に供給し、行列処理部150の外部(可逆符号化部16や逆量子化部21)に出力させる。つまり、この場合、過去に伝送した量子化行列を複製して生成した予測行列を示す情報として、ListIDのみが復号側に伝送される(符号化データに含められる)ので、画像符号化装置10は、量子化行列の符号量の増大を抑制することができる。
また通常の場合、予測行列生成部172は、過去に伝送した量子化行列を復号部165の記憶部202から取得し、その量子化行列を用いて予測行列を生成する(処理対象の直交変換単位の量子化行列を予測する)。予測行列生成部172は、生成した予測行列を差分行列生成部162に供給する。
差分行列生成部162は、予測部161(予測行列生成部172)から供給された予測行列と、行列処理部150に入力される量子化行列との差分である差分行列(残差行列)を生成する。図4に示されるように、差分行列生成部162は、予測行列サイズ変換部181、演算部182、および量子化部183を有する。
予測行列サイズ変換部181は、予測行列生成部172から供給される予測行列のサイズを、行列処理部150に入力される量子化行列のサイズに合わせるように変換(以下、コンバートとも称する)する。
例えば、予測行列のサイズが量子化行列のサイズより大きい場合、予測行列サイズ変換部181は、予測行列を縮小変換(以下、ダウンコンバートとも称する)する。より具体的には、例えば、予測行列が16×16であり、量子化行列が8×8の場合、予測行列サイズ変換部181は、予測行列を8×8にダウンコンバートする。なお、このダウンコンバートの方法は、任意である。例えば、予測行列サイズ変換部181が、フィルタを用いて(演算により)予測行列の要素の数を減らすようにしてもよい(以下、ダウンサンプルとも称する)。また、例えば図5に示されるように、予測行列サイズ変換部181が、フィルタを用いずに、一部の要素(例えば、2次元の要素の偶数部分(図5の黒部分)のみ)を間引くことにより、予測行列の要素の数を減らすようにしてもよい(以下、サブサンプルとも称する)。
また、例えば、予測行列のサイズが量子化行列のサイズより小さい場合、予測行列サイズ変換部181は、予測行列を拡大変換(以下、アップコンバートとも称する)する。より具体的には、例えば、予測行列が8×8であり、量子化行列が16×16の場合、予測行列サイズ変換部181は、予測行列を16×16にアップコンバートする。なお、このアップコンバートの方法は、任意である。例えば、予測行列サイズ変換部181が、フィルタを用いて(演算により)予測行列の要素の数を増やすようにしてもよい(以下、アップサンプルとも称する)。また、例えば、予測行列サイズ変換部181が、フィルタを用いずに、予測行列の各要素を複製することにより、予測行列の要素の数を増やすようにしてもよい(以下、逆サブサンプルとも称する)。
予測行列サイズ変換部181は、サイズを量子化行列に合わせた予測行列を演算部182に供給する。
演算部182は、予測行列サイズ変換部181から供給される予測行列から、行列処理部150に入力された量子化行列を減算し、差分行列(残差行列)を生成する。演算部182は、算出した差分行列を量子化部183に供給する。
量子化部183は、演算部182から供給された差分行列を量子化する。量子化部183は、その差分行列の量子化結果を、差分行列サイズ変換部163に供給する。また、量子化部183は、この量子化に用いた量子化パラメータ等の情報を、出力部166に供給し、行列処理部150の外部(可逆符号化部16や逆量子化部21)に出力させる。なお、この量子化部183を省略する(つまり、差分行列の量子化を行わない)ようにしてもよい。
差分行列サイズ変換部163は、差分行列生成部162(量子化部183)から供給される差分行列(量子化データ)のサイズを、必要に応じて、伝送の際に許容される最大サイズ(以下、伝送サイズとも称する)以下にコンバートする。この最大サイズは、任意であるが、例えば、8×8である。
画像符号化装置10から出力される符号化データは、例えば、伝送路や記憶媒体を介して、画像符号化装置10に対応する画像復号装置に伝送され、その画像復号装置により復号される。画像符号化装置10においては、このような伝送における、すなわち、画像符号化装置10から出力される符号化データにおける、差分行列(量子化データ)のサイズの上限(最大サイズ)が設定されている。
差分行列サイズ変換部163は、差分行列のサイズが、この最大サイズより大きい場合、最大サイズ以下となるように、差分行列をダウンコンバートする。
なお、このダウンコンバートの方法は、上述した予測行列のダウンコンバートの場合と同様に任意である。例えば、フィルタ等を用いるダウンサンプルであってもよいし、要素を間引くサブサンプルであってもよい。
また、ダウンコンバート後の差分行列のサイズは、最大サイズより小さければどのサイズであってもよい。ただし、一般的には、コンバート前後のサイズ差が大きいほど誤差が大きくなるので、最大サイズにダウンコンバートするのが望ましい。
差分行列サイズ変換部163は、ダウンコンバートした差分行列を、エントロピ符号化部164に供給する。なお、差分行列のサイズが最大サイズより小さい場合、このダウンコンバートは不要であるので、差分行列サイズ変換部163は、入力された差分行列をそのままエントロピ符号化部164に供給する(つまり、ダウンコンバートが省略される)。
エントロピ符号化部164は、差分行列サイズ変換部163から供給された差分行列(量子化データ)を所定の方法で符号化する。図4に示されるようにエントロピ符号化部164は、重複判定部(135degree部)191、DPCM(Differential Pulse Code Modulation)部192、およびexpG部193を有する。
重複判定部191は、差分行列サイズ変換部163から供給された差分行列の対称性を判定し、残差が135度の対象行列である場合、例えば図6に示されるように、重複しているデータである対称部分のデータ(行列要素)を削除する。残差が135度の対象行列でない場合、重複判定部191は、このデータ(行列要素)の削除を省略する。重複判定部191は、必要に応じて対称部分が削除された差分行列のデータを、DPCM部192に供給する。
DPCM部192は、重複判定部191から供給された、必要に応じて対称部分が削除された差分行列のデータをDPCM符号化し、DPCMデータを生成する。DPCM部192は、生成したDPCMデータを、expG部193に供給する。
expG部193は、DPCM部192から供給されるDPCMデータに対して、符号つき・符号なしのexponential golomb符号(以下、拡張ゴロム符号とも称する)を行う。expG部193は、その符号化結果を復号部165および出力部166に供給する。
復号部165は、expG部193から供給されるデータから、量子化行列を復元する。復号部165は、復元した量子化行列に関する情報を、過去に伝送した量子化行列として、予測部161に供給する。
図4に示されるように、復号部165は、量子化行列復元部201および記憶部202を有する。
量子化行列復元部201は、エントロピ符号化部164(expG部193)から供給される拡張ゴロム符号を復号し、行列処理部150に入力される量子化行列を復元する。例えば、量子化行列復元部201は、拡張ゴロム符号をエントロピ符号化部164の符号化方法に対応する方法で復号し、差分行列サイズ変換部163によるサイズ変換の逆変換を行い、量子化部183による量子化に対応する逆量子化を行い、得られた差分行列を、予測行列から減算することにより、量子化行列を復元する。
量子化行列復元部201は、復元した量子化行列を記憶部202に供給し、そのサイズやリストIDと関連付けて記憶させる。
記憶部202は、量子化行列復元部201から供給される量子化行列に関する情報を記憶する。この記憶部202に記憶される量子化行列に関する情報は、時間的に後に処理される他の直交変換単位の予測行列生成に利用される。つまり、記憶部202は、記憶している量子化行列に関する情報を、過去に伝送した量子化行列に関する情報として、予測部161に供給する。
なお、記憶部202は、このように復元された量子化行列に関する情報を記憶する代わりに、行列処理部150に入力される量子化行列を、そのサイズやリストIDと関連付けて記憶するようにしてもよい。その場合、量子化行列復元部201を省略することができる。
出力部166は、供給される各種情報を行列処理部150の外部に出力する。例えば、コピーモードの場合、出力部166は、コピー部171から供給される予測行列のリストIDを、可逆符号化部16および逆量子化部21に供給する。また、例えば、通常の場合、出力部166は、expG部193から供給される拡張ゴロム符号、および、量子化部183から供給される量子化パラメータを、可逆符号化部16および逆量子化部21に供給する。
また、出力部166は、量子化行列(量子化行列とその予測行列との差分行列)の伝送の際に許容される最大サイズ(伝送サイズ)を示す識別情報を、復号側で量子化行列を生成するための情報として可逆符号化部16に供給する。可逆符号化部16は、上述したように、その量子化行列を生成するための情報を符号化ストリームに含め、復号側に提供する。なお、この伝送サイズを示す識別情報をレベルやプロファイル等によって予め規定するようにしてもよい。その場合、その伝送サイズに関する情報が、符号化側の装置と復号側の装置とで予め共有されるので、上述した識別情報の伝送を省略することができる。
以上のように、行列処理部150が、伝送する量子化行列(差分行列)のサイズを伝送サイズ以下にダウンコンバートするので、画像符号化装置10は、量子化行列の符号量の増加を抑制することができる。
[1−5.量子化行列符号化処理の流れ]
次に、図7のフローチャートを参照して、図4の行列処理部150により実行される量子化行列符号化処理の流れの例を説明する。
次に、図7のフローチャートを参照して、図4の行列処理部150により実行される量子化行列符号化処理の流れの例を説明する。
量子化行列符号化処理が開始されると、ステップS101において、予測部161は、処理対象の直交変換単位であるカレント領域(注目領域とも称する)の量子化行列を取得する。
ステップS102において、予測部161は、コピーモードであるか否かを判定する。コピーモードでないと判定した場合、予測部161は、処理をステップS103に進める。
ステップS103において、予測行列生成部172は、過去に伝送された量子化行列を、記憶部202から取得し、その量子化行列を用いて、予測行列を生成する。
ステップS104において、予測行列サイズ変換部181は、ステップS103において生成された予測行列のサイズが、ステップS101において取得されたカレント領域(注目領域)の量子化行列と異なるか否かを判定する。サイズが異なると判定した場合、予測行列サイズ変換部181は、処理をステップS105に進める。
ステップS105において、予測行列サイズ変換部181は、ステップS103において生成された予測行列のサイズを、ステップS101において取得されたカレント領域の量子化行列のサイズにコンバートする。
ステップS105の処理が終了すると、予測行列サイズ変換部181は、処理をステップS106に進める。また、ステップS104において、予測行列のサイズと量子化行列のサイズが同一であると判定した場合、予測行列サイズ変換部181は、ステップS105の処理を省略し(ステップS105の処理を行わずに)、処理をステップS106に進める。
ステップS106において、演算部182は、予測行列から量子化行列を減算し、予測行列と量子化行列の差分行列を算出する。
ステップS107において、量子化部183は、ステップS106において生成された差分行列を量子化する。なお、この処理は省略するようにしてもよい。
ステップS108において、差分行列サイズ変換部163は、量子化された差分行列のサイズが伝送サイズ(伝送の際に許容される最大サイズ)より大きいか否かを判定する。伝送サイズより大きいと判定した場合、差分行列サイズ変換部163は、処理をステップS109に進め、差分行列を伝送サイズ以下にダウンコンバートする。
ステップS109の処理を終了すると、差分行列サイズ変換部163は、処理をステップS110に進める。また、ステップS108において、量子化された差分行列のサイズが伝送サイズ以下であると判定した場合、差分行列サイズ変換部163は、ステップS109の処理を省略し(ステップS109の処理を行わずに)、処理をステップS110に進める。
ステップS110において、重複判定部191は、量子化された差分行列が、135度の対称性を有するか否かを判定する。135度の対称性を有すると判定した場合、重複判定部191は、処理をステップS111に進める。
ステップS111において、重複判定部191は、量子化された差分行列の重複部分(重複データ)を削除する。重複データを削除すると、重複判定部191は、処理をステップS112に進める。
また、ステップS110において、量子化された差分行列が135度の対称性を有さないと判定した場合、重複判定部191は、ステップS111の処理を省略し(ステップS111の処理を行わずに)、処理をステップS112に進める。
ステップS112において、DPCM部192は、適宜重複部分が削除された差分行列をDPCM符号化する。
ステップS113において、expG部193は、ステップS112において生成されたDPCMデータに、正負を表す符号が存在するか否かを判定する。符号が存在すると判定した場合、expG部193は、処理をステップS114に進める。
ステップS114において、expG部193は、DPCMデータに対して、符号付きの拡張ゴロム符号化を行う。出力部166は、生成された拡張ゴロム符号を、可逆符号化部16および逆量子化部21に出力する。ステップS114の処理が終了すると、expG部193は、処理をステップS116に進める。
また、ステップS113において、符号が存在しないと判定した場合、expG部193は、処理をステップS115に進める。
ステップS115において、expG部193は、DPCMデータに対して、符号無しの拡張ゴロム符号化を行う。出力部166は、生成された拡張ゴロム符号を、可逆符号化部16および逆量子化部21に出力する。ステップS115の処理が終了すると、expG部193は、処理をステップS116に進める。
また、ステップS102において、コピーモードであると判定した場合、コピー部171は、過去に伝送された量子化行列を複製してそれを予測行列とする。出力部166は、その予測行列に対応するリストIDを、予測行列を示す情報として、可逆符号化部16および逆量子化部21に出力する。そして、コピー部171は、処理をステップS116に進める。
ステップS116において、量子化行列復元部201は、量子化行列を復元する。ステップS117において、記憶部202は、ステップS116において復元された量子化行列を記憶する。
ステップS117の処理が終了すると、行列処理部150は、量子化行列符号化処理を終了する。
行列処理部150が、以上のように処理を行うことにより、画像符号化装置10は、量子化行列の符号量の増加を抑制することができる。
[1−6.シンタクス]
図8乃至図13は、本技術を適用した場合の、シンタクスの例を示す図である。図8乃至図13に示されるように、量子化行列に関する各種パラメータやフラグが、例えば、符号化データに付加されて復号側に伝送される。なお、これらの情報を付加する符号化データの位置は任意である。また、これらの情報を、符号化データとは独立して復号側に伝送させるようにしても良い。
図8乃至図13は、本技術を適用した場合の、シンタクスの例を示す図である。図8乃至図13に示されるように、量子化行列に関する各種パラメータやフラグが、例えば、符号化データに付加されて復号側に伝送される。なお、これらの情報を付加する符号化データの位置は任意である。また、これらの情報を、符号化データとは独立して復号側に伝送させるようにしても良い。
[1−7.量子化スケール]
ここで図12に記載の第1量子化スケール乃至第4量子化スケールについて説明する。4種類の量子化スケール(Qscale0乃至Qscale3)が特定される。これら量子化スケールは、量子化行列の各要素の値を量子化して符号量をより少なくするために採用され得るパラメータである。
ここで図12に記載の第1量子化スケール乃至第4量子化スケールについて説明する。4種類の量子化スケール(Qscale0乃至Qscale3)が特定される。これら量子化スケールは、量子化行列の各要素の値を量子化して符号量をより少なくするために採用され得るパラメータである。
より具体的には、例えば、8×8の量子化行列に対して、図14および図15に示されるような4つの量子化スケール設定領域A1乃至A4が定義される。量子化スケール設定領域A1は、DC成分を含む低域信号に対応する要素群のための領域である。
量子化スケール設定領域A2およびA3は、それぞれ中間域の信号に対応する要素群のための領域である。量子化スケール設定領域A4は、高域信号に対応する要素群のための領域である。このような領域毎に、量子化行列の要素の値を量子化するための量子化スケールが設定され得る。
例えば、図15を参照すると、量子化スケール設定領域A1についての第1の量子化スケール(Qscale0)は"1"である。これは、低域信号に対応する要素群については量子化行列の値が量子化されないことを意味する。
これに対して、量子化スケール設定領域A2についての第2の量子化スケール(Qscale1)は"2"である。量子化スケール設定領域A3についての第3の量子化スケール(Qscale2)は"3"である。量子化スケール設定領域A4についての第4の量子化スケール(Qscale3)は"4"である。量子化スケールが大きくなるほど、量子化により生じる誤差は増加する。
しかしながら、一般的に、高域信号については、ある程度の誤差が許容され得る。従って、高い符号化効率を達成することが望まれる場合、量子化行列の量子化のためのこのような量子化スケールの設定によって、量子化行列の定義に要する符号量を、画質を大きく劣化させることなく効果的に削減することができる。
なお、図14および図15に示した量子化スケール設定領域の配置は一例に過ぎない。例えば、量子化行列のサイズごとに異なる数の量子化スケール設定領域が定義されてもよい(例えば、サイズが大きいほど多くの量子化スケール設定領域を定義され得る)。
また、量子化スケール設定領域の境界の位置も図14の例に限定されない。通常、量子化行列を一次元化する際のスキャンパターンはジグザグスキャンである。そのため、図14に示したような右上から左下にかけての斜めの領域境界が用いられることが好ましい。
しかしながら、量子化行列の要素間の相関、または、使用されるスキャンパターン等に応じて、縦方向または横方向に沿った領域境界が用いられてもよい。つまり、領域境界の傾斜の角度は任意であり、複数の候補の中から所望の角度の傾斜パターンが選択されるようにしてもよい。さらに、量子化スケール設定領域の配置(領域の数及び境界の位置や傾斜等)は、符号化効率の観点で適応的に選択されてもよい。例えば、フラットに近い量子化行列が定義される場合、より少ない数の量子化スケール設定領域が選択されてもよい。
次に、本開示の一実施形態に係る画像復号装置の構成例について説明する。
[1−8.画像復号装置の全体的な構成例]
図16は、本開示の一実施形態に係る画像復号装置300の構成の一例を示すブロック図である。図16に示される画像復号装置300は、画像符号化装置10により生成された符号化データを復号する、本技術を適用した画像処理装置である。図16を参照すると、画像復号装置300は、蓄積バッファ311、可逆復号部312、逆量子化・逆直交変換部313、加算部315、デブロックフィルタ316、並べ替えバッファ317、D/A(Digital to Analogue)変換部318、フレームメモリ319、セレクタ320及び321、イントラ予測部330、並びに動き補償部340を有する。
図16は、本開示の一実施形態に係る画像復号装置300の構成の一例を示すブロック図である。図16に示される画像復号装置300は、画像符号化装置10により生成された符号化データを復号する、本技術を適用した画像処理装置である。図16を参照すると、画像復号装置300は、蓄積バッファ311、可逆復号部312、逆量子化・逆直交変換部313、加算部315、デブロックフィルタ316、並べ替えバッファ317、D/A(Digital to Analogue)変換部318、フレームメモリ319、セレクタ320及び321、イントラ予測部330、並びに動き補償部340を有する。
蓄積バッファ311は、伝送路を介して入力される符号化ストリームを、記憶媒体を用いて一時的に蓄積する。
可逆復号部312は、蓄積バッファ311から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部312は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、上述した量子化行列を生成するための基礎行列情報および差分行列情報、並びにブロックヘッダ内のイントラ予測に関する情報およびインター予測に関する情報を含み得る。可逆復号部312は、復号後の量子化データおよび量子化行列を生成するための情報を、逆量子化・逆直交変換部313へ出力する。また、可逆復号部312は、イントラ予測に関する情報をイントラ予測部330へ出力する。また、可逆復号部312は、インター予測に関する情報を動き補償部340へ出力する。
逆量子化・逆直交変換部313は、可逆復号部312から入力される量子化データについて逆量子化および逆直交変換を行うことにより、予測誤差データを生成する。そして、逆量子化・逆直交変換部313は、生成した予測誤差データを加算部315へ出力する。
加算部315は、逆量子化・逆直交変換部313から入力される予測誤差データと、セレクタ321から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部315は、生成した復号画像データをデブロックフィルタ316およびフレームメモリ319へ出力する。
デブロックフィルタ316は、加算部315から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並べ替えバッファ317およびフレームメモリ319へ出力する。
並べ替えバッファ317は、デブロックフィルタ316から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ317は、生成した画像データをD/A変換部318へ出力する。
D/A変換部318は、並べ替えバッファ317から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、D/A変換部318は、例えば、画像復号装置300と接続されるディスプレイ(図示せず)にアナログ画像信号を出力することにより、画像を表示させる。
フレームメモリ319は、加算部315から入力されるフィルタリング前の復号画像データ、および、デブロックフィルタ316から入力されるフィルタリング後の復号画像データを、記憶媒体を用いて記憶する。
セレクタ320は、可逆復号部312により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ319からの画像データの出力先をイントラ予測部330と動き補償部340との間で切り替える。例えば、セレクタ320は、イントラ予測モードが指定された場合、フレームメモリ319から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部330へ出力する。また、セレクタ320は、インター予測モードが指定された場合、フレームメモリ319から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部340へ出力する。
セレクタ321は、可逆復号部312により取得されるモード情報に応じて、画像内のブロックごとに、加算部315へ供給すべき予測画像データの出力元をイントラ予測部330と動き補償部340との間で切り替える。例えば、セレクタ321は、イントラ予測モードが指定された場合、イントラ予測部330から出力される予測画像データを加算部315へ供給する。セレクタ321は、インター予測モードが指定された場合、動き補償部340から出力される予測画像データを加算部315へ供給する。
イントラ予測部330は、可逆復号部312から入力されるイントラ予測に関する情報とフレームメモリ319からの参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部330は、生成した予測画像データをセレクタ321へ出力する。
動き補償部340は、可逆復号部312から入力されるインター予測に関する情報とフレームメモリ319からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部340は、生成した予測画像データをセレクタ321へ出力する。
[1−9.逆量子化・逆直交変換部の構成例]
図17は、図16に示した画像復号装置300の逆量子化・逆直交変換部313の主な構成の一例を示すブロック図である。図17を参照すると、逆量子化・逆直交変換部313は、行列生成部410、選択部430、逆量子化部440、および逆直交変換部450を有する。
図17は、図16に示した画像復号装置300の逆量子化・逆直交変換部313の主な構成の一例を示すブロック図である。図17を参照すると、逆量子化・逆直交変換部313は、行列生成部410、選択部430、逆量子化部440、および逆直交変換部450を有する。
(1)行列生成部
行列生成部410は、符号化ストリームのシーケンス毎およびピクチャ毎に、ある1つのサイズの変換単位に対応する量子化行列から、他の1つ以上のサイズの変換単位に対応する量子化行列を生成する。量子化行列の生成の基礎となる変換単位のサイズは、典型的には、複数の変換単位のサイズのうち最小のサイズであってよい。本実施形態では、行列生成部410は、最小のサイズである4×4の量子化行列から、より大きいサイズについての差分行列情報を用いて、8×8、16×16及び32×32の量子化行列を生成する。
行列生成部410は、符号化ストリームのシーケンス毎およびピクチャ毎に、ある1つのサイズの変換単位に対応する量子化行列から、他の1つ以上のサイズの変換単位に対応する量子化行列を生成する。量子化行列の生成の基礎となる変換単位のサイズは、典型的には、複数の変換単位のサイズのうち最小のサイズであってよい。本実施形態では、行列生成部410は、最小のサイズである4×4の量子化行列から、より大きいサイズについての差分行列情報を用いて、8×8、16×16及び32×32の量子化行列を生成する。
(2)選択部
選択部430は、サイズの異なる複数の変換単位から、復号される画像データの逆直交変換のために使用される変換単位(TU)を選択する。選択部430により選択され得る変換単位のサイズの候補は、例えば、H.264/AVCでは4×4および8×8を含み、HEVCでは4×4、8×8、16×16、および32×32を含む。選択部430は、例えば、符号化ストリームのヘッダ内に含まれるLCU、SCU、およびsplit_flagに基づいて、変換単位を選択してもよい。そして、選択部430は、選択した変換単位のサイズを指定する情報を、逆量子化部440および逆直交変換部450へ出力する。
選択部430は、サイズの異なる複数の変換単位から、復号される画像データの逆直交変換のために使用される変換単位(TU)を選択する。選択部430により選択され得る変換単位のサイズの候補は、例えば、H.264/AVCでは4×4および8×8を含み、HEVCでは4×4、8×8、16×16、および32×32を含む。選択部430は、例えば、符号化ストリームのヘッダ内に含まれるLCU、SCU、およびsplit_flagに基づいて、変換単位を選択してもよい。そして、選択部430は、選択した変換単位のサイズを指定する情報を、逆量子化部440および逆直交変換部450へ出力する。
(3)逆量子化部
逆量子化部440は、選択部430により選択された変換単位に対応する量子化行列を用いて、画像の符号化の際に量子化された変換係数データを逆量子化する。ここで逆量子化処理のために用いられる量子化行列は、行列生成部410により生成される行列を含む。即ち、例えば選択部430により8×8、16×16、または32×32の変換単位が選択された場合、選択された変換単位に対応する量子化行列として、行列生成部410により4×4の量子化行列から生成された量子化行列が用いられ得る。そして、逆量子化部440は、逆量子化した変換係数データを逆直交変換部450へ出力する。
逆量子化部440は、選択部430により選択された変換単位に対応する量子化行列を用いて、画像の符号化の際に量子化された変換係数データを逆量子化する。ここで逆量子化処理のために用いられる量子化行列は、行列生成部410により生成される行列を含む。即ち、例えば選択部430により8×8、16×16、または32×32の変換単位が選択された場合、選択された変換単位に対応する量子化行列として、行列生成部410により4×4の量子化行列から生成された量子化行列が用いられ得る。そして、逆量子化部440は、逆量子化した変換係数データを逆直交変換部450へ出力する。
(4)逆直交変換部
逆直交変換部450は、符号化の際に使用された直交変換方式に従い、逆量子化部440により逆量子化された変換係数データを上記選択された変換単位で逆直交変換することにより、予測誤差データを生成する。そして、逆直交変換部450は、生成した予測誤差データを加算部315へ出力する。
逆直交変換部450は、符号化の際に使用された直交変換方式に従い、逆量子化部440により逆量子化された変換係数データを上記選択された変換単位で逆直交変換することにより、予測誤差データを生成する。そして、逆直交変換部450は、生成した予測誤差データを加算部315へ出力する。
[1−10.行列生成部の構成例]
図18は、図17に示した逆量子化・逆直交変換部313の行列生成部410のさらに詳細な構成の一例を示すブロック図である。図18を参照すると、行列生成部410は、基礎行列取得部512、差分取得部514、予測部516、再構築部518、および量子化行列バッファ520を有する。
図18は、図17に示した逆量子化・逆直交変換部313の行列生成部410のさらに詳細な構成の一例を示すブロック図である。図18を参照すると、行列生成部410は、基礎行列取得部512、差分取得部514、予測部516、再構築部518、および量子化行列バッファ520を有する。
(1)基礎行列取得部
基礎行列取得部512は、可逆復号部312から入力される基礎行列情報を取得する。本実施形態において、基礎行列情報は、上述したように、例えば、最小のサイズである4×4(または8×8)の量子化行列SL1を特定する情報である。そして、基礎行列取得部512は、取得した基礎行列情報から特定される4×4の量子化行列SL1を量子化行列バッファ520に記憶させる。なお、基礎行列取得部512は、シーケンス毎またはピクチャ毎に取得される行列種別フラグが「0」であれば、基礎行列情報を取得することなく、既定の4×4の量子化行列を量子化行列バッファ520に記憶させる。また、基礎行列取得部512は、ピクチャ毎に取得される更新フラグが「0」であれば、以前の処理によって量子化行列バッファ520に記憶させた量子化行列SL1を更新しない。また、基礎行列取得部512は、4×4の量子化行列SL1を予測部516へ出力する。
基礎行列取得部512は、可逆復号部312から入力される基礎行列情報を取得する。本実施形態において、基礎行列情報は、上述したように、例えば、最小のサイズである4×4(または8×8)の量子化行列SL1を特定する情報である。そして、基礎行列取得部512は、取得した基礎行列情報から特定される4×4の量子化行列SL1を量子化行列バッファ520に記憶させる。なお、基礎行列取得部512は、シーケンス毎またはピクチャ毎に取得される行列種別フラグが「0」であれば、基礎行列情報を取得することなく、既定の4×4の量子化行列を量子化行列バッファ520に記憶させる。また、基礎行列取得部512は、ピクチャ毎に取得される更新フラグが「0」であれば、以前の処理によって量子化行列バッファ520に記憶させた量子化行列SL1を更新しない。また、基礎行列取得部512は、4×4の量子化行列SL1を予測部516へ出力する。
(2)差分取得部
差分取得部514は、可逆復号部312から入力される差分行列情報(残差行列情報)を取得する。本実施形態において、差分行列情報は、上述したように、4×4の量子化行列SL1から予測される予測行列PSL2、PSL3、およびPSL4と量子化行列SL2、SL3、およびSL4との差分を表す差分行列DSL2、DSL3、およびDSL4を特定する情報である。差分取得部514は、差分行列情報により特定される差分行列DSL2、DSL3、およびDSL4を、再構築部518へ出力する。なお、差分取得部514は、シーケンス毎またはピクチャ毎に取得される行列種別フラグが「0」であるか、若しくは、差分フラグが「0」であれば、差分行列情報を取得することなく、対応するサイズの差分行列をゼロ行列とする。また、差分取得部514は、ピクチャ毎に取得される更新フラグが「0」であれば、対応するサイズについて差分行列を出力しない。
差分取得部514は、可逆復号部312から入力される差分行列情報(残差行列情報)を取得する。本実施形態において、差分行列情報は、上述したように、4×4の量子化行列SL1から予測される予測行列PSL2、PSL3、およびPSL4と量子化行列SL2、SL3、およびSL4との差分を表す差分行列DSL2、DSL3、およびDSL4を特定する情報である。差分取得部514は、差分行列情報により特定される差分行列DSL2、DSL3、およびDSL4を、再構築部518へ出力する。なお、差分取得部514は、シーケンス毎またはピクチャ毎に取得される行列種別フラグが「0」であるか、若しくは、差分フラグが「0」であれば、差分行列情報を取得することなく、対応するサイズの差分行列をゼロ行列とする。また、差分取得部514は、ピクチャ毎に取得される更新フラグが「0」であれば、対応するサイズについて差分行列を出力しない。
(3)予測部
予測部516は、基礎行列取得部512から入力される基礎行列、即ち本実施形態においては4×4の量子化行列SL1から、より大きいサイズの8×8の予測行列PSL2を算出する。また、予測部516は、算出された8×8の予測行列PSL2を用いて再構築部518により再構築される量子化行列SL2から、16×16の予測行列PSL3を算出する。さらに、予測部516は、算出された16×16の予測行列PSL3を用いて再構築部518により再構築される量子化行列SL3から、32×32の予測行列PSL4を算出する。予測部516は、予測行列PSL2、PSL3、およびPSL4をそれぞれ再構築部518へ出力する。なお、予測部516は、行列種別フラグが「0」であるサイズについては予測行列を生成せず、より大きいサイズの予測行列の算出のために、既定の量子化行列を使用する。また、基礎行列取得部512は、更新フラグが「0」であるサイズについても予測行列を生成せず、より大きいサイズの予測行列の算出のために、以前の処理で生成された量子化行列を使用する。
予測部516は、基礎行列取得部512から入力される基礎行列、即ち本実施形態においては4×4の量子化行列SL1から、より大きいサイズの8×8の予測行列PSL2を算出する。また、予測部516は、算出された8×8の予測行列PSL2を用いて再構築部518により再構築される量子化行列SL2から、16×16の予測行列PSL3を算出する。さらに、予測部516は、算出された16×16の予測行列PSL3を用いて再構築部518により再構築される量子化行列SL3から、32×32の予測行列PSL4を算出する。予測部516は、予測行列PSL2、PSL3、およびPSL4をそれぞれ再構築部518へ出力する。なお、予測部516は、行列種別フラグが「0」であるサイズについては予測行列を生成せず、より大きいサイズの予測行列の算出のために、既定の量子化行列を使用する。また、基礎行列取得部512は、更新フラグが「0」であるサイズについても予測行列を生成せず、より大きいサイズの予測行列の算出のために、以前の処理で生成された量子化行列を使用する。
(4)再構築部
再構築部518は、予測部516から入力される予測行列PSL2、PSL3、およびPSL4と差分取得部514から入力される差分行列DSL2、DSL3、およびDSL4とを加算することにより、量子化行列SL2、SL3、およびSL4をそれぞれ再構築する。
再構築部518は、予測部516から入力される予測行列PSL2、PSL3、およびPSL4と差分取得部514から入力される差分行列DSL2、DSL3、およびDSL4とを加算することにより、量子化行列SL2、SL3、およびSL4をそれぞれ再構築する。
そして、再構築部518は、再構築した8×8、16×16、および32×32の量子化行列SL2、SL3、およびSL4を量子化行列バッファ520に記憶させる。なお、再構築部518は、シーケンス毎またはピクチャ毎に取得される行列種別フラグが「0」であれば、対応するサイズの量子化行列として既定の量子化行列を量子化行列バッファ520に記憶させる。また、基礎行列取得部512は、ピクチャ毎に取得される更新フラグが「0」であれば、以前の処理によって量子化行列バッファ520に記憶させた対応するサイズの量子化行列SL2、SL3、またはSL4を更新しない。
(5)量子化行列バッファ
量子化行列バッファ520は、基礎行列取得部512により特定される量子化行列SL1、並びに、再構築部518により再構築される量子化行列SL2、SL3、およびSL4を一時的に記憶する。量子化行列バッファ520により記憶されるこれら量子化行列SL1、SL2、SL3、およびSL4は、量子化された変換係数データの逆量子化部440による逆量子化処理のために用いられる。
量子化行列バッファ520は、基礎行列取得部512により特定される量子化行列SL1、並びに、再構築部518により再構築される量子化行列SL2、SL3、およびSL4を一時的に記憶する。量子化行列バッファ520により記憶されるこれら量子化行列SL1、SL2、SL3、およびSL4は、量子化された変換係数データの逆量子化部440による逆量子化処理のために用いられる。
[1−11.行列生成部の詳細な構成例]
図19は、図18に示した行列生成部410のさらに詳細な構成の一例を示すブロック図である。図19を参照すると、行列生成部410は、パラメータ解析部531、予測部532、エントロピ復号部533、量子化行列復元部534、出力部535、および記憶部536を有する。
図19は、図18に示した行列生成部410のさらに詳細な構成の一例を示すブロック図である。図19を参照すると、行列生成部410は、パラメータ解析部531、予測部532、エントロピ復号部533、量子化行列復元部534、出力部535、および記憶部536を有する。
パラメータ解析部531は、可逆復号部312から供給される、量子化行列に関する各種フラグやパラメータを解析する。また、パラメータ解析部531は、その解析結果に従って、可逆復号部312から供給される、差分行列の符号化データ等、各種情報を予測部532またはエントロピ復号部533に供給する。
例えば、パラメータ解析部531は、pred_modeが0なら、コピーモードと判断し、pred_matrix_id_deltaをコピー部541に供給する。また、例えば、パラメータ解析部531は、pred_modeが1なら、全スキャンモード(通常の場合)と判断し、pred_matrix_id_deltaおよびpred_size_id_deltaを予測行列生成部542に供給する。
また、パラメータ解析部531は、例えばresidual_flagがtrueである場合、可逆復号部312から供給される量子化行列の符号化データ(拡張ゴロム符号)をエントロピ復号部533のexpG部551に供給する。さらに、パラメータ解析部531は、residual_symmetry_flagをexpG部551に供給する。
さらに、パラメータ解析部531は、residual_down_sampling_flagを量子化行列復元部534の差分行列サイズ変換部562に供給する。
予測部532は、パラメータ解析部531の制御に従って、予測行列を生成する。図19に示されるように、予測部532は、コピー部541および予測行列生成部542を有する。
コピー部541は、コピーモードの場合、過去に伝送された量子化行列を複製し、それを予測行列とする。より具体的には、コピー部541は、pred_matrix_id_deltaに対応する、カレント領域の量子化行列と同一サイズの、過去に伝送された量子化行列を記憶部536から読み出し、その量子化行列を予測画像とし、その予測画像を出力部535に供給する。
予測行列生成部542は、通常の場合、過去に伝送された量子化行列を用いて予測行列を生成する(予測する)。より具体的には、予測行列生成部542は、pred_matrix_id_deltaおよびpred_size_id_deltaに対応する過去に伝送された量子化行列を記憶部536から読み出し、それを用いて予測行列を生成する。つまり、予測行列生成部542は、画像符号化装置10の予測行列生成部172(図4)が生成する予測行列と同様の予測行列を生成する。予測行列生成部542は、生成した予測行列を量子化行列復元部534の予測行列サイズ変換部561に供給する。
エントロピ復号部533は、パラメータ解析部531から供給される拡張ゴロム符号から差分行列を復元する。図19に示されるように、エントロピ復号部533は、expG部551、逆DPCM部552、および逆重複判定部553を有する。
expG部551は、符号つき若しくは符号なしのexponential golomb復号(以下、拡張ゴロム復号とも称する)を行い、DPCMデータを復元する。expG部551は、復元したDPCMデータを、residual_symmetry_flagとともに、逆DPCM部552に供給する。
逆DPCM部552は、重複部分が削除されたデータに対してDPCM復号して、DPCMデータから残差データを生成する。逆DPCM部552は、生成した残差データを、residual_symmetry_flagとともに、逆重複判定部553に供給する。
逆重複判定部553は、residual_symmetry_flagがtrueである場合、すなわち、残差データが135度の対象行列の、重複する対称部分のデータ(行列要素)が削除されたものである場合、その対称部分のデータを復元する。つまり、135度の対象行列の差分行列が復元される。なお、residual_symmetry_flagがtrueで無い場合、すなわち、残差データが135度の対象行列でない行列である場合、逆重複判定部553は、対称部分のデータの復元を行わずに、その残差データを差分行列とする。逆重複判定部553は、このようにして復元した差分行列を量子化行列復元部534(差分行列サイズ変換部562)に供給する。
量子化行列復元部534は、量子化行列を復元する。図19に示されるように、量子化行列復元部534は、予測行列サイズ変換部561、差分行列サイズ変換部562、逆量子化部563、および演算部564を有する。
予測行列サイズ変換部561は、予測部532(予測行列生成部542)から供給される予測行列のサイズが、復元されるカレント領域の量子化行列のサイズと異なる場合、その予測行列のサイズをコンバートする。
例えば、予測行列のサイズが量子化行列のサイズより大きい場合、予測行列サイズ変換部561は、予測行列をダウンコンバートする。また、例えば、予測行列のサイズが量子化行列のサイズより小さい場合、予測行列サイズ変換部561は、予測行列をアップコンバートする。コンバートの方法は、画像符号化装置10の予測行列サイズ変換部181(図4)と同一の方法が選択される。
予測行列サイズ変換部561は、サイズを量子化行列に合わせた予測行列を演算部564に供給する。
差分行列サイズ変換部562は、residual_down_sampling_flagがtrueの場合、すなわち、伝送された差分行列のサイズが逆量子化するカレント領域のサイズより小さい場合、その差分行列のサイズを逆量子化するカレント領域に応じたサイズにアップコンバートする。アップコンバートの方法は、任意である。例えば、画像符号化装置10の差分行列サイズ変換部163(図4)が行ったダウンコンバートの方法に対応するようにしてもよい。
例えば、差分行列サイズ変換部163が、差分行列をダウンサンプルした場合、差分行列サイズ変換部562は、その差分行列をアップサンプルするようにしてもよい。また、差分行列サイズ変換部163が、差分行列をサブサンプルした場合、差分行列サイズ変換部562は、その差分行列を逆サブサンプルするようにしてもよい。
例えば、差分行列サイズ変換部562は、一般的な線形補間ではなく、図20に示されるように、最近傍補間処理(nearest neighbor)で補間するようにしてもよい。この最近傍補間処理を用いることにより、保持するメモリを低減させることができる。
これにより、サイズの大きな量子化行列を伝送しない場合でも、サイズの小さな量子化行列からアップサンプリングする際に、アップサンプリング後のデータを保持する必要がなくなり、アップサンプリングする際の演算に伴うデータを格納する際にも、中間バッファ等も不要となる。
なお、residual_down_sampling_flagがtrueでない場合、すなわち、差分行列が量子化処理に用いられたときのサイズで伝送される場合、差分行列サイズ変換部562は、差分行列のアップコンバートを省略する(若しくは、1倍のアップコンバートを行うようにしてもよい)。
差分行列サイズ変換部562は、このように必要に応じてアップコンバートした差分行列を、逆量子化部563に供給する。
逆量子化部563は、画像符号化装置10の量子化部183(図4)の量子化に対応する方法で、供給された差分行列(量子化データ)を逆量子化し、逆量子化された差分行列を演算部564に供給する。なお、量子化部183が省略される場合、すなわち、差分行列サイズ変換部562から供給される差分行列が量子化データでない場合、この逆量子化部563を省略することができる。
演算部564は、予測行列サイズ変換部561から供給される予測行列と、逆量子化部563から供給される差分行列とを加算し、カレント領域の量子化行列を復元する。演算部564は、復元した量子化行列を出力部535および記憶部536に供給する。
出力部535は、供給される情報を行列生成部410の外部に出力する。例えば、コピーモードの場合、出力部535は、コピー部541から供給される予測行列をカレント領域の量子化行列として、逆量子化部440に供給する。また、例えば、通常の場合、出力部535は、量子化行列復元部534(演算部564)から供給されるカレント領域の量子化行列を、逆量子化部440に供給する。
記憶部536は、量子化行列復元部534(演算部564)から供給される量子化行列を、そのサイズやリストIDとともに記憶する。この記憶部536に記憶される量子化行列に関する情報は、時間的に後に処理される他の直交変換単位の予測行列生成に利用される。つまり、記憶部536は、記憶している量子化行列に関する情報を、過去に伝送された量子化行列に関する情報として、予測部532に供給する。
以上のように、行列生成部410が、伝送サイズ以下のサイズの量子化行列(差分行列)を逆量子化するカレント領域に応じたサイズにアップコンバートするので、画像復号装置300は、量子化行列の符号量の増加を抑制することができる。
[1−12.量子化行列復号処理の流れ]
図21のフローチャートを参照して、以上のような行列生成部410により実行される量子化行列復号処理の流れの例を説明する。
図21のフローチャートを参照して、以上のような行列生成部410により実行される量子化行列復号処理の流れの例を説明する。
量子化行列復号処理が開始されると、ステップS301において、パラメータ解析部531は、領域0乃至領域3の量子化値(Qscale0乃至Qscale3)を読み込む。
パラメータ解析部531は、ステップS302において、pred_modeを読み込み、ステップS303において、pred_modeが0であるか否かを判定する。pred_modeが0であると判定した場合、パラメータ解析部531は、コピーモードと判定し、処理をステップS304に進める。
ステップS304において、パラメータ解析部531は、pred_matrix_id_deltaを読み込む。ステップS305において、コピー部541は、伝送済みの量子化行列を複製し、予測行列とする。コピーモードの場合、その予測行列がカレント領域の量子化行列として出力される。ステップS305の処理が終了すると、コピー部541は、量子化行列復号処理を終了する。
また、ステップS303において、pred_modeが0でないと判定した場合、パラメータ解析部531は、全スキャンモード(通常の場合)と判定し、処理をステップS306に進める。
ステップS306において、パラメータ解析部531は、pred_matrix_id_delta、pred_size_id_delta、およびresidual_flagを読み込む。ステップS307において、予測行列生成部542は、伝送済みの量子化行列から予測行列を生成する。
ステップS308において、パラメータ解析部531は、residual_flagがtrueであるか否かを判定する。residual_flagがtrueでないと判定された場合、残差行列が存在しないので、ステップS307において生成された予測行列が、カレント領域の量子化行列として出力される。したがって、この場合、パラメータ解析部531は、量子化行列復号処理を終了する。
また、ステップS308において、residual_flagがtrueであると判定した場合、パラメータ解析部531は、処理をステップS309に進める。
ステップS309において、パラメータ解析部531は、residual_down_sampling_flagおよびresidual_symmetry_flagを読み込む。
ステップS310において、expG部551および逆DPCM部552は、残差行列の拡張ゴロム符号を復号し、残差データを生成する。
ステップS311において、逆重複判定部553は、residual_symmetry_flagがtrueであるか否かを判定する。residual_symmetry_flagがtrueであると判定した場合、逆重複判定部553は、処理をステップS312に進め、その残差データの、削除された重複部分を復元する(inverse symmetry処理を行う)。このようにして135度に対象行列な差分行列が生成されると、逆重複判定部553は、処理をステップS313に進める。
また、ステップS311において、residual_symmetry_flagがtrueでないと判定した場合(残差データが、135度に対象行列でない差分行列である場合)、逆重複判定部553は、ステップS312の処理を省略し(inverse symmetry処理を行わずに)、処理をステップS313に進める。
ステップS313において、差分行列サイズ変換部562は、residual_down_sampling_flagがtrueであるか否かを判定する。residual_down_sampling_flagがtrueであると判定した場合、差分行列サイズ変換部562は、処理をステップS314に進め、差分行列を、逆量子化するカレント領域に応じたサイズにアップコンバートする。差分行列をアップコンバートすると差分行列サイズ変換部562は、処理をステップS315に進める。
また、ステップS313において、residual_down_sampling_flagがtrueでないと判定した場合、差分行列サイズ変換部562は、ステップS312の処理を省略し(差分行列をアップコンバートせずに)、処理をステップS315に進める。
ステップS315において、演算部564は、予測行列に差分行列を加算し、カレント領域の量子化行列を生成する。ステップS315の処理が終了すると、量子化行列復号処理が終了される。
以上のように、量子化行列復号処理を行うことにより、画像復号装置300は、量子化行列の符号量の増加を抑制することができる。
<2.第2の実施の形態>
[2−1.行列処理部の他の例]
図22は、本技術を適用した行列処理部150の他の構成例を示すブロック図である。
[2−1.行列処理部の他の例]
図22は、本技術を適用した行列処理部150の他の構成例を示すブロック図である。
図22の例の場合、行列処理部150は、図4の構成の差分行列サイズ変換部163が省略されている。つまり、量子化部183の出力は、エントロピ符号化部164の重複判定部191に供給される。
また、図22の行列処理部150は、量子化行列サイズ変換部701を有する。
量子化行列サイズ変換部701は、行列処理部150に入力される量子化係数のサイズを、伝送の際の最大サイズ(伝送サイズ)以下の所定のサイズにコンバートする。このコンバート後のサイズは、伝送サイズ以下である限り任意であるが、取りうる範囲の最小サイズとすることにより、量子化行列の符号量を出来るだけ低減させることができるとともに、量子化行列サイズ変換部701や予測行列サイズ変換部181の処理をダウンコンバートのみとすることができ、量子化行列サイズ変換部701や予測行列サイズ変換部181の処理を簡易化(容易化)することができる。
この場合、予測行列サイズ変換部181は、予測行列を、この量子化行列のダウンコンバート後のサイズにコンバートする。
なお、第1の実施の形態の場合と同様に、これらのコンバート(ダウンコンバート)の方法は任意であり、ダウンサンプリングであってもよいし、サブサンプルであってもよい。
つまり、この場合、量子化行列サイズ変換部701によるコンバート後の量子化行列と同サイズの差分行列が符号化されて伝送される。
したがって、この場合も画像符号化装置10は、第1の実施の形態の場合と同様に、量子化行列の符号量の増加を抑制することができる。
[2−2.量子化行列符号化処理の流れの他の例]
この場合の量子化行列符号化処理の流れの例は、図23に示されるフローチャートのようになる。
この場合の量子化行列符号化処理の流れの例は、図23に示されるフローチャートのようになる。
つまり、量子化行列符号化処理が開始されると、量子化行列サイズ変換部701は、ステップS601において、カレント領域の量子化行列を取得すると、ステップS602において、その量子化行列を、予め定められた所定のサイズにダウンコンバートする。
ステップS603乃至ステップS608の各処理は、図7のステップS102乃至ステップS107の各処理同様に実行される。図7のステップS108およびステップS109に対応する処理は行われず(省略され)、ステップS609乃至ステップS616の各処理は、図7のステップS110乃至ステップS117の各処理と同様に実行される。
行列処理部150が、以上のように量子化行列符号化処理を行うことにより、画像符号化装置10は、第1の実施の形態の場合と同様に、量子化行列の符号量の増加を抑制することができる。
[2−3.行列生成部の他の例]
図24は、画像復号装置300の行列生成部410の他の構成例を示すブロック図である。図24に示される行列生成部410は、図22の行列処理部150に対応する処理部である。つまり、図24に示される行列生成部410は、図22の行列処理部150により生成された量子化行列に関する符号化データ(各種フラグやパラメータ、並びに、差分行列から生成した拡張ゴロム符号等)を復号し、カレント領域の量子化行列を復元する。
図24は、画像復号装置300の行列生成部410の他の構成例を示すブロック図である。図24に示される行列生成部410は、図22の行列処理部150に対応する処理部である。つまり、図24に示される行列生成部410は、図22の行列処理部150により生成された量子化行列に関する符号化データ(各種フラグやパラメータ、並びに、差分行列から生成した拡張ゴロム符号等)を復号し、カレント領域の量子化行列を復元する。
この場合も、行列生成部410は、基本的に図19の例と同様の構成を有するが、図19の例と異なり、差分行列サイズ変換部562は省略される。したがって、逆重複判定部553から出力される差分行列は、逆量子化部563に供給される。
また、図24の例の場合、行列生成部410は、図19の例の場合と異なり、量子化行列サイズ変換部721を有する。
この量子化行列サイズ変換部721は、図22の量子化行列サイズ変換部701に対応し、量子化行列サイズ変換部701の処理の逆処理を行う処理部である。つまり、量子化行列サイズ変換部721は、伝送の際に許容される最大サイズ(伝送サイズ)よりも小さな量子化行列を、逆量子化するカレント領域に応じたサイズにアップコンバートする。
量子化行列サイズ変換部721は、演算部564が、差分行列に予測行列を加算して生成した量子化行列を取得する。この量子化行列のサイズは、量子化行列サイズ変換部701によりダウンコンバートされた後のサイズである。量子化行列サイズ変換部721は、その量子化行列のサイズを、逆量子化するカレント領域に応じたサイズに、アップコンバートする。量子化行列サイズ変換部721は、アップコンバートした量子化行列を出力部535に供給して、逆量子化部440に供給させたり、記憶部536に供給して記憶させたりする。
したがって、この場合も、行列生成部410が、伝送サイズ以下にダウンコンバートされて伝送された量子化行列を逆量子化するカレント領域に応じたサイズにアップコンバートするので、画像復号装置300は、量子化行列の符号量の増加を抑制することができる。
この場合の量子化行列復号処理の流れは、基本的に、図21のフローチャートを参照して説明した通りである。ただし、ステップS314において残差行列がアップコンバートされる代わりに、量子化行列サイズ変換部721が、ステップS315の処理により生成された量子化行列をアップコンバートする。
行列生成部410が、以上のように量子化行列復号処理を行うことにより、画像復号装置300は、第1の実施の形態の場合と同様に、量子化行列の符号量の増加を抑制することができる。
<3.第3の実施の形態>
[アップコンバート]
図25は、差分行列の伝送の様子の例を説明する図である。画像符号化装置10(図1)から画像復号装置300(図16)への伝送の際の量子化行列(量子化行列とその予測行列との差分行列)のサイズは、予め定められた所定の最大サイズ(伝送サイズ)以下のサイズに制限される。例えば、画像符号化装置10から画像復号装置300へ伝送される量子化行列のサイズは、予め用意される基礎行列(デフォルト量子化行列とも称する)のサイズ(デフォルト量子化行列サイズとも称する)と同じサイズに制限される。つまり、この場合、伝送サイズは、デフォルト量子化行列サイズの最大値となる。例えば、デフォルト量子化行列として4×4の量子化行列と8×8の量子化行列とが設定されるとすると、伝送サイズは8×8である。
[アップコンバート]
図25は、差分行列の伝送の様子の例を説明する図である。画像符号化装置10(図1)から画像復号装置300(図16)への伝送の際の量子化行列(量子化行列とその予測行列との差分行列)のサイズは、予め定められた所定の最大サイズ(伝送サイズ)以下のサイズに制限される。例えば、画像符号化装置10から画像復号装置300へ伝送される量子化行列のサイズは、予め用意される基礎行列(デフォルト量子化行列とも称する)のサイズ(デフォルト量子化行列サイズとも称する)と同じサイズに制限される。つまり、この場合、伝送サイズは、デフォルト量子化行列サイズの最大値となる。例えば、デフォルト量子化行列として4×4の量子化行列と8×8の量子化行列とが設定されるとすると、伝送サイズは8×8である。
つまり、画像符号化装置10は、量子化処理において使用された量子化行列がその伝送サイズより大きい場合、量子化行列や予測行列をその伝送サイズ以下にダウンコンバートするか、若しくは、求めた差分行列を伝送サイズ以下にダウンコンバートすることにより、その伝送サイズ以下の差分行列を生成する。このダウンコンバートは、例えば、差分行列サイズ変換部163、予測行列サイズ変換部181、および量子化行列サイズ変換部701等において行われる。
画像復号装置300は、伝送された差分行列、若しくは、その差分行列から求めた量子化行列を、逆量子化するカレント領域に応じたサイズにアップコンバートし、逆量子化処理において使用する。つまり、伝送サイズが、デフォルト量子化行列サイズの最大値である場合、画像復号装置300は、デフォルト量子化行列サイズと同じサイズの量子化行列を受け取る。例えば、画像復号装置300は、デフォルト量子化行列の最大サイズと同じサイズの量子化行列を受け取る。画像復号装置300は、受け取った量子化行列を用いて、若しくは、その量子化行列をアップコンバートして得られた量子化行列を用いて逆量子化処理を行う。なお、このアップコンバートは、例えば、差分行列サイズ変換部562、予測行列サイズ変換部561、および量子化行列サイズ変換部721等において行われる。
なお、画像符号化装置10は、量子化処理において使用された量子化行列(差分行列)とは別の、伝送の際に許容される最大サイズ(伝送サイズ)よりも小さなサイズの量子化行列(差分行列)を画像復号装置300に伝送することもできる。例えば、画像符号化装置10は、互いにサイズの異なる複数の量子化行列(差分行列)を用意し、その中から選択した量子化行列を量子化処理に用いることができる。その場合、画像符号化装置10は、用意された行列群中の、伝送サイズよりも大きなサイズの量子化行列を用いて量子化処理を行うとき、その量子化行列をダウンコンバートする代わりに、その行列群中の、伝送サイズよりも小さなサイズの量子化行列(差分行列)を伝送するようにすることもできる。つまり、この場合、画像符号化装置10におけるサイズ変換(ダウンコンバート)が省略される。付言するに、画像符号化装置10が、伝送サイズよりも小さなサイズの量子化行列(差分行列)をアップコンバートして量子化処理を行うこともできる。この場合も同様に、画像符号化装置10におけるサイズ変換(ダウンコンバート)が省略される。
いずれにしろ、実際にサイズ変換(ダウンコンバート)が行われるか否かに関わらず、伝送サイズ以下のサイズの量子化行列(差分行列)のみが伝送される。つまり、画像復号装置300は、画像符号化装置10において実際にサイズ変換(ダウンコンバート)が行われたか否かに関わらず、伝送された量子化行列を、逆量子化するカレント領域(例えばCUやTU等)に応じたサイズにサイズ変換(アップコンバート)する。
量子化処理において使用された際のサイズと、伝送時のサイズが同じ場合のみ、画像復号装置300は、量子化行列(差分行列)のサイズ変換(アップコンバート)を省略する(1倍のサイズ変換を行うようにしても良い)。
例えば、伝送サイズを8×8とする。この場合、例えば、差分行列は、8×8の正方行列や4×4の正方行列として伝送される。例えば、図25の上段に示されるように、8×8の正方行列として伝送される場合、差分行列は、画像復号装置300において、16×16の正方行列や、32×32の正方行列等、逆量子化するカレント領域に応じたサイズにアップコンバートされる。また、例えば、図25の下段に示されるように、4×4の正方行列として伝送される場合、差分行列は、8×8の正方行列等、逆量子化するカレント領域に応じたサイズにアップコンバートされる。
もちろん、この差分行列は、図25に示される例以外のサイズ(例えば、64×64の正方行列)へのアップコンバートも可能である。
なお、逆量子化するカレント領域のサイズが伝送された量子化行列のサイズと等しい場合、このアップコンバートは省略され(若しくは、1倍のサイズ変換が行われ)、8×8の差分行列は、8×8の正方行列のまま利用される。同様に、4×4の差分行列は、4×4の正方行列のまま利用される。
例えば、画像符号化装置10は、4×4の量子化行列を用いて4×4のブロックに対する量子化を行い、8×8の量子化行列を用いて8×8のブロックに対する量子化を行い、8×8の量子化行列をアップコンバートして16×16の量子化行列を生成し、その16×16の量子化行列を用いて16×16のブロックに対する量子化を行い、8×8の量子化行列をアップコンバートして32×32の量子化行列を生成し、その32×32の量子化行列を用いて32×32のブロックに対する量子化を行い、4×4の量子化行列と8×8の量子化行列を画像復号装置300に伝送するとする。この場合も、画像復号装置300は、画像符号化装置10と同様に、受け取った4×4の量子化行列を用いて4×4のブロックに対する量子化を行い、受け取った8×8の量子化行列を用いて8×8のブロックに対する量子化を行う。また、画像復号装置300は、画像符号化装置10と同様に、受け取った8×8の量子化行列をアップコンバートして16×16の量子化行列を生成し、その16×16の量子化行列を用いて16×16のブロックに対する量子化を行い、受け取った8×8の量子化行列をアップコンバートして32×32の量子化行列を生成し、その32×32の量子化行列を用いて32×32のブロックに対する量子化を行う。
次に、画像復号装置300におけるサイズ変換(アップコンバート)の様子について説明する。図26にアップコンバートの様子の例を示す。以下に、差分行列サイズ変換部562(図19)による処理を例に説明する。
アップコンバートの具体的な方法な任意である。例えば、最近傍補間処理(nearest neighbor)により実現される。最近傍補間処理は、補間前の行列の各要素を複製することにより、その要素の近傍の要素を補間する処理である。近傍の要素とは、補間前の行列の要素に隣接する要素、若しくは、補間前の行列の要素の近傍に位置する要素のことである。
例えば、要素数を縦方向および横方向にそれぞれ2倍にする最近傍補間(×2最近傍補間)処理は、補間前の行列の各要素から2×2の正方行列を生成する処理である。つまり、補間前の行列の各要素を用いて近傍の3要素が補間される。近傍の3要素とは、例えば、補間前の行列の要素の右に隣接する要素、下に隣接する要素、および右下に隣接する要素である。補間前の行列の各要素についてこのような処理が行われることにより、正方行列の縦方向および横方向の要素数がそれぞれ2倍に変換される。
図20の例の場合、4×4の正方行列が、最近傍補間され、8×8の正方行列が生成される。図20に示される行列において、グレーの四角が補間前の行列の要素である。この各要素が複製され、それぞれの近傍の要素(図20に示される行列の白地の四角)が補間される。
もちろん、これら以外の位置の要素(例えば、上に隣接する要素や左に隣接する要素等)を近傍の3要素としても良い。処理順に応じた向きに補間するようにするのが望ましい。また、補間の際に元の要素を複製するように説明したが、所定の演算により補間する要素の値を決定するようにしてもよい。ただし、上述したように複製することにより、補間処理の負荷を低減させることができる(より容易に補間を行うことができる)。
図26に戻り、伝送された差分行列は、複数のサイズにアップコンバートすることができる。例えば、図26に示されるように、8×8の差分行列は、16×16の正方行列や32×32の正方行列にアップコンバート可能である。
例えば、8×8の差分行列は、×2最近傍補間処理を行うことにより、16×16の差分行列にアップコンバートされる。さらに、その16×16の差分行列に対して×2最近傍補間処理を行うことにより、32×32の差分行列にアップコンバートされる。もちろん、さらに×2最近傍補間処理を繰り返すことにより、64×64以上の正方行列へのアップコンバートも可能である。つまり、×2最近傍補間処理を繰り返し行うことにより、その繰り返した回数に応じたサイズの正方行列へのアップコンバートが可能になる。
なお、最近傍補間処理による行列の拡大比は任意であり、上述した2倍に限らない。例えば、要素数を縦方向および横方向にそれぞれ4倍にする最近傍補間(×4最近傍補間)処理も実現可能である。×4最近傍補間処理も、拡大比が異なるだけで、基本的に×2最近傍補間処理と同様である。つまり、×4最近傍補間処理の場合、補間前の行列の各要素から、その要素を左上とする4×4の正方行列が生成される。つまり、補間前の行列の1要素からその近傍の15要素が補間される。補間前の行列の各要素についてこのような処理が行われることにより、正方行列の縦方向および横方向の要素数がそれぞれ4倍に変換される。
図26において点線矢印で示されるように、8×8の差分行列に対して、この×4最近傍補間処理を行うことによっても、32×32の差分行列へのアップコンバートが可能である。つまり、具体的には、1つの8×8の量子化行列(若しくは差分行列)がアップコンバートされて、16×16の量子化行列(若しくは差分行列)と32×32の量子化行列(若しくは差分行列)との両方が生成されるようにしてもよいし、16×16の量子化行列(若しくは差分行列)と32×32の量子化行列(若しくは差分行列)とが、互いに異なる8×8の量子化行列(若しくは差分行列)をアップコンバートすることにより生成されるようにしてもよい。前者の場合、4×4の量子化行列(若しくは差分行列)と8×8の量子化行列(若しくは差分行列)とが画像符号化装置10から画像復号装置300に伝送されるようにすればよい。また、後者の場合、4×4の量子化行列(若しくは差分行列)、16×16にアップコンバートすることができる8×8の量子化行列(若しくは差分行列)、および、32×32にアップコンバートすることができる8×8の量子化行列(若しくは差分行列)とが画像符号化装置10から画像復号装置300に伝送されるようにすればよい。
以上のように最近傍補間を用いることにより、差分行列サイズ変換部562は、容易に差分行列のサイズ変換を行うことができる。
さらに、このような最近傍補間処理は、非正方行列へのアップコンバートにも適用することができる。
例えば、8×8の差分行列は、×2最近傍補間処理が行われることにより、16×16の正方行列に変換され、さらに、その正方行列の所定のラインの要素を間引きすることにより、縦4×横16の非正方行列に変換される。
その際、16ラインから4ラインが抽出されれば良く、間引くラインは任意である。例えば、4ライン毎にいずれかの1ラインが抽出されるようにしてもよい。また、例えば、上から1番目のライン、5番目のライン、9番目のライン、13番目のラインが抽出されるようにしてもよい。さらに、例えば、上から3番目のライン、7番目のライン、11番目のライン、15番目のラインが抽出されるようにしてもよい。抽出されるラインは予め定められていても良いし、所定の方法により16ラインの中から任意の4ラインが(若しくは、4ライン毎に1ラインが)選択されるようにしてもよい。
また、例えば、8×8の差分行列は、×2最近傍補間処理が2回行われることにより、若しくは、×4最近傍補間処理が行われることにより、32×32の正方行列に変換され、さらに、その正方行列の所定のラインの要素を間引きすることにより、縦8×横32の非正方行列に変換される。
その際、上述した縦4×横16の非正方行列の場合と同様に、32ラインから8ラインが抽出されれば良く、間引くラインは任意である。例えば、上から1番目のライン、5番目のライン、9番目のライン、13番目のライン、17番目のライン、21番目のライン、25番目のライン、および29番目のラインが抽出されるようにしてもよい。抽出されるラインは予め定められていても良いし、所定の方法により32ラインの中から任意の8ラインが(若しくは、4ライン毎に1ラインが)選択されるようにしてもよい。
以上においては、縦:横=1:4の非正方行列に変換する場合について説明したが、変換後の行列の縦横比は任意である。例えば、正方行列の要素を、ライン毎に間引く代わりに、ラインの場合と同様に列毎に間引くことにより、縦:横=4:1の非正方行列へのサイズ変換が可能になる。
また、例えば、“CE6.b1 Report on Short Distance Intra Prediction Method”(JCTVC-E278,2011年3月)において、サイズの小さい非正方形の予測単位を使用して符号化効率を向上させる、短距離イントラ予測法(Short Distance Intra Prediction Method)を提案している。短距離イントラ予測法では、例えば1×4画素、2×8画素、4×16画素、4×1画素、8×2画素、16×4画素などの様々なサイズの予測単位が画像内に設定され得る。この場合、予測単位の垂直方向のサイズ及び水平方向のサイズのうちいずれのサイズがより大きいかは、予測単位の設定に依存する。
ライン若しくは列の間引き量を調整することにより、このような様々な縦横比の非正方行列へのサイズ変換が可能になる。例えば、16×16の正方行列から、1ライン抽出することにより、縦:横=1:16の非正方行列へのサイズ変換が実現される。同様に、32×32の正方行列から、いずれかの2ライン抽出することにより、縦:横=2:32の非正方行列へのサイズ変換が実現される。
以上のように最近傍補間を用いることにより、差分行列サイズ変換部562は、差分行列の非正方行列へのサイズ変換も容易に行うことができる。
以上においては、最近傍補間処理とライン(若しくは列)の間引きを併用することにより、非正方行列へのサイズ変換を実現するように説明したが、これに限らず、例えば、最近傍補間処理のみにより、非正方行列へのサイズ変換を実現することもできる。
例えば、図27のAに示されるように、4×4正方行列を横方向にのみ4倍(×4水平方向最近傍補間)することにより、4×16の非正方行列へのサイズ変換を実現することができる。×4水平方向最近傍補間は、補間前の行列の各要素から1×4の非正方行列を生成する処理である。つまり、補間前の行列の各要素を用いて近傍の3要素が補間される。近傍の3要素とは、例えば、補間前の行列の要素の右に隣接して横方向に並ぶ3要素である。補間前の行列の各要素についてこのような処理が行われることにより、正方行列の横方向の要素数のみが4倍される。
また例えば、図27のAに示されるように、4×4正方行列を縦方向にのみ4倍(×4垂直方向最近傍補間)することにより、16×4の非正方行列へのサイズ変換を実現することができる。×4垂直方向最近傍補間は、補間前の行列の各要素から4×1の非正方行列を生成する処理である。つまり、補間前の行列の各要素を用いて近傍の3要素が補間される。近傍の3要素とは、例えば、補間前の行列の要素の下に隣接して縦方向に並ぶ3要素である。補間前の行列の各要素についてこのような処理が行われることにより、正方行列の縦方向の要素数のみが4倍される。
8×8の正方行列も同様にサイズ変換することができる。例えば、図27のBに示されるように、8×8正方行列に対して×4水平方向最近傍補間処理を行うことにより、8×32の非正方行列へのサイズ変換を実現することができる。また、例えば、図27のBに示されるように、8×8正方行列に対して×4垂直方向最近傍補間処理を行うことにより、32×8の非正方行列へのサイズ変換を実現することができる。
以上のように最近傍補間を用いることにより、差分行列サイズ変換部562は、差分行列の非正方行列へのサイズ変換も容易に行うことができる。
なお、上述したような最近傍補間を用いたサイズ変換は、任意のサイズの行列に対して行うことができる。また、量子化行列や予測行列をサイズ変換する場合も、上述した差分行列の場合と同様に、最近傍補間を用いてサイズ変換することができる。つまり、量子化行列サイズ変換部721も同様に、最近傍補間を用いて容易に量子化行列のサイズ変換を行うことができる。予測行列サイズ変換部561も同様である。
また、以上においては、量子化行列、予測行列、または、それらの差分行列のサイズ変換処理について説明したが、このサイズ変換処理は、実際に、サイズを変換した行列を生成する処理であってもよいが、実際には行列のデータを生成せずに、メモリからの行列の各要素の読み出し方を設定する処理(行列データの読み出し制御)であってもよい。
上述したサイズ変換処理の場合、サイズ変換後の行列の各要素は、サイズ変換前の行列のいずれかの要素により構成される。つまり、例えば、一部の要素のみを読み出したり、1つの要素を複数回読み出したりする等の所定の方法で、メモリに格納されているサイズ変換前の行列の要素を読み出せば、サイズ変換後の行列を生成することができる。換言するに、その各要素の読み出し方法を定義する(行列データの読み出し制御を行う)ことにより、上述したサイズ変換が実質的に実現される。このような方法を用いることにより、サイズ変換後の行列データをメモリに書き込む等の処理が不要になる。また、サイズ変換後の行列データの読み出し方は、基本的に最近傍補間の仕方等で決まるので、予め用意されている複数の選択肢の中から適切なものを選択する程度の、比較的低負荷の処理で実現可能である。したがって、このような方法を用いることにより、サイズ変換の負荷が低減される。
つまり、以上において説明したサイズ変換処理は、実際にサイズ変換後の行列のデータを生成処理も含むが、このような行列データの読み出し制御も含む。
以上においては、差分行列がダウンコンバートされて伝送されるか、ダウンコンバートされた量子化行列から生成された差分行列が伝送されるように説明したが、本技術は、量子化行列に関する情報の符号量を低減させることができればよい。したがって、これらの例に限らず、例えば、予測処理を省略し、差分行列の代わりに、カレント領域の量子化行列がダウンコンバートされて伝送されるようにしてもよい。その場合、復号側では、伝送された量子化行列を、逆量子化するカレント領域に応じたサイズにアップコンバートするだけでよい。この場合、伝送する量子化行列に対して、第1の実施の形態乃至第3の実施の形態において上述したDPCM符号化・復号を用いた符号化処理・復号処理は、行っても良いし行わなくても良い。もちろん、この伝送する量子化行列に対する符号化処理・復号処理は、どのようなものであってもよく、上述した例に限らない。
また、例えば、量子化行列のサイズやリストID等の、量子化行列に関するパラメータやフラグ等の情報も、例えば前回伝送した情報との差分をとり、その差分を伝送する等して、その符号量を低減させるようにしてもよい。
<4.第4の実施の形態>
[多視点画像符号化・多視点画像復号への適用]
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図28は、多視点画像符号化方式の一例を示す。
[多視点画像符号化・多視点画像復号への適用]
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図28は、多視点画像符号化方式の一例を示す。
図28に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の1つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。
図28のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、第1の実施の形態乃至第3の実施の形態において上述した方法を適用するようにしてもよい。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
さらに、各ビューの符号化・復号において、第1の実施の形態乃至第3の実施の形態において上述した方法において使用されるフラグやパラメータを共有するようにしてもよい。例えば、量子化行列を、各ビューの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。
例えば、量子化行列をシーケンスパラメータセット(SPS(Sequence Parameter Set))やピクチャパラメータセット(PPS(Picture Parameter Set))において伝送する場合、それら(SPSやPPS)がビュー間で共有されるのであれば、量子化行列も自ずと共有されることになる。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
また、ベースビューの量子化行列の行列要素をビュー間の視差値に応じて変更するようにしても良い。さらに、ベースビューの量子化行列の行列要素に関してノンベースビュー行列要素を調整するためのオフセット値を伝送するようにしてもよい。これらのようにすることにより、量子化行列の符号量の増加を抑制することができる。
例えば、ビュー毎の量子化行列を予め別途伝送するようにしてもよい。ビュー毎に量子化行列を変更する場合、その予め伝送した量子化行列との差分を示す情報のみを伝送すればよい。この差分を示す情報は、任意である。例えば、4×4や8×8を単位とする情報であってもよいし、行列同士の差分であってもよい。
なお、ビュー間で、SPSやPPSを共有しないが、量子化行列を共有するときは、他のビューのSPSやPPSを参照することができる(つまり、他のビューの量子化行列を利用することができる)ようにしてもよい。
また、このような多視点画像を、YUVの各画像と、ビュー間の視差量に対応する奥行き画像(Depth)とをそれぞれコンポーネントとする画像として表す場合、各コンポーネント(Y,U,V,Depth)の画像に対して互いに独立した量子化行列を用いるようにしてもよい。
例えば、奥行き画像(Depth)は、エッジの画像であるので、量子化行列は不要である。したがって、SPSやPPSにおいて量子化行列の利用が指定されている場合であっても、奥行き画像(Depth)に対しては、量子化行列を適用しない(若しくは行列要素が全て同一(FLAT)な量子化行列を適用する)ようにしてもよい。
[多視点画像符号化装置]
図29は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図29に示されるように、多視点画像符号化装置600は、符号化部601、符号化部602、および多重化部603を有する。
図29は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図29に示されるように、多視点画像符号化装置600は、符号化部601、符号化部602、および多重化部603を有する。
符号化部601は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部602は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部603は、符号化部601において生成されたベースビュー画像符号化ストリームと、符号化部602において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
この多視点画像符号化装置600の符号化部601および符号化部602に対して、画像符号化装置10(図1)を適用することができる。つまり、例えば、上述したように、符号化部601および符号化部602は、互いに同一の量子化行列を用いて、量子化処理等を行うことができる。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
[多視点画像復号装置]
図30は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図30に示されるように、多視点画像復号装置610は、逆多重化部611、復号部612、および復号部613を有する。
図30は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図30に示されるように、多視点画像復号装置610は、逆多重化部611、復号部612、および復号部613を有する。
逆多重化部611は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部612は、逆多重化部611により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部613は、逆多重化部611により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
この多視点画像復号装置610の復号部612および復号部613に対して、画像復号装置300(図16)を適用することができる。つまり、例えば、上述したように、復号部612および復号部613は、互いに同一の量子化行列を用いて、逆量子化処理等を行うことができる。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
<5.第5の実施の形態>
[階層画像符号化・階層画像復号への適用]
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図31は、階層画像符号化方式の一例を示す。
[階層画像符号化・階層画像復号への適用]
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図31は、階層画像符号化方式の一例を示す。
図31に示されるように、階層画像は、複数の階層の画像を含み、その複数の階層のうちの所定の1つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤ(エンハンスメントレイヤとも称する)の画像として扱われる。
図31のような階層画像を符号化・復号する場合、各階層の画像を符号化・復号するが、この各階層の符号化・復号に対して、上述した方法を適用するようにしてもよい。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
さらに、各階層の符号化・復号において、第1の実施の形態乃至第3の実施の形態において上述した方法において使用されるフラグやパラメータを共有するようにしてもよい。例えば、量子化行列を、各階層の符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各階層の符号化・復号において共有するようにしてもよい。
このような階層画像の例として、空間解像度によって階層化したもの(空間解像度スケーラビリティとも称する)がある(spatial scalability)。空間解像度スケーラビリティを有する階層画像の場合、階層毎に画像の解像度が異なる。例えば、空間的に最も低解像度の画像の階層をベースレイヤとされ、ベースレイヤよりも高解像度の画像の階層をノンベースレイヤ(エンハンスメントレイヤ)とされる。
ノンベースレイヤ(エンハンスメントレイヤ)の画像データは、他の階層から独立したデータとし、ベースレイヤの場合と同様に、その画像データのみによりその階層の解像度の画像を得ることができるようにしてもよいが、その階層の画像と他の階層(例えば1つ下の階層)の画像との差分画像に対応するデータとするのが一般的である。この場合、ベースレイヤの階層の解像度の画像は、そのベースレイヤの画像データのみにより得られるが、ノンベースレイヤ(エンハンスメントレイヤ)の階層の解像度の画像は、その階層の画像データと、他の階層(例えば1つ下の階層)の画像データを合成することにより得られる。このようにすることにより、階層間の画像データの冗長性を抑制することができる。
このような空間解像度スケーラビリティを有する階層画像は、階層毎に画像の解像度が異なるので、各階層の符号化・復号の処理単位の解像度も互いに異なる。したがって、各階層の符号化・復号において量子化行列を共有する場合、量子化行列を各階層の解像度比に応じてアップコンバートするようにしてもよい。
例えば、ベースレイヤの画像の解像度が2K(例えば1920×1080)とし、ノンベースレイヤ(エンハンスメントレイヤ)の画像の解像度が4K(例えば、3840×2160)とする。この場合、例えば、ベースレイヤの画像(2K画像)の16×16は、ノンベースレイヤの画像(4K画像)の32×32に相当する。量子化行列もこのような解像度比に応じて適宜アップコンバートする。
例えば、ベースレイヤの量子化・逆量子化に用いられる4×4の量子化行列は、ノンベースレイヤの量子化・逆量子化において8×8にアップコンバートされて使用される。同様に、ベースレイヤの8×8の量子化行列は、ノンベースレイヤにおいて16×16にアップコンバートされる。同様に、ベースレイヤにおいて16×16にアップコンバートされて使用される量子化行列は、ノンベースレイヤにおいて32×32にアップコンバートされる。
なお、スケーラビリティ性を持たせるパラメータは、空間解像度に限らず、例えば、時間解像度がある(temporal scalability)。時間解像度スケーラビリティを有する階層画像の場合、階層毎に画像のフレームレートが異なる。また、その他にも、例えば、階層毎に画像データのビット深度が異なるビット深度スケーラビリティ(bit-depth scalability)や、階層毎にコンポーネントのフォーマットが異なるクロマスケーラビリティ(chroma scalability)等がある。
また、その他にも、例えば、階層毎に画像の信号雑音比(SNR(Signal to Noise ratio))が異なるSNRスケーラビリティ(SNR scalability)がある。
画質向上のためには、信号雑音比が低い画像程、量子化誤差をより小さくするのが望ましい。そのため、SNRスケーラビリティの場合、各階層の量子化・逆量子化には、信号雑音比に応じた、互いに異なる量子化行列(共通でない量子化行列)が用いられるようにするのが望ましい。そのため、上述したように量子化行列を階層間で共有する場合、ベースレイヤの量子化行列の行列要素に関して、エンハンスメントレイヤの行列要素を調整するためのオフセット値を伝送するようにしてもよい。より具体的には、その共通の量子化行列と、実際に用いられる量子化行列との差分を示す情報を、階層毎に伝送するようにしてもよい。例えば、各階層のシーケンスパラメータセット(SPS(Sequence Parameter Set))やピクチャパラメータセット(PPS(Picture Parameter Set))において、その差分を示す情報を伝送するようにしてもよい。この差分を示す情報は、任意である。例えば、両量子化行列の要素毎の差分値を要素とする行列であってもよいし、差分を示す関数であってもよい。
[階層画像符号化装置]
図32は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図32に示されるように、階層画像符号化装置620は、符号化部621、符号化部622、および多重化部623を有する。
図32は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図32に示されるように、階層画像符号化装置620は、符号化部621、符号化部622、および多重化部623を有する。
符号化部621は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部622は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部623は、符号化部621において生成されたベースレイヤ画像符号化ストリームと、符号化部622において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
この階層画像符号化装置620の符号化部621および符号化部622に対して、画像符号化装置10(図1)を適用することができる。つまり、例えば、上述したように、符号化部621および符号化部622は、互いに同一の量子化行列を用いて、量子化処理等を行うことができる。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
[階層画像復号装置]
図33は、上述した階層画像復号を行う階層画像復号装置を示す図である。図33に示されるように、階層画像復号装置630は、逆多重化部631、復号部632、および復号部633を有する。
図33は、上述した階層画像復号を行う階層画像復号装置を示す図である。図33に示されるように、階層画像復号装置630は、逆多重化部631、復号部632、および復号部633を有する。
逆多重化部631は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部632は、逆多重化部631により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部633は、逆多重化部631により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
この階層画像復号装置630の復号部632および復号部633に対して、画像復号装置300(図16)を適用することができる。つまり、例えば、上述したように、復号部632および復号部633は、互いに同一の量子化行列を用いて、量子化処理等を行うことができる。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
<6.第6の実施の形態>
[コンピュータ]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図34に示されるようなコンピュータとして構成されるようにしてもよい。
[コンピュータ]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図34に示されるようなコンピュータとして構成されるようにしてもよい。
図34において、コンピュータ800のCPU(Central Processing Unit)801は、ROM(Read Only Memory)802に記憶されているプログラム、または記憶部813からRAM(Random Access Memory)803にロードされたプログラムに従って各種の処理を実行する。RAM803にはまた、CPU801が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU801、ROM802、およびRAM803は、バス804を介して相互に接続されている。このバス804にはまた、入出力インタフェース810も接続されている。
入出力インタフェース810には、キーボード、マウス、タッチパネル、および入力端子などよりなる入力部811、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、およびOELD(Organic ElectroLuminescence Display)などよりなるディスプレイ、並びにスピーカ等の任意の出力デバイスや出力端子等よりなる出力部812、ハードディスクやフラッシュメモリ等の任意の記憶媒体やその記憶媒体の入出力を制御する制御部等により構成される記憶部813、モデム、LANインタフェース、USB(Universal Serial Bus)、並びにBluetooth(登録商標)等、有線や無線の任意の通信デバイスよりなる通信部814が接続されている。通信部814は、例えばインターネットを含むネットワークを介して他の通信デバイスとの通信処理を行う。
入出力インタフェース810にはまた、必要に応じてドライブ815が接続される。そのドライブ815には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア821が適宜装着される。ドライブ815は、例えばCPU801の制御に従って、自身に装着されたリムーバブルメディア821からコンピュータプログラムやデータ等を読み出す。その読み出されたデータやコンピュータプログラムは、例えば、RAM803に供給される。また、リムーバブルメディア821から読み出されたコンピュータプログラムは、必要に応じて記憶部813にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図34に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc - Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、若しくは半導体メモリなどよりなるリムーバブルメディア821により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM802や、記憶部813に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス(装置)により構成される装置全体を表すものである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態に係る画像符号化装置10(図1)および画像復号装置300(図16)は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。
<7.第7の実施の形態>
[テレビジョン装置]
図35は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。
[テレビジョン装置]
図35は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。
チューナ902は、アンテナ901を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ902は、復調により得られた符号化ビットストリームをデマルチプレクサ903へ出力する。即ち、チューナ902は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送部としての役割を有する。
デマルチプレクサ903は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ904へ出力する。また、デマルチプレクサ903は、符号化ビットストリームからEPG(Electronic Program Guide)などの補助的なデータを抽出し、抽出したデータを制御部910に供給する。なお、デマルチプレクサ903は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ904は、デマルチプレクサ903から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ904は、復号処理により生成される映像データを映像信号処理部905へ出力する。また、デコーダ904は、復号処理により生成される音声データを音声信号処理部907へ出力する。
映像信号処理部905は、デコーダ904から入力される映像データを再生し、表示部906に映像を表示させる。また、映像信号処理部905は、ネットワークを介して供給されるアプリケーション画面を表示部906に表示させてもよい。また、映像信号処理部905は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部905は、例えばメニュー、ボタン又はカーソルなどのGUI(Graphical User Interface)の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部906は、映像信号処理部905から供給される駆動信号により駆動され、表示デバイス(例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD(Organic ElectroLuminescence Display)(有機ELディスプレイ)など)の映像面上に映像又は画像を表示する。
音声信号処理部907は、デコーダ904から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ908から音声を出力させる。また、音声信号処理部907は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース909は、テレビジョン装置900と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース909を介して受信される映像ストリーム又は音声ストリームが、デコーダ904により復号されてもよい。即ち、外部インタフェース909もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送部としての役割を有する。
制御部910は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置900の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース911から入力される操作信号に応じて、テレビジョン装置900の動作を制御する。
ユーザインタフェース911は、制御部910と接続される。ユーザインタフェース911は、例えば、ユーザがテレビジョン装置900を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース911は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部910へ出力する。
バス912は、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、音声信号処理部907、外部インタフェース909及び制御部910を相互に接続する。
このように構成されたテレビジョン装置900において、デコーダ904は、上述した実施形態に係る画像復号装置300(図16)の機能を有する。したがって、テレビジョン装置900は、量子化行列の符号量の増大を抑制することができる。
<8.第8の実施の形態>
[携帯電話機]
図36は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
[携帯電話機]
図36は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
アンテナ921は、通信部922に接続される。スピーカ924及びマイクロホン925は、音声コーデック923に接続される。操作部932は、制御部931に接続される。バス933は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、及び制御部931を相互に接続する。
携帯電話機920は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン925により生成されるアナログ音声信号は、音声コーデック923に供給される。音声コーデック923は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック923は、圧縮後の音声データを通信部922へ出力する。通信部922は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック923へ出力する。音声コーデック923は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部931は、操作部932を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部931は、文字を表示部930に表示させる。また、制御部931は、操作部932を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部922へ出力する。通信部922は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部931へ出力する。制御部931は、表示部930に電子メールの内容を表示させると共に、電子メールデータを記録再生部929の記憶媒体に記憶させる。
記録再生部929は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部926は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部927へ出力する。画像処理部927は、カメラ部926から入力される画像データを符号化し、符号化ストリームを記録再生部929の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部928は、画像処理部927により符号化された映像ストリームと、音声コーデック923から入力される音声ストリームとを多重化し、多重化したストリームを通信部922へ出力する。通信部922は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部922は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部928へ出力する。多重分離部928は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部927、音声ストリームを音声コーデック923へ出力する。画像処理部927は、映像ストリームを復号し、映像データを生成する。映像データは、表示部930に供給され、表示部930により一連の画像が表示される。音声コーデック923は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
このように構成された携帯電話機920において、画像処理部927は、上述した実施形態に係る画像符号化装置10(図1)の機能、および、画像復号装置300(図16)の機能を有する。従って、携帯電話機920は、量子化行列の符号量の増大を抑制することができる。
また、以上においては携帯電話機920として説明したが、例えば、PDA(Personal Digital Assistants)、スマートフォン、UMPC(Ultra Mobile Personal Computer)、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機920と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機920の場合と同様に、本技術を適用した画像符号化装置および画像復号装置を適用することができる。
<9.第9の実施の形態>
[記録再生装置]
図37は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。
[記録再生装置]
図37は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。
記録再生装置940は、チューナ941、外部インタフェース942、エンコーダ943、HDD(Hard Disk Drive)944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)948、制御部949、及びユーザインタフェース950を備える。
チューナ941は、アンテナ(図示せず)を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ941は、復調により得られた符号化ビットストリームをセレクタ946へ出力する。即ち、チューナ941は、記録再生装置940における伝送部としての役割を有する。
外部インタフェース942は、記録再生装置940と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース942は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース942を介して受信される映像データ及び音声データは、エンコーダ943へ入力される。即ち、外部インタフェース942は、記録再生装置940における伝送部としての役割を有する。
エンコーダ943は、外部インタフェース942から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ943は、符号化ビットストリームをセレクタ946へ出力する。
HDD944は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD944は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ945は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ945に装着される記録媒体は、例えばDVDディスク(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)又はBlu-ray(登録商標)ディスクなどであってよい。
セレクタ946は、映像及び音声の記録時には、チューナ941又はエンコーダ943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD944またはディスクドライブ945へ出力する。また、セレクタ946は、映像及び音声の再生時には、HDD944またはディスクドライブ945から入力される符号化ビットストリームをデコーダ947へ出力する。
デコーダ947は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ947は、生成した映像データをOSD948へ出力する。また、デコーダ947は、生成した音声データを外部のスピーカへ出力する。
OSD948は、デコーダ947から入力される映像データを再生し、映像を表示する。また、OSD948は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部949は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置940の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース950から入力される操作信号に応じて、記録再生装置940の動作を制御する。
ユーザインタフェース950は、制御部949と接続される。ユーザインタフェース950は、例えば、ユーザが記録再生装置940を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部949へ出力する。
このように構成された記録再生装置940において、エンコーダ943は、上述した実施形態に係る画像符号化装置10(図1)の機能を有する。また、デコーダ947は、上述した実施形態に係る画像復号装置300(図16)の機能を有する。従って、記録再生装置940は、量子化行列の符号量の増大を抑制することができる。
<10.第10の実施の形態>
[撮像装置]
図38は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
[撮像装置]
図38は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置960は、光学ブロック961、撮像部962、信号処理部963、画像処理部964、表示部965、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、制御部970、ユーザインタフェース971、及びバス972を備える。
光学ブロック961は、撮像部962に接続される。撮像部962は、信号処理部963に接続される。表示部965は、画像処理部964に接続される。ユーザインタフェース971は、制御部970に接続される。バス972は、画像処理部964、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、及び制御部970を相互に接続する。
光学ブロック961は、フォーカスレンズ及び絞り機構などを有する。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部962は、画像信号を信号処理部963へ出力する。
信号処理部963は、撮像部962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部963は、カメラ信号処理後の画像データを画像処理部964へ出力する。
画像処理部964は、信号処理部963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部964は、生成した符号化データを外部インタフェース966又はメディアドライブ968へ出力する。また、画像処理部964は、外部インタフェース966又はメディアドライブ968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部964は、生成した画像データを表示部965へ出力する。また、画像処理部964は、信号処理部963から入力される画像データを表示部965へ出力して画像を表示させてもよい。また、画像処理部964は、OSD969から取得される表示用データを、表示部965へ出力する画像に重畳してもよい。
OSD969は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部964へ出力する。
外部インタフェース966は、例えばUSB入出力端子として構成される。外部インタフェース966は、例えば、画像の印刷時に、撮像装置960とプリンタとを接続する。また、外部インタフェース966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置960にインストールされ得る。さらに、外部インタフェース966は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース966は、撮像装置960における伝送部としての役割を有する。
メディアドライブ968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD(Solid State Drive)のような非可搬性の記憶部が構成されてもよい。
制御部970は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置960の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース971から入力される操作信号に応じて、撮像装置960の動作を制御する。
ユーザインタフェース971は、制御部970と接続される。ユーザインタフェース971は、例えば、ユーザが撮像装置960を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部970へ出力する。
このように構成された撮像装置960において、画像処理部964は、上述した実施形態に係る画像符号化装置10(図1)の機能、および、画像復号装置300(図16)の機能を有する。従って、撮像装置960は、量子化行列の符号量の増大を抑制することができる。
もちろん、本技術を適用した画像符号化装置および画像復号装置は、上述した装置以外の装置やシステムにも適用可能である。
<11.スケーラブル符号化の応用例>
[第1のシステム]
次に、スケーラブル符号化(階層符号化)されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図39に示される例のように、伝送するデータの選択のために利用される。
[第1のシステム]
次に、スケーラブル符号化(階層符号化)されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図39に示される例のように、伝送するデータの選択のために利用される。
図39に示されるデータ伝送システム1000において、配信サーバ1002は、スケーラブル符号化データ記憶部1001に記憶されているスケーラブル符号化データを読み出し、ネットワーク1003を介して、パーソナルコンピュータ1004、AV機器1005、タブレットデバイス1006、および携帯電話機1007等の端末装置に配信する。
その際、配信サーバ1002は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ1002が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ1002が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ1002は、スケーラブル符号化データ記憶部1001に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
例えば、スケーラブル符号化データ記憶部1001は、スケーラブルに符号化されたスケーラブル符号化データ(BL+EL)1011を記憶するとする。このスケーラブル符号化データ(BL+EL)1011は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
配信サーバ1002は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ1002は、処理能力の高いパーソナルコンピュータ1004やタブレットデバイス1006に対しては、高品質なスケーラブル符号化データ(BL+EL)1011をスケーラブル符号化データ記憶部1001から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ1002は、処理能力の低いAV機器1005や携帯電話機1007に対しては、スケーラブル符号化データ(BL+EL)1011からベースレイヤのデータを抽出し、スケーラブル符号化データ(BL+EL)1011と同じコンテンツのデータであるが、スケーラブル符号化データ(BL+EL)1011よりも低品質なスケーラブル符号化データ(BL)1012として伝送する。
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ(BL+EL)1011は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部1001の記憶領域をより効率よく使用することができる。
なお、パーソナルコンピュータ1004乃至携帯電話機1007のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク1003も、例えばインターネットやLAN(Local Area Network)等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
そこで、配信サーバ1002は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション(ソフトウエア)の性能等といった端末装置の能力に関する情報、並びに、ネットワーク1003の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ1002が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ1004が、伝送されたスケーラブル符号化データ(BL+EL)1011を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ1004が、伝送されたスケーラブル符号化データ(BL+EL)1011から、ベースレイヤのスケーラブル符号化データ(BL)1012を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
もちろん、スケーラブル符号化データ記憶部1001、配信サーバ1002、ネットワーク1003、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ1002がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム1000は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
そして、以上のような図39のようなデータ伝送システム1000においても、図31乃至図33を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図31乃至図33を参照して上述した効果と同様の効果を得ることができる。
[第2のシステム]
また、スケーラブル符号化は、例えば、図40に示される例のように、複数の通信媒体を介する伝送のために利用される。
また、スケーラブル符号化は、例えば、図40に示される例のように、複数の通信媒体を介する伝送のために利用される。
図40に示されるデータ伝送システム1100において、放送局1101は、地上波放送1111により、ベースレイヤのスケーラブル符号化データ(BL)1121を伝送する。また、放送局1101は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク1112を介して、エンハンスメントレイヤのスケーラブル符号化データ(EL)1122を伝送する(例えばパケット化して伝送する)。
端末装置1102は、放送局1101が放送する地上波放送1111の受信機能を有し、この地上波放送1111を介して伝送されるベースレイヤのスケーラブル符号化データ(BL)1121を受け取る。また、端末装置1102は、ネットワーク1112を介した通信を行う通信機能をさらに有し、このネットワーク1112を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ(EL)1122を受け取る。
端末装置1102は、例えばユーザ指示等に応じて、地上波放送1111を介して取得したベースレイヤのスケーラブル符号化データ(BL)1121を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
また、端末装置1102は、例えばユーザ指示等に応じて、地上波放送1111を介して取得したベースレイヤのスケーラブル符号化データ(BL)1121と、ネットワーク1112を介して取得したエンハンスメントレイヤのスケーラブル符号化データ(EL)1122とを合成して、スケーラブル符号化データ(BL+EL)を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ(BL)1121を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ(EL)1122を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ(EL)1122を伝送する通信媒体を、ネットワーク1112とするか、地上波放送1111とするかを、ネットワーク1112の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置1102の数も任意である。さらに、以上においては、放送局1101からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム1100は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
そして、以上のような図40のデータ伝送システム1100においても、図31乃至図33を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図31乃至図33を参照して上述した効果と同様の効果を得ることができる。
[第3のシステム]
また、スケーラブル符号化は、例えば、図41に示される例のように、符号化データの記憶に利用される。
また、スケーラブル符号化は、例えば、図41に示される例のように、符号化データの記憶に利用される。
図41に示される撮像システム1200において、撮像装置1201は、被写体1211を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ(BL+EL)1221として、スケーラブル符号化データ記憶装置1202に供給する。
スケーラブル符号化データ記憶装置1202は、撮像装置1201から供給されるスケーラブル符号化データ(BL+EL)1221を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置1202は、スケーラブル符号化データ(BL+EL)1221からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)1222として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置1202は、高品質でデータ量の多いスケーラブル符号化データ(BL+EL)1221のまま記憶する。
このようにすることにより、スケーラブル符号化データ記憶装置1202は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
例えば、撮像装置1201が監視カメラであるとする。撮像画像に監視対象(例えば侵入者)が写っていない場合(通常時の場合)、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ(スケーラブル符号化データ)は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体1211として写っている場合(注目時の場合)、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ(スケーラブル符号化データ)は、高品質に記憶される。
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置1202が、画像を解析することにより判定しても良い。また、撮像装置1201が判定し、その判定結果をスケーラブル符号化データ記憶装置1202に伝送するようにしてもよい。
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
また、以上においては、通常時と注目時の2つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、3つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
また、撮像装置1201が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置1201が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)1222を生成し、スケーラブル符号化データ記憶装置1202に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置1201が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ(BL+EL)1221を生成し、スケーラブル符号化データ記憶装置1202に供給するようにしてもよい。
以上においては、監視カメラを例に説明したが、この撮像システム1200の用途は任意であり、監視カメラに限定されない。
そして、以上のような図41の撮像システム1200においても、図31乃至図33を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図31乃至図33を参照して上述した効果と同様の効果を得ることができる。
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。
なお、本明細書では、量子化行列及び量子化行列に関連するパラメータが、符号化側から復号側へ伝送される例について説明した。量子化行列及び量子化行列に関連するパラメータを伝送する手法は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像(スライス若しくはブロックなど、画像の一部であってもよい)と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像(又はビットストリーム)とは別の伝送路上で伝送されてもよい。また、情報は、画像(又はビットストリーム)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されてもよい。さらに、情報と画像(又はビットストリーム)とは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
(1) 画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を受け取る受け取り部と、
前記受け取り部により受け取られた符号化データを復号処理して量子化データを生成する復号部と、
前記受け取り部により受け取られた量子化行列を、前記伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートするアップコンバート部と、
前記アップコンバート部によりアップコンバートされた量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部と
を備える画像処理装置。
(2) 前記受け取り部により受け取られた量子化行列は、前記伝送サイズとしてデフォルト量子化行列サイズと同じサイズである
(1)並びに(3)乃至(19)のいずれかに記載の画像処理装置。
(3) 前記受け取り部により受け取られた量子化行列は、前記伝送サイズとしてデフォルト量子化行列の最大サイズと同じサイズである
(1)、(2)、並びに(4)乃至(19)のいずれかに記載の画像処理装置。
(4) 前記伝送サイズは、8×8であり、
前記受け取り部により受け取られた量子化行列は、8×8サイズである
(1)乃至(3)並びに(5)乃至(19)のいずれかに記載の画像処理装置。
(5) 前記アップコンバート部は、前記受け取り部により受け取られた量子化行列の行列要素に対して補間処理を行うことにより、前記伝送サイズ以下に制限された量子化行列をアップコンバートする
(1)乃至(4)並びに(6)乃至(19)のいずれかに記載の画像処理装置。
(6) 前記アップコンバート部は、前記受け取り部により受け取られた量子化行列の行列要素に対して最近傍補間処理を行うことにより、前記伝送サイズ以下に制限された量子化行列をアップコンバートする
(1)乃至(5)並びに(7)乃至(19)のいずれかに記載の画像処理装置。
(7) 前記伝送サイズは、8×8であり、
前記アップコンバート部は、8×8サイズの量子化行列の行列要素に対して前記最近傍補間処理を行うことにより、16×16サイズの量子化行列にアップコンバートする
(1)乃至(6)並びに(8)乃至(19)のいずれかに記載の画像処理装置。
(8) 前記アップコンバート部は、8×8サイズの量子化行列の行列要素に対して前記最近傍補間処理を行うことにより、32×32サイズの量子化行列にアップコンバートする
(1)乃至(7)並びに(9)乃至(19)のいずれかに記載の画像処理装置。
(9) 前記アップコンバート部は、前記伝送サイズ以下に制限された正方の量子化行列の行列要素に対して補間処理を行うことにより、非正方の量子化行列にアップコンバートする
(1)乃至(8)並びに(10)乃至(19)のいずれかに記載の画像処理装置。
(10) 前記伝送サイズは、8×8であり、
前記アップコンバート部は、8×8サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、8×32サイズの量子化行列又は32×8サイズの量子化行列にアップコンバートする
(1)乃至(9)並びに(11)乃至(19)のいずれかに記載の画像処理装置。
(11) 前記伝送サイズは、8×8であり、
前記アップコンバート部は、4×4サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、4×16サイズの量子化行列又は16×4サイズの量子化行列にアップコンバートする
(1)乃至(10)並びに(12)乃至(19)のいずれかに記載の画像処理装置。
(12) 前記伝送サイズは、8×8であり、
前記アップコンバート部は、8×8サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、2×32サイズの量子化行列、32×2サイズの量子化行列、1×16サイズの量子化行列、又は16×1サイズの量子化行列にアップコンバートする
(1)乃至(11)並びに(13)乃至(19)のいずれかに記載の画像処理装置。
(13) 復号処理する際の処理単位であるコーディングユニットと変換処理をする際の処理単位であるトランスフォームユニットとが階層構造を有し、
前記復号部は、前記符号化データを、階層構造を有する単位で復号処理し、
前記アップコンバート部は、前記受け取り部により受け取られた量子化行列を、前記伝送サイズから逆量子化を行う処理単位であるトランスフォームユニットのサイズに、アップコンバートする
(1)乃至(12)並びに(14)乃至(19)のいずれかに記載の画像処理装置。
(14) 前記量子化行列は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列として設定されており、
前記受け取り部は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列を受け取り、
前記アップコンバート部は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列を用いて、前記受け取り部により受け取られた量子化行列をアップコンバートする
(1)乃至(13)並びに(15)乃至(19)のいずれかに記載の画像処理装置。
(15) 前記伝送サイズは、8×8であり、
前記アップコンバート部は、逆量子化する際の処理単位であるブロックサイズが16×16である場合に、第1の量子化行列をアップコンバートし、逆量子化する際の処理単位であるブロックサイズが32×32である場合に、前記第1の量子化行列と行列要素が異なる第2の量子化行列をアップコンバートする
(1)乃至(14)並びに(16)乃至(19)のいずれかに記載の画像処理装置。
(16) 前記受け取り部は、アップコンバートするサイズに応じて異なる量子化行列を受け取り、
前記アップコンバート部は、アップコンバートするサイズ応じた量子化行列を用いてアップコンバートする
(1)乃至(15)並びに(17)乃至(19)のいずれかに記載の画像処理装置。
(17) 前記受け取り部は、第1のサイズにアップコンバートする際に用いる第1の量子化行列と第1のサイズより大きな第2のサイズにアップコンバートする際に用いる第2の量子化行列とを受け取り、
前記アップコンバート部は、変換単位が第1のサイズの場合、前記受け取り部により受け取られた前記第1の量子化行列をアップコンバートする
(1)乃至(16)、(18)、並びに(19)のいずれかに記載の画像処理装置。
(18) 前記アップコンバート部は、変換単位が第2のサイズの場合、前記受け取り部により受け取られた前記第2の量子化行列をアップコンバートする
(1)乃至(17)並びに(19)のいずれかに記載の画像処理装置。
(19) 前記第1のサイズは16×16であり、
前記第2のサイズは32×32である
(1)乃至(18)のいずれかに記載の画像処理装置。
(20) 画像処理装置の画像処理方法であって、
前記画像処理装置が、
画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を受け取り、
受け取られた符号化データを復号処理して量子化データを生成し、
受け取られた量子化行列を、前記伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートし、
アップコンバートされた量子化行列を用いて、生成された量子化データを逆量子化する
画像処理方法。
(1) 画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を受け取る受け取り部と、
前記受け取り部により受け取られた符号化データを復号処理して量子化データを生成する復号部と、
前記受け取り部により受け取られた量子化行列を、前記伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートするアップコンバート部と、
前記アップコンバート部によりアップコンバートされた量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部と
を備える画像処理装置。
(2) 前記受け取り部により受け取られた量子化行列は、前記伝送サイズとしてデフォルト量子化行列サイズと同じサイズである
(1)並びに(3)乃至(19)のいずれかに記載の画像処理装置。
(3) 前記受け取り部により受け取られた量子化行列は、前記伝送サイズとしてデフォルト量子化行列の最大サイズと同じサイズである
(1)、(2)、並びに(4)乃至(19)のいずれかに記載の画像処理装置。
(4) 前記伝送サイズは、8×8であり、
前記受け取り部により受け取られた量子化行列は、8×8サイズである
(1)乃至(3)並びに(5)乃至(19)のいずれかに記載の画像処理装置。
(5) 前記アップコンバート部は、前記受け取り部により受け取られた量子化行列の行列要素に対して補間処理を行うことにより、前記伝送サイズ以下に制限された量子化行列をアップコンバートする
(1)乃至(4)並びに(6)乃至(19)のいずれかに記載の画像処理装置。
(6) 前記アップコンバート部は、前記受け取り部により受け取られた量子化行列の行列要素に対して最近傍補間処理を行うことにより、前記伝送サイズ以下に制限された量子化行列をアップコンバートする
(1)乃至(5)並びに(7)乃至(19)のいずれかに記載の画像処理装置。
(7) 前記伝送サイズは、8×8であり、
前記アップコンバート部は、8×8サイズの量子化行列の行列要素に対して前記最近傍補間処理を行うことにより、16×16サイズの量子化行列にアップコンバートする
(1)乃至(6)並びに(8)乃至(19)のいずれかに記載の画像処理装置。
(8) 前記アップコンバート部は、8×8サイズの量子化行列の行列要素に対して前記最近傍補間処理を行うことにより、32×32サイズの量子化行列にアップコンバートする
(1)乃至(7)並びに(9)乃至(19)のいずれかに記載の画像処理装置。
(9) 前記アップコンバート部は、前記伝送サイズ以下に制限された正方の量子化行列の行列要素に対して補間処理を行うことにより、非正方の量子化行列にアップコンバートする
(1)乃至(8)並びに(10)乃至(19)のいずれかに記載の画像処理装置。
(10) 前記伝送サイズは、8×8であり、
前記アップコンバート部は、8×8サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、8×32サイズの量子化行列又は32×8サイズの量子化行列にアップコンバートする
(1)乃至(9)並びに(11)乃至(19)のいずれかに記載の画像処理装置。
(11) 前記伝送サイズは、8×8であり、
前記アップコンバート部は、4×4サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、4×16サイズの量子化行列又は16×4サイズの量子化行列にアップコンバートする
(1)乃至(10)並びに(12)乃至(19)のいずれかに記載の画像処理装置。
(12) 前記伝送サイズは、8×8であり、
前記アップコンバート部は、8×8サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、2×32サイズの量子化行列、32×2サイズの量子化行列、1×16サイズの量子化行列、又は16×1サイズの量子化行列にアップコンバートする
(1)乃至(11)並びに(13)乃至(19)のいずれかに記載の画像処理装置。
(13) 復号処理する際の処理単位であるコーディングユニットと変換処理をする際の処理単位であるトランスフォームユニットとが階層構造を有し、
前記復号部は、前記符号化データを、階層構造を有する単位で復号処理し、
前記アップコンバート部は、前記受け取り部により受け取られた量子化行列を、前記伝送サイズから逆量子化を行う処理単位であるトランスフォームユニットのサイズに、アップコンバートする
(1)乃至(12)並びに(14)乃至(19)のいずれかに記載の画像処理装置。
(14) 前記量子化行列は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列として設定されており、
前記受け取り部は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列を受け取り、
前記アップコンバート部は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列を用いて、前記受け取り部により受け取られた量子化行列をアップコンバートする
(1)乃至(13)並びに(15)乃至(19)のいずれかに記載の画像処理装置。
(15) 前記伝送サイズは、8×8であり、
前記アップコンバート部は、逆量子化する際の処理単位であるブロックサイズが16×16である場合に、第1の量子化行列をアップコンバートし、逆量子化する際の処理単位であるブロックサイズが32×32である場合に、前記第1の量子化行列と行列要素が異なる第2の量子化行列をアップコンバートする
(1)乃至(14)並びに(16)乃至(19)のいずれかに記載の画像処理装置。
(16) 前記受け取り部は、アップコンバートするサイズに応じて異なる量子化行列を受け取り、
前記アップコンバート部は、アップコンバートするサイズ応じた量子化行列を用いてアップコンバートする
(1)乃至(15)並びに(17)乃至(19)のいずれかに記載の画像処理装置。
(17) 前記受け取り部は、第1のサイズにアップコンバートする際に用いる第1の量子化行列と第1のサイズより大きな第2のサイズにアップコンバートする際に用いる第2の量子化行列とを受け取り、
前記アップコンバート部は、変換単位が第1のサイズの場合、前記受け取り部により受け取られた前記第1の量子化行列をアップコンバートする
(1)乃至(16)、(18)、並びに(19)のいずれかに記載の画像処理装置。
(18) 前記アップコンバート部は、変換単位が第2のサイズの場合、前記受け取り部により受け取られた前記第2の量子化行列をアップコンバートする
(1)乃至(17)並びに(19)のいずれかに記載の画像処理装置。
(19) 前記第1のサイズは16×16であり、
前記第2のサイズは32×32である
(1)乃至(18)のいずれかに記載の画像処理装置。
(20) 画像処理装置の画像処理方法であって、
前記画像処理装置が、
画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を受け取り、
受け取られた符号化データを復号処理して量子化データを生成し、
受け取られた量子化行列を、前記伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートし、
アップコンバートされた量子化行列を用いて、生成された量子化データを逆量子化する
画像処理方法。
(21) 伝送の際に許容される最大サイズである伝送サイズから、画像を量子化した量子化データを逆量子化する際の処理単位であるブロックサイズと同じサイズにアップコンバートする際に用いる量子化行列を設定する設定部と、
前記設定部により設定された量子化行列を用いて、前記画像を量子化して量子化データを生成する量子化部と、
前記量子化部により生成された量子化データを符号化処理して、符号化データを生成する符号化部と、
前記符号化部により生成された符号化データと、前記設定部により設定された、前記伝送サイズ以下に制限された量子化行列とを伝送する伝送部と
を備える画像処理装置。
(22) 前記伝送サイズは、8×8であり、
前記設定部により設定される量子化行列は、8×8である
(21)並びに(23)乃至(25)のいずれかに記載の画像処理装置。
(23) 前記量子化行列は、8×8サイズから16×16サイズ又は32×32サイズにアップコンバートする際に用いる量子化行列である
(21)、(22)、(24)、および(25)のいずれかに記載の画像処理装置。
(24) 前記量子化行列は、32×32サイズにアップコンバートする際に用いる量子化行列である
(21)乃至(23)、並びに(25)のいずれかに記載の画像処理装置。
(25) 符号化処理する際の処理単位であるコーディングユニットと変換処理をする際の処理単位であるトランスフォームユニットとが階層構造を有し、
前記符号化部は、前記量子化データを、階層構造を有する単位で符号化処理する
(21)乃至(24)のいずれかに記載の画像処理装置。
(26) 画像処理装置の画像処理方法であって、
前記画像処理装置が、
伝送の際に許容される最大サイズである伝送サイズから、画像を量子化した量子化データを逆量子化する際の処理単位であるブロックサイズと同じサイズにアップコンバートする際に用いる量子化行列を設定し、
設定された量子化行列を用いて、前記画像を量子化して量子化データを生成し、
生成された量子化データを符号化処理して、符号化データを生成し、
生成された符号化データと、設定された、前記伝送サイズ以下に制限された量子化行列とを伝送する
画像処理方法。
前記設定部により設定された量子化行列を用いて、前記画像を量子化して量子化データを生成する量子化部と、
前記量子化部により生成された量子化データを符号化処理して、符号化データを生成する符号化部と、
前記符号化部により生成された符号化データと、前記設定部により設定された、前記伝送サイズ以下に制限された量子化行列とを伝送する伝送部と
を備える画像処理装置。
(22) 前記伝送サイズは、8×8であり、
前記設定部により設定される量子化行列は、8×8である
(21)並びに(23)乃至(25)のいずれかに記載の画像処理装置。
(23) 前記量子化行列は、8×8サイズから16×16サイズ又は32×32サイズにアップコンバートする際に用いる量子化行列である
(21)、(22)、(24)、および(25)のいずれかに記載の画像処理装置。
(24) 前記量子化行列は、32×32サイズにアップコンバートする際に用いる量子化行列である
(21)乃至(23)、並びに(25)のいずれかに記載の画像処理装置。
(25) 符号化処理する際の処理単位であるコーディングユニットと変換処理をする際の処理単位であるトランスフォームユニットとが階層構造を有し、
前記符号化部は、前記量子化データを、階層構造を有する単位で符号化処理する
(21)乃至(24)のいずれかに記載の画像処理装置。
(26) 画像処理装置の画像処理方法であって、
前記画像処理装置が、
伝送の際に許容される最大サイズである伝送サイズから、画像を量子化した量子化データを逆量子化する際の処理単位であるブロックサイズと同じサイズにアップコンバートする際に用いる量子化行列を設定し、
設定された量子化行列を用いて、前記画像を量子化して量子化データを生成し、
生成された量子化データを符号化処理して、符号化データを生成し、
生成された符号化データと、設定された、前記伝送サイズ以下に制限された量子化行列とを伝送する
画像処理方法。
10 画像符号化装置, 14 直交変換・量子化部, 16 可逆符号化部, 150 行列処理部, 152 予測部, 154 差分演算部, 161 予測部, 162 差分行列生成部, 163 差分行列サイズ変換部, 164 エントロピ符号化部, 165 復号部, 166 出力部, 171 コピー部, 172 予測行列生成部, 181 予測行列サイズ変換部, 182 演算部, 183 量子化部, 191 重複判定部, 192 DPCM部, 193 expG部, 201 量子化行列復元部, 202 記憶部, 300 画像復号装置, 313 逆量子化・逆直交変換部, 410 行列生成部, 531 パラメータ解析部, 532 予測部, 533 エントロピ復号部, 534 量子化行列復元部, 535 出力部, 536 記憶部, 541 コピー部, 542 予測行列生成部, 551 expG部, 552 逆DPCM部, 553 逆重複判定部, 561 予測行列サイズ変換部, 562 差分行列サイズ変換部, 563 逆量子化部, 564 演算部, 701 量子化行列サイズ変換部, 721 量子化行列サイズ変換部
Claims (8)
- 32×32の量子化行列の要素が間引かれた8×8の量子化行列を含むビットストリームを復号して量子化データを生成する復号部と、
前記復号部により生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する場合に、8×8の前記量子化行列の各要素を用いて近傍の15要素を複製する最近傍補間処理を行うことにより、32×32の前記量子化行列を設定する設定部と、
前記設定部により設定された32×32の前記量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部と
を備える画像処理装置。 - 32×32の前記量子化行列の要素が間引かれた8×8の前記量子化行列は、前記ビットストリームのピクチャパラメータセットに含まれる
請求項1に記載の画像処理装置。 - 前記復号部により生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する逆直交変換部をさらに備える
請求項2に記載の画像処理装置。 - 32×32の量子化行列の要素が間引かれた8×8の量子化行列を含むビットストリームを復号して量子化データを生成し、
生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する場合に、8×8の前記量子化行列の各要素を用いて近傍の15要素を複製する最近傍補間処理を行うことにより、32×32の前記量子化行列を設定し、
設定された32×32の前記量子化行列を用いて、生成された量子化データを逆量子化する
画像処理方法。 - 32×32の前記量子化行列の要素が間引かれた8×8の前記量子化行列は、前記ビットストリームのピクチャパラメータセットに含まれる
請求項4に記載の画像処理方法。 - 生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する
請求項5に記載の画像処理方法。 - コンピュータを、
32×32の量子化行列の要素が間引かれた8×8の量子化行列を含むビットストリームを復号して量子化データを生成する復号部と、
前記復号部により生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する場合に、8×8の前記量子化行列の各要素を用いて近傍の15要素を複製する最近傍補間処理を行うことにより、32×32の前記量子化行列を設定する設定部と、
前記設定部により設定された32×32の前記量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部と
して機能させるプログラムを記録したコンピュータが読み取り可能な記録媒体。 - コンピュータを、
32×32の量子化行列の要素が間引かれた8×8の量子化行列を含むビットストリームを復号して量子化データを生成する復号部と、
前記復号部により生成された量子化データを逆量子化した変換係数データを32×32のトランスフォームユニットで逆直交変換する場合に、8×8の前記量子化行列の各要素を用いて近傍の15要素を複製する最近傍補間処理を行うことにより、32×32の前記量子化行列を設定する設定部と、
前記設定部により設定された32×32の前記量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部と
して機能させるプログラム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011277745 | 2011-12-19 | ||
JP2011277745 | 2011-12-19 | ||
JP2012008462 | 2012-01-18 | ||
JP2012008462 | 2012-01-18 | ||
JP2012039216 | 2012-02-24 | ||
JP2012039216 | 2012-02-24 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013550202A Division JP5904212B2 (ja) | 2011-12-19 | 2012-11-30 | 画像処理装置および方法、記録媒体、並びに、プログラム |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017001208A Division JP6296180B2 (ja) | 2011-12-19 | 2017-01-06 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2017001207A Division JP6296179B2 (ja) | 2011-12-19 | 2017-01-06 | 画像処理装置および方法、記録媒体、並びに、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016131381A true JP2016131381A (ja) | 2016-07-21 |
JP6075482B2 JP6075482B2 (ja) | 2017-02-08 |
Family
ID=48668284
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013550202A Active JP5904212B2 (ja) | 2011-12-19 | 2012-11-30 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2015033125A Active JP5967235B2 (ja) | 2011-12-19 | 2015-02-23 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2016045170A Active JP6075482B2 (ja) | 2011-12-19 | 2016-03-09 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2016045171A Active JP6075483B2 (ja) | 2011-12-19 | 2016-03-09 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2017001208A Active JP6296180B2 (ja) | 2011-12-19 | 2017-01-06 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2017001207A Active JP6296179B2 (ja) | 2011-12-19 | 2017-01-06 | 画像処理装置および方法、記録媒体、並びに、プログラム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013550202A Active JP5904212B2 (ja) | 2011-12-19 | 2012-11-30 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2015033125A Active JP5967235B2 (ja) | 2011-12-19 | 2015-02-23 | 画像処理装置および方法、記録媒体、並びに、プログラム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016045171A Active JP6075483B2 (ja) | 2011-12-19 | 2016-03-09 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2017001208A Active JP6296180B2 (ja) | 2011-12-19 | 2017-01-06 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2017001207A Active JP6296179B2 (ja) | 2011-12-19 | 2017-01-06 | 画像処理装置および方法、記録媒体、並びに、プログラム |
Country Status (15)
Country | Link |
---|---|
US (7) | US9635354B2 (ja) |
EP (1) | EP2797322A4 (ja) |
JP (6) | JP5904212B2 (ja) |
KR (6) | KR20200023497A (ja) |
CN (6) | CN108924563B (ja) |
AR (1) | AR089223A1 (ja) |
AU (3) | AU2012355057B2 (ja) |
CA (1) | CA2856348C (ja) |
HK (1) | HK1258600A1 (ja) |
MX (3) | MX346765B (ja) |
MY (2) | MY194502A (ja) |
PH (2) | PH12014501332B1 (ja) |
SG (2) | SG10201407305TA (ja) |
TW (5) | TWI577175B (ja) |
WO (1) | WO2013094385A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259205A (ja) * | 2010-06-09 | 2011-12-22 | Sony Corp | 画像復号化装置と画像符号化装置およびその方法とプログラム |
KR20200023497A (ko) | 2011-12-19 | 2020-03-04 | 소니 주식회사 | 화상 처리 장치 및 방법 |
JP6210368B2 (ja) * | 2012-09-18 | 2017-10-11 | サン パテント トラスト | 画像復号方法および画像復号装置 |
US9967559B1 (en) * | 2013-02-11 | 2018-05-08 | Google Llc | Motion vector dependent spatial transformation in video coding |
CN109661820A (zh) * | 2016-09-13 | 2019-04-19 | 联发科技股份有限公司 | 用于视频编解码的多个量化矩阵集合的方法 |
KR102459734B1 (ko) | 2017-08-30 | 2022-10-28 | 삼성전자 주식회사 | 영상처리장치 및 그 제어방법 |
KR20200092315A (ko) * | 2017-11-24 | 2020-08-03 | 소니 주식회사 | 화상 처리 장치 및 방법 |
CN116233456A (zh) * | 2018-03-30 | 2023-06-06 | 松下电器(美国)知识产权公司 | 编码装置、解码装置以及存储介质 |
US10659781B2 (en) * | 2018-04-02 | 2020-05-19 | Tencent America LLC | Concatenated coding units in flexible tree structure |
JP2020098984A (ja) * | 2018-12-17 | 2020-06-25 | キヤノン株式会社 | 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム |
JP2020098983A (ja) * | 2018-12-17 | 2020-06-25 | キヤノン株式会社 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法 |
WO2020179715A1 (ja) * | 2019-03-01 | 2020-09-10 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
JP7267785B2 (ja) * | 2019-03-11 | 2023-05-02 | キヤノン株式会社 | 画像復号装置、画像復号方法、及びプログラム |
JP2020150338A (ja) | 2019-03-11 | 2020-09-17 | キヤノン株式会社 | 画像復号装置、画像復号方法、及びプログラム |
JP2020150340A (ja) * | 2019-03-11 | 2020-09-17 | キヤノン株式会社 | 画像符号化装置、画像符号化方法、及びプログラム |
CN113841403A (zh) * | 2019-05-15 | 2021-12-24 | 现代自动车株式会社 | 影像解码装置中使用的逆量化装置和方法 |
WO2020231228A1 (ko) * | 2019-05-15 | 2020-11-19 | 현대자동차주식회사 | 영상 복호화 장치에서 이용하는 역양자화장치 및 방법 |
TWI813988B (zh) * | 2021-05-05 | 2023-09-01 | 宏正自動科技股份有限公司 | 影像傳輸方法以及影像傳輸系統 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100234194B1 (ko) * | 1997-03-26 | 1999-12-15 | 윤종용 | 이전계층 양자화표를 이용한 다중계층 부호화기의 부호화방법 |
JP4099682B2 (ja) * | 1998-09-18 | 2008-06-11 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
US6529634B1 (en) | 1999-11-08 | 2003-03-04 | Qualcomm, Inc. | Contrast sensitive variance based adaptive block size DCT image compression |
KR100584552B1 (ko) * | 2003-01-14 | 2006-05-30 | 삼성전자주식회사 | 동영상 부호화 및 복호화 방법과 그 장치 |
CN101247524B (zh) | 2003-02-21 | 2011-05-04 | 松下电器产业株式会社 | 图像编码方法 |
KR101082233B1 (ko) * | 2004-01-20 | 2011-11-09 | 파나소닉 주식회사 | 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치 및 그 프로그램 |
CN100542262C (zh) * | 2004-01-30 | 2009-09-16 | 松下电器产业株式会社 | 逆量化方法图像解码方法和设备及处理器 |
JP4146444B2 (ja) * | 2005-03-16 | 2008-09-10 | 株式会社東芝 | 動画像符号化の方法及び装置 |
JP2007053554A (ja) * | 2005-08-17 | 2007-03-01 | Sony Corp | 符号化装置、符号化方法、復号装置、復号方法およびプログラム |
JP4114885B2 (ja) * | 2005-10-31 | 2008-07-09 | 松下電器産業株式会社 | 画像符号化装置、方法、及びプログラム |
KR101035754B1 (ko) * | 2006-02-13 | 2011-05-20 | 가부시끼가이샤 도시바 | 동화상 부호화/복호화 방법 및 장치 |
US20070274385A1 (en) * | 2006-05-26 | 2007-11-29 | Zhongli He | Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame |
CN100409693C (zh) * | 2006-07-13 | 2008-08-06 | 王国秋 | 用于图像和视频压缩的正交变换方法 |
CN101123723B (zh) * | 2006-08-11 | 2011-01-12 | 北京大学 | 基于图形处理器的数字视频解码方法 |
JP5257215B2 (ja) * | 2009-04-16 | 2013-08-07 | ソニー株式会社 | 画像符号化装置と画像符号化方法 |
JP2011049740A (ja) * | 2009-08-26 | 2011-03-10 | Sony Corp | 画像処理装置および方法 |
KR20120089561A (ko) * | 2009-09-22 | 2012-08-13 | 파나소닉 주식회사 | 이미지 부호화 장치, 이미지 복호화 장치, 이미지 부호화 방법, 및 이미지 복호화 방법 |
CN101674478B (zh) * | 2009-10-19 | 2012-09-19 | 浙江大学 | 基于压缩域的视频超分辨率方法 |
EA021750B1 (ru) * | 2009-10-30 | 2015-08-31 | Панасоник Интеллекчуал Проперти Корпорэйшн оф Америка | Способ декодирования, декодирующее устройство, способ кодирования и кодирующее устройство |
TW201143448A (en) * | 2009-10-30 | 2011-12-01 | Panasonic Corp | Image encoding method, image decoding method, image encoding device and image decoding device |
KR101700358B1 (ko) * | 2009-12-09 | 2017-01-26 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
TW201515445A (zh) * | 2010-04-01 | 2015-04-16 | Sony Corp | 圖像處理方法 |
AU2011247331B2 (en) * | 2010-04-26 | 2015-11-26 | Sun Patent Trust | Filtering mode for intra prediction inferred from statistics of surrounding blocks |
RU2616155C1 (ru) * | 2010-06-04 | 2017-04-12 | Сони Корпорейшн | Устройство и способ обработки изображений |
US9167252B2 (en) * | 2010-12-01 | 2015-10-20 | Texas Instruments Incorporated | Quantization matrix compression in video coding |
JP5741076B2 (ja) | 2010-12-09 | 2015-07-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
KR20200023497A (ko) * | 2011-12-19 | 2020-03-04 | 소니 주식회사 | 화상 처리 장치 및 방법 |
CN106744780B (zh) | 2017-03-22 | 2019-06-28 | 广东光华科技股份有限公司 | 一种高压实锂离子电池正极材料磷酸铁锂的制备方法 |
-
2012
- 2012-11-30 KR KR1020207005154A patent/KR20200023497A/ko not_active IP Right Cessation
- 2012-11-30 US US14/359,765 patent/US9635354B2/en active Active
- 2012-11-30 EP EP12860469.1A patent/EP2797322A4/en not_active Ceased
- 2012-11-30 KR KR1020207005158A patent/KR20200023500A/ko not_active IP Right Cessation
- 2012-11-30 CN CN201811006575.9A patent/CN108924563B/zh active Active
- 2012-11-30 KR KR1020207005155A patent/KR20200023498A/ko not_active IP Right Cessation
- 2012-11-30 KR KR1020207005156A patent/KR20200023499A/ko not_active IP Right Cessation
- 2012-11-30 MY MYPI2018000430A patent/MY194502A/en unknown
- 2012-11-30 CN CN201280061142.8A patent/CN103988508B/zh active Active
- 2012-11-30 MX MX2014007054A patent/MX346765B/es active IP Right Grant
- 2012-11-30 MY MYPI2014701308A patent/MY174497A/en unknown
- 2012-11-30 KR KR1020147015511A patent/KR102094557B1/ko active IP Right Grant
- 2012-11-30 SG SG10201407305TA patent/SG10201407305TA/en unknown
- 2012-11-30 JP JP2013550202A patent/JP5904212B2/ja active Active
- 2012-11-30 KR KR1020207005163A patent/KR20200023501A/ko not_active IP Right Cessation
- 2012-11-30 SG SG11201402920TA patent/SG11201402920TA/en unknown
- 2012-11-30 CN CN201811006611.1A patent/CN108924564B/zh active Active
- 2012-11-30 WO PCT/JP2012/081057 patent/WO2013094385A1/ja active Application Filing
- 2012-11-30 CN CN201811006612.6A patent/CN108924565B/zh active Active
- 2012-11-30 AU AU2012355057A patent/AU2012355057B2/en active Active
- 2012-11-30 CN CN201410668859.XA patent/CN104469376B/zh active Active
- 2012-11-30 CN CN201811006613.0A patent/CN108924566B/zh active Active
- 2012-11-30 CA CA2856348A patent/CA2856348C/en active Active
- 2012-12-06 TW TW105127474A patent/TWI577175B/zh active
- 2012-12-06 TW TW104128627A patent/TWI559742B/zh active
- 2012-12-06 TW TW101145972A patent/TWI519138B/zh active
- 2012-12-06 TW TW105127473A patent/TWI577174B/zh active
- 2012-12-06 TW TW106101555A patent/TWI620433B/zh active
- 2012-12-13 AR ARP120104697A patent/AR089223A1/es active IP Right Grant
-
2014
- 2014-06-11 PH PH12014501332A patent/PH12014501332B1/en unknown
- 2014-06-12 MX MX2022016363A patent/MX2022016363A/es unknown
- 2014-06-12 MX MX2020004342A patent/MX2020004342A/es unknown
-
2015
- 2015-02-23 JP JP2015033125A patent/JP5967235B2/ja active Active
-
2016
- 2016-03-09 JP JP2016045170A patent/JP6075482B2/ja active Active
- 2016-03-09 JP JP2016045171A patent/JP6075483B2/ja active Active
- 2016-06-10 AU AU2016203936A patent/AU2016203936B2/en active Active
- 2016-12-12 PH PH12016502471A patent/PH12016502471A1/en unknown
-
2017
- 2017-01-06 JP JP2017001208A patent/JP6296180B2/ja active Active
- 2017-01-06 JP JP2017001207A patent/JP6296179B2/ja active Active
- 2017-02-10 US US15/429,866 patent/US9781422B2/en active Active
- 2017-05-23 AU AU2017203441A patent/AU2017203441B2/en active Active
- 2017-08-25 US US15/687,082 patent/US10136135B2/en active Active
-
2018
- 2018-09-21 US US16/138,184 patent/US10560697B2/en active Active
-
2019
- 2019-01-18 HK HK19100959.8A patent/HK1258600A1/zh unknown
- 2019-12-09 US US16/706,832 patent/US20200112723A1/en not_active Abandoned
-
2021
- 2021-03-24 US US17/211,177 patent/US11758139B2/en active Active
-
2024
- 2024-01-03 US US18/189,258 patent/US20240205405A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6296179B2 (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム | |
JP6075485B2 (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6075482 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |