JP2013223035A - 画像復号装置、画像復号方法及びプログラム - Google Patents
画像復号装置、画像復号方法及びプログラム Download PDFInfo
- Publication number
- JP2013223035A JP2013223035A JP2012092214A JP2012092214A JP2013223035A JP 2013223035 A JP2013223035 A JP 2013223035A JP 2012092214 A JP2012092214 A JP 2012092214A JP 2012092214 A JP2012092214 A JP 2012092214A JP 2013223035 A JP2013223035 A JP 2013223035A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- pixel
- image
- value
- pcm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】 入出力画像のビット深度よりも少ないビット深度の情報でPCM符号化されているブロックの画素の再生において、ビット深度の差分の分だけビットシフトしただけでは画素の再現性が不十分であるという課題があった。結果として再生される画像の画質が劣化してしまっていた。
【解決手段】 少ないビット深度の情報でPCM符号化されているブロックの画素の再生においては、復号処理において適切な補正を行う。
【選択図】 図1
【解決手段】 少ないビット深度の情報でPCM符号化されているブロックの画素の再生においては、復号処理において適切な補正を行う。
【選択図】 図1
Description
本発明は画像復号装置、画像復号方法及びプログラムおよび画像符号データに関し、特に非圧縮符号化ブロックに対する復号処理に関する。
動画像の圧縮記録の符号化方式として、H.264/MPEG−4 AVC(以下H.264と略す)が知られている。(非特許文献1)
H.264においては、I_PCMと呼ばれる、入力された画素を圧縮せずにそのままビットストリームに含める技術を用いることができる。
近年、H.264の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。JCT−VC(Joint Collaborative Team on Video Coding)がISO/IECとITU−Tの間で設立され、HEVC(High Efficiency Video Coding)符号化方式(以下、HEVC)として標準化が進められている。H.264同様、前記I_PCMを用いることもできる。さらに、入力画像のビット深度よりも少ないビット数分の画素データをビットストリームに含めることができることが特徴となっている。(非特許文献2)
図5にそのビットストリームの構成例を示す。HEVCにおいては、seq_parameter_setヘッダと呼ばれるヘッダにbit_depth_luma_minus8符号やbit_depth_chroma_minus8符号が画素深度情報を表す。また、I_PCM符号化画素の深度情報(以下、PCM画素深度情報)としてはpcm_bit_depth_luma_minus1符号やpcm_bit_depth_chroma_minus1符号が存在する。ヘッダデータに続いて、各ピクチャを符号化したピクチャデータが続く。ピクチャデータにはI_PCM符号化された画素の符号化データと予測を行って符号化を行った画素の符号化データが混在している。
H.264においては、I_PCMと呼ばれる、入力された画素を圧縮せずにそのままビットストリームに含める技術を用いることができる。
近年、H.264の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。JCT−VC(Joint Collaborative Team on Video Coding)がISO/IECとITU−Tの間で設立され、HEVC(High Efficiency Video Coding)符号化方式(以下、HEVC)として標準化が進められている。H.264同様、前記I_PCMを用いることもできる。さらに、入力画像のビット深度よりも少ないビット数分の画素データをビットストリームに含めることができることが特徴となっている。(非特許文献2)
図5にそのビットストリームの構成例を示す。HEVCにおいては、seq_parameter_setヘッダと呼ばれるヘッダにbit_depth_luma_minus8符号やbit_depth_chroma_minus8符号が画素深度情報を表す。また、I_PCM符号化画素の深度情報(以下、PCM画素深度情報)としてはpcm_bit_depth_luma_minus1符号やpcm_bit_depth_chroma_minus1符号が存在する。ヘッダデータに続いて、各ピクチャを符号化したピクチャデータが続く。ピクチャデータにはI_PCM符号化された画素の符号化データと予測を行って符号化を行った画素の符号化データが混在している。
ITU−T H.264 (03/2010) Advancedvideo coding for generic audiovisual services
JCT−VC 寄書 JCTVC−H1003 インターネット< http://phenix.int−evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/ >
HEVCにおいて、入力画像のビット深度よりも少ないビット数の画素データを含めた場合、復号側では少ないビット数の画素データを入力画像のビット深度と同一のビット深度にするための補正処理が必要となる。HEVCでは、入力画像のビット深度とビットストリームに含めた画素データのビット数との差分の分だけ画素データをビットシフトして補正を行うことで、少ないビット数を用いたI_PCMにおける復号処理を実現している。
しかしながら、ビットシフトのみによって補正を行っているため、補正後の画素データの最大値はビットシフトによって発生する下位ビットの分だけ入力画像の最大値よりも必ず小さくなってしまう。例えばPCM画素深度情報の値が1で画素深度情報の値が8の場合PCM符号化された情報の値は0または1の値をとるが、対応する再生画素はそれぞれPCM符号化された情報の値が0の場合は再生画素値は0となり、その値が1の場合は再生画素値は128となる。
また、補正後の画素データの中央値は入力画像の中央値とは異なるものとなってしまうため、画素の再現性において問題があった。
以上より、本発明は上述した課題を解決するためになされたものであり、少ないビットを用いたI_PCMにおける復号処理において適切な補正を行うことで画素の劣化を防止することを目的としている。
しかしながら、ビットシフトのみによって補正を行っているため、補正後の画素データの最大値はビットシフトによって発生する下位ビットの分だけ入力画像の最大値よりも必ず小さくなってしまう。例えばPCM画素深度情報の値が1で画素深度情報の値が8の場合PCM符号化された情報の値は0または1の値をとるが、対応する再生画素はそれぞれPCM符号化された情報の値が0の場合は再生画素値は0となり、その値が1の場合は再生画素値は128となる。
また、補正後の画素データの中央値は入力画像の中央値とは異なるものとなってしまうため、画素の再現性において問題があった。
以上より、本発明は上述した課題を解決するためになされたものであり、少ないビットを用いたI_PCMにおける復号処理において適切な補正を行うことで画素の劣化を防止することを目的としている。
前述の問題点を解決するため、本発明の画像復号方法は以下の構成を有する。すなわち、ビットストリームを復号して画像を再生する画像復号方法であって、予測を行う第1の符号化モードで符号化されているブロックを復号する第1の復号工程と、予測を行わない第2の符号化モードで符号化されているブロックを復号する第2の復号工程とを含み、前記第1の復号工程は、再生された予測誤差と予測を行った結果から第1再生画像を生成する第1再構成工程を有し、前記第2の復号工程は、前記第2の符号化モードで符号化されているブロックの画素情報のビット深度が出力画像のビット深度よりも小さい場合、前記出力画像のビット深度と前記画素情報のビット深度の差に基づいて前記画素情報をビットシフトして出力画素仮値を再生し、前記ビット深度の差分に基づいて前記出力画素仮値を補正して出力画素値を算出することにより第2再生画像を生成する第2再構成工程を有することを特徴とする。
本発明により、少ないビットを用いたI_PCMにおいても、画素の劣化の少ない復号処理を行うことが可能となり、復号画像の画質をさらに向上させることができる。
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
<実施形態1>
図1は、本発明の実施形態1に係る画像復号装置の構成を示すブロック図である。本実施形態では、図5に示したビットストリームの復号を例にとって説明する。但し、復号されるビットストリームはこれに限定されない。
図1は、本発明の実施形態1に係る画像復号装置の構成を示すブロック図である。本実施形態では、図5に示したビットストリームの復号を例にとって説明する。但し、復号されるビットストリームはこれに限定されない。
101は符号化されたビットストリームを入力する端子である。102は分離復号部であり、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。103は第1復号部であり、分離復号部102から出力された予測符号化画素情報を復号し、量子化パラメータ、量子化係数および予測情報を再生する。104は逆量子化・逆変換部であり、ブロック単位で量子化係数を入力し、再生した量子化パラメータで逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。107はフレームメモリである。再生されたピクチャの画像データを格納しておく。105は第1画像再生部である。入力された予測情報に基づいてフレームメモリ107を適宜参照して予測画像データを生成する。そして、この予測画像データと逆量子化・逆変換部104で再生された予測誤差から再生画像データを再生し、出力する。106は第2画像復号・再生部である。分離復号部102から出力された画素深度情報およびPCM画素深度情報を用いてPCM画素情報から再生画像データを再生し、出力する。108は端子であり、再生された画像データを外部に出力する。
上記画像復号装置における画像の復号動作を以下に説明する。図1において、端子101から入力されたビットストリームは分離復号部102に入力される。分離復号部102では、ビットストリームから復号処理に関する情報や係数に関する符号データ、画素情報に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。本実施形態では、まず図5に示されるビットストリームのヘッダ部を復号し、画素深度情報およびPCM画素深度情報を再生し後段に出力する。続いて、ピクチャデータのブロック単位の符号データ、すなわち予測符号化画素情報およびPCM画素情報を第1符号化部103、および第2画像復号・再生部106に出力する。復号対象ブロックが予測符号化されている場合には、予測符号化画素情報を第1復号部103に出力する。復号対象ブロックがPCM符号化されている場合には、PCM画素情報を第2画像復号・再生部106に出力する。
第1復号部103では、分離復号部102から入力された予測符号化画素情報を復号し、量子化パラメータ、量子化係数および予測情報を再生する。再生された量子化パラメータ、量子化係数は逆量子化・逆変換部104に出力され、再生された予測情報は第1画像再生部105に出力される。
逆量子化・逆変換部104では、予測符号化されているブロックに関して、入力された量子化係数に対し量子化パラメータを用いて逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。再生された予測誤差は第1画像再生部105に入力される。
第1画像再生部105では、第1復号部103から入力された予測情報に基づいて、フレームメモリ107を適宜参照し、予測画像を生成する。この予測画像と逆量子化・逆変換部104から入力された予測誤差から画像データを再生し、フレームメモリ107に入力し、格納する。格納された画像データは予測の際の参照に用いられる。
一方、第2画像再生部106では、分離復号部102から入力された画素深度情報およびPCM画素深度情報を用いてPCM画素情報から再生画像データを生成し、フレームメモリ107に入力し、格納する。
本実施形態の第2画像復号・再生部106における再生画像データの生成処理について具体的に説明する。図2にその詳細なブロック図を示す。201は画素深度情報を入力する端子であり、202はPCM画素深度情報を入力する端子、203はPCM画素情報の符号化データを入力する端子である。ここでは画素深度情報の値をdsとし、PCM画素深度情報の値をdpとする。204はビット深度差分算出部であり、画素深度情報値dsとPCM画素深度情報値dpの差分を求める。この差分値をddとする。205はビット深度差分算出部204で算出された差分値ddに基づいてオフセットを算出する補正値算出部である。206はPCM画素情報の符号化データを復号し、PCM画素情報の値Ppを再生するI_PCM復号部である。207は再生されたPCM画素情報値Ppを所定のビット数だけビットシフトを行うビットシフト部である。208はビットシフト部207からの出力を補正値算出部205の出力で補正を行う画素値補正部である。209は端子であり、補正された画素値を出力する。
端子201から入力された画素深度情報値dsと端子202から入力されたPCM画素深度情報値dpはビット深度差分算出部204に入力される。ビット深度差分算出部204は(1)式に基づいて、その差分値ddを求める
dd=ds−dp …(1)
算出された差分値ddは補正値算出部205とビットシフト部207に入力される。
補正値算出部205は差分値ddから(2)式に従ってオフセット値Opを算出する。
Op=1<<(dd−1) …(2)
(2)式はすなわち、2の(dd−1)乗をオフセット値Opとすることを示す。
算出されたオフセット値Opは画素補正部208に入力される。
dd=ds−dp …(1)
算出された差分値ddは補正値算出部205とビットシフト部207に入力される。
補正値算出部205は差分値ddから(2)式に従ってオフセット値Opを算出する。
Op=1<<(dd−1) …(2)
(2)式はすなわち、2の(dd−1)乗をオフセット値Opとすることを示す。
算出されたオフセット値Opは画素補正部208に入力される。
一方、ピクチャの復号において、I_PCM符号化された符号化データが端子203からI_PCM復号部206に入力される。I_PCM復号部206では符号化データを復号し、PCM画素情報Ppを再生する。再生されたPCM画素情報Ppはビットシフト部207に入力され、差分値ddだけ左にビットシフトを行い、画素値補正部208にその結果を入力する。画素値補正部208はビットシフト部207から入力された値にオフセット値Opを加算して補正を行い、再生画素値Pcを端子209から出力する。
また、本実施形態では第2画素再生部を図2に示すような構成を取ったが、これに限定されない。例えば、PCM画素情報Ppに対して、画素深度情報値dsとPCM画素深度情報値dpから直接(3)の式の演算を行う補正部としても構わない。
Pc=((Pp<<(ds−dp))+(1<<(ds−dp−1)) …(3)
(3)式はすなわち、Ppと2の(ds−dp)乗の積と2の(ds−dp−1)乗との和をPcとすることを示す。
Pc=((Pp<<(ds−dp))+(1<<(ds−dp−1)) …(3)
(3)式はすなわち、Ppと2の(ds−dp)乗の積と2の(ds−dp−1)乗との和をPcとすることを示す。
例えばPCM深度情報値(dp)が1で画素深度情報値(ds)が8の場合、PCM画素深度値(Pp)は0または1の値をとる。しかし対応する再生画素はそれぞれPCM画素深度値(Pp)が0の場合は再生画素値(Pc)は64、PCM画素情報値(Pp)が1の場合は再生画素値(Pc)は192となる。例えばPCM深度情報値(dp)が4で画素深度情報値(ds)が8の場合、PCM画素情報値(Pp)は0から15の値をとるが、対応する再生画素値(Pc)は8から248の16刻みの値となる。最後に図1に戻り、最終的に再生された画像データは端子108から外部に出力される。
図3は、実施形態1に係る画像復号装置における画像の復号処理を示すフローチャートである。
まず、ステップS301にて、分離復号部102はビットストリームから復号処理に関する情報や係数に関する符号データに分離して、ヘッダ部分の符号データを復号し、画素深度情報およびPCM画素深度情報を再生する。
ステップS302にて、分離復号部102はビットストリームのピクチャデータから復号対象のブロックに関する情報を復号し、予測符号化画素情報、PCM画素情報を分離する。復号された復号対象のブロックに関する情報から、復号対象のブロックがPCM符号化されているか否かを示すPCM符号化ブロック判定情報を生成する。
ステップS303にて、画像復号装置はステップS302で生成されたPCM符号化ブロック判定情報に基づき、復号対象のブロックがPCM符号化されているか否かを判定する。PCM符号化されている場合はステップS307に進み、そうでない場合、すなわち予測符号化されている場合はステップS304に進む。
ステップS304にて、第1復号部103はステップS302で分離された予測符号化画素情報を復号し、量子化パラメータ、量子化係数および予測情報を再生する。
ステップS305にて、逆量子化・逆変換部104はブロック単位で量子化係数に対し量子化パラメータで逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。
ステップS306にて、第1画像再生部105はステップS304で生成された予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップS305で生成された予測誤差から画像データを再生する。
一方、ステップS307にて、第2画像復号・再生部106のI_PCM復号部206はPCM画素情報の符号化データを復号してPCM画素情報を再生する。ステップS308にて、第2画像復号・再生部106はステップS301で再生された画素深度情報およびPCM画素深度情報を用いてステップS307で再生されたPCM画素情報から画像データを再生する。本ステップにおける再生処理も上述の式(3)と同様に表される。
ステップS309にて、画像復号装置は全てのブロックの復号が終了したか否かの判定を行い、終了していれば復号処理を終了し、そうでなければ次のブロックを対象として、ステップS302に戻る。
以上の構成と動作により、特にステップS308でPCM符号化されたブロックの画素を適切に補正しながら再生することによりPCM符号化された画素の劣化を抑制しつつ画像の再生を行うことができる。
本実施形態では、図5に示されるビットストリームの復号について示したが、復号するビットストリームの構成はこれに限定されない。
また、第2画像再生部およびステップS307におけるPCM符号化されたブロックの画素の再生方法について、式(3)を用いて一例を示したが、再生方法は限定されない。あらゆるPCM画素に対し、PCM画素深度情報および画素深度情報に対応したオフセット値が加算される方式であれば良い。
例えば、PCM画素情報Ppに対して、画素深度情報値dsとPCM画素深度情報値dqから下記(4)ないし(5)の式の演算を行っても構わない。
Pp<(1<<(dp−1)を満たす場合
Pc=((Pp<<(ds−dp)) …(4)
それ以外の場合
Pc=((Pp<<(ds−dp))+((1<<(ds−dp))−1) …(5)
ここで(4)式は、Ppと2の(ds−dp)乗の積をPcとすることを示し、(5)式は、Ppと2の(ds−dp)乗の積と2の(ds−dp)乗と1との差との和をPcとすることを示す。
Pp<(1<<(dp−1)を満たす場合
Pc=((Pp<<(ds−dp)) …(4)
それ以外の場合
Pc=((Pp<<(ds−dp))+((1<<(ds−dp))−1) …(5)
ここで(4)式は、Ppと2の(ds−dp)乗の積をPcとすることを示し、(5)式は、Ppと2の(ds−dp)乗の積と2の(ds−dp)乗と1との差との和をPcとすることを示す。
すなわち、補正値算出部205においてオフセットとして(1<<(ds−dp))−1)を算出し、画素値補正部において、入力されるビットシフトされた結果に基づいて加算の可否を決定しても良い。
例えばPCM深度情報値(dp)が1で画素深度情報値(ds)が8の場合、PCM画素情報値(Pp)は0または1の値をとる。この場合、対応する再生画素はそれぞれPCM画素情報値(Pp)が0の場合、再生画素値(Pc)は0、PCM画素情報値(Pp)が1の場合、再生画素値(Pc)は255となる。
例えばPCM深度情報値(dp)が4で画素深度情報値(ds)が8の場合、PCM画素情報値は0から15の値をとる。PCM画素情報値が0から7の値をとる場合、式(4)の後段で加算される部分の値が0となるため、対応する再生画素値(Pc)は0から112の16刻みの値となる。一方、PCM画素情報値が8から15の値をとる場合、式(4)の後段で加算される部分の値が15となるため、対応する再生画素値(Pc)は143から255の16刻みの値となる。この例では、PCM符号化された画素のダイナミックレンジを維持しながら画像の再生を行うことができる。さらに本実施形態では、補正後のPCM符号化された画素の中央値が出力画像の画素の中央値と一致することになるため、ビットシフト演算による画質の劣化を抑制することもできる。
本実施形態では、補正値は線形な値を取る例を示したが、これに限定されず非線形な補正値を用いても構わない。なお、本実施形態ではPCM画素情報の符号化データが符号化されている場合について説明したが、そのままの値が含まれている場合はI_PCM復号部206を省略し、ステップS307を省略することが可能である。
<実施形態2>
図6は、本実施形態の画像復号装置の構成を示すブロック図である。図6において実施形態1の図1と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
図6は、本実施形態の画像復号装置の構成を示すブロック図である。図6において実施形態1の図1と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
本実施形態では、図5に示したビットストリームの復号を例にとって説明するが、ビットストリーム内の画素深度情報、PCM画素深度情報およびPCM画素情報は輝度と色差で独立しているものとする。すなわち、輝度画素深度情報と色差画素深度情報、および輝度PCM画素深度情報と色差PCM画素深度情報がヘッダ部に存在し、輝度PCM画素情報および色差PCM画素情報がピクチャデータ部に存在しているものとする。もちろん復号されるビットストリームはこれに限定されない。
302は分離復号部であり、図1の分離復号部102同様、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。図1の分離復号部102との違いは、輝度と色差それぞれ独立したPCM画素深度情報およびPCM画素情報を出力することにある。
310は輝度第2画像復号・再生部である。分離復号部302から出力された輝度画素深度情報および輝度PCM画素深度情報を用いて輝度PCM画素情報から輝度再生画像データを再生し、出力する。
311は色差第2画像復号・再生部である。分離復号部302から出力された色差画素深度情報および色差PCM画素深度情報を用いて色差PCM画素情報から色差再生画像データを再生し、出力する。
上記画像復号装置における画像の復号動作を以下に説明する。
分離復号部302では、ビットストリームから復号処理に関する情報や係数に関する符号データ、画素情報に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。本実施形態では、まず図5に示されるビットストリームのヘッダ部を復号し、画素深度情報に含まれる輝度画素深度情報と色差深度情報およびPCM画素深度情報に含まれる輝度PCM画素深度情報と色差PCM画素深度情報を再生し、後段に出力する。具体的には、輝度第2画像復号・再生部310には輝度画素深度情報および輝度PCM画素深度情報が出力され、色差第2画像復号・再生部311には色差画素深度情報および色差PCM画素深度情報が出力される。続いて、ピクチャデータのブロック単位の予測符号化画素情報およびPCM画素情報に含まれる輝度PCM画素情報および色差PCM画素情報を第1符号化部103、輝度第2画像復号・再生部310および色差第2画像復号・再生部311に出力する。より具体的には分離復号部302は復号対象ブロックが予測符号化されている場合には、予測符号化画素情報を第1復号部103に出力する。復号対象ブロックがPCM符号化されている場合には、輝度PCM画素情報を輝度第2画像復号・再生部310に出力し、色差PCM画素情報を色差第2画像復号・再生部311に出力する。
輝度第2画像復号・再生部310では、分離復号部302から入力された輝度画素深度情報および輝度PCM画素深度情報を用いて輝度PCM画素情報から輝度再生画像データを生成し、フレームメモリ107に入力し、格納する。本実施形態の輝度第2画像復号・再生部310における輝度再生画像データの生成処理は、対象が輝度画素だけであることを除けば実施形態1の第2画像復号・再生部106と同様、図2に示されているため、説明を省略する。
また、色差第2画像復号・再生部311では、分離復号部302から入力された色差画素深度情報および指揮差PCM画素深度情報を用いて色差PCM画素情報から色差再生画像データを生成し、フレームメモリ107に入力し、格納する。本実施形態の色差第2画像復号・再生部311における色差再生画像データの生成処理は、対象が色差画素だけであることを除けば実施形態1の第2画像復号・再生部106と同様、図2に示されているため、説明を省略する。
図7は実施形態2に係る画像復号装置における画像復号処理を示すフローチャートである。実施形態1の図3と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
ステップS701にて、分離復号部302はビットストリームから復号処理に関する情報や係数に関する符号データに分離する。次にヘッダ部分の符号データを復号し、輝度画素深度情報、色差画素深度情報、輝度PCM画素深度情報および色差PCM画素深度情報を再生する。
ステップS707にて、輝度第2画像復号・再生部310のI_PCM復号部206は輝度PCM画素情報の符号化データを復号して輝度PCM画素情報を再生する。
ステップS708にて、輝度第2画像復号・再生部310はステップS701で再生された輝度画素深度情報および輝度PCM画素深度情報を用いてステップS707で再生された輝度PCM画素情報から輝度画像データを再生する。
ステップS709にて、色差第2画像復号再生部311のI_PCM復号部206は色差PCM画素情報の符号化データを復号して色差PCM画素情報を再生する。
ステップS710にて、色差第2画像復号再生部311はステップS701で再生された色差画素深度情報および色差PCM画素深度情報を用いてステップS709で再生された色差PCM画素情報から色差画像データを再生する。
以上の構成と動作により、特にステップS708およびS710で輝度および色差のPCM符号化されたブロックの画素を適切に補正しながら再生することにより、画素の劣化を抑制しつつ、輝度および色差に最適な補正をしつつ画像の再生を行うことができる。
なお、本実施形態では輝度と色差で独立した輝度第2画像復号・再生部310、色差第2画像復号・再生部311やステップS708、S710を設けたが、これらは同一の処理を行っても良いし、全く独立した処理を行っても構わない。例えば、輝度と色差の両方に前述の式(3)に示される処理を行っても良いし、輝度には式(4)ないし(5)に示される処理を行いつつ、色差には従来手法を用いるように組み合わせても良い。
さらに、画素深度情報とPCM画素深度情報が輝度、色度で異なる場合について説明したが、これに限定されず、同じ画素深度情報とPCM画素深度情報から上記のように輝度、色差で処理の内容を異ならせることも可能である。
また、それぞれの特徴にあった処理を行っても構わない。例えば、輝度に対しては式(4)ないし(5)に示される再生画素のダイナミックレンジが維持されるような処理を行いつつ、色差に対してはより中心付近の値が再生されるような補正を含めた再生処理を行っても良い。例えば、色差では色差PCM深度情報値(dp)が1で色差画素深度情報値(ds)が8の場合を例にとって説明する。対応する再生画素はそれぞれ色差PCM画素情報値(Pp)が0の場合は色差再生画素値(Pc)は96、色差PCM画素情報値(Pp)が1の場合は色差再生画素値(Pc)は160する。これは輝度の64、192よりは中心である128に近い値となっている。このように非線形の補正を行ってももちろん構わない。
また、本実施形態では、輝度と色差で独立した再生処理を行ったが、色空間ごとに独立した再生処理を行うことも可能である。例えば、Y色空間成分には式(4)ないし(5)に示される再生処理を行い、U色空間成分には式(3)に示される再生処理を行い、V色空間性分には従来通りの再生処理を行うようにしても構わない。
<実施形態3>
図1、図6に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。
図1、図6に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。
図4は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
CPU401は、RAM402やROM403に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、CPU401は、図1、図6に示した各処理部として機能することになる。
RAM402は、外部記憶装置406からロードされたコンピュータプログラムやデータ、I/F(インターフェース)407を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、RAM402は、CPU401が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM402は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
ROM403には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部404は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をCPU401に対して入力することができる。表示部405は、CPU401による処理結果を表示する。また表示部405は例えば液晶ディスプレイで構成される。
外部記憶装置406は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置406には、OS(オペレーティングシステム)や、図1、図6に示した各部の機能をCPU401に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置406には、処理対象としての各画像データが保存されていても良い。
外部記憶装置406に保存されているコンピュータプログラムやデータは、CPU401による制御に従って適宜、RAM402にロードされ、CPU401による処理対象となる。I/F407には、LANやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのI/F407を介して様々な情報を取得したり、送出したりすることができる。408は上述の各部を繋ぐバスである。
上述の構成からなる作動は前述のフローチャートで説明した作動をCPU401が中心となってその制御を行う。
<その他の実施形態>
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
Claims (7)
- ビットストリームを復号して画像を再生する画像復号方法であって、
予測を行う第1の符号化モードで符号化されているブロックを復号する第1の復号工程と、
予測を行わない第2の符号化モードで符号化されているブロックを復号する第2の復号工程とを含み、
前記第1の復号工程は、再生された予測誤差と予測を行った結果から第1再生画像を生成する第1再構成工程を有し、
前記第2の復号工程は、前記第2の符号化モードで符号化されているブロックの画素情報のビット深度が出力画像のビット深度よりも小さい場合、前記出力画像のビット深度と前記画素情報のビット深度の差に基づいて前記画素情報をビットシフトして出力画素仮値を再生し、前記ビット深度の差分に基づいて前記出力画素仮値を補正して出力画素値を算出することにより第2再生画像を生成する第2再構成工程を有することを特徴とする画像復号方法。 - 前記第2再構成工程は前記ビット深度の差分に基づいてオフセットを算出し、前記出力画素仮値に前記オフセットを加算して出力画素値を算出することを特徴とする請求項1に記載の画像復号方法。
- 前記第2再構成工程は、出力ビット深度、第2符号化モードで符号化されているブロックのビット深度および第2符号化モードで符号化されているブロックの画素情報から出力画素値を得ることを特徴とする請求項1又は請求項2に記載の画像復号方法。
- ビットストリームを復号して画像を再生する画像復号装置であって、
予測を行う第1の符号化モードで符号化されているブロックを復号する第1の復号手段と、
予測を行わない第2の符号化モードで符号化されているブロックを復号する第2の復号手段とを含み、
前記第1の復号手段は、再生された予測誤差と予測を行った結果から第1再生画像を生成する第1再構成手段を有し、
前記第2の復号手段は、前記第2の符号化モードで符号化されているブロックの画素情報のビット深度が出力画像のビット深度よりも小さい場合、前記出力画像のビット深度と前記画素情報のビット深度の差に基づいて前記画素情報をビットシフトして出力画素仮値を再生し、前記ビット深度の差分に基づいて前記出力画素仮値を補正して出力画素値を算出することにより第2再生画像を生成する第2再構成手段を有することを特徴とする画像復号装置。 - 前記第2再構成手段は前記ビット深度の差分に基づいてオフセットを算出し、前記出力画素仮値に前記オフセットを加算して出力画素値を算出することを特徴とする請求項4に記載の画像復号装置。
- 前記第2再構成手段は、出力ビット深度、第2符号化モードで符号化されているブロックのビット深度および第2符号化モードで符号化されているブロックの画素情報から出力画素値を得ることを特徴とする請求項4又は請求項5に記載の画像復号装置。
- コンピュータが読み出して実行することにより、前記コンピュータを、請求項4に記載の画像復号装置として機能させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012092214A JP2013223035A (ja) | 2012-04-13 | 2012-04-13 | 画像復号装置、画像復号方法及びプログラム |
PCT/JP2013/002167 WO2013153761A1 (en) | 2012-04-13 | 2013-03-29 | Image decoding apparatus, image decoding method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012092214A JP2013223035A (ja) | 2012-04-13 | 2012-04-13 | 画像復号装置、画像復号方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013223035A true JP2013223035A (ja) | 2013-10-28 |
Family
ID=48182980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012092214A Pending JP2013223035A (ja) | 2012-04-13 | 2012-04-13 | 画像復号装置、画像復号方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013223035A (ja) |
WO (1) | WO2013153761A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2015098562A1 (ja) * | 2013-12-27 | 2017-03-23 | ソニー株式会社 | 画像処理装置および方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4430670A (en) * | 1982-03-12 | 1984-02-07 | Bell Telephone Laboratories, Incorporated | Reconstruction of quantized DPCM or PCM signals |
KR100837410B1 (ko) * | 2006-11-30 | 2008-06-12 | 삼성전자주식회사 | 주관적인 무손실 이미지 데이터 압축 방법 및 장치 |
-
2012
- 2012-04-13 JP JP2012092214A patent/JP2013223035A/ja active Pending
-
2013
- 2013-03-29 WO PCT/JP2013/002167 patent/WO2013153761A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2015098562A1 (ja) * | 2013-12-27 | 2017-03-23 | ソニー株式会社 | 画像処理装置および方法 |
US10623752B2 (en) | 2013-12-27 | 2020-04-14 | Sony Corporation | Image processing apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
WO2013153761A1 (en) | 2013-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11122283B2 (en) | Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method and program | |
JP5133135B2 (ja) | インターカラー補償を利用した映像の符号化方法及び装置、復号化方法及び装置 | |
US9942550B2 (en) | Image encoding device, image encoding method and program, image decoding device, and image decoding method and program | |
US8761246B2 (en) | Encoding/decoding device, encoding/decoding method and storage medium | |
JP7508675B2 (ja) | 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム | |
JP6041554B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
JP6469277B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
US20130266235A1 (en) | Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program | |
JP2013223035A (ja) | 画像復号装置、画像復号方法及びプログラム | |
JP6041555B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
JP7358136B2 (ja) | 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム | |
JP2013110517A (ja) | 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム | |
JP7279109B2 (ja) | 画像復号方法及びプログラム | |
TW202418806A (zh) | 影像編碼裝置、影像解碼裝置、影像編碼方法、影像解碼方法、及程式 | |
JP2024103821A (ja) | 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム | |
JP2021150723A (ja) | 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム | |
WO2011089876A1 (ja) | 映像復号化装置、映像復号化方法、および映像復号化用集積回路装置 |