JP6221207B2 - 画像処理装置および方法、並びに、プログラム - Google Patents

画像処理装置および方法、並びに、プログラム Download PDF

Info

Publication number
JP6221207B2
JP6221207B2 JP2012130913A JP2012130913A JP6221207B2 JP 6221207 B2 JP6221207 B2 JP 6221207B2 JP 2012130913 A JP2012130913 A JP 2012130913A JP 2012130913 A JP2012130913 A JP 2012130913A JP 6221207 B2 JP6221207 B2 JP 6221207B2
Authority
JP
Japan
Prior art keywords
image data
base layer
unit
gradation
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012130913A
Other languages
English (en)
Other versions
JP2013255179A (ja
Inventor
福原 隆浩
隆浩 福原
仁志 貴家
仁志 貴家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012130913A priority Critical patent/JP6221207B2/ja
Priority to US13/905,929 priority patent/US9324162B2/en
Priority to CN201310211331.5A priority patent/CN103491377B/zh
Publication of JP2013255179A publication Critical patent/JP2013255179A/ja
Priority to US15/073,745 priority patent/US9473793B2/en
Application granted granted Critical
Publication of JP6221207B2 publication Critical patent/JP6221207B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本技術は、画像処理装置および方法、並びに、プログラムに関し、特に、生成するデータのデータ量をより低減させることができるようにした画像処理装置および方法、並びに、プログラムに関する。
近年、撮像素子(イメージセンサ)の高ビット化、ディスプレイでの高ビット対応等によって、画像の高ダイナミックレンジ化が進んでいる。
高ビット深度画像の符号化表現については、これまで多数の研究結果が報告されている。例えば、トーンマッピングを行うことで、低ビット深度画像を作成し、その復号画像と原画像との差分を別の符号化器で符号化する2段構成の符号化方法が提案されている(例えば、非特許文献1参照)。
また、トーンマッピングの代わりにロイドマックス(Lloyd-Max)量子化を適用することで、非可逆圧縮時のビットレート低減を実現する方法が提案されている(例えば、非特許文献2参照)。
"Bit-depth Scalable Video Coding", Proc. IEEE Intl. Conf. on Image Processing, pp.I-5〜I-7, 2007 (M.Winken, D.Marpe, etc.) "ビット深度変換処理を用いた高ビット深度画像の符号化に関する基礎検討"、2009信学総大,S-5,2009(伊藤、坂東、高村、上倉、八島)
しかしながら、これらの手法では拡張層のビット深度が大きくなり、十分にデータ量を低減させることができない恐れがあった。
本技術は、このような状況に鑑みて提案されたものであり、生成するデータのデータ量をより低減させることを目的とする。
本技術の一側面は、浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、前記階調写像変換部により階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトする第1の演算部と、前記第1の演算部により画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成する切り捨て部と、前記階調写像変換部により階調写像変換された画像データと、前記切り捨て部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部とを備える画像処理装置である。
前記階調写像変換部は、可逆の対数写像変換によって前記浮動小数点表現された画像データを階調写像変換することができる。
前記階調写像変換部は、前記浮動小数点表現された画像データの指数部と前記指数部の最小値との差分値と、前記浮動小数点表現された画像データの仮数部のビット深度を指数とする2の冪乗とを乗算し、さらに、前記乗算の結果に、前記浮動小数点表現された画像データの仮数部を加算することにより、前記浮動小数点表現された画像データを階調写像変換することができる。
前記拡張層生成部は、前記ベース層の画像データに対して、前記ベース層の画像データのビット深度を指数とする2の冪乗の計算を施す第2の演算部と、前記階調写像変換部により階調写像変換された画像データと、前記第2の演算部により前記2の冪乗の計算が施された前記ベース層の画像データとの差分データを生成する差分データ生成部とを備えることができる。
前記第2の演算部は、前記ベース層の画像データの画素値を、前記ベース層の画像データのビット深度分左にシフトすることができる。
前記切り捨て部により生成された前記ベース層の画像データを符号化するベース層符号化部をさらに備えることができる。
前記拡張層生成部により生成された前記拡張層のデータを符号化する拡張層符号化部をさらに備えることができる。
本技術の一側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、浮動小数点表現された画像データを可逆な階調写像変換し、階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトし、画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成し、階調写像変換された画像データと、生成された前記ベース層の画像データを用いて、拡張層のデータを生成する画像処理方法である。
本技術の一側面は、さらに、コンピュータを、浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、前記階調写像変換部により階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトする第1の演算部と、前記第1の演算部により画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成する切り捨て部と、前記階調写像変換部により階調写像変換された画像データと、前記切り捨て部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部として機能させるためのプログラムである。
本技術の他の側面は、浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトする演算部と、前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成する加算部と、前記加算部により生成された前記階調写像変換された画像データ可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部とを備える画像処理装置である。
前記階調写像逆変換部は、可逆の対数写像逆変換によって前記浮動小数点表現の画像データを生成することができる。
前記ベース層の画像データの符号化データを復号するベース層復号部をさらに備え、前記演算部は、前記ベース層復号部により得られた前記ベース層画像データの画素値を前記ベース層の画像データのビット深度分左にシフトすることができる。
前記拡張層のデータの符号化データを復号する拡張層復号部をさらに備え、前記加算部は、前記拡張層復号部により得られた前記拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成することができる。
符号化に関する情報を受け取る受け取り部と、前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記ベース層の画像データの符号化データを復号するベース層復号部と、前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記拡張層のデータの符号化データを復号する拡張層復号部とをさらに備えることができる。
本技術の他の側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、浮動小数点表現された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトし、前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成し、生成された前記階調写像変換された画像データを、可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する画像処理方法である。
本技術の他の側面は、さらに、コンピュータを、浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトする演算部と、前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成する加算部と、前記加算部により生成された前記階調写像変換された画像データを、可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部として機能させるためのプログラムである。
本技術の一側面においては、浮動小数点表現された画像データが可逆な階調写像変換され、階調写像変換された画像データの画素値がベース層の画像データのビット深度分右にシフトされ、画素値がベース層の画像データのビット深度分右にシフトされた画像データの小数点以下が切り捨てられてベース層の画像データが生成され、階調写像変換された画像データと、生成された前記ベース層の画像データを用いて、拡張層のデータが生成される。
本技術の他の側面においては、浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値がそのベース層の画像データのビット深度分左にシフトされ、階調写像変換された画像データとそのベース層の画像データとを用いて生成された拡張層のデータに、画素値がベース層の画像データのビット深度分左にシフトされたベース層の画像データが加算されることにより階調写像変換された画像データが生成され、生成された階調写像変換された画像データが可逆な階調写像逆変換されて、浮動小数点表現の画像データが生成される。
本技術によれば、画像を処理することが出来る。特に、データ量をより低減させることができる。
画像符号化装置の主な構成例を示すブロック図である。 画像復号装置の主な構成例を示すブロック図である。 画像符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 ビット深度の比較の例を示す図である。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(画像符号化装置、画像復号装置)
2.第2の実施の形態(コンピュータ)
<1.第1の実施の形態>
[1−1 画像符号化装置]
まず、一般的な、高ダイナミックレンジ画像の符号化について説明する。
画像や映像のデジタルデータ圧縮において、圧縮結果が複数の階層に分離される符号化方式は、スケーラビリティ機能と呼ばれ、これまでに多くの研究結果が報告されている。近年、これに対して「ビット深度」の階層化が盛んに研究されている。
ビット深度とは、画素値を表す階調数を意味し、汎用的な8ビット深度の装置では、2^8=256階調が表現できる。近年では、これまでの固定小数点形式に加え、浮動小数点形式を用いることで、より広い値域(高ダイナミックレンジ)を表現することが可能になっている。
このような、浮動小数点形式で表現された高ダイナミックレンジ画像を、ベース層と拡張層の2つに分けて符号化する方法がある。このように2層に分離された符号化データにより、ベース層からは標準的なビット深度の低ダイナミックレンジ画像を復号することができ、ベース層と拡張層とを併せることで、元の高ダイナミックレンジ画像を復号することができる。
このようなビット深度の階層化については、これまで多くの研究報告がある。例えば階調写像により高ダイナミックレンジ画像から低ダイナミックレンジ画像を作成し、JPEG(Joint Photographic Experts Group)方式で圧縮を行い、ベース層を生成する。また、低ダイナミックレンジ画像を逆階調写像して、高ダイナミックレンジ画像からの差分を取り、これを拡張層とする。しかしこの方法だと、拡張層は残差データであるため、画素相関が小さいため、高い圧縮率は望めない恐れがあった。
図1は、このような浮動小数点精度の画像をベース層と拡張層とに分けてエンコードする画像符号化装置の主な構成例を示すブロック図である。図1に示されるように、画像符号化装置10は、Float to Integer精度変換部11、非可逆トーンマッピング変換部12、可逆エンコーダ部13、非可逆トーンマッピング逆変換部14、差分データ生成部15、およびエントロピ符号化部16を有する。
浮動小数点精度のデータは、一般に正負符号部bs、仮数部bM、および指数部bEにより構成される。各値は、以下の式(1)のように表される。
bs∈[0,2^Ds],bM∈[0,2^DM],bE∈[0,2^DE] ・・・(1)
また、各々のビット深度がDs,DM,DE[bit]であるとする。
例えば、浮動小数点精度の画像フォーマットとして普及しているOpenEXR形式ではR,G,Bの各色が、[Ds,DM,DE]=[1,10,5]なるビット深度であり、全体では48[bpp]になる。
一方、RGBE形式では符号部は無く、仮数部はR,G,Bの各々がDM=8であるが、指数部はR,G,Bで共通化されておりDE=8であるので、全体では32[bpp]になる。
例えば、OpenEXRの場合には、0<bE<31に対して画素値は、以下の式(2)のように定義される。なお、仮数部XMと指数部XEは、それぞれ、以下の式(3)、式(4)のように表現される実数になる。
X=XM・2^XE ・・・(2)
XM=(-1)^bs・(1+bM・2^(-DM)) ・・・(3)
XE=bE−15 ・・・(4)
説明の都合上、bs=0(つまり正の数)とする。図1において、画像符号化装置10には、画像データの浮動小数点表現の仮数部bM(矢印21)と指数部bE(矢印22)が入力される。Float to Integer精度変換部11は、画像データに対して、浮動小数点精度から整数精度への1対1の写像変換を行う。つまり、仮数部bM(矢印21)と指数部bE(矢印22)は、以下の式(5)のように、整数精度の画像データXI(矢印23)に変換される。
XI=(2^DM+bM)・2^(bE−Min(bE)) ・・・(5)
なお、上記の変換式は、(G.Ward and M.Simmons, “JPEG-HDR: A Backwards Compatible High Dynamic Range Extension to JPEG”, Proc. 13th Color Imaging Conference, Nov.2005)に紹介されている。
非可逆トーンマッピング変換部12は、画像データXIを以下の式(6)および式(7)に従って階調写像(トーンマッピング)し、画像データVに変換する。この結果、ビット深度はDvに縮小される。
V*=loge(XI) ・・・(6)
Figure 0006221207
・・・(7)
なお、このトーンマッピング法は、(R.Xu, S.N.Pattanaik and C.E.Huges, “High Dynamic-Range Still Image Encoding in JPEG2000”, IEEE Computer Graphics and Applications, vol.25, no.6, pp.57-64, 2005)に紹介されている。
上述した式(6)および式(7)によって階調写像変換された画像データV(矢印24)は、原画像が高ダイナミックレンジ画像であったのに対して、その原画像に対してビット深度が低減されているので低ダイナミックレンジ画像と言える。つまり、この画像データVがベース層の画像に相当する。
可逆エンコーダ部13は、ベース層の画像データV(矢印24)を、所定の方法で可逆にエンコードし、ベース層のエンコード・コードストリーム(矢印25)を生成する。
非可逆トーンマッピング逆変換部14は、ベース層の画像データV(矢印24)に対して、非可逆トーンマッピング変換部12による階調写像(トーンマッピング)の逆変換を行い、ビット深度を増大させ、高ダイナミックレンジ画像データ(矢印26)を生成する。
差分データ生成部15は、Float to Integer精度変換部11により生成された高ダイナミックレンジ画像データXI(矢印23)から、非可逆トーンマッピング逆変換部14により生成された高ダイナミックレンジ画像データ(矢印26)を減算し、それらの差分データ(矢印27)を生成する。この差分データが拡張層に相当する。
エントロピ符号化部16は、その差分データ(矢印27)を所定の方法でエントロピ符号化し、拡張層のエンコード・コードストリームを生成する(矢印28)。
画像符号化装置10は、ベース層のエンコード・コードストリーム(矢印25)と、拡張層のエンコード・コードストリーム(矢印28)を出力する。
[1−2 画像復号装置]
図2は、図1の画像符号化装置10に対応する画像復号装置の主な構成例を示すブロック図である。
図2に示される画像復号装置50は、画像符号化装置10において生成されるベース層のエンコード・コードストリーム(矢印62)と、拡張層のエンコード・コードストリーム(矢印61)を受け取り、それらを復号して、低ダイナミックレンジの画像データ(矢印69)や浮動小数点表現の高ダイナミックレンジの画像データ(矢印67および矢印68)を生成する。
図2に示されるように、画像復号装置50は、エントロピ復号部51、可逆デコーダ部52、非可逆トーンマッピング逆変換部53、加算部54、およびInteger to Float変換部55を有する。
エントロピ復号部51は、供給された拡張層のエンコード・コードストリーム(矢印61)を、図1のエントロピ符号化部16に対応する方法でエントロピ復号し、拡張層の差分データ(矢印63)を生成する。
可逆デコーダ部52は、供給されたベース層のエンコード・コードストリーム(矢印62)を、図1の可逆エンコーダ部13に対応する方法で可逆にデコードし、ベース層の画像データ(矢印64、矢印69)を生成する。
非可逆トーンマッピング逆変換部53は、図1の非可逆トーンマッピング逆変換部14と同様の方法で、ベース層の画像データ(矢印64)に対して、階調写像(トーンマッピング)の逆変換を行い、ビット深度を増大させ、高ダイナミックレンジ画像データ(矢印65)を生成する。
加算部54は、エントロピ復号部51により生成された拡張層の差分データ(矢印63)と、非可逆トーンマッピング逆変換部53により生成された高ダイナミックレンジ画像データ(矢印65)とを加算し、ベース層と拡張層とを合わせた高ダイナミックレンジ画像データ(矢印66)を生成する。
Integer to Float変換部55は、整数精度の高ダイナミックレンジ画像データ(矢印66)に対して、図1のFloat to Integer精度変換部11による写像変換の逆変換、すなわち、整数精度から浮動小数点精度への1対1の写像変換を行う。つまり、整数精度の画像データ(矢印66)は、上述した式(5)のように、仮数部bM(矢印67)と指数部bE(矢印68)に変換される。
[1−3 圧縮率]
以上のような方法では、拡張層の圧縮率が非常に低くなることである。図1の画像符号化装置10において、XIのビット深度は、以下の式(8)のようになる。
DI=DM+2^DE ・・・(8)
したがって、ビット深度が大きく、その分、画像のデータサイズが大きくなる恐れがあった。また、これにより、差分データのビット深度も大きくなるので、ロスレスの(可逆な)画像符号化・復号を実現することが困難であった。また、復号画像と原画像との差分のビット数が長くなってしまい、元々の原画像のロスレス表現ができない恐れがあった。
また、画像符号化装置10においては、差分データに対してエントロピ符号化が行われるが、差分データは基本的に隣接画素の間に相関が無いので、DCT(Discrete Cosine Transform)やDWT(Discrete Wavelet Transform)等の変換処理では、圧縮効果が望めない恐れがあった。
[1−4 画像符号化装置]
そこで、ビット深度をより低減させるように、可逆に階調写像変換を行うようにする。図3は、その場合の画像符号化装置の主な構成例を示すブロック図である。図3に示される画像符号化装置100は、画像データを処理する画像処理装置の一態様であり、入力される浮動小数点表現の高ダイナミックレンジの画像データから拡張層のデータとベース層の低ダイナミックレンジの画像データとを生成する。
図4に示されるように、画像符号化装置100は、可逆トーンマッピング部101、ベース層生成部111、拡張層生成部112、可逆エンコーダ部104、並びにエントロピ符号化部107を有する。
説明の都合上、bs=0(つまり正の数)とする。図1において、画像符号化装置100には、高ダイナミックレンジの画像データの浮動小数点表現の仮数部bM(矢印121)と指数部bE(矢印122)が入力される。可逆トーンマッピング部101は、その高ダイナミックレンジの画像データに対して、以下の式(9)に示されるような、ロスレスの(可逆な)対数写像変換を行い、階調写像変換された画像データXL(矢印123)を生成する。
XL=(bE−Min(bE))・2^DM+bM ・・・(9)
ベース層生成部111は、可逆トーンマッピング部101により階調写像変換された画像データXL(矢印123)のビット深度を低減させてベース層の画像データを生成する。ベース層生成部111は、2^(−DV)変換部102およびFloor部103を有する。
2^(−DV)変換部102は、ベース層のビット深度をDVとすると、写像変換後の画像データXL(矢印123)の画像値に対して2の(−DV)乗の計算を施し、ビット深度が低減された画像データ(矢印124)を生成する。
Floor部103は、ビット深度が低減された画像データ(矢印124)の画素値の小数点以下を切り捨てることにより画素値を整数化し、ベース層の画像データ(矢印125)を生成する。この画像データ(矢印125)は、高ダイナミックレンジの画像データ(矢印121および矢印122)に比べてビット深度が低減された低ダイナミックレンジの画像データである。
可逆エンコーダ部104は、ベース層の画像データ(矢印125)を、所定の方法で可逆にエンコードし、ベース層のエンコード・コードストリーム(矢印126)を生成する。この符号化方法は、可逆であれば任意である。
拡張層生成部112は、可逆トーンマッピング部101により階調写像変換された画像データXL(矢印123)と、ベース層生成部111により生成されたベース層の画像データ(矢印125)を用いて、拡張層のデータを生成する。拡張層生成部112は、2^(DV)変換部105および差分データ生成部106を有する。
2^(DV)変換部105は、Floor部103により生成されたベース層の画像データ(矢印125)の画像値に対して2のDV乗の計算を施し、ビット深度が増大された画像データ(矢印127)を生成する。つまり、2^(DV)変換部105は、低減された画像データのビット深度を元に戻す。
差分データ生成部106は、可逆トーンマッピング部101により階調写像変換された画像データXL(矢印123)から、2^(DV)変換部105により生成された画像データ(矢印127)を減算し、それらの差分データ(矢印128)を生成する。この差分データが拡張層に相当する。
エントロピ符号化部107は、その差分データ(矢印128)を、所定の方法でエントロピ符号化し、拡張層のエンコード・コードストリームを生成する(矢印129)。この符号化方法は可逆であれば任意である。エントロピ符号化以外の符号化方法であってもよい。
画像符号化装置100は、ベース層のエンコード・コードストリーム(矢印126)と、拡張層のエンコード・コードストリーム(矢印129)を出力する。その際、画像符号化装置100は、それらの符号化方法に関する情報を、それぞれのエンコード・コードストリームに含めて復号側に供給するようにしてもよい。また、画像符号化装置100は、それらの符号化方法に関する情報を、それぞれのエンコード・コードストリームとは別のデータとして、復号側に供給するようにしてもよい。なお、画像符号化装置100は、符号化前の、拡張層のデータ(矢印128)や、ベース層の画像データ(矢印125)を出力することもできる。
以上の符号化において、可逆トーンマッピング部101が生成する階調写像変換された画像データXLのビット深度DLは、2のべき乗表現では、2^DM×2^DE=2^(DM+DE)になるため、以下の式(10)のように表される。
DL=DM+DE ・・・(10)
したがって、写像変換後の画像データのビット深度が、画像符号化装置10(図1)の場合(式(8))と比べて大幅に低減される。つまり、画像符号化装置100は、拡張層のデータ(矢印128)のデータ量をより低減させることができる。すなわち、画像符号化装置100は、拡張層のエンコード・コードストリーム(矢印129)やベース層のエンコード・コードストリーム(矢印126)の符号量を低減させることができる(符号化効率を向上させることができる)。また、ビット深度が少ないので可逆な変換が可能である。したがって、復号画像の画質を向上させることができる。
また、この場合、画像データ(矢印127)は、ビットシフトされ、小数点以下の画素値が切り捨てられ、さらに、逆ビットシフトが行われただけである。したがって、画像データ(矢印123)の画素値と、画像データ(矢印127)の画素値との間の相関性は非常に高い。つまり、差分データ生成部106が生成する差分データ(矢印128)は、画像データ(矢印123)が有する画素間の相関性を維持することができる。したがって、エントロピ符号化部107は、その画素相関を利用してより効率よく符号化することができる。つまり、画像符号化装置100は、拡張層のエンコード・コードストリーム(矢印129)の符号化効率を向上させることができる。
さらに、2^(−DV)変換部102は、右方向に(DV)ビットシフト演算することによりビット深度変換の演算を実現することができる。したがって、2^(−DV)変換部102は、非常に小さい計算負荷で、画像データのビット深度変換を行うことができる(画像データのビット深度を低減させることができる)。つまり、画像符号化装置100は、より容易にベース層の画像データ(矢印125)(ベース層のエンコード・コードストリーム(矢印126))を生成することができる。
もちろん、2^(DV)変換部105も、左方向に(DV)ビットシフト演算することによりビット深度変換の演算を実現することができる。したがって、2^(DV)変換部105は、非常に小さい計算負荷で、画像データのビット深度変換を行うことができる(画像データのビット深度を増大させることができる)。つまり、画像符号化装置100は、より容易に拡張層のデータ(矢印128)(拡張層のエンコード・コードストリーム(矢印129))を生成することができる。
なお、ベース層の画像のビット深度DVは、任意に設定することができる。これにより、例えば、ベース層の画像データを出力(表示する)デバイスやディスプレイの階調表現能力に応じて、このビット深度DVを設定することができる。つまり、画像符号化装置100は、用途に応じた画像データを生成することができるので、より多様なシステムに適用することができる。
また、そのビット深度DVの大小に関わらず、ビット深度変換処理は、ビットシフトにより実現することができる。したがって、画像符号化装置100は、容易に、任意のビット深度のベース層の画像データを生成することができ、また、それに応じた拡張層のデータを生成することができる。
[1−5 処理の流れ]
図4のフローチャートを参照して画像符号化装置100により実行される符号化処理の流れの例を説明する。
符号化処理が開始されると、可逆トーンマッピング部101は、ステップS101において、浮動小数点表現の高ダイナミックレンジの画像データを取得し、それを可逆に対数写像変換する。
ステップS102において、2^(−DV)変換部102は、ステップS101の処理により得られた写像変換後の画像データの画素値に対して2^(−DV)乗する。
ステップS103において、Floor部103は、ステップS102の処理により得られた画像データの画素値の小数点以下を切り捨て、ベース層の画像データを生成する。
ステップS104において、可逆エンコーダ部104は、ステップS103の処理により得られたベース層の画像データを可逆符号化し、ベース層のエンコード・コードストリームとして出力する。
ステップS105において、2^(DV)変換部105は、ステップS103の処理により得られたベース層の画像データの画素値に対して2^(DV)乗する。
ステップS106において、差分データ生成部106は、ステップS101の処理により得られた写像変換後の画像データから、ステップS105の処理により得られた画像データを減算し、拡張層の差分データを生成する。
ステップS107において、エントロピ符号化部107は、ステップS106の処理により得られた拡張層の差分データをエントロピ符号化し、拡張層のエンコード・コードストリームとして出力する。
以上のように符号化処理を行うことにより画像符号化装置100は、データ量をより低減させることができる。なお、ステップS104の処理は省略することができる。その場合、画像符号化装置100は、ベース層の画像データを符号化せずに出力する。また、ステップS107の処理は、省略することができる。その場合、画像符号化装置100は、拡張層のデータを符号化せずに出力する。
[1−6 画像復号装置]
図5は、図3の画像符号化装置100に対応する画像処理装置の一態様である画像復号装置の主な構成例を示すブロック図である。
図5に示される画像復号装置200は、画像符号化装置100において生成されるベース層のエンコード・コードストリーム(矢印222)と、拡張層のエンコード・コードストリーム(矢印221)を受け取り、それらを復号して、低ダイナミックレンジの画像データ(矢印229)や浮動小数点表現の高ダイナミックレンジの画像データ(矢印227および矢印228)を生成する。なお、画像符号化装置100が、ベース層の画像データや拡張層のデータを符号化せずに出力する場合、画像復号装置200は、それらのデータを取得する。
図5に示されるように、画像復号装置200は、エントロピ復号部201、可逆デコーダ部202、画像データ生成部211、および、可逆トーンマッピング逆変換部205を有する。
エントロピ復号部201は、供給された拡張層のエンコード・コードストリーム(矢印221)を、図3のエントロピ符号化部107に対応する方法でエントロピ復号し、拡張層の差分データ(矢印223)を生成する。この復号方法は、予め定められていてもよいし、画像符号化装置100から例えば拡張層のエンコード・コードストリームに含められて供給されたり、拡張層のエンコード・コードストリームとは別のデータとして供給されたりした、符号化方法に関する情報に基づいて決定されるようにしてもよい。なお、画像符号化装置100が、拡張層のデータを符号化せずに出力する場合、このエントロピ復号部201は、省略することができる。
可逆デコーダ部202は、供給されたベース層のエンコード・コードストリーム(矢印222)を、図3の可逆エンコーダ部104に対応する方法で可逆にデコードし、ベース層の低ダイナミックレンジの画像データ(矢印224、矢印229)を生成する。この復号方法は、予め定められていてもよいし、画像符号化装置100から例えばベース層のエンコード・コードストリームに含められて供給されたり、ベース層のエンコード・コードストリームとは別のデータとして供給されたりした、符号化方法に関する情報に基づいて決定されるようにしてもよい。なお、画像符号化装置100が、ベース層の低ダイナミックレンジの画像データを符号化せずに出力する場合、この可逆デコーダ部202は、省略することができる。
画像データ生成部211は、エントロピ復号部201により生成された拡張層の差分データ(矢印223)(若しくは、画像符号化装置100から供給された拡張層の差分データ)と、可逆デコーダ部202により生成されたベース層の低ダイナミックレンジの画像データ(矢印224)(若しくは、画像符号化装置100から供給されたベース層の差分データ)とを用いて、高ダイナミックレンジの画像データ(矢印226)を生成する。この高ダイナミックレンジの画像データは、画像符号化装置100における、階調写像変換された画像データXL(矢印123)に対応する。
図5に示されるように画像データ生成部211は、2^(DV)変換部203および加算部204を有する。
2^(DV)変換部203は、画像符号化装置100の2^(DV)変換部105と同様の処理部である。つまり、2^(DV)変換部203は、可逆デコーダ部202により生成されたベース層の画像データ(矢印224)の画像値に対して2のDV乗の計算を施し、ビット深度が増大された画像データ(矢印225)を生成する。つまり、2^(DV)変換部203は、例えば画像符号化装置100の2^(−DV)変換部102等において低減された画像データのビット深度を元に戻す。
加算部204は、エントロピ復号部201により生成された拡張層の差分データ(矢印223)(若しくは、画像符号化装置100から供給された拡張層の差分データ)と、2^(DV)変換部203により生成された画像データ(矢印225)を加算し、高ダイナミックレンジの画像データ(矢印226)を生成する。
可逆トーンマッピング逆変換部205は、高ダイナミックレンジの画像データ(矢印226)に対して、図3の可逆トーンマッピング部101による可逆な対数写像変換の逆変換を行う。つまり、可逆トーンマッピング逆変換部205は、上述した式(9)を用いて、高ダイナミックレンジの画像データ(矢印226)を、仮数部bM(矢印227)と指数部bE(矢印228)に変換する。
画像復号装置200は、ベース層の低ダイナミックレンジの画像データ(矢印229)、並びに、拡張層とベース層を併せた、浮動小数点表現の高ダイナミックレンジの画像データの仮数部bM(矢印227)および指数部bE(矢印228)を出力する。
したがって、画像復号装置200は、画像符号化装置100により生成されたデータを復号し、低ダイナミックレンジの画像データや高ダイナミックレンジの画像データを生成することができる。つまり、画像復号装置200は、拡張層のデータ(矢印128)のデータ量の低減を実現することができる。すなわち、画像復号装置200は、拡張層のエンコード・コードストリームやベース層のエンコード・コードストリームの符号量の低減を実現することができる(符号化効率の向上を実現することができる)。また、ビット深度が少ないので可逆な変換が可能である。したがって、復号画像の画質向上を実現することができる。
また、2^(DV)変換部203は、左方向に(DV)ビットシフト演算することによりビット深度変換の演算を実現することができる。したがって、2^(DV)変換部203は、非常に小さい計算負荷で、画像データのビット深度変換を行うことができる(画像データのビット深度を増大させることができる)。つまり、画像復号装置200は、より容易に拡張層のデータ(矢印226)(拡張層のエンコード・コードストリーム(矢印227および矢印228))を生成することができる。
なお、ベース層の画像のビット深度DVは、任意である。つまり、画像復号装置200は、より多様なシステムに適用することができる。
[1−7 処理の流れ]
図6のフローチャートを参照して画像復号装置200により実行される復号処理の流れの例を説明する。
復号処理が開始されると、エントロピ復号部201は、ステップS201において、拡張層のエンコード・コードストリームを取得し、それを、図4のステップS107の処理において適用された符号化方法に対応する復号方法でエントロピ復号し、拡張層のデータを生成する。
ステップS202において、可逆デコーダ部202は、ベース層のエンコード・コードストリームを取得し、それを、図4のステップS104の処理において適用された符号化方法に対応する復号方法で可逆復号し、ベース層の画像データを生成し、出力する。
ステップS203において、2^(DV)変換部203は、ステップS202の処理により得られたベース層の画像データの画素値に対して2^(DV)乗する。
ステップS204において、加算部204は、ステップS201の処理により得られた拡張層のデータと、ステップS203の処理により得られたベース層の画像データとを加算する。
ステップS205において、可逆トーンマッピング逆変換部205は、ステップS204の処理により得られた高ダイナミックレンジの画像データに対して対数写像逆変換を行い、浮動小数点表現の高ダイナミックレンジの画像データを生成し、出力する。
以上のように復号処理を行うことにより画像復号装置200は、データ量の低減を実現することができる。なお、ステップS201およびステップS202の処理は省略することができる。
[1−8 ビット深度]
図7は、ベース層と拡張層のビット深度の比較の様子を示す図である。
図7に示されるグラフにおいて、点線301は、画像符号化装置10(図1)が生成するベース層の画像データのビット深度と拡張層のデータのビット深度の例のプロットを結んだものである。また、実線302は、画像符号化装置100(図3)が生成するベース層の画像データのビット深度と拡張層のデータのビット深度の例のプロットを結んだものである。
図7に示されるように、ベース層のビット深度の大小に関わらず、画像符号化装置100(図3)の方が、画像符号化装置10(図1)よりも、少ないビット深度で拡張層のデータを生成することができる。
つまり、画像符号化装置100(図3)は、生成するデータのデータ量を、画像符号化装置10(図1)よりも低減させることができる。
なお、本技術は、撮像素子(例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等)からキャプチャした画像を用いた機器やデバイス、撮像素子画像をメモリに書き込むまでの圧縮回路、デジタルスチルカメラ、動画用カムコーダ、医療用画像カメラ、医療用内視鏡、監視カメラ、デジタルシネマ撮影用カメラ、両眼画像カメラ、多眼画像カメラ、LSI(Large Scale Integration)チップでのメモリ削減回路、パーソナルコンピュータ上のオーサリング・ツールまたはそのソフトウェア・モジュール等に適用することができる。
<2.第2の実施の形態>
[コンピュータ]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図8は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図8に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部914で受信し、記憶部913にインストールすることができる。その他、プログラムは、ROM902や記憶部913に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は以下のような構成も取ることができる。
(1) 浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、
前記階調写像変換部により階調写像変換された画像データのビット深度を低減させてベース層の画像データを生成するベース層生成部と、
前記階調写像変換部により階調写像変換された画像データと、前記ベース層生成部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部と
を備える画像処理装置。
(2) 前記階調写像変換部は、可逆の対数写像変換によって前記浮動小数点表現された画像データを階調写像変換する
前記(1)に記載の画像処理装置。
(3) 前記階調写像変換部は、前記浮動小数点表現された画像データの指数部と前記指数部の最小値との差分値と、前記浮動小数点表現された画像データの仮数部のビット深度を指数とする2の冪乗とを乗算し、さらに、前記乗算の結果に、前記浮動小数点表現された画像データの仮数部を加算することにより、前記浮動小数点表現された画像データを階調写像変換する
前記(2)に記載の画像処理装置。
(4) 前記ベース層生成部は、
前記階調写像変換部により階調写像変換された画像データに対して、前記ベース層の画像データのビット深度を負の指数の絶対値とする2の冪乗の計算を施す第1の演算部と、
前記第1の演算部により前記2の冪乗の計算が施された前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成する切り捨て部と
を備える前記(3)に記載の画像処理装置。
(5) 前記第1の演算部は、前記階調写像変換部により階調写像変換された画像データの画素値を、前記ベース層の画像データのビット深度分右にシフトする
前記(4)に記載の画像処理装置。
(6) 前記拡張層生成部は、
前記ベース層の画像データに対して、前記ベース層の画像データのビット深度を指数とする2の冪乗の計算を施す第2の演算部と、
前記階調写像変換部により階調写像変換された画像データと、前記第2の演算部により前記2の冪乗の演算が施された前記ベース層の画像データとの差分データを生成する差分データ生成部と
を備える前記(4)または(5)に記載の画像処理装置。
(7) 前記第2の演算部は、前記ベース層の画像データの画素値を、前記ベース層の画像データのビット深度分左にシフトする
前記(6)に記載の画像処理装置。
(8) 前記ベース層生成部により生成された前記ベース層の画像データを符号化するベース層符号化部をさらに備える
前記(1)乃至(7)のいずれかに記載の画像処理装置。
(9) 前記拡張層生成部により生成された前記拡張層のデータを符号化する拡張層符号化部をさらに備える
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 画像処理装置の画像処理方法において、
前記画像処理装置は、
浮動小数点表現された画像データを可逆な階調写像変換し、
階調写像変換された画像データのビット深度を低減させてベース層の画像データを生成し、
階調写像変換された画像データと、生成された前記ベース層の画像データを用いて、拡張層のデータを生成する
画像処理方法。
(11) コンピュータを、
浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、
前記階調写像変換部により階調写像変換された画像データのビット深度を低減させてベース層の画像データを生成するベース層生成部と、
前記階調写像変換部により階調写像変換された画像データと、前記ベース層生成部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部と
して機能させるためのプログラム。
(12) 浮動小数点表現された画像データが階調写像変換された画像データと前記階調写像変換された画像データから生成されたベース層の画像データとを用いて生成された拡張層のデータ、並びに、前記ベース層の画像データとを用いて、前記階調写像変換された画像データを生成する画像データ生成部と、
前記画像データ生成部により生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部と
を備える画像処理装置。
(13) 前記階調写像逆変換部は、可逆の対数写像逆変換によって前記浮動小数点表現の画像データを生成する
前記(12)に記載の画像処理装置。
(14) 前記画像データ生成部は、
前記ベース層の画像データに対して、前記ベース層の画像データのビット深度を指数とする2の冪乗の計算を施す演算部と、
前記拡張層のデータに、前記演算部により前記2の冪乗の計算が施された前記ベース層の画像データを加算することにより前記階調変換された画像データを生成する加算部と
を備える前記(13)に記載の画像処理装置。
(15) 前記演算部は、前記ベース層の画像データの画素値を、前記ベース層の画像データのビット深度分左にシフトする
前記(14)に記載の画像処理装置。
(16) 前記ベース層の画像データの符号化データを復号するベース層復号部をさらに備え、
前記画像データ生成部は、前記ベース層復号部により得られた前記ベース層画像データを用いて、前記階調写像変換された画像データを生成する
前記(12)乃至(15)のいずれかに記載の画像処理装置。
(17) 前記拡張層のデータの符号化データを復号する拡張層復号部をさらに備え、
前記画像データ生成部は、前記拡張層復号部により得られた前記拡張層のデータを用いて、前記階調写像変換された画像データを生成する
前記(12)乃至(16)のいずれかに記載の画像処理装置。
(18) 符号化に関する情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記ベース層の画像データの符号化データを復号するベース層復号部と、
前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記拡張層のデータの符号化データを復号する拡張層復号部と
をさらに備える前記(12)乃至(15)に記載の画像処理装置。
(19) 画像処理装置の画像処理方法において、
前記画像処理装置は、
浮動小数点表現された画像データが階調写像変換された画像データと前記階調写像変換された画像データから生成されたベース層の画像データとを用いて生成された拡張層のデータ、並びに、前記ベース層の画像データとを用いて、前記階調写像変換された画像データを生成し、
生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する
画像処理方法。
(20) コンピュータを、
浮動小数点表現された画像データが階調写像変換された画像データと前記階調写像変換された画像データから生成されたベース層の画像データとを用いて生成された拡張層のデータ、並びに、前記ベース層の画像データとを用いて、前記階調写像変換された画像データを生成する画像データ生成部と、
前記画像データ生成部により生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部と
して機能させるためのプログラム。
100 画像符号化装置, 101 可逆トーンマッピング部, 102 2^(−DV)変換部, 103 Floor部, 104 可逆エンコーダ部, 105 2^(DV)変換部, 106 差分データ生成部, 107 エントロピ符号化部, 111 ベース層生成部, 112 拡張層生成部, 200 画像復号装置, 201 エントロピ復号部, 202 可逆デコーダ部, 203 2^(DV)変換部, 204 加算部, 205 可逆トーンマッピング逆変換部, 211 画像データ生成部

Claims (16)

  1. 浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、
    前記階調写像変換部により階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトする第1の演算部と、
    前記第1の演算部により画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成する切り捨て部と、
    前記階調写像変換部により階調写像変換された画像データと、前記切り捨て部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部と
    を備える画像処理装置。
  2. 前記階調写像変換部は、可逆の対数写像変換によって前記浮動小数点表現された画像データを階調写像変換する
    請求項1に記載の画像処理装置。
  3. 前記階調写像変換部は、前記浮動小数点表現された画像データの指数部と前記指数部の最小値との差分値と、前記浮動小数点表現された画像データの仮数部のビット深度を指数とする2の冪乗とを乗算し、さらに、前記乗算の結果に、前記浮動小数点表現された画像データの仮数部を加算することにより、前記浮動小数点表現された画像データを階調写像変換する
    請求項2に記載の画像処理装置。
  4. 前記拡張層生成部は、
    前記ベース層の画像データに対して、前記ベース層の画像データのビット深度を指数とする2の冪乗の計算を施す第2の演算部と、
    前記階調写像変換部により階調写像変換された画像データと、前記第2の演算部により前記2の冪乗の計算が施された前記ベース層の画像データとの差分データを生成する差分データ生成部と
    を備える請求項1に記載の画像処理装置。
  5. 前記第2の演算部は、前記ベース層の画像データの画素値を、前記ベース層の画像データのビット深度分左にシフトする
    請求項4に記載の画像処理装置。
  6. 前記切り捨て部により生成された前記ベース層の画像データを符号化するベース層符号化部をさらに備える
    請求項1に記載の画像処理装置。
  7. 前記拡張層生成部により生成された前記拡張層のデータを符号化する拡張層符号化部をさらに備える
    請求項1に記載の画像処理装置。
  8. 画像処理装置の画像処理方法において、
    前記画像処理装置は、
    浮動小数点表現された画像データを可逆な階調写像変換し、
    階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトし、
    画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成し、
    階調写像変換された画像データと、生成された前記ベース層の画像データを用いて、拡張層のデータを生成する
    画像処理方法。
  9. コンピュータを、
    浮動小数点表現された画像データを可逆な階調写像変換する階調写像変換部と、
    前記階調写像変換部により階調写像変換された画像データの画素値をベース層の画像データのビット深度分右にシフトする第1の演算部と、
    前記第1の演算部により画素値が前記ベース層の画像データのビット深度分右にシフトされた前記画像データの小数点以下を切り捨てることにより、前記ベース層の画像データを生成する切り捨て部と、
    前記階調写像変換部により階調写像変換された画像データと、前記切り捨て部により生成された前記ベース層の画像データを用いて、拡張層のデータを生成する拡張層生成部と
    して機能させるためのプログラム。
  10. 浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトする演算部と、
    前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成する加算部と、
    前記加算部により生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部と
    を備える画像処理装置。
  11. 前記階調写像逆変換部は、可逆の対数写像逆変換によって前記浮動小数点表現の画像データを生成する
    請求項10に記載の画像処理装置。
  12. 前記ベース層の画像データの符号化データを復号するベース層復号部をさらに備え、
    前記演算部は、前記ベース層復号部により得られた前記ベース層画像データの画素値を前記ベース層の画像データのビット深度分左にシフトする
    請求項10に記載の画像処理装置。
  13. 前記拡張層のデータの符号化データを復号する拡張層復号部をさらに備え、
    前記加算部は、前記拡張層復号部により得られた前記拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成する
    請求項10に記載の画像処理装置。
  14. 符号化に関する情報を受け取る受け取り部と、
    前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記ベース層の画像データの符号化データを復号するベース層復号部と、
    前記受け取り部により受け取られた前記符号化に関する情報により指定される符号化方式に対応する方式で、前記拡張層のデータの符号化データを復号する拡張層復号部と
    をさらに備える請求項10に記載の画像処理装置。
  15. 画像処理装置の画像処理方法において、
    前記画像処理装置は、
    浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトし、
    前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成し、
    生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する
    画像処理方法。
  16. コンピュータを、
    浮動小数点表現された画像データが階調写像変換された画像データから生成されたベース層の画像データの画素値を前記ベース層の画像データのビット深度分左にシフトする演算部と、
    前記階調写像変換された画像データと前記ベース層の画像データとを用いて生成された拡張層のデータに、前記演算部により画素値が前記ベース層の画像データのビット深度分左にシフトされた前記ベース層の画像データを加算することにより前記階調写像変換された画像データを生成する加算部と、
    前記加算部により生成された前記階調写像変換された画像データを可逆な階調写像逆変換して、浮動小数点表現の画像データを生成する階調写像逆変換部と
    して機能させるためのプログラム。
JP2012130913A 2012-06-08 2012-06-08 画像処理装置および方法、並びに、プログラム Expired - Fee Related JP6221207B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012130913A JP6221207B2 (ja) 2012-06-08 2012-06-08 画像処理装置および方法、並びに、プログラム
US13/905,929 US9324162B2 (en) 2012-06-08 2013-05-30 Image processing apparatus, method, and program
CN201310211331.5A CN103491377B (zh) 2012-06-08 2013-05-31 图像处理设备、方法和计算机可读存储介质
US15/073,745 US9473793B2 (en) 2012-06-08 2016-03-18 Image processing apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012130913A JP6221207B2 (ja) 2012-06-08 2012-06-08 画像処理装置および方法、並びに、プログラム

Publications (2)

Publication Number Publication Date
JP2013255179A JP2013255179A (ja) 2013-12-19
JP6221207B2 true JP6221207B2 (ja) 2017-11-01

Family

ID=49715373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012130913A Expired - Fee Related JP6221207B2 (ja) 2012-06-08 2012-06-08 画像処理装置および方法、並びに、プログラム

Country Status (3)

Country Link
US (2) US9324162B2 (ja)
JP (1) JP6221207B2 (ja)
CN (1) CN103491377B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150264368A1 (en) * 2014-03-14 2015-09-17 Sony Corporation Method to bypass re-sampling process in shvc with bit-depth and 1x scalability
US10284879B2 (en) 2014-07-03 2019-05-07 Sony Corporation Image processing apparatus and method based on integerprecision image data
CN104835121B (zh) * 2015-04-27 2017-10-24 西安电子科技大学 基于无穷范数约束与最大熵原则的色调映射方法
US10802795B2 (en) * 2018-08-21 2020-10-13 Semiconductor Components Industries, Llc Systems and methods for image data compression
JP7289642B2 (ja) 2018-12-03 2023-06-12 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム
CN111885393A (zh) * 2020-07-31 2020-11-03 广州华多网络科技有限公司 一种直播方法、***、存储介质及设备
CN116055847B (zh) * 2023-03-28 2023-08-11 荣耀终端有限公司 图像增强处理方法和电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746407A (ja) * 1993-07-27 1995-02-14 Toppan Printing Co Ltd 画像データ圧縮装置および画像データ復元装置
US7123655B2 (en) * 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
JP2011150401A (ja) * 2010-01-19 2011-08-04 Yamaha Corp ダイナミックレンジ圧縮装置およびプログラム
JP5270592B2 (ja) * 2010-02-23 2013-08-21 日本電信電話株式会社 画像符号化装置,画像符号化方法および画像符号化プログラム

Also Published As

Publication number Publication date
US9473793B2 (en) 2016-10-18
US20130330016A1 (en) 2013-12-12
JP2013255179A (ja) 2013-12-19
US20160205417A1 (en) 2016-07-14
CN103491377B (zh) 2018-04-27
CN103491377A (zh) 2014-01-01
US9324162B2 (en) 2016-04-26

Similar Documents

Publication Publication Date Title
JP6221207B2 (ja) 画像処理装置および方法、並びに、プログラム
US10659777B2 (en) Cross-channel residual prediction
JP6339099B2 (ja) 次世代ビデオのパーティションデータのコンテンツ適応的エントロピーコーディング
JP5590133B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
CN101990095B (zh) 压缩文件生成方法和设备、相关的相机模块和终端
US8842923B2 (en) Image processing apparatus and method
KR20170056849A (ko) 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
US20140198851A1 (en) Leveraging encoder hardware to pre-process video content
JP2009010954A (ja) 高速な画像処理方法およびシステム
JP2011233972A (ja) 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
KR20160102414A (ko) 높은 동적 범위 이미지를 인코딩 및/또는 비트스트림을 디코딩하기 위한 방법 및 장치
KR20130046377A (ko) 화소 블록 코딩 및 재구성 방법 및 대응 장치
US20160021369A1 (en) Video coding including a stage-interdependent multi-stage butterfly integer transform
Kim et al. Bit-plane-based lossless depth-map coding
JP6635312B2 (ja) 画像処理装置および方法
JPWO2019167673A1 (ja) 画像処理装置および方法、撮像素子、並びに、撮像装置
CN112204971A (zh) 视频图像编码方法、设备及可移动平台
JP2006005478A (ja) 画像符号化装置及び画像復号装置
Kikuchi et al. Lossless compression of LogLuv32 HDR images by simple bitplane coding
JPWO2008120279A1 (ja) 画像圧縮装置、画像圧縮方法、画像復元装置、及びプログラム
JP6227698B2 (ja) クロスチャネル残差予測
CN117939157A (zh) 图像处理方法、装置及设备
KR20180017018A (ko) 컬러 픽처 데이터에 대한 색차 성분들을 획득하기 위한 방법 및 디바이스
JP6013964B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、およびそれらのプログラム並びに記録媒体
JP2013126139A (ja) 画像符号化装置、画像復号化装置、画像符復号化システム、画像符号化方法及び画像復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150522

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170918

R151 Written notification of patent or utility model registration

Ref document number: 6221207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees