JP2017523621A5 - - Google Patents

Description

我々の発明は、例えば少なくとも以下の手段において実現され得る。高ダイナミックレンジ画像（Ｍ＿ＨＤＲ）をエンコードする方法であって、
− 以下のａ）−ｄ）を適用することにより前記高ダイナミックレンジ画像を低いルミナンスのダイナミックレンジ（ＬＤＲ＿ｏ）の画像に変換するステップと、
ａ）正規化されたルミナンス（Ｙｎ＿ＨＤＲ）を有する正規化された色により正規化された高ダイナミックレンジ画像をもたらす［０，１］であるｌｕｍａ軸のスケールへの高ダイナミックレンジ画像の正規化、
ｂ）ガンマ変換されたルミナンス（ｘｇ）をもたらす正規化されたルミナンス上のガンマ関数を計算すること、
ｃ）ｌｕｍａ（ｖ）をもたらす１．５と５．０との間にある予め決められた量を伴う０．１より低い正規化された高ダイナミックレンジ画像の画素のこれらのガンマ変換されたルミナンスをブーストする第１のトーンマッピングを適用すること、
ｄ）低ダイナミックレンジ画像（ＬＤＲ＿ｏ）のｌｕｍａ（Ｙｎ＿ＬＤＲ）を出力するためにステップｂ及びｃを実行することから生じるｌｕｍａをマッピングする任意の単調に増大するトーンマッピング関数を適用すること、
− 画像信号（Ｓ＿ｉｍ）において、低いルミナンスのダイナミックレンジ画像（ＬＤＲ＿ｏ）の画素色の符号化結果を出力するステップと、
− 前記画像信号（Ｓ＿ｉｍ）において、上記の色変換ｂのメタデータとしてのｄへの関数形状をエンコードする値又はこれらの逆関数のための値を出力するステップであって、メタデータは、レシーバが、低いルミナンスのダイナミックレンジ画像（ＬＤＲ＿ｏ）から、復元された高ダイナミックレンジ画像（Ｒｅｃ＿ＨＤＲ）を復元するのを可能にする、ステップとを有する、方法。

画素色の任意の符号化結果（即ち、色空間コードシステムにおいて画素の色を表す）が用いられ得ること、及び、他のものより実際的であることに留意されたい。例えば、ＬＤＲ＿ｏは、（Ｒ´Ｇ´Ｂ´）画像として出力され得る。ここで、ダッシュは、線形ＲＧＢ成分の非線形マッピングを示す。我々は、Ｙｕ´ｖの態様においてレシーバに通信されるべきＬＤＲ画像をエンコードすることができる例により解明する。そして、トーンマッピングのような処理は、例えばｕ´ｖ´のようなｘｙ色度座標を有するＹｘｙ表現において実行され得る。しかしながら、同じ以下の発明原理は、他の色表現（例えば線形ＲＧＢ表現）において具現化されてもよい（即ち、計算は、後に、Ｙ成分よりもむしろＲＧＢ成分によって直接行われる）。また、当業者は、幾つかの態様のうちいずれかを機能的なマッピングを特徴付けるパラメータを共同エンコードするために用いることができることを理解するだろう（これは、例えば、そのセグメントの変化ポイントにより規定される多重線形関数であり得る）。これは、典型的には、画像信号Ｓ＿ｉｍにおけるメタデータ又はそれに関連付け可能なメタデータであるだろう（例えばＳＥＩメッセージ構造又は類似物）。これは、その時に、レシーバが、これらを接続されたディスプレイ上でレンダリングするための例えば線形ＲＧＢ出力画像に変換するためのエンコードされた画素色データを理解するためにこれらのパラメータを必要とすることを意味する。データ通信技術によりこれらの観察を規定するパラメータを取得しなければならない（例えば通信リンクを介した接続可能なメモリ位置）。

我々は、一般的に選ばれたｌｕｍａ定義を見出した（上記ステップの選ばれた完全なトーンマッピングストラテジにより規定され、ＬＤＲ＿ｏ又はＬＤＲ＿ｉにおけるｌｕｍａを最終的に取得する）。これらは、２つのｌｕｍａ非依存の色度座標、とりわけＣＩＥにより規格化されたｕ´，ｖ´座標と一緒に、規格の画像又はビデオ圧縮技術において用いられるべき良好な符号化であるだろう。例えばＨＥＶＣに類似の圧縮技術は、典型的には、サンプルのブロックのＤＣＴを行うことにより、少なくとも空間圧縮を適用するだろう。しかしながら、ビデオに関して、これらは、圧縮等に基づいて動作推定を行ってもよい。

本方法は、以下のものを有する高ダイナミックレンジ画像（Ｍ＿ＨＤＲ）をエンコードするように構成された画像エンコーダ（１００）において具現化されてもよい。
− 高ダイナミックレンジ画像を低ルミナンスダイナミックレンジ（ＬＤＲ＿ｏ）の画像に変換するように構成されたダイナミックレンジ変換ユニット（１０４）。ダイナミックレンジ変換ユニット（１０４）は、以下の処理順序で接続されるものを有する。
ａ）高ダイナミックレンジ画像を、［０，１］の範囲にあるｌｕｍａ軸に正規化し、正規化されたルミナンス（Ｙｎ＿ＨＤＲ）を出力するように構成された正規化部（６０１）。
ｂ）正規化されたルミナンスにガンマ関数を適用し、ガンマ変換されたルミナンス（ｘｇ）を出力するように構成されたガンマ変換ユニット（６０２）。
ｃ）ｌｕｍａ（ｖ）をもたらすよう、１．５〜５．０の間にある予め決められた量により０．１より低いこれらのガンマ変換されたルミナンスをブーストする第１のトーンマッピングを適用するように構成された第１のトーンマッピングユニット（６０３）。
ｄ）ｌｕｍａ（ｖ）を低ダイナミックレンジ画像（ＬＤＲ＿ｏ）の出力ｌｕｍａ（Ｙｎ＿ＬＤＲ）にマッピングする任意の関数を適用するように構成された任意のトーンマッピングユニット（６０４）。
及び、画像エンコーダ（１００）は、以下のものを更に有する。
− 低ダイナミックレンジ画像（ＬＤＲ＿ｏ）の色に対してデータ整削減変換を適用するように構成された画像圧縮部（１０８）。これらの色は、成分画像において構成される。削減変換は、少なくともＤＣＴ変換を隣り合う色成分値のブロックに適用し、低ルミナンスダイナミックレンジ画像の画素色の圧縮された符号化結果（ＬＤＲ＿ｃ）をもたらす。
− 圧縮された符号化結果（ＬＤＲ＿ｃ）を画像信号（Ｓ＿ｉｍ）において出力するように構成され、加えて、色変換の関数形状又はこれらの逆関数のための値をメタデータとしてエンコードする値を画像信号（Ｓ＿ｉｍ）において出力するように構成されたフォーマッタ（１１０）。メタデータは、レシーバが低ルミナンスダイナミックレンジ画像（ＬＤＲ＿ｏ）に基づいて高ダイナミックレンジ画像（Ｒｅｃ＿ＨＤＲ）を復元するのを可能にする。

とりわけ、Ｓ＿ｉｍは、コンテンツの人間の作者／グレーダにより要求される芸術的なＬＤＲグレーディングと技術的なＬＤＲとの間のマッピングのための技術的リマッピングストラテジ（Ｆｆ１、Ｆｆ２...）を符号化する値２０７を有してもよい。技術的なＬＤＲは、サンプリングされたときに、良好なＲｅｃ＿ＨＤＲ復元のための画像の全ての領域のための充分なｌｕｍａ、又は、自動画像分析ユニット又は人間により重要なものとして決定される少なくともこれらの領域を有する。

このデコーダは、全ての典型的なレガシー、例えばＨＥＶＣ又は類似の圧縮された符号化結果を最初に元に戻すだろう。そして、逆の順序で種々のマッピングを適用するだろう（全ての実施形態において必要される全てのものが正確に逆の順序にあるわけではないことに留意されたい。例えばＹｕ´ｖ´において、最終結果が正確に又はおおよそ意図された色である限り、おそらく僅かに異なる数学的関数を伴って、逆の順序において直交するｌｕｍａ及び彩度処理を選択するかもしれない）。追加の処理ステップがあってもよいことに留意されたい。これは、受信側にのみ存在してもよい（例えば、画像は、Ｒｅｃ．２０２０のようなＲＧＢ表現においてエンコードされてもよいが、テレビ（例えばＤＣＩ−Ｐ３）により理解される他のフォーマットに変換される必要性があってもよく、ＴＶの実際のプライマリに更に変換されてもよい）。

従って、見た目の曲線に依存するｌｕｍａ符号化に関する不快な問題が主としてここで解決される。一方、隣り合う暗いオブジェクトをあまり激しく暗くしない。我々の空の範囲Ｌ＿ｕを拡張させることにより、上側範囲上でＬ＿ｕｕの色を少しだけシフトするためである。しかしながら、主に、少ししかサンプリングされない、Ｌ＿ｕｕの下側部分を同じに保つ。これは、視覚的に顕著な問題ではない。テクスチャは、それほど多くのコードを必要としないためである。空の広げられた範囲は、少しだけ最適状態に及ばないかもしれない。しかしながら、通常、実際に問題になるべきではない。我々は、代わりに、向上した画質Ｒｅｃ＿ＨＤＲを得る。しかしながら、この全ては、例えば如何なる処理も行い得ないレシーバにより、受信側において任意の反作用を利用しない場合にのみ、静的である。デコーダにおいて、トーンリマッピングユニット１５９における事前補正ストラテジを行うことができるためである。そして、これは、ｌｕｍａ割り当てを、グレーダの芸術的な意図の懸念の外の単なる技術的な事項にするだろう。トーンリマッピングユニット１５９は、例えばＬＤＲディスプレイを駆動させるために生ずる意図されたＬＤＲの見た目（ＬＤＲ＿ｕｌ）を用いる前に、前と同じように、圧縮への局所的伸長のための補正を適用するだろう。従って、空の例において、Ｌ＿ｕの空の下側制限を、隣り合う範囲Ｌ＿ｕｕにおけるオブジェクトの輝度まで下に広げた（これにより、これらのオブジェクトを暗くする）場合、デコーダ１５０のトーンリマッピングユニット１５９は、補正として３０１の逆マッピングを適用するだろう。これは、視覚的に、空の範囲が前と同じようにその元のｌｕｍａ範囲Ｌ＿ｕを有することを意味する。及び、ＬＤＲディスプレイ上にレンダリングされるとき、正しいルミナンス範囲は依然としてより高い精度を有する。より多くのテクスチャエンコーディングｌｕｍａコードが割り当てられたためである。同様に、ＬＤＲ＿ｕｌの見た目において、Ｌ＿ｕｕにおける隣り合う輝度を有するオブジェクトは、正しい暗くない輝度も有するだろう。及び、コードの低減された量のため、精度的にのみ異なる。当業者は、この技術が、グレーダの意図されたＬＤＲの見た目ＬＤＲ＿ｕｌを保つ一方で、常に、種々の他の考えられる状況において、必要な場合、画像のこれらの領域における符号化精度をどのように向上させ得るかを理解することができる。トーンリマッピングユニット１５９が行う必要がある唯一のものは、例えばＬＵＴによって、デコードされた技術的なＬＤＲ＿ｔにトーンマッピングストラテジを適用することである。これは、信号Ｓ＿ｉｍにおいて共同エンコードされ得る（あるいは、トーンマッピングが、例えば線形セグメントを区切る、例えば制御ポイントの制限されたセットから導出され得る場合に部分的にエンコードされる）。それ故、Ｓ＿ｉｍにおけるこの技術的調整関数（Ｆｆ１，Ｆｆ２...）を別々にエンコードすることが有利である理由は明らかであるべきである。生成側で決定され、グレーダにより受け入れられ、受信側に通信されると、より望ましいＬＤＲの見た目ＬＤＲ＿ｕｌをもたらすようにデコーダにより用いられ得るためである。

デコーダは、画像入力１５８を介して我々のフォーマットされたＳ＿ｉｍを得る。デフォーマッタ１５１は、古典的なＪＰＥＧのような又はＭＰＥＧのような解凍部１５２及び、メタデータからのパラメータＰ（例えば、感度設定１０００、及び、トーンマッピング又は彩度マッピングの機能的形状を復元するために用いられ得る幾つかの値）により解凍するために画像ＬＤＲ＿ｃ（図２におけるＩＭＧ）において分割するだろう。オプションとして、デコーダにトーンリマッピングユニット１５９がある。この技術的なリマッピングは、通常グレーダが意図したＬＤＲの見た目ＬＤＲ＿ｕｌの厳しい変形ではないので、幾つかのデコーダはこれを無視しても差し支えない。しかしながら、完全にＨＤＲに準拠するデコーダは、（ＬＤＲ＿ｏの近似値である）正しいＬＤＲの見た目ＬＤＲ＿ｕｌに達するよう、２０７のＦｆ値において符号化される技術的な再補正ストラテジを適用するために、このユニット１５９を用いるべきである。この補正されたＬＤＲ画像（ＬＤＲ＿ｕｌ）は、更なるディスプレイ色調整ユニット１５４に進む。このユニット１５４は、特定の言わば１３００ｎｉｔの広さの全域ディスプレイのための必要とされる最適化を適用することができる（同調性）。変形が考えられるにもかかわらず、我々は、我々のＨＤＲエンコーディングの観点のための典型的なデコーダを描いた。これは、（又は１５９が近似値ＬＤＲ＿ｔを示さない場合に）ＬＤＲ＿ｕｌを復元するための画像処理用経路を有する。しかしながら、Ｒｅｃ＿ＨＤＲを決定するために第２の画像処理用経路を有する。これは、ダイナミックレンジ変換ユニット１５３において行われる。これは、典型的には、エンコーダにおいて適用される逆マッピングを適用する（実際には、信号において、典型的には、この逆マッピング（即ち、アップグレーディング）のパラメータをエンコードするだろう）。ディスプレイ色調整ユニット１５４は、典型的には、２つのグレーディングにおける情報を組み合わせるように構成されるだろう。これは、１つだけの画像及び色マッピングパラメータＰを用いることに基づいて行われ得る。しかしながら、この説明された実施形態において、我々は、Ｒｅｃ＿ＨＤＲ及びＬＤＲ＿ｕｌ画像を入力として取得し、そして、どのピーク輝度がどのディスプレイに接続されるか、及び、適切に等級化された画像により供給されるかに従って、これらを挿入するものと想定する。

もちろん同じ合理的根拠に沿って我々はパラメータの１つのセットの最小限のもののみを説明した場合、色マッピング機能的メタデータの幾つかのセットは、Ｓ＿ｉｍ、例えば、唯一の（ＬＤＲ画像である）画像ＩＭＧから基準（例えば［０−５０００］ｎｉｔのＨＤＲの見た目の画像）に進むための１つのセットにおいてエンコードされ得る、及び、第２のセットは、例えば１５００ｎｉｔのＭＤＲの見た目に進むために追加され得ることが読者にとって明らかになるべきである。感度、ガンマ、ゲインの特定の分解を行うにもかかわらず、関数形状を更に微調整することは有利であり、技術的説明のため少なくとも良好である。これらのマッピングのうちいずれか１つ、例えばマッピングＬＤＲ−２−ＭＤＲは、例えばトーンマッピングＬＵＴ又は値２０５のセットのみを満たすことにより、短縮された形式におけるＳ＿ｉｍにおいてエンコードされ得る。これは、最終的なマッピング関数を（即ち、感度、微調整及び技術的マッピングのすべてを一緒に）符号化する。

Claims (6)

1. 高ダイナミックレンジ画像をエンコードする方法であって、
   ａ）高ダイナミックレンジ画像の、正規化された高ダイナミックレンジ画像をもたらす［０，１］であるｌｕｍａ軸のスケールへの正規化であって、正規化された色は、正規化されたルミナンスを有する、正規化、
   ｂ）ガンマ変換されたルミナンスをもたらす正規化されたルミナンス上のガンマ関数を計算すること、
   ｃ）
   

   

   として規定されるルマをもたらす第１のトーンマッピングを適用すること、ここで、ＲＨＯは、予め決められた値を有し、
   ｄ）前記ｌｕｍａを低ダイナミックレンジ画像の出力ｌｕｍａにマッピングする任意の単調に増大するトーンマッピング関数を適用すること、
   を適用することにより、高ダイナミックレンジ画像を低ルミナンスダイナミックレンジの画像に変換するステップと、
   画像信号において、前記低ルミナンスダイナミックレンジ画像の画素色を符号化した結果を出力するステップと、
   前記画像信号において、メタデータとしての上記の色変換ｂ〜ｄの関数形状をエンコードする値又はこれらの逆関数のための値を出力するステップとを有し、
   前記メタデータは、レシーバが、前記低ルミナンスダイナミックレンジ画像から、復元された高ダイナミックレンジ画像を復元するのを可能にし、ＲＨＯ又はＲＨＯの関数である値は、前記メタデータにおいて出力される、方法。
2. ガンマ関数計算は、１／（２．４）に等しいガンマ値を用いる、請求項１に記載の方法。
3. 低ダイナミックレンジ画像の最大ｌｕｍａを、復元された高ダイナミックレンジ画像における考えられる値の特定の値にマッピングするためのゲイン値を決定するステップと、
   前記画像信号においてそのゲイン値をエンコードするステップとを有する請求項１に記載の方法。
4. 高ダイナミックレンジ画像をエンコードするように構成された画像エンコーダであって、
   前記高ダイナミックレンジ画像を低ルミナンスダイナミックレンジの画像に変換するように構成されたダイナミックレンジ変換ユニットを有し、
   前記ダイナミックレンジ変換ユニットは、
   ａ）高ダイナミックレンジ画像を［０，１］の範囲に渡るｌｕｍａ軸に正規化し、正規化されたルミナンスを出力する正規化部、
   ｂ）前記正規化されたルミナンスにガンマ関数を適用し、ガンマ変換されたルミナンスを出力するガンマ変換ユニット、
   ｃ）
   

   

   として規定されるルマをもたらす第１のトーンマッピングユニット、ここで、ＲＨＯは、予め決められた値を有し、
   ｄ）前記ｌｕｍａを低ダイナミックレンジ画像の出力ｌｕｍａにマッピングする任意の単調に増大するトーンマッピング関数を適用するように構成された任意のトーンマッピングユニット、
   を有し、
   当該画像エンコーダは、
   前記低ダイナミックレンジ画像の色にデータ削減変換を適用するように構成された画像圧縮部であって、これらの色は、成分画像において構成され、削減変換は、少なくとも、隣り合う色成分のブロックにＤＣＴ変換を適用することを含み、低ルミナンスダイナミックレンジ画像の画素色の圧縮された符号化結果をもたらす、画像圧縮部と、
   圧縮された符号化結果を画像信号において出力するように構成され、加えて、画像信号において、色変換の関数形状をメタデータとしてエンコードする値又はこれらの逆関数のための値を出力するように構成されたフォーマッタとを有し、
   メタデータは、レシーバが、低ルミナンスダイナミックレンジ画像に基づいて高ダイナミックレンジ画像を復元するのを可能にし、前記値は、ＲＨＯ又はＲＨＯの関数である値を有する、画像エンコーダ。
5. 高ダイナミックレンジ画像信号を受信するように構成された画像デコーダであって、
   画像信号から、圧縮された画素化された低ダイナミックレンジ画像及びパラメータデータを取得するように構成されたデフォーマッタと、
   画素化された低ダイナミックレンジ画像を取得するために、圧縮された画素化された低ダイナミックレンジ画像に少なくとも逆ＤＣＴ変換を適用するように構成された解凍部と、
   低ダイナミックレンジ画像を復元された高ダイナミックレンジ画像に変換するように構成されたダイナミックレンジ変換ユニットとを有し、
   前記ダイナミックレンジ変換ユニットは、
   ａ）任意の単調に増大するトーンマッピングを適用するように構成された任意のトーンマッピングユニットであって、これを規定するパラメータは、パラメータデータにおいて受信される、任意のトーンマッピングユニット、
   ｂ）
   

   

   の形式の関数により規定されるマッピングを適用するように構成された第１のトーンマッピングユニット、ここで、ＲＨＯは、前記パラメータデータにおいて受信される定数であり、
   ｃ）受信したガンマ値を有するガンママッピングを適用するように構成されたガンマ変換ユニット、
   を有する、画像デコーダ。
6. 高ダイナミックレンジ画像信号をデコードする方法であって、
   画像信号から圧縮された画素化された低ダイナミックレンジ画像及びパラメータデータを取得するステップと、
   画素化された低ダイナミックレンジ画像を取得するために圧縮された画素化された低ダイナミックレンジ画像に少なくとも逆ＤＣＴ変換を適用することにより、圧縮された画素化された低ダイナミックレンジ画像を解凍するステップと、
   ａ）任意の単調に増大するトーンマッピングを適用することであって、これを規定するパラメータは、パラメータデータにおいて受信されている、適用すること、
   ｂ）
   

   

   の形式の関数により規定されるマッピングを適用すること、
   ｃ）受信したガンマ値を有するガンママッピングを適用すること、により、
   低ダイナミックレンジ画像を復元された高ダイナミックレンジ画像に変換するステップとを有する、方法。