具体的には、単一の共通乗数による3つの色成分の乗算に基づいた非常に有用な輝度マッピング技術(説明の簡潔性のため既に多くの因子及び実施形態異形を前提に、ここでは赤色及び青色の色次元は無視するため、少なくとも輝度マッピング)を開発した。この単一の共通乗数は、任意のHDRシーンの当該MDR画像の最適効果を作成するために必要に応じてすべてのスマート性を含むように最適化されるものであり、任意のHDRシーンは、特定のディスプレイピーク明度PB_Dの任意の実際に利用可能なディスプレイにそのシーンの効果をレンダリングするのに必要とされる(当業者は、後で特定のPB_Dディスプレイを使用可能にするために同じ計算がサーバ上で起こり得る、即ち、このディスプレイは、色又は輝度計算装置に実際に物理的に接続されないということを理解する)。線形RGB色信号、また好ましくは通常の動画Y’CbCr成分の非線形冪も処理する場合、それらの色の輝度を増加させる場合と類似の様式で(単一の結果的乗数gtで成分を乗算することによって)それらを増加させる。即ち、コンテンツ作成者は、次いで、実施形態においては、例えば、全体的な明度増加、任意の形状をした関数(CC)の微調整など、様々なマッピング部分的戦略の形をなしている輝度マッピング戦略を自分の要望に応じて指定することができる。また、この必要事項は、次いで、様々な乗法的戦略として実際に計算される。言うまでもなく、また本技術では間違いなく、最も基本の異形においてそのような関数定義は1つのみ必要であり、いくつかの実施形態においては、入力画像の考えられる輝度すべてに必要なわけではなく、本説明においてはそれをCCと呼ぶが、それは何らかの他の関数であってもよい。いかなる場合においても、作成者が自分の輝度マッピングをどんなに複雑に指定することを望むとしても、それは、正規化された色成分として考え得るものの最終的な輝度最適化として実現可能である最終的な乗算をもたらす様々な乗算として見られ得る。その原理に基づいて、ここでは、その後輝度取り扱いを色取り扱いから分離する様々な考えられる実際の実施形態を提示する。
それは一般的に知られていないため、又は動画コーディングエンジニアによって標準的に使用されていないため、MDR画像最適化の詳細に入る前に、読者が背景となる考え及び原理を必ず理解するように、図16においてこの原理を説明する。任意の考えられる入力輝度Y_in(受信した処理予定の入力画像Im_in、例えば950のlumaコードに対応する)を出力輝度値に変換するために、ここではシグモイド関数を有するものと仮定し、この出力輝度値も、簡潔性のために0.0〜1.0の正規化値であると仮定する。次いでこの関数を、ユニタリ変換(即ち、対角線)と比較して導出され得る乗算としても記述することができる。例えばHDR Im_inをそれ自体に変換する場合は、そのユニタリ変換を適用する。HDR相対輝度をLDR相対輝度(又は、略して輝度)に変換したい場合は、シグモイド関数を適用することができる。しかし、同等に、そのY_in値を右側の曲線のg因子で乗算することができる。そのような乗算的戦略により、HDR技術は比較的単純になり、例えば、様々な望ましい変換を段階的に行うことだけでなく、また本明細書の主題にあるように、ディスプレイ調整シナリオにより、任意の実際に接続されたディスプレイのために、マスターHDR効果に大きく対応して、最適に見える画像に達する。
実際のHDR(及び、実際には、同時に、レガシーLDRディスプレイへの直接表示に使用可能なLDRグレーディング効果)画像及び特に動画コーディング方法として、HDR及びLDR画像ペアのうちの一方のみを、唯一の実際に伝送されたピクセル色データである(他の画像は、実際に受信した画像からそれを導出するために色処理関数定義としてパラメータ的に通信される)主画像として記憶する(又は伝送する)システムを発明した。また、この主画像は、さらには、技術的に正しく導出されるときには、実際には古典的な圧縮技術(迅速な理解のために説明すると、例えば、AVC8ビット又はHEVC10ビットlumaのコンテナ内に入れて、それが、HDRシーンのHDR画像ではなく、それらの何らかの劣ったSDR表現であったかのように、DCT圧縮などを実施する)に従って符号化され得、即ち、HDRシーンの捉えたオブジェクトのピクセル色テクスチャを含む。即ち、それは、すべてのオブジェクト形状の幾何学構成及びそれらにおけるテクスチャの何らかのコード化を含み、任意の所望のレンダリング又は対応する色調節が画像のその幾何学的態様を再構築することを可能にする。このため、実際に、いかなる受信側においても確立され得るものに関して、本発明のHDRシーン画像コード化は、実際に通信された画像に加えて、少なくとも1つの(及び、典型的には、グレーディング費の観点から、多くの場合ちょうど1つである)さらなるグレーディング(例えば、SDR100nit PB_C画像が通信されるが、一緒に通信される色伝達関数は、ちょうどさらに1つのグレーディングの再構築、例えば、5000nit PB_CマスターHDR画像の再構築を可能にする)を含み、それは、典型的には、第2の画像としてでなく、主画像のピクセル色の関数変換の(ICの復号はすべての色変換を理解及び実施する必要があるため、典型的には制限された)セットとして符号化される。そのため、主画像(Im_in)がHDR画像(例えば、5000nitのピーク明度を参照)である場合、色変換関数(又はアルゴリズム)は、そこからLDR画像(典型的には、100nitの標準化されたSDR)を計算することが可能である。また、当業者は、どのようにしてそのような変換をなるべく少ないビットで容易にコード化することができるかを把握するものとする。例えば、線形の第1の部分及び次いで(1.0,1.0)に向かって湾曲する部分を有する関数が、傾斜(黒色の傾斜)及び線形部分の停止点を付与する実数値のパラメータ又は他のパラメータ、並びに上方部分の形状を規定するのに必要な何らかのパラメータによって符号化され得る。いくつかの実用的な異形は、マスターHDR画像のSDR再グレーディングを唯一の通信された画像として伝送するが、これは、既に配置されたSDRディスプレイが、さらなる色変換を行う必要なしに(HDRディスプレイ又はそれのために画像を準備する装置は、その実施形態において行う必要があるため)、直接レンダリングすることができる画像を必要とするそれらすべての状況において有用であるためである。
図1は、そのような色変換及び(少なくとも1つの)さらなるグレーディングの対応する変換ベースの符号化の典型的であるが非限定にすぎない例証的な考えられる実施形態を提供し、当業者は、これが以下の新規の実施形態を使用することができる唯一のシステムでないことを理解するものとする。具体的には、線形色表現(特にf(Max)又はf(Y)、ここではYは、分子内の輝度であり、Maxは、gの分子内のYを表し、乗数が線形RGB成分を乗算する)に有利に適用される原理のうちの一部を説明するならば、この原理は、非線形色空間(gの計算を導く部分、及び/又は例えば色成分R’、G’、及びB’を乗算する乗算の両方、ここではダッシュは、それらが冪1/Nを有する冪乗則であることを示し、ここではNは、線形のものの実数又は整数であり、例えばR’=sqrt(R)である)にも適用され得る。
本例では、HDR画像がテクスチャ画像として符号化され(及びIm_inとして受信される)、そこから、色変換をそのピクセル色に適用することによって、LDRグレーディングが任意の動画受信側で構築され得ると仮定する。しかしながら、同じ技術的論拠は、LDR画像である、即ち、LDRディスプレイに直接レンダリングするのに好適な、例えば主画像に基づいてHDR画像を再構築するとき、即ち、LDRディスプレイのピーク明度制限を考慮して画像内の様々なオブジェクトについて適切な明度及びコントラストを示すLDRディスプレイにレンダリングされるときにも当てはまる。そのような場合、色変換は、LDR画像からHDR画像を定義する。いくつかの実施形態において(必ずしもそうとも限らないが)、処理ユニットの順序は、エンコーダ及びデコーダにおいて逆転され、例えば、エンコーダがダイナミックレンジを減少させ、主画像をLDR画像として符号化する場合、輝度(又はluma)処理の順序は、HDRグレーディングを対応するLDR主画像からデコーダ側で再構築する際に逆転される、即ち、まずカスタム曲線を適用し、次いでユニット110の露出調節が逆方向に適用されることなどに留意されたい。
説明の目的のため、ここでは、色変換装置201は、任意の受信装置(テレビ、コンピュータ、携帯電話、劇場内デジタルシネマサーバ、セキュリティシステム制御室の視聴ブースなどである)の部分であると仮定するが、符号化側において、任意の符号化又はトランスコーディング装置内に、何が実現可能であり伝送のために符号化され得るかをチェックするために同じ技術的構成要素が存在してもよい。画像信号、又はより典型的には動画信号S_imは、例えばBDリーダ、アンテナ、インターネット接続などのような、様々な画像ソースに接続可能な入力103を介して受信される。動画信号S_imは、一方では入力色を有するピクセルIm_inの画像(又は異なる時点の複数の画像の動画)を含み、もう一方ではメタデータMETを含み、このメタデータMETは、様々なデータを含むが、とりわけ、受信側で色マッピング関数を一意的に構築するためのデータ、場合によっては、例えば入力画像がグレーディングされるピーク明度が何であるかに関する何らかの記述データ、及び以下の様々な実施形態を可能にするために必要とされるあらゆるものを含む。色変換ベースの再グレーディング技術による本発明のダイナミックレンジ効果符号化が、本質的に、記憶又は伝送のために画像を好適にフォーマッティングすることに対処する圧縮の一部において実際に使用される圧縮戦略に依存しないため、動画画像の符号化は、典型的には、例えば既存のMPEG−HEVC、即ち、YCbCrピクセル色のDCTベースの符号化など、MPEGのようなコーディング戦略で行われる。したがって、本発明の様々な実施形態は、例えば、有利にはYuvのような様々な他の入力色定義で作用するが、この例では、第1の色変換器104は、YCbCr表現を線形RGB表現へ変換するように構成される(この実施形態では、以下に示すように、同じ発明の原理を用いて、YCbCr又はYUV成分に直接作用する実施形態を定式化することもできる)。第2の色変換器105は、第1のRGB表現から第2のRGB表現へのマッピングを行う。これは、カラーグレーダがグレーディングを行い、第1の色空間内、例えばRec.709で何が起きているのかを観察するからであるが、画像データは、第2の色空間に従って符号化される。例えば、デジタルシネマイニシアチブの原色P3:赤=(0.68,0.32)、緑=(0.265,0.69)、青=(0.15,0.06)、白=(0.314,0.351)を使用してもよい。又は、最近のRec.2020色形式などで符号化することができる。例えば、画像は、Rec.2020色空間で定義される色表現で伝送されるが、グレーダは、既にDCI−P3色空間でカラーグレーディングを行っており、これは、例えばHDR画像からLDRグレーディングを取得するため、又はその逆を行うため、受信器が、すべての色変換を行う前にまずP3色空間へ変換するということを意味する。数学的処理により受信側でグレーディングを再計算する前に、グレーダが既に、述べたように例えばRec.709である自らのグレーディング色空間において、自らのHDR画像をLDR画像に再グレーディングしているため(すべての値は[0,1]に正規化されると仮定する)、第2の色変換器105は、このRec.709色空間へと変換する(当業者は、様々な変換戦略が適用されること、例えば、相対比色マッピングが場合によっては使用されること、又は逆転され得る何らかの飽和圧縮戦略が既に使用されていることを把握している)。次いで、典型的には、メタデータが、色最適化戦略を適用し、これは、この単純な実用の実施形態においては、色飽和プロセッサ106によって実施されると仮定する。グレーダが特定の飽和戦略を適用するのには様々な理由がある(例えば、特定の様式で明るい色の飽和を低減させ、それらをRGB全域においてより高い輝度位置でフィットさせるため、又は、HDR−LDRマッピングによって暗くなった色の彩度を上げるためなど)。例えば、グレーダは、例えば夜のシーンの空の紺青色は、少し飽和が低減することに気付き、そのため、グレーダは、LDR効果を得るために輝度最適化変換を行う前に、線形HDR画像におけるこの紺青色の飽和を予め上昇させておく(これは、本発明の典型的な実施形態が、色の色度を不変のままにした輝度変換、即ち、色の輝度の側面だけに影響を与える輝度変換を行うことから、特に興味深い)。簡略化した実施形態例では、飽和は、通信及び受信されるメタデータMETから読み取られる値sを有する、色の単純なスケーリング(即ち、色の色相、輝度、又は初期飽和が何であるにしろ同じ)であると仮定する。より単純な実施形態では、色処理はこの単一の事前処理ステップのまま、色変換の輝度の側面だけに焦点を当てるが、当業者は、他の飽和戦略が可能であること、また輝度処理とスマートに連携されてもよいことを理解する。ここでは、色は、純粋な輝度−方向処理を行うのに正しい(R、G、B)値を有する。
図1に示されるようなそのような色変換実施形態の主要な特性は、色の純粋なスケーリングを行うことができることであり(即ち、色の色度を決定する色成分の比率を保持しながら、色の輝度と関連のある色特性のみ、即ち、色ベクトルの長さを測定する任意の尺度、を変化させることであり、ここでは、色変換の数学的処理は、当然ながら、例えば示されるように線形RGB成分に対して、様々な様式で具現化され得る)、この色変換は、説明されるように、同様に3つの色成分に対する(実数g、例えば0.753、又は実数に変換され得る任意のそのコード化、例えばINT(1000*g)を用いた)共通の複数スケーリング変換として再定式化することができる。これは、少なくとも、ダイナミックレンジ変換において優位な検討事項である画像オブジェクトの輝度の側面が検討される場合において、本発明のHDR−LDRマッピング(又は、同様に本発明のLDR−HDRマッピング、若しくは第1のダイナミックレンジの任意の第1のグレーディング済み画像から著しく異なる第2のダイナミックレンジへのマッピングであり、この2つは、関連するそれらの参照ディスプレイのそれらの関連ピーク明度、即ち、Nビットコード化内の最大コードに対応する輝度において、典型的には少なくとも因子4、即ち、2段階、又は少なくとも因子1.5若しくは2、及び場合によってはさらにいくつかの段階だけ異なる)を定義する。
図1の説明的な(単なる)例において、処理は以下の通りである。最大値計算器107は、各ピクセル色について、例えば赤成分が0.7である(ここではRmaxと呼ぶ)など、RGB成分のうちのどれが最も高いかを計算する。これは、色ベクトルの長さの尺度、即ち、輝度相関の一実施形態である。輝度マッパ102は、その最大成分に対して一連の変換を適用し、これらの変換のコード化は、最終的に総輝度関数変換となるメタデータMETにおいて受信される。この変換は、HDR画像の1に正規化される輝度がすべて、審美的に適正にグレーディングされたLDR効果を有するLDR画像を得るためにどのように変化すべきかをコード化する。例えば、典型的には、符号化/コンテンツ作成側でグレーダが、自らのグレーディングソフトウェア上でグレーディングし、満足のいくLDR効果のときに保存ボタンをクリックすることによって、良好なLDR効果を付与すると既に明示している以下の変換が適用される。まず、ゲイン乗数器108が最大成分(例えばRmax)を受信したゲイン係数(gai)で乗算することにより、各ピクセルについて0から1の間の異なる値であるRmax_1を得る(例えば、いくつかの実施形態において、グレーダは、HDR輝度の70%レベルをLDR輝度の100%レベルに設定することができ、又は何らかの他の所望のグレーディングを設定することができる)。輝度変換挙動が通信済みであるという事実にかかわらず、処理は、例えば色の輝度ではなく、実際には、3つの色成分の最大値に対して行われるということに留意されたい。次いで、冪関数適用ユニット109が、現在の結果Rmax_1を、数のgamが受信したメタデータから再び読み取られるべきgamで累乗し、結果Rmax_2を得る。次いで、露出調節ユニット110が、例えば以下の等式を適用することによって、グローバルな露出補正変換を適用する。
Rmax_3=ln(lg−1)*Rmax_2+1)/ln(lg)、式中、lgは、この場合も受信したグレーダ最適化数であり、lnは、底2.71のネペリアン(Neperian)対数であり、Rmax_4を生じる。次いで、カスタム曲線が、輝度マッパ111によって適用され、Rmax_4=CC(Rmax_3)を生じる。即ち、この曲線は、例えば、いくつかの(例えば6つの)特徴点(入力luma/出力luma座標対)として伝送され、これらの間の中間点が、伝送されたか又は事前に同意された何らかの補間戦略(例えば線形補間)によって受信側で計算され得、次いでこの関数が適用される:例えば、Rmax_3=0.7の場合、特定の通信された関数により、その値に対してRmax_4=0.78が生じる。最後に、ディスプレイ変換成形器112が、典型的なLDRディスプレイの使用ガンマ、即ち、典型的にはRec.709の逆のガンマに従って、変換する(この最後のディスプレイ変換成形器はまた、線形座標で入力を得るディスプレイの場合は、任意選択である)。当業者は、どのようにしてこれらの等式が、等価の戦略によって、例えば、[0,1]内のmax(R,G,B)の考えられるすべての入力値に適用するための単一のLUTを形成することによって、等しくされ得るかを理解する。ユニットの一部は省略され得、例えば、ゲインgaiは1.0に設定され、それにより、結果として恒等処理を有することからユニットの一部が効果的に取り除かれるということを理解されたい。当然ながら、例えば、カスタム曲線を適用するだけなど、他の変換関数も使用され得るが、本発明の研究により、例は、グレーダが良好なLDR効果に効率的に達するための実用的な様式であると考えられるということが分かった。本発明の以下の実施形態にとって重要なことは、必要に応じて任意の輝度処理戦略を構築することができ、本明細書により説明される戦略は単に実践において非常に優れたものであるにすぎないということである。
そして最後に、これらの変換すべての結果、即ち、例えばf(Rmax)を、入力RGB成分自体の最大値、即ち、例えばRmaxにより除算することによって共通乗法的因子gが計算される。この因子gは、輝度変換を乗算戦略として提示することができるように計算される。最後に、所望の出力色及びその所望のLDR明度を相対的に取得するために、スケーリング乗算器114は、入力RGB値、又はこの例では、(任意選択の)飽和処理(色飽和プロセッサ106)から生じた値を、共通乗法的因子gで乗算して、すべての画像オブジェクト又は実際にはこれらのオブジェクト内のすべての画像ピクセルについて正しく輝度調節された色を得る。即ち、この例では、これにより、ピクセル色(R2、G2、B2)が画像出力115上で出力される、S_imに入力されたHDR画像から始めて、線形RGB画像としてLDRグレーディングされた効果が生じる。当然ながら、当業者は、LDR画像用の正しい比色効果を有することにより、次いでその色は、画像自体ができるように、さらなる使用のために何かしらの原理に従って依然として符号化され得るということを理解する(例えば、1つの応用は、計算ICからのバスを介して信号をLCDバルブドライバに送ることであるが、別の応用は、レンダリングのためにHDMI(登録商標)接続を介して画像をテレビに、直接送ること、又はさらなるディスプレイベンダ独自の微調整処理を伴って送ることであり得、そのため場合によっては何らかのさらなるメタデータが、微調整を誘導するための通信された動画信号と一緒に含まれる)。
ここで、読者は、本発明のHDRコーディング及び使用技術の重要なさらなる原理を明白に理解するものとする。これまでのところ図1を用いて、HDRシーンの異なるダイナミックレンジ(即ち、すべてのオブジェクト明度がそれに応じて連動される)の2つの効果をどのように符号化することができるか、即ち、コンテンツ作成者によってグレーディングされる2つのオリジナルの画像をどのように符号化するかについてのみ説明してきた。そのような説明をした理由は、様々なコンテンツ視聴者の敷地においてまさに、1つのみの(100nit)LDRディスプレイ、及び特に1種類のみの(例えば5000nit)HDRディスプレイが存在しているのであれば、すべては単純であるためである。その場合、LDRディスプレイは、LDRグレーディングを表示し、HDRディスプレイは、それが何であるにしろ、「HDRグレーディング」を表示する。それは、ディスプレイがレンダリングのために受信する画像のピーク明度からやや逸脱するディスプレイピーク明度の場合は十分に作用するが、大きく逸脱する場合はおそらくは良い結果をもたらさない。1000nitディスプレイが表示する必要のある画像が、100nitのもの又は5000nitのものである場合は特にそうである。ここでは、図1と全く同じ技術で少なくともあと1つの画像を非常に良好にグレーディングすることもでき、例えば、1000nit前後のPB_Dのディスプレイ用の最も見栄えの良いグレーディングを実際に計算するための色変換関数を決定することができる。少なくとも一部の重大なHDRシーンにおいては、おそらく500nit又は2500nit前後でも、効果は、依然として不適切である(例えば、暗闇の中のモンスターは、暗すぎて見えなくなるか、若しくは逆に、それは非現実的に明るくなるか、又は、灰色の霧の中の別のモンスターのコントラストが低くなり過ぎて見えなくなるなど)。多くのシナリオ(及び特にリアルタイムの放送用途)において、グレーダは、MET_TR2内の第2の色変換関数を用いて第3のグレーディングを作ることを好まないことがあるか、又は、グレーダは、グレーディングされた第2の効果(例えば、マスターHDRからLDR)を詳細に作成することに多くの時間を費やしたくない場合さえある。したがって、一方では、典型的な想定される使用に関する限りは、典型的にはピーク明度スケールの最端にある2つのグレーディングから見ることによりHDRシーンの実際の意味論について非常によく把握するという原理を導入した。例えば、爆発は、LDRシーンと比べてHDRシーンでは明度が増加され、ここでは、残りのシーンを十分にレンダリングするために必要とされるものを超えるほどの多くのコードを利用可能なわけではないということが分かる(又は、その逆も然りであり、爆発は、LDRにおいては、HDR画像内のその明るく印象的なバージョンと比べて減光されるということが分かる)。それにより、特定のPB_Dの場合にどのように爆発を増加させるべきか、例えば増加が直ちに強力に始まるべきか、又は高品質HDRディスプレイ、例えば2000nit超のPBの場合にのみ直ちに強力に始まるべきか、ということが必ずしも分かるわけではないが、少なくとも、中間グレーディング(MDR)の場合は、爆発の火球を増加させる必要があるということを把握している。ここで技術的に必要とされるものは、HDRシーンの種類の複雑性などの状況、及びその応用分野において一般的であるもの、入手可能な時間及び費用などとの均衡をとった特定のユーザの緊迫性に依存する。本原理は、受信側、例えば、セットトップボックス又はTV ICが、他方の必要とされるグレーディング(受信した2つのグレーディングの間の、又は更にその範囲の外側の)を、実際の第2のオリジナルのグレーディングを作成するために使用される色変換とは事実上異なるメタデータを用いて、典型的には作成側からの何らかのさらなる指示により、即ち、グレーダによってオリジナルの審美的材料が指定され承認されるように、自ら導出することができるというものである。これは、このいわゆるディスプレイ調整フェーズの物理特性及び技術要件もまた異なることが理由である。作成者が実際に自分の特定の要望に従って現在のHDRシーンにとって最適なパラメータを通信するというバージョンについて説明するが、例えば、受信装置が画像分析を行って、好適な例えばgpr又はgpmディスプレイ調整パラメータ値に達するというように、同じ原理が受信側において単独で適用され得ることも教示するということに留意されたい。一部のシーンでは、様々な画像オブジェクトの最終的なレンダリング輝度が何であるかはそれほど重要ではなく、例えば、室内の光は、現実においてもわずかにより明るいだけであるため、窓から見える外界の光も、相対的により明るく又はより暗くなり得る。そのような場合、装置又はグレーダは、非常に単純な技術ツールを用いて、少なくとも輝度範囲の一部については、参照アルゴリズムで生じるものと比べてほんの少しだけ明るくなるように効果を(例えば、何らかの範囲に対して3つのユニタリステップ)調整することを決定する。一部のより重大なシーンでは、グレーダ、又はディスプレイ製造業者は、例えば、画像を自動的に改善するため、又は効果に影響を及ぼすよりスマートなユーザインターフェース制御をユーザに提供するため、当然ながらすべてのことがこれらの種類の技術の典型的なハードウェア制約と調和している考えられるディスプレイピーク明度の範囲の様々な部分的範囲わたって、HDRシーンの様々な部分に対するより精密な制御を希望する(特に、様々な明度範囲であるが、いくつかのシナリオにおいては、例えば、特定のオブジェクトの識別を可能にする情報が存在し、その場合、オブジェクト依存のディスプレイ調整が実施され得る)。
そのため、撮影されたシーンの2つの考えられるダイナミックレンジでグレーディングされた画像だけを単に符号化及び復号することは、HDR画像使用を完全に正しく取り扱うことができるようにするには十分な技術ではなく、あまりに単純な解決策で市場にすぐに出ていくことを望む人々が学んだ厳しい教訓であり、したがって、コーディング原理を用いて、共同で協調されるディスプレイ調整技法、及び、特に、動画取り扱い、特にここではHDR動画取り扱いの典型的な必要性、制限、及び要望を考慮した実用的な技法も必要とされる。
さて、このまさに最近のHDR画像、特に動画コーディングにおいてはすべてのことが非常に新しく、特に出願人の技術的手法の一部が一般的に知られていないことは言うまでもなく、まったく知られていないために必要とされた長い導入部に次いで、本発明の要因、構成要素、実施形態、及びディスプレイ調整の新たに発明された考え方の詳細に入る。以下に説明される発明は、少なくとも2つのグレーディングされた画像の比色効果を定義するそのような一般的なスケーリング(乗法的)処理、接続され且つレンダリング用に最適化された画像を供給される実ディスプレイ用の中間グレーディング(ミディアムダイナミックレンジMDR(半)自動的再グレーディング効果)を取得するための方法について、調整を最適化する様々なニーズに関して実用的であるが強力を有する問題を解決し、中間グレーディングは、ディスプレイピーク明度(PB_D)を有するディスプレイのために調整される出力画像(IM_MDR)のピクセルの結果的色(R2、G2、B2)を、ディスプレイピーク明度(PB_D)とは異なる第1の画像ピーク明度(PB_IM1)に対応する最大lumaコードを有する入力画像(Im_in)のピクセルの入力色(R、G、B)から始めて計算する色変換装置(201)を有することによって、任意の受信側で計算され得、色変換装置は、
メタデータ入力(116)を介して受信される少なくとも1つの輝度マッピング関数(CC)を含む色処理仕様データ(MET_1)から色変換(TMF)を決定する色変換決定ユニット(4201、102、2501)であって、色処理仕様データが、入力画像(Im_in)のピクセルの輝度がどのようにして、その最大lumaコードに対応してディスプレイピーク明度(PB_D)及び第1の画像ピーク明度(PB_IM1)とは異なる第2の画像ピーク明度(PB_IM2)を有する第2の画像(Im_RHDR)のピクセルの輝度に変換されるべきかを指定し、それにより第2の画像ピーク明度による第1の画像ピーク明度の除算が2より大きいか、又は1/2より小さいかのいずれかである、色変換決定ユニット(4201、102、2501)と、
結果的共通乗法的因子(gt、Ls)を決定するスケーリング因子決定ユニット(4205、200、1310)であって、スケーリング因子決定ユニットが、この結果的共通乗法的因子を、第一に、入力画像輝度にわたる方向に対して直交する垂直方向から非ゼロの反時計回り角度、ディスプレイピーク明度を位置付けるための事前に確立された測定基準(1850、METR)、及びディスプレイピーク明度(PB_D)の値と一致する測定基準上の位置(M_PB_D)を有する既定の方向(DIR)に沿って確立することであって、測定基準が、恒等変換関数を表す対角線の位置で始まる、ことと、第二に、出力画像(IM_MDR)のピクセルの結果的色(R2、G2、B2)の少なくとも輝度を決定するための第2の色変換(1803、F_M)を確立することであって、第2の色変換が色変換(TMF)及び位置(M_PB_D)に基づく、ことと、第三に、第2の色変換(1803、F_M)に基づいて結果的共通乗法的因子(gt、Ls)を決定することとによって、決定する、スケーリング因子決定ユニット(4205、200、1310)とを備え、色変換装置(201)が、
入力色の色表現の3つの色成分の各々を結果的共通乗法的因子(gt)で乗算して結果的色(R2、G2、B2)を取得するように構成されたスケーリング乗算器(114)をさらに備えることを特徴とする。
以下に説明される様々な可能性を研究する当業者には明らかになるように、中心概念を把握するために、限定的に読まれるべきではないいくつかの因子を既に強調したい。まず、すべての追加ディスプレイは、最終的にはRGB色成分で作用するが、色計算は、実際には、他の色表現で等価的に実施されてもよい。決定又は確立されるべき初期色変換は、2つの一緒に通信される代表的な異なるダイナミックレンジでグレーディングされた画像間、例えばSDR−HDR_5000nitの1つのマッピングである。これは既に、様々な実施形態において異形を可能にするが、その理由は、いくつかのより単純な異形は、この必要とされる変換を1つの単一の輝度又はトーンマッピング関数(CC)として通信するが、他の実施形態は、総合的な必要とされる色変換、或いはそれらの輝度変換部分を、色変換のシーケンスとして通信するためであり、例えば、作成側で、SDRをマスターHDRから最適に導出する人間のカラーグレーダは、まず画像の複数の領域の何らかの粗の再増光を行い、次いで、画像内のいくつかのオブジェクトに対する微調整を設計している(輝度の微分変化はまた、そのような代替的実施形態においては、CC曲線形状を介して通信され得る)。実際に計算される必要があるものは、受信したSDR画像からHDRではなくMDR(例えば、1650nit PB_Dの)画像を計算するための最終的な最適関数である。
また、これは、様々な実施形態において様々な様式で行われ得る。例えば、いくつかの実施形態は、入力画像内の任意の考えられるSDR輝度(又はluma)について最終輝度マッピング関数を一度計算し、これを色計算部において、例えば使用されるgt値のテーブルとしてロードし、次いでピクセルごとに色変換を処理する。しかし、代替的に、任意の部分的関数計算の決定は、ピクセルが入ってくるとその場で起こり得るが、当業者は、所望の再グレーディング関数の形状がどのようにして、この特定の画像又は画像のシーンについて、最初はコンテンツ作成者によって設計されたものから確立され、そこから、現在接続されている又は供給予定のディスプレイの制限に協調的に必要とされるものについて確立されなければならないかを理解する。
つまり、多くの値を有することができ、受信した画像のPBに対応しない(受信した色変換を直接入力画像に適用することによって、受信した画像のPBから導出される他のグレーディング済みの画像のピーク明度にも対応せず、その関数は、動画の場合には時点ごとに2つの画像のこの他方の対のみをどのように導出するかの仕様である)何らかのPB_Dのディスプレイを駆動するために、異なる効果の画像を、その受信した画像、及び少なくとも輝度変換(実際にはメタデータとしても定義及び受信され、及び/又は、輝度変換は等価のluma変換に一意的に変換され得るため、luma変換として計算を行うときに適用される)を含む好適に定義された色変換(理解のため、読者は、人間のカラーグレーダによって設計されると制限なく仮定する)に基づいて、定義することができる。任意の受信器側は、そのような関数の形状を少なくとも部分的に決定することができるが、これは、この形状が、例えばPB_Dのような特性をレンダリングする1つの受信側によって少なくとも調整されるからであるが、好ましくは、それはコンテンツ作成者によって定義もされ、これは、LDRとHDR画像との関係を定義する色変換関数を使用することによって典型的には行われ得る。なぜなら、理想的には、ディスプレイ調整は、2つ1組の画像のコーディングについて既に定義された関数に関連した本発明の実施形態が取り扱えるものである任意のHDRシーン又は画像(タイプ、及び様々な画像オブジェクトの輝度レンダリングに対する意味的なオブジェクトタイプ依存の必要性に関して大きく異なり得る)の特定の要件を考慮すべきであるからである。この色変換は、次いで、線形であるにしろ非線形であるにしろ(或いは、他の実施形態ではY’CbCr若しくは他の色表現で)、(オリジナル、又は輝度スケールの、例えば最大値1.0に正規化された表現で)赤、緑、及び青の色成分に対する乗算戦略として最終的に実際に適用される。
必要な関数(又は実際にはその対応する乗法的gt因子)、即ち、恒等変換又は処理なしから始まるその関数の逸脱した形状(受信したSDRグレーディングからSDRグレーディングを、又はHDRからHDRを理論的に計算するとき、SDR lumaをそれら自身にy軸上にマッピングする対角線関数であり、それは、当然ながら実際には行わないが、本発明の様々な原理に従う任意の技術設計、即ち、本技術を理解及び定式化するのに良好な様式ついて正しくなければならない)の間の関係は、一般に測定基準を確立することによって決定される。この測定基準は、とりわけ受信したSDR画像からHDR_5000nit画像を計算したい場合に、外側のケース関数の「伸張」として見られ得る(これは、特に図18において単純なシナリオについて例証される)。当然ながら、より複雑なケースは、様々な考えられる入力画像lumaにわたって変化する測定基準をどちらかが使用するというようなことを行い(例えば図6にあるような実施形態を用いて行われ得る)、及び/又は関数の形状は、受信したものから変化され得、例えば、ディスプレイ調整の場合は、最も暗いピクセルに対する挙動が変化され、それは、例えば追加の偏差又は誘導関数などを導入することによって行われ得る。しかし、中心的な態様は、測定基準を確立できること、及び次いで、任意の入力luma又は輝度についてその測定基準上の位置にディスプレイのPB_D値を計算できることである。研究者の研究はまた、測定基準について様々な方向を選択できることが有利であることを示しており、例えば、対角線に対して直交する方向は、HDRからSDRへマッピングするとき、又は逆の関数によりその逆にマッピングするとき、必要な明度の良好な制御影響を有する。結論として、当業者は、考えられる各入力lumaについて輝度又はluma(例えば、正規化又は非正規化の、即ち、x軸上の実際の入力SDR(又は、図18のようにHDR)輝度、及び、例えば、HDR画像の最大値、即ち、例えばPB_C=5000nitまで及ぶ軸上の任意の必要とされるMDR輝度であり得る、y軸上の何らかの輝度)のグラフ上にM_PB_D(又は、他の実施形態ではM_PB_U)点のセットを位置付ける能力が、入力lumaからMDR画像lumaを計算するための最終の最適関数を確立する(それがそれに応じた見た目の画像を、ディスプレイレンダリングの制限、及び、例えば、任意のTV又はSTBメーカが費用的に支払うことができるICの複雑性によって選択される実用の計算制限を前提に、HDR画像に対して作成するという意味では)ということを本発明の教示から理解することができる(2つの一緒に通信されるグレーディング間の範囲の外側のMDR画像を計算することができるということにも留意されたい)。
有用な実施形態において、方向(DIR)は、入力及び出力輝度又はlumaのプロット内の垂直の測定基準に対応する90度と、対角線の測定基準に対応する135度との間にある。
有用な実施形態において、測定基準の2つの外点(PBE、PBEH)は、受信した入力画像のピーク明度(PB_L)に、及び少なくとも1つのトーンマッピング関数(CC)を含むメタデータにおいて受信した色変換関数にそれを適用することによって受信した入力画像から再構築可能である、色変換関数により一緒に符号化される画像の他方のピーク明度(PB_H)に対応し、本装置が、ピーク明度のその範囲(PB_L〜PB_H)内に入るディスプレイピーク明度(PB_D)を有するディスプレイのために、出力画像(IM_MDR)を計算する。
有用な実施形態において、測定基準は、ディスプレイピーク明度の対数表現に基づく。既に単純な実施形態において、例えば、下の等式1の上方の等式の値gpによって、様々な画像オブジェクトのダイナミックレンジ及び輝度効果を単純な良好な様式でそのように最適化することができ、それは、測定基準上でPB_D依存の位置、及びSDRからMDRへの(又は、通常、からHDRへMDRの)画像導出のための関数の結果としての正しく決定される形状を決定する実施形態に対応する。しかし、当然ながら、上で述べたようなより複雑な実施形態においては、必要な輝度変換関数に対応する測定基準上の位置は、コンテンツ作成者によって決定されるような所望の再グレーディング挙動を指定する通信されたパラメータ、又は例えば周囲照明測定値、推定値、若しくは等価値のような(例えば、視聴者によって入力されるものであって、視聴者がそのような照明下で快適に見ることができるものに関する)環境パラメータなどに基づいて、より複雑に異なるが、依然として、導出は、典型的には、2つの通信されたLDR及びHDRグレーディング済みの画像のPB_C値間の実際に利用可能なPB_D値の対数定量化から始まる。
有用な実施形態は、入力画像(Im_in)の作成時に先に決定された第2の色処理仕様データ(MET_2)から調整パラメータ(gpr、gpm)を取得するようにさらに構成され、ディスプレイピーク明度(PB_D)の位置とは異なる測定基準上の位置に対応する結果的共通乗法的因子(gtu)を計算するように構成される、スケーリング因子決定ユニット(200)を有し、異なる位置は、調整パラメータの値に基づく。読者は、いくらかの時間をかけてこれを熟考しそれを理解することが重要である。コンテンツ作成側が、HDR画像グレーディングとLDR画像グレーディングとの、即ち、伝送側で作成されたものと受信側で確立可能な画像(例えば、100及び5000nit PB_C)との関数マッピングの正確な形状を決定することを可能にする第1のメカニズムが存在する。これにより、それぞれの特定のHDR応用が必要とする品質レベルに従って、HDR画像オブジェクト輝度がどのようにSDR輝度にマッピングするべきかを決定することが可能になるが、それは既に単純な作業ではない。例えば、夜間に明るく照らされたショーウィンドウ、さらにその隣には暗闇に何台かの自転車がある場合、グレーダは、(図1で紹介されるように)1つ又は複数の輝度マッピング関数を使用して、暗い自転車がどの輝度を有するべきかをほぼ正確に決定する(その結果、自転車は、例えば、典型的なSDR画像レンダリングではちょうど目に見え、幻影を台無しにするほど明るすぎず、黒色の中で目につかないほど埋没されることもない)。一方、ショーウィンドウ内のスポットライト下の明るい物体については、最適輝度を選択し、同時に画像の暗い部分との十分な明度差、並びにウィンドウの後ろの物体の十分な域内コントラスト及び彩度を作り出すことも簡単な作業ではない(一方で、読者は、それらの関数を選択することによってそのようなSDRグレーディング済みの画像を送るときにIm_RHDRの再構築能力を保証することも忘れるべきではない)。そのため、それは既に、本技術が、2つのグレーディング済みの画像(例えば100及び1000nit)だけを作成するときにさえ十分に良好に取り扱うことができるべき作業である。MDR画像を導出するための本発明の実用的解決策の背景にある考え方は、それらの色変換関数内には非常に重要な情報が存在するということ、これが、素晴らしい対応するMDR画像を作成するために受信側アルゴリズムによって使用され得るということである。しかし、画像によっては、及び特にHDRシーンの複雑性によっては、そのような自動MDR作成アルゴリズムを頼りにする場合、代表的なLDR及びHDR画像のこのおそらくは本当に完全主義的にグレーディングされた対と比較していくらかの正確性を失う可能性がある。そこで、コンテンツ作成者(即ち、典型的にはカラーグレーダ)が望む場合、コンテンツ作成者は、例えば、どのようにして、測定基準が構築されるか、及び例えば図6に例示されるように、測定基準上のPB_D依存の点が計算されるかなど、MDR変換関数が導出される実際の様式をより正確に制御するために、自らが必要とするものに従ったメタデータの第2のセットを送ることができる。そこでここでは以下のことを強調する。第1の色変換関数メタデータ(例えば、受信したSDR画像Im_inからマスターHDR再構築Im_RHDRを計算するため)は、再グレーディングが、2つの遠く離れた例示的なグレーディング(HDR PB_Cは、例えば、典型的には、SDRグレーディングの100nitよりも少なくとも10倍高いが、少なくとも高品質HDRシーンの場合は、好ましくはそれよりも高い)から始めて、どのようにしておおよそ及び全体的に作用するべきかを指定するが、メタデータの第2のセット(MET_2)は、グレーダが発生させ得る様々なレンダリング制限のために実ディスプレイ調整挙動のさらなる指定を可能にする。グレーダは、それを様々な様式で行うことができ、例えば何らかの重大な影領域は、そこで重要なアクションが起こるため注意して取り扱われなければならず、さらに大半のレンダリングシナリオにおいては素早く明るくならなければならないということ、又は代替的に、いくつかの明るい領域は、強力に(ソフト)クリッピングされるということを把握することによって行うことができるか、或いは、グレーダは、例えば、何らかの典型的なMDR参照ディスプレイ(例えば、1000nit HDR符号化の場合は500nit)上での挙動を見る。
有用な実施形態において、スケーリング因子決定ユニット(200)は、少なくとも1つの入力パラメータ(gpr)の関数として測定基準上の正規化位置を出力として与える単調関数を適用することによって、異なる位置を決定するように構成され、この単調関数は、色変換によって、自律的に、又は入力画像(Im_in)の作成時に先に決定されたどの関数形状を使用すべきかを指示する指示メタデータに基づいて、決定され得る。それは、何らかの関数として位置決め挙動を決定するのに有用である。これにより、所望の場合には、それらの測定基準の長さが関数、即ち、考えられる入力lumaに沿って変化するにもかかわらず、測定基準に沿った何らかの類似の挙動が可能になる。例えば、それは、何らかの閾値、例えばPB_C_HDRの90%(即ち、例えば4500nit)を上回るすべてのディスプレイは、PB_D=5000nitのHDR参照ディスプレイと同一であるものとし、マスターHDRグレーディングにできる限り近いMDR画像をレンダリングすると見なすことを可能にする。そのような関数は、受信装置自体によって確立され得る(例えば、選択され得る何らかの映画レンダリングモードの固有の挙動として)か、又は関数に関する何らかの情報、例えば、全体的な単調関数自体が、作成側から通信され得る。この関数は、測定基準に沿って、即ち、PB_Dに応じるが依然として例えば対数計算が指示するよりもSDR−マスターHDRマッピング関数に近くに、M_PB_D点を位置決めする(例えば、図15に例証されるように)こと、及びこの関数は、SDR画像からHDR画像を計算するための関数、即ち、輝度変換関数と混同されるべきではないということを強調する。
有用な実施形態は、入力画像(Im_in)内のオブジェクトの色を分析し、そこから、例えば調整パラメータ(gpm)、又は方向(DIR)、又は結果的共通乗法的因子(gt)の計算において使用されるべき測定基準上の正規化位置を出力として与える単調関数の形状など、出力画像(IM_MDR)の計算を制御するパラメータのうちの少なくとも1つについて値を決定するように構成された画像分析ユニット(1110)を含む。いくつかの実施形態は、コンテンツ作成側で作成された輝度変換関数に関する知識を有効に活用することができるが、ディスプレイ調整をほとんど自ら決定することができる。次いで、いくつかの実施形態は、例えば、どのような種類の暗い領域、平均的な領域、及び明るい領域が画像内に存在するかを評価し、さらに例えば、平均的な中間輝度領域が、ハイライトの取り扱い、例えば圧縮に対して、どのように変更されるか(例えば、それらの出力輝度及びコントラスト)に影響する方向DIRを決定する(これは、視聴者が認識すべき意味のある物体を含む上述のショーウィンドウでは、例えば、ウィンドウに刻まれているか又はサンドブラスティングされている商標のような特に重要な商用物、即ち、低コントラストを有するが依然としてすべてのMDRディスプレイ上で認識可能である必要があるもの、対して、例えば、大半のユーザにとっては単一の白色にクリッピングされるのが適当であるいくつかのランプが存在する場合、異なって行われる)。
本装置の別の有用な実施形態は、入力画像(Im_in)の最も明るい輝度の部分的範囲についてディスプレイピーク明度(PB_D)への最小ハードクリッピング量を決定するように構成されたクリッピング量決定ユニット(3710)を含み、結果的共通乗法的因子(gt)の計算は、入力輝度をディスプレイピーク明度(PB_D)にマッピングするために部分的範囲内の入力画像の輝度について決定される。コンテンツ作成者又はTV製造業者が、何らかの最小クリッピング量を所望する、又は可能にする場合(小さい部分的範囲、例えばlumaの最も明るい3%の輝度の最も明るい10%にわたって)、このユニット3710は、これを指定することができる。これを実現する1つの実施形態は、輝度関数決定ユニット(3712)によって決定されるように、用いられるべき最終輝度マッピング関数(F*)の計算を誘導する何らかの補助関数F_ALTによるものであり得る。そのような方法の例は、クリッピング関数である関数F_ALT、即ち、入力lumaに関わりなくPB_Dの出力結果(例えば、最大で1500nitの白色をレンダリングすることができるディスプレイでは、1500nit)をもたらす関数を使用することであり得、これは、関数ジェネレータ3711が生成することができる代替関数のうちの単に1つである。
以下の実施形態も対象である。輝度関数決定ユニット3712は、次いで、例えばSDR入力画像lumaからMDR lumaの計算を直接行うLUTにロードされるべき最終関数を決定し(即ち、例えばその例示的なトポロジのユニット2501にロードし)、結果として生じる関数はハードクリッピング代替調整戦略に向けたハードスイッチ又は段階的退色である(図38に例証された可能性の説明例を参照のこと)。
さらに別の興味深い実施形態、特に周囲の照明に依存した調整を行うことで興味深い実施形態は、黒色レベルの推定を確立する黒色レベル推定ユニット(3702)を有し、結果的共通乗法的因子(gt)の計算は、この黒色レベルに依存する。これは、最適関数決定ユニット(3701)内の別のユニットであり得、それは、例えば、IC内の中心となる色変換部とやりとりして作用するソフトウェアである(これにより、ファームウェアによる更新が可能になり、例えば、新たな若しくはより良い調整戦略、又はコンテンツ配信チャンネル若しくはサブスクリプションなどに応じた様々なレベルの品質を可能にする)。典型的には、実際に利用可能なMDRディスプレイ上の、即ち、MDR画像内の輝度レベル又はlumaレベルを示すものであって、それを下回ると画像の詳細が目に見えなくなるか、又はほとんど目に見えなくなる黒色レベル推定は、実際には、例えば、リモートコントロール、即ち、レベル推定を取得するための何らかの入力3755のような、照度メータ又はカメラなどに同様に接続され得るユーザインターフェースを介して実用的によく作用する値を視聴者に尋ねることによって、様々な様式で決定され得る。
多ステップ調整、例えば、結果的共通乗法的因子(gt)の計算が粗の輝度マッピング関数(Fcrs)及び密の輝度マッピング関数(CC)に基づく実施形態において、まず、最適化された粗のマッピング関数(FCrs_opt)が、実ディスプレイレンダリング状況に対応する輝度の最適部分的範囲を決定するために少なくともディスプレイピーク明度(PB_D)に基づき決定され、この粗のマッピングが、粗のluma(Y’CG)を生じる入力画像に適用され、次いで密のマッピング関数が、密の輝度マッピング関数(CC)及び少なくともディスプレイピーク明度(PB_D)に基づいて最適化され、この密のマッピング関数が粗のlumaに適用されることを特徴とする、実施形態について調整挙動を制御する方向に関して実施形態を多様にするということも興味深い。これにより、例えば、ディスプレイピーク明度に対応する粗及び密の輝度マッピングが、異なる方向(DIR)を有する測定基準(1850)に沿って決定され、好ましくは、粗のマッピングが対角線的に、密のマッピングが垂直に実施されるということが可能になる。当然ながら、さらなる実施形態が、次いで、これらの少なくとも2つのサブステップが様々なMDRディスプレイについて調整をする様式を、それ(例えばgpm値又は類似のメタデータ)を指定する第2のメタデータMET_2を受信することによって、さらに微調整及び制御することができる。
視聴環境のさらなる特性、即ち、単なるディスプレイ特徴を超えた特性に適合する実施形態では、まず、輝度マッピング関数が、一定の照明レベルを有する参照観察状況に従って確立され、続いて、この関数が、黒色レベルの値について調節され、この調節された関数から、結果的共通乗法的因子(gt)が、例えばユニット3701において計算されるという場合が有利である。
これらすべての調整ユニット又は装置は、デコーダの後ろに物理的に実現され得る(即ち、例えば、マスターHDRグレーディングに密接に対応するIm_RHDRを導出する)か、又はデコーダと統合され得、即ち、SDR画像からMDR画像を直ちに導出する(次いで、HDR画像は、中心となる色変換エンジンにおいて使用するための最適関数のソフトウェア計算において使用される)。
他の興味深い実施形態及び異形は、例えば、以下である。
出力画像の結果的色を計算するために必要な結果的共通乗法的因子(gt)の計算の例示的な実施形態は、まず、ディスプレイ、特に画像をレンダリングする接続されたディスプレイのピーク明度(PB_D)及び入力画像に対応する参照ピーク明度(PB_IM1、例えばPB_H)の比率の対数を、参照ピーク明度(PB_H)、及び、典型的にはHDRシーンの第2の受信したグレーディングである入力画像の輝度ダイナミックレンジとは少なくとも因子1.5異なる輝度ダイナミックレンジの画像(Im_LDR)に対応するピーク明度(PB_IM2、例えばLDRグレーディングのPB_Lである)の比率の対数により除算したものの比率(gp)をまず計算することを含む。その後、色変換装置は、比率(gp)である冪で累乗される初期共通乗法的因子g(第1のグレーディング及び第2のグレーディング、典型的には、HDR及びLDR効果画像の間で変換するのに使用されるすべての部分的な色変換の合計から決定された)として結果的共通乗法的因子(gt)を計算する。
そのような測定基準は他にも存在し得るが、測定基準は何でもいいわけではなく、MDR効果がPB_Dディスプレイにレンダリングされるときに満足のいくものであるように、ディスプレイ(PB_D)の中間ピーク明度が、PB_HとPB_Lとの間に正確に又はおおよそ入るべき場所を位置付けるために使用されるときするべきである(さらに、特に、それは、測定基準が、[PB_IM1,PB_IM2]範囲の外側の効果を外挿するときに良好な結果をもたらす場合にも有用である)。
そのため、本装置又は方法は、まず、2つの符号化された/受信した効果画像(Im_in及びIM_GRAD_LXDRであり、IM_GRAD_LXDRはHDR又はLDR画像であり、他方の画像は、大幅に異なるダイナミックレンジを有する)間の色変換がどれであるかを決定し、色変換は、様々な実施形態において、実際に、例えば(正規化入力と出力輝度との間の)関数、又は乗法的因子gのうちの1つ若しくは乗法的因子gのセットとして計算を行うユニットに示され通信される。
多くの実施形態において、MDR出力画像のまさしくすべての色がこの方法で計算されるが、他の実施形態においては、ピクセルの一部だけが再計算される。例えば、本方法は、シーン、又は何らかのテキスト若しくはグラフィック要素の一部を、例えばLDR画像からコピーし、火球又は屋外の方を向く窓などに対応するピクセルだけを増加させる。そのような場合、関数はまた、考えられる輝度の範囲の一部分などにのみわたって定義される。
最終的に、例えばHDR画像からMDR画像を導出するためにどんな色処理の計算が必要とされるにしろ、本装置は、典型的には線形RGB色表現である入力色で乗算するために、これを乗算値のセットへと変換する(又は、同様に、例えば、Lu’v’表現のL成分を乗算することができ、ここでu’及びv’はCIE1976色度座標であるが、それらの詳細は、ディスプレイ調整の様々な実施形態を理解するのには関係がない)。
そのため、本装置は、まず、PB_IM1値とPB_IM2値との間にPB_D値を位置付けるためにどの測定基準が必要とされるかを決定するために、能力測定基準決定ユニット(1303)を必要とする。この測定基準は、典型的には非線形であり、調整パラメータのうちのいくつかを用いて、本装置は、コンテンツグレーダの誘導の下いくつかの有利なシナリオにおいて、非線形性の形態にさらに影響を与えることができる。これはとりわけ、ディスプレイ調整が、非線形の人間の視覚の外観の下でさえ、単なるディスプレイ物理特性ベースの適合だけでないことが理由であるが、(特に非常に高いDR)HDRからLDRへ移すことが理由で、すべてのオブジェクト輝度を一緒に押し込み、素晴らしく協調された効果を依然として得るために複雑な最適化を行う必要がある(第2の画像もHDR画像、又は十分に高いPBを有する少なくともMDR画像である場合、物事はより簡単である)。それにもかかわらず、ここでは、理想的には、少数のパラメータを用いてHDRコンテンツのクラスに必要とされる効果調整制御の少なくとも大半を素早く得るために、システム実施形態が適度に単純であることを好む。
能力測定基準決定ユニット(1303)は、事前に固定された測定基準(例えば、ICにハードエンコードされている)を使用するのと同じくらい単純なことを行うか、又は他の実施形態においては、能力測定基準決定ユニット(1303)は、それが事前に同意されたメタデータフィールド内の受信信号S_imを介してコンテンツ作成者から受信する測定基準タイプインジケータ(COD_METR)から必要な効果を決定する。様々なHDRシーンは異なって取り扱われるため、グレーダは、例えば、晴れた屋外の行為の映画での第1のシーンでは、使用される測定基準が対数比率(及びおそらく、方向、垂直方向、入力輝度の軸に対して直交する、以下を参照のこと)であることを通信するが、次のシーンが夕方のシーンになるとき、いくらか明るい効果を得るために、コンテンツ作成者は、ディスプレイ調整がOETFベースの測定基準で(及び、例えば恒等対角線方向に対して直交して、又は言い換えると、入力輝度軸から135度に)行われるべきであることを命令する。或いは、コンテンツがリアルタイムで再グレーディングされた(又は、例えば、後の視聴者のために処理され、視聴者の敷地においてHDD上に記憶される)MDRであるべきかどうかによって、例えばSTB内の色変換装置は、何らかの計算を行い、画像統計を見て、測定基準が少し変更されるべきか、又は意図したディスプレイがほんの少し暗かったかのように、PB_Dが変更されるべきかを検討し、いくらかより明るい画像、又は、人間によってであろうと自動の画像品質分析アルゴリズムによってであろうと、MDR効果が満足のいくものであると判断されるまでパラメータに影響を与えるディスプレイ調整の任意の変化をもたらす。受信側装置能力測定基準決定ユニットは、その独自の測定基準を、例えば映画の画像のセットの統計分析から構成するが、典型的には、それは事前にプログラムされたオプションのセットのうちの1つを単に選択する。
次いで、結果的乗数決定ユニット(1310)は、以下で例により説明されるように一般的には、輝度変換マップ上に測定基準を位置決めし(又は実際にその計算において等価のことを行う)、ディスプレイピーク明度がコードされた画像間のどこに入るか(即ち、少なくともピクセル色の何らかの部分的範囲、又は入力画像Im_inのピクセルの何らかのサブセットにわたって、よりHDRに近いMDR画像又はよりLDRに近いMDR画像のどちらが必要とされるのか)を決定し、次いで、総輝度変換関数の形状を見ることによって、考えられる各入力輝度について、どの結果的共通乗法的因子gtが、対応する出力輝度を計算するために、又はMDR画像内の対応するピクセルの因子出力色において必要とされるかを決定する。
そのため、撮影されたシーンの第1のダイナミックレンジ効果(例えば主画像として5000nit HDR)から第2のダイナミックレンジ効果、例えばLDR(100nitレガシーディスプレイを駆動するため)へと変換する本発明の技術的な色変換関数パラメータを使用することによって、2つのダイナミックレンジ効果がどう見えるかグレーダが希望することに関してグレーダの審美的要望が何であるにしろそれに従って、画像オブジェクトのために輝度マッピングをコード化するものであり、図1で説明されている、したがって第1の参照グレーディングの画像から単に第2の審美的参照グレーディングを生じる、初期共通乗法的因子(g)を使用する代わりに、新たな結果的共通乗法的因子(gt)が計算され、それはMDR画像を与える再グレーディングの好適に明度スケーリングされた又はディスプレイ調整されたバージョンを特徴とする。例えば、本装置又は方法は、HDR主画像(述べたように、共通因子を用いたRGBピクセル色に対する単一の乗法作用として定式化され得る)からダウングレードする。これにより、中間ピーク明度、例えば1250nitの接続可能なディスプレイに好適な効果を有する中間のグレーディングされた画像(MDR)が生じる。即ち、撮影された画像内のすべてのHDRシーンオブジェクトが、適度な明度でそのディスプレイにレンダリングされ(それらが、例えば、涼しい影の領域であるにしろ、幻想的な池であるにしろ、警察に尋問されている犯罪者の明るく照らされた顔であるにしろ、コンテンツの作成者にとって望ましいように、及び見て満足であるように)、さらにそれを任意の所与のディスプレイ上に、場合によっては視聴環境などの他の因子を考慮してレンダリングする。また、実施形態において、画像オブジェクトのピクセル色の明度に加えて、ピクセル色の彩度も、LDRグレードにおいて明るい色のオブジェクトを作成するために、例えば必要な飽和低減の好適にスケーリングされたバージョンを適用することによって、好ましく最適化される。大幅に異なるピーク明度のディスプレイのために正しくグレーディングされた画像を取得するための主な要件は、様々なオブジェクトの少なくとも輝度が各ディスプレイのために正しく最適化されることである。そうでなければ、視聴者にとって、例えば、画像のいくつかの部分が暗すぎて見え、判別性が不十分にさえなる。或いは、いくつかのオブジェクトは、例えばコントラストが小さすぎるなど、誤ったコントラストを有する。しかし、g因子を用いた乗算として輝度変換を定式化する方式が分かったため、同じ概念を色飽和処理にも適用することができる。また、例えば、グレーダは、低いピーク明度、例えば100〜600nitのディスプレイにレンダリングするときシーンの最も暗い部分の彩度を上げることを望むため、色飽和変換も、大幅に異なる輝度ダイナミックレンジのディスプレイ用の画像間で変換する必要があるときに有用な処理である。
gtの計算は、受信側で行われるが、典型的には、受信器が何をするかを検証するために作成側で行われてもよい。さらに、いくつかの実施形態においては、作成側は、任意の受信側でのgt値の計算を却下して、例えば映画の1つ又は複数の場面についてそれらを直接指定し得るが、ここでは、説明においてより単純な計算実施形態に焦点を合わせる。
「自然な」効果、又はより正確には、様々なピーク明度(及び/又はダイナミックレンジ)の関連ディスプレイ用の効果群と、いくつかの原理に従ってさらに調整されている再調節された効果との区別をすることは可能である。受信側で再調整するのには様々な理由があり得、ここでは、ディスプレイの視聴パラメータ、環境、視聴者適合などは、効果がどんなものであるべきかを最終的に決定するが、典型的には、HDR画像又は動画取り扱い系統においては、画像がレンダリングされるディスプレイの少なくともピーク明度が、何よりも重要である。一方、画像作成から消費までの系統においていくつかの関係者は、最適効果が何であるかについて意見を出す可能性がある(例えば、最終消費者は、その事柄に対する特別な考え又は必要性を有する)。いくつかのシステム(本発明の実施形態を説明するために使用することができる)は、コンテンツ作成者が、受信側ディスプレイにどんなコンテンツが表示されるにしても最終的に最適な「自然な」効果がどんなものであるべきかという何らかの意見を、コンテンツ作成者がそう望むのであれば、維持することを可能にするものとすると仮定する。本発明の最も単純な実施形態は、これを可能にするが、それは、効果の主要部分が、画像と関連付けられた第1のメタデータMET_1において通信される(例えば、同じ光学ディスク若しくは画像を含む媒体上の、又は同じ画像通信接続を介して)色変換仕様で既に符号化されており、これを受信ディスプレイの特定のピーク明度へと単に調節する場合、撮像されたシーンに対するグレーダの視点の大半は、最終的にレンダリングされた効果に存在し知覚可能であるためである。実際、色変換装置が、単に測定基準をそのまま、即ち、gprのような効果変動性定義パラメータでのさらなる微調整なしに適用し、次いで、受信した色変換(TMFが例えばHDR−LDRマッピングを決定する)に基づいてHDRからMDRへの色変換関数を決定する場合、MDRは、HDR−LDR変換関数において符号化されるようなグレーディングの違いによってのみ決定される。
しかしながら、他の関係者も、効果について意見を出す場合があり、これは、本発明の様々な実施形態の全く同じ技術的構成要素を用いて、典型的には自然な効果の再決定として、決定され得る。例えば、装置製造業者、例えばテレビ製造業者もまた、たくさんの知識、及び/又は特定の種類のHDRシーンレンダリング(又はそれに対応するMDRレンダリング)がどう見えるべきかについて好みの考えを有する。例えば、装置製造業者は、自らのディスプレイの平均を上回る暗いレンダリング能力を強調したいがために、暗い地下室をもう少し明るく又はさらに暗くすることを望む場合がある。或いは、装置製造業者は、平均よりも多くの又は逆に少ない飽和効果を望む場合がある。或いは、装置製造業者は、他のディスプレイハードウェア特殊性、又はベンダーに典型の色効果のようなベンダーの好みなどのために、色処理を行う場合がある。過去には、それは、同じ撮像されたシーンにおける効果が様々なレンダリングシナリオ間でどのように変わるべきかについて作成者がどう考えるかとは関係なく(そのため、色は、綺麗な淡い色合いではなく過飽和となる可能性がある)、テレビによって、受信した画像の分析後に、受信した画像について何も分からないまま、又は常に合理的な結果、例えば、増大した飽和の結果をもたらす一定の関数を用いて、行われていたが、本発明の手法では、装置製造業者のさらなる処理が、審美的な作成者がシーンについて考えることと協調され得る(通信された第1の効果画像、例えば500nit HDRにおいて符号化されるような効果から、第2の参照効果、例えばレガシー100nit LDRへと移る作成者の色変換において符号化されるように)。また、特に、人間のグレーダが、シーン及びその画像のスマートな特殊性に基づいた自らの選択を、どの受信装置がよりスマートな最適再グレーディング計算を行うことができるかに基づいて行うため、HDRシーンの少なくとももう1つのダイナミックレンジグレーディングのこの関数による再指定により、装置製造業者(例えばTVメーカ)は、はるかに関連した意味情報を有する。本発明の新たな効果再グレーディング技術によって画像の最終的な効果について意見を提供され得る総称的にサードパーティさえ存在する。視聴者が、例えば、視聴者の妻が隣で本を読んでいるため、現在画像が部分的に暗すぎると思う場合には、視聴者は、効果を、自らのリモートコントロール1122により、例えば、典型的には少し(例えば最大3段階の変化の大きなステップさえ用いるが、輝度範囲の一部分、例えば10%の最も暗い色に対してのみ)微調整する場合がある。
そのため、本発明の色変換装置は、グレーダが自らの色変換関数として指定したもの(メタデータMET内で、より正確には、通信された画像Im_inと関連付けられたMET_1)を主に頼りにし、この関数はIC内に実装するのが簡単であり、グレーダからの追加のグレーディングアテンションを必要としない。いくつかの実施形態におけるグレーダの唯一の行動は、そのようなディスプレイ調整されたMDR動画、例えば太陽に照らされて光輝く惑星が登場するサイエンスフィクション映画、又は様々な光エフェクトのあるTV番組が、グレーダによって選択された中間ピーク明度ディスプレイで綺麗に見えるかどうかを(素早く)チェックする以上のことである必要はない。例えば1000nitは、5000より下に約2段階及びLDRより上に約3段階であるため、5000HDR/100LDR符号化では、良好な中間(MDR)ディスプレイである。またさらに、そのチェックは、グレーダが自分の自然な効果のさらなる調整について受信側だけを頼りにする(即ち、グレーダは、自分のマスター主効果、例えばLDR100nitに加えて1つのさらなる参照効果をグレーディングするために自分の色変換を指定するだけであり、次いですべてのさらなる再グレーディングは、機器製造業者、例えばコンピュータなどで実行する色改善ソフトウェアによって対処される)場合には省かれることさえある。
機器製造業者が、どのようにして再グレーディングが受信側で好ましく起こるべきかについて、何らかの検証又はおおよその特定の指定を行う場合、グレーダは、例えば色変換関数及び主画像を、特定の接続可能なディスプレイに対して調整されるグレーディング最適化方法(より単純な実施形態においては、主画像、即ち、共通乗法的因子(g)又はそれと対応する輝度マッピング関数TMFを計算するためのデータから第2の画像をグレーディングするための関数であるが、より高度な実施形態においては、より正確な最適化戦略を指定する追加のパラメータである)を受信側で適用するために必要とされるあらゆる情報と一緒にブルーレイディスク又は後で顧客に供給するための中間サーバに記憶することによって、現在機器製造業者(又は自動提案)によって選択されている、満足のいくMDR画像をもたらすさらなるグレーディング最適化方法を承認する。次いで、受信側は、例えば1250nitピーク明度に対して第3のグレーディングを自律的に決定することができ、例えば色変換装置がインターネットを介してプロ用の動画供給サーバに組み込まれる場合、この第3のグレーディング済みの画像をそれが顧客又は顧客のグループ若しくはクラスによって必要とされるときのために記憶する。
色変換装置は、最適化されたMDR画像を供給されることになるディスプレイについてピーク明度PB_Dの値を得、例えば単一のディスプレイのみが接続される(例えば装置がテレビに組み込まれる)ならば、PB_Dは、何らかのICメモリ部分に記憶される一定の数字である。装置が例えばSTBである場合、装置は、接続されたTVからPB_Dをポーリングする。次いで、色変換装置が、このPB_Dが、2つのグレーディングされたHDR画像及びLDR画像に対応するピーク明度、即ち、これらのグレーディングが最適に見えるように作成された対応する参照ディスプレイのPBにどのように関係するかを評価する。この関係性は、例えば、対数比率gp、又は同等に相対的差異として計算される。この比率は、最適な見た目の良い中間の(半)自動再グレーディング戦略となるように使用される。そのため、本発明の原理は、輝度変換経路のみに対するか、若しくは色飽和処理経路のみに対するかの両方に、又は、同じ適切なディスプレイ依存の調節原理を、2回、しかし状況又はグレーダが任意のHDR画像又は動画に対して必要とすることに応じて異なる色変換仕様で、適用することによってそれら両方に対して適用され得る。
有利には、色変換装置(201)は、接続されたディスプレイからディスプレイのピーク明度(PB_D)を受信するように構成されたディスプレイデータ入力(117)を備え、その結果、色変換装置(201)は、場合によっては動画を見ているときにオンザフライの計算を行うことによって、任意の利用可能な及び/又は接続されたディスプレイについて受信側で正しいグレーディングを決定することができる。この実施形態はまた、ディスプレイ、例えばテレビ自体の中に存在するため、このディスプレイは、その独自の最適化グレーディングを本発明のHDR符号化のデータから(例えばメモリに記憶されているPB_D)から決定することができる。そのような様式では、本発明のHDR符号化技術は実際に、HDRシーンに対する一束の効果を符号化し、それは、例えば、多視点システムが、シーン上の様々な異なって角度付けされた視点をどのように符号化できるかというようなものであり得るが、ここではこの差異は非常に異なって色空間内で起こる。対照的な実施形態は、例えば、特定のPB_Dクラス値周辺のピーク明度を有する様々なタイプのディスプレイのためのいくつかのグレーディングを、後で顧客に供給するため、又はさらなるカラーグレーダなどによるそれらの効果に関する微調整のため、事前計算するプロ用の動画サーバ内に存在する。
実施形態は、ディスプレイ調整のさらなる変数を決定する。例えば、色変換装置(201)は、入力色の輝度の軸に対する方向(DIR)を決定するように構成された方向決定ユニット(1304)をさらに備え、測定基準を方向(DIR)に沿って位置決めすることによって出力画像(IM_MDR)のピクセルの輝度を入力画像(Im_in)のピクセルの輝度から決定するように構成された方向補間ユニット(1312)を備えるスケーリング因子決定ユニット(200)を有する。1つの有用な例として、本発明の技術は、水平方向に補間することができる、即ち、輝度変換のマップ上でどの出力輝度がx軸上の入力輝度に対応するかを決定することができる。本発明のさらなる研究は、様々な輝度変換は様々な定義及び挙動を有し、またそのような異なる調整は、例えば、輝度の少なくとも何らかの部分的範囲においてはより明るい効果を作成する(例えば一部の関数は、一定の入力輝度位置で、一面に広がる暗灰色など様々な輝度変換挙動を有するセグメント間のノードにより定義され、次いで、方向補間がこれを変更することができる)ため、本発明の技術が、PB_Dに対応する中間MDRがどこに位置付けられるべきか、及びそれがどのように色処理されるべきかを決定するために、補間方向を回転させるのに有用であるということを示した。特に、入力輝度軸から135度の位置が興味深い位置であるということが分かったが、それは、恒等変換と比較して直交して調整され、例えば外挿が、次いで、この対角線と比較してほぼ対称にミラーリングされるように最初に定義されるためである。次いで測定基準をどのようにこの方向DIRに沿って配備するかを以下に示すこととし、当業者は、幾何を行うことによって、ここから数学的等式をどのように導出するかを理解するものとする。
この場合も、この方向は、例えば、受信側装置によって、例えばHDR画像のタイプのその分類に基づいて、自律的に決定されるか、又はそれは、方向インジケータCOD_DIRとして、コンテンツ作成側から通信される。方向補間ユニット1312によって実施される、輝度変換関数を含むマップの回転を適用することによって計算を行うことができる有利な実施形態を示す。
次いで、共通乗数決定ユニット(1311)が、入力色の乗算のための様々な必要なgt因子においてMDR効果を取得するための必要とされる色変換を変換する。
有利には、色変換装置(201)は、第2の色処理仕様データ(MET_2)から調整パラメータ(gpr、gpm)を取得するようにさらに構成され、ディスプレイピーク明度(PB_D)の位置とは異なる測定基準上の位置に対応する結果的共通乗法的因子(gt)を計算するように構成される、スケーリング因子決定ユニット(200)を有し、異なる位置は、調整パラメータの値に基づく。上で述べたように、測定基準は、それが例えばコンテンツ作成者又はさらなる画像分析及び一般的なベンダー固有のHDRノウハウから他に何も受信しない場合、概して十分なMDR効果が何であるべきかを決定する、即ち、MDR効果が、多くの種類のHDRシーンにおいて既に概して良好である。その理由は正確には、それが、HDRシーンの様々なグレーディングが少なくとも第1のPB範囲終点(例えばPB_H)から第2のPB範囲終点(PB_IM2は、したがって、例えばPB_Lである)にどのように変化すべきかを決定する受信した色変換関数(例えばカスタム曲線CC)に基づいて、既に最適に決定されているからである。しかしながら、一部の画像、又は暗い地下室のような何らかの種類の領域若しくはオブジェクトに対応する一部の画像のいくつかの部分については、LDR効果に対するより速くより積極的な変化を、また、他の状況ではPB_IM1からのPB_Dの偏差に応じて「平均」(単に、測定基準及び方向を使用して決定されるような)より積極的でない変化を必要とする。これは、できる限り容易な様式でグレーダによって指定されるべきである。本発明の技術の最も単純な実施形態において、グレーダは、1つの単一パラメータ(gpr)を使用して、MDR計算点に対応する使用予定のM_PB_U点が、PB_Dを測定基準上に置くことによって受信側装置により「盲目的に」計算される場合よりも、測定基準上で例えばどれくらいPB_Hの近くにあるべきかを示すことができる。
例えば、いくつかの実施形態において、スケーリング因子決定ユニット(200)は、最小値、例えば外挿のための負のmn_gpr又は0と最大値(mx_gpr)との間にある少なくとも1つの入力パラメータ(gpr)の関数として測定基準上の正規化位置を出力としてもたらす単調関数を適用することによって、また当然ながら、ディスプレイ状況と相関関係にある何らかの入力値、即ち、PB_Dにも依存して、異なる位置を決定するように構成される(gprは、例えば、図15の線形のものなどの周辺で湾曲する曲線の曲率の尺度であり得る)。測定基準上の位置の直接的な決定の場合、入力値は、PB_D自体であるか、又は入力値は、このPB_Dの何らかの関数、例えば使用される測定基準である。このgpr値は、グレーダによって、例えばノブ1510によって設定され得るか、又は、受信側で人工知能画像分析によって計算され得る。MDR効果を得るために必要とされる変化を、HDRグレーディング、又は一般には受信した主たるグレーディングを理論的に計算する場合には恒等である色変換として、それ自体、及び範囲の対極から、定式化することができ(少なくとも補間のために、及びこれは、それに応じて、外挿が必要とされるときに適合され得る)、即ち、例えば100nit LDR効果は、通信された輝度変換(即ち、「全部の」)を適用することによって取得され得るため、これを、全く何もしない、即ち、1.0での乗算か、最大限、即ち、受信したHDR画像からLDR効果を計算するための受信したメタデータに対応するgでの乗算のいずれかの間で乗法的変化を適用することと見なすことができる。これから、様々な入力輝度の実際の乗算値が何であるにしろ、図15に例示されるような連続関数を定義することができ、この連続関数は、ディスプレイシナリオを特徴付ける入力、及び所望する再グレーディングの種類を特徴付ける少なくとも1つのgpr値に応じて、色変換を最大限(m_MT_norm=1)に適用するか、又は全く適用しないか、或いはその中間の何かである。
スケーリング因子決定ユニット(200)が対数ベースの測定基準を使用し、g値をその計算された修正比率まで引き上げることによってgt因子を計算する色変換装置(201)の実施形態を有する場合、当業者は、この比率を修正することが有利であるということを理解できる。これは、実用的には、例えば色処理仕様データ(MET)から調整パラメータ(gpm)を取得し、次いでPB_Dが何に対応するかの対数測定基準計算から出る比率(gp)であり、調整パラメータ(gpm)である冪で累乗される調整された冪値(gpp)を計算することによって行われ得、及び次いで、調整された冪値(gpp)に等しい冪で累乗される初期共通乗法的因子(g)である共通乗法的因子(gtu)のさらに調整されたバージョンが計算され、gtuは、(例えば)線形RGB入力色を乗算するためにスケーリング乗算器(114)によって通常通りに使用される。言うまでもないが、熟練した理由に対して完全に明白にするためにあえて言うと、この冪値gpmはガンマ値のように見えるが、これは、ここでは、HDRシーンの特殊性、及び例えば合理的なLDRグレーディングを取得するために必要であった審美的最適化の種類に応じた、何らかのPB_Dと対応する何らかの必要とされるMDR画像色のための他のグレーディング済み効果に向けた必要な調整の積極性の制御パラメータであるため、ディスプレイから、又は一般的な画像増光から知られるガンマとは全く無関係である。冪関数は図15において説明されるようなタイプの挙動を設計するための実用的様式であったということだけが事実であり、いくつかの数学的関数が普遍的に配置可能であるということは、単なる数学的一致にすぎない。
好ましくは、中間グレーディングがどのように見えるべきかについてコンテンツ作成者がさらに意見をすることを可能にする技術解決策も提供する。一方で、グレーディング時間はコストがかかるため、及び例えば一部の製作物は、ポストプロダクション前に既に予算を超えてしまっているため、及びグレーダがマスターHDRグレーディングの作成(しかし、ほとんど誰も実ディスプレイ上でそれを見ることができない場合、最終のレンダリング問題を完全に無視しないのは当然である)、次いでそれと関連付けられたLDR効果(又は、例えばシネマバージョンからのLDR効果及び次いでHDRテレビ視聴用の対応するHDR効果、又は他のワークフロー代替手段)に既にかなりの時間を費やしているため、グレーダがあまりに多くの追加グレーディングによって煩わされるべきではないという制約を解決策のために導入した。もう一方で、様々なPB_D値について必要とされる中間グレーディングの範囲の両側に対してグレーディングにおけるいくらかの複雑性を既に加えているとき(本技術は、例えば、ダウングレーディング用の同じ関数から始めて、それらを好適に変化させるか、又はメタデータ内で伝送されるアップグレーディング用の追加の関数を用いるなどして、マスター5000nitグレーディングから例えば20,000nitへ上向きにグレーディングするのにも役立つため、本発明及びその実施形態はこの説明的な典型的シナリオに制限されないということにここでも留意されたい)、即ち、既にHDR及びLDRグレーディングを有するとき、中間グレーディングの決定はより単純である。しかしながら、一見して、及び一般には、中間グレーディングの決定は、特に、MDRグレーディングのピーク明度と、両端でのオリジナルのグレーディング、LDR及びHDRとの間により多くの段階が存在する場合は、依然として比較的複雑である。そのため、理想的には、グレーダは、第3のMDRグレーディングを完全に作成すべきであるか、又は少なくとも十分に完全に作成すべきであり、グレーダは、本発明のより高度な実施形態を用いてそれを行う。しかしながら、ここではいくつかの単純な解決策を提供し、グレーダは、代わりに、単独で、又は必要とされる場合、例えば、中間グレーディングされた画像生成のためのグローバル輝度マッピングの一部分の小さな追加微調整(又は、さらなる関数を用いた本発明の上の最適化方法から生じる画像に対する後修正として)、若しくは重要であり、本発明の単純な実施形態によって正しくグレーディングされるように単に結果が出なかった何らかのオブジェクトの局所的な微調整とともに、この解決策を使用する。
この実施形態において、グレーダは、同様にメタデータMET内で通信される1つのみのさらなる調整パラメータgpm又はgprを指定することによって中間MDRを素早く作成することができ、中間グレーディングがどれくらいLDR又はHDRグレーディングに似ているか、又は言い換えると、目的とする接続されたディスプレイの様々な中間ピーク明度を通過するときに、中間MDRグレーディングがどれくらい素早くHDR効果からLDR効果に変化するか、又は反対方向では逆に変化するか(例えば、特定の暗いオブジェクトが、ディスプレイピーク明度が増加し続けるときどれくらい明るさを維持するか)を指定する。
当然ながら、1パラメータの微調整関数(開始点、例えばPB_HからPB_Dを取り除くとき他のグレーディングへより素早く又はより遅く進むための)に加えて、例えば図15のgpttのように、シーン依存の多少積極的なディスプレイ調整がどれくらい正確に起こるべきかを指定するさらなるパラメータを定義する。原則として、本発明の技術的枠組み内で、純粋な測定基準ベースの手法から逸脱して、効果が、様々な中間PB_D位置のためにHDR効果とLDR効果との間をどのように動くかの任意に複雑な仕様を定義することができる。
有利には、色変換装置(201)のさらなる実施形態は、入力画像のピクセル色の輝度(又は対応するluma)の第1の範囲を輝度の第2の範囲から区分する少なくとも1つの輝度値(Lt)を取得するようにさらに構成されるスケーリング因子決定ユニット(200)を有し、スケーリング因子決定ユニット(200)は、輝度の第1の範囲及び第2の範囲のうちの少なくとも1つについて、調整された共通乗法的因子(gtu)、即ち、結果的共通乗法的因子gtのより具体的に決定された実施形態、を計算するように構成されている。lumaと言うとき、輝度又は任意の他のピクセル明度尺度(色ベクトルの長さと相関される)の任意のコード化を意味し、その値は、互いに同等に計算され得る。例えば、いくつかの実際的な実施形態において、このLt値をValueデマーケータとするのが有利であり、ここでValueは、max(R,G,B)、即ち、最も高い入力色の色成分のうちの1つと定義される。即ち、最も高い色成分、例えば赤の成分が、例えば0.3より高いとき、色は、第1のレジームに、そうでない場合は第2のレジームに分類される。
この実施形態では、グレーダは、主画像の輝度範囲の特定の興味深い部分的範囲(及び結果として色変換を介して導出可能な画像、例えばLDR画像)を選択し、それらを違ったやり方で扱うことができる。上の説明では、主に、HDRグレーディングからLDRグレーディングへ(又は、主画像Im_inがLDR画像であった場合はその逆)どれくらい早く移すべきか、また、いくつかの実際的な実施形態においてこれがたった1つの単一制御パラメータgpr又はgpmによって技術的にどのように達成され得るかについて焦点を合わせていた。この適合は、次いで、典型的には、入力画像内のすべてのピクセル色に対してそのように行われる、即ち、それらのオリジナルの明度が何であるにしろ、それらが同様にディスプレイ調整され得ると仮定したが、それは、手法の違いが、グレーダのオリジナルのHDRとグレーダのLDR効果との間でグレーディングをするための輝度変換の形状において既に大部分が符号化されるためである。しかしながら、HDRシーン内には、例えば、スークの比較的より暗いエリアにあるカラフルな布、スークの入口から見える明るい外側など、様々な意味部分が存在し、また典型的には、審美的に納得のいく画像を作りながら、例えば比較的小さいLDR輝度範囲内に様々な部分をマッピングすることに関与する様々な最適化が存在する。或いは、暗い領域は、夜のシーンでは非常に重要であり、グレーダは、最大で例えば800nitのような比較的高いピーク明度までLDR効果に近い輝度の部分的範囲を維持することによって、それらをより明るく保ちつつ、上方の領域、例えば電灯に近い家の一部分、又は天井の裂け目から入ってくる太陽によって照らされる洞窟の一部分、又はカラフルな逆光を受けた商品の箱などにおいては、綺麗なHDRコントラストを保つことを望む場合がある。そのため、本発明のより高度な実施形態においては、グレーダは、調整を、シーンの異なる部分、特に異なるピクセル輝度の画像の部分に対しては異なる様式で、特に、MDRグレーディングを後続のPB_Dステップのために第2の画像グレーディングに向けてどれくらい積極的に移すかについて、指定することを希望する場合があり、したがって、グレーダがその態様に対して自分の所望する制御をさらに指定することを可能にするメカニズムを有することが依然として有利である。
グレーダは、典型的には、luma値(Lt)を区分する少なくとも1つの領域の両側に対して異なるgpm値を、また、さらなる領域が範囲に沿って指定される場合には(例えば、暗い、中くらい、及び明るい、及び過度に明るい)より多くの値を指定する。2つの領域のうちの一方は、デフォルト値、例えばgpm=1を使用し、それは、本発明の第1の実施形態の戦略を使用することを意味し、それは、いくつかの実施形態においては、グレーダが、Ltの両側において輝度を有する2つの領域のうちの一方に対して1つの特定のgpm値だけを指定する必要があることを意味する。しかし、グレーダは、両側に対して専用のgpm値、gpm_1及びgpm_2を指定し、伝送する場合がある。
色変換装置(201)のさらなる実施形態は、少なくとも1つのluma値(Lt)の周辺に位置するlumaの平滑化範囲を決定するようにさらに構成され、調整された共通乗法的因子(gtu)を少なくとも1つのluma値(Lt)の両側で決定されるその値の間に補完するように構成される、スケーリング因子決定ユニット(200)を有する。すべてのHDRシーン及びMDR計算シナリオで必要とされるわけではない円滑な移行挙動、並びに中間グレーディングの任意のオブジェクトについて不適切なピクセル輝度がないこと(特に、特定の勾配、例えば空の中、又は照らされた球状の物体では重要であり得る)を保証するため、この実施形態は、グレーダが移行領域を指定することを可能にする。グレーダは、補間戦略がLtの両側でどれくらい異なるか、即ち、例えば低い輝度のgpm_1が高い輝度のgpm_2とどれくらい異なるか(いずれかの典型的な良好な値は、1.5〜1/1.5の間にある)に応じて補間を指定し、とりわけ補間領域の幅をさらなるパラメータI_Wとして、及びそれが例えばLt周辺で対称的にあるべきか、又はLtを上回る輝度にのみ非対称的に適用するべきかを決定することができる(代替的に、受信装置が、結果的曲線に関する詳細、例えばそれが単調な増加であるべきであるということ、又は、特定の瞬間にわたる又は特定の間隔にわたる導関数への所望の制約を使用することによって、補間戦略を自律的に決定し得る、即ち、受信装置は、制約が満たされるまでは少なくとも1つの戦略を提案するなど)。また、グレーダは、いくつかの実施形態において、関数を伝送して、メタデータ内の主画像内の考えられる各輝度について必要とされるgpm値を計算することによって、何らかの所望の補間戦略を指定するが、デフォルトでは、これは、補間領域の両側について伝送されるgpp値間の線形補間である。
ここでは、本発明の原理を用いて設計することができる色変換装置のいくつかの説明的な実施形態を提示してきたが、ここからは、様々な応用シナリオにおいて、この基本の色計算装置を構成し得るいくつかのさらなる装置異形、例えば、消費者側、コンテンツ作成者側、コンテンツ伝送会社の場所にある、例えば、ケーブルヘッドエンド又は衛星内の、又は例えば結婚式若しくは休暇の動画など、例えば消費者の動画を再グレーディングするためのインターネットベースのサービスによる装置を説明する。
エンコーダ側では、本発明の実施形態は、高ダイナミックレンジ画像(Im_src)の符号化を作成するためのシステムにおいて使用され得、本システムは、
高ダイナミックレンジ画像(Im_src)を受信するための入力と、
高ダイナミックレンジ画像(Im_src)を高ダイナミックレンジ画像(Im_src)のマスターグレーディング(M_XDR)に変換するように構成される画像変換器(303)と、
色変換(TMF、g)を適用することによって、マスターグレーディング(M_XDR)である入力画像(Im_in)のピクセルの入力色から始めて、ピクセルの結果的色第2のグレーディング済みの画像(M_X2DR)を計算するように構成される、上の色変換装置のクレームのいずれかに請求されるような色変換装置(201)であって、
少なくとも1つのパラメータ(gpm)を取得するように、並びにそのパラメータ及び色変換を使用して、マスターグレーディング(M_XDR)に対応するピーク明度及び第2のグレーディング済みの画像(M_X2DR)に対応するピーク明度とは異なるピーク明度に対応する第2の画像(IM_MDR)を計算するように構成されている、色変換装置と、
マスターグレーディング(M_XDR)と一緒に第2のグレーディング済みの画像(M_X2DR)を画像記憶及び/又は伝送に好適なフォーマッティングされた高ダイナミックレンジ画像(SF_X2DR)へと変換するように構成され、マスターグレーディング(M_XDR)のピクセル色データ、色変換を符号化するメタデータ、及び少なくとも1つのパラメータ(gpm)を含む、信号フォーマッティングユニット(310)と、
フォーマッティングされた高ダイナミックレンジ画像(SF_X2DR)を出力するための画像出力(320)と、を備える。
典型的には、構成要素は、受信側でそれらをミラーリングするが、ここでは、人間のグレーダ(又は自動再グレーディング人工知能システム)が、グレーダの要望に応じて最も完璧な中間グレーディングを作成するために受信器が何をすべきかを決定するためのさらなる技術的構成要素を有する。
ここでは、グレーダは、典型的には、例えばREDカメラのようなHDRカメラから、或いはビームスプリッタを介して同じシーン画像によって供給される2つの異なる露出のカメラのシステムから直接入ってくるオリジナルのHDR材料(Im_src)から始める。グレーダは、典型的には、図14の例で説明されるように、これのマスターHDRグレーディングを作ることを望み、グレーダは、様々な画像オブジェクトの輝度、及びそれらの対応するlumaコードを図14の左側の5000nit輝度軸上に位置決めすることを望む。グレーダはまた、その同じマスターHDR画像効果に対応するLDRグレーディングを作ることを望む。典型的にはDCT圧縮されているか、又は未圧縮の、HDR画像である、として実際に通信される原則となる画像(Im_in)の特定の例を続けると、そのシナリオにおいて、第1のグレーディングから出力されているグレーディング済みの画像M_XDRは、HDR画像であり、次いでこのHDR画像は、色処理関数メタデータと一緒に画像信号に追加され、例えば、BD若しくは別の物理メモリ(321)、又は任意の他の画像通信手段に書き込まれる。そのシナリオでは、グレーダは、マスターHDRグレーディングから、少なくとも1つの輝度マッピング関数(例えばCC)を作成して、この場合はLDR画像、即ち、コードが100nitのPB_Lにマッピングする画像である、M_X2DRを取得する。
しかしながら、HDRシーンの「HDR画像」が実際にはLDR100nit画像として符号化されるモード2と呼ばれるバージョン及び対応するディスプレイ調整実施形態もある。この場合、主画像を決定する初期グレーディングから生じ得るM_XDRは、LDR画像である。さらにこのモードでは、グレーダが指定する関数(CCなど)は、このLDR画像をHDR画像にマッピングし、それは、典型的には、所望のマスターHDR効果画像の、非常に近いほとんど同一の近似である。このモード2では、画像又は動画信号S_imに記憶されているIm_inは、LDR画像であり、輝度変換(及び飽和変換)関数は、受信側でHDR画像を導出するためのアップグレード関数であり、またM_X2DRは、HDR画像である。いかなる場合においても、グレーダは、典型的には、3つの画像、自分のオリジナルのLDR及びHDR効果画像、並びにMDR画像の効果を、画像のピーク明度に対応する好適に選択されたディスプレイピーク明度で、3つの典型的なディスプレイ上でチェックする。
そのため、本発明のHDR技術に従うフォーマッティング済みの高ダイナミックレンジ画像SF_X2DRは、実際、それが実際にHDR主画像を含むかLDR主画像を含むかに関係なく、シーン上のHDR効果を符号化する。
このシステムは、典型的には、少なくとも1つの調整パラメータ(gpm)も出力する。
グレーダがより多くの時間又はより少ない時間を費やしたいかどうかによって、様々な反復のうちの1つを伴う。リアルタイム伝送の場合、グレーダは、例えば、効果(次いで、HDR及びLDRグレーディングが、典型的には、いくつかの動作、例えば、マスターグレーディングを生成するためにショーの開始直前のシーンの特徴に基づいた単一対数様又はS曲線の変換セットアップ、並びに第2の依存性グレーディング、例えばHDRマスターグレーディングからのLDRを取得するために第2のセットアップに関与する)が、3つの参照ディスプレイ上で十分に合理的な品質であるかどうかを見るだけであり、時にはグレーダが、例えばgpmパラメータを変化させる単純なダイアルをおおよそ調整する。しかし、オフラインのリマスターを伴う場合、グレーダは、複数のグレーディング、例えばHDRとLDRとの間、及び両側に1つずつ(ウルトラHDR UHDR及びサブLDR SLDR)の2つの追加MDRグレーディングの、それらのいくつかがディスプレイ調整実施形態によるか、又はそれらのいくつかがオリジナルのダイナミックレンジ効果画像共同符号化実施形態によるかのいずれかでの、メタデータの全色変換による符号化、並びにそれに加えて3つ以上のオリジナルの通信されたグレーディング間の中間PB_D位置のためのディスプレイ調整に関しては、かなりの時間を投じる。特に、いくつかのより人気の高いプログラムの場合、画像通信系統の中間にある会社、例えば、既存のコンテンツをさらに販売、伝送、最適化するなどのビジネスを有する会社において、様々なカテゴリの受信器のためのリマスター作用には、人間のグレーダがいくつかのより高度な再グレーディングシナリオ及びそれらの様々な色変換の数学的パラメータを作成するのにより多くの時間を投じるための追加のグレーディング費用が存在する。
当業者は、すべての装置異形又は組み合わせがまた、画像処理方法、例えば、ディスプレイピーク明度(PB_D)を有するディスプレイのために調整される出力画像(IM_MDR)のピクセルの結果的色(R2、G2、B2)を、ディスプレイピーク明度(PB_D)とは異なる第1の画像ピーク明度(PB_IM1)に対応する最大lumaコードを有する入力画像(Im_in)のピクセルの入力色(R、G、B)から始めて計算する方法において、
メタデータ入力(116)を介して受信される少なくとも1つのトーンマッピング関数(CC)を含む色処理仕様データ(MET_1)から色変換(TMF、g)を決定するステップであって、色変換が、どのようにして入力画像(Im_in)のピクセルの輝度が、その最大lumaコードに対応してディスプレイピーク明度(PB_D)及び第1の画像ピーク明度(PB_IM1)とは異なる第2の画像ピーク明度(PB_IM2)を有する第2の画像(Im_RHDR)のピクセルの輝度に変換されるべきかを指定し、それにより第2の画像ピーク明度による第1の画像ピーク明度の除算が2より大きいか、又は1/2より小さいかのいずれかである、決定するステップと、
まず方向(DIR)に沿って、ディスプレイピーク明度を少なくとも輝度変換関数へマッピングする確立された測定基準(1850)上のディスプレイピーク明度(PB_D)の値と対応する位置(M_PB_D)を確立することであって、測定基準が、恒等変換関数の位置で始まる、確立すること、
及び、続いて、確立された位置、及び、それと対応する、結果的共通乗法的因子(gt、Ls)として定式化される少なくとも輝度変換関数に基づいて、結果的共通乗法的因子(gt、Ls)を計算することによって、結果的共通乗法的因子(gt、Ls)を決定するステップと、
入力色の色表現の3つの色成分の各々を結果的共通乗法的因子(gt)で乗算するステップと、を含むことを特徴とする方法、として実現され得るということを理解する。
典型的には、本方法が、輝度変換の形状にも応じて位置(M_PB_D)を決定して、メタデータを介して受信されるような少なくとも1つのトーンマッピング関数(CC)を含む第2の画像(IM_HDR)内の入力画像を変換する場合が有用である。
また、入力画像(Im_in)のピクセルの入力色から始めて、ピクセルの結果的色を計算する方法において、
メタデータ入力(116)を介して受信される色処理仕様データ(MET)に基づいて初期共通乗法的因子(g)を決定するステップと、
まず、第一にディスプレイ(PB_D)のピーク明度と入力画像に対応する参照ピーク明度(PB_H)との比率、及び、第二に参照ピーク明度(PB_H)と色処理仕様データ(MET)から取得され、色処理仕様データを入力画像のピクセル色に適用する際に生じる画像(Im_LDR)に対応するピーク明度(PB_L)との比率、の対数の比率(gp)を計算し、続いて、比率(gp)である冪で累乗される初期共通乗法的因子(g)として結果的共通乗法的因子(gt)を計算することによって、結果的共通乗法的因子(gt)を決定するステップと、
入力色の線形RGB色表現を結果的共通乗法的因子(gt)である乗法因子で乗算するステップと、を含むことを特徴とする方法も有用である。
接続されたディスプレイからディスプレイ(PB_D)のピーク明度を受信するステップを含む、請求項7に特許請求されるようなピクセルの結果的色を計算する方法も有用である。
色処理仕様データ(MET)から調整パラメータ(gpm)を取得するステップと、調整パラメータ(gpm)である冪で累乗される比率(gp)である調整された冪値(gpp)を計算するステップと、調整された冪値(gpp)に等しい冪で累乗される初期共通乗法的因子(g)である調整された共通乗法的因子(gtu)を決定するステップと、入力色の線形RGB色表現を調整された共通乗法的因子(gtu)である乗法的因子で乗算するステップとを含む、ピクセルの結果的色を計算する方法も有用である。
入力画像のピクセル色のlumaの第1の範囲をlumaの第2の範囲から区分する少なくとも1つのluma値(Lt)を取得するステップと、lumaの第1の範囲及び第2の範囲のうちの少なくとも一方について調整された共通乗法的因子(gtu)を計算するステップとを含む、ピクセルの結果的色を計算する方法も有用である。他の部分的範囲は、次いで、例えば、広範な実施形態について上で述べられたPB_D、PB_H、及びPB_Lの輝度関係を指定する対数の比率から決定されるデフォルトgtパラメータを使用する。本方法又は装置のいくつかの実施形態は、目先の状況に応じて、事前に決められた実施形態、又は選択可能な実施形態のうちのいずれか、のどちらかを使用し、それは、典型的には、メタデータ内のさらなる特徴付けコードで符号化されることになる。
少なくとも1つのluma値(Lt)の周辺に位置するlumaの過渡範囲を決定するステップと、少なくとも1つのluma値(Lt)の両側で決定されるその値の間に調整された共通乗法的因子(gtu)を補間するステップとを含む、ピクセルの結果的色を計算する方法も有用である。
当業者であれば気が付くように、すべての実施形態は、ネットワーク接続により伝送されるにしろ、何らかのメモリ製品、コンピュータプログラム、並びに様々な組み合わせ及び変形形態などに記憶されるにしろ、多くの他の異形、方法、信号として実現され得る。
例えば、いくつかの実施形態において、コンテンツ作成側は、様々なダイナミックレンジグレーディングがどのように見えるべきかに関してグレーダが決定することに基づいて、符号化された高ダイナミックレンジ画像信号(S_im)としてこれを通信することによって、任意の受信側ディスプレイがどのようにして(中間)効果をレンダリングすべきかを制御することができ、この符号化された高ダイナミックレンジ画像信号(S_im)は、
マスターグレーディング(M_XDR)である主画像を符号化するピクセル色データと、
マスターグレーディング(M_XDR)から第2のグレーディング済みの画像(M_X2DR)を計算するために色変換を指定するパラメータを含むメタデータ(MET)と、を含み、
符号化された高ダイナミックレンジ画像信号(S_im)は、
色変換に基づいて初期共通乗法的因子(g)を決定すること、
第一にディスプレイ(PB_D)のピーク明度と入力画像に対応する参照ピーク明度(PB_H)との比率、及び、第二に参照ピーク明度(PB_H)とメタデータ(MET)から取得され、色処理仕様データを入力画像のピクセル色に適用する際に生じる画像(Im_LDR)に対応するピーク明度(PB_L)との比率、の対数の比率(gp)を計算すること、
調整パラメータ(gpm)である冪で累乗される比率(gp)である調整された冪値(gpp)を計算すること、
調整された冪値(gpp)に等しい冪で累乗される初期共通乗法的因子(g)である調整された共通乗法的因子(gtu)を決定すること、並びに
マスターグレーディング(M_XDR)の入力色の線形RGB色表現を調整された共通乗法的因子(gtu)である乗法因子で乗算することによって、マスターグレーディング(M_XDR)のピクセルの入力色から始めてピクセルの結果的色を計算するために使用される調整パラメータ(gpm)をさらに含むことを特徴とする。この信号は、例えば1つ又は複数の輝度デマーケータLtなど、任意の受信側装置が本発明の実施形態のいずれかを適用することを可能にするためのメタデータをさらに指定することを含む。
人間のグレーダが少なくとも1つのパラメータ(gpm)を指定することを可能にするユーザインターフェース(330)、及びディスプレイピーク明度(PB_D)を有するディスプレイ(313)を接続するための画像出力(311)を含む、高ダイナミックレンジ画像の符号化を作成するためのシステムも有用である。
色変換装置(201)、及び色変換装置によって使用されるべき測定基準、調整パラメータ(gpr、gpm)、又はディスプレイピーク明度(PB_D)のうちの少なくとも1つを変化させる少なくとも1つのユーザ固有パラメータを入力するためのユーザインターフェース(1120)を含む、レンダリングされるべき色を決定するためのシステム(1130)も有用である。
ディスプレイピーク明度(PB_D)を有するディスプレイのために出力画像(IM_MDR)のピクセルの結果的色(R2、G2、B2)を、ディスプレイピーク明度とは異なる第1の画像ピーク明度(PB_IM1)に対応する最大lumaコードを有する入力画像(Im_in)のピクセルの線形3成分入力色(R、G、B)から始めて計算する方法であって、
少なくともある範囲のピクセル輝度について少なくとも1つのトーンマッピング関数(CC)を含む色処理仕様データ(MET_1)から色変換(TMF、g)を決定するステップであって、色変換が、その最大lumaコードに応じてディスプレイピーク明度(PB_D)及び第1の画像ピーク明度(PB_IM1)とは異なる第2の画像ピーク明度(PB_IM2)を有する画像(IM_GRAD_LXDR)の少なくともいくつかのピクセル色の計算を指定し、それにより第2の画像ピーク明度による第1の画像ピーク明度の除算が2より大きいか、又は1/2より小さいかのいずれかである、決定するステップと、
結果的共通乗法的因子(gt)を決定するステップであって、
第1の画像ピーク明度(PB_IM1)と第2の画像ピーク明度(PB_IM2)との間、及びその範囲の外側のディスプレイピーク明度の位置を位置付けるための測定基準を決定するステップ、並びに
ディスプレイピーク明度(PB_D)、測定基準、及び色変換から、結果的共通乗法的因子(gt)を決定するステップを実施するステップによって、決定するステップと、を含み、
線形3成分入力色(R、G、B)を結果的共通乗法的因子(gt)と乗算して、結果的色(R2、G2、B2)を取得するステップをさらに含む、方法も有用である。
入力色(R、G、B)の輝度の軸に対する方向(DIR)を決定するステップをさらに含み、結果的共通乗法的因子(gt)を決定するステップが、測定基準を方向(DIR)に沿って位置決めすることによって、入力画像(Im_in)のピクセルの輝度から出力画像(IM_MDR)のピクセルの輝度を決定するステップを含む、方法も有用である。
第2の色処理仕様データ(MET_2)から調整パラメータ(gpr、gpm)を取得するステップと、ディスプレイピーク明度(PB_D)の位置とは異なる測定基準上の位置に対応する結果的共通乗法的因子(gt)を計算するステップとをさらに含み、異なる位置が、調整パラメータの値に基づく、方法も有用である。
入力画像のピクセル色の輝度の第1の範囲を輝度の第2の範囲から区分する少なくとも1つの輝度値(Lt、Ltr1)を取得するステップと、輝度の第1の範囲及び第2の範囲のうちの少なくとも一方について結果的共通乗法的因子(gt)を計算するステップとを含む、方法も有用である。
審美的に適切な効果が生成される作成側からそれらの画像の任意の使用場所へ必要な情報を通信することができるように、
高ダイナミックレンジシーンのマスターグレーディング(M_XDR)である主画像を符号化するピクセル色データと、
マスターグレーディング(M_XDR)から第2のグレーディング済みの画像(M_X2DR)を計算するために色変換を指定するパラメータを含むメタデータ(MET)とを含む、高ダイナミックレンジ画像信号(S_im)であって、符号化された高ダイナミックレンジ画像信号(S_im)が、結果的色を有するピクセルを含む画像を供給されるディスプレイのために色変換及び調整パラメータ及びディスプレイピーク明度(PB_D)に基づいて決定される結果的共通乗法的因子(gt)を決定することによって、マスターグレーディング(M_XDR)のピクセルの入力色から始めて、ピクセルの結果的色を計算するために使用される調整パラメータ(gpm)をさらに含むことを特徴とする、高ダイナミックレンジ画像信号(S_im)の技術的仕様を有することが有用である。
この信号は、任意の信号通信技術で伝わるか、又は、ピクセル色データ、メタデータ(MET)、及び調整パラメータ(gpm)を含む任意のメモリ製品内に存在する。
いくつかの実施形態は、典型的には、通信される画像と関連付けられる参照ディスプレイのディスプレイピーク明度と等しくない少なくとも特定のディスプレイピーク明度に関与する、任意のレンダリング状況について、グレーダが、再グレーディングに対して多少なりとも制御することを可能にする一方、他の実施形態(グレーダが任意の再グレーディング仕様を通信することを望むかどうかに関係なく、即ち、自分の色変換に加えて、通信された画像をパラメータ的に通信されるだけの1つのさらなるダイナミックレンジ効果へ、例えばLDRからHDRへ、再グレーディングするためのもの)は、受信装置が自ら、特に、入力画像(Im_in)内のオブジェクトの色を分析し、そこから調整パラメータ(gpm又はgprなど)、又は結果的共通乗法的因子(gt)の計算に使用されるディスプレイ(PB_D)のピーク明度、又は測定基準、又は方向、又は任意のパラメータ若しくはパラメータの組み合わせのうちの少なくとも1つについて値を決定するように構成されている画像分析ユニット(1110)を含む、色変換装置(201)実施形態を用いて、最終的な再グレーディング済みの画像(R,G,B)_radjの色を取得するために最終的な乗法的パラメータg_finの指定を可能にする本発明の実施形態のいずれかに従って、MDR1500nitディスプレイなどの目的とするレンダリング特徴のために効果をさらに再グレーディングすることを可能にする。
特に、装置が最終的な視聴者(例えば、自宅でのテレビ視聴者)が、例えば、視聴者自身がgprパラメータを再指定することによって、効果に対する影響力を持つことを可能にする手段を有する場合も有用であり、例えば、そのような指定は、例えばgpr_v=gpr+k*0.1(kは{−3,−2,….,3}から選択される)、又は一般にgpr+k*N(ここでNは小ステップのサイズである)など、両方向における小さなオフセットをgprパラメータに与えることによって行う。これにより、ただしコンテンツグレーダがそれを再グレーディングするときにこのシーンに関連があるとして指定したものと連携して、即ち、グレーダが(動画)画像に対応するメタデータ内で通信したHDR−LDR色変換関数に従って、効果をいくらか変更することが可能になる。
任意の方法又は装置技術は、ソフトウェアにおいて実現され、このソフトウェアは、ソフトウェア内にコードされている対応するすべての必要なステップによって本発明を実現するものであり、それらのステップをプロセッサに命令して実施させ、何らかのメモリ上にありそこからロード可能である。
本発明に従う方法及び装置のこれらの態様及び他の態様は、これ以降説明される実装形態及び実施形態を参照して、並びに添付の図面を参照して、明白及び説明される。添付の図面について、読者は、他の様式で実現され得るより一般的な概念を例証する非限定的な特定の例としての役割を果たすに過ぎないということを理解し、ダッシュは構成要素が任意選択的であることを示すために使用され、ダッシュのない構成要素が、必ずしも必要不可欠であるということではない。ダッシュはまた、必要不可欠であることが説明される要素が、物の内側に隠れていること、又は例えばオブジェクト/領域の選択などの無形のもの(及び、それらがどのようにディスプレイに表示されるか)を指すために使用され得る。当業者にとっては、問題の複雑さ及び達成される様々な代替の実現を前提として、ここでは教示の正確性のために、いくつかの画像内にいくつかの構成要素のみを示すが、それらの構成要素は、必要な変更を加えて、他の様々な実施形態に追加され得るということは明白である。また、いくつかの図は、任意のより高いレベルの抽出性で、例えば、技術的枠組みレベルで、実施形態の態様を説明するということは明白であるものとする。
LDR又はSDR動画コーディング時代(SDRは、定義上はコーディングピーク明度PB_C=100nitを有する、標準ダイナミックレンジ、つまり、レガシー符号化動画、及び、lumaコードを輝度と、又は非線形のRGB’成分を線形のものと関連付けるためのITU−R BT.709(Rec.709)EOTFである)において、動画取り扱いは、技術的には比較的単純であった。実際、コーディングピーク明度(又は、コーデックが、画像をレンダリングするテレビ又はディスプレイが作る必要のあるnitの量として表現した最も明るい白色)についての言及はなかった。例えばNTSC若しくはPALアナログ動画コーディング、又はMPEG符号化で使用されるようなRec.709デジタル動画コーディングにおいてそれが規定されていないことにより検証することができるため、その概念は存在せず、必要ではなかった。白色の色度(即ち、黄色度)は、定義されるが(x=0.3127;y=0.3290)、輝度値は定義されない。これは、当時、極めて異なる理念、つまり、最大コード(例えばR=G=B=255)が、ディスプレイが生成することができるあらゆるディスプレイピーク明度PB_Dでレンダリングされることに関与する相対的なレンダリングパラダイムが存在したためである。80nitのTVを購入したとすると、80nitの白色で多少の調光画像を有することになり、ハイエンドの200nitのPB_Dディスプレイを購入したとすると、同じ白色はより明るく見えることになる。そのSDR時代には、これは、実際にはどちらの符号化された白色がよく機能したかについて気にしていないが、それは、一方で人間の視野は、大方の場合、相対的であるため(そのため、選択された白色よりも黄色い色が存在する限りは、視聴者はそれらを黄色として見ることになり、白色の18%輝度の領域を有する場合、それが自分のテレビ上で何であったとしても、それらをミドルグレーとして見ることになる)、及び第二に、80nitと200nitのPB_Dディスプレイの間にはそれほど大きな違いがなかったためである。白色が既に相対的な技術的無関心を被っていたとしたら、黒色は完全に無視されていた(他に何も記載されていなければ、典型的には、黒色はゼロである、又はゼロも同然であると仮定されるが、詳細について拡大したいと考えている人は、例えばOLEDとは違ってLCDは、閉じたピクセルを通ってバックライトの一部が漏れるため、様々なディスプレイが異なる黒色を生み出すということだけでなく、より重要なことには、知覚される黒色は、観察環境照明によって影響を受けるということに気が付く)。
HDR時代には、これらすべてが変わった。ほぼ何でも、即ち、高ダイナミックレンジ画像を、さらには例えば消費者の屋根裏の暗いホームシアタールーム、又は日中の観察など様々な状況においても、見せることができるようになるという望みがある場合は特にそうである。
HDR時代は、2014年にSMPTE ST.2084 HDR EOTFが標準化されたときに始まったと簡単に言うことができる(出願人は、以下の等式6である類似のlumaコード割り当て関数を設計した)。この非常に急勾配の関数形状が、Rec.709のOETFがおそらくは符号化できる最大で1000:1のダイナミックレンジと比較すると、HDR画像のはるかに高いダイナミックレンジピクセル輝度を符号化すること、即ち、白色と比べてはるかに深い暗さを有して符号化することを可能にした。そのため、HDR10と呼ばれる、この2084 EOTFを用いて対応するlumaを計算することによる(唯一の)HDR画像輝度の分かりやすいコーディングが開発された。
しかしながら、すべての人により認識されていなかったが、出願人により認識されていた問題は、これが絶対符号化であるということである。これは、これより最大コード(例えば10ビットでは、R=G=B=2^10−1=1023)と例えば1000nitの輝度を関連付けることを意味する。これは、シーン内の1000nitを上回るものを、それを1000nitより低い代表的な輝度で符号化することを同意しない限りは、符号化することができないということだけでなく、常に最大コードはいかなるディスプレイ上でも1000nitとしてレンダリングするべきであり、下のコード(例えばR=G=B=1000)は、2084 EOTFの形状によって決定される一定輝度としてレンダリングするべきであるということを意味する。
これには利点及び欠点がある。主な利点は、画像それ自体の作成について、ここでは画像の固有の定義、即ち、ディスプレイがピクセル輝度としてレンダリングすべきもの、を有するということである。2014年までは、あらゆるコンテンツ作成アーティストは(それをこの瞬間から時間を遡って見ると、おそらくは驚きをもってして)、自分が作成した画像がどんなものになるか、即ち、任意の消費者がそれをどのように見るかを、知ることは全く不可能であった。完璧に照明された視聴室を設計し、作成者が魅力的な画像(例えば、雷で埋め尽くされたある暗さを有することが必要とされる雲を含み、作成者は、それを自分の作成側のカラーグレーディング参照モニタでチェック済みである)を作った場合、おそらくは、その部屋に100nit SDRディスプレイを置いて、画像をレンダリングした場合(即ち、相対的に、ディスプレイピーク明度PB_Dでレンダリングされるコーディングピーク明度PB_Cのコーディングされた白色で)、見事に暗い嵐の雲を意図されたように見ることになる。しかし、新しく1000nitのPB_D HDRディスプレイを購入した場合、それらの暗い雲は、非常に明るく、おそらくは光を放っていると言ってもよいほどに、間違いなく非常に異なる審美的効果で見える。しかしながら、2084 EOTFでは、コンテンツ作成アーティストは、どのディスプレイ上でも、雲が、例えば80nitよりも絶対に明るくなることがないように、適切なHDRコードを用いて自分の画像を設計することができる。
しかしながら、過度に単純化しすぎで劣っており、且つ今では着実に市場において不十分であると証明されているが、相対的なレンダリング技術の作成者は、完全に間違っているわけではなかった。とりわけ人間の視野、並びに視聴環境及びディスプレイプロパティの変動に関する様々な上記の理由から、絶対パラダイムに厳しくこだわり過ぎることも、不適当であり、不十分である。そのため、何らかの「相対化(relativation)」を、必要な場合に適切な様式で(さらに、IC複雑性又はアーティストの利用可能な時間のような絶えず存在する実際的制限を前提に実際的に実現可能であるように)行うことができる何か等価物が必要とされ、それが、出願人がディスプレイ調整として開発したものである。以下では、様々な実施形態及び構成要素が説明され、それについて、当業者は、本発明の例示のやり方から、単に例証的な構成要素は、説明される他の異形又は等価物を、容易に、補足される、又はそれらと再結合されるということを理解するものとする。
様々な実施形態の技術的詳細を深く掘り下げる前に、読者には、単なる画像コーディングと、HDRコーディング技術にのっとって共同設計されるディスプレイ最適化戦略との違いを確実に十分に理解するため、まず、本概念の裏にある技術的(及び審美的)要望に習熟していただきたい。
それに加えて、読者は、図14及び下の付属のテキストを研究することから始め、あるコンテンツ作成者が、2つの異なるディスプレイ(例えば、それぞれ5000nit、100nitのPB_Dのディスプレイ)のために2つだけの最適にグレーディングされた画像を作ることに努力を費やした場合、いくつかの用途では、人間のグレーダが同じHDRシーンのいくつかのバージョン画像をグレーディングすることにあまり多くの時間を費やすことを望まないため、例えば700nit又は1800nitのPB_Dディスプレイ用の最適画像は、特にコーディング技術が、任意のHDRシーンについて2つの異なるダイナミックレンジ効果画像のみを通信するように設計されている場合、どのようにして自動的に導出され得るのかを熟考する。画像の考えられる複雑性、審美的要望の観点において、これはたやすい作業ではなく、この要件を取り扱うことができるようになるには十分な量の技術が必要である。任意の受信側にある様々な考えられるPB_Dディスプレイのスペクトルにわたって、最適に見える画像に何が必要とされるかという単に2つの可能性が、図35及び図36を用いて例証され、それは、単に、かなり一定の視聴環境において様々なPB_Dディスプレイを有するときの要件であるが、それに加えて、典型的には、特徴付けられた利用可能な視聴環境、例えば、可変の最小の知覚可能な黒色を環境照明の量の関数として作成する典型的な正面反射のために最適化する第2の最適化パスが存在する。これらの様々な因子は、より単純なもの(例えば、変更されていないカメラ及び携帯電話IC)からよりプロ用であるがより複雑且つ高価なもの(例えばプロのシネマ系統における)までシステムにおいて必要とされるものを取り扱うための、様々な代替的な、補足的な、又は追加の構成要素を用いて以下に詳細説明される。
図2は、さしあたりいくつかの受信側装置(例えば、テレビ、又はコンピュータなど)に含まれていると仮定する本発明の新規の色変換装置の考えられる実施形態の例示的な説明を示す。輝度マッピング部分は、ここでは、空間的に局所化された様々なマッピングを行うという考えられる実施形態オプションを開示するということを除き、図1のものと同じであると仮定する(述べたように、この原理はまた、様々な非線形色表現で定式化され得る)。さらに、分割ユニット222が第1のタイプのピクセルを第2のタイプのピクセルと区別することを可能にする、通信され受信されるメタデータが存在する。例えば、小さな横窓から見える空の一部分は、大きなメインの窓から見える同じ空とはいくらか異なる輝度マッピングを得る。即ち、空間位置(x,y)_1において、又はその近くにおいて、色(Y_sky,u’_sky,v’_sky)、即ち、特に、ある範囲内のY_sky値を有する輝度を有するピクセル、例えば、閾値輝度よりも明るいピクセルは、x及びyが空間ピクセル座標であり、Yが輝度であり、u’及びv’が青い空のピクセルのCIE1976 uv座標であるとき、同じ入力色(Y_sky,u_sky,v_sky)を有するが異なる空間位置(x,y)_2にあるピクセルよりも、別のY_sky_out_2へ変換される。分割ユニットが単にピクセルを分類し、ピクセルが第1の識別領域に分類されるか第2の識別領域に分類されるかによって、初期共通ゲイン係数になるための異なるマッピングパラメータをロードするだけの場合、残りの処理は、図1に説明されるものと同一であり得る(例えば、2つの並行計算パスが事前に計算されたLUTと共に使用されるなど)。読者は、第2のオリジナルのグレーディング済みの画像(例えばLDR)を通信された画像(例えばHDR)から取得するための処理は、ディスプレイ調整されたMDR画像を決定するためのローカル処理と同じである必要はないということを理解するものとし、それによって、当然ながら、関数及びパラメータの正確な値が異なるだけでなく、影響において高水準の変換形状をもたらす論理的根拠も異なるということをただ意味するのではないが、少なくとも、典型的には意味的に特別な画像オブジェクト内の特定のセットのピクセルの分割を可能にするメタデータで情報を受信した場合、それらの領域又はオブジェクトに別個に適合されたディスプレイ調整も行う、例えば、ディスプレイのPB_Dが既に何らかのHDRエフェクトレンダリングを可能にしている場合、HDR効果へ向けて火球をより素早く、即ち、様々な考えられる中間PB_D値にわたって漸進的に調整され得る残りのシーンよりも素早く増大させる。ここでも、様々なパラメータgai、ccなどが、メタデータから読み出され、色計算(特に、輝度変化計算)を行うための様々なユニットへと送られるが、ここでは、例えば、第2の領域は、その独自の一般的な形状の輝度マッピング曲線cc_2を得る一方、メインの領域(窓越しに見える空の大部分、及び例えば室内のすべてのピクセル)は、曲線ccで変換される。PB_H及びPB_Lは、有利には、2つのグレーディング(特に、グレーディングのコードが正確に何を意味するのか、又は言い換えると、それらのグレーディングが作った参照レンダリング条件)を指定するメタデータとして記憶され、メタデータから読み出され、PB_L、及びPB_H、及びPB_Dの値に基づいて、そのPB_D値がどこから来ようとも(例えば、典型的には、接続されたディスプレイがデータ入力117を介してそのピーク明度を通信する)、結果的共通乗法的因子(gt)を計算するように構成されるスケーリング因子決定ユニット200へ送られる。図2は、HDR/SDR画像のペアのうちの実際に通信された方ではなく、もう一方を単に復号するだけのために用いられるものとは異なるgtパラメータを計算する様式において、ディスプレイPB_D適合性調整のいくつかの基本プロパティを説明する(HDRシーンのHDR画像を通信する場合、HDR画像は、何らかの恒等変換を使用することによってそれ自身から概念的に計算され得、SDR画像は、コンテンツ作成者が好むように任意の発生するHDR輝度又はlumaを対応するSDR輝度又はlumaにマッピングする少なくとも何らかの関数を適用することによって計算され得、また、SDR画像が、オリジナルのHDRシーンの任意のHDR効果画像のための唯一の画像ピクセルデータとして通信される場合、恒等変換は、SDRをSDRにマッピングし、作成側で最適に決定され通信された何らかの関数は、そのペアの画像に対応するHDRにマッピングする)。乗算器114により線形RGB成分に対して乗法的に作用する、一連のサブ変換(GAM,LG,CC,..)によるこの動作作用、及び、その後入力ピクセルの輝度により除算されるmax(R,G,B)に適用されている関数の除算によって定義されているgt又はgtuでの乗算によって実際に計算されるべき関数から説明を開始するが、読者は、実施形態の原理に入るものであれば、それらの成分に変化を持たせることができるということを理解するものとする。例えば、必要な変更を加えて、Y’CbCr値を直接スケールすることができるか、部分102内で単一のLUTを使用することができ、また、luma値が計算max(R,G,B)に対する代わりに処理されるため、このLUTを入力ピクセルのluma値に直接適用することができる。さらにこれらの詳細な変形形態よりはるかに意味があることには、どの様式で、どの測定基準に従って、効果がどれくらいの強度で調整すべきかについて、即ち、効果が、ある特定の備え付けの装置、又は、コンテンツ作成者若しくは装置製造業者の、或いは実施形態の調整プロパティであるSTB又はTVユーザインターフェースなどを使用する際には視聴者の、通信された要望に従って、利用可能なディスプレイの考えられるPB_D値によってどれくらい変化するかについて、変化を持たせることができる。
高度な実施形態は、コンテンツ作成者が、グレーディング最適化を決定するさらなるパラメータ、つまり、典型的には、実数、例えば1.253である(又はそのコード化、例えば、1000で乗算して最も近い整数に四捨五入するなど)調整パラメータ(gpm)を指定し伝送することを可能にする。典型的には、最大1.5及び最低0.6までの値は、以下に示されるようにgt値を決定する冪を変化させることによって対数測定基準の補正に取り組む実施形態には十分であるが、一般に、カラーグレーダのソフトウェアは、それを超えると再グレーディング挙動が極端になり過ぎるという適度な制限を有する(300nitのディスプレイでは、高品質HDR画像の効果を直ちに実施することを期待せず、即ち、ディスプレイをその効果の正規化された輝度で駆動するが、それは、そのようなディスプレイがこれを忠実にレンダリングすることができず、これをグレーダが例えばあまりに暗すぎるエリアとして見るため、実際には制限が何であるにしろグレーダは、いずれにせよその値をとても高く選択したくないからである)。
図4は、HDR画像の本発明のディスプレイ最適化の非常に単純な実施形態の例を提供する。本発明では、HDR画像の入力輝度Y_HDRを(即ち、主画像は1600nitグレーディング)入力として任意の望ましいグレーディングのための出力輝度(このグラフではY_Lと呼ばれる)にマッピングする必要があると仮定する。例えば、曲線405は、100nitディスプレイ用に満足のいく画像を作成するための輝度マッピングのための全面戦略(それらの輝度変換を実施する図1のすべてのユニット、即ち、系統の始めにある入力輝度から開始した結果的輝度に対応する。ただし、そのような系統を有する理由は、HDR画像取り扱いのための実践において、利用することができる様々な成分変換を有することが有用であるということが調査されたこと、また様々なシナリオについての様々な実施形態のいずれかにおいて、ディスプレイ調整に、任意のそのような特定の部分再グレーディング情報を利用できることである)を提供する。
この例では、考えられる戦略のうちの典型的なものが見られ、ここでは、より暗い輝度は増加され(相対的に、正規化スケールで)、その結果、暗い100nitのディスプレイ上でのそれらの領域の十分な可視性が存在することになるが、それはこれらの領域が、HDR原理のグレーディングにおいて極端な暗部をグレーディングされたためであり、何故なら、この極端な暗部が、明るい例えば1600nitのディスプレイ用にグレーディングされたためである。残りの明るい輝度は、次いで、依然として利用可能である上方範囲にわたって(この例では、レンダリングされた出力ピーク明度の50%を上回るが、人間の視野の非線形の性質が理由で、常にそこまでではなく、これは単に説明にすぎないということに留意されたい)、この例では線形様式で分布されるが、当然ながら、グレーダは、より高い入力輝度の場合には、例えば画像のいくつかの領域においてより大きいコントラストを作成することなどのために、例えばS曲線又はソフトクリッピング曲線を使用することができる。HDR画像は、それ自体に変換されるとき(実際には行う必要はないが、PB_Hピーク明度を有しない画像へのすべての実際の色変換の理論的終点である)、傾斜45度の恒等変換と同等であるため、本発明では、それをHDR効果から離れないグレーディングを示すことができるマップに描いた。各々の入力輝度Y_HDRの共通乗法的因子は、曲線から読み出され得、例えば、増加b(0.2)は、g乗数として、値Y_HDR=0.2を所望のY_LDR=0.6へマッピングし、それは、この入力輝度では3の共通乗法的因子gに対応する。ここで、800nitピーク明度モニタ(曲線402)のための最適グレーディングを取得したい場合、これが心理視覚プロパティにおいて1600nitモニタに比較的近いことから(この例では受信したHDRグレーディングが最適に見える)、また依然として比較的高いダイナミックレンジコンテンツを見せることから、恒等変換に比較的近い800nit再グレーディング(MDR_800)を計算することになり、即ち、ここにある結果的共通乗法的因子gt、b800(0.2)は、1に近くなければならず、すべての他の入力輝度についても同様である。400nit(曲線403)及び200nit(曲線404)の意図される又は接続されるディスプレイピーク明度PB_Dのための最適再グレーディングは、LDRマッピング(曲線405)に次第に近づく曲線及び共有乗法的因子を有するべきである。
任意の中間グレーディングを導出するために本発明の実施形態が使用する等式は、以下の通りである。
gp=LOG(PB_H/PB_D;2.71)/LOG(PB_H/PB_L;2.71)
gt=POWER(g,gp) [等式1]
例えばこのような乗法的ディスプレイ調整戦略を変化させるのが有用であり、これにより、より良い視覚的な要望をモデル化することができる。当業者が検証できるように、これにより任意の入力Y_HDRについて要求された出力Y_Lを計算することが可能になるが、それは、結果的共通乗法的因子が、一方では受信側又は画像使用側で一定の比率gpに基づいて(典型的には消費者の敷地にある単一のディスプレイであると今のところは仮定する、レンダリングする必要のあるディスプレイに依存して)決定され得、もう一方では入力Y_HDRから計算される初期g、及び色変換関数のための、即ち、LDR対HDR効果に関するメタデータに基づいて、それらが受信されたときに決定され得るためである。値を埋めることによって検証され得るように、gpは、PB_D=PB_Hの場合のlog(1)=0と、PB_D=PB_Lの場合の1との間で変動し、即ち、これは、PB_D=PB_Lの場合は、全g値を使用し、PB_D=PB_Hの場合は、RGB値を1で乗算することによって恒等変換を実施する。
読者がこの第1の単純な実施形態から典型的に何が起きているのかを既に熟慮及び理解し、決して同一ではないものと混同することがないように、ここで少しの間立ち止まりたい。一方では、ピクセルの入力輝度を出力輝度に(乗法的に)マッピングする挙動がある。そして、典型的には、任意の受信器が、2つのグレーディングされた画像(典型的には、同じHDRシーンに対するHDR及びLDR効果)を決定するためのすべての必要な情報を受信するため、この挙動は、コンテンツ作成者から、特にコンテンツ作成者のカラーグレーダから受信したものである。またしたがって、受信器は、どの形態であってもよいが、特に、色の色度を一定に維持したままでの入力輝度の乗算の形態でのこれらの画像間の変換を把握することができる(実際には、典型的には、コンテンツ作成者は、既にこれらの関数を獲得しているため、任意のさらなる用途のためにそれらを任意の受信器において使用することは容易である)。もう一方で、グレーディングは、2つのグレーディングと関連付けられたPBと同じピーク明度を有しないディスプレイでのレンダリングには少なくとも完全には最適ではないため、受信器は、さらに、すべてのその情報から新しい最適MDR中間再グレーディングを計算する必要がある。これはまた、乗法的因子が決定され得る測定基準と、乗法的gt値などへ同様に変換される輝度変換関数とを伴うが、オリジナルのグレーディング符号化の因子、対、ディスプレイ調整されたMDR画像を計算する因子のそれら2つの因子は、典型的には関連しているが、比較的程度は低いが時として、決して同じではないため、非常に異なる技術的設計理念が、非常に異なる解決策をもたらす(いくつかの実施形態では、いくつかの構成要素が、例えばガンマ値のような同じ名前を有するとしても)。再グレーディングがどれくらい細かく且つ容易である必要があるかは、状況によって左右するが、ディスプレイ調整をグレーディングされたペアに対する何らかの微調整として見ることができ、その背景にある設計視点の1つは、同じHDRシーンについて膨大な量のオリジナルのグレーディングを実際に作成することでグレーダを煩わせるべきではないというものである(即ち、最も審美的に美しく手直しされた画像をその場で作成するために、ここでもシナリオ及びグレーダの要望に応じて、グレーダに必要とされる追加の作業をできる限り少なくすると共にできる限り自動化した様式で、即ち、そうは言っても、画像処理の非常に複雑な分野であるもの、及びそれらの画像の消費者の非常に非線形の視野システムにおいては、様々な実施形態を用いて正しい効果に達するために必要な制御のいくつかを少なくとも提供して、消費者の一つ一つ異なるTV内にコンテンツ作成者が存在することを望む)。
当然ながら、実践では、これらのgp値及びgt値は、常に計算される必要はないが、典型的には、グレーディングは、例えばN枚の画像の場面ごとに変わるため、LUTは、例えば接続された400nitのディスプレイのために、図4にあるように必要とされるマッピング関数を適用する、入ってくる画像を再グレーディングすることにそれらが必要とされる直前に構築される(及び、メタデータが、少なくともちょうど間に合うように受信され、例えば前もって5枚の画像が受信される)。
その場合、ユニット200は、必要とされる結果的共通乗法的因子gt、即ち、例えばb800(0.75)を調べる。
主画像が、例えば6000nit HDRにアップグレードされる必要のあるLDR画像、又は、中間のピーク明度のための任意の再グレード済みの画像である場合、わずかに異なる類似の等式が実施形態において使用される。
gp=LOG(PB_D/PB_L;2.71)/LOG(PB_H/PB_L;2.71)
gt=POWER(g,gp) [等式2]
スケーリング乗算器114はここで、図1にあるのと同様に実施するが、3つのRGB色成分を、gではなくgtで乗算して、所望の色効果を生じる。
しかしながら、グレーダは、動画画像の複雑なシーン又は場面に対して、異なる再グレーディング戦略、例えば、LDR関数形状の近くにより長くとどまること(即ち、LDR100nitより大きいディスプレイピーク明度)を求める場合がある。グレーダは、これを非常に単純な様式で指定する必要があるため、あまりにコスト高のグレーディング時間を使用しすぎないように、理想的には、グレーダは、例えば1つのみの単一パラメータ、つまり調整パラメータgpmを決定する。
したがって、本発明のスケーリング因子決定ユニット200のより高度な実施形態は、以下の等式を適用する。
gpp=POWER(gp,gpm)
gtu=POWER(g,gpp) [等式3]
gpmが1未満の場合、より低いピーク明度再グレーディングは、それらの効果(及びマッピング曲線)においてよりLDRのように動作し、逆に、1を上回るgpmの場合、それらはよりHDRのように動作し、より高いgpmがコンテンツ作成者又はグレーダによって選択されるほどそうである。
この挙動は図5に例証される。gpmは、x軸に沿った(古典的な)冪検知方向には作用しないが(グレーディング、即ち、シーンのすべてのオブジェクト輝度間の関係を表す曲線の形状が、大幅に変わるべきではないが、それでも何らかの部分のわずかな増加のような小さな変化は心理視覚的に許されるためであり、それは、これらが、残りの小さな変換が脳内での視覚的解釈の適合によって認められている状態にある主な所望の輝度/コントラスト効果補正に対応するためである)が、Y_HDR値ごと、いわばY_L軸の方向に作用するということをここでも指摘すべきである。実際、gpmが行うことは、LDRグレーディング関数又は逆にHDR単一マッピング関数に向けて曲線族を引き伸ばすか、又は圧縮することであり、即ち、「必要とされる再グレーディング効果の積極性が変化する」を決定する。
図5では、1.3に等しいgpmの値を選択し、輝度マッピングの結果として生じる曲線(503)、又は共通乗法的因子(ここでは調整共通乗法的因子gtuと呼ばれる)は、HDR恒等変換曲線により類似するようになったことが分かる。同様に例えば0.8の因子では、結果として生じる曲線は、曲線403より上にあり、即ち、LDR効果曲線405のより近くにある。それは、例えば、このシーン内に重要な暗いオブジェクト、例えば顔が存在し、それらが慎重に、長期間にわたって、即ち、レンダリングディスプレイが十分に明るい、例えば800nitを上回ることが示されるまで、十分に明るく保たれる場合には有用である。
しかしながら、これは、依然としてグローバル調整である(すべての輝度Y_HDRが単純に関連した様式で取り扱われ、HDR−LDR輝度変換関数の形状及びgpmパラメータによってのみ決定されるという意味で)。本発明の戦略のより大きな影響は、入力輝度の異なるサブ領域に対して異なる調整を可能にする(及び結果としてマッピングによって出力輝度も)実施形態によってもたらされる。例えば、より暗い輝度の場合により明るくなるように(よりLDRのように)曲線403を調整する場合、必然的に、より明るい輝度ではより明るくなり(効果を保つために、これらは、任意の再グレーディングでは、画像の暗い領域の出力輝度を上回る出力輝度を有すべきであるため)、これは不適切な明るさである場合がある。例えば、領域外の明るさは、あまりに多くのコントラストを失うため、グレーダは、いくつかの重要なシーンでは、それらを煩わしいほど色褪せていると知覚する場合がある。即ち、グレーダは、上方領域を例えばHDR効果の近くに保ちながらも、シーンのより暗い部分をより明るくし、結果としてコントラストを強く、目に見えるようにしたいと考える。
所望の挙動は、図7では別の様式で示される。ここでは、LDRグレーディングされた画像がPB_LとPB_Hとの間の意図される任意のディスプレイピーク明度に対応する任意の中間MDRグレーディングの効果にどれくらい貢献するかを示す。等式1のデフォルトの挙動はグラフ701である。MDRグレーディング内の様々な中間ピーク明度の変化のパスに沿っていずれかのグレーディングにより重みを与えることができるということが分かる。例えば、曲線702は、MDRグレーディングが、相対的な明るさ中間ピーク明度PB_DまではLDRグレーディングの近くにとどまり、最も明るいディスプレイの場合にのみHDR効果を見せ始めるという状況を示す(使用される測定基準に基づいた以下の説明では、これは、様々なPB_D値についてタグマークが下がる状況、即ち、例えば(PB_H+PB_L)/2までの値はすべて、お互い近くに、即ち、LDRグレーディング位置PB_Lの近くに下がる状況に対応する)。そのような曲線が選択される必要性及び回数は、HDRグレーディングとLDRグレーディングとの関係、即ち、2つの間の色変換に対する関数に依存する。グレーダは、例えば、LDRグレーディング内でより暗い部分を明るくする、より明るい部分をソフトクリッピングする、何らかの中間部分のコントラストを上げる、カラフルなステンドグラス窓に対して何らかの特定の飽和処理を行うなど、様々なことを行うが、例えば、重要な暗い領域が存在する場合、702のような曲線は、グレーダによって選択され、S_im内の又はそれと関連付けが可能である、様々な受信器に伝送されるそのgpm値もそうである。その一方で、曲線703は、比較的暗い接続されたディスプレイに対してさえも、HDR効果の大部分を素早くもたらす曲線である。
図6の例では、グレーダは、この例では0.43に等しい(luma又は)輝度値(Lt)を区分する最適化レジームを示す。この値Lt未満の場合、グレーダは第1のgpm値、例えばgpm_1=0.3を指定しており、即ち、輝度Y_HDR<=Ltを有するすべての入力色に対して、結果として生じる曲線は、図5で説明されるように、このgpm_1値を用いて計算される。Ltを上回る場合、グレーダは、新しい再グレーディングレジームに進むことを望み、この例では、より明るい色に対して、グレーダはHDR効果を有することを望む。グレーダは、1より大きい値、例では、gpm_2=2.0を決定し、より明るいピクセルを作って、この例の場合は通常必要とされるよりも強力に、より強いHDRぽい効果を得る。例では、Ltを上回るY_HDR値の場合に直ちにgpm_2=2.0を使用する代わりに、グレーダは、円滑な過渡領域を作成するために補間を指定する。これは、様々な様式で、説明的な例では、過渡レジームの上方輝度、Lt2=0.72を指定することによって単純な様式で指定され得る。0.72を上回る場合、例えば曲線のLUTを作成するために使用されるべき調整共通乗法的因子gtuは、この例ではgpm_2=2.0又はgpp_R=0.25を使用することによって決定される。過渡領域では、補間戦略が使用され、例えば、まず、暗い明るさの入力輝度について共通乗法的因子gtuを決定するために後で役立つ、移行の両側において冪値を計算すること、次いで、例えば以下を計算することにより過渡領域内にそれらを補間することによって具現化される。
gpp_L=POWER(gp,gpm_1)
gpp_R=POWER(gp,gpm_2)
gpp_i=gpp_L+(Y_HDR−Lt)*(gpp_R−gpp_L)/(Lt2−Lt) [等式4]
当然ながら、グレーダが所望する場合、他の補間戦略が使用されてもよい。
次いで、このgpp_i値は、図3で説明されるものと類似して、過渡範囲内の各入力輝度についてgtu値を決定するために使用される(即ち、gtu=POWER(g,gpp_i))が、一方で、過渡の両側では、それぞれのgpp_L又はgpp_R値は、gに対する冪関数において使用され、この定式化を用いて、例えば603のような結果的曲線は、図4で説明される方法から生じる曲線403から計算され得るか、実践では、結果的曲線は直接計算される。800nitのディスプレイに対応して、より単純な曲線402の等価物は、ここでは曲線602であり、それは実際、より暗いピクセルの場合はLDRによく似て動作するが、より明るいピクセルの場合はかなりHDRのように動作することが見て取れる。そのような実施形態ユニット200は、gtのgtu等価物を生じ、それ以外のすべては、様々な実施形態可能性について類似しているということを明白にされたい。この例では、共通乗算のために使用されるべきgtu値を補間する際、実際に共通乗算を定義するgpp値を補間することによって行ったが、代替の実施形態はまた、過渡自体の両側で生じ得るgtu値を補間し得る。典型的には、エンコーダが、どの方法が使用されるかを指定する。例えば、グレーダは、デコーダが[Lt1,Lt2]間隔の両側でgtu値を計算し、その後その曲線を間隔内の欠けている点において線形に補間し、これを画像の現在の場面の輝度処理のための最終LUTとして記憶すべきであるということを示す。
これらの実施形態では、したがって、グレーダは、たとえ複雑なHDRシーン符号化のためでも現場において考えられる様々なディスプレイに対してかなり高度な効果再グレーディング戦略を簡単に定義することができる。単純なケースでは、例えばデフォルトでは、上方値gpm_2は、そのようなシナリオにおいては、いかなる受信器によっても一定の1.0であると理解されるため、グレーダは、1つのgpm値のみを符号化する必要がある。又は、グレーダを煩わせることなく、しかしグレーダの意図を誤解する準拠の低い受信器がないことを確実にして、グレーダが例えば下方gpm_1値及び閾値Ltのみを設定する場合、エンコーダは、デフォルトでは、gpm_2=1.0を入力する。グレーダが、Ltを上回る輝度に対してgpm_2冪値のみを指定する場合、エンコーダは、デフォルトでは、gpm_1に対して1.0を入力する。典型的には、エンコーダはまた、見栄えよく見える(少なくとも単調に増加するMDRグレード曲線を生じる)べきであるとエンコーダが考える補間戦略を自動的に決定し、グレーダは、メタデータ内のその戦略の符号化(例えばLt2値として)を何もしないことによって容認するか、又は代わりにより美しく見える補間戦略を再指定する(必要な場合、グレーダはまた、Ltの両側にあるgpm値を微調整する)。一般に、本発明の新規の原理に従って、HDRグレードとLDRグレードとのグレーディングの差をコード化する各共通乗法的因子gは、各入力Y_HDRについて好適な冪値GPを定義することによって、最適化された再グレーディングを決定するために使用される。この冪値GPは、任意の様式でメタデータとしてコード化される任意の曲線、例えば、画像の現在の場面内の関心を引く明度レジームに対して3つのLt点、及び例えば両側にある一定のgpm又はgpp値の代わりに、例えば、Lt2とLt3との間の入力輝度の部分的範囲にわたる線形又は放物線状の発展などを有する曲線によって指定され得、次いで再グレーディングされた画像が、入力として任意のY_HDRに対してgtu=POWER(g,GT)を使用し、そのgtuを現在処理されたピクセル色の任意の線形色符号化に適用することによって計算される。
そうして、図2で説明されるように、様々なメタデータを獲得する任意の受信器は、コンテンツ作成側によって指定されるようなディスプレイ調整最適化の所望の実施形態を実施することができる。まとめると、ピクセル色を有する少なくとも1つのグレーディング済みの画像は、実際に符号化され且つ伝送された画像として、及び、開始点、例えば2000nitグレーディングとして必要とされる(実際に伝送され受信され、例えば、典型的にはMPEG圧縮されるものであり、ここでは主画像と呼ぶ)。そして、少なくとも1つのさらなるグレーディング(例えば、原則となる画像が例えばHDR2000又は5000nitであった場合はLDR)を決定するための関数の定義が、グレーダが考えられる様々なグローバル又はローカル関数を使用してそれを定義したのと同じくらい正確に存在する(本明細書では、大部分は、輝度ダイナミックレンジ再グレーディングの主な態様である輝度処理態様、即ち、少なくともピーク明度を含む異なるダイナミックレンジ能力を有するディスプレイのためのシーンに対する別の効果の決定を説明してきたが、典型的には、少なくともいくつかの画像オブジェクトの飽和処理のような色変換も関与し、場合によっては色相さえも変化する)。この変換は、例えば、少なくとも、例えば2000nitグレーディングを、理論上は500若しくは10000nitピーク明度(レファレンス又は目標の)ディスプレイにとって最適であるグレーディング、又はそれ周辺の値へと変換する方法を定義するカスタム曲線ccとして定義される任意のY_HDRからY_Lへのマッピングにより通信される。次いで、例えば、いくらか異なるピーク明度ディスプレイが受信側に存在することが理由で、又は例えば、ユーザが自分のリモートコントロールを使用して10000nitの理論最大値未満の最大明度を制御する(一種の新しいディスプレイを作成することに類似して)ことが理由で、受信したHDR画像に対する変換が要求される場合、例えば8000nitのために新しい再グレーディングを作成する方法に対する精巧化のいくつかの実施形態が存在する。より単純なバージョンは、大部分は自動であり、ある程度まではHDRシーンの画像の場面の比色的及び意味的な詳細、より正確には、グレーダがそれについて言うべきこと又は言わざるを得ないこと、即ち、グレーダが、例えばより低い明度に対する変更が、利用可能なピーク明度まで輝度軸に沿って様々なオブジェクトの相対明度の分布に対してどのように起こることを望むかを無視する。様々な画像オブジェクト明度のこの分布は、とりわけオブジェクト内のコントラストのエフェクトに起因して(例えば、ステンドグラス窓はカラフルであるが、依然として教会内部よりも十分に明るい)、シーンのいわゆる効果(例えば、それがムーディな大部分は暗い夜のシーンであるが、依然として家の形状を一見して十分に伝えるかどうか)を決定し、また、たとえ特定の撮像シーンをレンダリングするためのディスプレイ上に十分なダイナミックレンジが存在するとしても、典型的には、オリジナルの撮影シーン自体内のように輝度軸に沿ったオブジェクト輝度の正確な分布よりも見かけのファミリィの審美的決定を扱うため、典型的には、いくつかの必要とされる最適化が存在する(即ち、例えば、グレーダは、屋外エフェクトの十分なシミュレーションを有するために、晴れた屋外のみを屋内よりも、例えば5段階ではなく、2段階明るくすることを選択する)。本技術は、適切な外観を作成することであり、人間の視野は非常に複雑であるため、同時に適度に単純であるが(そうでなければ採用されることがない)少なくとも大部分のシナリオを十分な様式で取り扱うのに十分に強力である(そうでなければコンテンツ作成者はそれを満足に使用することができない)技術を有することを望み、これは、発明者が専念すべきことであるということに留意されたい。上に教示されたように、グレーダは、再グレーディングがどのように、意図されるディスプレイのピーク明度が存在する間隔の少なくとも一方に対するグレーディングに依存するか、即ち、グレーディング曲線同士がどのように互いへと変換するかを教示するために、異なるパラメータを使用することができる。1つ又はいくつかのパラメータを用いて、グレーダは、受信器がどのようにして、場合によっては必要な様々な再グレーディングを計算するかについて、素早いが強力な制御を有する。受信器は、主画像の入力色にその数学的処理を適用するだけである。線形RGBピクセル色に対して作用する実用的に単純な実施形態を教示したが、当業者は、本発明の原理が、例えばYu’v’色表現にも同等に適用され得るということを理解し、ここでは例えば、uv成分は一定に保たれ、Yは、必要に応じて、又はValue V=max(R,G,B)のようなY相関を使用することによって変換され、両方とも、同様に乗法的にスケールされ得る線形色係数の線形組み合わせなどであり得る。スケーリング原理を適用することができる限り、色の明度を示す何らかの成分が必要であり、次いで、線形又は非線形色成分をスケール(乗算)することができ(同じスケール因子が冪乗則の外側に設定され得るため、例えばpower(g*L;N)=power(g;N)*power(L;N))、そのため、例えば輝度がどのようにスケールするかを把握している場合、lumaがどのようにスケールするかも把握しており、及びその逆も然りであり、同じものが、必要に応じて、他の明度相関、及び/又は色空間で定式化され得る。本発明の実施形態の基本を意図されるディスプレイのPB_Dに基づいて説明したということにも留意されたく、例えばTV製造供給元が、例えば局所コントラストを上げることなど、HDRエフェクトの壮観さの改善のためにより複雑な処理について見解を持っている場合、TV製造供給元は、結果的ディスプレイ調整におけるこの処理を、必要な変更を加えて、コンテンツ作成者からの情報、例えば輝度マッピング関数の局所勾配、オブジェクトセグメント情報などと合わせることができる。
図3は、画像又は動画作成及び符号化側で、例えば映画スタジオのポストプロダクションハウス又は放送局のためのプロダクションハウスにおいて、或いはライフテレビプロダクショントラックにおけるその最も単純な形態などにおいて適用される本発明の技術の例を示す。データサーバ301は、開始画像Im_src(典型的にはHDR画像であり、即ち、少なくとも、高明度、例えば1000nitを上回るレンダリング予定の輝度のオブジェクト、及びしばしば暗いオブジェクトも有するが、いくつかの実施形態においては、オリジナルは、グレーダが、例えば火球をコンピュータグラフィックス数学的処理を用いて計算することによってHDRエフェクトを作成するために依然として必要とする何らかの下方ダイナミックレンジの画像であり得、この火球は1つ又は複数の小画像として表される)又は動画シーケンスを入力302を介して供給するためのストレージを有する。無制限に、これは例えば未加工のカメラ映像であると仮定する。画像変換器303は、この未加工データを例えば5000nitのHDR主画像に変換するように構成され、このHDR主画像のレンダリング可能な輝度と色コード(luma及び色の色度的態様をコード化する2つの他の成分を含む)との間の関係は、事前に選択された、典型的には一定であるが場合によっては可変の電気−光伝達関数(EOTF)によって決定される。典型的には、コンテンツ作成者は、ディスプレイ参照様式で画像を定義する、即ち、画像がどのように5000nit参照ディスプレイに表示されるべきか、カメラからのシーン輝度からの変換、又は等価の色座標を定義することは、典型的には、本発明ではマスターグレーディングM_XDRと呼ぶ審美的グレーディングに関与する(例えば、20000nitのランプは、EOTFを適用した後5000nitをレンダリングするためのコードとして符号化されるため、カメラの相対露出設定としてのそのような因子は、もはや必ずしも重要ではない)。そのうえ、画像変換器303は、良好なマスターグレーディングを作るために所望される色変換のセットが何であるにしろそれを実施するように構成された色変換ユニット304を備える。これらの変換のパラメータは、そこから前方のシステム、即ち、受信側での復号も、純粋にこのマスターグレーディング(典型的には、例えば、MPEG_HEVCのような従来の動画コーディング技術に従って、即ち、DCT変換されたYCbCr成分画像セットとして記憶されている主画像であるマスターグレーディング、及び例えばSEIメッセージとしてのメタデータを用いて、フォーマッティングされる画像信号S_imに記憶される)から開始することができるため、記憶される必要はないが、いくつかの実施形態は、このマスターグレーディングからいくつかのメタデータも記憶し得る。第二に、本発明に従って、グレーダは、第2のダイナミックレンジ効果IM_GRAD_LDR、例えば100nitディスプレイ用のLDRもグレーディングするが、それは、この情報が後の実ディスプレイ最適化に必要とされるためである。このマッピングのための関数は、記憶される必要があり、即ち、色変換ユニット304は、S_imのメタデータ内に対応するパラメータ(例えば、gai、cc)を書き込む。グレーダからの要求される入力は、例えばキーボードのような色指定ユーザインターフェース手段330に接続されたデータ入力331を介して入力され得、それはカラーグレーディングのための専用コンソールなどであってもよい。例示的な実施形態において、HDRマスターグレーディングM_XDRは、主画像として、受信側でLDRグレーディングを計算することを可能にするダウングレーディング関数と一緒に記憶及び伝送されるが、代替的に、二次グレーディングされたLDRグレーディングを、主画像として、HDRマスターグレーディングの少なくとも十分に近い近似を受信側で再構築するためのアップグレーディング関数と一緒に記憶/伝送することもできるか、又は中間グレーディングが、主画像として、符号化側で作られるLDR及びHDRグレーディングを取得するための関数と一緒に使用され得るなどと仮定する。
ユニット104、105、106、102などにおける主画像の処理は、エンコーダが、グレーダのために復号側で実際に起きることをシミュレートする必要があるため、ここでも、図2で説明されたものと類似している。しかしながら、ここで、典型的には、様々な色処理ユニットのパラメータ(gai、ccなど)の値は、人間のグレーダによる適切な調整による入力であり、とはいえ、他の実施形態は、図1で起きるやり方に類似して、例えばあるグレーダが別の色変換ユニットでダウングレーディングを、おそらくは別の時間に実施した場合、それらをメタデータから読み出し得る。例えば、グレーダは、色変換プログラムを第2のグレーディングを定義する他の数学的変換と一緒に使用していてもよく、中間変換ユニットが、本実施形態のいずれかの組み合わされた色処理サブユニットのいずれかを用いてそれらの色処理をほぼ等しい効果結果処理へと変換して、HDR−LDR変換、又は他のダイナミックレンジ変換を行う。スケーリング因子決定ユニット200は、典型的には、最初に、1に等しい単一のgpmと共に予めロードされる。その場合、シミュレートは、等式1又は2を適用してMDRグレーディングを作成する。グレーダは、ディスプレイ出力311、つまりこの場合は、マスターグレーディングと呼ばれる主画像であったHDRグレーディングを示すHDRディスプレイ312、100nit LDRグレーディングを示し且つ典型的には100nit参照モニタであるLDRディスプレイ314、及び、本発明の実施形態の任意の選択された実施形態に従って、再グレーディングされた最適中間グレーディングを示すための好適に選択されるMDRディスプレイ313にわたって関連画像を出力することによって、例えば、並行して3つのディスプレイに目を向ける(又は、連続して自分の視野を異なって適合するなど)。このMDRディスプレイ313は、例えば、典型的な利用可能な2つのグレーディングLDR及びHDRの中間の対数的に近くに選択される。グレーダが、例えば、典型的には、HDRグレーディングに対して標準で2000nitピーク明度を使用する形式で作用する場合、グレーダは、400nit(4x100、及びおよそ2000/4)のピーク明度を有するMDRディスプレイを選択する。最適化は、二次の効果調節としてほぼ正確であるため、例えば500又は600nit MDRディスプレイ上でチェックが行われるかどうかは重要ではない。また、グレーダは、コンテンツ作成時に、例えば人気のディスプレイを使用することを選択する。現場にあるディスプレイの大部分が、800nit周辺のピーク明度を有する場合、グレーダは、そのような800nit MDRディスプレイを選択する(グレーダが、より良いディスプレイが存在するであろう未来においては5000nitマスターをグレーディングしているとしても、しかし当然ながら、グレーダは、当分の間はこの映画を現在の800nitディスプレイ上でも良く見せることを求める)。通常、MDRディスプレイの中間点のどこか近くであることが有利であるが、それは、それが最大量の再グレーディングが必要とされることが予測される場所であるためである。しかし、グレーダはまた、例えば、任意のLDRぽい効果の臨界、多少よりコントラストのある効果を与えることができるディスプレイ上でもチェックするための第2のLDRディスプレイを選択するが、その場合、MDRディスプレイは、100nitより上に例えば1段階のみ又は1.5段階である。グレーダが効果に満足する場合、グレーダは、「完成」ボタンを押す。例では、これは、例えば、信号S_im(即ち、主画像及びダウングレーディングのためのメタデータ)、及び、前の例では、1.0のgpm値、しかしより高度な実施形態では、より高度なMDRグレーディング最適化データを、例えばブルーレイディスク(BD)のようなメモリ製品321上に画像出力320を介して記憶する。当業者は、同様に、データが、例えば、例えばインターネットによる後の供給のためにサーバ上に記憶されるか、又はリアルタイムで放送されるということを理解すべきである。より高度な実施形態において、グレーダは、例えば関数503を開始点として適用して、MDRグレーディングの計算を使用する。グレーダは、次いで、正確な第3の効果を取得するためにさらにグレーディングし、この単純な再グレーディング原理を改善する(即ち、グレーダは、ここでも、オリジナルグレーディング符号化技術の少なくともいくつかのツールを使用するが、第3のオリジナルグレーディングに行き着くために、マスターグレーディングの代わりにディスプレイ調整MDR再グレーディング、及び何らかの受信器に通信されるべき色変換関数のセットから始める)。例えば、グレーダは、場面の画像の領域を決定し、さらなるカスタム曲線をそれに適用して、これらのサブ領域/オブジェクトを明確に取り扱う。これは、例えば、暗闇の中の顔が重要である場合に使用され得、単純な再グレーディング関数が、目及び顔の表情のようなすべてが十分に知覚されるように、それを適度なものにするが、ここでより批判的なグレーダはまだ満足しない(すべての努力分野において、あまり批判的でない人もいれば、より厳しく批判的な人もいる)。選択される単純な再グレーディング関数は、環境、例えば暗い道が考慮される限り、それらがそれほど批判的に見られないことから、例えば500nitに対して良好なMDRグレーディングをもたらすが、グレーダは、顔をより健康に見せたいと考え、何らかのさらなる関数を適用する。その第3の(部分的)グレーディングのためのメタデータはまた、次いで、例えば、1つ又は複数の関数としてブルーレイディスクに記憶され得るか、又は追加のメタデータとして伝送され得る。1つ又は複数の信号フォーマッティングユニット310は、すべてのデータを要求された形式でフォーマッティングするために関与する。例えば、例えばBD上への記憶のためより、ディスプレイを駆動するため、別の符号化がディスプレイ接続の有限帯域幅に続いて使用され、その場合、フォーマッティングされた高ダイナミックレンジ画像SF_X2DRは、任意のHDR符号化スキーム、しかし好ましくは、主画像が、第2のダイナミックレンジ画像を主画像から計算するための色変換をコード化するメタデータによって補足され、2つの画像が大幅に異なるダイナミックレンジ、即ち、典型的には少なくとも因子2を有するディスプレイのためであるスキームに従って符号化される。例においては、輝度処理パイプライン(102として具現化される)は、典型的な既にLDR形式へのマッピング(ユニット112によって実施される逆元709のように)を含むと仮定したが、MDRディスプレイは、フォーマッティングユニット310が対処する別のソース形式などを有する。これが本発明の新規の教示の主要部分でないということは、当業者には明白であるものとし、さらに詳述されることはない。
図8は、上に説明された輝度処理に類似して、中間ピーク明度にMDRディスプレイを駆動するためのピクセル色の正しい色飽和を取得するために、最適化原理がどのように作用し得るかを説明する。いくつかの実施形態においては、最適化された輝度スケーリング及び飽和スケーリングの両方を行うことが好まれるが、他の実施形態は、輝度スケーリングのみを使用する。入力色は、入力飽和、又はより正確には、ゼロ値は白色であると言及される彩度C_inを有する。例えば、HVCのように[0,1]に正規化される飽和、又はCIE1976 uvのように他の飽和など、飽和のいくつかの定義が存在するが、それらはすべて、D65のような既定の白色で始まり距離にわたって延びるベクトルによって色の飽和が定義されるというプロパティを有する。HDR入力画像内には、飽和Csを有し、値Cfへと増加されるピクセルを有するものとする。これは、本発明の上記の初期共通乗法的因子gに類似した因子である乗法的因子sによって定義され得る。LDRが、HDR画像より飽和される場合(例えば、ディスプレイのより低いピーク明度能力が理由で、レンダリングされた画像領域の輝度における各減少が、グレーダ指定の飽和処理によって逆に修正される必要のある彩度における減少に対応するため)、MDRグレーディングの飽和を、比較的程度は低いが、つまり、gtの実施形態である因子stを用いて増加させるのに有用である。飽和処理能力を有する装置は、典型的には、一定の飽和乗数sを使用する単純なプロセッサではなく、むしろ適切にスケーリングされた飽和を提供するように構成される色飽和プロセッサ106を有する。飽和処理は、すべての輝度にわたって一定であり、それは、単一の乗法的値sを用いて行われるが、依然として、接続された各MDRディスプレイのための最適値へのディスプレイ最適化を必要とするが、典型的には、ダイナミックレンジ変換の場合、より精巧な飽和処理が求められる。例えば、飽和は、輝度、又はValueマイナス輝度、及び/又は入力飽和などによって変化する。しかしながら、重要なことは、各入力ピクセルに対する必要とされる飽和再グレーディング(即ち、HDRとLDR画像との間)が、グレーダによって指定され、メタデータMET内で通信されることであり、それは、受信器で決定され、次いで適切にスケーリングされ得る。典型的には、色飽和プロセッサ106は、sを決定するためにいくつかのルックアップテーブルメカニズムを有する。例えば、入力色(Ri,Gi,Bi)=(0.2,0.3,0.7)である場合、LUTは、例えばs=1.1を生じるか、又は、飽和低減の場合、例えばs=0.5であり、別の入力色の場合、同じ又は異なるsの値が存在する。このとき、色飽和プロセッサ106は、結果的共通乗法的因子gtの実施形態である結果的飽和乗法的因子(st)を計算するためのユニットを含み、このユニットは、ユニット200に類似しており、st=POWER(s,sp)を計算する。比率spは、飽和の場合、輝度処理の場合と比べていくらか異なるが、典型的には、比率spは、依然として、PB_D、PB_H、及びPB_Lの関係に依存し、多くの場合、gpが計算されるやり方と異なる必要はない(しかし、当然ながら、飽和及び輝度処理に異なるgpm値を使用して、MDR効果の輝度をよりLDR効果のようにするが、例えば飽和効果をよりHDR画像の飽和のようにするなどができる)。図8に見られるように、例えば低いピーク明度の再グレーディングにおいて高い明度を取り扱うための飽和低減の領域、及びより暗い色の彩度を上げるための領域などを指定するため、例えば飽和デマーケータLts(実際には、異なる飽和処理のために2つ以上の異なるクラスにピクセル色を分類することを可能にする任意の区分情報である)によって定義される異なる飽和レジームを使用することも理にかなっている。
典型的には、以下のように飽和処理を実施することが有利である。
Ro=st*(Rin−Y)+Y
Go=st*(Gin−Y)+Y
Bo=st*(Bin−Y)+Y [等式5]
式中、Ri、Gi、Biは、線形入力色成分であり、Ro、Go、Boは、飽和処理後の結果的出力色成分であり、Yは、線形輝度、即ち、既定のコンスタントa、b、及びcとの線形組み合わせa*Ri+b*Gi+c*Biであるが、他の等価の処理も使用される。
図9は、受信装置内の単純な再グレーディング計算に唯一存する、及びグレーダが例えばそれ以上チェックすることを気にかけない、時に複雑なシーンに依存して最適化されるグレーダの所望の特殊性を、本発明の実施形態の最も単純なものを用いて、どのようにして既に追求することができるかに関するさらなる例を提供する。この例では、等式1の対数による意図されるレンダリングディスプレイピーク明度依存のスケーリングを使用する。この方法は既に、必要な輝度及びコントラストをそれらがシーンにおいて必要とされる場所で非常に上手く設定することができると考える。例えば、この例では、最大(即ち、白色)の60%(線形)よりいくらか上の領域−HDR画像について定義されていると仮定する−は、典型的には、このレンダリングにおいていくらか明るくされることを必要とする。一方で、この例では、50%あたりに重要な画像領域も存在し、それは、例えば、比較的明るく照らされているシーンの一部分における俳優の顔である。もう一方で、この例の画像のより暗い領域では、LDR効果がそれらのより暗い領域を強力にソフトクリッピングする余裕があり得るため、高い関心のオブジェクトが多すぎるようには見えない。例えば、これは、例えば太陽に照らされた景色において多くのことが起きている屋外、及び、審美的にかなり暗くすることが決定される何らかの室内、例えば、小さなドアから見える納屋又は寺の内部であり、そのためにその中に何があるかはどちらにせよあまり関連がない場所を有するシーンである(この領域の小さいサイズが理由で、HDRディスプレイへのHDRレンダリングにおいてさえ、視覚系は、これを「関心のない黒色」として放棄し、したがって、同じグレーディング理念を用いて、グレーダは、それをLDRにおいてもほぼ黒色として見えるものにすることを決定する(本発明の方法は、より正確であり且つあまり重要でないグレーディング異形において、並びに典型的には、例えばいかなるMDRレンダリングにおいても正確な平均輝度が全く重要ではない画像の2つの空間領域であるより容易なHDRシーン、及び例えば霧の中に部分的に隠れている怪物のような、例えば非常に正確なレンダリング要件を有するより難しいHDRシーンと共に、作用できるべきであるということに留意されたい)。重要な特性は、本発明の最も単純な実施形態でさえ、すべての中間ダイナミックレンジ(MDR)について、ほぼ良好な明度の外観及びすべて対応して決定可能なコントラスト(即ち、選択された興味深いピクセル1と2との輝度間、又は興味深い領域1及び2、例えば暗い角及び部屋の窓から見える屋外の一部分の平均輝度)を見事に得ることができるということである。この図9では、曲線909は、100nit LDR効果において5000nit HDR効果を変換するために適用する輝度変換であり、変化のないそれ自体に変換されるHDRは、当然ながら、対角線に対応し、他の曲線は、最適化された効果画像を供給されることになる5000から100nitの間の様々なピーク明度のディスプレイのために、様々なMDRグレーディングに再グレーディングされることが要求される変換である。
図10は、本発明の実施形態によって可能になる別のより高度な例(それが、コンテンツ作成側の人間のグレーダによって、又は、特定の受信器、例えばHDRテレビによって行われる自動再グレーディングによって、(部分的に)制御されるのか)を示す。この例は、単一の輝度(又はluma)デマーケータLrcとして単純な様式で決定される(例えばグレーダによって決定され通信されるか、又は受信器内に唯一存する画像分析ユニットによって決定される)、様々な画像領域に関するより意味のある情報を有する場合に、どのようにしてスマートに再グレーディングすることができるのかを示す。この例では、より明るい領域が非常に重要であり、より暗い領域は、同時に最適化するのが困難であり(即ち、例えば、画像の場面内の考えられるピクセル輝度の暗い範囲全体に対して十分なコントラストを維持すると同時に、より明るい画像領域を十分な見栄えを有してレンダリングするためにより低いMDR画像に対して輝度範囲の十分に大きい部分を必要とする)、即ち、特定の様式でその品質を低下させることを素早く決定する。素早くとは、HDR PBに近いMDRピーク明度(PB)の場合でさえ、例えばPB_H=2800nit及びPB_MDRが2500nitであれば、下方範囲は、完全に又は大部分が、LDR100nit効果を模倣した戦略に従ってマッピングされる。しかしながら、より明るい領域は、2800〜100nitの間の様々なMDR PBにわたって、LDR効果に向けてより漸進的に調整することができる。この戦略は両方とも、グレーダによって、少なくとも部分的に、又は初期誘導戦略として、決定されるが、受信器自体によっても決定される(例えば、グレーダが指定したものを何でも却下することによって。例えばグレーダは、場面の画像のより暗い領域及びより明るい領域の両方に対してLDR効果に向けて円滑な再グレーディングを指定していた可能性がある)。
人間のグレーダが関与した、即ち、それらのHDR画像通信システム実施形態による例えばグレーダの画像の最終レンダリングにおいて許された、実施形態シナリオを用いた上の例を説明したところにおいては、代替的にコンピュータアルゴリズムが自動グレーダとして使用されてもよい。これは、作成側で起こってもよく、作成側では、アルゴリズムは、非リアルタイムで非常にスマートな画像分析、例えば領域、特にテクスチャの種類を指定することを行うことができるか、又はグレーダが典型的にはこの種類のシーン及びそれらのオブジェクトをどのようにグレーディングすることを所望するかの統計情報に基づいて、人間、特定の動物、太陽の下で金属部が鏡面反射した自動車などのようなオブジェクトのクラスを指定することさえできる。しかしながら、自動グレーディングユニットはまた、受信器内に存し、例えばテレビ製造業者によって何十年にもわたって作り上げられた画像品質知識をコード化する(また、テレビ製造業者の特徴的な効果を構築する)画像強化処理を適用する。新しい解決策は、ここで本発明のHDR再グレーディング技術においてそれを組み込むことである。図11は、これを、例えばテレビ、又はセットトップボックス、又はスーパーマーケット若しくは屋外イベントなどで商用ディスプレイを供給するコンピュータに組み込まれる、受信器の色変換ユニット1130の例示的な実施形態を用いて説明する。
動画の画像、及び(例えば、図1に説明される対数スケーリングによって、作成側の人間のグレーダによってこのシーンに最適であると選択されるパラメータlg、及び、例えば、カスタムトーンマッピング曲線の多重線形形状を定義するパラメータP_CCを用いて、入力画像Im_inとしての5000nit HDRから100nit LDRへの)本来の色の再グレーディングを行うためのメタデータは、この例では、画像通信ネットワーク1101(例えば、インターネットを介して接続される動画サーバ、又は携帯電話ネットワークによって放送若しくはマルチキャストされるテレビサービスなど)を介して受信される。スケーリング因子決定ユニット1102は、次いで、意図される範囲の一方の端での(とは言っても、同じ原理が範囲境界のいくらかに外に出るときにも使用され得る)効果、例えばHDRを、他方の範囲端の参照効果、例えば100nit LDRへとマッピングするのに最適と指定されたトーンマッピング仕様を適用し、初期スケーリング因子g_natを決定して、したがって線形(又は、場合によっては非線形さえ)RGBスケーリングを行う。第2のスケーリング因子決定ユニット1103は、最終スケーリング因子g_finを決定して本状況において使用するが、ここでこの実施形態では、この因子は、受信装置画像強化知識によって決定される。それに加えて、画像分析ユニット1110も含まれ、画像分析ユニット1110は、様々な画像分析ユニットを含む(典型的には、例えば様々な画像分析ソフトウェア構成要素、又はそれらのハードウェア実現である)。この単純な説明的な例において、ヒストグラム分析ユニット1112、及びオブジェクト認識ユニット1112について説明する。ヒストグラム分析ユニット1112は、画像の輝度分布を分析し、例えばたくさんの暗いピクセルが存在すること、又は意味的に重要なピクセルが暗いことを決定するように構成される(これらのユニットは一緒に作用することができるため)。次いで、ヒストグラム分析ユニット1112は、例えば暗い領域のデマーケータ、及び意図される増光戦略を決定する。オブジェクト認識ユニット1112は、例えば、俳優がシーンの様々な異なって照明された部分に立っているために様々な明度を有する顔を検出することができる顔検出器を含む。この知識により、戦略パラメータ決定ユニット1113は、開示される本発明の実施形態のどれが第2のスケーリング因子決定ユニット1103内に存するかに従って、対応するパラメータを決定する(その機能性の一部は、いくつかの装置又はシステム内の他の構成要素内に存する場合があるが、ここでは機能的にそれを説明するということに留意されたい)。例えばシーンを明るくしたいこと、特により暗い色をグレーダの本来の方法よりも明るくしたいことを通信する戦略パラメータ決定ユニット1113の論理的様式(人間のグレーダからの任意の特定の再グレーディング情報、又は部分的に準拠されるか、若しくは大部分は却下されるより高度な戦略なしで、本発明の等式のものを適用するのと同じくらい単純であり得る)は、例えば、新しいgpm値を指定することによって行われ得る(当然ながら、いくつかの実施形態において、装置は、オリジナルのHDRとLDRグレーディングとの間のマッピングを定義する関数、例えば底部傾斜のための新しい値を定義するが、いくつかの実施形態は、同様に修正される必要のない、コンテンツプロバイダからのその尊重すべき情報を、それらの専用の効果が後処理として達成され得ることから、検討し得、任意の関数形状適合が必要とされる場合、少なくともこれは、MDR計算部に対してのみ実施され得、例えば図19に説明される純粋な乗法的スケーリングの代わりに、テレビは、最も暗い値についての結果的MDR輝度マッピング関数への曲げ、又は、任意の代替関数再定義、例えば、TVによって決定される特定の一定又は画像依存の関数の修正値での乗算などを適用し得る)。画像分析ユニット1110が、例えばその最も暗い領域内の俳優のそのヒストグラム分析及び識別を用いて、受信器製造業者に従って、最も暗い部分が、例えば接続された1100nitのディスプレイにレンダリングするには元々暗すぎると決定した場合、gpmを、LDR効果に向けて少し上げる(LDRへ向かう動きが、典型的には、おおよそに且つ現在のシーンに依存して、増光に対応する挙動を有するためである)。輝度デマーケータLtr1は、その戦略をHDR輝度の最も暗い部分的範囲にのみ行うように通信される。画像分析ユニット1110が必要な再グレーディングのその要望を第2のメタデータMET_2として通信することができる他の様式が存在する。例えば、画像分析ユニット1110は、接続されたディスプレイが1100nitではないと見なし、むしろ例えば1300、又は900のPBF値を通信し、これを対数比率計算におけるPB_Dと類似して使用させることがある。或いは、画像分析ユニット1110は、既に対数比率を通信し、ユニット1103にgpm値をそれに適用するようにさせることなどがある。或いは、画像分析ユニット1110は、PB_H値及びPB_L値を調節することがある。そのため、画像分析ユニット1110によって決定されるような正しい値と、最終的なg_finを計算するための値との任意の必要とされる組み合わせは、MET_2においてユニット1103に通信され得る。純粋に画像Im_inを分析することに加えて、グレーダがどんなスマート性を色変換関数の形状に加えたかを見ることが非常に有利である。それに加えて、トーンマッピング分析ユニット1114がいくつかの実施形態では含まれ、第1の参照効果と第2の参照効果との間、即ち、典型的にはHDRとLDRとの間の全トーンマッピングの関数形状を分析するように構成される。例えば、このユニットは、3つの領域に適合し、どんな(例えばソフトクリッピング)処理がより明るい色に対して行われ、どの処理がミッドレンジの色に対して行われ(例えばコントラストの増加)、及びどの処理が暗部に対して行われるかをチェックする。図9の例にある50%あたりの強く傾斜した部分のように、トーンマッピング内で例えば高速曲げが見られる場合、トーンマッピング分析ユニット1114は、そこに区分点Ltr1を決定する。次いでこの情報は、ユニット1113によって使用されて、受信器製造業者の好みに従ってコントラストを最適化するそれらの中間色のためにスマートな再グレーディングを決定するが、これらの実施形態は、再グレーディングをg_natとしてコード化されるようなオリジナルの再グレーディング意図に対して適用するため、グレーダのグレーディング仕様に存在するシーンに関する意味的知識、及び、様々な実施形態において少なくともいくらかはグレーダのこの再グレーディング意図と歩調を合わせることの両方を考慮する。
このより単純な例においては、グレーダからの再グレーディングの特定の要望(例えばgpm値)を示すさらなるメタデータパラメータは存在しなかったが、しかしながら、グレーダはそのようなメタデータを入力信号S_im内で指定する場合、それはユニット1110へも通信されると仮定するということに留意されたい。このユニットは、次いで、例えば、小さな公差以内で、例えば5%若しくは10%以内で、又は輝度範囲の限られた部分的範囲のみにわたって、gpm値を変更することによってこの要望に十分に対処するか、より明るい色に対するコンテンツ作成グレーダのオリジナルの要望を維持しながら10%最も暗い色の効果のみを変更するか、又は代替的に、グレーダのgpm値を全く無視して、ユニット1103に対するその独自のgpm値を決定することさえある。
いくつかのより高度な実施形態はまた、視聴者が最終効果に対して意見を出すことを可能にする。典型的には、入力接続1121を介してリモートコントロール1122へ、及びユーザインターフェース1120を介して、視聴者は、いくつかの単純な再グレーディング命令を出す。例えば、視聴者は、画像を明るくするための5点スケールを有する。これは、信号b_rel={−2,−1,0,1,2}として通信され、それは、ユニット1113によって、例えば10%最も暗い色に対する明度の増加のいくつかの段階、及び最終的に1つ又は複数のgpm値、及びおそらくは視聴者にとって適切な効果を作成する対応する増光を行うための1つ又は複数のデマーケータ(Ltr1、Ltr2)へと変換され得る。そのようなリンクはいずれも、様々な受信器実施形態によって作られ、例えば−1は、PBF値として伝送されるPB_Dにおける10%増加に対応するなどである。
本実施形態を用いてどのようにして明度の重要な視覚パラメータと相関する再グレーディングを決定することができるかは既に上に説明されており、図12では、本発明の様々な実施形態を用いて、どのようにして最終的なMDRレンダリング効果の様々なコントラスト変化を画像の意味的に決定することができるかの例を簡略的に説明する。ダイナミックレンジ、もっと正確に言えばコントラスト比は、画像内の最も暗い色対最も明るい色という単純な概念である。心理視覚的に関連のあるコントラストは、より複雑なパラメータである。依然として、それは、比較的に単純に、上記の本発明の画像適応型の実施形態を用いて決定され得る。典型的には、シーン内の最終的なコントラストは、特に高コントラスト比の画像が関与するときの、オブジェクトのテクスチャがどれくらいよく見えるかを決定するオブジェクト内コントラスト(例えば、顔の表情、又はその顔のきめの粗さ、又は木材表面の木目)、オブジェクト間コントラストの2つの因子からおおよそ推定され得る。多くのHDRシーンにおいては、異なって照らされる領域は、ほんのわずか、多くの場合は2つのみしか存在しない。例えば、対屋外の屋内平均輝度である。或いは、平均的な夜道の輝度に対する2個の街灯の輝度である。HDRでは、例えば5000nitディスプレイの輝度範囲が十分に大きいため、様々なそのような平均輝度部分的範囲が存在する。例えば、いくつかの異なる白色、例えば屋内の紙の白色、照明近くの白色、及び照明自体のさらに明るい白色、さらにはおそらくはもっと明るい照明が存在する。LDRでは、これらの異なる明度領域すべてを忠実にマッピングできるわけではない。実際に、レガシーLDR符号化は、白色、又は同様に関連した18%ミドルグレーと比較してすべての色を符号化するのに非常に適しているが(しかしながら、一方では、ノイズ及び/又はコード量子化において得ることができる深さ、もう一方では、適合された視覚系は黒色、例えば白色の5%線形未満に落ち着く)、そのように異なって照明される多くの領域に対してはそうではない。いくつかの画像に対しては、グレーダは、LDR効果の場合、いくつかの照明がグレーに見えるリスクを冒す代わりに、すべての異なる白色領域を同じLDR白色(R=G−B=255)にクリッピングすることを選択しなければならない。そのため、例えば100nit LDRモニタにおける屋内ピクセルの平均明度の外観と、屋外がそれよりどれくらい明るく知覚されるか(この屋外は、より明るいが淡色化される代わりに、高飽和される必要もある)との均衡、即ち、それら2つの領域のオブジェクト内コントラストが、処理される画像に応じて重要なものである。
図12は、どのようにして受信器がそのような領域における様々なコントラストの、ひいてはレンダリングされた画像の全コントラスト見た目の均衡をとることができるかを説明する。曲線1201は、どのようにグレーダがトーンマッピングを指定して100nit LDR画像を取得したかを特定する。最も明るい色に対してソフトクリッピングする領域、多くのことが起きているように見えるミッドレンジ領域、即ち、トーンマッピング曲線のその部分内にいくつかの重要な曲げ点があることから、いくつかの重要なオブジェクトがそこに存在する(例えば、異なって照らされる3人の俳優)領域、及びより暗い色に対する好ましいマッピングが見られる。画像分析ユニット1110が、これらの重要なサブ領域に対して2つのデマーケータLtr1及びLtr2を決定する場合、それは、ここで様々なコントラスト均衡方法を提案することができる。例えば、画像分析ユニット1110は、より明るい色に対してそれを決定することができ、曲線1210は、より最適なコントラストを提供する。それにより、その例えば晴れた屋外の領域の効果を変更するが、なぜならここではこのサブ領域の最も暗いピクセルは、例えば1200nit MDR画像の場合、1200nit MDRに対する本来の再グレーディングが提案するものよりも暗いが、それが受信器製造業者にとっては望ましいことがあるためである。この例では、受信器は、ミッドレンジに対するグレーディングの詳細をほとんど無視することを選択している(最終的にレンダリングされる効果の品質については見識がある場合とない場合があるが、用途に応じて、シナリオは行われたり行われなかったりする)が、受信器によって提案されるトーンマッピング曲線の傾斜は、ミッドレンジ部分1211の半分あたりで変化するため、依然としていくらか適応性である。この例では、最も暗いピクセルのコントラスト比は、受信器によって提案されたMDR効果については同じであるが、しかしながら、グレーダによって提案されたLDR効果に関しては、下方部分1212の曲線形状がグレーダの意図とは非常に異なるため(この例では、理想的には、受信器は少なくとも大部分はオリジナルの形状に従いたい)、コントラストは異なって分布される。これらの技術を用いて、様々なオブジェクト間及びオブジェクト内コントラストは、受信器が入ってくる画像Im_inのその分析後に要望するものに従って最適化され得る。例えば、曲線1210の上方部分(これがグレーダによって提案されるような1200nit MDRに対する結果であるにしろ、既にユニット1110の第1の決定からのものであるにしろ)は、コントラストが十分でない、即ち、外側が薄すぎる。次いで別の明るい部分の部分的曲線1220が、より大きなコントラスト比及びより大きなコントラストで決定される。これは、中間部分がよりコントラストの小さいものである必要があることを意味するが、当然ながら、異なるY_HDR値を同じY_L値にマッピングする戦略が提案されてもよい。このやり方では、第2のオブジェクト内コントラストC_intR2及び第3のオブジェクト内コントラストC_intR3の両方が最適化され得る。しかし、これは、場合によっては何らかのオブジェクト内コントラスト、例えばC_intR3を犠牲にして、逆に主としてそれ自体によって最適化され得る、第1のオブジェクト間コントラストC_gl(例えば、より明るいサブ領域及びより暗いサブ領域の中間点輝度間で定義されるか、又はピクセル発生によって重み付けされるなど)のようなオブジェクト間コントラストも決定する。
図13は、トーンマッピングを計算するための一般的な実施形態を示す。信号デフォーマッタ1301は、すべての必要な情報を取得する。COD_DIR及びCOD_METRは、どの補間方向(DIR)及び中間ディスプレイピーク明度の位置を計算するための測定基準を使用すべきかを指定し(例えばグレーダによってコンテンツ作成側で指定されるように)、それらは、135度、及びこれより以下にさらに詳細に説明されるOETFベースの測定基準であると仮定する。変化を許可しないいくつかの実施形態において、それらは、例えば垂直調整のみを実施する装置実施形態にある、回路配置へと事前構築される。トーンマッピング決定ユニット1302は、メタデータ入力116を介して、入力画像(例えばHDR画像)の輝度と対応する第2のグレーディング(LDR)との間の最終トーンマッピングを構築するためのすべての情報を得る。本発明の方法の第2の部分は、HDRシーンにおける2つの典型的な効果の間の、典型的にはHDRと例えば100nit LDR効果との、色変換関数を確立する必要があるというものであることが理由である。出力1308を介して、それは好適な形態(TMF)にあるこの輝度マッピング関数を、又は他の実施形態においては、g乗数のセットを供給することができるが、ここでは入力HDRとグレーディングされたLDR出力輝度との間の関数形状が通信されると仮定し、即ち、これが、例えばLUTとして技術で通信され得る輝度間のグラフィカルマップとして説明する単なる関数であると仮定する。このTMFは、MDR画像を取得するのに必要な変換の計算を行い、これを乗算のための好適なgt因子(例えば1.53、又は0.872など)として処理されるべき各ピクセル色について提示するスケーリング因子決定ユニット(200)に対する入力である。
詳細を説明する前に、まず読者に、何が起きているかについていくつかのさらなる理解を提供する。
図17は、より極めて単純なグレーディング例を用いて、ここでディスプレイ調整により達成したいことを示す。絶対(参照5000nit)輝度軸に対する絶対的視点としての数学的処理を示してきたが、しかしながら、それらは本発明の光−電気変換関数(P−OETF)に従って知覚的に一意化されているということに留意されたい。そのため、この表現ではコード空間において線形であるが、他のグラフにあるような相対輝度空間においては線形ではない。読者は、軸が対数であるかのようにおおよそ考えることができるが、この例の5000nitにおける参照ディスプレイ及び実際の対応する出力の相対的な[0.0,1.0]luma座標間の正確なマッピングは、(Philips EOTF)によって決定される。
Y=Lm*power((rho^v−1)/(rho−1);gam) [等式6]
この等式においては、vは、実数値の数字であると仮定される相対lumaであり(読者は、これをLDR信号のluma、即ち、例えば255により除算される[0,255]画像値と比較する)、rhoは、例えば33である定数であり、gamは、2.4である定数であり、Lmは、このシナリオでは、画像符号化のPB、つまり5000であり、^及びpowerは冪関数を示す。他の例えばより高いPH_H値(又はこの等式ではより高いLm、例えば10000)で終了するEOTFを定義したい場合、以下によって別のrho値を計算しなければならないということに留意されたい。
rho_2=(33−1)*(PB_H/5000)^(1/gam)+1 [等式7]
そのため、例えば図17のx軸上の[0.0,1.0]内の等距離値は、上の等式を用いた計算によって実際の輝度へと変換される。この関数は、v値がHDRディスプレイ輝度の一般的な範囲にわたって非線形な人間の目ではより一意であるという特性を有し、即ち、人はこれを心理的な明るさ近似として概念的に見る。
本発明のPhilips HDR OETF(P−OETF)は、この関数の逆として定義される。
v=1/log(rho)*log(1+(rho−1)*(Y/Lm)^1/gam) [等式8]
ここで、例えば100nitディスプレイのためのグレーディングを作りたい場合、読者は、5000nitディスプレイ上に表示するかのようにこれを概念的に見るが、100nitを上回る任意の輝度(5000nitディスプレイ上では可能であるが、100nitディスプレイ上では可能でない)を作成しない。LDR効果(当初グレーディングされた)画像を達成するための考えられる(少々悪い品質であるが、説明の目的には十分である)輝度変換が、曲線1702である。基本的には、この曲線を用いてすべてのピクセル輝度(Im_inである受信したHDR画像の)を100nitまでレンダリングするが、それは、入力画像をその対応する参照ディスプレイにレンダリングしている場合にそれらをレンダリングするのと全く同じであり、対応する参照ディスプレイとは、入力画像がそれに対してグレーディングされる、及び典型的には、入力画像がそれにおいてグレーディングされるもの、即ち、5000nitディスプレイである。しかしすべてのより高い輝度は単に100までクリッピングする。
(理論的に)輝度変換を適用して、カラーグレーダから既に受信しているまさに既に5000nitのIm_inから5000nit再グレーディングを取得するつもりならば、当然ながら、典型的には、恒等変換1701を適用することになる。ここで500nit MDRディスプレイに対して中間再グレーディングを決定したい場合、何が起こるか考えてみる。
当然ながら、500を上回るすべての輝度をクリッピングし得るが、コンテンツ作成者によって定義されるそのような悪いクリッピングのHDR−LDR輝度変換があったとしても、それはおそらく、そのディスプレイに対して作ることができる最良の再グレーディングではない。HDR Im_in内のすべての最も明るいオブジェクトテクスチャの、つまりより高いPB_Dディスプレイについての情報があり、即ち、能力があるなら、その情報の一部を、それが5000nitレンダリングと比較して低減された品質バージョン(即ち、HDRシーン及び画像が何であるかに応じて、より小さい明度増加、より希薄なコントラスト、より少ないきらめき及び輝き)であれ、示したいと考える。1つの選択肢は、100nitまでのすべてのオブジェクトが完璧にレンダリングされたと見なす場合に、曲線1711を計算することである(また、これは「偶然に」興味深い区分点であったが、この区分点を下回るとオブジェクトはすべての実ディスプレイにおいて同じ輝度でレンダリングされるべきである)。しかし、等しい輝度マッピングを行うのを止めて、最も明るいHDRオブジェクトをL_knへ押し込み始める点をシフトするという別の戦略(別の測定基準、及び/又は補間方向、及び/又は再グレーディング積極性(gpm,gpr)のための微調整関数を用いて計算することに対応する)を適用することもできる。これにより、PB_D=500nit実ディスプレイのためのMDRグレーディングを生成するためのMDR輝度マッピング曲線1703が生じる。
読者は、どのシナリオを行いたいか、及び100nitを上回るL_knをどれくらいシフトしたいかが、画像内にあるものが何であるかに依存するということを理解する。窓から見えるものが典型的には既に激しく既にクリッピング又はソフトクリッピングされている放送ではよく起こるように、外部にあまり関心がない場合、屋外のオブジェクト(範囲R_sm)についてはより少ない量のレンダリング可能輝度を甘受する。これは、屋内のオブジェクト輝度が100nitでぴったりと終了しなかった(当然ながら、それらはグレーダが行った注意深いグレーディングに依存する)が、例えば、例えばテーブルの上のいくつかの反射するオブジェクトのより明るい部分の一部をクリッピング(この極端な例ではハードクリッピング)する必要があった場合に特に当てはまる。これは、視聴者が注意深く見ているシーンの主要部分である場合があるため、図14に見られるように、窓から見える太陽に照らされた家の色の品質を犠牲にして、それらの最大輝度まで、又は少なくともそれにより近づけて、それらを等輝度(対角線)部分内に含めることによって、実際にそれらのオブジェクトに美しい輝度及びテクスチャコントラストを与えることも理にかなっている。これは、画像についてそれ以上何も知らない場合に特に当てはまる(当然ながら、グレーダが、使用するCOD_METR及びCOD_DIRを指定する場合、どんな状況にあるかをいくらか既に通信しているが、グレーダはTMFのみを作り、受信装置は、より単純なディスプレイ調整戦略ではあるが、可能な限りMDR画像についての適度な視覚品質を依然として与えるべきである戦略において、他のすべてのことを自律的に決定しなければならないと仮定する)が、それは、次いで、これがHDRシーンであり、そのため、L_kn点を偶然の100nitより少しだけ高く置くことによって誤差を除算してもよいことから、おそらくは、低品質100nit値を上回るいくつか興味深い輝度が存在すると仮定するためである(グレーダは、グレーダのHDRマスターグレーディング内に既にある屋内輝度に対処しており、即ち、それらを満足に照らしており、またそれは、LDR/HDRフレームワークにそれらをぴったりと適合させて、屋外を適切な輝度にグレーディングすることがそれほど容易ではないため、グレーダが屋内のオブジェクトをマスターHDRグレーディング内に既にあるLDR部分的範囲に正確に置いたかどうかは常に確かではない)。
しかしながら、グレーダがすべてのより暗いピクセル領域が100nit部分に入ること、及び、最大コントラスト又は最大量の考えられる使用可能なlumaコード及び輝度(任意の輝度マッピング関数のための)を必要とする、100nit部分を上回るどこかの重要なテクスチャが存在することを把握しているという代替的なシナリオにおいて、グレーダは、すべてのMDR再グレーディングについてL_kn点を100nitに保つことを望む。そのため、読者は、ディスプレイ調整(同調性とも呼ばれる)は、所望の場合には単純にされ得るが、より困難な場合に、依然としてすべての因子及びパラメータを決定する必要のあるグレーダにとってできる限り単純な様式で、HDRシーン及び画像の複雑性を可能にするためのいくつかの追加の技術的手段を好む場合があるということを理解する。
ここで、特定のディスプレイ、例えばPB_D=500nitディスプレイの参照フレームにおいて何が起きるかを見たい場合、図17のマップから、Y_out=500nitまで延びる部分のみを切り出すことができる。この表現の最大値は、500nitディスプレイにレンダリングできる最大値よりも大きく、即ち、それを最大lumaコードv=1.0に提示することによって行うべきである。そのため鮮明さのためにマップ内に置いたnitラベルを無視して、lumaコード空間内の仕様として図17再グレーディング仕様を見ることができる(それが入力軸上であろうが、等距離lumaコードを見事に読むことができるが、当然ながらこの表現におけるy軸上では、v=1.0は、異なるPB_Dを有する異なるディスプレイに対する異なる高さで下がる(読者は、読者の理解のために、これらの異なるディスプレイがすべて5000nitディスプレイに対してエミュレートされており、したがって、エミュレートされたディスプレイのPB_D能力に応じて、特定のluma vxでレンダリングすることを止めなければならないと仮定することができる)。
図18は、同じ例示的な変換を示すが、ここでは、動画信号S_imと関連付けられたメタデータ内で受信されるHDR−LDR色変換仕様から始めて、必要なHDRからMDRへの輝度変換関数を導出するために開始することができる軸システム上での変換を示す。水平軸は、これらが本発明の5000nit Im_inの考えられるピクセル輝度であるため、同じである。垂直軸は、再グレーディングされたMDRピクセル色の相対輝度を、ここでも知覚的に一意化されたスケール上で本発明のP−OETFを用いて、即ち、ゼロと値L1(又は言い換えると、その対応するlumaコード)との間で決定すべきである。100nitグレーディングの場合、最大lumaコード、例えば10ビットでは1023、又は12ビットでは4095に対応するこのL1値は、100nitとなる。ここでも、100nitまでのHDR輝度では、グレーダに従って、それらは5000nit画像が指示するのと全く同じ輝度で100nit LDRディスプレイにレンダリングされるべきであり、それを上回るとLDRグレーディングがすべてをPB_L=100nitへクリッピングするということが分かる。
また、例えば、この表現において、ダークグレーについてLDRディスプレイでHDRディスプレイと同じレンダリングされた輝度を得るために、LDR画像のlumaを増加させる必要があり(このグラフでは、v=1.0に対応するL1と0との間に一意に見られ得る)、即ち、相対HDR値(それらが、入力画像、又は恒等変換を行うことによる理論的に計算される出力画像のいずれかの最大lumaに何が対応するかを知るために5000nitで終了する軸を必要とするため、ここでは、対角線として「間違った」100nit軸上に示される)と比較して角度bだけ暗傾斜又はゲインを増加させる必要があるということが分かる。ここで、最小と最大との間での相対駆動のための必要なMDRマッピング曲線1803(このPB_D=500nitディスプレイについてそれぞれ0及び500nitに対応する最小及び最大lumaであり、グラフの右側のY_out_MDRとして示される)、即ち、Im_inの任意のY_inに対するこのY−out_MDRをどのようにして導出するかを考える。対角線に直交する線を引き(HDR5000からHDR5000へのマッピング1701)、それに対して測定基準(1850)を置く。この測定基準は、輝度変化なし、即ち「0」と「完全な」変化(即ち「1」)との間に値を有し、LDRグレーディングを生じる。ここで、この測定基準上の任意のPB_Dに対応する位置M_PB_Dを位置付けることができる(下の計算例を参照されたい)。効果をよりLDRのように見せたい場合(PB_DがPB_L=100nitから上に向かって動いているときより長い時間にわたってよりLDRらしく見える必要がある、PB_Dであるが特定の重要なシーンを有するこの実ディスプレイの場合)、別の点M_PB_Uを、例えば下に説明されるような実施形態を用いて決定することができる。「半分」の点を、その効果、即ち、そのHDR能力に関して、そのPB_DについてPB_H及びPB_L参照ディスプレイの間の(非線形に)約半分であるディスプレイに対応すると見ることができる。ここで、曲げ点PBEは、実際にはこの例では単純に、制限されたPB_L100nit値が理由でクリッピングが開始する場所のようなものではなく、グレーディング内の特別な臨界点(少なくとも1つのパラメータ(グレーダからのLDR及びHDRオリジナルグレーディングの色変換関係を指定するメタデータ内のパラメータ)によって通信されたものであり、例えば0.0〜1.0のY_in軸上のその相対的場所、及びY_out_LDR軸上のその高さ)であるとする。ここで、この回転された補間バージョンにおいて、この意味的に重要な点は、垂直補間実施形態と同じY_in位置にとどまる必要はなく、オフセットdpにわたってシフトすることができ、そのことがいくつかのシナリオのためのディスプレイ調整のこの特定の様式を洗練されたものにするということが分かる(それは、例えば、LDRグレーディングにおいてHDR輝度L_Hb未満の黒色を0にクリッピングするHDR−LDR関数にも有用である)。
図19では、回転フレームワークにおいて、LDRグレーディングを定義する関数(1802)から始めてMDR画像を取得するための全MDR輝度変換関数1803をどのように導出することができるかを示す。方向補間ユニット(1312)がY−in座標に対応する新しい延在するx−座標rcをどのように計算することができるか、及びどのように関数を回転することができるかは、当業者にとっては明白であるものとする。この関数は、例えば一時メモリに保存される。ここで、乗法的スケーリング値S、例えば0.63(定義は下に続く)を決定する必要があり、それによりMDR曲線の必要とされる点を提供する。例として、どのように曲げ点が新しい場所(そこに測定基準を置く場合はM_PB_D)へと動くかを示したが、すべての他の点は、関数の形状が何であるにしろ、同じ乗法的原理によって変化する。そのため、延在する座標rcを取り上げ、対応するLDR輝度マッピング関数がFR_L(rc)であるなら、HDRからMDRへの色変換関数に必要とされる値は、FR_M(rc)=S*FR_L(rc)として決定される。その後、曲線は、図18のフレームワークにおける値を得るように再び回転され得、これらの値は、再びメモリ内に置かれ得る。ピクセル処理あたりに実際に必要とされるものは、ゲイン値であるため、スケーリング因子決定ユニット(200)の実施形態は、典型的には、すべての考えられるY_in値についてgt値のLUTを記憶する(又は、実際には、本発明の好ましい実施形態においては、RGBmax値を使用したが、それらは同様に0.0〜1.0の間で変化する)。
これらのgt値の計算は、使用可能予定のPB_Dディスプレイのための計算されたMDR輝度変換関数の高さをすべての入力値についての対角線の高さと比較することによって行われ得、次いで、図16に示されるように、それら2つの除算によって乗算値を取得する。
ここで、図20は、スケーリング因子Sを取得するための、うまく機能する測定基準の定義の仕方を示す。
例えばPB_D=500nitのディスプレイのためにMDR画像(及び、入力画像輝度又はluma値を有するときに必要とされるluma値を決定する関数)を導出することを望むものとする。LDRの駆動曲線に関連してすべてのオブジェクト輝度を正しく得るには、駆動値をスケーリングする必要がある。そのため、典型的には常にそのSDR輝度マッピング関数2002の100nitフレームワーク内の全てを参照する(これがレガシー標準化値であることが理由であるが、将来的には物事は変わり得、本発明の技術的原理は同じままである)。ここで、例えばより暗い明度を3つすべてのディスプレイ(HDR、LDR、及びMDR)で同じに見えるように保ちたいとすると、MDR曲線上に正しい点P3を得るには、点P1又はP2を、HDRグレーディングに対応する対角線に向かって、又は水平入力軸に向かって、どれくらい下方へ動かさなければならないのか考える。
右側の500軸上でこのMDR曲線を読む必要があるため、以下の数学的等式を導入する。
A=P_OETF(Lm/PB_L,PB_L)
B=P_OETF(Lm/PB_D,PB_D) [等式9]
これらは、上記定義のログガンマHDR OETF関数であるが、ここでは、5000nitで終了せず、コンマ後の第2の値、例えばPB_L=100nit(典型的には)で終了する。即ち、これは、例えば100nitでは1.0で止まる延在する座標を有する知覚軸を生成し、それはこのマップのy軸である。Lmは、このシナリオにおいては、Im_inの5000nit値であるが、他のマスターHDR符号化の場合は値が異なっていてもよい。
図23は、別の様式で初等変換スケール因子(A、B)の物理的意味を示す。また、1で終了せず例えば5.0まで進む(そしてその後、これは単に最大値の乗算であるため、比率が必要な場合は、1に正規化されたバージョンにおいても同じことを達成することができる)再正規化関数とP_OETFを見なすことができる。したがって、HDR−LDRグレーディング輝度マッピング曲線2303を変換して、適切なMDR曲線を得る必要がある。それは曲線2304ではないものとし、何故なら、それが、LDRグレーディングをより明るいPB_Dディスプレイに適用するに過ぎず、明るすぎる効果をもたらすためである。等効果(即ち、任意のMDRディスプレイ並びにHDR及びLDR参照ディスプレイにおいて、例えば10%の最も暗い色に同じレンダリングされた輝度を有する)の場合に画像内のより暗い輝度をスケーリングすると、白(1.0)からこの値を決定する際に新たに正規化したバージョン(即ち、1.0が例えば500nitに対応する)に対して知覚軸の同じ伸張係数が生じる。ここでは、1.0に正規化された相対軸システムシステムではなく、5000nit参照輝度軸上の絶対軸システムにおける色変換の挙動を示している。純粋に軸再正規化に関しては、グレーダによって指定された輝度変換曲線のいかなる詳細も、gprのような輝度の補間に関するいかなる制御パラメータも考慮しないで、100nit輝度(例えば、白色)をネイティブに変換する(より高いPB_Dを考慮していないLDR曲線を適用するのみ)には、色2301をその5000nit等価物に増強しなければならない(即ち、スマートな再グレーディングの適当な反作用を考慮していない)。
即ち、その量でベクトルを伸張することになるP−OETF知覚化y軸上で決定を行わなければならない。100nitが1.0に対応する場合は、例えば1.7を乗算することによって値2302を見出す。曲線の500nit参照表現、即ち、500nitが考えられる最大luma(1.0)に対応する表現上で点を読み出した場合には同じことができる。この輝度を5000nit表現バージョンに変換する場合は、例えば1.3のB因子を得る。ここで、実際に関心があるのは、LDRグレーディングの場合に、即ち、100nitシステムにおいて決定された色2305の500nitディスプレイの参照システムへの変換法である(例えば、500nitの入力HDR輝度は、30nitとしてLDRレンダリングされるものとする)。例えば、変換から生じる値を変更しなかった場合、500nitへの新たな参照(図18の右側の軸、Y_out_MDRである)においてそれらが何を意味するのか考える。
y値2305をS^−1で乗算して値2306を取得することは、それをA/Bで乗算することに対応するということが分かる。しかし、すべてが線形スケール上で5倍の明るさ、知覚化スケール上でX倍の明るさとなるだけであるため、これが等効果をもたらすことはない。そのため、等効果制約を保つため、値2305をS=B/Aで乗算するものとする(これにより、LDRから始めるときは、正しくスケーリングされたMDR駆動曲線を有するが、ここでは、500nitが1.0最大luma又は相対輝度である軸システムにおいて参照される。これにより点線曲線2304が生じるのではなく、所望のMDRグレーディング曲線である曲線2303が生じるが、ここでは、そのオリジナルの100nitのy軸ではなく、500軸において解釈される)。これはすべて相対的な乗算動作であるため、1.0が100nitに対応する軸システムですべてが起こるものと見なしてそれらを行うことができるが、実際のレンダリングされた輝度が必要な場合は、それをY_out_MDR軸上で読み出すことになる。
そのため、x軸向かって垂直にスケーリングすると、S=B/Aのスケール因子を取得する。
重要なのは、PB_D値が何であるにしろ、スケール因子を定義することができ(必要に応じて外挿もできる)、したがって測定基準を作成することができるということである。
目標とするディスプレイがPB_D=PB_H=5000(=Lm)である場合、HDRグレーディングのP4点に達する必要がある(恒等変換)。即ち、それを乗算の視点で見ると、スケールS=C/Aによって、この入力(x軸上のHDR Im_in輝度50)、またこの左LDR y軸上のA=50nitであるグレーディングについて、LDR値をスケーリングする必要があり、C=P_OETF(Lm/PB_H,5000)である。これにより(最適化)1.0の光学輝度入力のv値が生じるため、この対角線HDRグレーディングによりすべての輝度が等しい輝度をもたらすと仮定するということが分かる(即ち、HDRグレーディングの場合に5000nitを入出力する際のluma1.0では、線上の他のすべての点について正しい値をそれに応じて得る。即ち、例えばこの50nitの場合、色変換される入力点におけるHDR_5000nitスケール(図示されない)のベクトルサイズとなる)。
ここで、対角線的に、より具体的には135度で、補間したい場合には、スケーリング関数はSS=[(B−1)/(B+1)/(A−1)/(A+1)]になるということを数学的に証明することができる。
また、図18で行ったように、これをHDR輝度点P4とLDR輝度点P1との間の線上の測定基準位置と関連付けることができる。これは、測定基準オフセット、又は一般的に、延在する座標MSに対応し、垂直の実施形態では、Y_MDR=Y_HDR+MS*(Y_LDR−Y_HDR)と記述され得る。また、一般的な状況において、そのような座標MSは、PB_D=PB_Hの場合、即ち、HDRグレーディングと同一のMDRグレーディングが必要なときのMS=0と、LDRグレーディングが必要なときの1.0との間に延在する。
この単純な説明と同様に、読者は、入力としてHDRグレーディングからLDRグレーディングを定義する一般的なTMF関数2001を有する場合、同じ変換スキームが当てはまるということを理解することができる。
そのため、図13の構築模式図において、方向補間ユニット(1312)は、受信した関数を回転させ(例えば、図19の入力軸の回転値のLUTを取得するなど、対応する計算を行う)、適切なスケーリング因子SSを決定し、上に説明されるような回転フレームワークにおいてMDR再グレーディングに対応する関数を計算し、Y_in軸が水平であるフレームワークへと再回転させる。したがって、例えばLUTにおいては、入力値Y_inに対する関数値Y_out_MDRが存在する。その後、共通乗数決定ユニット(1311)は、その関数をgt乗数(のLUT)の対応するセットに変換するが、それは、本発明の典型的な色変換フレームワークが説明されるようにこれらと作用するためである。
ここまで、色変換関数がどのように定義されているか、及び特にどのようにパラメータ化されているかに依存しない実施形態について説明してきた。上の処理は、いかなる関数値に対しても作用するため、これらが純粋なLUTであるかのように説明した。
しかしながら、グレーダが関数を定義する様式において、興味深い意味情報が存在する。例えば、グレーダは、より暗い色、例えば屋内の色を処理するための低セグメント、及びより明るいセグメント、例えば屋外の色に対して行われるべきものを指定する第2の高セグメントを有するマルチセグメント輝度処理関数を定義する。この輝度変換挙動は、例えばパラメータLtによって受信器に通信され、そのためこのパラメータLtは、屋外輝度と屋内輝度との間のデマーケータでもある。多くの代替的なパラメータ化理念が可能である。HDR画像の少なくともいくつかのタイプについて、少なくともいくつかのMDRグレーディングにおいてこの閾値の輝度位置をシフトさせることが必要とされる(例えば、屋内の色をすべてのディスプレイ上で同じように見えるようにしておくことを望むのではなく、グレーダは、例えば1500nitを上回るHDRディスプレイのより高い能力を少しだけ使用してそれらの屋内の色もいくらか明るくすることを決定する)。x軸に沿ったシフト及びy軸に沿ったシフトの両方が有利である。すべては、どの色が画像中に存在するか、及びどの外観コントラストをグレーダが求めるかなどによって決まる。
考えられるパラメータの実施形態を説明するための興味深い例を提供する。
図21は、本発明のHDR効果束符号化技術を定義する基本的なツールキットに含めた興味深いHDR−LDR輝度変換戦略の例を示す(これは、ユニット111のカスタム曲線の特定の実施形態に対応するが、LUTとして通信される代わりに、この関数を5つのパラメータとして通信する。この関数の図21のマッピング曲線は、0.0から始まる最も暗い画像色の上昇速度の傾斜[陰ゲイン制御]と、ハイライト、即ち、上方線形部分が下向きに転じる角度、の下降の傾斜と、間の放物線セクションの幅又は半値幅との3つで説明され得、中間点midxは、線形部分が交差する場所に一意的に決定され得、次いで放物線セクションがmidx−幅/2からmidx+幅/2へ延長し得る)。ここで、このグラフ上には、正規化された(例えば10ビット)luma、それに相対して対応する輝度を、上には5000nitのHDR入力画像について、すぐ右側にはHDR入力画像から計算され得るMDR 500nit出力画像の輝度を示したが、ここでは(本発明の概念を容易に説明するために上で使用された)100nitの詳細を削除している。
この場合もグレーダは、HDR−LDR(即ち100nit)曲線2100を指定するが、ここでは特定の関数定式化を用いる。それは、最も暗い色がLDRグレーディングされた画像でどれくらい明るく見えるかを決定する暗部ゲイン(傾斜dg)を含む。これは、HDRシーンにおいて、HDR lumaで依然として忠実に捕捉されるランプのような非常に明るいオブジェクトが存在する場合、同じシーンの陰になっている領域が、正規化軸上で非常に深くなるため、そこで何が起きているのかが依然として分かるようにLDRグレーディングにおいて大幅に増大されることが必要とされることから、重要である。暗部レジームは、点2101で終了する。最も明るい色の場合、ハイライトゲインhgを有する同様の線形セグメントが存在する。間には、線形部分の終点に対応する幅の放物線セグメントが存在する。これは、中間のグレーオブジェクトのコントラストを制御することができる。
ここで、パラメータ的に通信された特殊点は、MDR輝度変換曲線2103上で場所が変化したことが分かる。これらの変化した場所は、方向DIR、及び特に測定基準を使用して計算することができる。
midx=(1−hg)/(dg−hg)
次いで、座標newMidx及びnewMidYを用いて新たな中間点Pm2を計算する。
x0=midx;x1=dg*midx;y0=dg*midx;y1=midx
m=(y1−y0)/(x1−x0)
b=(x1*y0−x0*y1)/(x1−x0)
newMidx=((x1−x0)/2)*(1−SS)+x0
newMidy=m*newMidx+b
これにより、放物線領域の新たな幅、ひいては線形セグメントの2つの終端点を計算することができる。
newWidth=(1−P_OETF(SS,PB_H))*old_width
式中、old_widthは、グレーダによって決定されるこの曲線のパラメータ、即ち、放物線セグメントの幅、即ち、両側に非対称又は対称に突出した幅であり、この両側から線形セグメントが連続していわゆる中間点で出会う。そして、当然ながら、新たな暗部ゲイン及びハイライトゲインも再計算することができる。
newGg=newMidy/newMidx
nwHg=max((newMidy−1)/(newMidx−1),0)
読者は、興味深い点について再計算戦略、又は他のシナリオの場合には輝度変換関数の他のパラメータを設計することができるということを理解することができる。この例からの興味深い事項は、受信側装置が、再構築されたHDRから(又は直接SDRからも)MDRを取得するために適用する最終的な曲線のための新たなパラメータを計算することができ、これが確立されたスケール因子SSに依存し、このスケール因子SS自体は、受信側で有するPB_D値が何であり、ゆえにそのための最適効果画像がHDR、SDR効果それぞれにどれくらい対応するかだけでなく、曲線決定のために選択される角度(例えば、垂直から始まり左に調整する45度)にも依存するということである。そのため、本発明の実施形態のいくつかは、パラメータを定義する輝度マッピング関数を再計算することによって、及び指向性の測定基準原理に従って作用する。
基本的な計算(画像詳細及びグレーダの要望の大部分は見ないが、依然として利用可能なディスプレイ用に合理的なMDR再グレーディングされた画像を生成する必要がある単純な実施形態が適用できる)を行う方法を把握したところで、これより、現在のHDRシーンの特殊性に適合されるさらにいくつかの技術的パラメータを組み込むことによって、グレーダがどのようにしてこれを変化させることができるかについてさらに2、3の説明的実施形態を提供する。
図22は、特定のHDRシーン、又は画像の場面について、どのMS値がどの利用可能なPB_Dに対応するかをどのようにして直ちに符号化することができるのかを示す。上記から理解されるように、本発明のMDR輝度マッピング(又は一般的な色変換)導出では、まず、測定基準上(即ち、0.0〜1.0の間、或いは外挿の場合はその範囲の外側)に点M_PB_Uを位置決めする手段が必要であり、それは正規化座標MSにより行われ得る。そして、この値から、HDR−LDR(又は、モード2のような他のシナリオではLDR−HDR)色変換を実施するためのあらゆる形状の輝度マッピング関数を、MDR画像を計算するのに必要な関数へ変換することができる。ここで、例えばLUT又は単純な等式として通信される明示的な測定基準位置決定関数(2201)を有する場合、原則として、基本的な測定基準定義さえ必要としない。グレーダがそのような関数を簡単な様式で決定することができる、例えば、グレーダが例えばノブの回転によって冪を変更することができる冪乗則を使用する場合は、有利である。グレーダは次いで、画像の全体的な効果がどう変わるかを自分のMDRディスプレイ上で直ちに確認するか、例えば妥当な程度まで見えるようにしたい暗闇の中の怪物のような重要なエリアに注目して、それが視聴者の敷地にある他のすべての実際のディスプレイ上で同様に適度に見えることを確実にする。
しかし、良好な測定基準を有するときには、図15に示されるような微調整のバリエーションを設計することもできる。ここで、m_MT_norm_inは、本発明の特定の選定測定基準のMS値であり、即ち、それは、この場合も0.0〜1.0の間に延在する。そのため、PB_Dピーク明度の特定のディスプレイの値を計算することができる。グレーダが何も指定しない場合、出力となる結果的m_MT_normは同じになり、上に説明される実施形態のいずれかにあるような標準的な自動ディスプレイ調整が当てはまる。しかしながら、グレーダは、この形状から好ましくは円滑に逸脱し、0.0及び1.0の座標で終了する関数を指定することができる。例えば、グレーダは、冪関数の冪パラメータgprが、非常に高いPB_Dディスプレイの場合でも(即ち、0に近づくm_MT_norm_in)、MDR再グレーディングがどれくらいの強度で例えば示されるLDRグレーディングのように見えるべきか、又はその逆を決定する(dgrだけオフセットされた結果的M_PB_U点の位置に見られるように)冪関数を設計する。グレーダは、例えば特定のピーク明度を上回るディスプレイについては異なる挙動を有する複雑な関数を定式化することさえでき、このような挙動は、第2のパラメータgptt、又は例えば曲線の線形下方部分を定義するさらに多くのパラメータなどによってコード化される。
そのため、読者は、本発明の技術が、いくつかの測定基準(例えば、同等の明るさ段階に概ね対応するいくつかの比較的類似のOETF定義、又はグレーディングのそのような明るさ挙動をモデル化する他の関数)、及びさらに、いくつかの補間方向、並びにそれらを決定するためのいくつかのやり方を用いることができるということを理解する。例えば、単純な装置においては、それは、ハードウェアに固定され、例えばプロセッサ上で計算を実施することによってそれ自体は決定される。また、例えば、より複雑な実施形態は、典型的には、MDR画像の効果に対して最初の大きな影響力を有する容易なパラメータのうちの1つ又は2つとして、例えばコンテンツ作成側から受信される人間のグレーダからの通信制御原理の下、例えば映画の画像の場面ごとに(或いは、画像の部分に対して、例えばより低い明度が1つの測定基準或いは1つの方向で補間され、より高い明度が別の測定基準或いは方向で補間され、シーンによっては、すべての補間色が突出する場所はそれほど重要ではない)、MDR計算戦略を切り替える。
図24は、第1のピクセル輝度又はこの例ではluma(線形輝度からの何らかの線形等式によって、OETF、例えば、Rec.709に定義されるようなSDRのものを用いて、何らかの非線形光−電気変換関数OETFによる線形加法の赤、緑、青の色成分に関連する非線形R’G’B’色成分、即ち、R’=OETF(R)、G’=OETF(G)、B=OETF(B)からそれぞれ定義される)、例えばHDR luma Y’iから第2のluma、例えば対応するLDRグレーディングされた画像のluma Y’oへの任意のマッピング(同じ全域内、例えば1.0に正規化された)を、2つの様式で、どのように比色的に表すことができるかを示す。まず上に例示されるように、色依存の(ローカル処理の場合、おそらくはピクセル依存でさえある)gスカラー乗数値を用いて乗法的関数を適用することができる。これは、HDR色の非線形の赤、緑、及び青の色成分を等価に乗算して、LDR色を取得することによって達成される(又はその逆も然りである。なぜなら本発明の方法は、他方向、例えば、レガシーSDR100nit画像のセットを通信することによってシーンのHDR効果を符号化するモードiiのHDR符号化システムにおいて典型的である、LDRグレーディングからHDRグレーディングを導出することにも作用することができるためである)。しかしながら、何らかのレベルを参照し、その値(又は等価にそのR’G’B’若しくはRGB色成分)を何らかのスケーリング輝度値Lsによってスケーリングする任意の参照スケーリングluma(又は輝度)値Y’nから始めることもできる。Y’nがLDR luma Y’i自体である場合、この場合も、例えば図1に例示されるように、上の乗算を実現する(また、g因子がどのように計算されたか、即ち、例えばf(Max)/Max値、又はF(Y’)/Y’値などを取得するためにどの一連の計算に基づいていたかは原則として関係がない)。
述べたように、本発明のディスプレイ調整原理は、幅広く適用可能であり、様々な装置回路形態、特に様々な色空間において具現化され得る。下では、HDRデコーダによって受信されたSDR(即ち、100nitのPB LDR)入力画像の非線形lumaに基づいた数個の実施形態を提供する。
図25では、スプリッタがピクセル色(Y’UV、典型的には、例えばHEVCのようなMPEGタイプのコーデックで使用されるYCbCr表現)からluma成分を分離する。上方処理トラックは、任意選択の色プロセッサ2503によって入力色に対してあらゆる種類の色処理を行うが、それは、色を非線形R’G’B’(即ち、Rec.709 OETFで定義された色成分3つ、又は平方根で定義された非線形色成分3つ)に変換するための色変換器2504を含む。本発明の説明のため、色プロセッサは、WO2014/128586の図15Aで教示されるように、処理される実行ピクセル色の飽和補正のみを、それらのピクセル色の輝度に基づいて行うと仮定する。飽和関数s(Y’)を決定するためにアルゴリズムを使用する関数決定ユニット2526が存在し、sは、MDR範囲上のあまりにも多くの色が色クリッピングされないように彩度成分Cb=B’−Y’及びCr=R’−Y’を乗算する(又は代替の飽和処理定義を同様に使用する)luma依存の乗数であるが、この応用では、そのような関数s(Y’)がそこに存在し、開始画像内の様々な色を飽和させるか、又は飽和を低減させるために色プロセッサ2503によって使用される(即ち、この例示的な実施形態においては、開始画像としてSDR画像が使用されているが、必要な変更を加えて代替の実施形態は、HDR画像、例えばIm_RHDRから始めることによってMDR画像を導出することができる)と仮定する。次いで、luma変換器2501において、関数が、受信した関数定義メタデータによって定義されるように適用され、即ち、この部分は、例えば図1の、任意選択のSATユニット106から入ってくる入力(R、G、B)と、乗数へのg因子出力との間の処理パスにおいて、上記の実施形態と類似している。この場合も、この入力色のための適切なg(又は、様々な実施形態においては例えばgtと呼ばれる)で乗算するが、gはここではLsと呼ばれる。スケーリングされたR’s、G’s、B’sは、単にLDR画像(即ち、HDR/LDRペアのグレーディングされたLDR効果の画像であり、この実施形態で受信されるものである)非線形色成分である(例えばR’s=sqrt(R_linear_LDR)、R_linear_LDRは100nit PBディスプレイ上に正しくレンダリングされた画像を生成するために混合するのに必要な赤の線形色成分である)。R’sなどは、典型的には、sqrt(R)/Sqrt(Y)成分であり、Yは何らかの特徴的な輝度、又はHDR輝度若しくはluma値とLDR輝度若しくはluma値との間の因子である。出力非線形色成分R’o、G’o、B’oは、例えば典型的には、この実施形態ではRec.709、逆のBT1886、又はこの色成分定義のための非線形使用の平方根定義でも定義されるようなHDR効果画像を定義するものである。これは、Lsが典型的には、輝度(普遍的に定義され、線形光子計数空間内にある)と比較して、平方根非線形方式でも見られる(即ち、定義される)ことを意味する。色フォーマッタ2506によって適用されるさらなる色フォーマッティング変換が存在し、それによりディスプレイへの通信(例えば、HDMI(登録商標)接続による)に好適な色表現Rd、Gd、Bdが生じる。例えば、一部のディスプレイは、線形RGBを受け入れるモードを有し、その場合、色フォーマッタ2506は、3つの成分R’o、G’o、B’oに平方冪動作を適用する。しかし、他のディスプレイは、例えば、情報をコネクタが許すものの限界内に押し込むために他のHDR画像通信形式を有し、次いでこの最終のコード化が2506によって適用される。接続されたディスプレイ2510の内部では、さらなる色最適化が、色エンハンサ2511によって適用される。これにより、本発明のディスプレイ調整実施形態が、画像前処理(特に本発明のユニットがHDR画像デコーダの直接の部品である場合、何らかの好適な中間ミディアムダイナミックレンジ形式への即座の復号、即ち、一緒に符号化されるペアのうちのHDR画像のPBとも、LDR画像PBとも等しくないディスプレイピーク明度の)において、レンダリングディスプレイのピーク明度の特徴に基づいてディスプレイ調整を適用するだけ、及び/又は最も明るい例えば95%の輝度、例えば80%のlumaにディスプレイ調整を適用するだけで、最も暗い色の測定された及び特徴付けされたレンダリング環境最適化をテレビ製造業者の専用アルゴリズムに委ねるという結果を得ることになり得る。テレビは、例えば、顔検出を適用することによって視聴者の周辺を見て、視聴者を直接照らす光の量がどれくらいであるか(また、場合によっては、どの角度で、例えば、カウチの上のいくつかのスポット)、及び全体的な周囲照明、即ち、壁の直接照明+間接照明がどれくらいであるかなどを特徴付けて、視聴室の全体的な暗さレベルを確立するカメラを含み得る。これらのパラメータは、次いで、必ずしもそれらが本発明の前処理ディスプレイ調整アルゴリズムにおいて入力される必要がない場合(この情報は最も暗い色の適切な調整を決定するために使用され得るが)、最も暗い色を最適化する、例えば色エンハンサ2511によってそれらをいくらか明るくさせるためにテレビの内部で使用され得る。任意選択的に、いくつかの実施形態は、条件事前加算器(2555)を有し、それは、特に、最も暗い画像色の明るくされたバージョンが必要とされる明るく照明された視聴環境のために最適化するときに、乗法的色処理のためにより万能な調整を可能にする。例えば、この事前加算器は、一定の又は事前に計算されたYT閾値を使用し、一定の又は事前に計算されたk値を加算し、類似の実施形態は、それを3つのRGB成分に対して行う。
様々な実施形態は、この原理に従って作られ得る。
例えば、最適化ディスプレイ依存の効果、及びそれを用いて線形化色ドメイン内の対応するgt又はLsの計算を行うことが有用である。例えば、図26の実施形態では、LDRからHDRへ(又はLDRからMDRへ)アップグレーディングする特定の(例えば、カラーグレーダによって定義される)輝度マッピング関数が、明度の知覚的に一意の表現(グレーダに、すべての画像オブジェクトの効果及び明度のより素早くより関連した制御を許す)で定義された。したがって、図25のブロック2501は、この実施形態では、順番に、平方冪ユニット2601、又は代替としてBT1886標準ディスプレイEOTF関数アプリケーション、次いで、一意化ユニット2602(例えば、OETFをPhilips:等式8によって定義されるように適用する)によって実施されるように、知覚的により一意の明度値Pへの変換を適用することによって生じる「明度」値Li(少なくとも非常に良好な近似までは、輝度となる)を変換する関数を含む。輝度マッピングユニット2801は、コンテンツ作成者によって所望されるような、且つメタデータにおいて受信されるそのコード化から再構築可能である任意のマッピングを適用する。例えば、輝度マッピングユニット2801は、中間領域内の輝度を増大させ、最も明るい輝度のいくつかを平均化することによって、LDR効果からこの例示的なHDR効果を作成する。それは、HDR(又はMDR)効果輝度Phoを、依然として知覚化ドメイン内に作成し、それが、線形化器2604によって現在処理されているピクセルの線形光HDR輝度値LLに変換され得る。この実施形態では、表現変換器2605は、平方根を適用することによってそれを変換し、Ls=sqrt(LL)を得る。輝度マッピングユニット2801は、上記の様々な形態、又は他の形態のものであってよく、即ち、それは、MS値(例えばレンダリングの際に確立された条件に基づいてSTBによって決定されるにしろ、コンテンツ作成者によって指定されるにしろ、それら2つの任意の混合にしろ、即ち、MS=FUNCT(MS_1,MS_2)であって、式中、MS_1及びMS_2はそれぞれ、作成者指定の値及び受信器指定の値[又は、任意の他の等価な異形、例えば、MS=MS_1+Delta_MSなど])を取り、LDRを、例えば5000nitのHDRにマッピングする代わりにディスプレイピーク明度を有するMDRにマッピングするための(それぞれ2603の内側の実線の曲線及び破線の曲線で示される)何らかの好適な新たな輝度マッピング関数を決定する。
図27は、別の実施形態を説明するものであり、ほとんどのブロックが図26のようであるが、ここでは明示的な区画は、線形光HDR輝度及びSDR入力luma Y’Iの計算が行われ、この特定の実施形態の場合、この区画は冪MSで累乗され、ここで0<=MS<=1であり、MSはこの場合も、任意の自動の方法、人間によって定義された方法、又は半自動の方法に従って指定される。
図28は、いくつかの他の、例えば複雑なディスプレイ調整実施形態に有用な実施形態である。ここで、luma変換器2501として具現化される輝度変換ユニットは、まず、輝度マッピングユニット2801を使用して、LDR画像輝度をHDR画像輝度LLHに変換し(知覚ドメインにおいて、ただし、同じことが線形ドメイン又はsqrtドメインにおいて行なわれてもよい)、次いで(例えば、PB_HDR=5000nitからPB_D=2800nitへのダウングレーディング)ディスプレイ調整輝度マッピングが、ディスプレイ輝度リマッパ2802によって適用され、正しいディスプレイ調節済みの輝度LLDAを得る。そのような実施形態は、例えば、接続されたディスプレイが、対応する輝度マッピング関数をディスプレイ輝度リマッパ2802に計算させるMS値を単に入力する代わりに、それが決定した輝度マッピング関数F(LLH)を入力2888を介して2802にロードすることを可能にする(このユニット2802が別個のSTB内にあるにしろ、テレビ内のHDRデコーダの部分を形成しているにしろ)。次いで、受信したLDR画像及びマスターHDR画像間などで変換する再グレーディング関数の形状に密接に関連がないマッピング関数も使用することができる。
図30は、最適なMDR画像を作成することによる本発明のディスプレイ最適化が、いくつかの様式で実施され得ることを説明する。例えば、図30Aでは、これを、受信した画像(SDRとして受信すると仮定する)のHDRバージョン(理解の簡潔性のため、例えばPB_C=5000nitでのマスターHDR画像の再構築と仮定する)、Im_HDRへの復号後に、事後画像処理として使用する可能性を示す。そこから、ディスプレイ調整は、例えば700nit又は1500nitのPB_Dディスプレイのために、必要なIm_MDRへダウングレードする。そのようなトポロジにおいては、2つのユニット、デコーダ3001及び色調整器3002が、実際には、異なる装置内に含まれ、例えば、デコーダは、STB又はコンピュータ内に含まれ、色調整器は、TV内にある(その場合、それは、再構築されたHDR画像を得るが、依然として関数F_ctを得る)か、又はそれらは、同じ装置内にあるか、或いは、ユニットの1つ又は複数が、例えば事前に最適化されたコンテンツをユーザに提供する例えばネットワークコンピュータ上にある。
しかしながら、他のトポロジ(図30Bに示される)では、MDRへのマッピングは、直ちに考慮され、即ち、Im_SDRが入力されると、HDR画像を中間で導出する必要性はないが、例えば700nit画像が、SDR画像から直ちに導出される。マッピングは、まずは例えば5000nitへ、次いで700nitへと進むすべてのマッピングを組み合わせたものであり、ソフトウェア最適化ユニット3012によって事前に計算され得る。特に、すべてのマッピングが単にそれらの乗法的スケーリングを有する場合、最終の乗数へと達し、各ピクセル輝度に使用されるそれらすべての乗数の組み合わせは、比較的簡単に行われる。この必要とされる変換は、関数F_ctを受信した後に事前に計算され得、場面の次のいくつかの画像において使用されるLUT(Y’_out=LUT(Y’_in))として通信されデコーダ3010にロードされ得るか、又は言い換えると、次のいくつかの画像に有効な最新の新たな関数が受信される時点まで使用される(一部の実施形態は、シーン内のN個の画像のみに対する関数のセットを伝送するが、他の実施形態は、動画の各連続画像に対する新たな関数を受信する)。ソフトウェア最適化ユニット3012がより複雑な処理(例えば、画像コンテンツ分析を含む)を行う必要がある場合、一般には、色LUT(CLUT)も処理のために色プロセッサ2503によって通信されるため、1つ又は2〜3の画像に遅延3011が存在するが、他の実施形態はこの遅延を有しない。そのようなトポロジの利点は、1つのハードウェアのセットのみを必要とし、最適ディスプレイ調整が、(ここでは通常の復号パラダイムが命令するように一定ではなく変更可能である)復号ステップにおいてのみ直ちに対処されるという点である。そこで、この有用なトポロジが使用されることを前提にもう少しさらに説明する(当業者は、様々な教示された構成要素がどのようにすべての異形に当てはまるかを理解する)。
図31は、MDR画像及びその輝度Y−MDRL(又は、類似の実施形態においては等価にluma)を取得するための調整を行う実用的に非常に有用な様式を示す。
SDR輝度Y_SDRinは、知覚化器(perceptualizer)3101によって、例えば以下の関数によって知覚的により一意のluma表現にマッピングされる。
Y’U=log(1+[rho(Y_SDRin)−1]*power(Y_SDRin;1/2.4))/log(rho(Y_SDRin)) [等式10]
式中、rhoは、任意の画像(この場合はSDRのPB_C=100nit)に使用されるコーデックのピーク明度に依存する定数であり、以下に従って1.0に正規化されるY_SDRin及びY’Uに対して決定される。
rho(PB_C)=1+(33−1)*power(PB_C/10000;1/2.4)
それは単に原理であるため、そのluma Y’Uにおける等価のステップが視覚的に等価の明度ステップにより密に対応するという目的で、他のluma一意化変数も使用され得る。
ピクセル色の線形輝度表現に再変換する線形化器3105によって行われていないこのアルゴリズム内の残りは、この領域内で作用する。
この実施形態において重要なことは、調整の2ステップ手法である。ダウングレーディング下位区分3110を用いてそれを最もよく説明することができるが、それは、この模式図が、まずアップグレーディング下位部分3100によってSDRをHDR(例えば、PB_C=5000又は1000nitまでの範囲に当たるYHL HDR輝度)に変換し、次いでダウングレーディングによってそのHDRを必要とされるMDR輝度(Y_MDRL)に変換する例示的な変換に対応するためである。この場合も、すべての動作は、知覚的に一意化されたlumaドメイン内で実施される(即ち、一意の相対HDRlumaY’Hが変換される)。実際に画像内のある特定の最大輝度をマッピングする第1の任意選択のゲインマッピング3111が存在する(例えば、PB_Cは5000nitであるが、そのような高い輝度は、画像の現在のシーンには明るすぎると見なされるため、グレーダは例えば2000nitの上限までコンテンツをグレーディングした可能性があるが、SDRの大幅に低減されたダイナミックレンジを考慮すると、これを100nitに対して最大限に可能なものに、即ち、100nit PB_Cに対応するコード1023にマッピングすることが理にかなっている。しかしながら、例えば1つのHDRを別のHDRとしてコードするシステムの場合、このゲインマッピングは存在しない場合がある。同様に、いくつかの実施形態は、HDR lumas Y’Hの何らかのブラックを正規化されたHDR lumas Y’HNの何らかの黒色にマッピングする何らかの黒色マッピングを行う)。しかし重要なことには、典型的なHDR画像の明度分布効果を依然として有するこれらの正規化されたHDR luma Y’HNに対して、粗のlumaマッピングユニット3112が、粗のマッピングを適用する。この粗いマッピングは、2〜3個の部分的範囲のマッピングを管理するものであり、それらに対して後で様々な画像オブジェクトの実際に所望の最適lumaをマッピングする。例えば、よく作用することが分かった実用的な異形は、すべての暗部lumaを置くための部分的範囲(SD)、及び画像内の可能な最も明るいlumaのための部分的範囲(SB)を割り当て、その間に中間範囲、例えば、本発明の実施形態のうちの1つにおいて、放物線接続セグメント(例えば、最も暗いlumaと最も明るいlumaの線形傾斜セグメントが出会う中間点、及び何らかの幅に基づいて定義される)を容易に設計することができる異形であった。
例えば暗部のこの部分的範囲内に入る実際のオブジェクトに対して、例えば、最も暗いオブジェクトをいくらか明るくするなど、グレーダが何をしたいとしても、調整アルゴリズムは、2つのステップ法を用いて、最も暗い色があるべき場所、即ち、どの部分的範囲にそれらが及ぶべきかを、各視聴シナリオにおいて明示的に制御することができる(即ち、ディスプレイがどのくらいの明るさであるか、即ちそのPB_Dが、これらの暗部がどれくらい暗いのか、及び/又は特に画像の暗領域の可視性に影響も与える視聴環境明度に影響を与える)。グレーダ(又は作成側の自動グレーディングアルゴリズム)は、次いで、自動的に正しく位置決めされる(調整が図32で説明されるように取り扱われると仮定して)これらの調整可能な範囲に対して、グレーダの密のグレーディング、例えば、顔をもう少し明るくすべきか、若しくはコントラストを強くすべきか、又は太陽に照らされた白い椅子をもう少し輝かせるべきかなどを決定する。密のグレーディングユニット3113は、粗のlumas Y’CGのこの最終的な調整に対処して、密のグレーディングされたluma Y’FGを得て、その後、線形化器3114がそれを線形出力輝度Y_MDRLに変換し、それは最適に再グレーディングされる。当業者は、これらの関数が、現在のところは例えば3000nit又は700nitに関してではなく、例えば5000nitのマスターHDRからSDR(100nit)へのダウングレーディングの状況のために作成側で最初に作成されたものであるため、それらは、正しく補正される必要があり、それは最適調整アルゴリズムが行うことであるということを覚えているものとする。これらすべてのユニットは、上方の下位区分においては、同じ関数を用いてミラーリングされるが、当然ながら異なって調整される。即ち、ここでは知覚的ドメインへ逆の順番で進んだ後、まず、密のグレーディングユニット3102が、一意のluma Y’Uを再グレーディングされたluma Y’RG(依然としてSDRダイナミックレンジ効果内にあるが、異なるlumaを有するオブジェクトのうちのいくつかを有する)に変換し、次いで粗のグレーディングユニット3103が、少なくとも3つの部分的範囲の粗の割り当て関数(ここでオブジェクトlumaがSDRダイナミックレンジ効果からHDR効果へと変換されたことを組み込む)を適用し、次いで任意選択的に、正規化されたHDR luma Y’HNの最大値(即ち、1.0)を、最終のHDR lumas Y’Hの何らかの下方位置、例えば、5000nit PB_C表現での2000nitに対応するluma、にマッピングするスケーラ3104の何らかの白色スケーリングがある(あらゆるコード割り当て関数が使用されることを考慮するが、この実施形態では、本発明の上の等式[10]であると仮定する)。
述べたように、これらのユニットは、ソフトウェアが実際の唯一の輝度マッピングユニットに事前にロードするための輝度LUT(LLUT)を決定するために使用する概念的な部分であるため、それらは、実際には、受信装置内にそのようなものとして存在しなくてもよいが、それは調整がどのように有利に作用するかを説明する。
図32は、これをもう少し詳しく説明する。図32aは、グレーダが、作成側で例えば600nit MDRの状況が利用可能であった場合に、どんなことが起こることをグレーダが望んでいたかを示す。しかし、PB_Dは何でもよいため、グレーダはそのような状況になることは決してない。そうは言っても、作業仮説として、グレーダが、例えば車の座席のピクセルを明るくしたいと考えた場合、たとえそれらが粗のマッピングによって前もって事前に明るくされていたとしても、それらの同じピクセルを明るくしたいと考えるのは理にかなっている。そのため、グレーダが行いたいことは、MDR例えば600nit軸上で定義される輝度を有するオブジェクト、即ち、例えば中間輝度Y_imを有するピクセル、の輝度を微調整することである。しかしながら、受信器は、最適HDR−MDRマッピング曲線3203も、ピクセル3303の変更された位置も獲得しない。それが最初に利用可能なものは、HDR−SDR曲線3201と、グレーダが作成側でピクセル3304、即ち、SDRピクセル(輝度範囲の0〜100nit部分で定義される)をどのように微調整したいかの詳細である。しかし、第2の密のグレーディングとして実際に起こるべきことは、図32bのCC曲線に示されるものである。しかし述べたように、受信側装置が最適な粗のグレーディング曲線3202を定義した後、依然として唯一利用可能なのは、SDR及びHDR軸システム上で定義される密のグレーディング曲線である。しかし、この知覚化(perceptualization)を無視することができ、そして、初期SDR luma Y_inL(この場合も、ここでこの説明において、HDRは、MDRに再グレーディングされる必要があるSDR画像として通信及び受信されると仮定する)及び600nit PB_D範囲上の中間の対応する粗輝度、即ちY_imの両方と対応している、このすべての中の安定因子は、HDR輝度Y_HDRである。任意のY_HDRについて輝度Y_imとY_inとの関係は、粗のマッピングである。そのため、図32に示されるように、それは、SDR参照されたLUT、即ちY_in内のどのエントリが、必要なMDR参照された輝度Y_imに対応するかを決定するために粗のマッピングを使用することによって、LUTを補間する必要があるソフトウェアオプティマイザ3012に対応する。それを行った後、このLUTは、最終LLUTの計算に使用され得る。
図33は、暗い環境で視聴されるときに特に、非常に暗いピクセルをレンダリングすることができるディスプレイを特に有する場合に、MDR画像の最も暗い部分を最適化するために使用され得る説明的な実施形態を示す。ここでは、非常に暗い輝度(例えば0.001nit未満)まで画像データを含んだ、5000nit PB_C HDR画像は、SDR画像として通信されたと仮定する。純粋に情報ベースの視点から、SDR内の最も低い輝度を符号化する必要性があった。即ち、それらに暗部レンダリングを提供するが、十分に大きい傾斜を有する線形マッピング曲線により提供する。それは、ここではそのような線形マッピング曲線が本質的に、最も暗いHDR輝度のためのコード割り当て関数(特に最適なLDRグレーディングよりも)として一番に機能するためである。これが通常のテレビ視聴環境(例えば、薄暗い照明の夜)において例えば0.1nitの最小の最も暗いピクセルレンダリングを有するSDRレガシーデバイスに転換可能である、即ち、これはコード「0」が対応するものである、と仮定することができる。しかし、この線形グレーディングは、暗部のレンダリングに関してより良い能力を有するデバイスには最適ではない。そのため、調整は、暗領域のより良い効果をもたらす別の調整関数を、最も暗い暗部の端まで(例えば、閾値Thr_DHとしてのHDR範囲、又はThr_DSとしてのSDR範囲においてそれが知っている)適用することができる。例えば、それは、(真っ暗闇で駆動されるときのディスプレイのDB_D最も暗い黒色と、ディスプレイフロントプレート反射並びに特定の濃い黒色を見るための視聴者の視覚適合及びニーズの両方に影響を与える周囲照明との両方の関数として)システムがレンダリングできる暗さがどれくらいかについて受信器が把握していることに応じて何らかの追加のコントラストをもたらす関数を使用することができる。例えば、単純な関数は、ガンマ関数拡張であるが、より高度な関数が、例えば、どの意味的部分的領域又はオブジェクトが、Thr_DHまでのその最も暗い暗部部分的範囲内にあるかを決定した後に使用され得る。いくつかの実施形態において、最も単純な異形を超えた画像の作成に関して、画像、又はその他のことに関する情報がさらに存在する。例えば、どの輝度をそのディスプレイが依然として十分に異なってレンダリングすることができるか(その光漏れ又はフロントプレート反射を考慮して)、又は一般にどの最も暗い輝度が依然としてグレーダによって異なって見られるのかを示して、コンテンツが人間によってカラーグレーディングされたディスプレイの最も暗い黒色レベルの場合、この情報は、任意の受信装置にとって、どのディスプレイ調整、又は一般にレンダリング側の色最適化が使用されるかを決定するときに有用でもある。例えば、視聴者が、例えばコンテンツ作成者のLCD参照ディスプレイと比べて、最も暗い色に対するより優れたレンダリング能力を有すると推定されるOLEDを暗い視聴室内に有する(通信された際に最も暗い黒色レベル値で示される)場合、受信側の調整色処理装置実施形態は、拡張関数をある程度までのみ適用することを決定することができるが、それは、作成アーティストが実際に自分では目にしなかった疑似の暗部輝度を作成しているためである(しかし、例えばレンダリング状況が、より良い効果のために追加のコントラストを必要とするときに行われ得る特定の量まで)。そのため、その実施形態では、結果的共通乗算因子の決定、及び様々な実施形態においてそれに基づいて形成する最適調整関数形状のすべての計算も、作成ディスプレイの通信された最も暗い黒色レベルの値に依存する。
依然として、ユーザのためにすべてを行う強力な自動受信側調整システムが構築される場合さえ、視聴者は、自分の好みを提供するために、依然としてシステムに対する何らかの制御を求める。しかしながら、視聴者はプロのカラーグレーダではないため、たとえ視聴者が、時間、及び映画を見たいということ以外の要望を有するとしても、これらすべての複雑な比色問題で視聴者を煩わすべきではない。この点において本発明のシステムが非常に有用であるのは、本システムが、既にクリエイティブなアーティストの方法をディスプレイに組み込んでおり、そこで視聴者は、自分の好みに応じて簡単な(及び妥当な)微調整をいくつか行うことが必要なだけであるからである。それは、ユーザが自分の好みにはHDR画像が少し暗過ぎると思う場合(同様に、一部のユーザは、HDRが明る過ぎると思い、同様の処理を行うことができるが、その処理は、大部分は、最も明るいピクセル、又は場合によっては暗いピクセルではなく平均的な明るさのピクセルに対して作用する)、図34に例示的に示されるものである。視聴者が、例えばかなり明るい環境で見ていることが理由で、特定のシーン又は映画の画像を暗すぎると見なす場合、これは、最も暗い領域が見にくいことが理由である可能性が高い。そのため、望まないHDR効果へのダメージを引き起こす全体的な明度増加を行うのではなく、視聴者による新たな明度ボタンを最も暗い範囲のみに結び付けるのである。上記の3つの部分的領域の粗のグレーディングにおいて、暗部の最も下方の領域は、典型的には、上方輝度閾値によって定義及び通信されたものであり、ここでは、今回は1000nit HDR範囲上のHDR値Thr_BKSを示している。700nit MDRディスプレイに対する初期の最適化マッピング曲線3401が、色変換関数F_ctにおいて通信されるようなグレーダの要望及び視聴状況(少なくともPB_D)のみに基づいて自動的に決定されたものである場合、ユーザは、いくつかの増光ステップにおいて暗部の曲線下位部分を上昇させることができることによって、独自の曲線を調整することができ、次いで中間部も移動して、明部の変更されていない傾斜とつながる。
図35は、グレーダが、例えば5000nit〜100nitの間のピーク明度を有するすべてのディスプレイのスペクトルにレンダリングされることを求めるものである調整プロトコルの一例を示すだけである。
屋内の暗い輝度(輝度部分的範囲SL)を有する宇宙ステーションの例を見ると、この暗い輝度は、60nitまでの範囲SLがSDR範囲にフィットするため、すべてのディスプレイで同じにレンダリングされる。屋外に見える明るい地球(部分的範囲BE)は、はるかに明るい輝度を有するべきであるが、SDR上で利用可能なあき高はあまり多くない。そうは言っても、この40nitの範囲をかつてなく明るいHDRディスプレイに向けて単に無限に拡張すべきではなく、さもなければこれは一部のディスプレイ上で煩わしいほどに明るくなる。したがって、何らかのMDRxディスプレイ以降(PB_Cx=600nit)は、それらの明部に対するマッピング関数において何らかの折れ(bend)がなければならない。受信側は、それを再構築されたHDR画像から推定することができ、さらに、作成者が、1000nitまで利用可能な機会があるにも関わらずそれらの領域が600nitを超えることを望んでいなかったようであるということを予測することができる。次いで、調整は、要件、例えば時間一貫性と、より明るいシーンのための後のヘッドルームの必要性との間で最適化することができるが、例では、それは、600nitを上回るPB_Cを有するすべてのディスプレイについて上限を同じものに保ち、600nitディスプレイの利用可能な範囲すべてを使用し、部分的範囲Be2内で屋外の惑星の輝度をできる限り明るくレンダリングし、より低いPB_Dの場合は例えばBe3に押し込むことを決定した。
図36は、典型的な難易度の高いHDRシーン画像のための、必要に応じたディスプレイ調整の別の考えられる例を例証する。視聴者は、すべての照明が消されている、前景の暗い部屋(DRK)から、中景において、通常に照らされた部屋(MIDRM部分的範囲内のピクセル輝度で)を見ている。窓の外には、明かりが見え、それは外の世界の太陽の光であってもよい(部分的範囲OUTS)。物理的な輝度測定を行うとき、窓のサイズ、道路の反対側の建物の近さなどの幾何学的要因を考慮すると、局部照明は、典型的には、屋外照明の1/100である(当然ながら、それが何であるか、及び真ん中の部屋が外部照明によってのみ照らされているかどうかによる)ため、真ん中の部屋の「通常の」輝度は、典型的には、屋外の約1/100であると考える。暗い陰の部分は、さらに例えば10倍暗い。そのため、1000:1の照明比が既に存在し、典型的なオブジェクト反射率が90%〜1%の間であると仮定すると、これは、このシーンにおいて100,000:1の輝度比を予期できることを意味する(太陽又は金属物の鏡面反射はまだ考慮しない)。当然ながら、マスターHDRグレーディングにおいては、画像は、典型的には調光環境で、及び小さいディスプレイ矩形内で真っすぐに且つ映画の時間軸上で派手すぎずに見られることになるため、例えば10,000nitとして符号化された太陽に照らされた屋外のオブジェクトを見ることはない(例えば、明るすぎるシーン内のオブジェクトから目をそらすことに決めることはできるが、本来ならば映画を快適に見ることができるはずであり、さらに大部分は俳優を見るのであり、例えば屋外の明るい商業用TL管看板が理由で放棄されたり、それに不快感を覚えたりするものではない)。そのため、マスターHDR画像を作成するアーティストによって、画像内のオブジェクトピクセルは、それらの輝度に関していくらか異なる値を有する。この例では、1000nitの画像がコードされ、より低いPB_Dのために、及びより高いPB_Dのものにも(典型的には、ここでは説明される必要のない他の原理に審美的に従うが、技術的には、何らかのアップグレーディングディスプレイ調整を実現するのに同様の技術的構成要素を使用し得る)、調整が必要とされると仮定した。この調整プロトコル、及び連続する考えられるPB_Dディスプレイスペクトルから例示的なディスプレイを接続する接続線の様々な角度から分かるように、この画像は、もっと精巧なディスプレイ調整を必要とする。例えば、そのような高複雑度のHDR画像の場合、あまりに小さすぎるSDRダイナミックレンジ内に何らかの合理的に見える画像をフィットさせるには、単なる非線形圧縮戦略よりもはるかに重要な選択が必要とされる。例えば、SDR画像がさらなる画像を計算するために必要とされない場合、輝度部分的領域(ここではレジームとも呼ぶ)の一部をハードクリッピングして切り取ること、即ち、1000nitの受信したCOD_HDR画像のすべての輝度を単一の輝度値、又は非常に少ない値にマッピングすることを決定する。上記のように、本発明の様々な実施形態においては、様々なプレイヤーが決定することができる。例えば、テレビは、HDR−SDR計算を行う事前にプログラムされたスマートな発見的アルゴリズムにおいてそれを行うことを決定することができる。或いは、コンテンツグレーダは、自分が、より暗い領域を保つことは望むが(興味深いことが、少し後で暗い部屋の中で起こるため)、窓を均一の白色にすることによって屋外は犠牲にすることを示す(グレーダは、典型的には、自分のHDR−LDRダウングレーディング関数の形状によって通信するが、例えば図6に説明されるように、様々な輝度部分的領域がどのように調整され得る、又は調整されるべきかを規定又は誘導するいくつかのパラメータを送信することによって、それを追加のメタデータを用いて通信する場合もある)。しかし、そのような挙動を実現する調整アルゴリズムは、SDR画像内の単一の白色輝度(窓から見える屋外のピクセル)が、例えば400nitのMDR調整画像においては、様々な輝度のセットへ拡大することがないため、単純な輝度マッピング関数形状をSDRピクセル輝度に適用することによって単純に作用することはできないということを理解することが重要である。また、見て分かるように、暗領域は、400nit〜5000nit(及び場合によってはそれ以上)の間のすべてのディスプレイのための等輝度プロトコルに従って調整されるが、PB_D=400nitを有するものよりさらに小さいダイナミックレンジの場合、照明なしの部屋のピクセル(DRK)を暗くする必要がある。特に自然に照らされているとき、HDR画像はかなり複雑になり得る。例えば、暗い夜の森で追いかける警察車両を考えてみる。車のヘッドライトは木々を複雑なパターンで照明することができ、それに加えて、警察車両の赤及び/又は青の警報灯がある。特に、森の奥深くには、満月でない場合は特に、非常に暗い奥まった場所が存在する場合がある。任意の特定のディスプレイ上でより最適に見える(理想的には、その参照ディスプレイ上でのマスターグレーディング効果に類似して)画像を得るために画像オブジェクトの色/輝度を適合するときには特に、決して簡単なことではなく、それを取り扱うための、特にそれを実用的に取り扱うための優れた技術的解決策のセットを必要とする。何もしなければ、典型的には、気になるほど暗すぎる画像のいくつかの部分、及び/又は明るすぎる他の部分が生じることになり、後者は、例えばあまりに単純な対抗処理を使用する場合である。それに加えて、原則として、例えば比色的に十分に設計されたスタジオ撮影、小規模チームによる現場制作、BDで配布されることになる大規模なハリウッド映画、消費者コンテンツなど、画像作成及び使用の多くの実用的な異形に応じることができる解決策が好まれる。
図37は、より複雑なディスプレイ調整異形が、例えば、画像内で可能な最も明るいピクセル、又は逆に最も暗いピクセルに関する特定の要求を、特に、より明るい視聴環境で見るときにそれらのピクセルを見るのが困難になる場合には、考慮して、どのようにより複雑な計算を行うことができるかを示す(例えば自分はテレビを見ているが、配偶者は同じ部屋で本を読みたいと思っている、即ち、ある程度のランプが点いており、調整は、視聴室内に存在するランプの組み合わせの任意のオン構成に応じることができる)。適切な関数をオフラインで決定し、必要な、例えばSDR−MDR_1650nit輝度変換関数をコア計算ユニットにロードし、次いでこのコア計算ユニットがそこから乗数gtを導出することによって、より高度な調整技術を構築することが実現可能である。様々な決定すべてを行う最適関数決定ユニット3701は、ソフトウェアとして実行し、受信したSDR−HDR関数、画像の特徴(ただし、再グレーディング輝度マッピング関数形状内の情報を最適に使用する場合には必要とされない場合がある)、レンダリング環境に関する事項、第2のメタデータで通信されるコンテンツ作成者の要求、又は装置製造業者の選択、又は視聴者の要望を分析する。このことはすべて、異なる最適関数F*を導くことができ、これらの関数は、必要なMDR出力範囲に既に変換されているか、又はマスターHDR範囲上で定式化され、依然として色処理コア内で調整されることになり、ユニット3701の右側のユニットによって例示される。
図38では、補助関数が、例えば、最終的なSDR−MDR輝度マッピング関数の部分のみの、即ち、入力lumaの部分的範囲について、形状を制御することによって調整を再決定するためにどのように使用され得るかの例が提供される。図17のものとは異なる調整を示し、その例ではHDR−SDRマッピングは、その例のためにかなりの量のクリッピングを行うことを必要とするが、MDR再グレーディングされた又は調整された画像は、どこにもハードクリッピングを呈さない。しかしながら、HDR画像(伝送されるにしろ、Im_RHDRとして再構築されるにしろ)1703からMDR画像を導出するそのような例示的な曲線は、HDR曲線、即ち、対角線からすぐに離れることに対応するロングテイルのソフトクリッピングを示す。長時間にわたって対角線上にとどまるには、即ち、HDR画像の輝度と同一の輝度を有するには、何らかの種類の調整が要求される。暗い輝度、例えば40nit未満の場合、いくつかのシナリオにおいては、任意のPB_Dディスプレイ上、即ち、SDRディスプレイ上、又は任意のHDRディスプレイ上で同一の出力輝度でそれらをレンダリングすることが有用であるということが理解できる。時には、非常に高いHDR輝度までその要件を保つ、即ち、調整された曲線3801を導出することが要求され得る(この例では、HDR画像は、適切なPB_D依存のMDR画像を出力画像として取得するために、色変換のために入力画像を形成する)。当然ながら、4700nit画像が、5000nit PB_C画像とすべて全く同じ輝度を含むということは決してないため、どこかの時点で輝度−恒等変換曲線(即ち、対角線)から離れて、何らかのソフト又はハードクリッピングを開始しなければならない。この例では、ハードクリッピングのために選択され得る範囲RLB、及び、MDRグレードが実現可能な限りHDR効果画像のように、即ち、4500nitディスプレイではなく5000nitディスプレイを買ったかのように見えるように装置によって小さく選択され得る(独自の内部計算規則によって、又はコンテンツ作成者及び/若しくは視聴者の入力の誘導下で、のいずれかで)ソフトクリッピングのための移行範囲RTが存在する。これは、コンテンツ作成者には喜ばれるが、おそらく装置製造業者にはそれほどでもなく、最も高い輝度が例えば金属反射ハイライトなどである場合に非常によく作用する。
図39は、これがどのようにして測定基準位置決め関数によって(例えば、装置に指示を出してそのような挙動に従って調整することを望むコンテンツ作成者によって)示され得るかを例証する。水平軸上に、考えられるPB_D値、並びにそれを超えるとディスプレイが、マスターHDRグレーディングに従う参照ディスプレイとして作成したように挙動すべきである閾値TPERF(即ち、PB_D=PB_C=例えば5000nit)が提供される。y軸上にあるのは、測定基準上の距離であり、この場合は、SDRグレーディングからの差として示される(又はHDRマスターグレーディングへの近さ)。当然ながら、SDRディスプレイの場合、その距離は0になるべきであり、即ち、そのようなディスプレイには、SDR画像が出されるべきである。装置が、TPERFを上回るHDRディスプレイとして挙動すべきであると判断すると、装置は、MDR輝度のできる限り多くをHDR輝度(SDR入力lumaに対する色処理を行うときに取得される)と等しく保つための戦略、次いで何らかの必要な(ソフト)クリッピング戦略を、例えば図38で説明されるように、決定することができる。或いは、最も明るいピクセル(例えば、4700 PB_Dディスプレイではレンダリングすることができない輝度4700〜5000nit)のソフトクリッピングのための場所をもう少し作るために、TPERFを下回る輝度のわずかな圧縮さえ行われ得、それは、対角線からわずかに逸脱する極太曲線によって示される。
図40は、垂直方向に、コンピュータ的に単純なディスプレイ調整を可能にする別の例を例証する。それは、同時に、最も興味深いものである適合ユニット4025と共に、一般原則として、非常に有用な詳細な実施形態のためのいくつかの任意選択的な(点線)ブロックを示す。
Y’CbCr SDR画像は、入力4001を介して入ってくると(限定することなく)仮定する。上方部分は、出願人の多用途の実用的方法に従う輝度処理系統である。まず、SDR luma Y’_SDRが、標準化BT.1886 EOTFで線形化される(これは、原型的なSDRディスプレイの定義であり、ゼロ黒色オフセットを利用するため、この等式はおおよそ平方冪である)。次いで、知覚化器4003が、前の線形化器4002から出力された線形輝度を視覚的により一意のluma Y’Pに変換する。他の等式も可能であるが、ここでは本発明のPhilips HDR OETF(上の等式8)を、示されるようなパラメータ、例えば、SDRディスプレイ、即ち、100nitのPB_Cのための正規化曲線に適切な値である5.7に等しいrhoと共に、使用すると仮定する。必須ではないが、そのような色表現でディスプレイ調整を行うことが非常に有用であり、線形化器を省略して、(おおよそ平方根の)SDR lumaに対して直接計算を行うことさえできる。次いで、カスタム曲線ユニット4004が、何らかの再グレーディング曲線を適用する。一般的な実施形態では、これが、必要とされるすべてのLDR−HDRグレーディングを行うが、点線のユニットがすべて存在する特定の実施形態では、このユニットは、密のグレーディング(SDR正規化表現から依然として正規化SDRである出力への)を行うメタデータから曲線をロードすることができる。粗の再グレーディングユニット4005は、関数Fcrsを適用して、ユニット4004によって作成されたlumaの少なくとも3つの部分的範囲を、ここではHDR範囲上にある適切なHDR位置(計算は依然として1.0の最大値に正規化される表現に対して作用するため、相対的な位置、即ち、例えば5000nitのPB_Cと比較して)へと移動させる。特定の例では、この関数の形状は、黒色について関数の線形部分の傾斜を決定する、即ち、0で開始するSSLパラメータによって決定され、HSLは同様にして、最も明るいlumaについて傾斜の険しさを決定し、MIDWは、それら2つの部分的範囲の間の移行領域の幅、例えば放物線形状の幅を決定する。最後に、いくつかの状況においては、範囲適合ユニット4006が存在する場合があり、それは、最大値1.0を何らかのHDR相対値dW、例えば0.7にマッピングし、同様にして、0値は、dB、例えば0.0001にマッピングされる。これにより、最終的に、必要に応じてグレーディングを有する(知覚lumaドメイン内に)HDR正規化輝度Y’CHを得る。知覚luma Y’Pは、定数1/kbによって乗算され、Y’P/kbの最小値及びY’CHは、正しい明度効果を有する最終HDR luma Y’FHとして使用される。
次いで、これらの正規化lumaは、線形化器4009によって正規化HDR輝度に線形化されるが、線形化器4009は、ユニット4003内でPhilips OETFが使用されるため、上記等式6によって得られるように、対応するPhilips OETFである。rho_Hパラメータは、ここでは、どのタイプのHDR画像をシステムが再構築することになっているかに依存し、それは、典型的には、13.2(1000nit PB_C HDRの場合)〜33(5000nit HDRの場合)の間に入るが、当然ながら他の値を有してもよい。
最後に、典型的には、線形HDR輝度は、BT.1886 EOTFの逆関数を適用する(原則として、この規格は、ディスプレイ及びその参照EOTFのみを規定するが、当業者は、対角線の向こう側にミラーリングすることによって逆関数形状を決定する方法を想像することができる)luma計算ユニット4010によって変換されて、入力形式Y’_SDRに適合している平方根形式に戻る。
ここで、適合ユニット4025は、以下の計算を適用することによって適切な相対輝度にスケーリングする。
まず、それは、上に説明されたものと類似して、開始点であるHDR効果から画像が再グレーディングされることになるMDRディスプレイのPB_Dに対応するgp値を計算する。そのため、典型的には、別のユニットが、gp=log(PB_D/100)/log(PB_C/100)を計算しており、ここではPB_Cは再構築されたHDR画像のピーク明度であり、当然ながらそれは、HDRコーデックタイプ、即ち、作成側がHDR/SDRペアのHDR画像について有用なPB_C値として選択したものに対応している(特定の規格の合意によって決定されるものであり、例えば、ブルーレイディスクは1000nit PB_Cを使用することを望む。又は、ある用途の典型的なニーズ、即ち、発生する画像の種類によって決定されるものであり、例えば、ハイライトを有するが、通常はエキゾチックというより比較的均一に照らされる、即ち、暗い洞窟又はレーザー剣が存在しないニュースプログラムの場合、1000nitは十分であるはずだと考え、それを超えるものは何でもこの白色にハードクリッピングされ得る)。
適合ユニット4025は、入力SDR lumaに適用される総輝度変換関数、即ち、まず冪gpで累乗されるF_tot(Y’_SDR)を、冪(1−gp)で累乗されるそのlumaによって乗算する。
したがって、言い換えると、適合ユニット4025は、適切にグレーディングされたMDR luma Y’M=power(Y’GH;gp)*power(Y’_SDR;1−gp)を計算する。上に説明されることに類似して、様々なより高度な技術及び実施形態を、この種の定式化に変換することができるだけでなく、この最終の乗法的スケーリングを他のlumaドメインに変換することができる。
最後に、任意選択的に、出願人が使用する実施形態定義の単に1つである(ゆえに任意選択的)ユニット4033によって、BT.1886形状の関数に従って定義される非線形MDR lumaが、別のluma形式、例えば、輝度の正確な平方根バージョンに変換される。
適切にグレーディングされたMDR lumas L’Mは、上の図25で説明されたように、(乗算器4032によって)3つの正規化非線形RGB値、R’sなど(カラーマトリックス生成器4031から出力される)で乗算するために使用され、これにより、最終の正しいMDR RGB値(RGB_MDR)を得て、それが、その対応するPB_Dのディスプレイに直接伝送され得る。
ディスプレイ調整のこのようなやり方は、対応する色処理が、飽和ユニット4030によって、典型的には、Cb及びCrを、入力lumaに依存する因子Sat(Y’_SDR)で乗算することによって実施される飽和調節によって行われる場合に非常に有用である。それらの関数に対する典型的な良好な選択は、飽和低減を作り出すために、Sat(Y’_SDR)=k/Y’_SDRからの偏差であり、ここでkは定数であり、より高いY’_SDR値の場合は、この逆線形関数よりも小さいSat値を用いる。これが、すべての最適化態様に従って良好に再グレーディングされたMDR画像をもたらす(当然ながら、マスターHDR画像を、特にそれが例えばPB_D=500nitを有する場合、いかなるMDRディスプレイにも完璧にレンダリングすることが決してできないため)。
図41では、平均以上の周囲照明がある場合に調整が典型的にどのように作用するかの例を説明する。周囲光が十分に高くなると、通常のテレビ又はコンピュータ視聴照明下では、ディスプレイ上でライトグレーの斑点として見えていたものが、ディスプレイ周囲の明るいオブジェクトと比較してダークグレー或いは黒色にさえ見える場合がある。
図41bにおいて、ここでは、例えばPB_D=1200nitのMDRディスプレイのために最適に再グレーディングされている画像から始める(オリジナルのマスターHDR画像は、画像コンテンツ、即ち、5000nitまでの明るいオブジェクトを含んでいた可能性があるが、これらのオブジェクトの対応する輝度は、上記の戦略のいずれかを用いて、MDR輝度範囲上で既に計算されている)。ここでは、周囲光レベルは増大されることを前提とするため、様々なオブジェクト輝度(対角線に沿った)が再び明るくされる必要があることは理にかなっている。これは、当然ながら、実際の画像コンテンツに応じて最適に異なるものである。例えば、間違いなく排他的又は包括的ではないが典型的な種類の問題は、視聴者は、画像の最も暗い領域内に正確に何があるのかを知覚するのが困難であるということである。ここでは理論上、周囲光が例えば2の因子だけ増加する場合、すべてのディスプレイレンダリングされた輝度(そのため、入力としてMDR導出画像)を同じ因子2で線形に増加させれば等しい外観状況が得られる(例えばLCDディスプレイの限られたバックライトが理由で、それが既に可能である場合に)と考えるかもしれない。人間の視野が完全に適合していた場合にはそうかもしれないが、実用では、それは必ずしも、任意の画像コンテンツ/視聴制限の組み合わせに最も魅力的なレンダリングを依然として保証するにはためには、そのような周囲対抗増光のための最善の手法ではない。図41aは、その原理のいくつかを説明する。画像レンダリングは、画像ピクセル(AVGIM)の代表的な平均輝度が、周囲照明レベルに依存するオブジェクト反射率を順に経由する周囲オブジェクト(AVGSURR)の代表的な平均輝度と同一である場合、理論上は最適に見える。例えば、家の黒ずんだ壁の間を通って、警察官が懐中電灯を視聴者の方に向けて光らせて歩くという夜間のシーンをレンダリングするときには、それは、周囲領域及びオブジェクトがまるで家の連続であるかのように画像内とおおよそ同じオブジェクト輝度を有する状態でそのシーンが継続するのであれば、見事にリアルに見えるであろう。HDRがそのすべての規則を変えたということ、及び、HDR画像の平均輝度が典型的には、SDR動画時代にはそうであったように0.18*PB_Cに等しいということが決してないということを強調したい。これは単に、PB_Cが何であってもよいため、コーディングオブジェクトの可能性のより明るい最大限が、典型的に、比較的より低い平均をもたらすことになるからというだけでなく、HDRシーンが、何でも含み得るが、多くの場合、それらが平均よりもはるかに明るい(決して常に5倍明るいわけではなく、AVGIMに対する任意の関係で)小さなハイライトを有することが理由で素晴らしい見た目を有するからでもある。当然ながら、読者は、このモデルが完璧ではなく、周囲照明が画像コンテンツと共に動的に変化する場合にのみ存在し得、常に好まれるわけではないということを理解するものとする。そのため、典型的には、ディスプレイレンダリングは、夜間のシーンをレンダリングするときには周囲より暗く、日中のシーンをレンダリングするときにはかなり明るくなる(ディスプレイのライトボックス外観を引き起こすが、視聴者は大抵ディスプレイに集中しており、即ち、周囲色よりもディスプレイ色にかなり基づいて適合する)。HDR画像の場合、それらの違いは、かなりより印象的なものになり得るため、例えば夜間のシーンがレンダリングされるときの最適体験については、画像の暗領域が黒っぽく見えすぎないことを確実にするために、周囲光がいくらかの時間にわたって協調的なランプによりある程度少なくとも減光されるのが有用であり得るが、一般には、任意のレンダリングシステムがそれを行うことは保証されない。
しかしながら、典型的には「平均」輝度の主要領域、及びピーク明度を増加させる全般的な因子だけでなく共線形的に下回るすべてに、正確に焦点を合わせるディスプレイ調整方法を有することが、異なる周囲のための外観調節を最適に取り扱うには、依然として望ましいやり方である。
図41bは、そのような輝度変換をグラフ4110で概略的に例証し、故にそれは、出力輝度L*_MDR(駆動色としてMDRディスプレイに送信することができるものに対応する)が同じ範囲にわたる、正規化MDR輝度L_MDR範囲(例えばPB_D=1200nitの)を特徴とし得る。
代表的な画像平均AVGIMは、この場合も、様々な様式で、且つ様々な程度の代表的正確性まで取得される(例えば、第3のメタデータ内で一緒に通信され得るか、又はMDR画像輝度のサンプリングセットから、例えば発見的に、受信側装置によって推定され得る)。例証される方法において、この平均は、量dAVによって上げられる。留意すべき第1の点は、これは、2倍に増加された照明について2倍である必要はなく、それとは逆に、とりわけ、より明るいオブジェクト(即ち、平均輝度4111の領域の最大AMを上回る輝度)に関してどれくらいの範囲が必要とされるかということを考慮するべきである。様々な実際の視覚エフェクトが、選択肢を整えた。一方で、既に述べたように、実際には、ディスプレイ上のレンダリングは、周囲平均輝度と正確に(等しく)連携される必要はない。故に、平均輝度AVGIMは、確立されたオフセット値dAV(その重要な位置の上昇に基づく最終の輝度変換曲線4112の単純な制御ということに相当する)にわたって平均輝度AVGIMをシフトさせることによって、それを明るくするが、理論上完璧な乗法的視覚適合の場合よりは小さい程度で明るくする様式で、増加される。例えば、ディスプレイが既に周囲と比較して平均を超える明るさであった場合、ほんの1.5xAVGIMであるL*_MDR値に対応するdAVによってこの平均を増加させることが、依然として、それをいくらか明るく且つカラフルなレンダリングにすることになり、それは少し少ないがおそらくはその状況にはかなり良好である(多くの画像に関しては、暗領域の増光は、可視性に関する重要な問題であるが、平均色の増光は、任意の周囲状況のレンダリングの綺麗な明るく澄んでおり且つカラフルな見た目をもたらす)。さらに、本アルゴリズムは、この主要領域におけるコントラストに必要なものに関して発見的教授法を使用する。この場合も、作成側からのいくつかの詳細メタデータが、要求されるものを示すが、発見的な自動受信器側アルゴリズムは、利用可能な計算能力に応じて、画像の場面について何らかのシーン分析を使用し、平均領域4111内のヒストグラム下位モードの量や、テクスチャ代表値、或いは迅速な分割及びオブジェクトの幾何学的パターンを見るなどの局所的尺度、又はバンディング推定、若しくは圧縮誤差推定などの画像品質尺度といった態様に基づいて領域の複雑度を決定する。本アルゴリズムは、これを最小Amが出力輝度軸L*_MDR上にどこにマッピングすべきかを計算するために使用するか、又はこの場合、本アルゴリズムは、すべての平均領域輝度の線形シフトと比較して出力輝度MXAへのF(AM)を下げることによって、何らかのコントラスト低減が許されることを決定した(AMを上回る最も明るい画像オブジェクトの必要性との均衡をとるため)。また、明るいピクセルは、いくつかの重要な心理視覚的教訓に従う。単に何らかのガンマ関数のような任意関数を単にシフトしたり、又はそのような関数でベンドしたりすることがないように注意しなければならないが、この理由は、それによりコンテンツ作成者及びPB_D依存調整によって前もってとても注意深く作成されたダイナミックレンジ効果をひどく破壊するからである。何らかのきらめきを作成するには、より明るいピクセルが必要である。当然ながら、この場合も、周囲光があまりにも大きく、ディスプレイが、たとえ100nitよりも高いPB_Dのものであったとしても、その最大限に達し始めるために、何らかの不可避のダイナミックレンジ低減が存在する。しかしながら、これは、ここではすべてのレンダリング側の制限を考慮して、アーティストがマスターHDRグレーディングにおいて作成したアーティストが元々意図した効果をできる限り維持するために、この最適化をできる限り注意深く行うことができないということを意味するわけではない。また、最適とは、この場合もコンテンツに依存するものである。例えば、AMを上回る明るさの全範囲上に、この画像では、電球として見られる小さなランプが2〜3個のみ、又は金属反射のいくつかの小さな領域が存在する場合、良好なきらめきの心理的外観を依然としてもたらしながら、AVGIMによって分割されるその局所領域の平均の下方絶対比でそれらをレンダリングすることはより可能になる。しかしながら、明るさについて、太陽に照らされた建物の窓からの眺めを有する(この場合、平均輝度の領域を形成する屋内)場合、この映画で屋外でも何か重要なことが起こる場合は特に、この領域がコントラスト及び彩度を失い過ぎないように、均衡をとって計算されたMXAを上回るその領域の圧縮には、より注意が必要となる。この例では、最も暗いピクセルを黒色レベル推定BKEstまで上げた。一般に、アルゴリズムは、これらの少なくとも3つの領域の均衡のとれた再割り当てになり、及びより高度なアルゴリズムはさらに、これらの領域のうちの少なくとも1つにおける関数4112の形状を非線形になるように調整し得る。
教示されるように、ディスプレイ調整を行う非常に有用な様式は、受信した画像(PB_IM1)又は一緒に受信した色マッピング関数F_ctをそれに適用することによってそこから計算可能な画像のピーク明度と等しくないピーク明度(PB_D)を有するディスプレイのためのMDR画像の結果的色を計算するための方法又は装置からなり、本方法又は装置は、粗の輝度マッピング関数(Fcrs)及び密の輝度マッピング関数(CC)を含む少なくとも輝度マッピング関数を含み、まず、最適化された粗のマッピング関数(FCrs_opt)が、実ディスプレイレンダリング状況を前提に輝度の最適部分的範囲を決定するために、少なくともPB_Dに基づいて決定され、この粗のマッピングが入力画像に適用されると粗のluma(Y’CG)が生じ、次いで密のマッピング関数が、密の輝度マッピング関数(CC)及び少なくともPB_Dに基づいて最適化され、これが粗のlumaに適用されることを特徴とする。粗のマッピングは、画像内のオブジェクトを密のグレーディングするためにその後使用され得る画像の要件に応じて部分的範囲の良いバージョンを作成することを可能にする。例えば、屋外の景色を伴う曇った日の家の内部のシーンは、第一の数学的原則から、内側に物がある明るく照らされたショーウィンドウ及び何台かの自転車が止められている隣接したほとんど照らされていない脇道の暗領域を伴う夜間のシーンと類似した見え方をする。自転車はほとんど目に見えないが、それは審美的意図であり、両方の画像は、より明るい領域及びより暗い領域を含む。しかしながら、日光に照らされた屋内は、理想的には、任意の夜間のシーンよりも明るい輝度でレンダリングされる。また、夜間のシーンは、典型的には、強いコントラストで見られないため、たとえそこで何らかのアクションが起こるとしてもlumaの大きな部分的領域は必要がないが、一方で、家の内部は、多くのMDRディスプレイにとって、輝度の利用可能な範囲のかなりの部分的範囲が必要である。粗の輝度初期マッピングメカニズムは、必要な部分的範囲を置くべき場所、即ち、どの開始又は平均MDR輝度でだけでなく、どの程度、即ち、各部分的範囲が有するMDR輝度の量も大まかに許可する。両方の最適化マッピングは、様々な様式で決定され得、例えば綺麗に光が照らされたバージョンを作成するための粗のマッピングは、最適に決定されたスケール因子により対角線方向に伸張され得、密のマッピングは垂直方向にある。しかし、他の異形、例えば、MDR画像に変換されるべき入力画像の入力輝度又はlumaの最も暗い部分に対する、粗の伸張方向の変化が可能である。
本発明の新規の技術概念は、様々な異形及び多くの形態で具現化され得るため(例えば、後処理、異なる測定基準、及び測定基準に沿った調節に対する、復号における1ステップの直接計算、異なる色表現など)、本発明の実施形態のうちのいくつかのコア概念をより簡単に説明する(再度要約する)ために図42を追加した。上方部分は、純粋な動画コーディングに関し、例えば、HDRマスターグレーディングされた画像(M_HDR)の相対HDR輝度を対応するSDR画像の相対SDR輝度(RG_SDR)でマッピングするトーン又は輝度変換関数TMFを指定する人間のグレーダによって、HDRシーン画像(及び特に、所与のHDR能力を有するディスプレイのための最適オブジェクト明度、特にそのディスプレイピーク明度PB_Dを有する画像を得るために、異なる輝度への再グレーディングが行われる必要があるときの必要性)を定式化するために、作成側の可能性を紹介するためだけに使用される。この関数がどのように決定されたか、その形状がどんなものであったか、或いはそれが受信器に通信されるメタデータ(MET)内でどれくらい正確に表されるかは、本教示を説明するのに必要とされない。典型的に行われる最初のこと(考えられる様々な実施形態実現において様々なやり方で)は、この関数(例えばPB_C=1000nit表現をコーディングするSDRとHDRの間でマッピングする)TMFが、受信側で再確立されることである。これは、その形状が(例えば人間のグレーダに従って)どのように画像オブジェクト輝度が「入れ替えられる」べきかを決定するため、その形状が非常に重要であることが理由である。したがって、それが、特定のディスプレイのための再グレーディングを決定する任意のアルゴリズムの重要な誘導因子となる。本発明の実施形態の多くにおいては、これ、例えばHDR−SDR再グレーディング関数を、HDR画像が通信された場合に考えられる再グレーディングの極値と見なす(及びSDR通信実施形態では逆も然りである)。次いで、入力画像輝度(x軸)と出力輝度との関係グラフ(原則として任意の表現であり得、例えば入力輝度が、他のソース作成側でグレーディングされた画像、又は特定のディスプレイのために必要とされる画像の輝度にどう関係するか)内で、補間方向が決定される。いくつかの実施形態は、指定される方向、即ち、例えばデータ読み出しユニットによってスケーリング因子決定ユニット(4205)に入力される方向を有し得、データ読み出しユニットは、画像情報(DCT係数など)と一緒に通信されるメタデータからそれを読み出すか、又は、いくつかの実施形態では、それは、例えば工場出荷時のデフォルト45度など、装置上で設定され得る。この方法は、任意の表現が第1の画像表現(例えばSDR)の最大輝度を第2の画像表現(例えば500nitディスプレイ最適化された画像のPB_C)にマッピングするとき、対角線の極小の挙動を考慮に入れないため、45度というのは特に興味深い。第二に、この方向に沿って測定基準が、典型的には終点のうちの1つがグラフの対角線上にある状態で(例えば図21を参照のこと)、位置決めされ得、即ち、通信された入力画像Im_inであるその画像である。この方向は、入力画像から任意のディスプレイ最適化された画像への必要とされる輝度マッピング関数の中間バージョンがどのように起こるかの、特に測定基準を介しての、数学的処理を決定する。測定基準を有することにより、例えばより粗い又は一般的な方法と対照的に、必要とされる又は要求される程度まで中間再グレーディング挙動の正確な決定を行うことが可能になる。示されるように、等価の測定基準を取得するのには様々な様式が存在するが、当然ながら、ユニットは、必要とされる良好又は妥当な品質ディスプレイ最適化挙動において賢明である事前設定された又は受信した測定基準を有する。ここでは、測定基準、又は測定基準上の位置を調整することができることも示した。この要約の簡潔な説明において読者が理解する必要のある1つのことは、何らかの測定基準が、それが必要とされるすべての場所に、方向DIRに沿って、例えば対角線の各点で開始して(特定の入力輝度に対応する)、位置決めされ得るということである。当然ながら、代替の実施形態は、PB_D最適化出力画像を計算するための使用される予定の再グレーディング関数(F_M)の対応する点の場所を決定するための対角線に沿っていくつかの点のみを決定し、次いで例えば線形接続などによって他の点を決定することを選ぶ。そのような異なる実施形態の原理は同じである。そのため、下方の概略図が示すように、典型的には他の終点は、メタデータ内で通信されるような曲線TMF(即ち、恒等変換を表す対角線に対応する、例えばSDRグレーディングされた画像を受信したHDR入力画像から計算することが必要とされる関数)上で終了する。そのため、読者は、少なくともHDR例えば対角線上の1000nitの位置とTMF上の100nit SDRの位置との間に考えられる様々なピーク明度に対応する位置を有する、即ち、例えば200、400、600、800nit PB_Dの位置について線セグメントを用いて描写した、測定基準METRのいくつかのそのようにスケーリングされたバージョンを位置決めすることができる場合、対角線の各場所において、受信側で実際に利用可能なディスプレイに対応する測定基準上の位置(M_PB_D)も決定することができ、そのようなディスプレイのために良好な再グレーディングされた画像オブジェクト/ピクセル輝度を有する好適な出力画像が計算されなければならない、ということを理解することができる。概念的に、読者は、最終的に必要な関数F_Mの決定、即ち、受信したHDR画像から(この装置への入力画像として)SDRグレーディングではなくPB_DディスプレイのためのMDR画像を計算することは、測定基準上のすべての位置を接続することによって達成され得るということを理解することができる。しかし、当然ながら、実際には、そのような挙動は、例えば、新たに必要なパラメータ、又は動画がコーディング及び通信される際にグレーダがSDR及びHDRグレーディングをリンクするために使用した何らかの特定の関数のパラメータを直接計算する等式として、様々な様式で装置内で数学的処理される(例えば、知覚的に一意の空間においてluma範囲のそれぞれ明部端と暗部端にある2つの線形セグメントを放物線セグメントで接続する関数TMFの場合である。F_M関数の場合は、線形部分の傾斜並びに放物線部分の場所を決定するパラメータが再計算される必要があり、そのような計算は、それらが説明された一般的挙動を実現する限りでは、例えば、装置内、例えばSTB又はTV内のプロセッサ上で実行されるソフトウェアコードとして具現化される)。最後に、関数は、好ましくは、及び有利には、図16に詳しく説明される技術を用いて、乗数値へと変換される。
また、対角に延びる座標vLinが幾何図法Pによりどのようにして入力輝度と対応するか、及び同じことが出力輝度の回転したy軸についても言えるということを描写した。したがって、典型的には、本調整方法論は、M_PB_Dに対応する位置決めされた測定基準上の点を接続することによって関数F_Mを決定するが、そこから逸脱する異形も存在し得る。しかしながら、一般には、位置決めは、指定されたM_PB_D位置、及びTMF関数の形状に依存する。例えば、典型的な単純であるが強力な実施形態は、例えばPB_D内の等しいステップ(例えば各100nitステップ)に対応する「目盛り」の単純な単一の事前確立をもってして確立されるような測定基準をスケーリングし、その結果、2つの画像グレーディングの他のPB_Cは、その輝度変換を表すそのTMF関数に結合する(即ち、例えば100nit測定基準終点SDR画像輝度をHDR画像から計算するためのSDR曲線、この曲線が対角線の上にどのように存在するか、例えば対角線が水平方向に回転されるときには上にそびえ立つ)。
図43は、レンダリングシステム(即ち、ある視聴環境におけるあるディスプレイ)の黒色の能力の必要性に従って、及びそのような因子(例えばディスプレイ製造業者がTV内側の内部処理において使用することができる、又はデータを前処理STB若しくはコンピュータなどに通信することができる)、特にLCDピクセルが完全に閉じて駆動されるときの典型的なバックライト漏光、又は特定の量の視聴室照度に対応するディスプレイフロントプレート上の光幕などの因子に依存して、再グレーディングされた画像を適合するのに有用な別の技術的洞察を説明する。読者は、グレーディングでは、理論的状況として見ることができるものが存在するということを理解するものとする。マスターグレーディングは、特定の作成側HDRディスプレイ(通信されたマスターHDR画像のための参照ディスプレイとなる)上で作られたと仮定する。特に、グレーディングディスプレイが、そのPB_ref_grad=5000nitよりも明るい輝度をレンダリングすることができない場合、特定のHDR画像はより小さい輝度のピクセルを含み得るが、画像内に5000nitを超えるものはないということは予測可能である。同様に、作成側のグレーダが、例えば0.01nit未満の任意の輝度を忠実に見ることができない場合、コーディングされた画像内に0.01未満のものは存在しない、又は少なくとも正確な意味を持たないということを予測することができる。ここでいくつかの実施形態は、コンテンツを作成するアーティストの参照モニタより綺麗な黒色を有するディスプレイのための二次調整グレーディングを導出することができるが、ここでは、受信側視聴者がより劣った黒色挙動を有するディスプレイを所有するという、それとは反対のより典型的なシナリオに焦点を合わせる。グレーダが、自分の関数を用いて、最も明るい輝度がどのようにマスターHDR画像M_HDRとグレーディングI_SDRに対応するそのSDRとをマッピングするかを指定する場合、グレーダは、最も明るいピクセルがI_MDR画像内でどのように見えるべきかについて理想的な所望の挙動、例えばそのPB_C=700nitへのマッピングも指定する。同様の調整可能な関係が、ピーク明度未満のすべてのグレーに対して上に説明されるように存在し、ここでは、最も濃い黒色に焦点を合わせる。グレーダが、最も黒いコンテンツの黒色をどのようにSDRの黒色(典型的には0.1nit)にマッピングするかを指定する場合、グレーダは、MDR再グレーディングされた画像についてその黒色が伸張する程度について期待することに関して何らかの意見をする。即ち、仮想の(コンテンツ)黒色Bvirtを計算することができる。これは、非常に暗い黒色をレンダリングすることができる理想のディスプレイを所有していた場合に、生成するMDR再グレーディングされた画像について期待することである。しかしながら、述べたように、様々な理由により、ディスプレイは、実際の黒色Bactlしかレンダリングすることができない、及び/又は、視聴者は、そのような黒色までしか画像コンテンツを十分によく識別することができない。このため、少なくとも最も暗い画像色をその実際の黒色に向かって及びその周辺にさらにディスプレイ調整することが望まれる。
これを行う1つの良い方法は、以下の方法に従って、必要なオフセットをいくらか広げることである。
説明の目的のため、黒色レベル適合は、密のグレーディングステップ後に発生する(単に例示であり、又は別の実施形態では、唯一の輝度マッピング関数の適用後)、即ち、例えば図26においては、ユニット2603と線形化ユニット2604との間にBLAユニットが存在する。まず、BLAユニットが仮想の黒色レベルBvirtを、例えば以下の計算を用いて決定する。
Bvirt=B_SDR+(B_src−B_SDR)*(PB_D−PB_L)/(PB_src−PB_L)
この例では、式中、PB_srcは、HDRソースコンテンツのピーク明度、即ち、例えば1000nit又は5000nitであり、SDRピーク明度PB_Lは、通常100nitである。
次いで、差分(delta)が決定される。
Delta=Bvirt−Bactl
(Bactlは、様々な様式で決定され得る。例えば、製造業者が、それを工場で決定してそれを格納することができるか、又はそれは動画コンテンツを視聴する前に視聴場所で決定され得るなどである)。
これは、一意化されたluma空間内で差分に変換される。
Del_PU=−P_OETF(abs(Delta)/PB_D;PB_D)
P_OETFは、上の等式8に提供されるように、一意化されたlumaコードへの相対輝度の割り当て関数である。
次いで、考えられる様々な入力輝度の実際のオフセット、即ち、前の処理を経てユニット2603から生じるオフセットが、例えば以下に従って行われる。
LL=P_EOTF(Pho*(1+Del_PU)−Del_PU;PB_D) [等式11]
上に説明されるように(等式6)、EOTFは、Philips OETFの逆関数である。
代替的に、いくつかの他の実施形態が可能であり、例えば、例えば通信された又は受信器が決定した黒色範囲上方区切りBK_D_Uを下回る最も暗い色の領域内でのみBLAを行うことなどである。
LL=P_EOTF[max(Pho*(1+{Del_PU/max(BK_D_U,abs(Del_PU))},Pho)−Del_PU;PB_D]
この調整がどのように挙動するかの例は、図44に例証される。ここでは、SDR画像が、画像のより暗い部分をより明るい部分と比較して薄暗くする関数によってどのようにHDR又は少なくともより高いDR(MDR)画像に変換されるかの例を提供する。適用する正規関数は、(0.0;0.0)をきちんと通る関数4401である。例えば上の等式11のような等式を用いて、最も暗い入力のためのオフセットを有する最終曲線を作ることができる(即ち、この実施形態では、これらは、元々はマスターHDR輝度に対応するSDRコーディングされた輝度であり、それは、比較的劣った黒色レンダリングを有するディスプレイのために好適な(十分に目に見える)MDR輝度に変換される必要がある。これが、関数4402をもたらす。本アルゴリズムは、関数をわずかに再定義することによって他の方向(関数4403)にも作用するということも示されるが、最高に良い黒色を作成するために他の方法も現在の技術的枠組み及び理念に適用され得る。
読者は、この黒色調節挙動が、残りのディスプレイ調整挙動のあまりに多くの詳細がなくても、例えば方向に関して指向性の測定基準原理がなくても、動作することができるということを理解するものとする。一般に関与することは、黒色が考慮されない場合のMDR画像の何らかの初期最適化、即ち、例えば粗のグレーディングを用いて、より明るいピクセル制限に対処し、次いで黒色最適化ユニットにおいて黒色最適化パスを行うことである。
本明細書内に開示されるアルゴリズムの構成要素は、(全体的に又は部分的に)、実際には、ハードウェア(例えば、特定用途向けICの部分)として、又は特別なデジタル信号プロセッサ若しくは汎用プロセッサ上で実行するソフトウェアなどで実現される。メモリ製品は、例えば、ブルーレイディスク又はソリッドステートメモリスティックなどのポータブルメモリであるだけでなく、例えばオフサイトサーバ内のメモリであり、その場合、そこから動画又は画像が、動画又は画像を使用する遠隔地にダウンロードされ得る。
当業者は、本発明の提示から、構成要素は任意選択的な改善であり、他の構成要素と組み合わせて実現され得ること、並びに方法の(任意選択的な)ステップがどのように装置のそれぞれの手段に対応するか、及びその逆を、理解することが可能であるものとする。本明細書内の「装置」という用語は、幅広い意味で使用され、即ち、特定の目的の実現を可能にする一群の手段であり、したがって、例えば、IC(の小回路部分)、又は専用設備(ディスプレイを有する設備)、又はネットワークシステムの部分などである。「配列(Arrangement)」もまた、幅広い意味で使用されることが意図されるため、それは、とりわけ、単一の装置、装置の一部、連携装置の集合(の部分)を含む。
コンピュータプログラム製品表記は、汎用又は専用プロセッサが、一連の読込みステップ(中間言語、及び最終プロセッサ言語への翻訳などの中間変換ステップを含む)の後、命令をプロセッサに入力すること、及び発明の特徴的な関数のいずれかを実行することを可能にする命令の集合の任意の物理的実現を包含するということが理解されるものとする。特に、コンピュータプログラム製品は、例えばディスク又はテープなどのキャリア上のデータ、メモリ内に存在するデータ、有線若しくは無線のネットワーク接続を介して伝わるデータ、又は紙面上のプログラムコードとして実現される。プログラムコードは別として、プログラムに必要とされる特徴的なデータはまた、コンピュータプログラム製品として具現化される。
データ入力ステップ及び出力ステップなど、本方法の操作に必要とされるステップのうちのいくつかは、コンピュータプログラム製品に記述されるのではなく、既にプロセッサの機能内に存在している。
上述の実施形態は、本発明を制限するのではなく、例証であるということに留意されたい。当業者であれば、特許請求の範囲の他の領域への提示例のマッピングを容易に実現することができるが、簡潔性のため、これらすべての選択肢については詳細に述べていない。特許請求の範囲において組み合わされるような本発明の要素の組み合わせの他に、要素の他の組み合わせも可能である。要素のいかなる組み合わせも、単一の専用要素において実現され得る。
特許請求の範囲における括弧内のいかなる参照記号も特許請求の範囲を制限することを意図しない。「備える(comprising)」という用語は、特許請求の範囲に列挙されていない要素又は態様の存在を除外するものではない。要素に先行する「a」又は「an」という用語は、そのような要素が複数存在することを除外するものではない。