(潜在的に非常に)異なるダイナミックレンジを有する画像の合成を合理的に調整する方法を必要とする上記の問題は、複数の画像(Im_HDR、Im_LDR)の2つの画像又は2つのビデオであって、そのうちの1つが高ダイナミックレンジの画像又はビデオである2つの画像又は2つのビデオを合成するための装置(301)を有することによって解決され得る。複数の画像(Im_HDR、Im_LDR)のうちの2つの画像又は2つのビデオであって、そのうちの1つが高ダイナミックレンジの画像又はビデオである2つの画像又は2つのビデオを合成するための装置(301)は、
複数の画像のうちの2つの画像又は2つのビデオのうちの少なくとも1つの画像又はビデオの最大輝度と、複数の画像のうちの2つの画像又は2つのビデオをレンダリングするためのディスプレイのピーク明度とのうちの少なくとも1つに基づいて決定される最大輝度(LMC)を少なくとも特徴とする合成輝度ダイナミックレンジ(CombRng)を確立するダイナミックレンジ確立ユニット(302)であって、ダイナミックレンジ確立ユニットが、合成輝度ダイナミックレンジ(CombRng)におけるアンカー輝度(anc)を決定する輝度アンカー決定ユニット(303)をさらに含む、ダイナミックレンジ確立ユニット(302)と、
2つの画像又はビデオの少なくとも1つに少なくとも輝度変換を実行する色変換ユニット(310)であって、色変換ユニット(310)は、2つの画像又はビデオの第1の画像又はビデオ(Im1_LDR)を供給する第1のソース(350)から少なくとも1つのソースアンカー輝度(L_SA1)を読み出すソースアンカー輝度読み出しユニット(311)を含み、色変換ユニットは、第1の画像又はビデオに適用される色変換(FF_1)を確立し、その色変換は、ソースアンカー輝度(L_SA1)がアンカー輝度(anc)の近傍の出力輝度にマッピングされるという性質を有することによって、ソースアンカー輝度(L_SA1)の値に依存する、色変換ユニット(310)と、
複数の画像のうちの2つの画像又は2つのビデオを合成して、少なくとも1つの出力画像(Im_o)を形成する画像合成ユニット(320)とを含む。第1に、疑念を避けるために、画像の合成より、空間的又はビデオの場合にはおそらく時間的にも画像コンテンツをまとめる様々な考えられる選択肢を意味する。合成は、広いラテン語の元の意味で「2つを一緒にする」と理解されなければならず、このテキストでは1ピクセルあたり2つのソースを重み付け加算するために取っている例えば混合の限定された意味で理解してはならない。当業者であれば、この発明の様々な実施形態が、とりわけ様々なピクチャインピクチャの合成で生じるビデオの良好な(輝度の調和的又は協調的マッチング)合成、フェードのような混合の合成、又は例えば映画中の定期的なコマーシャルへのカットなどのような時間的散在、の必要性を解決することを理解する(一般に、これは現在、例えばあたかもそれがページであるかのように第1の画像をひっくり返し下にある画像のピクセルを表示することに対応する時間的変化量で、第1の画像の少なくともいくつかのピクセルを第2の画像の一部に空間的にインターリーブすることを含むが、本発明は、ピクセル色、特にそれらの知覚された明度が正確に対応することを確実にする)。画像の空間領域を他の(一部又は全部の)第2の画像に置き換えた場合、及び、第1のビデオの画像の間又は後に別のビデオシーケンスの画像を時間的に示す場合の両方において、点滅するコンテンツなどがある場合は特に、あまりにも明度の不一致があってはならない(すなわち、画像の1つが、例えばその主ヒストグラムローブ又はキーオブジェクトに関して他のものよりも過度に明るく見えてはならない)。このようなシナリオでは、(空の表現の)合成画像のダイナミックレンジである合成輝度ダイナミックレンジ(CombRng)を、合成画像データで満たされるように確立することができる(例えば、時間的に散在又は連続する2つの最大レンジであるとみなすことができる)。
当業者には、高ダイナミックレンジの画像が何か、すなわち100ニットのピーク明度に対して定義されたレガシーLDR画像ではない画像、すなわち古典的なLDR方式では合成できない画像であるのはなぜなのか明らかである(2つの異なる画像符号化フレームワークで定義された画像オブジェクト又はピクセル輝度間にある程度の不一致があるように思われる)。当業者には、装置が2つの静止画像(又は例えば5)しか得られない場合、典型的には出力画像(Im_o)は1つの静止画像となることは明らかである。連続する画像の2つ以上のビデオが合成される場合、出力ビデオ、すなわち何らかの形のそれらの画像の連続が生成され、例えば各ビデオが各時刻の画像を有する場合、結果のビデオは、元の2つの画像シーケンスと対応する時刻に正確に同じ量の画像を有するアルファブレンドされた混合ビデオであってもよく、又は結果のビデオは、異なる時刻の画像を有してもよく、例えば第1のビデオの100%の長さ、第2のビデオの+50%の長さを有し、その様々な画像がいくつかの時刻に混合して割り当てられる。
この特許の教示を可読かつ簡潔に保つために、その教示は輝度ダイナミックレンジの違いをどのように処理するか、及びこれが視聴者に与える明度の印象を最優先にしているので、あえて単に輝度の変換を行う実施例を示す(読者は画像がグレースケール画像であると装うことができる)。しかしながら、もちろん当業者は、実際には典型的には色変換が行われることを理解する、例えば輝度が線形RGB色定義にどのように対応するか、及び、例えばWO2014/056679のように線形RGB上に色を変換することによって所望の輝度を有するピクセルをどのように生成するか、の両方を理解することができる。簡潔さのためにビデオについて何か以下で言う場合、当業者は静止画像にも適用できることを理解する。場合によっては、リアルタイム性の観点から、ビデオはより簡単な処理態様を望む場合があり、それが混合のためのエレガントな迅速な解決策が提示される理由である。人間はHDR画像が正確に何であるか、様々な混合、提示に何が必要であるかを最良に判断することができるので、実施形態のより良い実行は人間のアーティストの介入で動作するものもあるが、他の実施形態では画像解析アルゴリズムによる自動注釈で動作する。
装置は、非常に複雑な合成問題がより管理しやすいものになる理由の一部である新たなダイナミックレンジである最適な合成輝度ダイナミックレンジを確立することができる必要がある。以下に説明するように、これは単純に既に存在する、すなわち既に発明され定義されているダイナミックレンジの1つである必要はない、すなわち必ずしもソース画像のダイナミックレンジではなく、コンテンツが意図された表示(いくつかの作成側装置は、現場で予想される表示が典型的な代表例である、消費者の構内において良好な基準表示が何であるかの妥当な推定値を有することができるが、いくつかの実施形態では分からないかもしれない)にレンダリングされるべき最終的なディスプレイのダイナミックレンジでもない(それがたとえ合成中に知られていても、これはすべての実施形態にとって真ではない)。その合成輝度ダイナミックレンジは、合成プレゼンテーションが視聴者に最良の視覚的品質又は影響を与えるようにすべきである。それはもちろん、定義されたコンテンツの様々な側面に依存する。メインコンテンツ(特許請求の範囲が読みやすくなるので第2の画像又はビデオと呼ぶ)が例えば映画である場合、映画制作者は例えば映画を乱されることを好まない。例えば、明るいコマーシャルの後に視聴者は映画の暗いシーンで何が起こっているか分からなくなるようなことはすべきではない。このようなシナリオでは、典型的には、2つのビデオのうちの輝度特性が歪んだ一方があり、他方の入力ビデオとより調和するようになるので、したがって合成ビデオ、映画は最も重要な(又は主要な)ビデオであり、(可能であれば)輝度が大きく歪まないようにする必要がある。しかしながら、コマーシャルプロデューサやスポンサも、コマーシャルが最終的なレンダリングで可能な限り最高に出てくるのを見たいと考える。色変換ユニット(310)及び/又は合成ユニット(320)は、コマーシャルが映画を越えることはできないが、例えばLDRコマーシャルもまた不必要に暗くレンダリングしてはならないというポリシーを実施する。例えば、映画の中の他の関連するオブジェクトに比べて顔があまりきれいに見えずにほとんど黒に見える場合がある。上で述べたように、人間の視覚システムがその明るい領域でグレー値の解釈を適応させると、森林は非常に明るい日差しの領域に比べて黒く見え得る。したがって、HDR映画又はブロードキャスト(又はゲームなど)の中で、非常に明るい、例えば2000ニットという重要な(大きな)領域が存在し、特に合成SDRピクセルに近接している場合、およそ20ニットのみのSDRオブジェクトは黒く見え、それゆえ合成する前にいくらか明るくすることが望まれる。また、例えば顔の特徴又は他のオブジェクトの細部の視認性は、オブジェクトの平均輝度及びコントラストと共に減少する。単一の画像であっても、いくつかの状況では、オブジェクトの輝度分布(例えば、HDRレンダリングのピクセル輝度ヒストグラム)が完全に最適ではないと不平を言う人がいることを経験したが、あまりにも明るすぎるシナリオでは、視覚的適応と人間の脳は、単一の画像がレンダリングされている場合、脳がその単一の画像内のすべてのオブジェクトが何であるべきかを決定し調節することができるから、通常は相対的に寛容である。しかしながら、オブジェクトが別の画像で空間的に構成されている場合、視聴者は、コンテンツがフレーム内にあっても、差異が深刻であることに気付くことになる。なぜなら脳は、画像のコンテンツの一部をシーンの明度分布の基準として判断し、シーンは通常PIPとしてあまり切り離されず、むしろ滑らかな照明変化を有するからである。示されるように、どちらが良い明度の合成であるかを一見して知ることは容易ではない。例えば映画の作成者は、どのローカルコマーシャルが(例えばケーブルオペレータによって)挿入されるのか、又は(おそらく自宅のコンピュータ又はコンテンツを管理する中央の家庭用機器によってストリーミングされる)映画を見ながら視聴者がどのような第2の画像をいくつかの画像ソースから例えばPIPに選択するかを知らないので、少なくとも、別々のビデオの作成中にはそれはできない。また、例えば比較的明るいオブジェクトの視覚的重要性は、とりわけその大きさに依存することにも留意されたい。2つの画像を利用可能にすることにより、装置はよりスマートな合成決定を行うことができる。例えばそれがSDR画像である場合に例えばHDRコンテンツをより第1の画像のようにするために最大レンダリング可能輝度(LMC)を下げる必要がある場合がある。これは、ピクセル又はオブジェクト輝度(オブジェクトは意味的に関連するピクセルのスマートにグループ化されたセットである)のさらなる特性を見ることに依存する。例えば、最も明るいオブジェクトがランプである場合、しばらくの間、合成ダイナミックレンジ(CombRng)内のランプの明度を下げることができる。これは最も壮大なHDRではないが、HDR画像はきれいに明るくランプをレンダリングするためにまだ使用することができ、特に合成画像(LMC)よりも低いピーク明度(LM_MDR)を有する接続されたディスプレイの場合、非常に明るい符号化可能なランプはいずれにしてもコーデックの輝度で正確にレンダリングすることはできない。したがって、ダイナミックレンジの高い映画がまだあるが、合成の状況により適したダイナミックレンジがある。
実際、2つの典型的な代替シナリオを考えることができる。一般的に、合成ダイナミックレンジ、すなわち少なくともその上部輝度(LMC)は、一方では少なくとも2つの画像の入力のニーズ、他方では、レンダリングの何かが既に確認されているなら画像合成をレンダリングすべき想定されたディスプレイのダイナミックレンジ(少なくともピーク明度)のニーズ(すなわち、典型的なHDRディスプレイの適切に提示された画像コンテンツのHDRニーズ)を見る装置によって規定される。したがって、いくつかの実施形態では、これらを使用するためにどのように調整すべきかに関してまだ何も言われていない又はそれほど賢明なことが言われていないなら、2つの画像だけに基づいてCombRngを決定する必要がある(しかしながら、いくつかの実施形態では予想される典型的な使用に向けて既にチューニングが行われている場合があり、例えばPB_C=5000ニットのマスタHDR画像が主により低いダイナミックレンジのディスプレイに示され、SDR画像素材にかなり散在していることが予想される場合、例えば通信用ビデオ圧縮のためにPB_C=5000ニットよりも低いダイナミックレンジで、例えば予想される典型的な消費側のディスプレイの例えば1000ニットのピーク明度の1.5倍で合成又は合成可能(受信側では、いくらかの画像情報が依然として輝度変換される必要があることを意味する)画像を早くも作成することを考え、それゆえ合成ダイナミックレンジは、例えば1500ニットのPB_Cを有する)。第1の典型的な例は次に、HDR映画、すなわち連続する画像の2つの入力ビデオのより大きいダイナミックレンジを有し、SDRコンテンツは、主要なコンテンツであるHDR映画と合理的に調和する(又は最終的なプレゼンテーションの場で調和可能になる)ように、輝度変換されるか又は少なくとも1つ又は複数のソースアンカー値を共同通信されたメタデータに置くことによって適切に注釈を付けられる。しかしながら、代替的な典型的なシナリオは、想定される典型的なディスプレイレンダリング及び/又はSDRコンテンツ挿入のいずれかにより則した低いダイナミックレンジにHDRコンテンツを事前に変換することができる。例えば750ニットのPB_Dのレンダリングのための実際のディスプレイを有する場合、そのようなシステムは、例えば両方のビデオ(全く異なる作成現場及び時間に発生する場合があり、一貫性のあるアンカーの力である)の輝度を変換して(又は輝度変換を決定するためのアンカー輝度で注釈を付けて)、例えば1500又は2000ニットのPB_C又はおそらく1000ニットのPB_Cの合成DRでそれらを調和することができる。この合成された又は合成可能なコンテンツは、必要なPB_D=750ニットで規定されたディスプレイダイナミックレンジに容易に格下げすることができる。
特に、出願人は、実際には実際の符号化された(すなわち典型的なDCT圧縮画像の色成分において最終的かつ固定的に定義されたピクセル色を有する)画像としてではなく、任意の一次画像からのそのような二次画像の様々な可能なピクセル輝度を計算するための関数として、(様々な)最終の(再等級分けされた)異なるダイナミックレンジの外観画像が通信されるフレームワークを設計したので、これらの関数は再定義することができ、したがってより複雑な定義を伝達することができる(例えば、少なくともいくつかの特別な画像オブジェクトに対する画像輝度が、様々な状況、例えば様々な合成ダイナミックレンジの下でどのように計算されるべきかの詳細)。古典的な画像又はビデオ符号化は、使用されるべき、すなわちレンダリングすべき(!)ピクセル輝度とともに「その」画像を単に符号化して通信するが、出願人は、全く異なる画像(すなわち、オブジェクトの必要な空間構造及びテクスチャを有するが正しい測色を有さない、特に正確な画像オブジェクト又はピクセル輝度を有さない)を送信することができ、次にこの出願では合成画像である最終画像の正しい輝度を最終的にどのように生成するかの方法の処方は、合成輝度ダイナミックレンジCombRng上のすべてのピクセル輝度で定義される。
例えば(例えば、あまり正確に暗くされていない場合に)比較的明るいLDR画像の合成により、合成された出力画像の全体的な(又はHDR画像の少なくとも暗い部分の局所的な)明度は、HDR画像から排他的に来る暗い部分をあまりよく見ることができないようになっているので、同様に、例えば(ダイナミックレンジIm2_Rngの)ダイナミックレンジ画像である画像のうちの1つの最小値(LmiH)と比較して合成レンジの最小値(LmiC)を増加させる理由があり得る。すなわち、それらを明るい黒でCombRngに色変換することによって、それらを適切に明るくすることができる(これは合成レンジの選択により発生し、さらにHDR画像そのものをスマートに処理する必要はない、すなわちそれはCombRngへの単純な色変換によってさえ適切に明るくなる)。
したがって、読者は、画像処理連鎖の様々なポイント、例えば最終的なコンテンツが典型的にはコンテンツ供給者の制御下にある装置によって定義されるいくつかのコンテンツ作成側において、画像消費の画像連鎖の一部又はいくつかの画像消費側に入る(例えばエンドユーザの責任のもとでのみ、例えばエンドユーザが自分のリモートコントロール又はコンピュータコントロールを使用して2つのタイプのコンテンツを混合する)前に、どのように適切な合成ダイナミックレンジを人間によって、潜在的に半自動的に、又は自動的に確立するのかを理解することができる。一般に、そのような装置は、画像のコンテンツ(すなわちHDR品質、すなわち様々なコンテンツがどのPB_Cを有するか、PB_Cで終わるダイナミックレンジ上の様々なオブジェクト又はピクセル輝度の分布も、どのような明るいオブジェクト[例えばHDR効果]があるか、外観に非常に不快な変更を加えることなく容易に輝度歪みが生じ得るかどうか)だけでなく、これらの画像の最終使用の必要性すなわち典型的には表示レンダリング(例えば画像がSDRディスプレイ消費者の設置されたベースに供給される場合、低いCombRngが適切になる)の両方を見る。自動的に行われると、アルゴリズムは、ヒューマンコンバイナが方法論として使用するもの(すなわち、合成された画像及び/又はそのためのメタデータを生成し、例えば最終的に合成される2つの画像又はビデオの少なくとも1つのソースアンカーポイントであるLMC値及び少なくとも1つのアンカーポイントを指定する)に似ているヒューリスティックモデルを使用する。CombRngの暗い側では、例えば明るい画像オブジェクトの最も明るい領域からの眩しさ、予想されるディスプレイ漏れ光、及び典型的なディスプレイ面プレート反射などのために暗い色の環境光依存マスキングのような側面に基づいてそのような可視性をモデリングすることによって、最も暗い色がまだ比較的よく見えるものであると判断される。唯一のディスプレイと予想される典型的な(例えば薄暗いライト付きのホームシネマ)視聴環境と比較したこのモデルの新しい要素は、二次的な画像コンテンツの導入である。しかしながら、一般的にCombRngの確立が典型的には最初に(適切なアンカーの決定前に)行われるため、この見積もりは粗い場合がある(例えば、SDR画像の最も明るい部分、潜在的に明るい部分でさえ、映画の暗い部分の次に幾何学的に落ちるかどうかにかかわらず、SDRコンテンツが導入されている場所を正確にチェックせず、したがって、いくつかの実施形態は、CombRngの上限輝度及び下限輝度を確立するときにそのすべてを考慮に入れることができるが、潜在的にかなりマスキングする可能性があり、例えば直接的又は反復的な決定において、後者は良好なアンカー輝度が何であるか、及び対応する適切なCombRng限界輝度を繰り返しチェックする)。
いろいろな用途で粗い合成が既に適している場合があるので(例えば、映画の視聴者が最終的に映画を楽しむことを望んでいる場合、中断したり追加の画像と合成したりすべきではないが、もしそうした場合、たとえそれが合成画像の全体的な画像印象の評価において心理視覚的にのみであり、合成前がどのようであったかと比べて映画の輝度の変化が実際にはなくても、その主要なビデオコンテンツの比色測定には常に歪みがあることを認識すべきである)、典型的なコンテンツに基づいてヒューリスティックな低い輝度LmiCを迅速に計算するために既に適切であり得る。例えば、ヒストグラムがSDRコンテンツの大部分が10ニットと100ニットとの間にあることを示し、合成画像の表示領域の約半分が50ニット以上の輝度を有するSDRピクセルによって占められている場合、装置は、その合成のために例えば0.01ニットどころか0.1ニットよりも深い黒を必要としないことを確立することができる(ディスプレイの典型的なヒューリスティックアルゴリズムは、より暗い画像構造がそのような条件の下ではうまく見られないと判断するため)。合成レンジのこの確立を非常に興味深いものにするのは、(HDR映画の元のコンテンツ作成者は、映画を暗い部屋の例えば非常に深い黒をレンダリングすることができるOLEDディスプレイ上で楽しむ場合のために、0.0001ニットまでの定義された超黒を持つ映画を作っているかもしれないが)、合成装置(例えばSTB又はTV自体)が、合成画像にHDR映画ピクセルを配置する前に、HDR映画(又は一般的には主要コンテンツ)DRと合成ダイナミックレンジとの間、特にこれらのダイナミックレンジの下位部分に条件付けられた適切な輝度マッピングを決定することによって、HDR映画の最も暗い色を幾分明るくすることを決定することができることである。輝度レンジの明るい側では、アルゴリズムは通常、元のHDR画像に対してどのぐらいのクリッピング又はコントラスト圧縮がまだ適切であるかを決定することを含む(これは例えば太陽に照らされた雲に対してレンダリングされた内部構造を有する必要のないランプでは異なり、[理想的には符号化された受信画像に基づいて最終画像の決定が合理的にシンプルであるように、符号化された輝度では主にすべてのピクセルの最終的なレンダリング輝度が最終的にどのようになるべきかが決定される]ように、理想的には最終レンダリングされた画像に十分なコントラスト及び今後任意の画像符号化を有し、それゆえ、実際に合成画像ピクセルに変換される前に、合成画像内に既に存在するか、又は事前合成定義されたHDR画像であるかにかかわらず、最も明るい画像の色に対してより少ない圧縮を行い、ルマコードのより大きなサブセットを有する明るい領域を定義する)。必要に応じて、例えばいらいらさせるほど暗く見えてはいけない挿入された(予想される映画作成者のために、例えば特定のチャンネルで映画を知っていると、それゆえ映画のこの潜在的に再等級分けされた定義はコマーシャルと一緒に提供される)コマーシャルでは、少なくともSDR画像が合成のために変換されるので、SDR画像の最も明るい輝度とあまり離れていない明るい輝度のやや小さな領域で曇りを絞ることが必要である。この画像のニーズを依然として最も適切に(一般的には、すなわちSDR画像の少なくとも一部、及びHDR画像のいくつかの重要な部分又はオブジェクトの両方)及び例えば様々な導入されたSDRコマーシャルのためにチューニングすることができるようにするには、理想的には、HDR画像は、それらの雲のための例えば3つの多数の重要な輝度を指定し、それらの間で合成装置は、様々な雲領域を典型的には暗く変更することができる(これによって、例えば雷雲の濃い灰色の部分のコントラストも減少する)。しかしながら、これはアンカーの輝度がここで教示されるように現れる場所であり、教示の現在の部分は、合成レンジが当然そのように低いLMC値で終わらないことを説明するだけであり、それは主要な画像の外観を破壊し始める(例えば映画が雷雨雲に関する場合、雲の一部が強く照らされていれば、例えば太陽に照らされた雲の縁及び雲の膨らんだ部分は太陽によって照らされるのではなく環境光だけに照らされ、典型的には素晴らしい異なる灰色を有するので、それらははるかに暗くなり、これらの雲がCombRngの上位のサブレンジで例えば10ルマだけで圧縮されなければならないようにCombRngがなっている場合、ディスプレイによる補正の試みとして強力な関数的輝度伸長を用いても、これらの雲の価値のある良好なHDRレンダリングは決して得られないので、この映画の中核的な側面は失われる)。しかしながらそうでなければ、合成装置は、HDR画像の明るさとコントラストの質をいくらか低下させることを決定し、(特に、例えばいくつかのコンテンツが太陽の下にありいくつかのコンテンツが影の中にあるサッカーの試合のような要求の少ないHDRシーンからの場合)HDR画像を合成すべき典型的又は実際のより低いダイナミックレンジの画像と調和させることができる。
もちろん、ダイナミックレンジ(少なくとも最大値、場合によっては正確に指定された非ゼロ最小値も)は、画像の最終的な見た目にとって非常に重要な(起動)特性を決定するものであるが、これは、オブジェクト又はピクセルの明度をどのようにそのレンジ内に配置するかを完全に完成させるものではない。単純な画像処理方法では、必要なのはダイナミックレンジの上限と下限であると実際に主張し、マッピングを行う(これは単純な線形圧縮よりもあまり賢明ではないことが多い、すなわち白の入力コンテンツを白の最終レンジにマッピングし、黒の入力コンテンツを黒の最終レンジにマッピングする)。それはかなり変化することがあり、特にダイナミックレンジの大きな潜在的なものを、非常にクリティカルなシーンで使用し始めると、例えば洞窟の中で同時に多くの深い黒、そして小さな亀裂を通って外側に見られる多くの日光のある色の両方、そして霧を通り抜けている人のようなオブジェクト内のコントラストの重要な制御を必要とするオブジェクトさえも表現可能な輝度が必要になる。しかしながら、上述したように、発明者は、HDR画像の外観の良好な制御、特に合成画像の外観の制御は、CombRngの範囲の間の輝度のすべて又は少なくとも多く、又は少なくとも最も重要なものの良好な制御に重要に関連しており、そのため、良好なHDR画像処理システム、特に実際に起こり得るあらゆる状況のためにさらなる困難な人間の介入なしに適切な外観の最終合成画像を生成することができる装置を有するためには何か他のものも必要であると考える(各STB又はテレビで同じハリウッドディレクタを販売して、視聴者にとって適切な最終的な合成輝度を決定させることができないため)。画像コンテンツ合成の少なくとも最も実用的なケースにおいて合理的に高品質の結果を得るためにクリティカル又は複雑なニーズがあろうがなかろうがコンテンツ作成者によってうまくオーダーメイドすることができる素早いメカニズムが必要である。
したがって、十分に合成を制御するための第2の構成要素は、装置がアンカー輝度(anc)を決定することである。これは様々なことであり得るが、典型的には、意味的に重要なオブジェクトの意味的に関連する輝度である。例えば、それは特定の態様で照らされる特に典型的に重要なオブジェクトであり、全HDR画像レンジのサブレンジに輝度を与える。それは、その周囲の他の輝度を決定するためにある合成レンジにおいて良好であると期待できる輝度となる(すなわち、この輝度は、輝度の総和が適切な明度であるか、あまりにも暗すぎないか、又はあまりにも明るいかを決定する)。言い換えれば、特定の合成レンジに対して正しいものは何でもアンカーの輝度を正しくレンダリングすると、他の輝度も悪いものではなくなる(図16では、作成アーティストの望みに従ってどのようにしてより多くの技術的構成要素を用いてそれらを制御してますます良くなるのかを説明する)。
図15は、かなり異なる照明の2つの領域、すなわち薄暗い照明(図15aのシーンのジオメトリを参照)の建物(Ins)とかなり明るい照明の日当たりの良い外側領域(Outs)を有する典型的なHDRシーンを示している。コンテンツグレーダが物理的なシーン輝度から典型的なテレビ視聴(薄暗い環境)のために適切に見えるHDR画像を作成するためには、屋内の明るさをSDR画像のように等級分けすること、すなわち屋内の最も明るいオブジェクトに対して最大100ニットを等級分けするのが賢明である。現実世界の屋外の輝度は約100倍明るく、最大10,000ニットであるが、(視聴者が典型的にそのようなハイエンドの10,000ニットのPB_Dディスプレイを有するとしても)それはテレビのレンダリングには明るすぎるという経験を有している。したがって、グレーダは、例えばHDRのこのシーンを(金属上の小さな鏡面反射を除く)最も明るいオブジェクトに対して最大1200ニット、典型的な平均外側輝度に対して250ニットのマスタHDRレンジ(DRH)の(外側のピクセル輝度サブレンジSDROUにおいて)明るい外側輝度にするために選択することができる。
アンカー輝度を有するパワーは図15cに示されている。この例では、簡単にして、内側ピクセル輝度サブレンジSDRINのより暗い輝度を、すべての状況下で等しい輝度でレンダリングすることができると仮定している(合成レンジでは安定した変化しない輝度のセットを形成するが、もちろん常にそうである必要はない、例えばSDRコマーシャルが多くの明るい色を含む場合、装置は、HDRマスタソース画像材料の内部ピクセルを特徴付ける下部アンカーポイントAncS_insを使用して、実際に最も暗いピクセルをいくらか上げることができるが、少なくともこの第1のマスタHDR画像のピクセル輝度を(すなわち、屋外の明るいピクセルのセットの第2のアンカーポイントAncS_outsとともに)合成レンジに正確に輝度配置するために1つのアンカーポイントのみが使用されるシナリオを用いて実施形態のコア原理を説明する)。第1に、典型的なグレー値出現につながる典型的な光反射スペクトルを有する興味深いオブジェクトの任意の輝度が使用されるが、そのようなanc値の周囲のピクセルの輝度を決定することを望むときに、合理的に類似する照明の領域に対応するすべての画像輝度のヒストグラムのサブローブにおいて平均的明るさのアンカー位置を使用することは通常悪くない。読者は、図16を参照すると、何らかの理由で、装置がこのような領域に例えばより多くの光を当てて「再点灯」することを望む場合に、実際の反射オブジェクトはその上を照らす照明が増えればもっと輝くように、その周囲の輝度はアンカーポイントで連続的に明るくなることを想像することができる。代表的なanc値を計算する際の自動決定の場合、合理的な平均から結果があまりにも多く逸脱する例えば非常に明るい日差しの雲の縁の輝度を持たないように注意すべきであり、したがって、典型的には人間が符号化された画像と一緒にアンカー輝度を決定して伝えることができれば、最良の結果を得ることができることに留意されたい。したがって、読者は、2つの種類のanc値、すなわち第1の結果(すなわち、anc定義の同じ意味論的意味に対応する画像の輝度がそのようなanc輝度値に近いが、(異なって照らされ異なって符号化された)ソースダイナミックレンジにおいてレンダリングされたときに最終的に合成画像に落ちる又は書き込まれる合成レンジにおける位置)、及び、入力画像のすべて又は少なくとも大部分のための第2の(対応する)ancS値(いくつかの画像に注釈付きancが欠けている場合、装置はある値、例えば最も典型的なSDRコンテンツにとってあまりにも不合理であってはならないSDR値を推定しなければならない)があることを理解すべきである。このようなanc値が定義されていれば(合成の1つと意味的に異なるものであっても、例えば係数4でそれを乗算することによって合成の1つに関連付けることができるもの)、入力コンテンツを合成フレームワークと調和させることができ、したがって、他のすべての画像コンテンツと調和させることができる。
読者は、例えば優れたHDR品質の合成PB_CS=2000ニットについて、anc値(すなわち画像合成の結果のanc値、及び2つの画像の実際の混合前に準備されているレンジ)を、決定された合成輝度ダイナミックレンジすなわち典型的には少なくともそのピーク明度とどのように調整するかを確認することができる。ダイナミックレンジ確立ユニット(302)によって優れた品質の合成レンジ(CmbRngSup)が選択された場合、マスタHDRコンテンツのダイナミックレンジに近い高品質ダイナミックレンジが利用可能となる。したがって、結果的に得られる(「平均明るさ、2番目のサブローブ、屋外色が合成画像内に落ちるべき位置」という意味論タイプの)anc値を250ニットに配置することも理にかなっている(装置は、テレビ映画の明るい領域レンダリングのための典型的なルールに従い、これもマスタHDR画像のマスタグレーダの(およそ)250ニット選択につながった基礎であった)。この合成状況は、外部ピクセルの関連するHDR輝度の大部分が、コンテンツ作成者が意図したように、すなわちマスタHDR入力画像で符号化されたものと同じ輝度で良好にレンダリングされ、唯一例えば鏡面反射は2000ニット未満に幾分か減光する必要があるという結果をもたらす。これは、上記の第1のタイプのシナリオの一例であり、合成レンジは、輝度歪みなしに導かれ実質的にレンダリングされる元のマスタHDRビデオコンテンツに従うので、SDRコンテンツを調和させるだけでよい(これはSDR画像の対応する1つ又は複数のanc値を調べることによって行われる)。
劣った品質の合成レンジ(ComRngInf)について、装置は、HDRマスタ画像についても、必要な品質低下を既に考慮に入れることができる。ここで、装置は、Anc_Outs値の位置を下げる必要があり、これは例えば典型的には領域間及び領域内のコントラストのヒューリスティックな見積もりのニーズとともに行われる(特定の画像及びシーンを見ることなく、アンカー輝度の良好な位置についてのいくつかのグローバルな値が決定され、これは、今後映画の様々なHDRショットについて一貫して機能すべきである)。第2の結果のanc位置Anc_Outs2は、どのレンジの量が100ニットよりも上にあるか、又は言い換えればCombRngにおける輝度位置に配置されたSDRINの低い輝度より上にあるかに依存すべきであり(例えば、ストップでは、明るい日当たりの良い照明の中の反射オブジェクトだけでなくランプ又は鏡面反射などそれらが何であれすべてのHDR効果を位置確認するために10倍が3ストップであり、典型的には高品質のHDR画像のために顧客が見たい値すなわち明るすぎたり暗すぎたりしない大きなオブジェクト領域も考慮に入れる)、そのため、明るい領域又はその部分が100ニットよりも十分にコントラストがあり(実際に日焼けした外観を有するように例えば係数5−10が良い値であり、これは2つのanc値の除算として公式化され得る)、オブジェクト、炎、爆発、又はレーザービームなどの小さな鏡面反射領域、及び映画に実際に含まれて1000ニットのPB_C_Infの上限値近くに等級分けされてレンダリングされるもののような明るいHDR効果のための十分な余地も依然としてある。自動方法のいくつかの実施形態は、誤差推定値を計算することによって機能する。例えば、領域内のテクスチャは、より高い又はより低い領域内コントラストの必要性を示す複雑さとともに分析することができる。
したがって、例えば映画メーカーが作成している映画(少なくとも1つのanc値で注釈付けし、おそらく典型的な適切なCombRngに既に輝度マッピングしている)及び期待されるSDRコンテンツの典型的な平均変形の2つの画像のみが既知である場合、装置は、図17に示すように、合成前の再明色化においてHDR画像の輝度歪み圧縮及びSDR画像の歪み又は不整合性に対する誤差を少なくとも計算することができる。このような歪み誤差は、実際の(最適な)輝度マッピングを適用して元の画像表現及びそのダイナミックレンジから合成レンジにおける再色付けされた画像へすべてのオブジェクト又は領域輝度をマッピングする場合に、PB_Co1、PB_Co2などを有するCombRngへのダウングレードが必要なときに、及び/又は実際の画像すなわち残りの苦労を考慮に入れて、例えば1つ又は複数の典型的なHDRシーンに対するピクセル輝度の確率を有し、そのようなシーンが(主に画像の最も明るい領域で)どのように歪む必要があるかを評価する典型的な平均シナリオについて計算することができる。図17では、エラーE_cmpが例えば雲の構造の画像の少なくとも1つの部分又はオブジェクトの圧縮とどのように関連し得るかが概略的に示されている。人間のグレーダ行動を模倣する様々な実際的な実施形態は、例えばテクスチャを抽出し、局所領域のテクスチャ測定値及び他の空間的及び/又は統計的測定値を計算することによって、より小さなサブレンジへのダウングレードがどのように問題になるかを推定する。例えば雲の場合、テクスチャアナライザは鮮明な境界がないことを発見し、雲の鑑賞は典型的な幾何学的形状の側面ではなく、主に(多くの)グレー値の(滑らかな)分布によって生じる(例えばスコットランドのキルトテクスチャの線形パターンは、より少ないルマコードでより多くの圧縮又はポスタリゼーションを可能にする)。すなわち、多く細かく等級分けされて滑らかに分布したグレー値がより限定されたセット及び不正確な明度にマッピングされる場合、装置がこれをあまりにも広範囲に行うことを妨げるいくつかのエラーが迅速に生じることを期待し、特に主画像が重要な比色測定の重要性を有する場合、例えば消費者は、映画の細かく等級分けされた芸術的な色品質を楽しむことができなければならないので、例えばいくつかのコマーシャルのしばしば極端で派手な粗い等級分けに縮小されるべきではない(アンカー輝度を提供する主なコンセプトに加えて、いくつかの実施形態は、コンテンツ作成者がアンカー間又はアンカー周囲でどれくらいの歪みを許容するかをさらにメタデータで示すことを可能にし、例えばAncS_outs/10及びAncS_outs*10の間のレンジは、好ましくは例えば係数2又は係数3によって圧縮又は伸張すべきではない)。
図17は、このような誤差方程式に基づく一実施形態における輝度調和に至るために誤差を定式化する態様をより具体的に説明する例を示す。HDR建物画像とソフトドリンクのSDRコマーシャルとを混合して、そのレンジに加えて、シーン画像の輝度分布のヒストグラムを示す(hist_HDRはそれぞれ低ダイナミックレンジコマーシャル画像hist_SDRのヒストグラム、水平方向はある値Liに等しい輝度を有する画像ピクセルの総数におけるピクセル数のカウントN(Li)である)。例えば1000ニットのPB_CombまでのCombRngの小さい上位のサブレンジにおけるHDR画像の圧縮は、エラーE_cmpを導く。このエラーは、例えばSDRコンテンツを明るくするためのエラー又は想定されるディスプレイの典型的なレンジのCombRngの非互換性に対応するエラーとバランスをとることができる。例えば、世界中の誰もが1000ニットPB_Dのディスプレイを持っていると考えれば、マスタコンテンツの変更はとにかく生じる必要があるから、このエラーE−cmpはゼロに正規化することができる。しかしながら、それでもやはり、例えば1500ニットのCombRngはより良い、すなわち映画コンテンツの視覚的品質を非常に高く重要視する場合に1000ニット合成よりも高品質であることを示す負のエラーを有する。SDRコンテンツの明るさを逸脱して計算することができるエラーは別として、これはあまり重要ではなく(なぜなら一方ではSDRパラダイムでは、視聴者は異なる明るさに素早く適応できるはずであるが、他方では潜在的に「間違って」レンダリングされたSDR画像の明るさ−例えばこの特別な画像のために例えば1000ニットの最も明るいピクセルのHDRモニタにレンダリングされるときに多くの専門家又は非専門家の視聴者によって明るすぎると判定される−はそれ自体ではなくマスタHDR画像に関連して判定されるからである)、以下のエラーを評価することができる。SDR輝度ミスマッチエラー(E_MM)を決定することができ、これはCombRngのAnc_HDR値、すなわち理想的にはHDR画像のソース画像anc値(AncS_outs)がマッピングされる場所と、SDRソースアンカー輝度AncB_SDRの輝度(D_AncSDR)に実際にマッピングされる場所との間の差と同じように単純に行われる。すなわち、この例では、D_AncSDRがAnc_HDRと等しければヒューリスティックに従って最良調和が起こる。これがなぜ機能するかは、このタイプのHDR画像が十分に広い範囲の明るい外側のピクセルを含んでいるからである(その理由でコンテンツ作成者が上側のアンカー輝度AncS_outsを定義したからである)。このHDR映画シーンを見ているときに視聴者は既に明るい輝度に慣れているので、(例えばPIP)SDRコマーシャルのためにほぼ等しく明るいピクセルを導入することは不快感が少なく、例えば洞窟や地下室で5分ユーザが暗い輝度のみを見ているときには(この場合、そのような明るいコマーシャルの導入は、おそらく視聴者を驚かせるか、少なくとも色彩的に映画シーンの残りの楽しみを少なくともかなり損なうであろう)。このシステムは、SDRコンテンツの作成者が特定のタイプのアンカーを使用する場合、つまり、平均以上の明るさと平均以下の明るさの2種類のみを使用するように単純な場合に特に適している。輝度が実際にSDR輝度の0.1−100ニットのレンジにどのように分布するかにかかわらず、作成者はそれがどのようなSDR画像であるか、したがってそれをどのようにレンダリングすべきか、特に本発明に従ってHDR画像の様々な考えられるサブレンジとどのように調和すべきかを示すことができる。例えば、SDR画像は、曇り又は暗いシーン(「平均以下の輝度」)の通常のコンテンツであるか、又は日当たりの良いシーンを表すと思われるルマであってもよい。コマーシャルのメーカーは、色が明るく鮮やかに見える「日当たりの良い」シーンとして示されることを望んでいると仮定し、合成における明るく鮮やかなものはもちろん他の画像の色が何であるかにも依存する。
読者は、合成されるべき画像の調整におけるアンカー輝度のパワーを既に理解することができる。このようなシンプルなシステムであっても、コマーシャルコンテンツの作成者は自分の画像を「十分に明るく」レンダリングすべきであるとの関心を持っていると仮定するが(しかしながら、彼はおそらく画像全体のコンテンツにおける彼の明るすぎる一部のレンダリングで視聴者を悩ますことには関心を持たないであろう)、もちろんHDR映画作成者の(多くの、同等も、又はいくつかのシナリオではそれほど多くない)重要な画質の要求もあり、合成は、HDR映画が「暗い」コンテンツのみを有し、HDRコンテンツ作成者がより低いAncS_insのみを含む場合に、即時に合理的に機能することができる。装置は、少なくとも映画内のこのシーンが(あまりにも多くの重要な)明るい領域を有さないことを理解し、したがって視聴者は、例えばこの非限定的な簡単な説明の例ではSDRサブレンジSDRINのみであるより暗いコンテンツに適応する。したがって、装置は、その状況において(たとえそれが「明るいSDRコンテンツ」であるとしても)AncB_SDRを低いAnc_ins又はその近傍にマッピングするならば、調和のとれた合成を作ることができる。近傍とは、装置内に固定されているか、又は例えば1/3又は1/2からそれぞれ2倍又は3倍のancの間anc値の上又は下のanc値のカスタマイズ可能な一般的な乗法的な割合を意味する。近傍の範囲は、(合成装置による実行時又は作成側の実行時に例えば明示的に通信された近傍輝度境界を用いて)例えばマッピングされたときのオブジェクトの許容される輝度エラー、アンカーのタイプの違い又はアンカーの予想される変動性などのような側面の様々な実施形態に基づいて決定することができる。しかしながら明らかに、AncB_SDRが例えば100ニットの20%であり、3×25ニット(すなわちAnc_insの近傍の上限位置)にマッピングされたら、合成は、SDRコンテンツが露骨に白から白にすなわち100ニットから1000ニットまでマッピングされ、平均AncB_SDRを200ニット(!)にレンダリングし、すべてのSDR画像オブジェクトが気に入るには明るすぎるように見えるおそれがある線形伸長の場合よりも、はるかに調和的になる(完璧主義は通常達成する必要がないので、むしろ現実的な態様で合理的に動くシステムは現実のシステムを実現する複雑さと見た目の正確さとの間でバランスをとる)(原則として、実際のヒストグラム輝度、例えばモード、すなわちヒストグラムの最も生じる輝度値の下でもancを指定することができるが、いずれにしても実際の輝度は過度に明るく同様にレンダリングすることに留意されたい)。
図15bに戻ると、アンカー及び任意のCombRngの異なる相対位置におけるそれらの配置が様々な輝度マッピングにどのように関連する(それらに影響を及ぼす)かを興味深く示す。関数TL_CSは、元のマスタHDR画像輝度をCombRngの輝度にマッピングするための輝度マッピングである(すなわち、ピクセル置換、アルファブレンディングなどの画像合成を行う準備ができている)。出願人は、相対軸システム、すなわち入力輝度及び出力輝度又はルマが1.0で終わる輝度変換を行うことが非常に有用であることを見出した(ルマが垂直座標として使用され、マッピングがOETF、例えばSMPTE2084又は後方互換性のある画像通信のためのRec.709のようないくつかの固定定義OETFを考慮して定義される)。これは、縦軸に数値化すべきビット数(1.0はちょうど最高の輝度コード値、すなわち最も明るいコード化可能な色である)に議論を迂回するためルマにとって非常に有用である。(例えば入力)輝度軸に関しては、これが輝度の相対的処理の残余であるか否かを依然として考察することができるが、いずれの場合も、必要な曲線は、(このバージョンは常に対応する絶対輝度フレームワークと数学的に同じにすることができるので)画像変換に必要な任意のダイナミックレンジに対して任意に定義することができる。暗いピクセルの絶対輝度を同一に保ちたい場合、低いピーク明度を有する相対軸システムにおいて、これは輝度マッピング関数TL_CSのその部分を対角線の上に上げることに対応することを理解しており、CombRngの残りの上側のサブレンジを優れた品質の合成レンジではあまりにも過度ではない程度に圧縮する態様を明確に理解することができる。しかしながら、劣悪な品質の合成の場合、明るいHDRオブジェクトの圧縮は、その劣った合成レンジへの対応する輝度マッピング関数の形状すなわちTL_CIから分かるように、より厳しくなければならない。いずれにしても、合成レンジのピーク輝度と良好なアンカーポイントのこの状況は、一般的にHDRショットがどのようなものであっても、典型的にこの形状になる明るさの圧縮を行う必要があることを明確にする(この実施形態の正確な実現性は以下に詳述される)。また、2つの関数を合成することによって、優れたCombRngから劣ったCombRngに相対的に変換する必要がある場合、暗いピクセルを相対的に明るくする必要があるが、これは視覚的には明るいHDR領域の圧縮に最も相当することも理解する(相対的な百分率のサブレンジは、全体的に利用可能なレンジに加えて、画像の一部の符号化又はレンダリング品質の良好な尺度である)。いずれにしても、最も典型的な実際の実施形態において出願人が輝度変換をどのように定義しているか、特に非常に有用な特性について図16を用いて説明する。
HDR画像の固定表現を単に考慮するHDR10のようなHDRビデオ処理(実際には単に符号化)方法は、(それらはすべてのHDRオブジェクト明度分布を画像輝度に入れることができ、OETFが固定されるよう選択されている場合にはルマが送信されたときにOETFの通信は必要ないので)1つの固定輝度変換関数を伝達することすら必要ない。HDRオブジェクトの輝度分布、すなわちBBCのハイブリッドログガンマのような他のダイナミックレンジへの再等級分けの可能性についての単純な見解を有する技術は、例えばLUTとして固定関数を使用して通信することができる。
出願人は、コンテンツ作成者及びユーザ(テレビメーカー及び/又はエンド視聴者)の両方がHDRの完全な品質を(階層的に)発揮できること、すなわちコンテンツ作成者がHDR画像コンテンツについての希望を(彼がどれほど批判的であるか、どれくらいの時間と予算を費やしているかによって、粗いものから細かいものへと)徐々に示すことができ、ビデオ消費側もこれらの仕様に従うことを希望する精度、又はエンドシステムが例えば細かい等級分け関数で指定されたオブジェクトのコントラストから多少ずらすことによって画像上の色処理の微妙な風味を加えることを望むかどうか決定することができるシステムを設計することを望んでいる。
図16は、例えば典型的には人間のグレーダが一連の連続する関数を使用して輝度の再等級分けの必要性を階層的に指定することができる出願人の優先システムの1つを用いて合成を行った際のアンカーのパワーの例を示している。
知覚的に一様に(ほぼ対数的に)数値化される入力及び出力レンジを考える。これは、例えば過度に極端に暗い、極端に暗い、非常に暗い、暗いなどから非常に明るいまで視覚的に等間隔の明度レベルのセットを生成する。グレーダがオブジェクトの輝度をこれらのレベルの1つとほぼ等しくすることによって画像の外観を定義することができると想像することができ、例えば良好な品質のHDR画像は、例えばPB_Cの90%から100%の間の非常に明るい輝度のサブレンジ内のランプの輝度を持つべきである。もちろん出力の低いダイナミックレンジ、ここでは輝度の合成レンジ(L_Cmb_out)は、非常に明るい輝度として現れるレベルまで広く伸びることはないが、グレーダはそれらのランプピクセル輝度を例えばとても明るい利用可能な最高レベルにマッピングすることに頼る。これは輝度マッピング関数形状の一部を形成し、読者はグレーダ(又は画像解析ヒューリスティックを用いた自動システム)が完全な輝度マッピング関数形状にどのように至るかを理解することができる。
このような2つの軸を単に定義することが、1つのダイナミックレンジに定義された輝度をすぐに出力輝度、例えば小さい出力ダイナミックレンジ(これはこのグラフの対角線である関数と同等である)にマッピングするための典型的な(むしろ鈍いが)明白な態様である。この戦略は、任意のソース画像の白色を出力ダイナミックレンジの可能な限り最も明るい(符号化可能又はレンダリング可能な)色にマッピングし、対数的な定義も黒色と白色の間のグレー値を入力画像から出力画像に合理的に広げるため黒色を黒色にマッピングするので、実際には「半分妥当な」出力輝度を形成する。
しかしながら、これは間違った明度とコントラストを持つむしろ見栄えのしない画像を与え、それはアーティストが任意の特定のHDRシーンの構成に芸術的なニーズをうまく適合させることを可能にすることは言うまでもない(建物シーンの例えばPB_C=5000ニットの符号化の最も明るいピクセルと最も暗いピクセルは、例えば背後にオブジェクトがほとんどない暗い部屋のデスクランプの画像の場合と同じ値を有し、もちろんこれら2つの画像の画像構成と意味は非常に異なり、様々なオブジェクト又はピクセル輝度の等級分け及び再等級分けに関する非常に異なるニーズをもたらす)。
したがって、本出願人は、単独の画像使用、すなわち元の5000ニットのマスタHDR画像の近似への再構成、又は例えば750ニットPB_Dディスプレイを駆動するために最適なMDR画像を得るための最適なディスプレイ調整のために、少なくとも2つの連続する関数を指定することができる輝度マッピング定義システムを発明した。第1に、粗い再等級分け関数F_CRS_MDRは、現在のHDR画像及びその詳細についてより良い初期外観を有するために、すべての知覚サブレンジの明度を全体的に再割当てする。HDRシーンのピクセル輝度のうち最も明るい半分が出力輝度、例えばSDRディスプレイを駆動するためのSDR画像の輝度、又はマスタHDR画像が5000ニットのPB_Cを有するときに合成の教示とより良く一致する1000ニットのMDR画像の輝度のやや小さなサブレンジに圧縮されるほぼr形状の曲線を理解する。シーンのニーズに応じて、グレーダはその形状を適合することができる。例えば、2つのピクセルのいくつかの鏡面反射スポット又は輝度の上半分に電球のみがある場合、グレーダは原理的には、その特定のシーンの視覚的品質を著しく低下させることはないので、入力輝度の上半分について1.0でクリップする関数さえも定義することができる。しかしながら、上半分に太陽に照らされた雲が含まれていれば、曲線の局所的な勾配を少しでも下げても、重大な品質エラーが発生する可能性がある。読者は、相対輝度軸について話していることに留意する必要があり、したがって、出力が例えばSDRレンジの場合、非常に暗い輝度、中輝度、及び非常に明るい輝度を同時に忠実にレンダリングするために利用可能な多くのルマコード及び対応する輝度が存在しない(例えば図16bに概略的に示されるように黒人が隠れている視聴者に近い3D内の領域の暗いキッチン、通常通り照らされている中間室、及び窓を通して見える再び太陽に照らされたオブジェクトを有する3つの異なる照明領域画像を考慮し、夜間の通りにある明るいショップ窓、すなわち建物の例とは異なる意味を有するが、同様に扱うことができるサブレンジを有するか、又はコンテンツ作成者がそのように決定した場合にはそうでない他の典型的な2領域の例が図16cに示されている)。
図16cは、指定された粗い等級分け関数F_CRS_MDRのみを用いて輝度マッピング関数の再等級分けを調整することによって十分に等級分けが可能であるように十分に「単純」である(HDRは複雑さに影響する)。
しかしながら、より複雑な3つの領域のシーン(R1は明るい昼間の屋外の通りで窓を通して見える家のようなオブジェクトを示しており、中間領域R2は普通に明るい又は薄暗い、すなわち典型的なSDR輝度であり、R3は消灯している、すなわち暗い輝度である)については、すべての輝度サブレンジ及び対応するオブジェクト明度を、特に低いダイナミックレンジの小さなサブレンジ(例えばSDRレンジなど)に合理的にマッピングすることはより困難になる。そのような場合、グレーダは、追加の曲線、すなわち粗い等級分けから生じる相対輝度に適用される、すなわち示されるようにその粗い曲線形状から実質的に等しく逸脱する細かい等級分け曲線F_FINGRを使用することが最適であると見出す。しかしながら、このような戦略は、図16cの夜間の内部点灯のショップ窓のような「単純な」HDRシーンにも適用することができる。ショップ窓とそのオブジェクトを十分に印象的なコントラストで明るくして実際に輝かしいように見せるため(協調的に、しかしこの単独の画像を例えば5000ニットHDRディスプレイと1000ニットHDRディスプレイの両方にレンダリングするときには依然として100ニットのPB_D SDRディスプレイ上にディスプレイの制限された能力が許す限り合理的に近似して十分に良好となる)、及び、(少なくともマスタHDR等級分けにおいて)比較的暗い夜間の通りのオブジェクトピクセルを十分に明るく見えるようにするために、グレーダは、上端部が比較的平坦なF_CRS_MDR関数を生成することができる。これは、ショップ窓と暗い通りの両方について合理的な外観を全体的に、すなわち合理的な全体画像の外観を提供する。しかしながら、ショップ窓には、例えばショップ窓の中の炎、又はマネキンの白い首又はシャツの強く照らされた一部など、輝度、コントラスト、又は色のいずれか1つの性質に関して良好に現れない特定のオブジェクトが含まれる。したがって、グレーダは、補正曲線(すなわち、細かい等級分け曲線F_FINGR)を定義することができ、これは、例えばそのシャツの輝度に対応する輝度レンジのある部分において、例えば明度を低下させて、例えばより多くの内部オブジェクトコントラスト又はカラフルさ又はその関数が効果として実現するものを取得する(シーンの他の領域における類似の輝度を有する他のオブジェクトの変更を避けるために、空間的に局所化された様々な輝度マッピングが含まれることさえあるが、本システムのさらなる複雑さを説明することは本出願を理解するための必要性を超える)。
面白いことに、粗い関数は、簡単なグレーダアクションですべてのオブジェクトの輝度を素早くほぼ正確に配置する(例えば、本実施形態の1つでは、1.0で始まる明るさの上部及び0.0で始まる関数の下部の勾配を決定する2つのダイヤルを回すことだけが必要であり、コーダは、本発明及び本出願の様々なHDR画像合成装置及びアプリケーションによって使用することができる滑らかな粗い等級分け曲線を自動的に決定する)。しかしながら、「実際の等級付け」は、グレーダが望むどんな細かい等級分けの曲線形状も決定することを可能にすることにより、画像オブジェクトの様々なピクセルの輝度、ひいては対応するオブジェクト内及びオブジェクト間のコントラストを微調整することによって開始することができる。
通常の復号器又はディスプレイチューナーは、単にそのままこの2つの曲線を使用する。符号化の方向に進むと(HDR画像情報をレガシーディスプレイにレンダリング可能なSDR画像として実際に通信する後方互換性のあるシステムを使用する場合)、最初に粗い、次に細かい等級分け関数を適用すると、符号化器の入力であったこの特定のHDRシーンのHDRマスタ等級分け画像に対応する最適な外観のSDR画像を生成する。復号化側では、実際には与えられた典型的なレンダリング状況下で最適になるように指定されたこれらの2つの最適関数間のリンクであるので、受信したSDR画像からマスタHDR画像近似を再構成するために、まさにこの細かい等級分け関数と粗い等級分け関数の逆関数が使用される。すなわち、HDRディスプレイを有する場合にはHDR画像をレンダリングし、典型的な視聴環境下で視聴されるSDRディスプレイを有する場合にはそのペアのSDR画像をレンダリングする(これらの2つの等級分けされた画像PB_Cからかなり逸脱したPB_Dのディスプレイを有する場合、本ディスプレイチューニングを用いてマスタHDR画像に適切に対応する中間ダイナミックレンジ外観画像を生成する、すなわち少なくとも低いディスプレイ能力が許容する範囲にそのオブジェクト輝度の外観を十分に近似させる)。
しかしながら、今や、コンテンツを合成する必要がある状況にあり、すなわち典型的には少なくとも1つの輝度及びおそらくすべての画像の輝度を再び変更してそれらを調和させる必要がある。このような2つの曲線における等級分けの必要性の分割は、十分な局所コントラストのようなオブジェクト関連のニーズを、(合成に対して最適化されていても)利用可能な出力ダイナミックレンジ内の様々なサブレンジの一般的な圧縮から分離することができるので、非常に強力である。
したがって、アンカー輝度によって定義された粗い関数は、線形セグメントだけで構成されていても、例えばHDR映画を単に選択された合成レンジと実質的に同じピーク明度を有するダイナミックレンジにレンダリングするための元の粗い関数F_CRS_MDRよりも明らかに混合のために良好な等級分けであるので、サブレンジの代替の粗い配分として使用することができる。今や様々な実施形態は、F_CRS_MDR曲線の様々なサブセグメントの形状を相関させることができるが、通常はそれほど必要ではない。重要なのは、合成装置が、細かい曲線形状をなお本質的に維持しながら新たに割り当てられた様々な最適レベルに細かい等級分けの詳細を適用できる(すなわち、雲又は洞窟内部のようなマスタHDR画像の様々な意味的サブ領域をCombRngの様々なサブ領域にもたらす)ことである。したがって、偏差曲線を新しい位置(入力HDR輝度をF_Cmbである合成レンジにマッピングするための最適な粗い曲線に沿って)にシフトさせて、新たな合成に最適な細かい等級分け曲線F_FINCMBを実現することができる。これは、例えば単にマスタ輝度を同等にする、すなわち垂直ライン上で乗法的なずれ量をシフトさせることによって行うことができる。
読者は、このようなアンカーベースのシステムは複雑な輝度の再等級分けの要求であっても、なお比較的簡単でそれゆえ実行可能な態様で、様々なコンテンツを調和させるために非常に強力であることを理解し始めるべきである。
ここでは、装置がHDR画像及び合成レンジ内の関連する態様におけるそのようなアンカー輝度を自律的に決定するより簡単な実施形態を最初に説明する。最終的にはCombRngにおいてアンカー輝度を有することが重要であるが、これはいくつかの実施形態ではHDR画像内にある場合と容易に等しくすることができる(他の実施形態ではあまり容易ではなく、その場合HDR画像のコンテンツ作成者はそれを明白にL_S2A1として共符号化することができる)。例えば顔を持つという重要な例でその原理を説明する(もちろん、人は重要なので、多くの画像やビデオには少なくとも1人の俳優又は司会者などがおり、彼らは典型的にはコンテンツ作成者によって合理的にうまく照らされるが、LDR領域では何が合理的に良いのか、それが本当に必要なのかは決して正確には決まっていない)。しかしながら、当業者は、アンカー輝度に関する教示が一般的であるので、例えば中間のグレー輝度のような顔を有していないとしても他の画像に対して他のアンカー輝度を有することができることを理解すべきである。読者は、LDR時代には中間グレーはユニークで非常に正確なものであったが(符号化の途中で典型的には平均的に見えるグレーとしてレンダリングされ、白の約18%のオブジェクト反射率又は相対的な白に対する白のレンダリングであるためPB_Dの約18%に相当する入射照明を有する元のシーンに対応する)、HDRでは全くユニークではないということを理解すべきである(特に非常に正確なライティングとキャプチャの態様でLDRのストレートジャケットでHDRコンテンツの再度の使用を強制したくないが、シーンを自由に照明し自由にコンテンツを芸術的に等級分けすることを望む場合、相対的に暗く照明された画像又は画像の暗い領域に中間グレーの反射オブジェクトが存在し、比較的明るく照明された画像又は領域に同じグレーのオブジェクトが存在する可能性があるからである)。
(各装置が任意の画像入力のそれぞれの特定の輝度状況が何であるかを迅速に理解できるように)これらのアンカー輝度のいくつかが標準化されていると有利であるが、第1の画像が第2の画像よりも別のタイプのアンカーで指定されたとしても、又は装置がCombRngを特定するのに最適であると決定する(ただ1つの場合の)アンカーとは画像のアンカーが異なる場合、それらの様々な仕様は依然としておおよそ関連する可能性がある。例えば、黒が正確に指定されていない場合(もちろんHDRと同様に様々な白及び輝きがあり様々な黒がある)、装置は状況(PB_D又はディスプレイの他の能力、及び場合によっては視聴環境)に応じて、(それが第1のアンカー輝度ancであるか又は補助的な第2のアンカー輝度であろうがなかろうが)装置がメインミドルグレーとして決定したものよりも例えば2.5ストップ又は4ストップ低くそれがレンダリングされると仮定する。黒は、記述することができ(すなわち、ビデオ符号化し)、処理、例えばより低い又はより高い精度でレンダリングすることができる。コンテンツの作成者が黒の中で何が起こっているか気にする、例えば茂みに隠れている犯罪者の重大な行為があり、それは視聴者によって「半分知覚される」すなわち目立ちすぎることなく見逃されないようにすべきである場合、そのサブレンジ又は色処理体制に対する追加的な記述メタデータで画像又はビデオに注釈付けすべきである。特に、作成者は、黒に対して少なくとも1つのアンカー輝度を定義すべきである。現在のHDRシーンでは暗い地下に写真のような背景テクスチャがあるだけで、それらがよく見られるかそれほどよく見られなくても多かれ少なかれ同等の意味品質でレンダリングされるため作成者があまり気にしない場合、作成者は、黒色の典型的な受信側又は中間側の最適化に頼ることができ、レンダリング装置は、それが依然として合理的に黒く見える限り(すなわち深い黒色、良好な黒色、又は乳白黒色)、それらを様々な輝度レベルでレンダリングすることができる。
したがって、ユーザが本発明の主要な点を容易に把握できるように簡単な例を挙げて言えば、合成輝度ダイナミックレンジ(CombRng)におけるアンカー輝度(anc)は、合成された(出力)画像において顔が適切に見えるようにするために顔の輝度をどのようにすべきか指定する。これはもちろん、顔がよく照らされているか、強く照らされているか、又は影になっているかに依存する。これは、例えばコマーシャル、BD解説、又はテレビ電話会話などにおける俳優又は人が、映画内のものよりもはるかに明るくないということを避ける。もちろん、装置は、必ずしも2つの顔輝度を正確に並べる必要がない手段を有するが、オフセット輝度でレンダリングする(例えば、主要なHDR映画の俳優が意図的に非常に暗い場合にいるが、HDR映画の残りの部分は(非常に)明るい場合、コマーシャルはその映画俳優の輝度特質に必ず暗くなる必要はなく、合成装置のいくつかの実施形態は、例えば映画の暗いシーンがどれくらい長く既に撮影されたのかのようなヒューリスティックを使用することによって、例えば以前のかなりの異なるanc輝度又は例えば昼光のシーンのタイプの経過時間を維持することによって、さらに決定することができることに留意すべきであり、いくつかの実施形態は、さらなるメタデータ、例えば暗いシーンがどのぐらい残っているかを示す第2のデータ要素を有する映画シーンの始めのancでanc輝度に注釈を付けることさえ可能であるが、コンテンツ作成者の中には多くの注釈を行うことによるトラブルに巻き込まれたくない場合があると仮定して実施形態の本質を説明し、ポインタを使って画像又はヒストグラムのような別の表現のどこかをクリックする単純な行為を行って、現在のanc値を定義し、これはもちろんユーザインタフェースで行うことができ、人間のanc値の選択の検証として赤い疑似カラーのanc値付近のレンジ又はその近傍の画像におけるすべての輝度を示すことによって示すことができる)。
したがって、装置は、状況の詳細に応じて、良好な顔のレンダリング輝度(この説明の例のanc)が実際にはどこにあるべきかを知る(さしあたり約36%の波長にわたって平均した分光反射率を有する白人顔を仮定し、もちろん例えば5%の反射率の他の皮膚タイプは、その局所照明下で関連するCombRngの輝度位置に落ちる)。読者は、さらなる詳細に煩わされることなく、CombRngが現在の説明ではまさにHDR画像のダイナミックレンジ(図4のIm2_Rng)であるという様々な重要な側面の想定をより容易に理解することができ、装置は、最も重要な顔の輝度はその範囲に沿っていることを知る。上述したように、装置の様々な実施形態において、最適なCombRngの様々な代替的決定が可能であり、これは一方では既に知られているか推定可能な限り少なくともいくつかの入力画像の輝度特性(符号化可能な輝度レンジ、実際にレンジ内のコンテンツなど)に依存し、他方では、画像コンテンツの実際に確立された又は期待される使用、例えば視聴環境(すなわち、実際には一般的な画像、平均画像又はテスト画像、及び特定の現在の画像の典型的な外観)においてコンテンツがレンダリングされるディスプレイの輝度能力に依存する。顔は単に1つの色又は輝度を有するわけではない傾向があるので(一部の映画では顔が青などに塗られていることは言うまでもない)、これは既に複雑である。LDR画像であっても様々な顔を研究すると、多くの顔は通常照明領域と陰影領域との間のコントラストがより少なく、すなわち正常であるが、原理的にLDRレンジの限界までピクセルルマを含むことができることを理解する(すなわち、非常にコントラストのあるキャプチャ又は等級分けにおいて、顔の暗い部分の少なくともいくつかのピクセルは例えばバックライト付き撮影でほぼゼロであり、ハイライトは255にクリッピングされ、消費者のコンテンツでは顔の半分がクリッピングされた白として侵食されて見えることさえある)。ここでは、例えば現実の現場作成においてコンテンツを明るく照らされた画像と特別に照らされた画像に分けることができる(現代では、ニュース番組などにおいて非専門家によって作成された画像を組み込むことさえあり、それが夜景である場合には、実際に顔がひどく照らされる可能性がある)。そのような複雑な状況では、正確なレンダリング又は合成をあきらめてもよいと言えるかもしれないが、一方では、ある画像コンテンツが第1の場所でより異常に(良いキャプチャ習慣から逸脱して)撮影され、適切なanc値を使用して後でそれを整えることにより多くの恩恵を受けることができると言うことができる(例えば、現場のカメラマンが、例えば何らかの理由でシーンの暗い部分に立たなければならない人を照らすことができない場合など不都合な状況に遭遇し、少ないDR能力のカメラしかない場合、撮影画像を完全ではない態様で最適化する必要があるが、少なくともancメカニズムを用いて、例えば作成ハウスなどにコンテンツを伝達する前に、カメラディスプレイ上に又はポータブルコンピューティングデバイス上でスタイラスを用いるように単純に、この画像の(エキゾチックな)詳細に素早く注釈を付けることができる)。例えば暗い夜間シーンを昼間のシーンであるかのように写すことができるカメラのような良好なカメラ及び他の画像処理装置の出現により、今後数年間、例えばいまだに古い悪い品質の携帯電話でニュースコンテンツを提供する人もおり、様々な作成基準及びレベルが存在するため、(HDR)画像処理の複雑さが増すだけであることが予想される。だから最善の解決策は、すべてのそのような状況をうまく処理できる技術を作ることである。例えば、ギャング映画は、例えばコントラストのある顔及び髪の毛又は素っ気ない顔への強烈なハイライトがあるシネノワールなど激しい照明を有する場合がある。トークショーは、時には一般人にとってはほとんど気付かない影があるコントラストの弱い態様で照明され、女性をより明るく均一な照明で照らす場合がある。それは、例えば重要であるがむしろ符号化された画像に含まれるもの(コントラストがどのようにマスタ等級分けされるか)が撮影されたときのシーンの顔の4:1の元の照明比(最も明るい顔の半分と最も暗い顔の半分)ではないことにも留意すべきである。このコントラストは、典型的にはカメラ内のRAW輝度からのルママッピングを受けており、画像がセルロイド画像又は映画からのスキャンである場合、最終的なコントラストは、現像、プッシュなどの側面に依存し得る。
この態様を顔色のレンジがあるものとして特定する、例えば図4の説明例では、LDR画像の顔色は柔らかく照らされており(したがって輝度R_f小さなレンジ)、HDR画像内の顔はホラー映画であるので厳しく照明を受け、より大きなレンジR_f2を導き、例えば人はスポットライトでまれに照明された廊下を歩くことができ、平均値の前後で時間とともに顔が暗く及び明るくなる。また、顔がどのように幾何学的に照らされているかが関係する。例えば禿げた頭に小さな白いスポットが存在し、この画像がCombRng内の他のHDR映画とあまりにも明るく不適切に混合された場合、頭にランプが突き出ているように見えるという発言を聞く場合がある(視聴者はそのような人物が素早く画像の中で動き、潜在的に話の一部を失うか又は少なくとも画像の間違った部分に気を散らすときに、そのような混乱した認識をする可能性がある)。しかしながら、2ピクセルの小さなスポットは必ずしも大きな問題ではない。これは、通常、典型的な顔の色を決定するために無視することができる。HDRディスプレイにレンダリングされると、その人は非常に明るいランプで照らされているように見えるが、少なくともスポットは小さい(例えば2ピクセル)。もし鼻全体、目、又は顔の半分全体に同じことが起これば、もっと戸惑うかもしれない。
したがって、コンテンツ内の顔の輝度(例えば、最初のL_SA1、例えばLDR画像)を示すことができることにより、作成者は、どこに顔の輝度があるかだけでなく、潜在的にどの輝度分布タイプであるかを容易かつ迅速に示すことができる。例えば、髪の毛に小さなハイライトのみがある場合、実際の顔の暗いピクセルの平均をL_SA1として使用し、明るくレンダリングされたいくつかのピクセルはよく見える。一方、顔の半分(又は半分以上)が強く照明されている場合、その平均値又は他の特徴的な輝度値をL_SA1として使用し、残りは暗くレンダリングされ、これは典型的にはこの顔がマージされるすべてのコンテンツをマージするためにより良い態様である。この場合、作成者は、例えば通常の照明の上のXストップなど顔が実際には変則的に明るく照らされた顔であることを追加のメタデータで示すことができる。そのような情報は、合成装置によって、この顔を(およそ)どの輝度にレンダリングすべきであるか(CombRngにおけるanc位置の上又は下)を判断するために有利に使用することができる。白人(白色)の顔の通常の照明は、波長全体で平均して36%の反射率を与える反射スペクトルから取得することができる。これは、中間グレーの18%を上回る1ストップである(これらの2つの関連する値を作成する)。上記のように、古典的なLDRフレームワークでは、この中間グレーをディスプレイピーク明度の約18%にレンダリングする、例えば12%の場合もある。もちろん、他のレースは、肌の種類によって少し暗くレンダリングする必要があり、そうしないと映画の俳優の肌の種類を実際に検出することはそれを望む人にとって難しく、それが混乱を招く可能性があるからである。例えば、黒い皮膚は、5%程度の低い反射率である、すなわち典型的な白人よりも3ストップだけ暗い。レンダリングに関しては、素敵な「明るい」顔になるように、100ニットのピーク輝度の36%よりもLDRレンジにおいていくらか明るく顔をレンダリングする。例えば、画像作成者は、例えばルマの正規化された符号化において85%又は80%であるこの顔オブジェクトの「平均」又は基準輝度のルマコードをメタデータの第1フィールドに示すことができ(EOTFを介してルマを絶対輝度に計算することができる)、第2の現場において、これは、シーン内のその場所の残りの部分とその画像などより2ストップ明るく照らされたことを意味する「2SB」型の顔輝度であることを示すことができる。読者は、異なる符号化メカニズムによって同じことが達成され得ることを理解する、例えば顔の色(例えば最も明るいもの、又は95%のもの、又は顔の中の最も明るいものであって髪のハイライトではないもの)をまだ含んだkストップ明るい輝度である第2のアンカーポイントL_S2A1pkS、及び、このHDR画像又はビデオ画像のショットにおけるこの顔のいくらかの暗い端部を指定する第3のアンカーポイントL_S2A1mkSも符号化することができる。したがって、様々なタイプのアンカーポイントは、(システムを実装する様々な標準によって合意されるように)標準的に理解できる態様で示すことができ、例えば「顔36」、「顔18」、「顔72」、「顔5」、「暗い中間グレー」、「中間黒」、「深い中間黒」などの列挙型のセット、又は例えば「顔」+「1ストップ以上」+「暗い」などの階層的なデータの連続注釈のいずれかを使用することができ、顔は、特定の種類の照明を有する画像のその部分に存在する平均光量の36%の反射、又は、より重要なのは正しいレンダリングされたシーンの外観を与えるためにそれらのピクセルのレンダリングに使用されるディスプレイのダイナミックレンジの特定のサブレンジを意味する。「暗い」は、例えば10−100ニットレンジのほとんどの又はすべてのディスプレイに典型的にレンダリングされる中間の明るい色であり、その下には少なくとも1つの黒色領域、及び好ましくは照明がやや劣る「黒色」の領域、すなわち典型的にHDRの芸術シーンレンダリングにおいて例えば城で主人公が単にキャンドルを歩いているときに見られる深い影のある風景のために使用される最大10で除算した暗い照明値(又は典型的には1−10ニットの輝度)、及び通常の1/100までの深い黒色の領域、暗い照明(すなわち0.xから1ニットの輝度)があるべきである。暗い照明の上には、「明るい」領域を追加すると、うまく制御された高品質のHDRシーンの素晴らしい結果を得ることができるはずであり(TV視聴のために約10倍の明るい屋外をレンダリングし、実際のシーンでは100倍以上の明るさ、つまり100−1000ニットの輝度になる)、「極端な明るさ」については、例えばランプ、爆発など、すなわち例えば1000−10,000ニットの上限サブレンジを有するハイエンドHDRディスプレイを有することを依然として興味深くする効果をレンダリングすることができる。ディスプレイチューニング(画像構造の絶対符号化の後にディスプレイ関連性の正しいレベルを再度導入することによってシーン参照された画像符号化とディスプレイ参照された画像符号化との間のギャップを最終的に橋渡しする)のため、又はこの出願のように正しい画像の合成のための制御は、5つのシーンで正確な差別化された制御を可能とし、十分でなければならない。実際には、現実に存在するか又はアーティストが作ることができるHDRシーンのタイプの調査を行う場合、しばしば例えば図16cの夜間の店のような2つの領域画像を見ることになり(1つの領域は一様に照明された画像でありもちろん典型的にSDR符号化可能である)、図16bのような3つの領域画像に遭遇する可能性はやや低く、5つの異なる照明方式の完全なパワーが必要な場合、実際に複雑なHDRシーンを作成している(おそらくいくつかの映画ではコマーシャルとして冒頭にのみ現れるHDRの最終的な可能性を示している)。しかしながら、読者は今、この原理がより小さい又はより複雑な実施形態に限定されないことを理解するであろう。コンテンツグレーダが1つのanc値のみを指定する場合、そのanc値に対する様々な画像コンテンツの調和は既に可能である。これは、典型的には、画像内に例えば単独の俳優又は司会者などのクリティカルオブジェクトが1つだけ存在する場合に発生する(しかしながら上述のように、この俳優はたとえ非常にコントラストがあるように照らされても典型的な照明と輝度を1つしか持たないが、理論的には0ニットとPB_Cの間の任意のものになり得る)。アンカータイプに特に必要なものが何もない場合、合成装置は中間グレー値に関連する通常のアンカー、及び典型的には「暗い」通常のレンダリング輝度で動作すると想定される。そのため、1つのanc値のみを注釈するコンテンツ作成者は、典型的には俳優の(シーン及びその画像のその領域の局所照明における)中間グレー位置のための代表値を使用すべきであり、例えば2つのモードのヒストグラムでは太陽の中に存在し、次にそのタイプに例えば「明るい」という注釈を付け、これによりこの単純な少量の情報でも合成装置は何をすべきかをきちんと判断することができる(例えば映画があまり乱されるべきではない場合、「明るい」俳優をとにかく映画内の暗いPIPとしてコマーシャルにレンダリングすることを決定することができ、又は明度の印象を許容するために、例えば(明るい+暗い/2)、例えば(30+300)/2ニットで明るい俳優を暗いレベルよりやや上にレンダリングすることができ、標準がさらなるメタデータの通信を可能にし、このメタデータが記入されている場合、例えばコマーシャルのようなコンテンツの作成者は、好みの「明るい」レンダリングから過度に逸脱したくないことを示すことができるが、例えばエンド視聴者がUIを使って映画を楽しみたいことを示している、すなわち映画のヒストグラムにおいて明るい挿入コンテンツの妨害エラーを低減することが好ましいというような様々な理由から、装置はこれを無視することができる)。
もちろん、グレーダがさらにanc値に注釈を付ける場合、グレーダは例えばグレーダの「深い黒」を指定して、合成装置は、明るい観察環境で最終的にレンダリング可能な悪い黒のために準備されているかどうかにかかわらず、その最終的な合成においてこれを考慮に入れることができる(すなわち、実際のシステムへのディスプレイチューニングの前に理想的なレンダリングシステムの理論上完全なフレームワークにおいて合成が行われる)。
したがって、顔色をおおよそどこに置くかを示しているアンカー輝度(anc)(この実施形態の説明を簡単にするためにHDR顔色は既にその輝度レベルにあると仮定するので、HDR画像から顔色を得ることは、複雑な輝度マッピングの考慮を必要としない些細なことである)、及び、少なくとも主顔色がLDR画像内にある場所(ソースアンカー輝度L_SA1)を識別する態様の両方を有することによって、装置は、出力画像として合成画像で正確に合成された両方の画像のすべての顔色を比較的単純に配置することができる。そして、最も簡単な実施形態であっても、(顔から始まる)周囲の色及び他のすべての画像色は、そのアンカー輝度(anc)を中心に比較的良好に自動的に落ちる。他の色に対する哲学も、これらの技術的なレンダリングシナリオについてより詳細に機能する必要はないので、比較的シンプルである。他のすべての色が中間グレーの周りで約2−2.5ストップの範囲に収まる(例えば、白は典型的には線形輝度において90%又は5倍明るい)と、良好な画像が得られる。印刷物はしばしば非常に深い黒を得ることができず、実用的なLDRテレビは、テレビのフロントガラスでの光の反射を考慮して典型的には32:1(ピーク白色対なお合理的に区別できる深い黒色)に制限されていた。画像オブジェクトコンテンツが5ストップであることは、暗い色、特に重要な黒が中間グレーから2−2.5ストップ以内にあることを確認した場合、よく照らされたLDRシーンの暗い側でも合理的に問題ないことを意味する。原理的にはこれらすべては、HDR画像処理では、特に合成とレンダリングでは何も意味しないため、改善されたメカニズム、及び特に複雑さの観点では(画像は何でも含むことができる)意味的に何が関係しているのかの人間の案内、よって何が良い合成であるかが必要である。より複雑な実施形態は、アンカー輝度ancによって位置決めされる理解しやすいこの例では顔である主オブジェクトの周りに他のオブジェクト輝度をスマートに配置する態様のスマートに調整された選択を行うことができる。例えばアンカーポイントがレンジの限界であるなどの注釈を付けることができる。疑念を避けるために、ビデオを意味するときは、単に時間的に連続した画像を意味し、及び、特定の戦略を映画の全体に同様に適用すべきであるということに限定せず、むしろその映画の一部、例えば同じシーンの画像のショットだけに適用することができる(すなわち、例えば異なるオブジェクト輝度特性を有する新しいコマーシャルが後で合成される場合には確かに、異なる時間の瞬間にCombRngが異なる可能性がある)。本発明の実施形態の大部分の特徴は、スチール又はビデオが使用されているかどうかにかかわらず、少なくとも空間的な合成に関して類似しているので、退屈で読みにくい公式化を避けるために、2つの実施形態のうちの1つを区別する必要がない場合に説明においてビデオ又は画像を使用することができ、読者はもう一方も読み取ることができることを理解すべきである。第1の(ソースアンカー)輝度を第2の輝度(合成レンジアンカーanc)にマッピングする関数の決定は、様々な実施形態のために読者に十分に明確であるべきである。上述したように、例えば、合成装置の色変換ユニットを、対角線から必要な位置までの特定の入力(ソース画像)輝度を上げ、そのラインを入力レンジと出力レンジの最大値と最小値(0及び[PB_C_image_1;LMC])に接続する2部分線形関数を作るように簡単に構成することができるが、画像の輝度を再処理して異なるダイナミックレンジ又は明度などに対してより適切にする特定の形状の関数を備えている場合は、例えばその関数を線形にスケーリングして、ancSの点がY軸のanc出力値になるようすることができる。正確なアンカーコロケーションを使用する必要はないが、そのanc値の周りの(過度に大きくない)近傍で動作する同様のシステムをどのように構築できるかも明らかでなければならない。使用可能な近傍は、コンテンツ作成者がソースメタデータ内で示したもの(例えば、このアンカーはその正確な値の20%の偏差でレンダリングされる)と、合成装置が状況に応じて決定するものと間の任意の合成として確立することができる(上述のように、例えばコマーシャル内の顔は、簡単な計算において、例えば150ニットでレンダリングされる計算から出てくるが、合成装置は様々なプログラムルールに従って多少なりともそこから逸脱することを決定することができる、例えば画像の非常に重要な中央位置に配置されることが望まれるPIPをいくらか、例えば合成すべきすべての画像部分のすべての情報を有する唯一の装置である合成装置、及び合成画像が表示されるべきレンダリングシステム及び環境さえも、合成画像コンテンツの現在の総表示に対して最適又は合理的であると判断する程度に明るくすることを決定することができる)。さらに何も指定されていない場合、理想的なアンカー位置の2倍以下又は2倍以上の係数は、現実的な態様で合理的に近傍になり得る。
最後に、出願人の実施形態が画像の最終的な外観を指定する関数で動作することができるので、様々な実施形態において、実際に合成画像を作成する実際の装置(例えば、合成装置)である必要はないことに言及したい。例えば、合成装置がSTBである場合、例えば標準がその画像に必要なものに十分であればHDMI(登録商標)にわたって符号化されたHDR10のTVに既に完全に最適に合成された画像を送ることができ、TVは音の出ないディスプレイとして直接レンダリングする。しかしながら、STBは、状況を判断し準備し、必要なすべてのデータ、すなわち少なくともいくつかの画像データといくつかの変換を送信することもできる(それは合成画像を計算するための最適な変換FFとなった場合に十分であるべきであるが、他の実施形態ではアンカー値、おそらくSTBによってテレビに決定されたさらなるアンカー輝度値でさえも送信することもできる)。その場合、TVは、合成を一意的に実行するためのすべての情報を有する、すなわちPIPの合成では、ピクセル選択を行うだけでなく、合成画像バッファに格納する前に、受け取った対応するSDR画像ピクセルにFF_1を適用し、FF_2をHDR画像ピクセルの輝度に適用して、合成画像におけるそれらのピクセルの正確な輝度を得る。合成装置の最も単純な実施形態は、ただ1つの良好なアンカー位置を決定する。例えば、テレビが何を表示しているか、それがどのように設定されているか(例えばユーザの明度制御によって)などに依存して、現在の状況下において例えばanc_1D=30ニットの素晴らしい見た目の画像をレンダリングすべきである暗い光の平均グレーアンカー値を決定するだけである。もちろん、これは画像合成に対して最良の制御をもたらさないが、第1のコンテンツが暗い夜にアクションが起こっているアンカー(例えば黒の平均輝度値)を示し、第2のコンテンツが明るく派手なコマーシャルを示している場合、この単純な合成装置の実施形態は、既に両方の画像をそのanc_1D値の周りにかなり合理的に調和させることができるはずである。もちろん、より複雑な合成装置の実施形態は、何種類かのコンテンツに対して良好な合成状況であるかを判断し、上記の5つのanc値の明度タイプ(深い黒から極度の明るさ)に対して最適なanc値を指定する。次にこの装置は、そのソースのanc値(及び例えば必要であれば黒がどのようにグレー表示され得るかを示す再グレーディング関数のような潜在的なさらなるメタデータ)を調べて指定されたHDRの状況又は効果の種類を見ることによって、状況がどのようなものであっても入力されたコンテンツをCombRngの異なる照明サブレンジに強力に調和させることができる(低い明るさ、例えば十分ではないディスプレイピーク輝度のレンダリングシステムが超高輝度を明るさよりも十分明るく壮大にレンダリングするような予想されるさらなる処理のために合成が行われ又は準備されている場合、合成は最も明るい画像ピクセルについてのポスタリゼーションの何らかの形式に向かって揺れることがあり、画像ピクセルの色自体の最良の理論的合成ではないが、そのような品質の低いシステムにとっては良い合成である)。したがって、合成レンジ内のアンカー輝度は、典型的には、周囲の他の輝度を決定するための少なくとも1つの良好な輝度として決定され、(良好な品質の画像レンダリングの一般的なニーズ、及び/又は実際の又は構想されたコンテンツ及び/又はディスプレイ能力の詳細に基づいて)合成装置によって決定され、ソースアンカーはソース画像ダイナミックレンジにおいて同様のことを行い、典型的には、作成者が自分の画像にとって重要であると考えるもの、すなわち少なくともどの特定の重要なオブジェクト及びその周囲のピクセル領域が様々な考えられる使用シナリオの下で、特に画像合成において、(少なくとも輝度について)レンダリングされ、よく制御された状態で使用されるべきであるかに従って決定される。特定のオブジェクト、すなわち画像の空間的及び時間的サブ部分に適したアンカー輝度をどのように定義するかが理解され、例えば雨の日に昼間の光の下で家の居間で起きる最初のシーンと、地下の中央にある1つの実用的な電球によって照らされる地下の次のシーンのように、映画が異なるシーンから新しい画像(のショット)に変化したときにアンカーを再定義する必要があることが明らかである(両方のシーンは、例えば俳優のシャツなどのアンカーで示すことができる同様のオブジェクトを有するが、当然のことながらマスタ画像には異なって等級分けされた輝度があり、多様なディスプレイのための最終的なMDR画像では異なるレンダリングが必要である)。
色変換ユニット(310)は、少なくとも1つのソースアンカー輝度(L_SA1)と等しい第1の画像又はビデオ(Im1_LDR)のピクセルの色の入力輝度に色変換(FF_1)を適用した結果として決定される出力輝度(LF1_o)が、アンカー輝度(anc)と等しくなるように、色変換(FF_1)を決定すると有利である。したがって、合成される少なくとも2つの画像(又はビデオ)の輝度を調整する1つの態様は、すべての画像に対して選択されたアンカー輝度が同じであり、最終的な画像合成(例えば、PIP又はアルファブレンディング)が行われる出力画像(Im_o)の合成ダイナミックレンジにおける適切なアンカー輝度(anc)の値に設定されるように合成戦略を設計することである。当業者であれば、特性としてFF_1(L_i=L_SA1)=ancを有し、次にancの周囲のすべての輝度をそれぞれL_SA1にマッピングする関数を装置がどのように計算することができるかを理解する。特に、線形輝度色空間で作業するので(コンテンツ作成者は画像ダイナミックレンジについて異なって等級分けされた画像、及び通信される場合には対応する再等級分け輝度変換関数の詳細を作成するので、輝度軸に沿ったオブジェクト輝度配置に関するスマートな選択は、少なくとも画像の1つを処理する復号器251によって主に行われる)、しばしば単に線形マッピングを使用する(又は時にはガンマ関数のような不均一に広がったコントラストに対する単純な非線形性を使用することがある)。図18aで説明されるように、暗い画像の場合にいくつかの係数によって入力画像の符号化によって決定された輝度を(線形調光係数を用いて)どのように暗くしなければならないかを理解することができ、元のアンカーL_SA1よりも明るい画像輝度を入力するために、やや異なる同様のマッピングが行われる。
線形関数の場合には、関数を決定できることを容易に理解することができる(例えば1.0に正規化された軸システムではx軸=LDR画像の線形入力輝度であり、y軸はCombRngにおいて輝度に正規化される)、すなわちL_out=FF_1(L_in)=C*(L−L_SA1)+ancとなる。Cはコントラスト定数であり、装置は2つの画像をより調和させるためにさらに最適化することができる。これは、2つの画像の意味論、例えばヒストグラム及び空間輝度分布(例えば、画像の上部のランプのような小さな形状など)、画像の平均明度関係などを見て決定することができる。例えば、HDR映画が主として、人が影の中を歩いており高明度部分が単一のランプのみである暗い地下室からなる場合、(HDR画像の大部分の)関連コントラストはあまり高くない。したがって、非常にコントラストが高いLDRコマーシャルと合成しなければならない場合、そのコマーシャルのコントラストを暗い環境で視覚システムが知覚して予期する低いコントラストにより沿うように幾分低下させることを望む(例えば、図18cのように太陽に照らされの屋外のオブジェクト又は電球のピクセルに意味的に含まれるものは何でも、最も明るい相対色に対してFF_1の緩やかな傾斜部分を適用することによって、LDRコマーシャルの最も明るい部分を制約することができる)。一方、Cを1よりも少し上げると、コントラストが非常に高いHDR映画の最大又はHDR平均明度に示されていなくても、コマーシャルの鮮やかさを高めることができる(つまり、すべての考えられるSDR画像輝度が割り当てられるHDR CombRngの局所サブレンジにおけるコントラストを制御することができる)。もちろん、読者は、装置が、例えばポイント(L_SA1、anc)のすぐ下の相対的に高いコントラストを有するが、その傾きの減少を開始し、いくつかの閾値黒L_out=L_bなどにおいて水平になる関数のような他のFF輝度(色)変換も行うことができることを理解する。実際原理的には、ソースアンカー輝度をアンカー輝度に概略的にマッピングする限り、合成装置によって任意の関数を決定することができるが、典型的には、様々な輝度サブレンジを再等級分けするための部分的な輝度マッピング関数形状のように、合成装置が従う仕様を作成側が伝達するか、又は(様々なピクセル間、又は領域間のコントラスト、テクスチャレンダリングの品質などを識別して最適化することによって)合成装置の実施形態がより美しく見える合成を提案することを可能にする重要な内部画像分析ユニットを有しない限り、得られる関数は比較的単純である(例えばマルチリニアセグメント関数は通常、少なくとも重要でないHDRシーン画像では良好な結果をもたらす)。
色変換ユニット(310)は、第2の入力輝度(LT1_i)に色変換(FF_1)を適用した結果として決定される第2の出力輝度(LT2_o)を出力輝度(LF1_o)で割った輝度比が、第2の入力輝度(LT1_i)をソースアンカー輝度(L_SA1)で割った比の定数(C)倍になるように、色変換(FF_1)を決定すると有利である。上記のように、より単純な実施形態は、全体(部分)輝度レンジ(処理される画像の入力輝度)に対するCの固定値を決定することができるが、Cを入力輝度L_i(C=CF(L_i))の可変関数にもすることができる。部分的な輝度レンジは、(受信したさらなるメタデータ処方又はそれ自体によって案内されるかどうかにかかわらず)合成装置によって様々な態様で定義することができ、例えば、主ヒストグラムローブの範囲を決定することができ、又はancS/kとk*ancSとの間のLDR画像の輝度のためにレンジを決定することができ、kは例えば4に等しく、LDR輝度の残りは、図18cの2つの破線部分関数などにマッピングされる。より多くの可変関数FFの例として、重要な情報(例えば、強く照明された顔)がある場合、LDR画像の最も明るい部分のコントラストを(例えばヒストグラムのパーセントなどのような一定のL_itの上に)上げることができるが、メインアクションの関連性の低い情報のみである場合には、例えば装置が(例えばanc+d_ancにマッピングすることによって)第1の混合された例えばLDR画像の平均輝度を幾分増加させることができるが、CombRngにおいて輝度マッピングされたLDR画像に過度に明るくレンダリングされたハイライトでHDR映画を超えないように、代わりにその明るい領域のコントラストを減少させることもできる。これはとりわけ、人間の脳で計算された予想される明度分布により対応することを可能にする。したがって、例えばLT2_oを(例えばancに等しい)LF1_oよりも上のある特定のパーセンテージ、例えば150%のLF1_o、又はLF1_oより上のkストップとして選択することができ、その輝度区間などに対してC1を指定する。典型的には重要でない画像(例えばSDRコマーシャル)の1つのそのような(少なくとも1つ以上の)サブ領域のスマートな適合は、総合的な合成の調和のとれた外観を大きく改善することができる。
色変換ユニット(310)は、少なくとも1つのソースアンカー輝度(L_SA1)に基づいて輝度オフセット(d_anc)を決定する偏差決定ユニット(312)を含み、色変換ユニットは、少なくとも1つのソースアンカー輝度(L_SA1)と等しい第1の画像又はビデオ(Im1_LDR)のピクセルの色の入力輝度に色変換(FF_1)を適用した結果として決定される出力輝度(LF1_o)が、アンカー輝度(anc)+輝度オフセット(d_anc)と等しくなるように、色変換(FF_1)を決定すると有利である。上述したように、このようなオブジェクト関連の輝度の態様の間には、例えば、顔の照明(例えば非常にコントラストが強い)、及び顔の輝度と画像の残りとの関係のようなかなりの違いがある。したがって、装置は、正確に出力輝度ancでLDRの顔(又は任意のダイナミックレンジの第1の画像アンカーオブジェクト、又は領域及び対応する輝度のサブレンジ)をレンダリングするのではなくむしろ例えば2倍の明るさでレンダリングするほうが適切であると判断することができる。これはとりわけ、(例えば典型的には、アンカータイプのコード化で示される)顔の照明のタイプに基づいて決定され、例えばソースアンカー輝度(L_SA1)が、非常に明るく照明された顔の半分の平均輝度として決定され、顔が大きなサイズで最終画像にレンダリングされる場合、装置は、例えば50%の負のd_ancを決めることを決定することができる。これらのプログラムルール及び計算の背後にあるヒューリスティックな考察は、例えば明るい領域は周囲の暗い領域を過度に放射し、又は過度に目立って注意を引き、又は映画などのように視聴者が見ている主なものである画像の残りと比較して単に刺激的に明るくなることを考慮する。この考察は、HDR映画画像の明度構成を評価することもできる。例えばその画像は、開いているガレージのドアから見えるように暗い屋内の領域と明るい屋外の領域とで構成され得る。相対的にはるかに明るいLDRコマーシャルのPIPが暗部に置かれることになっている場合、それは、2つの画像間のコントラスト及び2つの画像の隣接するオブジェクトにおいて脳によってそこから見られる局所的なコントラストが過大にならないように暗くすべきである(すなわち、LDRにおける顔の平均輝度、又はLDR画像を特徴付けるさらなるアンカー輝度を、LDR画像の単一の代表輝度で、ancと第2のHDR映画画像の暗い領域の局所平均輝度との間の中間に重み付けするために、比較的大きいd_anc)。しかしながら、明るいPIPがHDR映画の晴れた屋外部分の近くに表示される場合、正のd_ancで明るくする必要がある。したがって、一般に、これらの偏差d_ancは、理想的な状況(例えば両方の画像において顔が中間の灰色の背景によって囲まれている場合)において(例えば2つの顔の)理想的な合成であるもの、及び、合成が生じる場所(例えば、小さなサイズX、YのPIP)の周りで少なくともメイン画像(すなわちこの例では、LDRコマーシャルを貼り付けるHDR映画)の実際の状況が全体的(すなわち、平均輝度、サイズ、例えばテクスチャ測定による内部複雑のような潜在的により多くの意味的特徴など、どのような種類のオブジェクトを含むか)及び局所的であるものに基づいて計算される。したがって、オフセットは、2つの画像について調和するものに基づいて一般的に決定され、様々な実施形態では、画像自体の特性(コントラスト、ソースアンカー位置その近傍のオブジェクトコンテンツのタイプ及び、その周辺のコンテンツ、幾何学的サイズなど)及び合成(PIPが画像の右下に小さな重要度の低い場所に配置されているか否か、又はブレンドミックスなどにおいて部分的な情報によって混合がどのように輝くかなど)に依存する。より簡単な実施形態は、それ自体がまあまあ良い比較的単純な調和構造を単に使用するが(特に、anc+d_anc値は、コマーシャルであると判断されると例えば過度のコントラストのリスクを軽減するために最適化できる)、より高度な合成は、第2の画像情報がどこにどのように正確に配置されるか、又は合成のさらなる特性でさえより正確に見ることができる。
色変換ユニット(310)は、2つの画像又はビデオの第2の画像又はビデオ(Im1_HDR)を供給する第2のソース(351)から得られた少なくとも1つの第2のソースアンカー輝度(L_S2A1)を読み出し、偏差決定ユニット(312)は、少なくとも1つの第2ソースアンカー輝度(L_S2A1)に基づいて輝度オフセット(d_anc)を決定すると有利である。(特許請求の範囲において画像2と呼ぶ)主画像の輝度構造が既知の輝度構造を有し、したがって容易に変換してCombRngにおいて基本的な基準を形成することができる簡単な実施形態を説明した。HDR画像が主要な画像であり、歪みが最小限に抑えられるべきであり、したがってそれは主にその方向に変換される第2のコンテンツである場合、合成の有用な態様である。HDR画像が、すべてのランバート反射オブジェクト(例えばスタジオトークショー)にはIm_HDRのダイナミックレンジIm2_Rngの0−400ニットのレンジ(これは、例えばCombRngの0−300ニットレンジ、又はCombRngの同じ0−400レンジに対応する)内になるように常に厳密に指定される輝度が与えられることを保証するために生成されたタイプであることを知っていれば、これは生じる場合があり、上記のすべては主に、例えば金属に対する小さな鏡面反射のようなハイライトである。そのシナリオでは、下部がLDRテレビ制作によく似た態様で制作され、HDR効果がほとんどライトであり、それらの正確な輝度について過度に重要ではない特定の種類のHDRシーンを有する(例えばはっきりと見えるだけでなく、その外部オブジェクトはいくつかの芸術的ムードを伝えるために特定の輝度を有するべきである窓を通るオブジェクトではない)。この場合、問題は主にLDRのコマーシャルをHDRトークショーの主に400ニットまでの部分の照明状況に調整することであり、明るい領域に正確に何があるのかもある程度調整される(例えば、LDRコマーシャル内の(識別された又は仮定された)小さなハイライト領域を明るくして、HDRトークショーに実際に存在するこれらのハイライトの輝度にさらに対応するように、倍数定数Cを有する上記のコントラストメカニズム、又は輝度マッピング関数の任意の一般的な決定及び適用を使用することができる)。
しかしながら、一般に、HDRコンテンツは何でも良い。例えば、その顔は400ニットの約25%にぴったりと照らされないかもしれないが、俳優がまばらに置かれたランプを持つ暗い坑道を走っているならば、輝度軸全体に落ちる。したがって、いずれのコンテンツでもコンテンツに注釈を付けるすべての人が、HDR画像も少なくとも1つの第2のソースアンカー輝度(L_S2A1)でその顔の1つ又は複数が輝度軸上にある場所を示すようにすると有利である。装置は、L_S2A1を読み取ることによって、HDRの第2の画像内で顔の輝度がどこであるかを検証することができるので、両方の画像が最終的な合成で調和することがより確実である(図4のマッチングの説明例を参照)。HDR画像は、最良の最終的な合成状況(特にCombRng)が何であれ、例えば映画が暗い周囲などの代わりに屋外に表示される可能性が最も高いことを考慮して、最適に変換することができる。例えばFF関数は、特に暗いオブジェクトのテクスチャのレンダリングが映画の最適な映画的視聴と比較して劣化するように視聴状況がなっている場合には、異なる顔照明を少ない程度に変調することができる。
色変換ユニットは、第1の画像又はビデオを、第1の画像又はビデオの符号化に関連するダイナミックレンジから、少なくとも乗算係数2だけ異なるピーク明度を有するダイナミックレンジにマッピングするために第1の画像又はビデオ(Im1_LDR)におけるオブジェクトの輝度分布の変化を指定する第1の色再マッピング関数(F1_L)にも依存して第1の画像又はビデオに適用される色変換(FF_1)を確立し、又は、色変換ユニットは、第2の画像又はビデオを、第2の画像又はビデオの符号化に関連するダイナミックレンジから、少なくとも乗算係数2だけ異なるピーク明度を有するダイナミックレンジにマッピングするために第2の画像又はビデオ(Im2_LDR)におけるオブジェクトの輝度分布の変化を指定する第2の色再マッピング関数(F2_L)にも依存して第2の画像又はビデオに適用される色変換(FF_2)を確立すると有利である。上で説明したように、基本的なHDRビデオ又は画像符号化フレームワークでは、高ダイナミックレンジから低ダイナミックレンジへ(又はその逆へ)移動する際に、オブジェクトの輝度分布がどのように変化すべきかを通信された色変換関数で示す(少なくとも輝度変換を定義するが、例えばLDRの外観において暗くする必要があるオブジェクトの彩度を上げ、十分に活発に見えるようにするために彩度変換も必要になる場合があり、その関数は典型的には、例えば1つの極端な又は中間の等級分けを、例えば5000ニットPB_Cから他の例えば100ニットPB_Cへどのように変換するか、少なくともPB_Cの係数2と異なるダイナミックレンジの外観を指定する)(これは一般に、HDRシーンの意味的特質を考慮に入れて、劣るPBディスプレイ又はコーデックのより低い能力に向けた複雑な最適化である)。すなわち、マスタ5000ニットHDR等級分け画像から例えば100ニットの画像、又は1200ニットのディスプレイを駆動するのに最適な中程度のダイナミックレンジの画像に変換する場合である。典型的には、作成者は、例えばハイライトと暗い領域を徐々に暗くするなど、外観をどのように変更したいかを決定することができる。
合成フレームワークのパワーは、異なる(単独)最適レンダリング画像ダイナミックレンジではなく、とりわけどれくらい正確に合成の比色を制御したいかに依存して合成ダイナミックレンジにマッピングする新しい種類の関数をどのように定式化するかを決定できることである(これは、とりわけコンテンツ制作者、所有者、又はディストリビュータ、視聴者、例えば映画を注意して鑑賞しようとする視聴者、又はディスプレイメーカーによる要求を定量化するパラメータとともに、それ自体によって様々な外部パラメータ設定に依存する可能性がある)。もちろん、合成の全体的な外観は、特定の合成及びその中に含まれるものによって異なるが、(最も明るいサブレンジ、例えばルマの上部20%に、慎重な再等級分けを望む雲又はそれほど重要ではないオブジェクトがあるか否かにかかわらず)再等級分け関数自体が、合成装置がある程度従うことを望む興味深い再等級分けの必要性又は要求を含んでいないことを意味しない。
ここで、上述した単純線形関数FFを用いてアンカー輝度ancの周囲の画像の入力輝度をマッピングすると、F_Lの詳細は不要となる。しかしながら、より洗練されたマッピングは、線形戦略によって変わる可能性があり、具体的にはその輝度のサブレンジにおけるその特定のHDRシーンの特定の画像の関数F_Lにおいてコンテンツ作成者が暗黙のうちに必要としていることに従って行うべきである。例えば、作成者がより暗い輝度を黒に素早く消滅させることを好む場合、色変換ユニット(310)は、最適関数FFを決定する際にこれを考慮に入れることができ、例えば線形関数よりもLDR輝度の大きな割合を黒色に素早くクリッピングすることにより、より明るい領域(例えば顔色ancの周囲)のコントラストの一部を伸ばすことができる。したがって、装置は、F_L関数のセットの少なくとも輝度変換関数の関数形状を評価することができ(理解を簡単にするために、読者は、1.0入力輝度に正規化され1.0出力輝度に正規化された1つの任意形状の関数マッピングであると仮定することができる)、その形状の一部を使用してCombRngにマッピングする最終関数の形状を設計する。このような関数では、それ自体によって又は他の画像の他の部分における他の考えられる輝度との関係によって、画像の部分を再等級分けするための様々な要求が与えられることに留意すべきである。例えば、画像の幾何学的領域に対して、その画像の残りの部分が大きくブーストされ得る同じ輝度を有するピクセルであるとしても、そこに存在する輝度を例えば過度にブーストすべきではないことを指定することができる。任意のそのような部分的な関数形状は、原理的に示すことができる(例えば、出願人が開発した先の実施形態は、矩形のような特定の幾何学的領域内に落ちる特性を満たし、例えばL_minとL_maxとの間の輝度を有する画像におけるピクセルのサブセットの列挙を可能にし、例えばL_min+kとL_max−lとの間にあるHDR画像のその領域の輝度に対して、kとlの定数を用いて所望のマッピング挙動の部分関数を定義することができる)。例えば、これらの輝度L_out=B*L_in+Oに対して単独の又はパラメータ化されたブースティング関数を与えることができ、B及びOは、LMCのような様々な特性の関数、又はHDR画像からのデータが置かれる矩形を取り囲む合成出力画像の輝度の平均などであってもよい。任意の分割された再等級分け挙動は、最終的な合成に先立って関数仕様で示されもよく、又は合成画像が作成された後に(全体の少なくとも一部が合成されたコンテンツに対して)分解可能にさえすることができる。
ダイナミックレンジ確立ユニット(302)は、2つの画像又はビデオのうちの少なくとも1つにおける輝度に依存して、合成輝度ダイナミックレンジ(CombRng)を確立すると有利である。すべての実施形態が最終的な視聴環境の詳細を必要とするか又は考慮することができるわけではない。例えば出力画像は、様々なユーザへの送信のためにいくつかのマスタ制御室で混合される。最終的な状況は、知られておらず、(ある視聴者が例えば電車内で視聴しており、別の視聴者が屋根裏に作成した映画部屋で視聴している場合)かなり変わり得る。その場合、両画像(又は2より多くが混合される場合はすべて)の特性は常に関連性があるから、両画像の特性に基づいて合成が最適化されていると有利である。もちろん読者は、うまく適用されると合成のパラダイムがさらに拡張可能であることを理解する。例えば、第1のコンテンツ作成者は2つの画像ソースを混合するが、これは、完全により多くのコンテンツを混合できないことを意味するものではない。それは、事後に又は第1の作成者の予想と共に両方で生じる可能性があり、少なくともいくつかの合成装置の実施形態は、このような状況をすべて満たす必要がある。例えば、最初のコンテンツ作成者は何が起こるべきかについての最初の発言をするので、自身のコンテンツに最適なCombRng(及び/又はanc)を決定することができるが、おそらくいくつかのエンティティが将来いくつかの典型的な追加の特性(例えば、ニュース情報を底部に有するティッカーテープ、又は映画館の部屋又は店舗又は博物館の状況では、第1のレンダリングされた画像コンテンツなどの他に又はこれに部分的にまたがって第2の画像情報を投影する第2のプロジェクタであり、この第2のコンテンツは、ダイナミックレンジ、平均明度、平均明度の時間的進化などのダイナミクスを有する)のいくつかの画像コンテンツを追加することが予想される。第2のコンテンツミキサは、例えば最終的な合成画像又はその提示に関する追加情報があることを考えれば、CombRngを維持する、又はおそらくこれを細かく調整するほうが良いなど第1のコンテンツ作成者の指示に従うほうが良いかどうかを依然として決定することができる。2つのクラスの実施形態が可能である。より単純なクラスでは、2つの画像は既にこの段階で不可分に混合されており(例えば最終PIP合成)、最終的な受信側はそのレンダリングの詳細(レンダリングされるディスプレイのディスプレイPB、平均周囲明度など)に従って全体画像を最適化するだけである。すなわち、理解を容易にするために、この合成された画像を取り、レンダリングされるべき最終出力輝度を得るために、その輝度に平方根関数として適用する。これは、混合画像が既に調和された明度を有しており、視聴環境が意図されたものと大きく異ならないので、多くのシナリオで十分である。
より高度な実施形態は、受信側で2つの画像のオブジェクト/ピクセル輝度分布の再決定を可能にし、いくつかの実施形態では、少なくともある程度は元の画像の再決定を含む(例えば、それらの基本的な符号化、又は少なくとも上述の分解性である元の輝度の等級分け)。例えば、いくつかの実施形態は、ある輝度分布態様でPIP合成を指定することができるが、CombRngの仕様と関数FFとを共符号化して、2つの画像の少なくとも1つをCombRng内の正しく調和した輝度にする。例えば、5000ニットPBに線形にスケーリングされた輝度とともにLDR PIPをHDRサラウンド画像に単に入れると、受信側で正しい処理を行わなければ、もちろんひどい外観の合成が得られることが想像できる。しかしながら、受信側は、合成されたレンダリングをその側で、すなわち調和したPIP画像で正確にするために必要なすべての情報を得る。受信側は、知っていることすべて(すなわち、例えばその領域に対して受け取った部分的な輝度マッピング関数、又はその矩形領域の特別な追加のanc値など、又は例えばそのような領域が周囲のピクセルなどに比べてかなり明るいように見えることなど自身の側で決定することができること)を考慮に入れて、その矩形におけるピクセル輝度を適切に変更することによって行うことができる。当業者であれば、これらの関数FFは異なるダイナミックレンジそれ自体のために再等級分けする関数F_Lではないことを理解する、例えば単独のLDR画像を例えば1500PBのMDRディスプレイのダイナミックレンジに合理的に適切にマッピングする単純な関数ではなく、むしろHDR画像と調和されたLDR画像に対して2つの画像の特性を一緒に考慮して良好な混合を与えることを作成側(又は任意の場所に設置された合成装置)が指定する関数であることを理解する。
ダイナミックレンジ確立ユニット(302)は、少なくとも1つの出力画像(Im_o)がレンダリングされるディスプレイのピーク明度に依存して、及び好ましくは視聴環境の明度特性にも依存して、合成輝度ダイナミックレンジ(CombRng)を確立すると有利である。本発明の装置の実施形態が、例えばテレビ又はコンピュータのようなエンドレンダリングサイト装置又はシステムに組み込まれる場合、視聴の詳細に応じて合成をさらに指定することが適切な場合がある。LDR画像が暗い環境でそのまま見られるときにLDR画像が過度に明るく見える場合には、特にその映画がその特定の視聴状況に対して既に最適化されているため、映画と合成したときにその暗い視聴周囲に対して明るすぎる可能性がある(図3に示すように、適切なMDRの自動的に再等級分けされた外観画像Im2_MDRは、同一のコンテンツ予約を有するか又は同じ放送されたコンテンツを視聴するすべての視聴者が受信する例えば5000ニットのIm_HDRから暗い周囲において視聴される例えば1200ニットPBディスプレイに対して計算される)。部分画像は、適切なMDRダイナミックレンジ(Im1_LM及びIm2_HM)で混合することができる。これは、例えばある画像の最も暗いピクセルを明るい観察環境で見ることが困難である場合、特に観察者が他の合成された画像から(おそらく空間的に隣接している)明るいコンテンツによって気を散らしている場合、特に重要であり、少なくとも1つの画像(例えば主要画像)におけるより暗いピクセルの追加のanc値は、最終的な合成の最適性を大幅に改善することができる。当業者はもちろん、2つの画像を合成して提示するには最適化は典型的には単一の画像の最適化とは異なる必要があり、観察者が知覚するように全体の状況に依存することを理解する(もちろん、実際的には、装置の位置付けられた市場価格を考慮して余裕がある複雑さに基づいて最適化を多かれ少なかれ正確に行う装置を構築し、より単純な実施形態のいくつかは既にかなり合理的な仕事を行う)。明るすぎる単独のLDRコマーシャルを見ると、暗い視聴環境であっても、視聴者は画面上に見えるものによって大きく視界に適応する。しかしながら、2つの画像を合成すると、人間の視覚がどのようなものに適応するかは些細な先験的なものではないので、したがって、レンダリングされたピクセル輝度の合成について脳が感じる輝度及び明度に関連し(彼が主要な映画を悪く見始めることはありそうもない)、したがって、コンテンツ作成者が最小限の必要とされる情報と指針を少なくとも示すことができるシステムが望まれる(実用的な技術システムは、複雑さ、例えばコンテンツ作成者が費やした労力及び計算を行う必要があるICのコストと、少なくともいくつかの最小限必要な色変換を処理してシステム挙動を単に悪いものではなく少なくとも半分妥当なものにすることができる必要との間でバランスを常にとり、典型的には標準化された様々な実施形態は、どのようなシナリオにおいてさらにどの特定の制御関数でどのくらいまで機能するかを決定する)。したがって、当業者は、少なくともディスプレイの能力に依存してCombRng(及び典型的なアンカー輝度、及び線形でない場合にはFF関数の特定の形状、又は線形の場合には倍数定数C)を決定することが有利であることを理解する(そのPBはほとんどの状況で十分であるが、省電力などの観点から完全に使用されない場合にはさらに特性が組み込まれる)。そして、視聴者の周辺環境の明度を評価するために装置が接続されている場合、より多くのことをしたくなる。例えば、照度計を使用することができるが、受信側の部屋のどこか、例えば画像化された視聴環境の様々な領域について輝度計に較正され、既にいくつかのTVに入っているディスプレイに接続されたカメラを使用するほうが良い。これにより、視聴者が画像をどのように経験するかを概算することができる。より単純なバージョン、又は、例えばTVの裏側の(見回る)領域の様々な輝度を各側で1TV幅までチェックするカメラなど高度なバージョンを使用することができる。
輝度アンカー決定ユニット(303)は、合成輝度ダイナミックレンジ(CombRng)、2つの画像又はビデオの少なくとも1つの輝度、少なくとも1つの出力画像(Im_o)がレンダリングされるディスプレイのピーク明度、及び視聴環境の明度特性、のうちの少なくとも1つに依存してアンカー輝度(anc)を決定すると有利である。また、少なくとも1つのアンカー輝度ancを確立するべきであり、そこから両方の画像の輝度の分布が調和された態様で分配され得る。読者は、様々な実施形態がいずれかの順序でCombRng及びancの決定を行うことができることを理解すべきである。例えば、いくつかの実施形態は、(実際の又は予想される)ディスプレイの能力及び視聴環境の明度特性に応じて、例えば典型的には現在の映画又は画像のショットごとの状況などに対して、最初に良いCombRngが何であるかを確立する。
例えば、いくつかの実施形態は、映画を開始する前に、映画の第1の画像、又は映画全体を通してサンプリングされた画像の特徴的なセットを分析する。或いは、映画は共符号化されたメタデータを有し、そこから装置は第1の画像を復号化する前に、合理的な少なくとも初期のCombRngを確立することができる。例えばメタデータは、映画の平均輝度が400ニットまでのより低い範囲で200ニットであることを指定することができ、最も極端なシーケンス、例えば砂漠で撮影したショットでは、空又は砂のようなオブジェクトの輝度を900ニット(及び平均600ニット)まで拡散する(好ましくはそれを行うのに十分な能力を有する任意のMDRディスプレイにレンダリングされるべきである)。次に、画像合成装置の実施形態は、CombRngにおいて(特に、様々なPBのディスプレイにサービスする場合には)固定された明るすぎる領域を、例えば(小さい鏡面反射スポット、ランプ、又はシーンの非常に明るく照射された部分のような画像の詳細を含む上の明るい領域であろうとなかろうと)輝度の上部の100%をすべてのハイライトのために使用することができるように、その映画のための最も過度の要件である900ニットの200%まで予約すべきであることを決定することができる。もちろん、より高度な仕様は、プログラム又は映画、又はその一部でどのような種類のHDR効果が典型的であるか符号化することによって、CombRngの明るい輝度の領域を正確に決定する際に役立つ。一対のこのようなサブレンジと動作させると、特にこれらのレンジのための一対の良好なアンカー輝度で補完されている場合に、(それらが主にコンテンツの必要性を示しているか、予見されたレンダリングの能力を示しているか、又はその両方を示しているかによらず)強力で汎用性がある。
最適なCombRngを決定した後、装置はそれに基づいて、例えば顔の色のアンカー輝度をどこにすべきかを決定することができる。例えば、レンジの半分が十分に照らされたランバートオブジェクトの場合、ピーク輝度のその50%の40%を顔輝度のanc点として使用することを決定できる。しかしながら、いくつかの実施形態は、逆に動作することができる。すべてのレンダリング特性を考慮に入れて、装置は、視聴者にとって適切に明るく見えるように顔又は主領域のランバートオブジェクトの中間グレーに適したanc輝度を決定することができる。次に装置は、その周りに適切なCombRngを構築することができる。例えば、装置は最も要求の多いHDR画像を調べて、顔の輝度の20倍までの明るいオブジェクト(ランプを参照)を見る。次いで装置は、その輝度値におけるレンジの最大値を設定する又はその値の例えば80%は2組の画像の合成レンダリングに十分でなければならないことを決定し、(どちらも特定の実施形態の合成で使用される)Im_HDRのそれぞれのIm2_MDRの高い値は通常、合成ダイナミックレンジの最大LMCにクリッピングされる。これは、コンテンツを例えば低いダイナミックレンジ能力と調和させたい場合に、特に例えばHDR映画が主要なコンテンツではないが、例えば大部分が他の画像領域を例えば情報とともに示すコンピュータディスプレイ上のPIPである場合に非常に有用であり得る。したがって、簡単な実施形態では、顔色よりも2倍明るいオブジェクトを生成し、合成画像又は画像(Im_o)に追加する準備ができたときに、一般にいずれかの画像(すなわち、第1及び第2のHDR画像、又はLDR画像が合成で使用される場合にはLDR画像)のいずれかのアンカー輝度がそれぞれの画像ピクセルにおいても2倍明るくなる。又は、より進んだ色変換(又は合成のいくつかは、合成計算においてピクセル輝度を重み付け又は変更する場合がある)によって、いくつかの輝度をより暗く又はより明るくすることができる。同様の考慮が装置によって行われてCombRngの下限輝度LmiCが生じてもよく、例えば(今やオリジナルの少なくとも1つよりもはるかに明るいオブジェクトを有する)合成画像が過度に暗い又は過度にコントラストが強い外観などにならないように、ソース画像の少なくとも1つより幾分明るくなる。
さらなる実施形態は、(ICの一部として小さかろうと、又は消費者又はプロフェッショナルシステム全体のように大きかろうと)対応する装置又は方法として実現されてもよい。
複数の画像(Im_HDR、Im_LDR)の2つの画像又は2つのビデオであって、そのうちの1つが高ダイナミックレンジの画像又はビデオである2つの画像又は2つのビデオを合成するための方法は、
最大輝度(LMC)を少なくとも特徴とする合成輝度ダイナミックレンジ(CombRng)を確立する確立ステップであって、確立ステップが、合成輝度ダイナミックレンジ(CombRng)におけるアンカー輝度(anc)を決定する決定ステップをさらに含む、確立ステップと、
2つの画像又はビデオの少なくとも1つに少なくとも輝度変換から構成される色変換(FF_1)を適用する適用ステップであって、その色変換は、2つの画像又はビデオの第1の画像又はビデオ(Im1_LDR)を供給する第1のソース(350)から読み出されるソースアンカー輝度(L_SA1)の値に基づいて確立される、適用ステップと、
画像を合成輝度ダイナミックレンジ(CombRng)におけるそれらのピクセル色を用いて合成して、少なくとも1つの出力画像(Im_o)を形成する形成ステップとを含む。
請求項10に記載の方法において、色変換(FF_1)は、少なくとも1つのソースアンカー輝度(L_SA1)と等しい第1の画像又はビデオ(Im1_LDR)のピクセルの色の入力輝度に色変換(FF_1)を適用した結果として決定される出力輝度(LF1_o)が、アンカー輝度(anc)と等しくなるように又はアンカー輝度(anc)から決定された差(d_anc)だけオフセットした輝度と等しくなるように、決定される。
2つの画像を合成する方法において、色変換(FF_1)は、第2の入力輝度(LT1_i)に色変換(FF_1)を適用した結果として決定される第2の出力輝度(LT2_o)を出力輝度(LF1_o)で割った輝度比が、第2の入力輝度(LT1_i)をソースアンカー輝度(L_SA1)で割った比の定数(C)倍になるように、決定される。上述したように、アンカー輝度の周囲の画像に生じる他の輝度は、単にアンカー輝度の周りにマッピングされてもよいし、又はより正確に決定された態様でマッピングされてもよい。
2つの画像を合成する方法において、複数の画像のうちの第2の画像又はビデオの色変換(FF_2)は、2つの画像又はビデオの第2の画像又はビデオ(Im1_HDR)を供給する第2のソース(351)から得られた少なくとも1つの第2のソースアンカー輝度(L_S2A1)に基づいて決定される。様々な明度レンジ(例えば、明るい光、明るい影、深い影、ランプなど)を出力画像CombRngの出力レンジにおいて最適に調整して互いにマッピングすることができるように、第1の画像だけでなく第2の画像の様々なアンカー輝度を決定することができる。
2つの画像を合成する方法において、少なくとも2つの画像又はビデオのそれぞれに適用される色変換(FF_1、FF_2)の少なくとも1つは、それぞれの画像が、それが符号化される対応するダイナミックレンジから少なくとも2倍以上又はそれ以下のダイナミックレンジにどのように変換されるかを示す少なくとも1つの受信関数(F1_L、F2_L)に少なくとも部分的に基づいて決定される。上述のように、これらの関数は、シーン内のすべてのオブジェクトの明度が(その元のダイナミックレンジ、すなわち受信した入力画像のルマコードY’を規定するEOTFに対応する基準ディスプレイのPBと少なくとも2倍異なる)任意のダイナミックレンジでどのぐらい正確に見えるかを決定する。したがって、その情報は、例えばやや低いダイナミックレンジに再等級分けする必要がある場合にも使用することができる(例えばCombRngがIm_MDRのMDRレンジより少し小さい)。これは、それ自身で使用される少なくとも1つの画像又はビデオの調整された輝度になるためのスマートさのほとんどを行うが、合成画像コンテンツの提示のためにCombRngにマッピングされた画像の最初のピクセル輝度のセットを大まかに決定するための良い出発点である。いずれの実施形態でも検査され使用されている関数F1_L及びF2_Lそれぞれの形状特性においてコンテンツの作成者によって指定されているから、(例えばオブジェクト分割アルゴリズム及び対応する輝度レンジに従ってスマートに決定されるか、又は例えばCombRngを5等分又は等しくないサブレンジに分割し、2つの入力画像輝度レンジ及びそれらの対応するサブレンジについて同じことをすることによって大まかに決定されるかいずれにしても)例えば合成装置又は方法によって決定されたヒューリスティックな線形ストレッチのようないくらか単純化されたさらなる微調整、又はそれらのオブジェクト又は輝度サブレンジ内の画像における特定の必要な輝度調整を考慮した高度なさらなる微調整が生じる場合がある。
上記の方法の1つに記載の2つの画像を合成する方法において、合成輝度ダイナミックレンジ(CombRng)及びアンカー輝度(anc)のうちの少なくとも1つは、2つの画像のうちの少なくとも1つにおけるオブジェクトの輝度分布依存性質、2つの画像の少なくとも1つの輝度特性を要約する情報、合成された少なくとも1つの出力画像(Im_o)がレンダリングされるディスプレイのダイナミックレンジ、及び出力画像が見られる視聴環境のための明度測定値のセットからの少なくとも1つの要因に基づいて決定される。
上記のすべては、インターネットなどを介して接続された他の国のサーバに構成要素が存在する場合がある消費者装置又はプロフェッショナルシステムであろうが、様々なシステム及び形態に組み込まれ得る。
CombRngの仕様(例えば、その上位輝度LMC、及びその下限輝度LmiC)、及び/又は例えば顔の典型的なアンカー輝度、場合によっては同様に画像ピクセル輝度をどのようにしてCombRngにマッピングするかを指示する少なくとも1つの色変換関数などのメタデータが画像に補足されると有利である。
受信されたときに画像の照明選択が様々な画像の合成を望む装置によって理解することができるように、コンテンツ作成者が少なくとも1つの意味的に関連性のある(好ましくは事前に合意されたタイプの)アンカー輝度で画像に注釈を付けることも有利である。
これらの方法のそれぞれは、コンピュータプログラムとして実施すること有利であり、コンピュータプログラムは、コードが実行されたときに上記の方法のいずれかの実施形態のすべてのステップが実行されるように、プロセッサがコードを実行できるようにするソフトウェアコードを含む例えばコンピュータプログラムなどの物理的なキャリアを介して通信され得る。
発明による方法及び装置のこれらの及び他の態様は、以下に説明される実施態様及び実施形態及び添付の図面から明らかとなるものであり、これらを参照して説明する。これらの図面は、単により一般的なコンセプトを例示する非限定の特定の図を単に提供するものであり、破線はその構成要素が任意選択であることを示すために使用され、破線以外の構成要素についても必ずしも必須ではない。また、必須と説明された要素がオブジェクトの内部に隠れていることを示す場合又はオブジェクト/領域の選択(及び、ディスプレイ上での見せ方)などの無形物の場合にも破線を使用可能である。