JP6831389B2 - 複数のｈｄｒ画像ソースの処理 - Google Patents

複数のｈｄｒ画像ソースの処理 Download PDF

Info

Publication number
JP6831389B2
JP6831389B2 JP2018545548A JP2018545548A JP6831389B2 JP 6831389 B2 JP6831389 B2 JP 6831389B2 JP 2018545548 A JP2018545548 A JP 2018545548A JP 2018545548 A JP2018545548 A JP 2018545548A JP 6831389 B2 JP6831389 B2 JP 6831389B2
Authority
JP
Japan
Prior art keywords
brightness
image
images
hdr
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018545548A
Other languages
English (en)
Other versions
JP2019506817A (ja
JP2019506817A5 (ja
Inventor
マーク ジョゼフ ウィレム メルテンス
マーク ジョゼフ ウィレム メルテンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Priority claimed from PCT/EP2016/077373 external-priority patent/WO2017089146A1/en
Publication of JP2019506817A publication Critical patent/JP2019506817A/ja
Publication of JP2019506817A5 publication Critical patent/JP2019506817A5/ja
Application granted granted Critical
Publication of JP6831389B2 publication Critical patent/JP6831389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、少なくともいくつかは高いダイナミックレンジを有する異なる輝度特性を有する、異なるソースからの複数の画像の合成（又は時間的に連続する画像のビデオ）を正確に処理する方法及び装置に関する。
数年前まで、すべてのビデオは、最近では標準ダイナミックレンジ（ＳＤＲ）とも呼ばれる、いわゆる低ダイナミックレンジ（ＬＤＲ）原理に従って符号化されていた。つまり、キャプチャされたシーンが何であれ、符号化の最大値（例えば、８ビットルマＹ’＝２５５又はアナログディスプレイ駆動の１００％電圧）は、標準基準の１００ニットである表示ピーク明度ＰＢ＿Ｄ（すなわち、ディスプレイにレンダリングできる最も明るい白色）のＬＤＲディスプレイ上の白色のレンダリングに対応して標準化定義されるべきである。人々が実際には少し暗い又は明るいディスプレイを購入した場合、視聴者の視覚システムは、（例えばホラー映画の夜景がある場合）例えばいらいらするほど明るすぎるのではなく画像が適切となるように適応すると思われる。これは相対レンダリングのパラダイムであり、符号化された画像の最大輝度の色をそれが何であれ常にディスプレイのピーク明度にマッピングする。これは、レンダリング又はビデオ／画像消費側で実際に利用可能なディスプレイが実際は１００ニットよりもあまり明るくない場合には機能するが、ディスプレイがはるかに明るい、例えば１０倍明るく、すなわちＰＢ＿Ｄ＝１０００ニットの場合には望ましくない結果をもたらす場合がある。
もちろん、完全に均一な照明であっても様々なオブジェクトの反射が既に１００：１のコントラスト比を与え、様々な領域の照明に違いがあるので、これは、誰もが協調して作業するうえで正確に厳密に規定されたテレビシステム比色分析であり、実際のプログラム作成のためには、これは典型的には、シーン照明設定の厳密な制御を維持することを意味する。典型的には、（虹彩設定を選択することによって）光を照射して露光し、おおよそコード白色すなわち最大ルマコードにマッピングされたシーンの（明るく照らされた部分の）白色は符号化ピーク明度ＰＢ＿Ｃに対応し、典型的には、シーン内のさらに明るいオブジェクト又は領域について、そのＰＢ＿Ｃ輝度値にクリップすることができる。典型的には、カメラ、特に２０００年代初期のデジタルカメラの初期の世代では、非常に明るい領域と暗い領域の両方を同時に捕捉することに問題があった、すなわち、例えば部屋の窓又は車の窓の外に見えるシーンの一部は、典型的には白色にクリッピングされる（それらの平方根ルマコード値Ｒ’＝Ｇ’＝Ｂ’＝２５５に対応する赤色、緑色及び青色の付加的な色成分Ｒ＝Ｇ＝Ｂ＝ｍａｘ）。
しかしながら、最近では、高ダイナミックレンジカメラ（及び重要なことに新しいＨＤＲ画像キャプチャ又は一般的な画像作成態様）及びＨＤＲディスプレイの両方が出現し始めており、他のビデオ及び／又は画像技術、例えば画像符号化、画像合成などは、これらの新しい技術レベル要求に合わせて調整しなければならない。このアプリケーションでは、ダイナミックレンジがピーク明度（すなわち、最も明るいレンダリングされた輝度）のみに最初に指定される場合、レンジの下端は実際にはゼロであると仮定し（実際には、表示フロントプレート又はシネマスクリーンの光反射、例えば０．１ニットのような視聴状態に依存する）、これらのさらなる詳細は特定の説明とは無関係であることに留意すべきである。最も暗い画像の色について技術的に特定のことがなされていない場合には、最初に高い表示ピーク明度に単純化する高いダイナミックレンジのディスプレイが特にＳＤＲディスプレイのような低いダイナミックレンジのディスプレイと異なるように最も暗いピクセル色をレンダリングすべきである特別な理由はないと言える。ダイナミックレンジを定義するにはいくつかの態様があり、以下の説明で一般的に使用されている最も自然なものはディスプレイにレンダリングされた輝度ダイナミックレンジ、すなわち最も明るい色の輝度に対する最も暗い色の輝度であることにも留意すべきである（もちろん実際には暗いシーンの中の単一の明るいピクセルはあまり印象的ではないなどの精神視覚的側面も関与する可能性があるが、以下のいくつかの技術的説明では、これを放棄して人間にとって必要なものに準拠する技術要素の設計のみが説明される）。ピクセル色を含み得る任意の画像としてＨＤＲ画像を定義することができ、上記のように特に明るいピクセル色については、ＳＤＲ画像符号化では符号化できない。このようなＳＤＲ画像又はビデオ符号化の測色が（静止画のｓＲＧＢ ＯＥＴＦに対応するビデオＲｅｃ．７０９ＯＥＴＦで）固定されているので、８ビットルマ符号化が１０００：１のみの、すなわち０．１ニットから１００ニットを超えないダイナミックレンジに対応できることが数学的に確かめられた。したがって、例えば通常のＳＤＲシーンの白色よりも２倍明るく、つまり最大２００ニットに表示レンダリングされるシーンの輝度を符号化すること可能にすることを望む場合、ＨＤＲ画像又はビデオ符号化の新しいフォームが必要である（新しいＳＭＰＴＥ２０８４は、より明るいシーンの輝度を符号化できるＯＥＴＦすなわち例えばルマとして最大１０，０００ニット、例えばＨＥＶＣ圧縮のようなビデオ圧縮に対して「通常」ルマとしてさらに処理される１０又は８ビットルマの通常のテレビ視聴条件でディスプレイに少なくともどのようにレンダリングするかの例である）。人間の視覚システムは、はるかに高いダイナミックレンジを処理することができ、世界の様々な実用的なＨＤＲシーン（例えば洞窟内又は小さな窓がある暗い部屋から見える日差しのあるシーン）にも存在するため、画像の「メリハリ」を高めるために高ダイナミックレンジのビデオ処理連鎖のニーズがある。典型的に屋内照明は屋外照度の１／１００であるため、黒いオブジェクトが入射光の約１％を反射することを知ると、これは既に１０，０００：１のダイナミックレンジ（ＤＲ）を必要とすることを意味する。しかしながら、人間が暗い視野での夜景の中で最も黒い色の１％を感知できるのであれば、符号化された画像コンテンツの１，０００，０００：１のＤＲは正常である（いくつかのカメラが達成でき、例えば対数的に測定できる）。もちろん、例えば大きな洞穴が内部から見える場合、原理的にはある状況において、クリッピングされた最小の黒色として周囲の洞窟形状を実際にレンダリングすることを芸術的に選択することができるが、他のシナリオでは、例えば洞窟で何らかの行動が起こると画像内のピクセルの最も明るい領域から最も暗い領域までのすべての符号化された異なるグレー値を本当に望む又は必要とする（一部の洞窟形状の部分的な外見の一部は、前景と背景の心理的な検出が逆転して破れた紙切れのように見えるので黒くクリッピングするとかなり奇妙に見え、したがってより多くの洞窟内部の暗い色をレンダリングすることによってそれを避けることができる）。そのため、０．０１から１０，０００ニットまでの表示レンダリングレンジは実際には素晴らしいＨＤＲレンジであるが、上記のように１００ニットＰＢの２倍以上の２つの要因の符号化又はレンダリングは、どのように従来のＳＤＲビデオの考え方とは違った処理をするかを注意深く見る対応するニーズとともに既にＨＤＲ技術として適格である。符号化システム自体は、参照ディスプレイをそれに関連付けない限りもともとダイナミックレンジを持たないことにも留意すべきであり、これは、例えばＲ’＝Ｇ’＝Ｂ’＝Ｙ’＝２５５は、１００ニット又は１０００ニットなどのＰＢに対応すべきであることを示す。以前からの共通の間違いは、符号化された画像のダイナミックレンジが、使用されるビットの量に強く結びついていると考えることである。これは、例えばピクセルウェルの光電子変換のより大きな範囲にまたがるより多くのビットを必要とするカメラのＡＤＣのような線形符号化の場合には当てはまるが、また、少なくともいくらか高い符号化精度すなわち高いダイナミックレンジのためのビットを有することは良いことであるが、必要なビット量はまた、光電気変換関数（ＯＥＴＦ）とも呼ばれるルマコード割り当て関数の選択された形状にも依存する。そのため、１０ビットのＹ’ＣｂＣｒで符号化された画像は、最大ＰＢ＿Ｃ値まで符号化可能な色を有するＨＤＲ画像、及び、高精度のＳＤＲ画像の両方になる可能性がある。どのタイプの画像であるか、すなわちすべての符号化されたルマを対応する輝度として表示できるように十分に高いＰＢ＿Ｄのディスプレイにルマをどのようにレンダリングすべきかについては、典型的には、例えば受信した画像のニットにおける共符号化されたＰＢ＿Ｃ値のようなメタデータを読み出すことによって決定される。ＰＢ＿Ｃは、実際には、画像が色等級分けされた理想的な基準ディスプレイのＰＢ＿Ｄとしても解釈可能であり、すなわち、そのディスプレイでは暗すぎる又は明るすぎるのではなく最適な見た目になる。
したがって、例えば最大１０００ニットまでのレンダリングされた輝度を有する画像を符号化することができる画像の符号化は、良質のＨＤＲを得るための良い出発点であり、読者は他の詳細が言及されていない限り以下の教示の一部を要約する必要がある場合にそのような設定を覚えておくことができる。
したがって、実際には、非常に高いダイナミックレンジを有するシーンがあり（例えば、窓を通して外側の１０、０００ニット以上の輝度を持つ日光に照らされたオブジェクトを同時に見ながら屋内で１ニットほどの暗いオブジェクトを撮影する）、ディスプレイは良くなっているので（１００ニットよりも２倍明るいＰＢ、現在は１０００ニットが現れ、数千ニットのＰＢが想定されている）、オリジナルと全く同じではないが少なくとも非常に自然な又は少なくとも満足できることは重要であるが、これらの画像をきれいにレンダリング可能になることが目標である。したがって、ＨＤＲは、最も明るい及び暗い色についてだけでなくその間のすべての輝度についても、すなわち実際には最終的に人間の精神視覚的外観に関する。もちろん、技術的には、単なる符号化のような一部のＨＤＲ処理技術にとって、それは人間が現れる色を正確に見るためにディスプレイを正しく動かすことによって起こる必要があるものなので、ディスプレイ上にレンダリングされる技術的輝度の観点から必要な外観を定式化することができる。しかしながら、出願人は、多用途のＨＤＲ技術システムを設計したい場合には、（読者が以下のストーリー全体を理解し何を意味しているか理解するために）単なる符号化の直接の１対１接続視聴の常習的なパラダイムを廃止する必要があることを強調したい。Ｒｅｃ．７０９では、放送者は、標準（単独の）ＳＤＲモニタを用いてモニタにどのようにレンダリングされているかを見ることによってどの輝度を撮影しているかを見ることができ、１００ニットＰＢ＿ＤのＳＤＲディスプレイは単一の趣のみがあるのでどこでも同じ家のすべてのテレビにレンダリングされる。今でもする必要がある唯一のことは、近似的に平方根関数を適用することによって、レンダリングされる（カメラ測定された）輝度をルマコードに変換することであり（なぜならそのようなコードは利用可能な変換技術の技術的詳細をより良く使用するので）、受信機側において逆（ＥＯＴＦ）関数は、作成側と同じ視聴環境の実質的に同じＴＶで復号されたコンテンツを見ている視聴者が望むようにプログラムを体験することを保証する。それはまだＨＤＲ１０の視野である。異なる形状のＥＯＴＦがＲｅｃ．７０９で使用されるが、作成された側で視覚化可能な基準ディスプレイにレンダリングされた色は、受信されたルマに固定された数式を単に適用することによって、受信側において依然として同一の輝度でレンダリングされる。しかしながら、実際のＨＤＲの世界は、異なる視聴者が異なるＰＢ＿Ｄの異なるディスプレイを有し、視聴部屋のランプの量が異なるなど、非常に変化しやすい。まさにＨＤＲ１０で符号化されたＨＤＲ映画は、（重要な動作はビデオの比較的暗い部分でしばしば行われるにもかかわらず）ＨＤＲ映画が明るい周囲照明の下で見ることが困難になる比較的暗い多くのピクセルを含むので批判された。ＨＤＲ１０は、ディスプレイメーカーがそれを解決することを望んでおり、それに対する解決策を提示していない。しかしながら、出願人は、これは一般的にＨＤＲシーン画像のタイプに依存する複雑な問題であり、コンテンツ作成者がＨＤＲ画像色の最終的な（可変である、すなわちある輝度と所望の色のルマ表現との間の１対１で直接接続された逆固定計算ではない）ディスプレイレンダリングの発言権を有することを可能にするメカニズムを持つべきであると考える。
読者は、視聴者が典型的には異なる状況で（明るいアフリカの風景に実際に立っているのではなく夜間に弱く照明されたリビングルーム、暗い家屋又は映画館に座って）コンテンツを見ているため、シーン内の輝度と最終的にテレビ（又は他のディスプレイ）にレンダリングされた輝度との間には同一性がないことも理解すべきである。実際には、少なくとも例えば１０億ニットの太陽のようなオブジェクトを正確にレンダリングすることはＴＶにはできずそれによって盲目になりたい視聴者もいない（小さなスクリーンを見るとき、角度又はそれによって決定されるグレアは４＊ｐｉ立体角周囲環境と同じではないので、そのことを考慮しなければならない）。出願人は、符号化及び通信から開始してマスタＨＤＲ色等級分けを定義することによって、カメラによって撮影された相対ＲＧＢ値からディスプレイにレンダリングされる適切な輝度のこの変換を解決した。このＨＤＲ等級分けされた画像セットは、アーティストがもし利用可能な基準モニタを持っており、例えば典型的な視聴環境に座って５０００ニットＰＢディスプレイに対してＨＤＲ画像を完全に等級分けすることができれば、アーティストの望むように作成することができる（アーティストに言及するが、本発明の技術的側面をどのようにすべきか、アーティストが要求事項のコミュニケーション及び制御を行うことを可能にすることは、読者にはっきりと明らかにすべきである）。しかしながら、それは話の半分にすぎない、すなわち（新しい要求のビデオセットでは）ＨＤＲシーンの芸術的で魅力的な外観画像を一貫して決めることができ（そして、同じ視界状況の制約の下で全く同じ５０００ニットＰＢ＿Ｄのディスプレイを視聴する場合、その画像を忠実に表示することができる）。５０００ニットＨＤＲ画像を得た消費者が１０００ニットディスプレイしか持たない場合、何が起こるか以下で説明する（ディスプレイの調整）。これは全く別の問題であり、直接的な１対１の通信アプローチで処理できるものとは全く異なるので、１つの基準ディスプレイＰＢ＿Ｄを有する単一の参照システムが何であるべきかを熟考し始めることができる。
この出願が「高ダイナミックレンジ」画像について語るならば、それは、少なくとも１０００ニットＰＢ＿Ｄディスプレイに表示するのに適した画像コンテンツを有する画像であることを意味する（もちろん、コンテンツは１００ニット又は５００ニットのディスプレイに表示することもできるが、例えば、ランプが理想的によりも暗くなるので完全なものではない）。したがって、この画像には、より高いＰＢ＿Ｄディスプレイに表示されたときに視覚的に興味深いコンテンツがある、すなわち平均よりもはるかに明るい画像オブジェクトがある（又は逆にＹ＝１として正規化する最も明るい色と比較される、ＳＤＲ画像の典型よりもはるかに暗い少なくともいくつかのオブジェクト）。例えば屋内のシーンは、元のシーンで５００ニット以上になる明度を有し、明るい温室又は数ニット以下の狭いトンネル領域があるかどうかによって、外の明度が現実世界で数千ニットになる。ディスプレイでは、屋内を１００ニット以下にレンダリングし、ディスプレイが有するそれ以上の利用可能なものを屋外オブジェクトに対して最適に使用する、例えば最大１５００ニット以上（ＰＢ＿Ｄ＞＝１５００ニット）にレンダリング可能なディスプレイを有する場合には、例えば「曇りの日」の映画又はプログラムであれば最大５００ニットにレンダリングし、晴れた屋外であれば最大１５００ニットにレンダリングする。したがって、レンダリング中でさえも、（１５００／２）／（１００／２）又は少なくとも５００／１００の明るい画像領域と暗い画像領域との間の比率が存在する（これは、典型的には、異なって照明された領域、すなわち、オブジェクトの反射による領域内のコントラストが最大１００：１、典型的には３０：１の領域の中間点として定義可能である）。これを連続関数でルマコードと関連付けると、それらのルマも離れて広がるが、コンテンツを指定するのにはあまり役に立たない（それらはＯＥＴＦの形状、及び場合によって技術的な要求に依存する）。この出願が（ＨＤＲ画像よりも）低い又は低いダイナミックレンジの画像について言及する場合、少なくとも１ストップ（乗算係数２）低い、典型的には少なくとも２−３ストップ（４倍又は８倍以上）であるピーク明度を有する（又は実際にはＰＢの基準ディスプレイに関連する）画像（おそらく全く同じ元のカメラで撮影されたシーン画像、すなわち同じシーンのＨＤＲ画像の異なる等級分けの外観）について話す。ＳＤＲ画像は、１００ニットの標準規定ＰＢ＿Ｃに準拠する。それらの中のすべてのオブジェクトのコントラスト比は、典型的には１００：１以下又は最大１０００：１以下であり、すなわち、より均一な輝度又はルマヒストグラムを典型的に見る。
ルマコードを定義する必要がある（最終的にレンダリングされるべきである）画像ピクセル輝度ダイナミックレンジを知っている場合に必要な第２のことは、コードを実際にどのように分配するか、すなわちどのコード割り当て関数で対応するルマコードＹ’（典型的には関連する基準ディスプレイのＰＢ＿Ｄにマッピングする１０ビット符号化では１０２３だけでなく例えばルマコード７４３がどの輝度に対応すべきか）をオブジェクト又はピクセル輝度Ｙに又はその逆に関連付けるかである。
過去２−５年の間に、いくつかの企業がＨＤＲビデオ（すなわち、動画像又は言い換えれば時間的に連続する画像のセット）を符号化する異なる態様を提案してきた。２０１６年に予定されている第１の製品への急激な動きがあるので、ＨＤＲ画像の符号化と処理が複雑であるにもかかわらず、一部のコーナーがカットされている。これにより、異なる基本的な考え方に基づいた異なる符号化技術が生まれた。最終的に決定されないということは、すべての画像処理システムがその違いを考慮する必要があり、（５年前のＳＤＲビデオ時代の唯一の測色の単純さと比較して確実に）かなり複雑になる可能性がある。
Ｄｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓ Ｉｎｃ．は、安価なチップを入れるためにいくらか高価な２層システム（すなわちビデオ圧縮におけるスケーラビリティコンセプトに沿って１枚のＨＤＲ画像を作成するために基本画像と補正画像が必要である）を開始したが、単層符号化も設計し、ＳＭＰＴＥ ＳＴ．２０８４として最近標準化された、いわゆる知覚量子化器ＰＱである基本的なＥＯＴＦを提供している。この技術は、ｈｔｔｐｓ：／／ｗｗｗ．ｓｍｐｔｅ．ｏｒｇ／ｓｉｔｅｓ／ｄｅｆａｕｌｔ／ｆｉｌｅｓ／２０１４−０５−０６−ＥＯＴＦ−Ｍｉｌｌｅｒ−１−２−ｈａｎｄｏｕｔ．ｐｄｆでうまく説明されている。
その背後にある考え方は、シーン輝度をルマコードにカメラ変換するために従来使用されていた古典的な平方根（又は正確にはＲｅｃ．７０９）光電子変換又は変換関数ＯＥＴＦ（平方電力ＥＯＴＦの逆数）は、どれくらいのビットを使用しても（又は、２０ストップ以上のシーンの主等級分けのように実際の生活で発生する可能性がある高ダイナミックレンジの場合、少なくとも１４ビット以下のような実用的な数字に対しては）ＨＤＲ画像で発生する可能性のある異なる領域間の高コントラスト比には適していない。しかしながら、それは良いインスピレーションであった。もともとはＣＲＴ電子銃の偶発的な物理的挙動のために設計されていたが、平方根関数は人間の視覚がシーンの輝度を視覚明度コードに変換する態様に密接に従っているので、コードを最大限に活用するには良い態様であった（次のコードが次の心理視覚明度の印象に対応するので、あまりにも多くのコードがとにかく容易に認識できないほど無駄にならず、さらに悪いことに、滑らかで正確な輝度勾配を正確に符号化するコードがあまりにも少ない領域は存在しない）。今度は、連続する輝度間隔（例えば、１ストップ明るく）ごとに、ドルビーでは通常１０，０００ニットであるコード化可能な最大明度までルマコードの量をほぼ等しくするこの曲線を一般化することができる（これは、あまりにも明るすぎると不満を言っている人がいるので、実用的なディスプレイレンダリングには実際に十分なはずであり、実験であるが大きな領域であっても２０，０００ニットを超える点滅領域でさえも印象的な画像を作ることができ、もちろんすべては様々な画像オブジェクトの輝度を可能な範囲に沿ってどのように割り当てるかに依存し、常に画像の種類ごとに最大ＰＢまで満たす必要はないことが分かっており、危険であるかもしれない痛いほど明るい画像について不満を言う人は、夜の満月も５０００ニットであり、月を見つめて盲目になった人はいないことを認識しなければならない）。
そこで、ドルビーは基準ＥＯＴＦを標準化し、画像内のすべてのオブジェクト／ピクセルに対してルマを定義するためにその逆数をＯＥＴＦとして（又は、さらなる動作を望む場合にはほぼ逆数）使用することができ、通常のＨＥＶＣ符号化技術を適用した後、それらのコード（ＹＣｂＣｒとして古典的に符号化された色であるが、ＲＧＢ符号化も使用できる）を例えばＢｌｕ−ｒａｙ（登録商標）ディスクに記録することができる。次に、ＢＤでマスタＨＤＲ等級分けがあり、それはアーティストが望むように、例えばそれを復号化することができる５０００ニットのＴＶによってレンダリングされる。そのため、コンシューマの敷地においてあるシーンのＨＤＲ画像（のみ）をコンシューマディスプレイに表示するためにエンドツーエンド、１対１を提供するメカニズムがある。もちろん、ＢＤを介してと以下で言う場合、提示された概念が大きな適用性を有するので、例えば衛星放送、インターネットビデオ配信などのようなすべての他の画像又はビデオ通信メカニズムも意味することが当業者には理解されるであろう。この２０８４ＥＯＴＦは、ＨＤＲ１０符号化のためのルマ−輝度マッピング関数としても選ばれている。
英国放送局ＢＢＣは、ＨＤＲビデオ符号化の異なる態様を設計している。（基準ディスプレイのＥＯＴＦを標準化するディスプレイ側ではなくカメラ視野から開始したため）それらは幾分異なる形状を有する標準化されたＯＥＴＦを備える。彼らの見解と技術はｈｔｔｐ：／／ｄｏｗｎｌｏａｄｓ．ｂｂｃ．ｃｏ．ｕｋ／ｒｄ／ｐｕｂｓ／ｗｈｐ／ｗｈｐ−ｐｄｆ−ｆｉｌｅｓ／ＷＨＰ２８３．ｐｄｆにおいてうまく説明されている。
それらは、古典的な１００ニットのＲｅｃ．７０９ＯＥＴＦの中間グレー（Ｙ’＝０，５）まで古典的な平方根Ｒｅｃ．７０９ＯＥＴＦ関数形状に厳密に従うＯＥＴＦを定義し、白いオブジェクトの色のシーンより明るい色を利用可能なコードに絞ることができるように輝度が高い場合は対数になる。それは、ＨＤＲ性がやや多すぎるシーンについて良いＬＤＲ出力画像を作成する必要がある場合にカメラが長い間既にやってきたことに触発された。つまり、約２００：１のピクセル輝度コントラスト比率の代わりに、例えば明るすぎるいくつかの領域を有し、Ｙ’＝２５５にマッピングすべきシーンの白よりも４倍明るい明度に絞り込もうとしたため、輝度Ｙ＝１００ニットにレンダリングされた。シーンの白いオブジェクトは灰色っぽくレンダリングされるが、脳は全体の画像内の明るいピクセル領域を見て解釈するので、時には精神視覚的に受け入れられる。（例えば虹彩を変えることによって）単にカメラの露出を下げることによってそのような明るいシーン輝度を常にディスプレイＰＢにマッピングすることができるが、ニュースリーダの顔が暗すぎる場合がある。カメラが行ったのは例えばＹ’＝８０％又は他の何らかのニーポイントまで曲線に従ったことであり、そこから傾斜が小さい曲線を使用するので、残りの２０％のコードにおいて非常に多くの高いシーン輝度を表すことができる。すなわち、暗いピクセルの輝度を多少低くするカメラの特定のログ曲線を使用することができる（視聴者は、比較的暗い（おそらく影の）領域に人が立っており、いずれにしても明るいディスプレイ上で明度を適切に調整することができると理解するので、おそらく高コントラストのシーンでは必ずしも問題にならないように少し顔を暗くする）が、実際に明るいピクセルの色についてのいくつかのコードを自由にすると、通常は例えばソフトクリッピングされて少し粗く表現される。このようにして、最終的には十分に明るくレンダリングする必要のある色と、明るい色のためにはまだ妥当な視覚的品質との間にバランスがとられる。しかし問題は、撮影された相対的シーン輝度を各カメラが異なる態様で（もちろん本質的には絶対的な）ルマコードに対数的にマッピングしたことであり、これはカメラが依然として非常に優れたＬＤＲカメラのみである場合にはまだ合理的であったが、おそらく２０ストップの複雑なＨＤＲシーンを撮影することになっている本当に良いＨＤＲカメラであるカメラにとってはより問題が多い。だからＢＢＣはすべての実用的な目的のために固定された曲線を定義したかった。それでも、その固定されたＯＥＴＦ曲線を輝度マッピング曲線としてマスタＨＤＲの等級分けされた画像に入力として適用することにより、ある程度合理的なＳＤＲバージョンが得られ、この画像をブロードキャストすると、従来のディスプレイはＳＤＲ画像を直接レンダリングすることができ、ＨＤＲディスプレイは固定逆曲線を適用してマスタＨＤＲ画像を再構成することができる。ＢＢＣ方式の利点は、従来のようにすべてが機能するため、技術の変更がほとんどないことである（しかし、これは過度に欺瞞的であり、作成中又は少なくともいくつかのビデオの合成中に支払うべき価格が付いてくる）。
それらは様々な異なる出発点を有し、例えばドルビーはプロフェッショナル映画市場により焦点を当てているかもしれず、ＢＢＣはショーのフィールド作成、テレビ機器の配備などの実用的なテレビの要件により焦点を当てているかもしれない。しかしながら、この特許出願にとって興味深い大きな違いは、ＢＢＣは、ピクセル輝度（又は実際の色）を相対的に表現すべきだと考えたが、ドルビーはそれらを絶対的に表現すべきであると考えたことである。これは、最適なレンダリングを行うために交差させる必要があるギャップのシーン参照側に立つかディスプレイ参照側に立つかを決めるので、考え方の大きな違いである。それは合成する必要がある２つの画像においてどの輝度が符号化されるかの大きな違いであるが、さらに進んで、それは、そのような代替哲学が、本質的なアプローチ及び特性の観点から、その合成が起こる必要があることをどのように規定するかに影響を及ぼす。
そこでＢＢＣは、相対的にマスタ等級分けされた（又は少なくとも露出及びおそらくガンマ曲線を選択するなどの外観の決定もしてカメラで撮影された）ＨＤＲ輝度及びルマを定義した基本的なＯＥＴＦを定義することによって問題にアプローチし、ディスプレイにレンダリングされる適切な輝度は、ディスプレイＰＢ＿Ｄと視聴環境の明度の両方に依存するシステムガンマを適用することによって計算されるべきである。これは、ディスプレイメーカーがシーンの白色レベルの１２倍までの輝度を含むが実際のシーンのコンテンツ及びカメラの虹彩設定に依存しないＢＢＣ符号化されたコンテンツを取得した場合、２つのうちのいずれかを行うことができることを意味する。彼はＢＢＣの相対哲学を用いることができ、ディスプレイＰＢ＿Ｄが何であっても、常にＰＢ＿ＣのコードをディスプレイＰＢ＿Ｄにマッピングすることができる（実際にはどのＰＢ＿Ｄを有しているかに応じてガンマ明るさ及びコントラスト修正関数を適用するが、少なくとも白は白にレンダリングされ、これは、そのような過度に明るい領域は存在しないが霧のあるシーンのような比較的暗いピクセル色のみが存在する場合には、このような暗く符号化された色もＰＢ＿Ｄよりも暗くレンダリングされるという容易な較正態様が確立されるという少なくとも１つの利点を有するが、一方でシーンの最も明るい部分は、可変のＰＢ＿Ｄ輝度でレンダリングされる。これは画像データを合成するのに適しているように見えまるが、本当にそうであろうか？）。すなわち、彼はこの符号化された画像輝度データが例えば１０００ニットの正確な絶対輝度ＰＢ＿Ｄ値又はその周辺に対して適しており、テレビが例えば（ブラインド全領域マッピングによって）５００ニットＰＢ＿Ｄのみを有している場合、自身の内部格下げを行うと主張することができる。しかしながらドルビーは、少なくとも高品質の５０００ニットＳｉｍ２又はパルサーディスプレイを持っていれば、輝度をレンダリングすべき絶対条件を指定すべきであり、マスタＥＯＴＦ０−１００００ニットの輝度参照範囲に沿って必要なオブジェクト輝度を定義できる限りこの画像が芸術的にどのように生成されたかは重要ではないと考えた。したがって、例えばホラー映画の中に暗い顔がある場合、絶対的な方法では、この画像は、例えば１５ニットでレンダリングすべきであり、低ダイナミックレンジディスプレイと高ダイナミックレンジディスプレイの両方でレンダリングすることができると通常は言われる。しかしながら、相対的な方法では、たとえ１００ニットの１５％もまた５０００ニットの１５％を意味するということにまではならないとしても、ガンマ関数に依存するディスプレイＰＢはそれをいくらか修正するので、この顔の明度は調整されるが、顔が最終的にディスプレイにレンダリングされる輝度はそれほど正確には決定されない。これは、レンダリング側で多大な変更が発生する場合、アーティストが何を好きなのか考えさせることになり、より正確な絶対レンダリングには利点がある（ディスプレイのフルダイナミックレンジを使用する場合、もちろん視聴者の感度はそれに対応して適応するが、コンテンツが例えば９００ニットまで、少なくとも例えば９９％の画像ピクセルまでのレンダリングを必要とする場合、典型的にはＨＤＲディスプレイのサブレンジを使用する）。実際に存在するＰＢ＿Ｄが符号化のＰＢ＿Ｃよりも低い、すなわち画像を最適にするためにレンダリングされる必要がある輝度である場合、まだいくつかのダウン等級分け戦略が必要であるので、絶対輝度符号化も完全な答えを持たず、特定のＨＤＲシーン又はシーンタイプの再等級分けニーズの出現に対してあまりにも盲目的ではないほうがよい。読者は、このような異なる哲学が、ＥＯＴＦを決定する異なるコードを導くだけでなく、画像の異なる処理、すなわちオブジェクトピクセルの輝度を曲線又は対応する基準輝度範囲に沿って様々な領域にどのように割り当てるかも導くと考えることができる。そして、特定のＰＢ＿Ｃを持つ入力画像の一部を低いＰＢ＿Ｄのディスプレイにマッピングするという比較的簡単な問題がある場合にもしそれが既に困難な議論につながるのであれば、意思でいくらか設計可能であると考えることができ（例えば、ｒ曲線と呼ぶものを使う場合、明るさを幾分増強した形状であるためより明るい輝度に対して傾斜がますます小さくなり、すなわち円又は楕円の最初の４分の１のようにＳＤＲ輝度レンジの小さなサブレンジ内にそれらを効果的に圧縮する）、最も暗い色をさらに少し増強するためにＨＤＲからＳＤＲへの輝度マッピング曲線の暗い色のための増強部分を伸ばすことができるので、入力輝度レンジ又は曲線の一部の例えば誰かのコートの典型的なオブジェクトの明度を増加させ、読者は、異なる画像、異なるダイナミックレンジ、通常は異なる照明、及び潜在的に異なる符号化が行われたオブジェクトの明度を調和させることを望む場合、物事がより複雑になることを想像することができる。
ドルビーのような出願人もまた、我々が０−５０００ニットと定義したマスタＥＯＴＦを定義することが最善であると考える。１つの理由は、明るいアフリカのシーンで撮影された画像は、基本的にノルウェーの秋とは絶対的に異なることであり、すべての種類の数学的な（少なくとも輝度に影響を及ぼす）色変換を適用して最終的に適切な明度の外観を得ることはできるが、なぜ基準輝度レンジのルマ値及び対応する絶対輝度におけるこの違いを既に符号化していないのだろうか？（それらのルマを心理視覚明るさと相関するように設計することが有利であり、ＨＤＲ１０もＢＢＣも有していない異なるダイナミックレンジの画像に対応するマスタ開始ＨＤＲ画像から等級分けを行う場合に、適切な追加の曲線形状において芸術的な要求を容易に符号化することができる。）しかしながら、最も重要なのは、（それが異なるＰＢのディスプレイで起こったとしても）最終的にピクセル色の最終レンダリングのみがあり、少なくとも関連する（ピーク明度だけでなくＥＯＴＦとしてのグレースケールの振る舞いによって定義される）基準ディスプレイがなければ、画像は単なる（望ましくは正しくデコードできる）数字のセットでありそれ以上のものではない。それは、ＨＤＲ画像の最後の経験に関するものであり、その時点までにどのように設計されたかについてではなく、グレーダが基準ディスプレイで見るものでもある。明示的に定義された開始画像を作成側で作成するのは可能なはずである。したがって、これを固定する基準ＥＯＴＦを標準化することから始めなければならず（そうでなければ、例えば色等級分けに使用されるコンピュータ内のデジタルルマ番号は未定義となる）、そして、その上にさらなるシステムを構築することができる（ある種の相対性をシステムに戻すことを望んだとしても、少なくともそれは次に相対的に制御可能であり、いくつかの共通の好ましい基準輝度測定システムに基づいて決定される）。
ここで、何らかの新しいことが必要な基本的なＨＤＲの実態のバックグラウンドを上に要約したところで、作成者が何らかの理由で１つ又は他の方法で符号化しなければならないと決定した異なる画像を利用できるように、より実用的な状況に移行する。
ドルビーＥＯＴＦ対ＢＢＣ ＥＯＴＦ（本出願人はドルビーＰＱと非常によく似たＥＯＴＦを設計した、又はドルビーＰＱを使用できる）の動作の違いは、図１で見ることができる。ＯＥＴＦ１１３は、ＰＱ ＥＯＴＦである（１００００ニットまでグラフを示すと他の２つの曲線が不明瞭に小さくなるため、１０００ニットまでの部分しか示していない）。ＢＢＣ ＯＥＴＦ１１２は相対的な曲線であるため、符号化すべき絶対輝度について議論することができるが、それは通常は５００ニットまでである（又はおそらく１０００ニットまでであるがエラーを示し始めてあまり適切ではなくなる場合がある）。Ｒｅｃ．７０９曲線は最大１００ニットまでの絶対輝度を符号化することだけができ、様々な理由で遠い未来にはまだ多くのＳＤＲコンテンツが存在する可能性があることを覚えておく必要がある（例えばＨＤＲバージョンに簡単に変換できないなど）。ビット深度の議論を避けたいのでＹ軸上には相対ルマを示しており、これはこの出願にはあまり関係ない（すべての符号化が３つの色チャネルに対して１０ビットを使用するので、最大ルマ１０２３は、１０２３／１０２３＝１．０になると仮定する）。０．５（すなわち５１２、又は８ビットでは１２８）の入力ルマを得る場合、使用される符号化方法に応じて、対応する輝度としての何かを意味することが明らかである（０．７前後のどこかで１０倍異なる可能性があるので、ピクセルルマ置き換えスイッチを単純に行うと突然非常に暗い又は非常に明るい置き換えられたピクセルを生成する可能性がある）。図１Ｂでは、相対的な０−１．０の入力輝度にも曲線を定義すると、曲線がどのように異なるかを示している。符号化された画像のルマで始まる場合、レンダリングされる輝度は逆曲線から計算することができることは明らかである。
様々な符号化品質、チップ再設計コストなどの後の色エラーのような実用的な問題をすべて無視すると、単一のＨＤＲ画像セットのみを伝達する必要がある場合、３つの符号化メカニズムがうまく動作すると言え、研究、開発、標準化の第１の段階で焦点を当てた部分である。
しかしながら、実用的なＨＤＲ処理システムにはもっと多くのものが必要であり、そうでなければ、ユーザにはシステム設計者として果たすことができないこまごました事項及び疑問が残される。
出願人は、現場での典型的な単一種類のディスプレイ（５０００ニットＰＢのディスプレイを有する必要がある人、又はおそらく１０００ニットＰＢのテレビのみを買うことができる１００ニットのレガシーＴＶを持っていない人）について、単一の標準ＨＤＲビデオの通信（符号化）及び使用（最終的には適切なレンダリング）だけを処理することができない符号化システムを設計したが、そのシステムは、特定のディスプレイごとに最適な（再）等級分け画像を計算することができることによって、現場で様々なＰＢ＿Ｄを有する様々な考えられるディスプレイタイプを処理することができ、その技術を出願人は同調性又はディスプレイチューニングと呼ぶ。主な特徴、及び特に復号器２５１は、（この出願に必要な限り）図２に要約されている。
出願人は、視聴環境に依存する最終的な外観の最適化は、ＢＢＣが提案する最終的なガンマではなく、（受信機、例えばテレビ又はＢＤプレーヤの内部によって計算されるが）、テレビ（すなわち、その設計者）によって単独で決定されるのではなく、実際のディスプレイピーク明度及び視聴周囲明度のような受信側の要因に基づくのみで決定されるのではなく、画像が複雑であるため画像コンテンツ自体にも依存するメカニズムによって、ディスプレイ側で行うことができるというアプローチをとり、レンダリング側の特性に対する最適化もそうである。これは、コンテンツの作成とコンテンツの使用との間の古くて困難なギャップをクロスする。受信側は、実際に利用可能な表示能力を実際に知っている唯一の側であるが、作成側は、芸術的な要求のようなコンテンツについて間違いなく知っている唯一の側である。受信側で色の見た目を最適化するためにテレビの代わりに映画ディレクタやＤＯＰを売ることができない場合、少なくとも作成者に少なくとも大まかには意図をパラメータ的に指定させることができ、画像作成者は「私がこのＰＢ＿Ｄのディスプレイを持っている場合、私は少なくともこのように様々なピクセル輝度をレンダリングすることを好む」ということを数学的に指定することができる。
出願人の技術者は、画像コンテンツに依存する部分は、アーティストの色グレーダが、（ディスプレイのピーク明度の）考えられるレンジの２つの端部において異なるダイナミックレンジ又は実際にはＰＢ＿Ｃに対応する（単なる）２つの外観のために少なくともオブジェクトピクセル輝度を変更する最適な色変換に従って指定できるようにすることによって処理することができることを主張する（ただし自動画像解析関数も使用することができ、すなわち現在の画像の確立された輝度特性に基づいて輝度マッピング関数を決定することもできる）。したがって、ＨＤＲ外観画像は、出願人が５０００ニットを選択したやや高いＰＢ＿Ｃに対応すべきであり（出願人は別のＰＢ＿Ｃも差し支えなく使用することができるが）、低ＤＲ画像はレガシーＳＤＲディスプレイを使用している人の当初の既存市場の例えば９０％を満足するので１００ニットＳＤＲ等級分けであってもよい。特定のシーンでは、色グレーダは、「私が１００ニットＰＢしか持っていなければ、レンダリングされた画像においてランプオブジェクトをきれいに明るく表示するために４０００ニットでレンダリングされた画像にランプを置くが、これは、９５−１００ニットにおいて室内の低い輝度すなわち例えば１０から９０ニットの間のオブジェクトを十分に明るくレンダリングするために表示輝度レンジに十分な輝度空間があることを最初に望む場合には今は不可能であるから、おそらくすべてのランプのピクセルを正確に１００ニットにする」と言うことができる。例えば、５０００ニットと１００ニットの両方のディスプレイレンダリングに対して夜景を適切に暗くして街灯を十分に明るくするために同じことを行うことができる。読者は、（特にＩＣの複雑さのようなさらなる制約を伴う）ＨＤＲとＳＤＲの両方で夜間に適切に見える、すなわち（例えば、明るくない影の場所に座っている黒人）オブジェクトの正しい輝度の夜間等級分けは些細なことではないことを熟考するために少し立ち止まるべきであるが、（もちろんディスプレイが仕様にほぼ準拠していて、全く別のイメージをそれ自身によって作成していない場合には）少なくとも完璧主義ではない場合は合理的に行うことができる。
１つは画像をレンダリングするための高品質ＨＤＲディスプレイを有する状況のためであり、もう１つは従来の１００ニットＳＤＲディスプレイのためであるこれらの２つの等級分けされた画像（Ｍ＿ＨＤＲ及びＭ＿ＬＤＲ、その輝度分布の外観は典型的には人間によって決定される）を得て、出願人は、２つのフルセットの画像を符号化して通信すること、すなわち２つのチャネルなどを必要とするデュアル符号化の必要性を避けたかった。また、出願人は、２つの異なるＤＲ等級分けされた画像を、既存のＭＰＥＧタイプのＤＣＴベースの符号化で符号化できるようにもしたかったので、実際に通信される画像のセット（例えば、必ずしもそうではないが、画像のＳＤＲシーケンス）から画像を計算するのに使用するために、ビデオ画像の２つのシーケンスのうちの１つを色変換関数（Ｆ＿Ｌ）でパラメータ的に定義することを決定した。したがって、例えばビデオ符号化器２０３によって符号化されたＨＥＶＣ符号化ビデオ信号ＳのようなマスタＨＤＲ画像Ｍ＿ＨＤＲを、いくつかのビデオ通信システム２５０を介して通信することができる（当業者は、本システムが、例えばプロのビデオ供給サービスからコンピュータである受信機への又はホームネットワーク又はプロの証券化ケーブルベースの通信システムにおいて接続されたコンシューマ装置間の航空放送のような多くのシステムで使用することができ、受信機は映画館のプロの装置、又はインターネットベースのシステムなどであることを理解する）。符号化器はまた、色変換関数Ｆ＿Ｌを定義するすべてのパラメータを例えばＳＥＩメッセージ又は同様のものであるメタデータとして追加する。又は、その逆に、受信側で例えばＭ＿ＨＤＲのような高いダイナミックレンジの画像を再計算することを可能にする関数と共にマスタＬＤＲ等級分けＭ＿ＬＤＲを送信することができる。
したがって、作成（又はトランスコーディング）側では、例えば、前もって作成されたマスタＨＤＲ画像Ｍ＿ＨＤＲ、典型的には５０００ニットのＰＢ＿Ｃ（これは同じ色等級分け装置上で同時に行われてもよいし、別の態様で予め決定されてもよい）からマスタＬＤＲ外観画像Ｍ＿ＬＤＲを得るために、要望通りに様々な色変換関数Ｆ＿Ｌを決定して適用するように構成された色変換ユニット２０２を含むいくつかの色等級分け装置２０１がある。画像処理の一例として、読者はＷＯ２０１４／０５６６７９を参照することができ、この出願の教示はそのようにすることができる国においてそれらの全体が本明細書に組み込まれる。変換の一例として、色度に影響を及ぼさないがピクセル輝度（以下に述べるすべての議論は理解を容易にするために輝度変換に焦点を当てる）にのみ影響を及ぼす関数を想像することができ、これは、高い輝度を幾分下方に曲げ、相対的な０−１．０ＨＤＲ入力（ｘ軸）の暗い色を関数のＬＤＲ出力プロットにブーストして、相対的に暗い１００ニットディスプレイ（ｒ形状曲線）で十分に明るく見えるようにする。しかしながら、ＬＤＲ画像とＨＤＲ画像との２つの関連する最適な外観を作ることができる限り、いくつかのオブジェクトの輝度をカスタマイズ可能かつ潜在的に局所的にのみ微調整するより複雑な関数、及び、彩度のような色度面を変換することも可能である。
ここで、この符号化技術で次にできることは、実際に接続されたピーク明度が例えばＰＢ＿Ｄ＝１５００ニットのディスプレイ２８０に対して正確に等級分けされた外観を有するＭ＿ＭＤＲ中間ダイナミックレンジ画像が必要なため、実際に５０００ニットＭ＿ＨＤＲ画像を再計算する必要がない場合であり、本ディスプレイチューニングアルゴリズムを用いて、受信したＭ＿ＨＤＲ（又は他の実施形態／出願ではＭ＿ＬＤＲ）画像から正確に等級分けされたＭ＿ＭＤＲ画像を得ることができる。受信側は、通常の（例えば線形ＲＧＢ又はＹＣｂＣｒ）画像Ｍ＿ＨＤＲと、Ｍ＿ＨＤＲをＭ＿ＬＤＲに変更するために必要な色変換関数（Ｆ＿Ｌ又はその逆形状のミラー関数）とを出力する古典的な例えばＨＥＶＣ複合器２６０を含む。このすべての情報に基づいて、色処理ユニット２７０（この例示的な実施形態では、例えばＳｅｔｔｏｐｂｏｘ内のＴＶとは別個のもの、又はビデオオンデマンドプロバイダのサーバなどであると仮定するが、ＴＶの内部にあってもよい）内の色チューニングユニット２７１は、受信した画像から必要なＭ＿ＭＤＲ画像を決定するために必要な最適関数Ｆ＊＿Ｌを決定するだけでなく、最終的にそれらの中間ダイナミックレンジ画像Ｍ＿ＭＤＲを出力する。Ｆ＿Ｌ ＳＤＲからＨＤＲへの輝度変換関数に基づくＳＤＲからＭＤＲへの輝度変換のための適切なＦ＊＿Ｌ関数を得るためのディスプレイチューニングアルゴリズムは、例えば視聴環境の詳細を考慮するなど、どの実施形態の変形が望ましいかに応じて非常に複雑であり得るが、本出願を理解するために、これらすべての詳細は必要以上のものであるので、読者は、何らかの入力される符号化画像及びＭＤＲ画像から得るために適用する輝度関数Ｆ＊＿Ｌ、例えばガンマ関数があることに留意することができる。
このメカニズムでは、単一の考えられる種類のＨＤＲディスプレイだけでなく（例えば誰もが１０００ニットＰＢ＿Ｄディスプレイを購入する必要があり、誰も３０００ニットＰＢ＿Ｄディスプレイを購入することができず、少なくとも測色制度に配慮していない場合にきれいに見える画像を得ることができない）、任意の考えられるディスプレイについて、最適なＨＤＲ画像レンダリングが可能になったが、この追加の技術的専門知識は、完全に柔軟なＨＤＲ処理エコシステムではまだ不十分である。これまでに要約された技術は、単一の撮影されたＨＤＲシーンから単一のＨＤＲセットのビデオ画像を取得して様々な消費サイトに正確に出力すること、及び利用可能な単一のテレビで適切にレンダリングする態様のみに焦点を当てている。これは新しいＨＤＲビデオ技術の準備をするために難しい仕事であったので、さらなる側面が遅れて後で扱われた。
しかしながら今日ではビデオプログラミングはより複雑である。あらゆる種類の異なるサイトから供給を得たいし、（ヘリコプターからのライフニュースの供給、又はヘルメットに結びつけられたＧｏＰｒｏでアクションを撮影するスポーツマンでさえ）簡単なポータブルデバイスで（消費者でさえ）ビデオコンテンツを作成するのが簡単になり、例えばインターネットのような通信手段を介して簡単にそれを通信することができる。実際には、少なくとも理論的には、消費者による大きな展開がテイクオフのために依然として必要であるため、テレビはインターネット接続を備えたコンピュータのようになり、ビジュアル情報として提示される様々なデータソースを使用又は共同供給させることが可能になっている。例えば、同じディスプレイの領域であるか又は隣接するディスプレイであるかどうかにかかわらず、ディスプレイレンダリングされた領域でビデオゲームをプレイすると同時に裏でニュースプログラムを見るなど、ビデオの様々な用途が期待されている。
この問題はＬＤＲ領域で始まったが、すべてのビデオが同じＲｅｃ．７０９測色で定義されており、多かれ少なかれ同様に照らされ露出されていたので、そこまで難しくなかった。そして、例えばゲームのコンピュータグラフィックスでさえも同様に定義されていた。しかし、今日では、ＨＤＲビデオ又は画像は、提供したいものであるので何であってもよく、複数の画像（部分）投稿を処理して特に合成するための優れたフレームワーク戦略が生まれない場合、将来の混乱を予測することができる。上記の通り、以前はすべてのビデオが同じＬＤＲフレームワークで定義されていた、すなわちすべての最大ルマコードが同じ１００ニットレンダリング輝度に対応し、最大以下のルマに対応する輝度は単一の既存のＲｅｃ．７０９ＥＯＴＦの手段によって復号することができた。
カメラはいくつかの「マイナーな」設定微調整を行う可能性があるため、（特に複雑な作成又は外部放送及び他のフィールド作成では）いくつかの関心事と注意深い処理の必要があった。重要なものは、典型的にはホワイトバランス（すなわち、ニュートラルな白色の色彩的な側面、すなわち、白色オブジェクトがあまりにも青みを帯びているか又は黄色がかっているか否か、それは異なるカメラフィード間で切り替えると目立つようになる）及び露出設定であった。カメラの１つの同じシーンの撮影の露出を低下させると、そのカメラは、暗すぎる画像を与えるとすぐに検出される。特に、目立つ同じショーのプロフェッショナルなマルチカメラ作成の場合、ニュース番組においてライブレポートへ移動すると、（特にそれが素人の携帯電話のビデオの場合）異なる撮影であるか又は少なくとも全く異なる見た目のシーンの撮影（時間的に挟まれているかピクチャインピクチャであるか否か）である（例えばよく照らされた米国のスタジオではなく、カイロの夜景など）ことを予想する。ここで、区別すべき２つの状況がある。もちろん、夜のシーンと砂漠の正午のシーンとを切り替える場合、視聴者は、例えば視聴者を驚かせない又は視聴者が目を細めない砂漠のシーンについてそれは合理的な違いであるが、平均的なシーンの明度又はシーン内のオブジェクトの輝度の違いを予測する。しかし一方で、カメラ露出とレンダリングディスプレイの最終的な明度との組み合わせを用いることによって、夜のように又は明るく見える任意のシーンを作ることができる。ＳＤＲ時代には、それは、カメラマンが不都合な露出選択をしなければならない場合、奇妙な画像を導く場合があった。例えば奥行きがある部屋の窓から遠くに立っている人は、窓の近くのものよりもはるかに暗くなる。カメラマンは、暗い領域の人物のために露出して、その人物がうまくカラフルに見えるようにするために、画像の左側とそこにあるすべてのルームオブジェクトが完全に白にクリッピングされ、視聴者に不快な「ハーフ画像」を見せることになる。しかしながら、少なくとも測色は合理的に定義された。このような色が出てくることは分かっており、それはそのような画像が混合されているか単独でレンダリングされているか否かに無関係に同じであると分かっていた。ＨＤＲ時代には、すべての領域を白くクリッピングするのではなく符号化可能にすることによって、例えば室内の明るい部分が特定のシーンの俳優又はプレゼンタの輝度にどれくらい明るく対応しているかに依存して露出を下げることによって、このような問題を解決したいと考えていた。しかしながら、それは、ビデオコンテンツを調和的に混合することを望む場合、問題として意地悪く戻ってくるので、以下の実施形態の技術が必要になる。
さらに、最近のより複雑なカメラには、例えば黒ガンマなどの追加の設定がある。２つの異なるカメラを完全に一致させることは容易ではない（同じブランドであれば、少なくとも例えばスイッチをオフにする又は同様のすべての「エキゾチック」なパラメータを設定することができる）が、少なくともそれは、色差に対して特別な目を持ちこれらの測色設定すべてを遠隔からカメラ制御するエンジニア（又は技術ディレクタ）であるカメラシェーダの仕事であった。これは、実際のカメラオペレータが十分に難しい仕事であるフレーミングに集中することを可能にし、特に、俳優がシーンを飛び回るなどのいくつかの作成ではそうである。いずれにしても、ＳＤＲフレームワークでは、たとえ少し間違っていたとしても、コンテンツ作成者が、様々な拡散反射率にほぼ対応する１００：１の限定されたレンジと相まって、少なくとも彼の主題が合理的に照らされていること（すなわち、白色の少なくとも１０％、又はルマ又は視覚明度の印象として中間グレー以下で約１ストップ）を確認したという事実と、他のオブジェクトの輝度と比較して間違って配置されたオブジェクトの輝度との不正確な組み合わせは、一般的にあまりにも不調和ではない（少なくとも、批判的な視聴者は、例えば黒が少し乳白色の灰色になるなど何かが間違っていると感じる場合があるが、ＨＤＲ作成で起こる可能性のあるものとして、大きな明度の違いを伴って実際に強く明るく見えるもの又は輝くものは何もない）。
しかしながら、新興のＨＤＲ時代には、そのような単一の０−１００ニットのＬＤＲ基準レンジはなく、カメラ（及び他のシステム）もそのレンジ内で比較的単純に作用しない（すなわち典型的には非極端な色変換を行う）。図１から分かるように、明らかではないが将来的には可能性のあるＨＤＲコーデックの１つだけを使用することを選択したとしても、まだＬＤＲコーデックで定義されたコンテンツが存在する。そして５０００ニットと１００ニットとの違いは非常に極端であるので、「マイナーな」見た目の変更とは言えない（実際には専門家によってのみ気付かれることもある）が、非常に目立ち、潜在的に非常にいらいらさせる変化である（テレビのような様々なデバイスが将来の広大な色空間の広大な輝度範囲に沿ったデザイナーの好みに従って動作するなら、可変性がさらに極端になり、望ましくないことが予測される）。
この問題は、単一のソースから単一のプログラムを見ている場合にはそれほど目立たない。例えば、誰かが暗い環境で高いＰＢ＿ＤディスプレイのＨＤＲコンテンツを見ていると、色がやや明るすぎるかもしれないが、少なくとも視聴者の目は適応可能である。例えば２つのビデオのＰＩＰ（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ）提示によって画像を判断するための基準がある場合、違いは常に非常に明確になる。
画像は今日どこからでも来るので、必ずしもすべてが画像の外観を決めるディレクタの制御下になく、制御されたフレームワークにおいてそれらによって表示されないが、ディスプレイ側において潜在的に最初に一緒に来ることもあり（例えば専用のコマーシャルが挿入される）、様々な元のＨＤＲ画像の合成を調整するための緊急に良いフレームワークが必要になる。
したがって上記のように、（新規）ＨＤＲ技術の大部分は、レンダリングされた輝度に変換することができる明示的に定義されたピクセルルマを通信することによってＨＤＲ画像情報を全く通信可能にすることに焦点を当てている。コンテンツのＰＢ＿Ｃよりも低いＰＢ＿Ｄを持つディスプレイがある場合、そのディスプレイに輝度をＰＢ＿Ｃまでレンダリングすることができないので、何かをする必要がある。線形圧縮（相対的に白から白にマッピングすること、すなわち、符号化された輝度ＰＢ＿Ｃを有する画像内のピクセルを実際に輝度ＰＢ＿Ｄのディスプレイにレンダリングすること）が可能であるが、レンダリングされた画像は最適ではないように見える可能性がある（例えば画像の一部の暗い部分が暗すぎるように見える場合があり、おそらくアクションが起こっていても目に見えない）。したがって、例えばｒ形状曲線を用いて暗い輝度を合理的に見えるように維持するよりスマートな輝度マッピングを試みることができる。例えばＴＶの内部で一般的なガマットマッピング技術が可能であるが、これらはブラインドであり、すなわち特別なＨＤＲ画像に適合しないため、厳格には最適ではない。
ＵＳ２０１５０２４５００４は、２つの画像を混合することができ、そのうちの少なくとも１つはＨＤＲ画像であり、もう１つはＳＤＲ画像であってもよいことを教示する。この出願では、色空間の不一致（すなわち、他の加法混色の原色がｓＲＧＢの通常のビデオ定義よりもＤＣＩ Ｐ３カラー定義で使用されているためＲＧＢ三角形の幅であるが、ここでの主なエッセンスであるもの、すなわち画像ピクセルの輝度、及び画像符号化の対応するダイナミックレンジに加えて選択することができるので、色彩的側面は本出願の説明とは無関係である）、及び、ダイナミックレンジの不一致の両方があることを記述している。この出願は、ビデオミキシングの仕組みについてはあまり詳しく述べられていないが、（００２９）において、混合は、ディスプレイ装置の色空間すなわちこの出願の命名においてＰＢ＿Ｄで終わるダイナミックレンジで起こり得ることを述べている。さらに、この処理は、異なる変換関数ＴＦ又はガンマ補正（００２７）に変換することに関連するように見える。最後に、合成ユニットがビデオコンテンツのダイナミックレンジを評価することができ、おそらく入力画像の統計的分析が行われ得る（００２８）ことをさらに詳細に教示していないことに対応するという非常に一般的な教示が（００３６）にある。当業者は、既存の知識に照らしてこれを解釈するであろう。入力ビデオの統計的性質、すなわち輝度ヒストグラムの終点を調べ、そのヒストグラムを特に利用可能な表示範囲に対して最適化するＳＤＲビデオ最適化の教示が実際に存在する。例えば、様々な理由により、撮影された画像内の黒又は最も暗いピクセルが、例えば０の代わりに３０ルマになるなど、おそらくそうである（又はおそらくそうでなければならない）よりも明るいことは珍しくない（オーバーフロー保護範囲、表示光の漏れ、照明に依存する可視性の問題などについての複雑な詳細は再度無視する）。次に、ヒストグラムを引き伸ばして、３０の代わりに０である画像ルマを最小にすることができ、これにより、画像構造のコントラストが向上し、より良い黒が得られるので、きれいな画像が得られ、特に暗いサラウンド視聴に適している。
実際には、さらに発明された詳細を教示されることなくビデオミキサを設計する必要がある場合、当業者は、図１３で説明するように考慮すべき以下の２つの選択肢を有することができる（図１で説明されるように、ルマコードを混合することは別として、これは純粋なＳＤＲ画像混合に対しては素晴らしくてシンプルであるが、画像を別々に定義した場合にはそれほど明白又はスマートではない）。教示が異なる変換関数のために変換する必要があると言う場合、当業者は図１３ａにおいて自然に設計された混合システムを考える。この混合において、例えば最大５０，０００ニットの十分に大きいある範囲の自然輝度（１３０１）を有し、実際には、コード定義のＯＥＴＦ形状が何であれ、それらを輝度に変換する。両方の画像が（物理的に一意に定義された）輝度を含んでいれば、原理的にそれらを混合することはもちろん可能であるが、実用的な心理的視覚的及び芸術的考慮が与えられると、それが十分であるかどうかが問題である。第２に、例えば７００ニットのＰＢ＿Ｄの共通の予め設定されたディスプレイダイナミックレンジ（１３０２）にマッピングする場合［単純化するためにＯＥＴＦのステップ及び対応する輝度についての純粋な理由をスキップする］、次に考え得る別の自然なマッピング（例えば相対マッピングのパラダイムなど）は、ディスプレイの能力に合わせて（「画像の統計的性質」に基づいて）画像を調整する（すなわち、画像のダイナミックレンジをディスプレイのダイナミックレンジに向ける）ことである。これを行う自然な態様は、例えば線形的にレンジを拡張する（すなわち、白から白へのマッピングに対応する）ことである。いくつかのガンマ形状マッピング関数を適用することもできるが、問題はそのガンマ係数をどのようにすべきか、そしてその理由である。しかしながら、これはまさに既にいくつかのケースで正確に避けたいと思う結果を生み出している。例えば雪が降っている風景のＳＤＲ画像を７００ニットに伸ばすと、それは鬱陶しいほど明るくなる。
さらに、これらの自然マッピングシステムは、最も明るい色をマッピングすべき場所のように、エンドポイントに関する考慮からのみ完全ではないが、このような技術は、上述のようにおそらくＨＤＲの最も重要な側面、つまり（正確に制御された）ダイナミックレンジのエンドポイント間のすべてのオブジェクトの輝度の分布を完全に無視する（現在、この点はいまだ多くの人が理解していないように思われ、低いダイナミックレンジのディスプレイで正しくレンダリングされた画像は、例えばコントラスト及びＨＤＲ効果などの高ＤＲディスプレイでの制御の悪い画像よりもよく見えることがしばしばあるが、ほとんど専門家ではないにしてもＨＤＲは単に白の輝度値を黒で割ったものでどのような技術でも到達することができると主張していると思われる）。ダイナミックレンジは、ＨＤＲのＰＢ＿Ｃ＝５０００ニットのマスタ等級分けの雪の例に焦点を当てることによって、単に技術的なエンドポイントに関するものではないことを容易に理解することができる。グレーダは、例えば、太陽の下の雪の最も明るい部分を８００ニットにマッピングするが、別のグレーダはわずか５５０ニットにするかもしれず、したがって、この画像のためにコーデックの能力の大部分が使用されないので、これは本質的に低いダイナミックレンジの状況のように見える。ＳＤＲの等級分けでは、通常、グレーダは雪の最も明るいピクセルを１００ニットにすると仮定される。ＭＤＲの等級分けされた画像では、様々な画像コンテンツのもしかしたら非常に複雑な混合ではなく、１つの画像のみをレンダリングする場合でも、最も明るいピクセルをどの輝度にすべきかを検討することができる。だから、雪のピクセルが最終的にレンダリングされるべき最終的な（混合）輝度をどのように知るのか、それがＳＤＲ画像から来ているのかどうか、それが最大１．０で相対的に符号化されているか、又は「いくつかの」ＨＤＲ画像符号化から来ているのか、最も重要な決定要因ではない可能性があるのでＯＥＴＦ形状を無視した場合でさえ、雪のピクセルは一見したところ例えば０．１２６の相対輝度である程度恣意的に出現する。
図１４は、任意の技術的なシステムのダイナミックレンジに焦点を合わせるだけの方法、例えばガマットマッピングのブラインド輝度変換がどのように機能するのかのような、符号化が主にエンドポイントによって定義される範囲のものとして理論的基準ディスプレイ又は実際のディスプレイなどに対応するかどうかにおいて見過ごされる別の重要な点を明らかにしている。特にＨＤＲにおいては、オブジェクトの照明は、例えばＳＤＲニューススタジオにおいてしっかりと制御される必要はないが、原則として何でもよい。森の中の空いた場所を過ぎて例えば草原の領域の太陽の下を歩くと、森の内部が既に黒く見えると視覚的に認識し得る。それはもちろん、全くそうではない、なぜならそれは黒くそこにある木は他の場所と同じように茶色であり、やぶは新緑のようであるからであるが、局所照明は太陽の完全な光と空がある木のないフリースポットの局所照明よりも例えば１／２０又はそれ以下であるから、１／２０は人間にとって近くで見るまでは心理視覚的に黒のように見える。
したがって、Ｔシャツのようなオブジェクトは、同じ映画であっても異なる輝度を持つことがある（言い換えれば、それは例えば１０００ニットのＰＢ＿Ｃ＿ＨＤＲのレンジのどこにでも落ちる可能性があり、グレーダはマスタ等級分けではバリエーションを幾分制限することを決定することができるが、元のシーンのカメラで撮影された相対的な輝度と自然なほぼ１対１の関係を用いて説明する）。太陽の下では、Ｔシャツは青い空のかなりの立体角によってほとんどが照らされる開始の半影よりも＋−５倍明るくなる。確かに１００ニットは、芸術的には「曇った日」の良いＨＤＲディスプレイへのレンダリングを期待するものであり、５００ニットは本当に日光が出たら現れるかもしれない。さらに人が森に入ると、その人に光を当てることができる空の領域が木の葉によってブロックされるので、特定のオブジェクト、この場合は人のＴシャツの輝度は、例えば１００ニットになり、それゆえ明るいＴシャツよりも５０倍暗く、それゆえこの特定のＨＤＲシーンのレンダリングではやや黒く見える可能性が高い。おそらく、家庭での視聴のための映画的なＨＤＲ等級分けにおいて、輝度は例えば所与の値の半分に控えめに等級分けされるが、様々な輝度の分布は同じ点を証明する。
したがって、今の問題は、上記の比較的静的な混合態様のいずれかを使用すると、実行中のビデオに（その輝度の詳細とともに）これらの様々なＴシャツのレンダリングを散在させることであり、これは常に「自動的に」合理的に良いものであるのか、もしそうでない場合は何をすべきか、ということである。
（潜在的に非常に）異なるダイナミックレンジを有する画像の合成を合理的に調整する方法を必要とする上記の問題は、複数の画像（Ｉｍ＿ＨＤＲ、Ｉｍ＿ＬＤＲ）の２つの画像又は２つのビデオであって、そのうちの１つが高ダイナミックレンジの画像又はビデオである２つの画像又は２つのビデオを合成するための装置（３０１）を有することによって解決され得る。複数の画像（Ｉｍ＿ＨＤＲ、Ｉｍ＿ＬＤＲ）のうちの２つの画像又は２つのビデオであって、そのうちの１つが高ダイナミックレンジの画像又はビデオである２つの画像又は２つのビデオを合成するための装置（３０１）は、
複数の画像のうちの２つの画像又は２つのビデオのうちの少なくとも１つの画像又はビデオの最大輝度と、複数の画像のうちの２つの画像又は２つのビデオをレンダリングするためのディスプレイのピーク明度とのうちの少なくとも１つに基づいて決定される最大輝度（ＬＭＣ）を少なくとも特徴とする合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）を確立するダイナミックレンジ確立ユニット（３０２）であって、ダイナミックレンジ確立ユニットが、合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）におけるアンカー輝度（ａｎｃ）を決定する輝度アンカー決定ユニット（３０３）をさらに含む、ダイナミックレンジ確立ユニット（３０２）と、
２つの画像又はビデオの少なくとも１つに少なくとも輝度変換を実行する色変換ユニット（３１０）であって、色変換ユニット（３１０）は、２つの画像又はビデオの第１の画像又はビデオ（Ｉｍ１＿ＬＤＲ）を供給する第１のソース（３５０）から少なくとも１つのソースアンカー輝度（Ｌ＿ＳＡ１）を読み出すソースアンカー輝度読み出しユニット（３１１）を含み、色変換ユニットは、第１の画像又はビデオに適用される色変換（ＦＦ＿１）を確立し、その色変換は、ソースアンカー輝度（Ｌ＿ＳＡ１）がアンカー輝度（ａｎｃ）の近傍の出力輝度にマッピングされるという性質を有することによって、ソースアンカー輝度（Ｌ＿ＳＡ１）の値に依存する、色変換ユニット（３１０）と、
複数の画像のうちの２つの画像又は２つのビデオを合成して、少なくとも１つの出力画像（Ｉｍ＿ｏ）を形成する画像合成ユニット（３２０）とを含む。第１に、疑念を避けるために、画像の合成より、空間的又はビデオの場合にはおそらく時間的にも画像コンテンツをまとめる様々な考えられる選択肢を意味する。合成は、広いラテン語の元の意味で「２つを一緒にする」と理解されなければならず、このテキストでは１ピクセルあたり２つのソースを重み付け加算するために取っている例えば混合の限定された意味で理解してはならない。当業者であれば、この発明の様々な実施形態が、とりわけ様々なピクチャインピクチャの合成で生じるビデオの良好な（輝度の調和的又は協調的マッチング）合成、フェードのような混合の合成、又は例えば映画中の定期的なコマーシャルへのカットなどのような時間的散在、の必要性を解決することを理解する（一般に、これは現在、例えばあたかもそれがページであるかのように第１の画像をひっくり返し下にある画像のピクセルを表示することに対応する時間的変化量で、第１の画像の少なくともいくつかのピクセルを第２の画像の一部に空間的にインターリーブすることを含むが、本発明は、ピクセル色、特にそれらの知覚された明度が正確に対応することを確実にする）。画像の空間領域を他の（一部又は全部の）第２の画像に置き換えた場合、及び、第１のビデオの画像の間又は後に別のビデオシーケンスの画像を時間的に示す場合の両方において、点滅するコンテンツなどがある場合は特に、あまりにも明度の不一致があってはならない（すなわち、画像の１つが、例えばその主ヒストグラムローブ又はキーオブジェクトに関して他のものよりも過度に明るく見えてはならない）。このようなシナリオでは、（空の表現の）合成画像のダイナミックレンジである合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）を、合成画像データで満たされるように確立することができる（例えば、時間的に散在又は連続する２つの最大レンジであるとみなすことができる）。
当業者には、高ダイナミックレンジの画像が何か、すなわち１００ニットのピーク明度に対して定義されたレガシーＬＤＲ画像ではない画像、すなわち古典的なＬＤＲ方式では合成できない画像であるのはなぜなのか明らかである（２つの異なる画像符号化フレームワークで定義された画像オブジェクト又はピクセル輝度間にある程度の不一致があるように思われる）。当業者には、装置が２つの静止画像（又は例えば５）しか得られない場合、典型的には出力画像（Ｉｍ＿ｏ）は１つの静止画像となることは明らかである。連続する画像の２つ以上のビデオが合成される場合、出力ビデオ、すなわち何らかの形のそれらの画像の連続が生成され、例えば各ビデオが各時刻の画像を有する場合、結果のビデオは、元の２つの画像シーケンスと対応する時刻に正確に同じ量の画像を有するアルファブレンドされた混合ビデオであってもよく、又は結果のビデオは、異なる時刻の画像を有してもよく、例えば第１のビデオの１００％の長さ、第２のビデオの＋５０％の長さを有し、その様々な画像がいくつかの時刻に混合して割り当てられる。
この特許の教示を可読かつ簡潔に保つために、その教示は輝度ダイナミックレンジの違いをどのように処理するか、及びこれが視聴者に与える明度の印象を最優先にしているので、あえて単に輝度の変換を行う実施例を示す（読者は画像がグレースケール画像であると装うことができる）。しかしながら、もちろん当業者は、実際には典型的には色変換が行われることを理解する、例えば輝度が線形ＲＧＢ色定義にどのように対応するか、及び、例えばＷＯ２０１４／０５６６７９のように線形ＲＧＢ上に色を変換することによって所望の輝度を有するピクセルをどのように生成するか、の両方を理解することができる。簡潔さのためにビデオについて何か以下で言う場合、当業者は静止画像にも適用できることを理解する。場合によっては、リアルタイム性の観点から、ビデオはより簡単な処理態様を望む場合があり、それが混合のためのエレガントな迅速な解決策が提示される理由である。人間はＨＤＲ画像が正確に何であるか、様々な混合、提示に何が必要であるかを最良に判断することができるので、実施形態のより良い実行は人間のアーティストの介入で動作するものもあるが、他の実施形態では画像解析アルゴリズムによる自動注釈で動作する。
装置は、非常に複雑な合成問題がより管理しやすいものになる理由の一部である新たなダイナミックレンジである最適な合成輝度ダイナミックレンジを確立することができる必要がある。以下に説明するように、これは単純に既に存在する、すなわち既に発明され定義されているダイナミックレンジの１つである必要はない、すなわち必ずしもソース画像のダイナミックレンジではなく、コンテンツが意図された表示（いくつかの作成側装置は、現場で予想される表示が典型的な代表例である、消費者の構内において良好な基準表示が何であるかの妥当な推定値を有することができるが、いくつかの実施形態では分からないかもしれない）にレンダリングされるべき最終的なディスプレイのダイナミックレンジでもない（それがたとえ合成中に知られていても、これはすべての実施形態にとって真ではない）。その合成輝度ダイナミックレンジは、合成プレゼンテーションが視聴者に最良の視覚的品質又は影響を与えるようにすべきである。それはもちろん、定義されたコンテンツの様々な側面に依存する。メインコンテンツ（特許請求の範囲が読みやすくなるので第２の画像又はビデオと呼ぶ）が例えば映画である場合、映画制作者は例えば映画を乱されることを好まない。例えば、明るいコマーシャルの後に視聴者は映画の暗いシーンで何が起こっているか分からなくなるようなことはすべきではない。このようなシナリオでは、典型的には、２つのビデオのうちの輝度特性が歪んだ一方があり、他方の入力ビデオとより調和するようになるので、したがって合成ビデオ、映画は最も重要な（又は主要な）ビデオであり、（可能であれば）輝度が大きく歪まないようにする必要がある。しかしながら、コマーシャルプロデューサやスポンサも、コマーシャルが最終的なレンダリングで可能な限り最高に出てくるのを見たいと考える。色変換ユニット（３１０）及び／又は合成ユニット（３２０）は、コマーシャルが映画を越えることはできないが、例えばＬＤＲコマーシャルもまた不必要に暗くレンダリングしてはならないというポリシーを実施する。例えば、映画の中の他の関連するオブジェクトに比べて顔があまりきれいに見えずにほとんど黒に見える場合がある。上で述べたように、人間の視覚システムがその明るい領域でグレー値の解釈を適応させると、森林は非常に明るい日差しの領域に比べて黒く見え得る。したがって、ＨＤＲ映画又はブロードキャスト（又はゲームなど）の中で、非常に明るい、例えば２０００ニットという重要な（大きな）領域が存在し、特に合成ＳＤＲピクセルに近接している場合、およそ２０ニットのみのＳＤＲオブジェクトは黒く見え、それゆえ合成する前にいくらか明るくすることが望まれる。また、例えば顔の特徴又は他のオブジェクトの細部の視認性は、オブジェクトの平均輝度及びコントラストと共に減少する。単一の画像であっても、いくつかの状況では、オブジェクトの輝度分布（例えば、ＨＤＲレンダリングのピクセル輝度ヒストグラム）が完全に最適ではないと不平を言う人がいることを経験したが、あまりにも明るすぎるシナリオでは、視覚的適応と人間の脳は、単一の画像がレンダリングされている場合、脳がその単一の画像内のすべてのオブジェクトが何であるべきかを決定し調節することができるから、通常は相対的に寛容である。しかしながら、オブジェクトが別の画像で空間的に構成されている場合、視聴者は、コンテンツがフレーム内にあっても、差異が深刻であることに気付くことになる。なぜなら脳は、画像のコンテンツの一部をシーンの明度分布の基準として判断し、シーンは通常ＰＩＰとしてあまり切り離されず、むしろ滑らかな照明変化を有するからである。示されるように、どちらが良い明度の合成であるかを一見して知ることは容易ではない。例えば映画の作成者は、どのローカルコマーシャルが（例えばケーブルオペレータによって）挿入されるのか、又は（おそらく自宅のコンピュータ又はコンテンツを管理する中央の家庭用機器によってストリーミングされる）映画を見ながら視聴者がどのような第２の画像をいくつかの画像ソースから例えばＰＩＰに選択するかを知らないので、少なくとも、別々のビデオの作成中にはそれはできない。また、例えば比較的明るいオブジェクトの視覚的重要性は、とりわけその大きさに依存することにも留意されたい。２つの画像を利用可能にすることにより、装置はよりスマートな合成決定を行うことができる。例えばそれがＳＤＲ画像である場合に例えばＨＤＲコンテンツをより第１の画像のようにするために最大レンダリング可能輝度（ＬＭＣ）を下げる必要がある場合がある。これは、ピクセル又はオブジェクト輝度（オブジェクトは意味的に関連するピクセルのスマートにグループ化されたセットである）のさらなる特性を見ることに依存する。例えば、最も明るいオブジェクトがランプである場合、しばらくの間、合成ダイナミックレンジ（ＣｏｍｂＲｎｇ）内のランプの明度を下げることができる。これは最も壮大なＨＤＲではないが、ＨＤＲ画像はきれいに明るくランプをレンダリングするためにまだ使用することができ、特に合成画像（ＬＭＣ）よりも低いピーク明度（ＬＭ＿ＭＤＲ）を有する接続されたディスプレイの場合、非常に明るい符号化可能なランプはいずれにしてもコーデックの輝度で正確にレンダリングすることはできない。したがって、ダイナミックレンジの高い映画がまだあるが、合成の状況により適したダイナミックレンジがある。
実際、２つの典型的な代替シナリオを考えることができる。一般的に、合成ダイナミックレンジ、すなわち少なくともその上部輝度（ＬＭＣ）は、一方では少なくとも２つの画像の入力のニーズ、他方では、レンダリングの何かが既に確認されているなら画像合成をレンダリングすべき想定されたディスプレイのダイナミックレンジ（少なくともピーク明度）のニーズ（すなわち、典型的なＨＤＲディスプレイの適切に提示された画像コンテンツのＨＤＲニーズ）を見る装置によって規定される。したがって、いくつかの実施形態では、これらを使用するためにどのように調整すべきかに関してまだ何も言われていない又はそれほど賢明なことが言われていないなら、２つの画像だけに基づいてＣｏｍｂＲｎｇを決定する必要がある（しかしながら、いくつかの実施形態では予想される典型的な使用に向けて既にチューニングが行われている場合があり、例えばＰＢ＿Ｃ＝５０００ニットのマスタＨＤＲ画像が主により低いダイナミックレンジのディスプレイに示され、ＳＤＲ画像素材にかなり散在していることが予想される場合、例えば通信用ビデオ圧縮のためにＰＢ＿Ｃ＝５０００ニットよりも低いダイナミックレンジで、例えば予想される典型的な消費側のディスプレイの例えば１０００ニットのピーク明度の１．５倍で合成又は合成可能（受信側では、いくらかの画像情報が依然として輝度変換される必要があることを意味する）画像を早くも作成することを考え、それゆえ合成ダイナミックレンジは、例えば１５００ニットのＰＢ＿Ｃを有する）。第１の典型的な例は次に、ＨＤＲ映画、すなわち連続する画像の２つの入力ビデオのより大きいダイナミックレンジを有し、ＳＤＲコンテンツは、主要なコンテンツであるＨＤＲ映画と合理的に調和する（又は最終的なプレゼンテーションの場で調和可能になる）ように、輝度変換されるか又は少なくとも１つ又は複数のソースアンカー値を共同通信されたメタデータに置くことによって適切に注釈を付けられる。しかしながら、代替的な典型的なシナリオは、想定される典型的なディスプレイレンダリング及び／又はＳＤＲコンテンツ挿入のいずれかにより則した低いダイナミックレンジにＨＤＲコンテンツを事前に変換することができる。例えば７５０ニットのＰＢ＿Ｄのレンダリングのための実際のディスプレイを有する場合、そのようなシステムは、例えば両方のビデオ（全く異なる作成現場及び時間に発生する場合があり、一貫性のあるアンカーの力である）の輝度を変換して（又は輝度変換を決定するためのアンカー輝度で注釈を付けて）、例えば１５００又は２０００ニットのＰＢ＿Ｃ又はおそらく１０００ニットのＰＢ＿Ｃの合成ＤＲでそれらを調和することができる。この合成された又は合成可能なコンテンツは、必要なＰＢ＿Ｄ＝７５０ニットで規定されたディスプレイダイナミックレンジに容易に格下げすることができる。
特に、出願人は、実際には実際の符号化された（すなわち典型的なＤＣＴ圧縮画像の色成分において最終的かつ固定的に定義されたピクセル色を有する）画像としてではなく、任意の一次画像からのそのような二次画像の様々な可能なピクセル輝度を計算するための関数として、（様々な）最終の（再等級分けされた）異なるダイナミックレンジの外観画像が通信されるフレームワークを設計したので、これらの関数は再定義することができ、したがってより複雑な定義を伝達することができる（例えば、少なくともいくつかの特別な画像オブジェクトに対する画像輝度が、様々な状況、例えば様々な合成ダイナミックレンジの下でどのように計算されるべきかの詳細）。古典的な画像又はビデオ符号化は、使用されるべき、すなわちレンダリングすべき（！）ピクセル輝度とともに「その」画像を単に符号化して通信するが、出願人は、全く異なる画像（すなわち、オブジェクトの必要な空間構造及びテクスチャを有するが正しい測色を有さない、特に正確な画像オブジェクト又はピクセル輝度を有さない）を送信することができ、次にこの出願では合成画像である最終画像の正しい輝度を最終的にどのように生成するかの方法の処方は、合成輝度ダイナミックレンジＣｏｍｂＲｎｇ上のすべてのピクセル輝度で定義される。
例えば（例えば、あまり正確に暗くされていない場合に）比較的明るいＬＤＲ画像の合成により、合成された出力画像の全体的な（又はＨＤＲ画像の少なくとも暗い部分の局所的な）明度は、ＨＤＲ画像から排他的に来る暗い部分をあまりよく見ることができないようになっているので、同様に、例えば（ダイナミックレンジＩｍ２＿Ｒｎｇの）ダイナミックレンジ画像である画像のうちの１つの最小値（ＬｍｉＨ）と比較して合成レンジの最小値（ＬｍｉＣ）を増加させる理由があり得る。すなわち、それらを明るい黒でＣｏｍｂＲｎｇに色変換することによって、それらを適切に明るくすることができる（これは合成レンジの選択により発生し、さらにＨＤＲ画像そのものをスマートに処理する必要はない、すなわちそれはＣｏｍｂＲｎｇへの単純な色変換によってさえ適切に明るくなる）。
したがって、読者は、画像処理連鎖の様々なポイント、例えば最終的なコンテンツが典型的にはコンテンツ供給者の制御下にある装置によって定義されるいくつかのコンテンツ作成側において、画像消費の画像連鎖の一部又はいくつかの画像消費側に入る（例えばエンドユーザの責任のもとでのみ、例えばエンドユーザが自分のリモートコントロール又はコンピュータコントロールを使用して２つのタイプのコンテンツを混合する）前に、どのように適切な合成ダイナミックレンジを人間によって、潜在的に半自動的に、又は自動的に確立するのかを理解することができる。一般に、そのような装置は、画像のコンテンツ（すなわちＨＤＲ品質、すなわち様々なコンテンツがどのＰＢ＿Ｃを有するか、ＰＢ＿Ｃで終わるダイナミックレンジ上の様々なオブジェクト又はピクセル輝度の分布も、どのような明るいオブジェクト［例えばＨＤＲ効果］があるか、外観に非常に不快な変更を加えることなく容易に輝度歪みが生じ得るかどうか）だけでなく、これらの画像の最終使用の必要性すなわち典型的には表示レンダリング（例えば画像がＳＤＲディスプレイ消費者の設置されたベースに供給される場合、低いＣｏｍｂＲｎｇが適切になる）の両方を見る。自動的に行われると、アルゴリズムは、ヒューマンコンバイナが方法論として使用するもの（すなわち、合成された画像及び／又はそのためのメタデータを生成し、例えば最終的に合成される２つの画像又はビデオの少なくとも１つのソースアンカーポイントであるＬＭＣ値及び少なくとも１つのアンカーポイントを指定する）に似ているヒューリスティックモデルを使用する。ＣｏｍｂＲｎｇの暗い側では、例えば明るい画像オブジェクトの最も明るい領域からの眩しさ、予想されるディスプレイ漏れ光、及び典型的なディスプレイ面プレート反射などのために暗い色の環境光依存マスキングのような側面に基づいてそのような可視性をモデリングすることによって、最も暗い色がまだ比較的よく見えるものであると判断される。唯一のディスプレイと予想される典型的な（例えば薄暗いライト付きのホームシネマ）視聴環境と比較したこのモデルの新しい要素は、二次的な画像コンテンツの導入である。しかしながら、一般的にＣｏｍｂＲｎｇの確立が典型的には最初に（適切なアンカーの決定前に）行われるため、この見積もりは粗い場合がある（例えば、ＳＤＲ画像の最も明るい部分、潜在的に明るい部分でさえ、映画の暗い部分の次に幾何学的に落ちるかどうかにかかわらず、ＳＤＲコンテンツが導入されている場所を正確にチェックせず、したがって、いくつかの実施形態は、ＣｏｍｂＲｎｇの上限輝度及び下限輝度を確立するときにそのすべてを考慮に入れることができるが、潜在的にかなりマスキングする可能性があり、例えば直接的又は反復的な決定において、後者は良好なアンカー輝度が何であるか、及び対応する適切なＣｏｍｂＲｎｇ限界輝度を繰り返しチェックする）。
いろいろな用途で粗い合成が既に適している場合があるので（例えば、映画の視聴者が最終的に映画を楽しむことを望んでいる場合、中断したり追加の画像と合成したりすべきではないが、もしそうした場合、たとえそれが合成画像の全体的な画像印象の評価において心理視覚的にのみであり、合成前がどのようであったかと比べて映画の輝度の変化が実際にはなくても、その主要なビデオコンテンツの比色測定には常に歪みがあることを認識すべきである）、典型的なコンテンツに基づいてヒューリスティックな低い輝度ＬｍｉＣを迅速に計算するために既に適切であり得る。例えば、ヒストグラムがＳＤＲコンテンツの大部分が１０ニットと１００ニットとの間にあることを示し、合成画像の表示領域の約半分が５０ニット以上の輝度を有するＳＤＲピクセルによって占められている場合、装置は、その合成のために例えば０．０１ニットどころか０．１ニットよりも深い黒を必要としないことを確立することができる（ディスプレイの典型的なヒューリスティックアルゴリズムは、より暗い画像構造がそのような条件の下ではうまく見られないと判断するため）。合成レンジのこの確立を非常に興味深いものにするのは、（ＨＤＲ映画の元のコンテンツ作成者は、映画を暗い部屋の例えば非常に深い黒をレンダリングすることができるＯＬＥＤディスプレイ上で楽しむ場合のために、０．０００１ニットまでの定義された超黒を持つ映画を作っているかもしれないが）、合成装置（例えばＳＴＢ又はＴＶ自体）が、合成画像にＨＤＲ映画ピクセルを配置する前に、ＨＤＲ映画（又は一般的には主要コンテンツ）ＤＲと合成ダイナミックレンジとの間、特にこれらのダイナミックレンジの下位部分に条件付けられた適切な輝度マッピングを決定することによって、ＨＤＲ映画の最も暗い色を幾分明るくすることを決定することができることである。輝度レンジの明るい側では、アルゴリズムは通常、元のＨＤＲ画像に対してどのぐらいのクリッピング又はコントラスト圧縮がまだ適切であるかを決定することを含む（これは例えば太陽に照らされた雲に対してレンダリングされた内部構造を有する必要のないランプでは異なり、［理想的には符号化された受信画像に基づいて最終画像の決定が合理的にシンプルであるように、符号化された輝度では主にすべてのピクセルの最終的なレンダリング輝度が最終的にどのようになるべきかが決定される］ように、理想的には最終レンダリングされた画像に十分なコントラスト及び今後任意の画像符号化を有し、それゆえ、実際に合成画像ピクセルに変換される前に、合成画像内に既に存在するか、又は事前合成定義されたＨＤＲ画像であるかにかかわらず、最も明るい画像の色に対してより少ない圧縮を行い、ルマコードのより大きなサブセットを有する明るい領域を定義する）。必要に応じて、例えばいらいらさせるほど暗く見えてはいけない挿入された（予想される映画作成者のために、例えば特定のチャンネルで映画を知っていると、それゆえ映画のこの潜在的に再等級分けされた定義はコマーシャルと一緒に提供される）コマーシャルでは、少なくともＳＤＲ画像が合成のために変換されるので、ＳＤＲ画像の最も明るい輝度とあまり離れていない明るい輝度のやや小さな領域で曇りを絞ることが必要である。この画像のニーズを依然として最も適切に（一般的には、すなわちＳＤＲ画像の少なくとも一部、及びＨＤＲ画像のいくつかの重要な部分又はオブジェクトの両方）及び例えば様々な導入されたＳＤＲコマーシャルのためにチューニングすることができるようにするには、理想的には、ＨＤＲ画像は、それらの雲のための例えば３つの多数の重要な輝度を指定し、それらの間で合成装置は、様々な雲領域を典型的には暗く変更することができる（これによって、例えば雷雲の濃い灰色の部分のコントラストも減少する）。しかしながら、これはアンカーの輝度がここで教示されるように現れる場所であり、教示の現在の部分は、合成レンジが当然そのように低いＬＭＣ値で終わらないことを説明するだけであり、それは主要な画像の外観を破壊し始める（例えば映画が雷雨雲に関する場合、雲の一部が強く照らされていれば、例えば太陽に照らされた雲の縁及び雲の膨らんだ部分は太陽によって照らされるのではなく環境光だけに照らされ、典型的には素晴らしい異なる灰色を有するので、それらははるかに暗くなり、これらの雲がＣｏｍｂＲｎｇの上位のサブレンジで例えば１０ルマだけで圧縮されなければならないようにＣｏｍｂＲｎｇがなっている場合、ディスプレイによる補正の試みとして強力な関数的輝度伸長を用いても、これらの雲の価値のある良好なＨＤＲレンダリングは決して得られないので、この映画の中核的な側面は失われる）。しかしながらそうでなければ、合成装置は、ＨＤＲ画像の明るさとコントラストの質をいくらか低下させることを決定し、（特に、例えばいくつかのコンテンツが太陽の下にありいくつかのコンテンツが影の中にあるサッカーの試合のような要求の少ないＨＤＲシーンからの場合）ＨＤＲ画像を合成すべき典型的又は実際のより低いダイナミックレンジの画像と調和させることができる。
もちろん、ダイナミックレンジ（少なくとも最大値、場合によっては正確に指定された非ゼロ最小値も）は、画像の最終的な見た目にとって非常に重要な（起動）特性を決定するものであるが、これは、オブジェクト又はピクセルの明度をどのようにそのレンジ内に配置するかを完全に完成させるものではない。単純な画像処理方法では、必要なのはダイナミックレンジの上限と下限であると実際に主張し、マッピングを行う（これは単純な線形圧縮よりもあまり賢明ではないことが多い、すなわち白の入力コンテンツを白の最終レンジにマッピングし、黒の入力コンテンツを黒の最終レンジにマッピングする）。それはかなり変化することがあり、特にダイナミックレンジの大きな潜在的なものを、非常にクリティカルなシーンで使用し始めると、例えば洞窟の中で同時に多くの深い黒、そして小さな亀裂を通って外側に見られる多くの日光のある色の両方、そして霧を通り抜けている人のようなオブジェクト内のコントラストの重要な制御を必要とするオブジェクトさえも表現可能な輝度が必要になる。しかしながら、上述したように、発明者は、ＨＤＲ画像の外観の良好な制御、特に合成画像の外観の制御は、ＣｏｍｂＲｎｇの範囲の間の輝度のすべて又は少なくとも多く、又は少なくとも最も重要なものの良好な制御に重要に関連しており、そのため、良好なＨＤＲ画像処理システム、特に実際に起こり得るあらゆる状況のためにさらなる困難な人間の介入なしに適切な外観の最終合成画像を生成することができる装置を有するためには何か他のものも必要であると考える（各ＳＴＢ又はテレビで同じハリウッドディレクタを販売して、視聴者にとって適切な最終的な合成輝度を決定させることができないため）。画像コンテンツ合成の少なくとも最も実用的なケースにおいて合理的に高品質の結果を得るためにクリティカル又は複雑なニーズがあろうがなかろうがコンテンツ作成者によってうまくオーダーメイドすることができる素早いメカニズムが必要である。
したがって、十分に合成を制御するための第２の構成要素は、装置がアンカー輝度（ａｎｃ）を決定することである。これは様々なことであり得るが、典型的には、意味的に重要なオブジェクトの意味的に関連する輝度である。例えば、それは特定の態様で照らされる特に典型的に重要なオブジェクトであり、全ＨＤＲ画像レンジのサブレンジに輝度を与える。それは、その周囲の他の輝度を決定するためにある合成レンジにおいて良好であると期待できる輝度となる（すなわち、この輝度は、輝度の総和が適切な明度であるか、あまりにも暗すぎないか、又はあまりにも明るいかを決定する）。言い換えれば、特定の合成レンジに対して正しいものは何でもアンカーの輝度を正しくレンダリングすると、他の輝度も悪いものではなくなる（図１６では、作成アーティストの望みに従ってどのようにしてより多くの技術的構成要素を用いてそれらを制御してますます良くなるのかを説明する）。
図１５は、かなり異なる照明の２つの領域、すなわち薄暗い照明（図１５ａのシーンのジオメトリを参照）の建物（Ｉｎｓ）とかなり明るい照明の日当たりの良い外側領域（Ｏｕｔｓ）を有する典型的なＨＤＲシーンを示している。コンテンツグレーダが物理的なシーン輝度から典型的なテレビ視聴（薄暗い環境）のために適切に見えるＨＤＲ画像を作成するためには、屋内の明るさをＳＤＲ画像のように等級分けすること、すなわち屋内の最も明るいオブジェクトに対して最大１００ニットを等級分けするのが賢明である。現実世界の屋外の輝度は約１００倍明るく、最大１０，０００ニットであるが、（視聴者が典型的にそのようなハイエンドの１０，０００ニットのＰＢ＿Ｄディスプレイを有するとしても）それはテレビのレンダリングには明るすぎるという経験を有している。したがって、グレーダは、例えばＨＤＲのこのシーンを（金属上の小さな鏡面反射を除く）最も明るいオブジェクトに対して最大１２００ニット、典型的な平均外側輝度に対して２５０ニットのマスタＨＤＲレンジ（ＤＲＨ）の（外側のピクセル輝度サブレンジＳＤＲＯＵにおいて）明るい外側輝度にするために選択することができる。
アンカー輝度を有するパワーは図１５ｃに示されている。この例では、簡単にして、内側ピクセル輝度サブレンジＳＤＲＩＮのより暗い輝度を、すべての状況下で等しい輝度でレンダリングすることができると仮定している（合成レンジでは安定した変化しない輝度のセットを形成するが、もちろん常にそうである必要はない、例えばＳＤＲコマーシャルが多くの明るい色を含む場合、装置は、ＨＤＲマスタソース画像材料の内部ピクセルを特徴付ける下部アンカーポイントＡｎｃＳ＿ｉｎｓを使用して、実際に最も暗いピクセルをいくらか上げることができるが、少なくともこの第１のマスタＨＤＲ画像のピクセル輝度を（すなわち、屋外の明るいピクセルのセットの第２のアンカーポイントＡｎｃＳ＿ｏｕｔｓとともに）合成レンジに正確に輝度配置するために１つのアンカーポイントのみが使用されるシナリオを用いて実施形態のコア原理を説明する）。第１に、典型的なグレー値出現につながる典型的な光反射スペクトルを有する興味深いオブジェクトの任意の輝度が使用されるが、そのようなａｎｃ値の周囲のピクセルの輝度を決定することを望むときに、合理的に類似する照明の領域に対応するすべての画像輝度のヒストグラムのサブローブにおいて平均的明るさのアンカー位置を使用することは通常悪くない。読者は、図１６を参照すると、何らかの理由で、装置がこのような領域に例えばより多くの光を当てて「再点灯」することを望む場合に、実際の反射オブジェクトはその上を照らす照明が増えればもっと輝くように、その周囲の輝度はアンカーポイントで連続的に明るくなることを想像することができる。代表的なａｎｃ値を計算する際の自動決定の場合、合理的な平均から結果があまりにも多く逸脱する例えば非常に明るい日差しの雲の縁の輝度を持たないように注意すべきであり、したがって、典型的には人間が符号化された画像と一緒にアンカー輝度を決定して伝えることができれば、最良の結果を得ることができることに留意されたい。したがって、読者は、２つの種類のａｎｃ値、すなわち第１の結果（すなわち、ａｎｃ定義の同じ意味論的意味に対応する画像の輝度がそのようなａｎｃ輝度値に近いが、（異なって照らされ異なって符号化された）ソースダイナミックレンジにおいてレンダリングされたときに最終的に合成画像に落ちる又は書き込まれる合成レンジにおける位置）、及び、入力画像のすべて又は少なくとも大部分のための第２の（対応する）ａｎｃＳ値（いくつかの画像に注釈付きａｎｃが欠けている場合、装置はある値、例えば最も典型的なＳＤＲコンテンツにとってあまりにも不合理であってはならないＳＤＲ値を推定しなければならない）があることを理解すべきである。このようなａｎｃ値が定義されていれば（合成の１つと意味的に異なるものであっても、例えば係数４でそれを乗算することによって合成の１つに関連付けることができるもの）、入力コンテンツを合成フレームワークと調和させることができ、したがって、他のすべての画像コンテンツと調和させることができる。
読者は、例えば優れたＨＤＲ品質の合成ＰＢ＿ＣＳ＝２０００ニットについて、ａｎｃ値（すなわち画像合成の結果のａｎｃ値、及び２つの画像の実際の混合前に準備されているレンジ）を、決定された合成輝度ダイナミックレンジすなわち典型的には少なくともそのピーク明度とどのように調整するかを確認することができる。ダイナミックレンジ確立ユニット（３０２）によって優れた品質の合成レンジ（ＣｍｂＲｎｇＳｕｐ）が選択された場合、マスタＨＤＲコンテンツのダイナミックレンジに近い高品質ダイナミックレンジが利用可能となる。したがって、結果的に得られる（「平均明るさ、２番目のサブローブ、屋外色が合成画像内に落ちるべき位置」という意味論タイプの）ａｎｃ値を２５０ニットに配置することも理にかなっている（装置は、テレビ映画の明るい領域レンダリングのための典型的なルールに従い、これもマスタＨＤＲ画像のマスタグレーダの（およそ）２５０ニット選択につながった基礎であった）。この合成状況は、外部ピクセルの関連するＨＤＲ輝度の大部分が、コンテンツ作成者が意図したように、すなわちマスタＨＤＲ入力画像で符号化されたものと同じ輝度で良好にレンダリングされ、唯一例えば鏡面反射は２０００ニット未満に幾分か減光する必要があるという結果をもたらす。これは、上記の第１のタイプのシナリオの一例であり、合成レンジは、輝度歪みなしに導かれ実質的にレンダリングされる元のマスタＨＤＲビデオコンテンツに従うので、ＳＤＲコンテンツを調和させるだけでよい（これはＳＤＲ画像の対応する１つ又は複数のａｎｃ値を調べることによって行われる）。
劣った品質の合成レンジ（ＣｏｍＲｎｇＩｎｆ）について、装置は、ＨＤＲマスタ画像についても、必要な品質低下を既に考慮に入れることができる。ここで、装置は、Ａｎｃ＿Ｏｕｔｓ値の位置を下げる必要があり、これは例えば典型的には領域間及び領域内のコントラストのヒューリスティックな見積もりのニーズとともに行われる（特定の画像及びシーンを見ることなく、アンカー輝度の良好な位置についてのいくつかのグローバルな値が決定され、これは、今後映画の様々なＨＤＲショットについて一貫して機能すべきである）。第２の結果のａｎｃ位置Ａｎｃ＿Ｏｕｔｓ２は、どのレンジの量が１００ニットよりも上にあるか、又は言い換えればＣｏｍｂＲｎｇにおける輝度位置に配置されたＳＤＲＩＮの低い輝度より上にあるかに依存すべきであり（例えば、ストップでは、明るい日当たりの良い照明の中の反射オブジェクトだけでなくランプ又は鏡面反射などそれらが何であれすべてのＨＤＲ効果を位置確認するために１０倍が３ストップであり、典型的には高品質のＨＤＲ画像のために顧客が見たい値すなわち明るすぎたり暗すぎたりしない大きなオブジェクト領域も考慮に入れる）、そのため、明るい領域又はその部分が１００ニットよりも十分にコントラストがあり（実際に日焼けした外観を有するように例えば係数５−１０が良い値であり、これは２つのａｎｃ値の除算として公式化され得る）、オブジェクト、炎、爆発、又はレーザービームなどの小さな鏡面反射領域、及び映画に実際に含まれて１０００ニットのＰＢ＿Ｃ＿Ｉｎｆの上限値近くに等級分けされてレンダリングされるもののような明るいＨＤＲ効果のための十分な余地も依然としてある。自動方法のいくつかの実施形態は、誤差推定値を計算することによって機能する。例えば、領域内のテクスチャは、より高い又はより低い領域内コントラストの必要性を示す複雑さとともに分析することができる。
したがって、例えば映画メーカーが作成している映画（少なくとも１つのａｎｃ値で注釈付けし、おそらく典型的な適切なＣｏｍｂＲｎｇに既に輝度マッピングしている）及び期待されるＳＤＲコンテンツの典型的な平均変形の２つの画像のみが既知である場合、装置は、図１７に示すように、合成前の再明色化においてＨＤＲ画像の輝度歪み圧縮及びＳＤＲ画像の歪み又は不整合性に対する誤差を少なくとも計算することができる。このような歪み誤差は、実際の（最適な）輝度マッピングを適用して元の画像表現及びそのダイナミックレンジから合成レンジにおける再色付けされた画像へすべてのオブジェクト又は領域輝度をマッピングする場合に、ＰＢ＿Ｃｏ１、ＰＢ＿Ｃｏ２などを有するＣｏｍｂＲｎｇへのダウングレードが必要なときに、及び／又は実際の画像すなわち残りの苦労を考慮に入れて、例えば１つ又は複数の典型的なＨＤＲシーンに対するピクセル輝度の確率を有し、そのようなシーンが（主に画像の最も明るい領域で）どのように歪む必要があるかを評価する典型的な平均シナリオについて計算することができる。図１７では、エラーＥ＿ｃｍｐが例えば雲の構造の画像の少なくとも１つの部分又はオブジェクトの圧縮とどのように関連し得るかが概略的に示されている。人間のグレーダ行動を模倣する様々な実際的な実施形態は、例えばテクスチャを抽出し、局所領域のテクスチャ測定値及び他の空間的及び／又は統計的測定値を計算することによって、より小さなサブレンジへのダウングレードがどのように問題になるかを推定する。例えば雲の場合、テクスチャアナライザは鮮明な境界がないことを発見し、雲の鑑賞は典型的な幾何学的形状の側面ではなく、主に（多くの）グレー値の（滑らかな）分布によって生じる（例えばスコットランドのキルトテクスチャの線形パターンは、より少ないルマコードでより多くの圧縮又はポスタリゼーションを可能にする）。すなわち、多く細かく等級分けされて滑らかに分布したグレー値がより限定されたセット及び不正確な明度にマッピングされる場合、装置がこれをあまりにも広範囲に行うことを妨げるいくつかのエラーが迅速に生じることを期待し、特に主画像が重要な比色測定の重要性を有する場合、例えば消費者は、映画の細かく等級分けされた芸術的な色品質を楽しむことができなければならないので、例えばいくつかのコマーシャルのしばしば極端で派手な粗い等級分けに縮小されるべきではない（アンカー輝度を提供する主なコンセプトに加えて、いくつかの実施形態は、コンテンツ作成者がアンカー間又はアンカー周囲でどれくらいの歪みを許容するかをさらにメタデータで示すことを可能にし、例えばＡｎｃＳ＿ｏｕｔｓ／１０及びＡｎｃＳ＿ｏｕｔｓ＊１０の間のレンジは、好ましくは例えば係数２又は係数３によって圧縮又は伸張すべきではない）。
図１７は、このような誤差方程式に基づく一実施形態における輝度調和に至るために誤差を定式化する態様をより具体的に説明する例を示す。ＨＤＲ建物画像とソフトドリンクのＳＤＲコマーシャルとを混合して、そのレンジに加えて、シーン画像の輝度分布のヒストグラムを示す（ｈｉｓｔ＿ＨＤＲはそれぞれ低ダイナミックレンジコマーシャル画像ｈｉｓｔ＿ＳＤＲのヒストグラム、水平方向はある値Ｌｉに等しい輝度を有する画像ピクセルの総数におけるピクセル数のカウントＮ（Ｌｉ）である）。例えば１０００ニットのＰＢ＿ＣｏｍｂまでのＣｏｍｂＲｎｇの小さい上位のサブレンジにおけるＨＤＲ画像の圧縮は、エラーＥ＿ｃｍｐを導く。このエラーは、例えばＳＤＲコンテンツを明るくするためのエラー又は想定されるディスプレイの典型的なレンジのＣｏｍｂＲｎｇの非互換性に対応するエラーとバランスをとることができる。例えば、世界中の誰もが１０００ニットＰＢ＿Ｄのディスプレイを持っていると考えれば、マスタコンテンツの変更はとにかく生じる必要があるから、このエラーＥ−ｃｍｐはゼロに正規化することができる。しかしながら、それでもやはり、例えば１５００ニットのＣｏｍｂＲｎｇはより良い、すなわち映画コンテンツの視覚的品質を非常に高く重要視する場合に１０００ニット合成よりも高品質であることを示す負のエラーを有する。ＳＤＲコンテンツの明るさを逸脱して計算することができるエラーは別として、これはあまり重要ではなく（なぜなら一方ではＳＤＲパラダイムでは、視聴者は異なる明るさに素早く適応できるはずであるが、他方では潜在的に「間違って」レンダリングされたＳＤＲ画像の明るさ−例えばこの特別な画像のために例えば１０００ニットの最も明るいピクセルのＨＤＲモニタにレンダリングされるときに多くの専門家又は非専門家の視聴者によって明るすぎると判定される−はそれ自体ではなくマスタＨＤＲ画像に関連して判定されるからである）、以下のエラーを評価することができる。ＳＤＲ輝度ミスマッチエラー（Ｅ＿ＭＭ）を決定することができ、これはＣｏｍｂＲｎｇのＡｎｃ＿ＨＤＲ値、すなわち理想的にはＨＤＲ画像のソース画像ａｎｃ値（ＡｎｃＳ＿ｏｕｔｓ）がマッピングされる場所と、ＳＤＲソースアンカー輝度ＡｎｃＢ＿ＳＤＲの輝度（Ｄ＿ＡｎｃＳＤＲ）に実際にマッピングされる場所との間の差と同じように単純に行われる。すなわち、この例では、Ｄ＿ＡｎｃＳＤＲがＡｎｃ＿ＨＤＲと等しければヒューリスティックに従って最良調和が起こる。これがなぜ機能するかは、このタイプのＨＤＲ画像が十分に広い範囲の明るい外側のピクセルを含んでいるからである（その理由でコンテンツ作成者が上側のアンカー輝度ＡｎｃＳ＿ｏｕｔｓを定義したからである）。このＨＤＲ映画シーンを見ているときに視聴者は既に明るい輝度に慣れているので、（例えばＰＩＰ）ＳＤＲコマーシャルのためにほぼ等しく明るいピクセルを導入することは不快感が少なく、例えば洞窟や地下室で５分ユーザが暗い輝度のみを見ているときには（この場合、そのような明るいコマーシャルの導入は、おそらく視聴者を驚かせるか、少なくとも色彩的に映画シーンの残りの楽しみを少なくともかなり損なうであろう）。このシステムは、ＳＤＲコンテンツの作成者が特定のタイプのアンカーを使用する場合、つまり、平均以上の明るさと平均以下の明るさの２種類のみを使用するように単純な場合に特に適している。輝度が実際にＳＤＲ輝度の０．１−１００ニットのレンジにどのように分布するかにかかわらず、作成者はそれがどのようなＳＤＲ画像であるか、したがってそれをどのようにレンダリングすべきか、特に本発明に従ってＨＤＲ画像の様々な考えられるサブレンジとどのように調和すべきかを示すことができる。例えば、ＳＤＲ画像は、曇り又は暗いシーン（「平均以下の輝度」）の通常のコンテンツであるか、又は日当たりの良いシーンを表すと思われるルマであってもよい。コマーシャルのメーカーは、色が明るく鮮やかに見える「日当たりの良い」シーンとして示されることを望んでいると仮定し、合成における明るく鮮やかなものはもちろん他の画像の色が何であるかにも依存する。
読者は、合成されるべき画像の調整におけるアンカー輝度のパワーを既に理解することができる。このようなシンプルなシステムであっても、コマーシャルコンテンツの作成者は自分の画像を「十分に明るく」レンダリングすべきであるとの関心を持っていると仮定するが（しかしながら、彼はおそらく画像全体のコンテンツにおける彼の明るすぎる一部のレンダリングで視聴者を悩ますことには関心を持たないであろう）、もちろんＨＤＲ映画作成者の（多くの、同等も、又はいくつかのシナリオではそれほど多くない）重要な画質の要求もあり、合成は、ＨＤＲ映画が「暗い」コンテンツのみを有し、ＨＤＲコンテンツ作成者がより低いＡｎｃＳ＿ｉｎｓのみを含む場合に、即時に合理的に機能することができる。装置は、少なくとも映画内のこのシーンが（あまりにも多くの重要な）明るい領域を有さないことを理解し、したがって視聴者は、例えばこの非限定的な簡単な説明の例ではＳＤＲサブレンジＳＤＲＩＮのみであるより暗いコンテンツに適応する。したがって、装置は、その状況において（たとえそれが「明るいＳＤＲコンテンツ」であるとしても）ＡｎｃＢ＿ＳＤＲを低いＡｎｃ＿ｉｎｓ又はその近傍にマッピングするならば、調和のとれた合成を作ることができる。近傍とは、装置内に固定されているか、又は例えば１／３又は１／２からそれぞれ２倍又は３倍のａｎｃの間ａｎｃ値の上又は下のａｎｃ値のカスタマイズ可能な一般的な乗法的な割合を意味する。近傍の範囲は、（合成装置による実行時又は作成側の実行時に例えば明示的に通信された近傍輝度境界を用いて）例えばマッピングされたときのオブジェクトの許容される輝度エラー、アンカーのタイプの違い又はアンカーの予想される変動性などのような側面の様々な実施形態に基づいて決定することができる。しかしながら明らかに、ＡｎｃＢ＿ＳＤＲが例えば１００ニットの２０％であり、３×２５ニット（すなわちＡｎｃ＿ｉｎｓの近傍の上限位置）にマッピングされたら、合成は、ＳＤＲコンテンツが露骨に白から白にすなわち１００ニットから１０００ニットまでマッピングされ、平均ＡｎｃＢ＿ＳＤＲを２００ニット（！）にレンダリングし、すべてのＳＤＲ画像オブジェクトが気に入るには明るすぎるように見えるおそれがある線形伸長の場合よりも、はるかに調和的になる（完璧主義は通常達成する必要がないので、むしろ現実的な態様で合理的に動くシステムは現実のシステムを実現する複雑さと見た目の正確さとの間でバランスをとる）（原則として、実際のヒストグラム輝度、例えばモード、すなわちヒストグラムの最も生じる輝度値の下でもａｎｃを指定することができるが、いずれにしても実際の輝度は過度に明るく同様にレンダリングすることに留意されたい）。
図１５ｂに戻ると、アンカー及び任意のＣｏｍｂＲｎｇの異なる相対位置におけるそれらの配置が様々な輝度マッピングにどのように関連する（それらに影響を及ぼす）かを興味深く示す。関数ＴＬ＿ＣＳは、元のマスタＨＤＲ画像輝度をＣｏｍｂＲｎｇの輝度にマッピングするための輝度マッピングである（すなわち、ピクセル置換、アルファブレンディングなどの画像合成を行う準備ができている）。出願人は、相対軸システム、すなわち入力輝度及び出力輝度又はルマが１．０で終わる輝度変換を行うことが非常に有用であることを見出した（ルマが垂直座標として使用され、マッピングがＯＥＴＦ、例えばＳＭＰＴＥ２０８４又は後方互換性のある画像通信のためのＲｅｃ．７０９のようないくつかの固定定義ＯＥＴＦを考慮して定義される）。これは、縦軸に数値化すべきビット数（１．０はちょうど最高の輝度コード値、すなわち最も明るいコード化可能な色である）に議論を迂回するためルマにとって非常に有用である。（例えば入力）輝度軸に関しては、これが輝度の相対的処理の残余であるか否かを依然として考察することができるが、いずれの場合も、必要な曲線は、（このバージョンは常に対応する絶対輝度フレームワークと数学的に同じにすることができるので）画像変換に必要な任意のダイナミックレンジに対して任意に定義することができる。暗いピクセルの絶対輝度を同一に保ちたい場合、低いピーク明度を有する相対軸システムにおいて、これは輝度マッピング関数ＴＬ＿ＣＳのその部分を対角線の上に上げることに対応することを理解しており、ＣｏｍｂＲｎｇの残りの上側のサブレンジを優れた品質の合成レンジではあまりにも過度ではない程度に圧縮する態様を明確に理解することができる。しかしながら、劣悪な品質の合成の場合、明るいＨＤＲオブジェクトの圧縮は、その劣った合成レンジへの対応する輝度マッピング関数の形状すなわちＴＬ＿ＣＩから分かるように、より厳しくなければならない。いずれにしても、合成レンジのピーク輝度と良好なアンカーポイントのこの状況は、一般的にＨＤＲショットがどのようなものであっても、典型的にこの形状になる明るさの圧縮を行う必要があることを明確にする（この実施形態の正確な実現性は以下に詳述される）。また、２つの関数を合成することによって、優れたＣｏｍｂＲｎｇから劣ったＣｏｍｂＲｎｇに相対的に変換する必要がある場合、暗いピクセルを相対的に明るくする必要があるが、これは視覚的には明るいＨＤＲ領域の圧縮に最も相当することも理解する（相対的な百分率のサブレンジは、全体的に利用可能なレンジに加えて、画像の一部の符号化又はレンダリング品質の良好な尺度である）。いずれにしても、最も典型的な実際の実施形態において出願人が輝度変換をどのように定義しているか、特に非常に有用な特性について図１６を用いて説明する。
ＨＤＲ画像の固定表現を単に考慮するＨＤＲ１０のようなＨＤＲビデオ処理（実際には単に符号化）方法は、（それらはすべてのＨＤＲオブジェクト明度分布を画像輝度に入れることができ、ＯＥＴＦが固定されるよう選択されている場合にはルマが送信されたときにＯＥＴＦの通信は必要ないので）１つの固定輝度変換関数を伝達することすら必要ない。ＨＤＲオブジェクトの輝度分布、すなわちＢＢＣのハイブリッドログガンマのような他のダイナミックレンジへの再等級分けの可能性についての単純な見解を有する技術は、例えばＬＵＴとして固定関数を使用して通信することができる。
出願人は、コンテンツ作成者及びユーザ（テレビメーカー及び／又はエンド視聴者）の両方がＨＤＲの完全な品質を（階層的に）発揮できること、すなわちコンテンツ作成者がＨＤＲ画像コンテンツについての希望を（彼がどれほど批判的であるか、どれくらいの時間と予算を費やしているかによって、粗いものから細かいものへと）徐々に示すことができ、ビデオ消費側もこれらの仕様に従うことを希望する精度、又はエンドシステムが例えば細かい等級分け関数で指定されたオブジェクトのコントラストから多少ずらすことによって画像上の色処理の微妙な風味を加えることを望むかどうか決定することができるシステムを設計することを望んでいる。
図１６は、例えば典型的には人間のグレーダが一連の連続する関数を使用して輝度の再等級分けの必要性を階層的に指定することができる出願人の優先システムの１つを用いて合成を行った際のアンカーのパワーの例を示している。
知覚的に一様に（ほぼ対数的に）数値化される入力及び出力レンジを考える。これは、例えば過度に極端に暗い、極端に暗い、非常に暗い、暗いなどから非常に明るいまで視覚的に等間隔の明度レベルのセットを生成する。グレーダがオブジェクトの輝度をこれらのレベルの１つとほぼ等しくすることによって画像の外観を定義することができると想像することができ、例えば良好な品質のＨＤＲ画像は、例えばＰＢ＿Ｃの９０％から１００％の間の非常に明るい輝度のサブレンジ内のランプの輝度を持つべきである。もちろん出力の低いダイナミックレンジ、ここでは輝度の合成レンジ（Ｌ＿Ｃｍｂ＿ｏｕｔ）は、非常に明るい輝度として現れるレベルまで広く伸びることはないが、グレーダはそれらのランプピクセル輝度を例えばとても明るい利用可能な最高レベルにマッピングすることに頼る。これは輝度マッピング関数形状の一部を形成し、読者はグレーダ（又は画像解析ヒューリスティックを用いた自動システム）が完全な輝度マッピング関数形状にどのように至るかを理解することができる。
このような２つの軸を単に定義することが、１つのダイナミックレンジに定義された輝度をすぐに出力輝度、例えば小さい出力ダイナミックレンジ（これはこのグラフの対角線である関数と同等である）にマッピングするための典型的な（むしろ鈍いが）明白な態様である。この戦略は、任意のソース画像の白色を出力ダイナミックレンジの可能な限り最も明るい（符号化可能又はレンダリング可能な）色にマッピングし、対数的な定義も黒色と白色の間のグレー値を入力画像から出力画像に合理的に広げるため黒色を黒色にマッピングするので、実際には「半分妥当な」出力輝度を形成する。
しかしながら、これは間違った明度とコントラストを持つむしろ見栄えのしない画像を与え、それはアーティストが任意の特定のＨＤＲシーンの構成に芸術的なニーズをうまく適合させることを可能にすることは言うまでもない（建物シーンの例えばＰＢ＿Ｃ＝５０００ニットの符号化の最も明るいピクセルと最も暗いピクセルは、例えば背後にオブジェクトがほとんどない暗い部屋のデスクランプの画像の場合と同じ値を有し、もちろんこれら２つの画像の画像構成と意味は非常に異なり、様々なオブジェクト又はピクセル輝度の等級分け及び再等級分けに関する非常に異なるニーズをもたらす）。
したがって、本出願人は、単独の画像使用、すなわち元の５０００ニットのマスタＨＤＲ画像の近似への再構成、又は例えば７５０ニットＰＢ＿Ｄディスプレイを駆動するために最適なＭＤＲ画像を得るための最適なディスプレイ調整のために、少なくとも２つの連続する関数を指定することができる輝度マッピング定義システムを発明した。第１に、粗い再等級分け関数Ｆ＿ＣＲＳ＿ＭＤＲは、現在のＨＤＲ画像及びその詳細についてより良い初期外観を有するために、すべての知覚サブレンジの明度を全体的に再割当てする。ＨＤＲシーンのピクセル輝度のうち最も明るい半分が出力輝度、例えばＳＤＲディスプレイを駆動するためのＳＤＲ画像の輝度、又はマスタＨＤＲ画像が５０００ニットのＰＢ＿Ｃを有するときに合成の教示とより良く一致する１０００ニットのＭＤＲ画像の輝度のやや小さなサブレンジに圧縮されるほぼｒ形状の曲線を理解する。シーンのニーズに応じて、グレーダはその形状を適合することができる。例えば、２つのピクセルのいくつかの鏡面反射スポット又は輝度の上半分に電球のみがある場合、グレーダは原理的には、その特定のシーンの視覚的品質を著しく低下させることはないので、入力輝度の上半分について１．０でクリップする関数さえも定義することができる。しかしながら、上半分に太陽に照らされた雲が含まれていれば、曲線の局所的な勾配を少しでも下げても、重大な品質エラーが発生する可能性がある。読者は、相対輝度軸について話していることに留意する必要があり、したがって、出力が例えばＳＤＲレンジの場合、非常に暗い輝度、中輝度、及び非常に明るい輝度を同時に忠実にレンダリングするために利用可能な多くのルマコード及び対応する輝度が存在しない（例えば図１６ｂに概略的に示されるように黒人が隠れている視聴者に近い３Ｄ内の領域の暗いキッチン、通常通り照らされている中間室、及び窓を通して見える再び太陽に照らされたオブジェクトを有する３つの異なる照明領域画像を考慮し、夜間の通りにある明るいショップ窓、すなわち建物の例とは異なる意味を有するが、同様に扱うことができるサブレンジを有するか、又はコンテンツ作成者がそのように決定した場合にはそうでない他の典型的な２領域の例が図１６ｃに示されている）。
図１６ｃは、指定された粗い等級分け関数Ｆ＿ＣＲＳ＿ＭＤＲのみを用いて輝度マッピング関数の再等級分けを調整することによって十分に等級分けが可能であるように十分に「単純」である（ＨＤＲは複雑さに影響する）。
しかしながら、より複雑な３つの領域のシーン（Ｒ１は明るい昼間の屋外の通りで窓を通して見える家のようなオブジェクトを示しており、中間領域Ｒ２は普通に明るい又は薄暗い、すなわち典型的なＳＤＲ輝度であり、Ｒ３は消灯している、すなわち暗い輝度である）については、すべての輝度サブレンジ及び対応するオブジェクト明度を、特に低いダイナミックレンジの小さなサブレンジ（例えばＳＤＲレンジなど）に合理的にマッピングすることはより困難になる。そのような場合、グレーダは、追加の曲線、すなわち粗い等級分けから生じる相対輝度に適用される、すなわち示されるようにその粗い曲線形状から実質的に等しく逸脱する細かい等級分け曲線Ｆ＿ＦＩＮＧＲを使用することが最適であると見出す。しかしながら、このような戦略は、図１６ｃの夜間の内部点灯のショップ窓のような「単純な」ＨＤＲシーンにも適用することができる。ショップ窓とそのオブジェクトを十分に印象的なコントラストで明るくして実際に輝かしいように見せるため（協調的に、しかしこの単独の画像を例えば５０００ニットＨＤＲディスプレイと１０００ニットＨＤＲディスプレイの両方にレンダリングするときには依然として１００ニットのＰＢ＿Ｄ ＳＤＲディスプレイ上にディスプレイの制限された能力が許す限り合理的に近似して十分に良好となる）、及び、（少なくともマスタＨＤＲ等級分けにおいて）比較的暗い夜間の通りのオブジェクトピクセルを十分に明るく見えるようにするために、グレーダは、上端部が比較的平坦なＦ＿ＣＲＳ＿ＭＤＲ関数を生成することができる。これは、ショップ窓と暗い通りの両方について合理的な外観を全体的に、すなわち合理的な全体画像の外観を提供する。しかしながら、ショップ窓には、例えばショップ窓の中の炎、又はマネキンの白い首又はシャツの強く照らされた一部など、輝度、コントラスト、又は色のいずれか１つの性質に関して良好に現れない特定のオブジェクトが含まれる。したがって、グレーダは、補正曲線（すなわち、細かい等級分け曲線Ｆ＿ＦＩＮＧＲ）を定義することができ、これは、例えばそのシャツの輝度に対応する輝度レンジのある部分において、例えば明度を低下させて、例えばより多くの内部オブジェクトコントラスト又はカラフルさ又はその関数が効果として実現するものを取得する（シーンの他の領域における類似の輝度を有する他のオブジェクトの変更を避けるために、空間的に局所化された様々な輝度マッピングが含まれることさえあるが、本システムのさらなる複雑さを説明することは本出願を理解するための必要性を超える）。
面白いことに、粗い関数は、簡単なグレーダアクションですべてのオブジェクトの輝度を素早くほぼ正確に配置する（例えば、本実施形態の１つでは、１．０で始まる明るさの上部及び０．０で始まる関数の下部の勾配を決定する２つのダイヤルを回すことだけが必要であり、コーダは、本発明及び本出願の様々なＨＤＲ画像合成装置及びアプリケーションによって使用することができる滑らかな粗い等級分け曲線を自動的に決定する）。しかしながら、「実際の等級付け」は、グレーダが望むどんな細かい等級分けの曲線形状も決定することを可能にすることにより、画像オブジェクトの様々なピクセルの輝度、ひいては対応するオブジェクト内及びオブジェクト間のコントラストを微調整することによって開始することができる。
通常の復号器又はディスプレイチューナーは、単にそのままこの２つの曲線を使用する。符号化の方向に進むと（ＨＤＲ画像情報をレガシーディスプレイにレンダリング可能なＳＤＲ画像として実際に通信する後方互換性のあるシステムを使用する場合）、最初に粗い、次に細かい等級分け関数を適用すると、符号化器の入力であったこの特定のＨＤＲシーンのＨＤＲマスタ等級分け画像に対応する最適な外観のＳＤＲ画像を生成する。復号化側では、実際には与えられた典型的なレンダリング状況下で最適になるように指定されたこれらの２つの最適関数間のリンクであるので、受信したＳＤＲ画像からマスタＨＤＲ画像近似を再構成するために、まさにこの細かい等級分け関数と粗い等級分け関数の逆関数が使用される。すなわち、ＨＤＲディスプレイを有する場合にはＨＤＲ画像をレンダリングし、典型的な視聴環境下で視聴されるＳＤＲディスプレイを有する場合にはそのペアのＳＤＲ画像をレンダリングする（これらの２つの等級分けされた画像ＰＢ＿Ｃからかなり逸脱したＰＢ＿Ｄのディスプレイを有する場合、本ディスプレイチューニングを用いてマスタＨＤＲ画像に適切に対応する中間ダイナミックレンジ外観画像を生成する、すなわち少なくとも低いディスプレイ能力が許容する範囲にそのオブジェクト輝度の外観を十分に近似させる）。
しかしながら、今や、コンテンツを合成する必要がある状況にあり、すなわち典型的には少なくとも１つの輝度及びおそらくすべての画像の輝度を再び変更してそれらを調和させる必要がある。このような２つの曲線における等級分けの必要性の分割は、十分な局所コントラストのようなオブジェクト関連のニーズを、（合成に対して最適化されていても）利用可能な出力ダイナミックレンジ内の様々なサブレンジの一般的な圧縮から分離することができるので、非常に強力である。
したがって、アンカー輝度によって定義された粗い関数は、線形セグメントだけで構成されていても、例えばＨＤＲ映画を単に選択された合成レンジと実質的に同じピーク明度を有するダイナミックレンジにレンダリングするための元の粗い関数Ｆ＿ＣＲＳ＿ＭＤＲよりも明らかに混合のために良好な等級分けであるので、サブレンジの代替の粗い配分として使用することができる。今や様々な実施形態は、Ｆ＿ＣＲＳ＿ＭＤＲ曲線の様々なサブセグメントの形状を相関させることができるが、通常はそれほど必要ではない。重要なのは、合成装置が、細かい曲線形状をなお本質的に維持しながら新たに割り当てられた様々な最適レベルに細かい等級分けの詳細を適用できる（すなわち、雲又は洞窟内部のようなマスタＨＤＲ画像の様々な意味的サブ領域をＣｏｍｂＲｎｇの様々なサブ領域にもたらす）ことである。したがって、偏差曲線を新しい位置（入力ＨＤＲ輝度をＦ＿Ｃｍｂである合成レンジにマッピングするための最適な粗い曲線に沿って）にシフトさせて、新たな合成に最適な細かい等級分け曲線Ｆ＿ＦＩＮＣＭＢを実現することができる。これは、例えば単にマスタ輝度を同等にする、すなわち垂直ライン上で乗法的なずれ量をシフトさせることによって行うことができる。
読者は、このようなアンカーベースのシステムは複雑な輝度の再等級分けの要求であっても、なお比較的簡単でそれゆえ実行可能な態様で、様々なコンテンツを調和させるために非常に強力であることを理解し始めるべきである。
ここでは、装置がＨＤＲ画像及び合成レンジ内の関連する態様におけるそのようなアンカー輝度を自律的に決定するより簡単な実施形態を最初に説明する。最終的にはＣｏｍｂＲｎｇにおいてアンカー輝度を有することが重要であるが、これはいくつかの実施形態ではＨＤＲ画像内にある場合と容易に等しくすることができる（他の実施形態ではあまり容易ではなく、その場合ＨＤＲ画像のコンテンツ作成者はそれを明白にＬ＿Ｓ２Ａ１として共符号化することができる）。例えば顔を持つという重要な例でその原理を説明する（もちろん、人は重要なので、多くの画像やビデオには少なくとも１人の俳優又は司会者などがおり、彼らは典型的にはコンテンツ作成者によって合理的にうまく照らされるが、ＬＤＲ領域では何が合理的に良いのか、それが本当に必要なのかは決して正確には決まっていない）。しかしながら、当業者は、アンカー輝度に関する教示が一般的であるので、例えば中間のグレー輝度のような顔を有していないとしても他の画像に対して他のアンカー輝度を有することができることを理解すべきである。読者は、ＬＤＲ時代には中間グレーはユニークで非常に正確なものであったが（符号化の途中で典型的には平均的に見えるグレーとしてレンダリングされ、白の約１８％のオブジェクト反射率又は相対的な白に対する白のレンダリングであるためＰＢ＿Ｄの約１８％に相当する入射照明を有する元のシーンに対応する）、ＨＤＲでは全くユニークではないということを理解すべきである（特に非常に正確なライティングとキャプチャの態様でＬＤＲのストレートジャケットでＨＤＲコンテンツの再度の使用を強制したくないが、シーンを自由に照明し自由にコンテンツを芸術的に等級分けすることを望む場合、相対的に暗く照明された画像又は画像の暗い領域に中間グレーの反射オブジェクトが存在し、比較的明るく照明された画像又は領域に同じグレーのオブジェクトが存在する可能性があるからである）。
（各装置が任意の画像入力のそれぞれの特定の輝度状況が何であるかを迅速に理解できるように）これらのアンカー輝度のいくつかが標準化されていると有利であるが、第１の画像が第２の画像よりも別のタイプのアンカーで指定されたとしても、又は装置がＣｏｍｂＲｎｇを特定するのに最適であると決定する（ただ１つの場合の）アンカーとは画像のアンカーが異なる場合、それらの様々な仕様は依然としておおよそ関連する可能性がある。例えば、黒が正確に指定されていない場合（もちろんＨＤＲと同様に様々な白及び輝きがあり様々な黒がある）、装置は状況（ＰＢ＿Ｄ又はディスプレイの他の能力、及び場合によっては視聴環境）に応じて、（それが第１のアンカー輝度ａｎｃであるか又は補助的な第２のアンカー輝度であろうがなかろうが）装置がメインミドルグレーとして決定したものよりも例えば２．５ストップ又は４ストップ低くそれがレンダリングされると仮定する。黒は、記述することができ（すなわち、ビデオ符号化し）、処理、例えばより低い又はより高い精度でレンダリングすることができる。コンテンツの作成者が黒の中で何が起こっているか気にする、例えば茂みに隠れている犯罪者の重大な行為があり、それは視聴者によって「半分知覚される」すなわち目立ちすぎることなく見逃されないようにすべきである場合、そのサブレンジ又は色処理体制に対する追加的な記述メタデータで画像又はビデオに注釈付けすべきである。特に、作成者は、黒に対して少なくとも１つのアンカー輝度を定義すべきである。現在のＨＤＲシーンでは暗い地下に写真のような背景テクスチャがあるだけで、それらがよく見られるかそれほどよく見られなくても多かれ少なかれ同等の意味品質でレンダリングされるため作成者があまり気にしない場合、作成者は、黒色の典型的な受信側又は中間側の最適化に頼ることができ、レンダリング装置は、それが依然として合理的に黒く見える限り（すなわち深い黒色、良好な黒色、又は乳白黒色）、それらを様々な輝度レベルでレンダリングすることができる。
したがって、ユーザが本発明の主要な点を容易に把握できるように簡単な例を挙げて言えば、合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）におけるアンカー輝度（ａｎｃ）は、合成された（出力）画像において顔が適切に見えるようにするために顔の輝度をどのようにすべきか指定する。これはもちろん、顔がよく照らされているか、強く照らされているか、又は影になっているかに依存する。これは、例えばコマーシャル、ＢＤ解説、又はテレビ電話会話などにおける俳優又は人が、映画内のものよりもはるかに明るくないということを避ける。もちろん、装置は、必ずしも２つの顔輝度を正確に並べる必要がない手段を有するが、オフセット輝度でレンダリングする（例えば、主要なＨＤＲ映画の俳優が意図的に非常に暗い場合にいるが、ＨＤＲ映画の残りの部分は（非常に）明るい場合、コマーシャルはその映画俳優の輝度特質に必ず暗くなる必要はなく、合成装置のいくつかの実施形態は、例えば映画の暗いシーンがどれくらい長く既に撮影されたのかのようなヒューリスティックを使用することによって、例えば以前のかなりの異なるａｎｃ輝度又は例えば昼光のシーンのタイプの経過時間を維持することによって、さらに決定することができることに留意すべきであり、いくつかの実施形態は、さらなるメタデータ、例えば暗いシーンがどのぐらい残っているかを示す第２のデータ要素を有する映画シーンの始めのａｎｃでａｎｃ輝度に注釈を付けることさえ可能であるが、コンテンツ作成者の中には多くの注釈を行うことによるトラブルに巻き込まれたくない場合があると仮定して実施形態の本質を説明し、ポインタを使って画像又はヒストグラムのような別の表現のどこかをクリックする単純な行為を行って、現在のａｎｃ値を定義し、これはもちろんユーザインタフェースで行うことができ、人間のａｎｃ値の選択の検証として赤い疑似カラーのａｎｃ値付近のレンジ又はその近傍の画像におけるすべての輝度を示すことによって示すことができる）。
したがって、装置は、状況の詳細に応じて、良好な顔のレンダリング輝度（この説明の例のａｎｃ）が実際にはどこにあるべきかを知る（さしあたり約３６％の波長にわたって平均した分光反射率を有する白人顔を仮定し、もちろん例えば５％の反射率の他の皮膚タイプは、その局所照明下で関連するＣｏｍｂＲｎｇの輝度位置に落ちる）。読者は、さらなる詳細に煩わされることなく、ＣｏｍｂＲｎｇが現在の説明ではまさにＨＤＲ画像のダイナミックレンジ（図４のＩｍ２＿Ｒｎｇ）であるという様々な重要な側面の想定をより容易に理解することができ、装置は、最も重要な顔の輝度はその範囲に沿っていることを知る。上述したように、装置の様々な実施形態において、最適なＣｏｍｂＲｎｇの様々な代替的決定が可能であり、これは一方では既に知られているか推定可能な限り少なくともいくつかの入力画像の輝度特性（符号化可能な輝度レンジ、実際にレンジ内のコンテンツなど）に依存し、他方では、画像コンテンツの実際に確立された又は期待される使用、例えば視聴環境（すなわち、実際には一般的な画像、平均画像又はテスト画像、及び特定の現在の画像の典型的な外観）においてコンテンツがレンダリングされるディスプレイの輝度能力に依存する。顔は単に１つの色又は輝度を有するわけではない傾向があるので（一部の映画では顔が青などに塗られていることは言うまでもない）、これは既に複雑である。ＬＤＲ画像であっても様々な顔を研究すると、多くの顔は通常照明領域と陰影領域との間のコントラストがより少なく、すなわち正常であるが、原理的にＬＤＲレンジの限界までピクセルルマを含むことができることを理解する（すなわち、非常にコントラストのあるキャプチャ又は等級分けにおいて、顔の暗い部分の少なくともいくつかのピクセルは例えばバックライト付き撮影でほぼゼロであり、ハイライトは２５５にクリッピングされ、消費者のコンテンツでは顔の半分がクリッピングされた白として侵食されて見えることさえある）。ここでは、例えば現実の現場作成においてコンテンツを明るく照らされた画像と特別に照らされた画像に分けることができる（現代では、ニュース番組などにおいて非専門家によって作成された画像を組み込むことさえあり、それが夜景である場合には、実際に顔がひどく照らされる可能性がある）。そのような複雑な状況では、正確なレンダリング又は合成をあきらめてもよいと言えるかもしれないが、一方では、ある画像コンテンツが第１の場所でより異常に（良いキャプチャ習慣から逸脱して）撮影され、適切なａｎｃ値を使用して後でそれを整えることにより多くの恩恵を受けることができると言うことができる（例えば、現場のカメラマンが、例えば何らかの理由でシーンの暗い部分に立たなければならない人を照らすことができない場合など不都合な状況に遭遇し、少ないＤＲ能力のカメラしかない場合、撮影画像を完全ではない態様で最適化する必要があるが、少なくともａｎｃメカニズムを用いて、例えば作成ハウスなどにコンテンツを伝達する前に、カメラディスプレイ上に又はポータブルコンピューティングデバイス上でスタイラスを用いるように単純に、この画像の（エキゾチックな）詳細に素早く注釈を付けることができる）。例えば暗い夜間シーンを昼間のシーンであるかのように写すことができるカメラのような良好なカメラ及び他の画像処理装置の出現により、今後数年間、例えばいまだに古い悪い品質の携帯電話でニュースコンテンツを提供する人もおり、様々な作成基準及びレベルが存在するため、（ＨＤＲ）画像処理の複雑さが増すだけであることが予想される。だから最善の解決策は、すべてのそのような状況をうまく処理できる技術を作ることである。例えば、ギャング映画は、例えばコントラストのある顔及び髪の毛又は素っ気ない顔への強烈なハイライトがあるシネノワールなど激しい照明を有する場合がある。トークショーは、時には一般人にとってはほとんど気付かない影があるコントラストの弱い態様で照明され、女性をより明るく均一な照明で照らす場合がある。それは、例えば重要であるがむしろ符号化された画像に含まれるもの（コントラストがどのようにマスタ等級分けされるか）が撮影されたときのシーンの顔の４：１の元の照明比（最も明るい顔の半分と最も暗い顔の半分）ではないことにも留意すべきである。このコントラストは、典型的にはカメラ内のＲＡＷ輝度からのルママッピングを受けており、画像がセルロイド画像又は映画からのスキャンである場合、最終的なコントラストは、現像、プッシュなどの側面に依存し得る。
この態様を顔色のレンジがあるものとして特定する、例えば図４の説明例では、ＬＤＲ画像の顔色は柔らかく照らされており（したがって輝度Ｒ＿ｆ小さなレンジ）、ＨＤＲ画像内の顔はホラー映画であるので厳しく照明を受け、より大きなレンジＲ＿ｆ２を導き、例えば人はスポットライトでまれに照明された廊下を歩くことができ、平均値の前後で時間とともに顔が暗く及び明るくなる。また、顔がどのように幾何学的に照らされているかが関係する。例えば禿げた頭に小さな白いスポットが存在し、この画像がＣｏｍｂＲｎｇ内の他のＨＤＲ映画とあまりにも明るく不適切に混合された場合、頭にランプが突き出ているように見えるという発言を聞く場合がある（視聴者はそのような人物が素早く画像の中で動き、潜在的に話の一部を失うか又は少なくとも画像の間違った部分に気を散らすときに、そのような混乱した認識をする可能性がある）。しかしながら、２ピクセルの小さなスポットは必ずしも大きな問題ではない。これは、通常、典型的な顔の色を決定するために無視することができる。ＨＤＲディスプレイにレンダリングされると、その人は非常に明るいランプで照らされているように見えるが、少なくともスポットは小さい（例えば２ピクセル）。もし鼻全体、目、又は顔の半分全体に同じことが起これば、もっと戸惑うかもしれない。
したがって、コンテンツ内の顔の輝度（例えば、最初のＬ＿ＳＡ１、例えばＬＤＲ画像）を示すことができることにより、作成者は、どこに顔の輝度があるかだけでなく、潜在的にどの輝度分布タイプであるかを容易かつ迅速に示すことができる。例えば、髪の毛に小さなハイライトのみがある場合、実際の顔の暗いピクセルの平均をＬ＿ＳＡ１として使用し、明るくレンダリングされたいくつかのピクセルはよく見える。一方、顔の半分（又は半分以上）が強く照明されている場合、その平均値又は他の特徴的な輝度値をＬ＿ＳＡ１として使用し、残りは暗くレンダリングされ、これは典型的にはこの顔がマージされるすべてのコンテンツをマージするためにより良い態様である。この場合、作成者は、例えば通常の照明の上のＸストップなど顔が実際には変則的に明るく照らされた顔であることを追加のメタデータで示すことができる。そのような情報は、合成装置によって、この顔を（およそ）どの輝度にレンダリングすべきであるか（ＣｏｍｂＲｎｇにおけるａｎｃ位置の上又は下）を判断するために有利に使用することができる。白人（白色）の顔の通常の照明は、波長全体で平均して３６％の反射率を与える反射スペクトルから取得することができる。これは、中間グレーの１８％を上回る１ストップである（これらの２つの関連する値を作成する）。上記のように、古典的なＬＤＲフレームワークでは、この中間グレーをディスプレイピーク明度の約１８％にレンダリングする、例えば１２％の場合もある。もちろん、他のレースは、肌の種類によって少し暗くレンダリングする必要があり、そうしないと映画の俳優の肌の種類を実際に検出することはそれを望む人にとって難しく、それが混乱を招く可能性があるからである。例えば、黒い皮膚は、５％程度の低い反射率である、すなわち典型的な白人よりも３ストップだけ暗い。レンダリングに関しては、素敵な「明るい」顔になるように、１００ニットのピーク輝度の３６％よりもＬＤＲレンジにおいていくらか明るく顔をレンダリングする。例えば、画像作成者は、例えばルマの正規化された符号化において８５％又は８０％であるこの顔オブジェクトの「平均」又は基準輝度のルマコードをメタデータの第１フィールドに示すことができ（ＥＯＴＦを介してルマを絶対輝度に計算することができる）、第２の現場において、これは、シーン内のその場所の残りの部分とその画像などより２ストップ明るく照らされたことを意味する「２ＳＢ」型の顔輝度であることを示すことができる。読者は、異なる符号化メカニズムによって同じことが達成され得ることを理解する、例えば顔の色（例えば最も明るいもの、又は９５％のもの、又は顔の中の最も明るいものであって髪のハイライトではないもの）をまだ含んだｋストップ明るい輝度である第２のアンカーポイントＬ＿Ｓ２Ａ１ｐｋＳ、及び、このＨＤＲ画像又はビデオ画像のショットにおけるこの顔のいくらかの暗い端部を指定する第３のアンカーポイントＬ＿Ｓ２Ａ１ｍｋＳも符号化することができる。したがって、様々なタイプのアンカーポイントは、（システムを実装する様々な標準によって合意されるように）標準的に理解できる態様で示すことができ、例えば「顔３６」、「顔１８」、「顔７２」、「顔５」、「暗い中間グレー」、「中間黒」、「深い中間黒」などの列挙型のセット、又は例えば「顔」＋「１ストップ以上」＋「暗い」などの階層的なデータの連続注釈のいずれかを使用することができ、顔は、特定の種類の照明を有する画像のその部分に存在する平均光量の３６％の反射、又は、より重要なのは正しいレンダリングされたシーンの外観を与えるためにそれらのピクセルのレンダリングに使用されるディスプレイのダイナミックレンジの特定のサブレンジを意味する。「暗い」は、例えば１０−１００ニットレンジのほとんどの又はすべてのディスプレイに典型的にレンダリングされる中間の明るい色であり、その下には少なくとも１つの黒色領域、及び好ましくは照明がやや劣る「黒色」の領域、すなわち典型的にＨＤＲの芸術シーンレンダリングにおいて例えば城で主人公が単にキャンドルを歩いているときに見られる深い影のある風景のために使用される最大１０で除算した暗い照明値（又は典型的には１−１０ニットの輝度）、及び通常の１／１００までの深い黒色の領域、暗い照明（すなわち０．ｘから１ニットの輝度）があるべきである。暗い照明の上には、「明るい」領域を追加すると、うまく制御された高品質のＨＤＲシーンの素晴らしい結果を得ることができるはずであり（ＴＶ視聴のために約１０倍の明るい屋外をレンダリングし、実際のシーンでは１００倍以上の明るさ、つまり１００−１０００ニットの輝度になる）、「極端な明るさ」については、例えばランプ、爆発など、すなわち例えば１０００−１０，０００ニットの上限サブレンジを有するハイエンドＨＤＲディスプレイを有することを依然として興味深くする効果をレンダリングすることができる。ディスプレイチューニング（画像構造の絶対符号化の後にディスプレイ関連性の正しいレベルを再度導入することによってシーン参照された画像符号化とディスプレイ参照された画像符号化との間のギャップを最終的に橋渡しする）のため、又はこの出願のように正しい画像の合成のための制御は、５つのシーンで正確な差別化された制御を可能とし、十分でなければならない。実際には、現実に存在するか又はアーティストが作ることができるＨＤＲシーンのタイプの調査を行う場合、しばしば例えば図１６ｃの夜間の店のような２つの領域画像を見ることになり（１つの領域は一様に照明された画像でありもちろん典型的にＳＤＲ符号化可能である）、図１６ｂのような３つの領域画像に遭遇する可能性はやや低く、５つの異なる照明方式の完全なパワーが必要な場合、実際に複雑なＨＤＲシーンを作成している（おそらくいくつかの映画ではコマーシャルとして冒頭にのみ現れるＨＤＲの最終的な可能性を示している）。しかしながら、読者は今、この原理がより小さい又はより複雑な実施形態に限定されないことを理解するであろう。コンテンツグレーダが１つのａｎｃ値のみを指定する場合、そのａｎｃ値に対する様々な画像コンテンツの調和は既に可能である。これは、典型的には、画像内に例えば単独の俳優又は司会者などのクリティカルオブジェクトが１つだけ存在する場合に発生する（しかしながら上述のように、この俳優はたとえ非常にコントラストがあるように照らされても典型的な照明と輝度を１つしか持たないが、理論的には０ニットとＰＢ＿Ｃの間の任意のものになり得る）。アンカータイプに特に必要なものが何もない場合、合成装置は中間グレー値に関連する通常のアンカー、及び典型的には「暗い」通常のレンダリング輝度で動作すると想定される。そのため、１つのａｎｃ値のみを注釈するコンテンツ作成者は、典型的には俳優の（シーン及びその画像のその領域の局所照明における）中間グレー位置のための代表値を使用すべきであり、例えば２つのモードのヒストグラムでは太陽の中に存在し、次にそのタイプに例えば「明るい」という注釈を付け、これによりこの単純な少量の情報でも合成装置は何をすべきかをきちんと判断することができる（例えば映画があまり乱されるべきではない場合、「明るい」俳優をとにかく映画内の暗いＰＩＰとしてコマーシャルにレンダリングすることを決定することができ、又は明度の印象を許容するために、例えば（明るい＋暗い／２）、例えば（３０＋３００）／２ニットで明るい俳優を暗いレベルよりやや上にレンダリングすることができ、標準がさらなるメタデータの通信を可能にし、このメタデータが記入されている場合、例えばコマーシャルのようなコンテンツの作成者は、好みの「明るい」レンダリングから過度に逸脱したくないことを示すことができるが、例えばエンド視聴者がＵＩを使って映画を楽しみたいことを示している、すなわち映画のヒストグラムにおいて明るい挿入コンテンツの妨害エラーを低減することが好ましいというような様々な理由から、装置はこれを無視することができる）。
もちろん、グレーダがさらにａｎｃ値に注釈を付ける場合、グレーダは例えばグレーダの「深い黒」を指定して、合成装置は、明るい観察環境で最終的にレンダリング可能な悪い黒のために準備されているかどうかにかかわらず、その最終的な合成においてこれを考慮に入れることができる（すなわち、実際のシステムへのディスプレイチューニングの前に理想的なレンダリングシステムの理論上完全なフレームワークにおいて合成が行われる）。
したがって、顔色をおおよそどこに置くかを示しているアンカー輝度（ａｎｃ）（この実施形態の説明を簡単にするためにＨＤＲ顔色は既にその輝度レベルにあると仮定するので、ＨＤＲ画像から顔色を得ることは、複雑な輝度マッピングの考慮を必要としない些細なことである）、及び、少なくとも主顔色がＬＤＲ画像内にある場所（ソースアンカー輝度Ｌ＿ＳＡ１）を識別する態様の両方を有することによって、装置は、出力画像として合成画像で正確に合成された両方の画像のすべての顔色を比較的単純に配置することができる。そして、最も簡単な実施形態であっても、（顔から始まる）周囲の色及び他のすべての画像色は、そのアンカー輝度（ａｎｃ）を中心に比較的良好に自動的に落ちる。他の色に対する哲学も、これらの技術的なレンダリングシナリオについてより詳細に機能する必要はないので、比較的シンプルである。他のすべての色が中間グレーの周りで約２−２．５ストップの範囲に収まる（例えば、白は典型的には線形輝度において９０％又は５倍明るい）と、良好な画像が得られる。印刷物はしばしば非常に深い黒を得ることができず、実用的なＬＤＲテレビは、テレビのフロントガラスでの光の反射を考慮して典型的には３２：１（ピーク白色対なお合理的に区別できる深い黒色）に制限されていた。画像オブジェクトコンテンツが５ストップであることは、暗い色、特に重要な黒が中間グレーから２−２．５ストップ以内にあることを確認した場合、よく照らされたＬＤＲシーンの暗い側でも合理的に問題ないことを意味する。原理的にはこれらすべては、ＨＤＲ画像処理では、特に合成とレンダリングでは何も意味しないため、改善されたメカニズム、及び特に複雑さの観点では（画像は何でも含むことができる）意味的に何が関係しているのかの人間の案内、よって何が良い合成であるかが必要である。より複雑な実施形態は、アンカー輝度ａｎｃによって位置決めされる理解しやすいこの例では顔である主オブジェクトの周りに他のオブジェクト輝度をスマートに配置する態様のスマートに調整された選択を行うことができる。例えばアンカーポイントがレンジの限界であるなどの注釈を付けることができる。疑念を避けるために、ビデオを意味するときは、単に時間的に連続した画像を意味し、及び、特定の戦略を映画の全体に同様に適用すべきであるということに限定せず、むしろその映画の一部、例えば同じシーンの画像のショットだけに適用することができる（すなわち、例えば異なるオブジェクト輝度特性を有する新しいコマーシャルが後で合成される場合には確かに、異なる時間の瞬間にＣｏｍｂＲｎｇが異なる可能性がある）。本発明の実施形態の大部分の特徴は、スチール又はビデオが使用されているかどうかにかかわらず、少なくとも空間的な合成に関して類似しているので、退屈で読みにくい公式化を避けるために、２つの実施形態のうちの１つを区別する必要がない場合に説明においてビデオ又は画像を使用することができ、読者はもう一方も読み取ることができることを理解すべきである。第１の（ソースアンカー）輝度を第２の輝度（合成レンジアンカーａｎｃ）にマッピングする関数の決定は、様々な実施形態のために読者に十分に明確であるべきである。上述したように、例えば、合成装置の色変換ユニットを、対角線から必要な位置までの特定の入力（ソース画像）輝度を上げ、そのラインを入力レンジと出力レンジの最大値と最小値（０及び［ＰＢ＿Ｃ＿ｉｍａｇｅ＿１；ＬＭＣ］）に接続する２部分線形関数を作るように簡単に構成することができるが、画像の輝度を再処理して異なるダイナミックレンジ又は明度などに対してより適切にする特定の形状の関数を備えている場合は、例えばその関数を線形にスケーリングして、ａｎｃＳの点がＹ軸のａｎｃ出力値になるようすることができる。正確なアンカーコロケーションを使用する必要はないが、そのａｎｃ値の周りの（過度に大きくない）近傍で動作する同様のシステムをどのように構築できるかも明らかでなければならない。使用可能な近傍は、コンテンツ作成者がソースメタデータ内で示したもの（例えば、このアンカーはその正確な値の２０％の偏差でレンダリングされる）と、合成装置が状況に応じて決定するものと間の任意の合成として確立することができる（上述のように、例えばコマーシャル内の顔は、簡単な計算において、例えば１５０ニットでレンダリングされる計算から出てくるが、合成装置は様々なプログラムルールに従って多少なりともそこから逸脱することを決定することができる、例えば画像の非常に重要な中央位置に配置されることが望まれるＰＩＰをいくらか、例えば合成すべきすべての画像部分のすべての情報を有する唯一の装置である合成装置、及び合成画像が表示されるべきレンダリングシステム及び環境さえも、合成画像コンテンツの現在の総表示に対して最適又は合理的であると判断する程度に明るくすることを決定することができる）。さらに何も指定されていない場合、理想的なアンカー位置の２倍以下又は２倍以上の係数は、現実的な態様で合理的に近傍になり得る。
最後に、出願人の実施形態が画像の最終的な外観を指定する関数で動作することができるので、様々な実施形態において、実際に合成画像を作成する実際の装置（例えば、合成装置）である必要はないことに言及したい。例えば、合成装置がＳＴＢである場合、例えば標準がその画像に必要なものに十分であればＨＤＭＩ（登録商標）にわたって符号化されたＨＤＲ１０のＴＶに既に完全に最適に合成された画像を送ることができ、ＴＶは音の出ないディスプレイとして直接レンダリングする。しかしながら、ＳＴＢは、状況を判断し準備し、必要なすべてのデータ、すなわち少なくともいくつかの画像データといくつかの変換を送信することもできる（それは合成画像を計算するための最適な変換ＦＦとなった場合に十分であるべきであるが、他の実施形態ではアンカー値、おそらくＳＴＢによってテレビに決定されたさらなるアンカー輝度値でさえも送信することもできる）。その場合、ＴＶは、合成を一意的に実行するためのすべての情報を有する、すなわちＰＩＰの合成では、ピクセル選択を行うだけでなく、合成画像バッファに格納する前に、受け取った対応するＳＤＲ画像ピクセルにＦＦ＿１を適用し、ＦＦ＿２をＨＤＲ画像ピクセルの輝度に適用して、合成画像におけるそれらのピクセルの正確な輝度を得る。合成装置の最も単純な実施形態は、ただ１つの良好なアンカー位置を決定する。例えば、テレビが何を表示しているか、それがどのように設定されているか（例えばユーザの明度制御によって）などに依存して、現在の状況下において例えばａｎｃ＿１Ｄ＝３０ニットの素晴らしい見た目の画像をレンダリングすべきである暗い光の平均グレーアンカー値を決定するだけである。もちろん、これは画像合成に対して最良の制御をもたらさないが、第１のコンテンツが暗い夜にアクションが起こっているアンカー（例えば黒の平均輝度値）を示し、第２のコンテンツが明るく派手なコマーシャルを示している場合、この単純な合成装置の実施形態は、既に両方の画像をそのａｎｃ＿１Ｄ値の周りにかなり合理的に調和させることができるはずである。もちろん、より複雑な合成装置の実施形態は、何種類かのコンテンツに対して良好な合成状況であるかを判断し、上記の５つのａｎｃ値の明度タイプ（深い黒から極度の明るさ）に対して最適なａｎｃ値を指定する。次にこの装置は、そのソースのａｎｃ値（及び例えば必要であれば黒がどのようにグレー表示され得るかを示す再グレーディング関数のような潜在的なさらなるメタデータ）を調べて指定されたＨＤＲの状況又は効果の種類を見ることによって、状況がどのようなものであっても入力されたコンテンツをＣｏｍｂＲｎｇの異なる照明サブレンジに強力に調和させることができる（低い明るさ、例えば十分ではないディスプレイピーク輝度のレンダリングシステムが超高輝度を明るさよりも十分明るく壮大にレンダリングするような予想されるさらなる処理のために合成が行われ又は準備されている場合、合成は最も明るい画像ピクセルについてのポスタリゼーションの何らかの形式に向かって揺れることがあり、画像ピクセルの色自体の最良の理論的合成ではないが、そのような品質の低いシステムにとっては良い合成である）。したがって、合成レンジ内のアンカー輝度は、典型的には、周囲の他の輝度を決定するための少なくとも１つの良好な輝度として決定され、（良好な品質の画像レンダリングの一般的なニーズ、及び／又は実際の又は構想されたコンテンツ及び／又はディスプレイ能力の詳細に基づいて）合成装置によって決定され、ソースアンカーはソース画像ダイナミックレンジにおいて同様のことを行い、典型的には、作成者が自分の画像にとって重要であると考えるもの、すなわち少なくともどの特定の重要なオブジェクト及びその周囲のピクセル領域が様々な考えられる使用シナリオの下で、特に画像合成において、（少なくとも輝度について）レンダリングされ、よく制御された状態で使用されるべきであるかに従って決定される。特定のオブジェクト、すなわち画像の空間的及び時間的サブ部分に適したアンカー輝度をどのように定義するかが理解され、例えば雨の日に昼間の光の下で家の居間で起きる最初のシーンと、地下の中央にある１つの実用的な電球によって照らされる地下の次のシーンのように、映画が異なるシーンから新しい画像（のショット）に変化したときにアンカーを再定義する必要があることが明らかである（両方のシーンは、例えば俳優のシャツなどのアンカーで示すことができる同様のオブジェクトを有するが、当然のことながらマスタ画像には異なって等級分けされた輝度があり、多様なディスプレイのための最終的なＭＤＲ画像では異なるレンダリングが必要である）。
色変換ユニット（３１０）は、少なくとも１つのソースアンカー輝度（Ｌ＿ＳＡ１）と等しい第１の画像又はビデオ（Ｉｍ１＿ＬＤＲ）のピクセルの色の入力輝度に色変換（ＦＦ＿１）を適用した結果として決定される出力輝度（ＬＦ１＿ｏ）が、アンカー輝度（ａｎｃ）と等しくなるように、色変換（ＦＦ＿１）を決定すると有利である。したがって、合成される少なくとも２つの画像（又はビデオ）の輝度を調整する１つの態様は、すべての画像に対して選択されたアンカー輝度が同じであり、最終的な画像合成（例えば、ＰＩＰ又はアルファブレンディング）が行われる出力画像（Ｉｍ＿ｏ）の合成ダイナミックレンジにおける適切なアンカー輝度（ａｎｃ）の値に設定されるように合成戦略を設計することである。当業者であれば、特性としてＦＦ＿１（Ｌ＿ｉ＝Ｌ＿ＳＡ１）＝ａｎｃを有し、次にａｎｃの周囲のすべての輝度をそれぞれＬ＿ＳＡ１にマッピングする関数を装置がどのように計算することができるかを理解する。特に、線形輝度色空間で作業するので（コンテンツ作成者は画像ダイナミックレンジについて異なって等級分けされた画像、及び通信される場合には対応する再等級分け輝度変換関数の詳細を作成するので、輝度軸に沿ったオブジェクト輝度配置に関するスマートな選択は、少なくとも画像の１つを処理する復号器２５１によって主に行われる）、しばしば単に線形マッピングを使用する（又は時にはガンマ関数のような不均一に広がったコントラストに対する単純な非線形性を使用することがある）。図１８ａで説明されるように、暗い画像の場合にいくつかの係数によって入力画像の符号化によって決定された輝度を（線形調光係数を用いて）どのように暗くしなければならないかを理解することができ、元のアンカーＬ＿ＳＡ１よりも明るい画像輝度を入力するために、やや異なる同様のマッピングが行われる。
線形関数の場合には、関数を決定できることを容易に理解することができる（例えば１．０に正規化された軸システムではｘ軸＝ＬＤＲ画像の線形入力輝度であり、ｙ軸はＣｏｍｂＲｎｇにおいて輝度に正規化される）、すなわちＬ＿ｏｕｔ＝ＦＦ＿１（Ｌ＿ｉｎ）＝Ｃ＊（Ｌ−Ｌ＿ＳＡ１）＋ａｎｃとなる。Ｃはコントラスト定数であり、装置は２つの画像をより調和させるためにさらに最適化することができる。これは、２つの画像の意味論、例えばヒストグラム及び空間輝度分布（例えば、画像の上部のランプのような小さな形状など）、画像の平均明度関係などを見て決定することができる。例えば、ＨＤＲ映画が主として、人が影の中を歩いており高明度部分が単一のランプのみである暗い地下室からなる場合、（ＨＤＲ画像の大部分の）関連コントラストはあまり高くない。したがって、非常にコントラストが高いＬＤＲコマーシャルと合成しなければならない場合、そのコマーシャルのコントラストを暗い環境で視覚システムが知覚して予期する低いコントラストにより沿うように幾分低下させることを望む（例えば、図１８ｃのように太陽に照らされの屋外のオブジェクト又は電球のピクセルに意味的に含まれるものは何でも、最も明るい相対色に対してＦＦ＿１の緩やかな傾斜部分を適用することによって、ＬＤＲコマーシャルの最も明るい部分を制約することができる）。一方、Ｃを１よりも少し上げると、コントラストが非常に高いＨＤＲ映画の最大又はＨＤＲ平均明度に示されていなくても、コマーシャルの鮮やかさを高めることができる（つまり、すべての考えられるＳＤＲ画像輝度が割り当てられるＨＤＲ ＣｏｍｂＲｎｇの局所サブレンジにおけるコントラストを制御することができる）。もちろん、読者は、装置が、例えばポイント（Ｌ＿ＳＡ１、ａｎｃ）のすぐ下の相対的に高いコントラストを有するが、その傾きの減少を開始し、いくつかの閾値黒Ｌ＿ｏｕｔ＝Ｌ＿ｂなどにおいて水平になる関数のような他のＦＦ輝度（色）変換も行うことができることを理解する。実際原理的には、ソースアンカー輝度をアンカー輝度に概略的にマッピングする限り、合成装置によって任意の関数を決定することができるが、典型的には、様々な輝度サブレンジを再等級分けするための部分的な輝度マッピング関数形状のように、合成装置が従う仕様を作成側が伝達するか、又は（様々なピクセル間、又は領域間のコントラスト、テクスチャレンダリングの品質などを識別して最適化することによって）合成装置の実施形態がより美しく見える合成を提案することを可能にする重要な内部画像分析ユニットを有しない限り、得られる関数は比較的単純である（例えばマルチリニアセグメント関数は通常、少なくとも重要でないＨＤＲシーン画像では良好な結果をもたらす）。
色変換ユニット（３１０）は、第２の入力輝度（ＬＴ１＿ｉ）に色変換（ＦＦ＿１）を適用した結果として決定される第２の出力輝度（ＬＴ２＿ｏ）を出力輝度（ＬＦ１＿ｏ）で割った輝度比が、第２の入力輝度（ＬＴ１＿ｉ）をソースアンカー輝度（Ｌ＿ＳＡ１）で割った比の定数（Ｃ）倍になるように、色変換（ＦＦ＿１）を決定すると有利である。上記のように、より単純な実施形態は、全体（部分）輝度レンジ（処理される画像の入力輝度）に対するＣの固定値を決定することができるが、Ｃを入力輝度Ｌ＿ｉ（Ｃ＝ＣＦ（Ｌ＿ｉ））の可変関数にもすることができる。部分的な輝度レンジは、（受信したさらなるメタデータ処方又はそれ自体によって案内されるかどうかにかかわらず）合成装置によって様々な態様で定義することができ、例えば、主ヒストグラムローブの範囲を決定することができ、又はａｎｃＳ／ｋとｋ＊ａｎｃＳとの間のＬＤＲ画像の輝度のためにレンジを決定することができ、ｋは例えば４に等しく、ＬＤＲ輝度の残りは、図１８ｃの２つの破線部分関数などにマッピングされる。より多くの可変関数ＦＦの例として、重要な情報（例えば、強く照明された顔）がある場合、ＬＤＲ画像の最も明るい部分のコントラストを（例えばヒストグラムのパーセントなどのような一定のＬ＿ｉｔの上に）上げることができるが、メインアクションの関連性の低い情報のみである場合には、例えば装置が（例えばａｎｃ＋ｄ＿ａｎｃにマッピングすることによって）第１の混合された例えばＬＤＲ画像の平均輝度を幾分増加させることができるが、ＣｏｍｂＲｎｇにおいて輝度マッピングされたＬＤＲ画像に過度に明るくレンダリングされたハイライトでＨＤＲ映画を超えないように、代わりにその明るい領域のコントラストを減少させることもできる。これはとりわけ、人間の脳で計算された予想される明度分布により対応することを可能にする。したがって、例えばＬＴ２＿ｏを（例えばａｎｃに等しい）ＬＦ１＿ｏよりも上のある特定のパーセンテージ、例えば１５０％のＬＦ１＿ｏ、又はＬＦ１＿ｏより上のｋストップとして選択することができ、その輝度区間などに対してＣ１を指定する。典型的には重要でない画像（例えばＳＤＲコマーシャル）の１つのそのような（少なくとも１つ以上の）サブ領域のスマートな適合は、総合的な合成の調和のとれた外観を大きく改善することができる。
色変換ユニット（３１０）は、少なくとも１つのソースアンカー輝度（Ｌ＿ＳＡ１）に基づいて輝度オフセット（ｄ＿ａｎｃ）を決定する偏差決定ユニット（３１２）を含み、色変換ユニットは、少なくとも１つのソースアンカー輝度（Ｌ＿ＳＡ１）と等しい第１の画像又はビデオ（Ｉｍ１＿ＬＤＲ）のピクセルの色の入力輝度に色変換（ＦＦ＿１）を適用した結果として決定される出力輝度（ＬＦ１＿ｏ）が、アンカー輝度（ａｎｃ）＋輝度オフセット（ｄ＿ａｎｃ）と等しくなるように、色変換（ＦＦ＿１）を決定すると有利である。上述したように、このようなオブジェクト関連の輝度の態様の間には、例えば、顔の照明（例えば非常にコントラストが強い）、及び顔の輝度と画像の残りとの関係のようなかなりの違いがある。したがって、装置は、正確に出力輝度ａｎｃでＬＤＲの顔（又は任意のダイナミックレンジの第１の画像アンカーオブジェクト、又は領域及び対応する輝度のサブレンジ）をレンダリングするのではなくむしろ例えば２倍の明るさでレンダリングするほうが適切であると判断することができる。これはとりわけ、（例えば典型的には、アンカータイプのコード化で示される）顔の照明のタイプに基づいて決定され、例えばソースアンカー輝度（Ｌ＿ＳＡ１）が、非常に明るく照明された顔の半分の平均輝度として決定され、顔が大きなサイズで最終画像にレンダリングされる場合、装置は、例えば５０％の負のｄ＿ａｎｃを決めることを決定することができる。これらのプログラムルール及び計算の背後にあるヒューリスティックな考察は、例えば明るい領域は周囲の暗い領域を過度に放射し、又は過度に目立って注意を引き、又は映画などのように視聴者が見ている主なものである画像の残りと比較して単に刺激的に明るくなることを考慮する。この考察は、ＨＤＲ映画画像の明度構成を評価することもできる。例えばその画像は、開いているガレージのドアから見えるように暗い屋内の領域と明るい屋外の領域とで構成され得る。相対的にはるかに明るいＬＤＲコマーシャルのＰＩＰが暗部に置かれることになっている場合、それは、２つの画像間のコントラスト及び２つの画像の隣接するオブジェクトにおいて脳によってそこから見られる局所的なコントラストが過大にならないように暗くすべきである（すなわち、ＬＤＲにおける顔の平均輝度、又はＬＤＲ画像を特徴付けるさらなるアンカー輝度を、ＬＤＲ画像の単一の代表輝度で、ａｎｃと第２のＨＤＲ映画画像の暗い領域の局所平均輝度との間の中間に重み付けするために、比較的大きいｄ＿ａｎｃ）。しかしながら、明るいＰＩＰがＨＤＲ映画の晴れた屋外部分の近くに表示される場合、正のｄ＿ａｎｃで明るくする必要がある。したがって、一般に、これらの偏差ｄ＿ａｎｃは、理想的な状況（例えば両方の画像において顔が中間の灰色の背景によって囲まれている場合）において（例えば２つの顔の）理想的な合成であるもの、及び、合成が生じる場所（例えば、小さなサイズＸ、ＹのＰＩＰ）の周りで少なくともメイン画像（すなわちこの例では、ＬＤＲコマーシャルを貼り付けるＨＤＲ映画）の実際の状況が全体的（すなわち、平均輝度、サイズ、例えばテクスチャ測定による内部複雑のような潜在的により多くの意味的特徴など、どのような種類のオブジェクトを含むか）及び局所的であるものに基づいて計算される。したがって、オフセットは、２つの画像について調和するものに基づいて一般的に決定され、様々な実施形態では、画像自体の特性（コントラスト、ソースアンカー位置その近傍のオブジェクトコンテンツのタイプ及び、その周辺のコンテンツ、幾何学的サイズなど）及び合成（ＰＩＰが画像の右下に小さな重要度の低い場所に配置されているか否か、又はブレンドミックスなどにおいて部分的な情報によって混合がどのように輝くかなど）に依存する。より簡単な実施形態は、それ自体がまあまあ良い比較的単純な調和構造を単に使用するが（特に、ａｎｃ＋ｄ＿ａｎｃ値は、コマーシャルであると判断されると例えば過度のコントラストのリスクを軽減するために最適化できる）、より高度な合成は、第２の画像情報がどこにどのように正確に配置されるか、又は合成のさらなる特性でさえより正確に見ることができる。
色変換ユニット（３１０）は、２つの画像又はビデオの第２の画像又はビデオ（Ｉｍ１＿ＨＤＲ）を供給する第２のソース（３５１）から得られた少なくとも１つの第２のソースアンカー輝度（Ｌ＿Ｓ２Ａ１）を読み出し、偏差決定ユニット（３１２）は、少なくとも１つの第２ソースアンカー輝度（Ｌ＿Ｓ２Ａ１）に基づいて輝度オフセット（ｄ＿ａｎｃ）を決定すると有利である。（特許請求の範囲において画像２と呼ぶ）主画像の輝度構造が既知の輝度構造を有し、したがって容易に変換してＣｏｍｂＲｎｇにおいて基本的な基準を形成することができる簡単な実施形態を説明した。ＨＤＲ画像が主要な画像であり、歪みが最小限に抑えられるべきであり、したがってそれは主にその方向に変換される第２のコンテンツである場合、合成の有用な態様である。ＨＤＲ画像が、すべてのランバート反射オブジェクト（例えばスタジオトークショー）にはＩｍ＿ＨＤＲのダイナミックレンジＩｍ２＿Ｒｎｇの０−４００ニットのレンジ（これは、例えばＣｏｍｂＲｎｇの０−３００ニットレンジ、又はＣｏｍｂＲｎｇの同じ０−４００レンジに対応する）内になるように常に厳密に指定される輝度が与えられることを保証するために生成されたタイプであることを知っていれば、これは生じる場合があり、上記のすべては主に、例えば金属に対する小さな鏡面反射のようなハイライトである。そのシナリオでは、下部がＬＤＲテレビ制作によく似た態様で制作され、ＨＤＲ効果がほとんどライトであり、それらの正確な輝度について過度に重要ではない特定の種類のＨＤＲシーンを有する（例えばはっきりと見えるだけでなく、その外部オブジェクトはいくつかの芸術的ムードを伝えるために特定の輝度を有するべきである窓を通るオブジェクトではない）。この場合、問題は主にＬＤＲのコマーシャルをＨＤＲトークショーの主に４００ニットまでの部分の照明状況に調整することであり、明るい領域に正確に何があるのかもある程度調整される（例えば、ＬＤＲコマーシャル内の（識別された又は仮定された）小さなハイライト領域を明るくして、ＨＤＲトークショーに実際に存在するこれらのハイライトの輝度にさらに対応するように、倍数定数Ｃを有する上記のコントラストメカニズム、又は輝度マッピング関数の任意の一般的な決定及び適用を使用することができる）。
しかしながら、一般に、ＨＤＲコンテンツは何でも良い。例えば、その顔は４００ニットの約２５％にぴったりと照らされないかもしれないが、俳優がまばらに置かれたランプを持つ暗い坑道を走っているならば、輝度軸全体に落ちる。したがって、いずれのコンテンツでもコンテンツに注釈を付けるすべての人が、ＨＤＲ画像も少なくとも１つの第２のソースアンカー輝度（Ｌ＿Ｓ２Ａ１）でその顔の１つ又は複数が輝度軸上にある場所を示すようにすると有利である。装置は、Ｌ＿Ｓ２Ａ１を読み取ることによって、ＨＤＲの第２の画像内で顔の輝度がどこであるかを検証することができるので、両方の画像が最終的な合成で調和することがより確実である（図４のマッチングの説明例を参照）。ＨＤＲ画像は、最良の最終的な合成状況（特にＣｏｍｂＲｎｇ）が何であれ、例えば映画が暗い周囲などの代わりに屋外に表示される可能性が最も高いことを考慮して、最適に変換することができる。例えばＦＦ関数は、特に暗いオブジェクトのテクスチャのレンダリングが映画の最適な映画的視聴と比較して劣化するように視聴状況がなっている場合には、異なる顔照明を少ない程度に変調することができる。
色変換ユニットは、第１の画像又はビデオを、第１の画像又はビデオの符号化に関連するダイナミックレンジから、少なくとも乗算係数２だけ異なるピーク明度を有するダイナミックレンジにマッピングするために第１の画像又はビデオ（Ｉｍ１＿ＬＤＲ）におけるオブジェクトの輝度分布の変化を指定する第１の色再マッピング関数（Ｆ１＿Ｌ）にも依存して第１の画像又はビデオに適用される色変換（ＦＦ＿１）を確立し、又は、色変換ユニットは、第２の画像又はビデオを、第２の画像又はビデオの符号化に関連するダイナミックレンジから、少なくとも乗算係数２だけ異なるピーク明度を有するダイナミックレンジにマッピングするために第２の画像又はビデオ（Ｉｍ２＿ＬＤＲ）におけるオブジェクトの輝度分布の変化を指定する第２の色再マッピング関数（Ｆ２＿Ｌ）にも依存して第２の画像又はビデオに適用される色変換（ＦＦ＿２）を確立すると有利である。上で説明したように、基本的なＨＤＲビデオ又は画像符号化フレームワークでは、高ダイナミックレンジから低ダイナミックレンジへ（又はその逆へ）移動する際に、オブジェクトの輝度分布がどのように変化すべきかを通信された色変換関数で示す（少なくとも輝度変換を定義するが、例えばＬＤＲの外観において暗くする必要があるオブジェクトの彩度を上げ、十分に活発に見えるようにするために彩度変換も必要になる場合があり、その関数は典型的には、例えば１つの極端な又は中間の等級分けを、例えば５０００ニットＰＢ＿Ｃから他の例えば１００ニットＰＢ＿Ｃへどのように変換するか、少なくともＰＢ＿Ｃの係数２と異なるダイナミックレンジの外観を指定する）（これは一般に、ＨＤＲシーンの意味的特質を考慮に入れて、劣るＰＢディスプレイ又はコーデックのより低い能力に向けた複雑な最適化である）。すなわち、マスタ５０００ニットＨＤＲ等級分け画像から例えば１００ニットの画像、又は１２００ニットのディスプレイを駆動するのに最適な中程度のダイナミックレンジの画像に変換する場合である。典型的には、作成者は、例えばハイライトと暗い領域を徐々に暗くするなど、外観をどのように変更したいかを決定することができる。
合成フレームワークのパワーは、異なる（単独）最適レンダリング画像ダイナミックレンジではなく、とりわけどれくらい正確に合成の比色を制御したいかに依存して合成ダイナミックレンジにマッピングする新しい種類の関数をどのように定式化するかを決定できることである（これは、とりわけコンテンツ制作者、所有者、又はディストリビュータ、視聴者、例えば映画を注意して鑑賞しようとする視聴者、又はディスプレイメーカーによる要求を定量化するパラメータとともに、それ自体によって様々な外部パラメータ設定に依存する可能性がある）。もちろん、合成の全体的な外観は、特定の合成及びその中に含まれるものによって異なるが、（最も明るいサブレンジ、例えばルマの上部２０％に、慎重な再等級分けを望む雲又はそれほど重要ではないオブジェクトがあるか否かにかかわらず）再等級分け関数自体が、合成装置がある程度従うことを望む興味深い再等級分けの必要性又は要求を含んでいないことを意味しない。
ここで、上述した単純線形関数ＦＦを用いてアンカー輝度ａｎｃの周囲の画像の入力輝度をマッピングすると、Ｆ＿Ｌの詳細は不要となる。しかしながら、より洗練されたマッピングは、線形戦略によって変わる可能性があり、具体的にはその輝度のサブレンジにおけるその特定のＨＤＲシーンの特定の画像の関数Ｆ＿Ｌにおいてコンテンツ作成者が暗黙のうちに必要としていることに従って行うべきである。例えば、作成者がより暗い輝度を黒に素早く消滅させることを好む場合、色変換ユニット（３１０）は、最適関数ＦＦを決定する際にこれを考慮に入れることができ、例えば線形関数よりもＬＤＲ輝度の大きな割合を黒色に素早くクリッピングすることにより、より明るい領域（例えば顔色ａｎｃの周囲）のコントラストの一部を伸ばすことができる。したがって、装置は、Ｆ＿Ｌ関数のセットの少なくとも輝度変換関数の関数形状を評価することができ（理解を簡単にするために、読者は、１．０入力輝度に正規化され１．０出力輝度に正規化された１つの任意形状の関数マッピングであると仮定することができる）、その形状の一部を使用してＣｏｍｂＲｎｇにマッピングする最終関数の形状を設計する。このような関数では、それ自体によって又は他の画像の他の部分における他の考えられる輝度との関係によって、画像の部分を再等級分けするための様々な要求が与えられることに留意すべきである。例えば、画像の幾何学的領域に対して、その画像の残りの部分が大きくブーストされ得る同じ輝度を有するピクセルであるとしても、そこに存在する輝度を例えば過度にブーストすべきではないことを指定することができる。任意のそのような部分的な関数形状は、原理的に示すことができる（例えば、出願人が開発した先の実施形態は、矩形のような特定の幾何学的領域内に落ちる特性を満たし、例えばＬ＿ｍｉｎとＬ＿ｍａｘとの間の輝度を有する画像におけるピクセルのサブセットの列挙を可能にし、例えばＬ＿ｍｉｎ＋ｋとＬ＿ｍａｘ−ｌとの間にあるＨＤＲ画像のその領域の輝度に対して、ｋとｌの定数を用いて所望のマッピング挙動の部分関数を定義することができる）。例えば、これらの輝度Ｌ＿ｏｕｔ＝Ｂ＊Ｌ＿ｉｎ＋Ｏに対して単独の又はパラメータ化されたブースティング関数を与えることができ、Ｂ及びＯは、ＬＭＣのような様々な特性の関数、又はＨＤＲ画像からのデータが置かれる矩形を取り囲む合成出力画像の輝度の平均などであってもよい。任意の分割された再等級分け挙動は、最終的な合成に先立って関数仕様で示されもよく、又は合成画像が作成された後に（全体の少なくとも一部が合成されたコンテンツに対して）分解可能にさえすることができる。
ダイナミックレンジ確立ユニット（３０２）は、２つの画像又はビデオのうちの少なくとも１つにおける輝度に依存して、合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）を確立すると有利である。すべての実施形態が最終的な視聴環境の詳細を必要とするか又は考慮することができるわけではない。例えば出力画像は、様々なユーザへの送信のためにいくつかのマスタ制御室で混合される。最終的な状況は、知られておらず、（ある視聴者が例えば電車内で視聴しており、別の視聴者が屋根裏に作成した映画部屋で視聴している場合）かなり変わり得る。その場合、両画像（又は２より多くが混合される場合はすべて）の特性は常に関連性があるから、両画像の特性に基づいて合成が最適化されていると有利である。もちろん読者は、うまく適用されると合成のパラダイムがさらに拡張可能であることを理解する。例えば、第１のコンテンツ作成者は２つの画像ソースを混合するが、これは、完全により多くのコンテンツを混合できないことを意味するものではない。それは、事後に又は第１の作成者の予想と共に両方で生じる可能性があり、少なくともいくつかの合成装置の実施形態は、このような状況をすべて満たす必要がある。例えば、最初のコンテンツ作成者は何が起こるべきかについての最初の発言をするので、自身のコンテンツに最適なＣｏｍｂＲｎｇ（及び／又はａｎｃ）を決定することができるが、おそらくいくつかのエンティティが将来いくつかの典型的な追加の特性（例えば、ニュース情報を底部に有するティッカーテープ、又は映画館の部屋又は店舗又は博物館の状況では、第１のレンダリングされた画像コンテンツなどの他に又はこれに部分的にまたがって第２の画像情報を投影する第２のプロジェクタであり、この第２のコンテンツは、ダイナミックレンジ、平均明度、平均明度の時間的進化などのダイナミクスを有する）のいくつかの画像コンテンツを追加することが予想される。第２のコンテンツミキサは、例えば最終的な合成画像又はその提示に関する追加情報があることを考えれば、ＣｏｍｂＲｎｇを維持する、又はおそらくこれを細かく調整するほうが良いなど第１のコンテンツ作成者の指示に従うほうが良いかどうかを依然として決定することができる。２つのクラスの実施形態が可能である。より単純なクラスでは、２つの画像は既にこの段階で不可分に混合されており（例えば最終ＰＩＰ合成）、最終的な受信側はそのレンダリングの詳細（レンダリングされるディスプレイのディスプレイＰＢ、平均周囲明度など）に従って全体画像を最適化するだけである。すなわち、理解を容易にするために、この合成された画像を取り、レンダリングされるべき最終出力輝度を得るために、その輝度に平方根関数として適用する。これは、混合画像が既に調和された明度を有しており、視聴環境が意図されたものと大きく異ならないので、多くのシナリオで十分である。
より高度な実施形態は、受信側で２つの画像のオブジェクト／ピクセル輝度分布の再決定を可能にし、いくつかの実施形態では、少なくともある程度は元の画像の再決定を含む（例えば、それらの基本的な符号化、又は少なくとも上述の分解性である元の輝度の等級分け）。例えば、いくつかの実施形態は、ある輝度分布態様でＰＩＰ合成を指定することができるが、ＣｏｍｂＲｎｇの仕様と関数ＦＦとを共符号化して、２つの画像の少なくとも１つをＣｏｍｂＲｎｇ内の正しく調和した輝度にする。例えば、５０００ニットＰＢに線形にスケーリングされた輝度とともにＬＤＲ ＰＩＰをＨＤＲサラウンド画像に単に入れると、受信側で正しい処理を行わなければ、もちろんひどい外観の合成が得られることが想像できる。しかしながら、受信側は、合成されたレンダリングをその側で、すなわち調和したＰＩＰ画像で正確にするために必要なすべての情報を得る。受信側は、知っていることすべて（すなわち、例えばその領域に対して受け取った部分的な輝度マッピング関数、又はその矩形領域の特別な追加のａｎｃ値など、又は例えばそのような領域が周囲のピクセルなどに比べてかなり明るいように見えることなど自身の側で決定することができること）を考慮に入れて、その矩形におけるピクセル輝度を適切に変更することによって行うことができる。当業者であれば、これらの関数ＦＦは異なるダイナミックレンジそれ自体のために再等級分けする関数Ｆ＿Ｌではないことを理解する、例えば単独のＬＤＲ画像を例えば１５００ＰＢのＭＤＲディスプレイのダイナミックレンジに合理的に適切にマッピングする単純な関数ではなく、むしろＨＤＲ画像と調和されたＬＤＲ画像に対して２つの画像の特性を一緒に考慮して良好な混合を与えることを作成側（又は任意の場所に設置された合成装置）が指定する関数であることを理解する。
ダイナミックレンジ確立ユニット（３０２）は、少なくとも１つの出力画像（Ｉｍ＿ｏ）がレンダリングされるディスプレイのピーク明度に依存して、及び好ましくは視聴環境の明度特性にも依存して、合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）を確立すると有利である。本発明の装置の実施形態が、例えばテレビ又はコンピュータのようなエンドレンダリングサイト装置又はシステムに組み込まれる場合、視聴の詳細に応じて合成をさらに指定することが適切な場合がある。ＬＤＲ画像が暗い環境でそのまま見られるときにＬＤＲ画像が過度に明るく見える場合には、特にその映画がその特定の視聴状況に対して既に最適化されているため、映画と合成したときにその暗い視聴周囲に対して明るすぎる可能性がある（図３に示すように、適切なＭＤＲの自動的に再等級分けされた外観画像Ｉｍ２＿ＭＤＲは、同一のコンテンツ予約を有するか又は同じ放送されたコンテンツを視聴するすべての視聴者が受信する例えば５０００ニットのＩｍ＿ＨＤＲから暗い周囲において視聴される例えば１２００ニットＰＢディスプレイに対して計算される）。部分画像は、適切なＭＤＲダイナミックレンジ（Ｉｍ１＿ＬＭ及びＩｍ２＿ＨＭ）で混合することができる。これは、例えばある画像の最も暗いピクセルを明るい観察環境で見ることが困難である場合、特に観察者が他の合成された画像から（おそらく空間的に隣接している）明るいコンテンツによって気を散らしている場合、特に重要であり、少なくとも１つの画像（例えば主要画像）におけるより暗いピクセルの追加のａｎｃ値は、最終的な合成の最適性を大幅に改善することができる。当業者はもちろん、２つの画像を合成して提示するには最適化は典型的には単一の画像の最適化とは異なる必要があり、観察者が知覚するように全体の状況に依存することを理解する（もちろん、実際的には、装置の位置付けられた市場価格を考慮して余裕がある複雑さに基づいて最適化を多かれ少なかれ正確に行う装置を構築し、より単純な実施形態のいくつかは既にかなり合理的な仕事を行う）。明るすぎる単独のＬＤＲコマーシャルを見ると、暗い視聴環境であっても、視聴者は画面上に見えるものによって大きく視界に適応する。しかしながら、２つの画像を合成すると、人間の視覚がどのようなものに適応するかは些細な先験的なものではないので、したがって、レンダリングされたピクセル輝度の合成について脳が感じる輝度及び明度に関連し（彼が主要な映画を悪く見始めることはありそうもない）、したがって、コンテンツ作成者が最小限の必要とされる情報と指針を少なくとも示すことができるシステムが望まれる（実用的な技術システムは、複雑さ、例えばコンテンツ作成者が費やした労力及び計算を行う必要があるＩＣのコストと、少なくともいくつかの最小限必要な色変換を処理してシステム挙動を単に悪いものではなく少なくとも半分妥当なものにすることができる必要との間でバランスを常にとり、典型的には標準化された様々な実施形態は、どのようなシナリオにおいてさらにどの特定の制御関数でどのくらいまで機能するかを決定する）。したがって、当業者は、少なくともディスプレイの能力に依存してＣｏｍｂＲｎｇ（及び典型的なアンカー輝度、及び線形でない場合にはＦＦ関数の特定の形状、又は線形の場合には倍数定数Ｃ）を決定することが有利であることを理解する（そのＰＢはほとんどの状況で十分であるが、省電力などの観点から完全に使用されない場合にはさらに特性が組み込まれる）。そして、視聴者の周辺環境の明度を評価するために装置が接続されている場合、より多くのことをしたくなる。例えば、照度計を使用することができるが、受信側の部屋のどこか、例えば画像化された視聴環境の様々な領域について輝度計に較正され、既にいくつかのＴＶに入っているディスプレイに接続されたカメラを使用するほうが良い。これにより、視聴者が画像をどのように経験するかを概算することができる。より単純なバージョン、又は、例えばＴＶの裏側の（見回る）領域の様々な輝度を各側で１ＴＶ幅までチェックするカメラなど高度なバージョンを使用することができる。
輝度アンカー決定ユニット（３０３）は、合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）、２つの画像又はビデオの少なくとも１つの輝度、少なくとも１つの出力画像（Ｉｍ＿ｏ）がレンダリングされるディスプレイのピーク明度、及び視聴環境の明度特性、のうちの少なくとも１つに依存してアンカー輝度（ａｎｃ）を決定すると有利である。また、少なくとも１つのアンカー輝度ａｎｃを確立するべきであり、そこから両方の画像の輝度の分布が調和された態様で分配され得る。読者は、様々な実施形態がいずれかの順序でＣｏｍｂＲｎｇ及びａｎｃの決定を行うことができることを理解すべきである。例えば、いくつかの実施形態は、（実際の又は予想される）ディスプレイの能力及び視聴環境の明度特性に応じて、例えば典型的には現在の映画又は画像のショットごとの状況などに対して、最初に良いＣｏｍｂＲｎｇが何であるかを確立する。
例えば、いくつかの実施形態は、映画を開始する前に、映画の第１の画像、又は映画全体を通してサンプリングされた画像の特徴的なセットを分析する。或いは、映画は共符号化されたメタデータを有し、そこから装置は第１の画像を復号化する前に、合理的な少なくとも初期のＣｏｍｂＲｎｇを確立することができる。例えばメタデータは、映画の平均輝度が４００ニットまでのより低い範囲で２００ニットであることを指定することができ、最も極端なシーケンス、例えば砂漠で撮影したショットでは、空又は砂のようなオブジェクトの輝度を９００ニット（及び平均６００ニット）まで拡散する（好ましくはそれを行うのに十分な能力を有する任意のＭＤＲディスプレイにレンダリングされるべきである）。次に、画像合成装置の実施形態は、ＣｏｍｂＲｎｇにおいて（特に、様々なＰＢのディスプレイにサービスする場合には）固定された明るすぎる領域を、例えば（小さい鏡面反射スポット、ランプ、又はシーンの非常に明るく照射された部分のような画像の詳細を含む上の明るい領域であろうとなかろうと）輝度の上部の１００％をすべてのハイライトのために使用することができるように、その映画のための最も過度の要件である９００ニットの２００％まで予約すべきであることを決定することができる。もちろん、より高度な仕様は、プログラム又は映画、又はその一部でどのような種類のＨＤＲ効果が典型的であるか符号化することによって、ＣｏｍｂＲｎｇの明るい輝度の領域を正確に決定する際に役立つ。一対のこのようなサブレンジと動作させると、特にこれらのレンジのための一対の良好なアンカー輝度で補完されている場合に、（それらが主にコンテンツの必要性を示しているか、予見されたレンダリングの能力を示しているか、又はその両方を示しているかによらず）強力で汎用性がある。
最適なＣｏｍｂＲｎｇを決定した後、装置はそれに基づいて、例えば顔の色のアンカー輝度をどこにすべきかを決定することができる。例えば、レンジの半分が十分に照らされたランバートオブジェクトの場合、ピーク輝度のその５０％の４０％を顔輝度のａｎｃ点として使用することを決定できる。しかしながら、いくつかの実施形態は、逆に動作することができる。すべてのレンダリング特性を考慮に入れて、装置は、視聴者にとって適切に明るく見えるように顔又は主領域のランバートオブジェクトの中間グレーに適したａｎｃ輝度を決定することができる。次に装置は、その周りに適切なＣｏｍｂＲｎｇを構築することができる。例えば、装置は最も要求の多いＨＤＲ画像を調べて、顔の輝度の２０倍までの明るいオブジェクト（ランプを参照）を見る。次いで装置は、その輝度値におけるレンジの最大値を設定する又はその値の例えば８０％は２組の画像の合成レンダリングに十分でなければならないことを決定し、（どちらも特定の実施形態の合成で使用される）Ｉｍ＿ＨＤＲのそれぞれのＩｍ２＿ＭＤＲの高い値は通常、合成ダイナミックレンジの最大ＬＭＣにクリッピングされる。これは、コンテンツを例えば低いダイナミックレンジ能力と調和させたい場合に、特に例えばＨＤＲ映画が主要なコンテンツではないが、例えば大部分が他の画像領域を例えば情報とともに示すコンピュータディスプレイ上のＰＩＰである場合に非常に有用であり得る。したがって、簡単な実施形態では、顔色よりも２倍明るいオブジェクトを生成し、合成画像又は画像（Ｉｍ＿ｏ）に追加する準備ができたときに、一般にいずれかの画像（すなわち、第１及び第２のＨＤＲ画像、又はＬＤＲ画像が合成で使用される場合にはＬＤＲ画像）のいずれかのアンカー輝度がそれぞれの画像ピクセルにおいても２倍明るくなる。又は、より進んだ色変換（又は合成のいくつかは、合成計算においてピクセル輝度を重み付け又は変更する場合がある）によって、いくつかの輝度をより暗く又はより明るくすることができる。同様の考慮が装置によって行われてＣｏｍｂＲｎｇの下限輝度ＬｍｉＣが生じてもよく、例えば（今やオリジナルの少なくとも１つよりもはるかに明るいオブジェクトを有する）合成画像が過度に暗い又は過度にコントラストが強い外観などにならないように、ソース画像の少なくとも１つより幾分明るくなる。
さらなる実施形態は、（ＩＣの一部として小さかろうと、又は消費者又はプロフェッショナルシステム全体のように大きかろうと）対応する装置又は方法として実現されてもよい。
複数の画像（Ｉｍ＿ＨＤＲ、Ｉｍ＿ＬＤＲ）の２つの画像又は２つのビデオであって、そのうちの１つが高ダイナミックレンジの画像又はビデオである２つの画像又は２つのビデオを合成するための方法は、
最大輝度（ＬＭＣ）を少なくとも特徴とする合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）を確立する確立ステップであって、確立ステップが、合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）におけるアンカー輝度（ａｎｃ）を決定する決定ステップをさらに含む、確立ステップと、
２つの画像又はビデオの少なくとも１つに少なくとも輝度変換から構成される色変換（ＦＦ＿１）を適用する適用ステップであって、その色変換は、２つの画像又はビデオの第１の画像又はビデオ（Ｉｍ１＿ＬＤＲ）を供給する第１のソース（３５０）から読み出されるソースアンカー輝度（Ｌ＿ＳＡ１）の値に基づいて確立される、適用ステップと、
画像を合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）におけるそれらのピクセル色を用いて合成して、少なくとも１つの出力画像（Ｉｍ＿ｏ）を形成する形成ステップとを含む。
請求項１０に記載の方法において、色変換（ＦＦ＿１）は、少なくとも１つのソースアンカー輝度（Ｌ＿ＳＡ１）と等しい第１の画像又はビデオ（Ｉｍ１＿ＬＤＲ）のピクセルの色の入力輝度に色変換（ＦＦ＿１）を適用した結果として決定される出力輝度（ＬＦ１＿ｏ）が、アンカー輝度（ａｎｃ）と等しくなるように又はアンカー輝度（ａｎｃ）から決定された差（ｄ＿ａｎｃ）だけオフセットした輝度と等しくなるように、決定される。
２つの画像を合成する方法において、色変換（ＦＦ＿１）は、第２の入力輝度（ＬＴ１＿ｉ）に色変換（ＦＦ＿１）を適用した結果として決定される第２の出力輝度（ＬＴ２＿ｏ）を出力輝度（ＬＦ１＿ｏ）で割った輝度比が、第２の入力輝度（ＬＴ１＿ｉ）をソースアンカー輝度（Ｌ＿ＳＡ１）で割った比の定数（Ｃ）倍になるように、決定される。上述したように、アンカー輝度の周囲の画像に生じる他の輝度は、単にアンカー輝度の周りにマッピングされてもよいし、又はより正確に決定された態様でマッピングされてもよい。
２つの画像を合成する方法において、複数の画像のうちの第２の画像又はビデオの色変換（ＦＦ＿２）は、２つの画像又はビデオの第２の画像又はビデオ（Ｉｍ１＿ＨＤＲ）を供給する第２のソース（３５１）から得られた少なくとも１つの第２のソースアンカー輝度（Ｌ＿Ｓ２Ａ１）に基づいて決定される。様々な明度レンジ（例えば、明るい光、明るい影、深い影、ランプなど）を出力画像ＣｏｍｂＲｎｇの出力レンジにおいて最適に調整して互いにマッピングすることができるように、第１の画像だけでなく第２の画像の様々なアンカー輝度を決定することができる。
２つの画像を合成する方法において、少なくとも２つの画像又はビデオのそれぞれに適用される色変換（ＦＦ＿１、ＦＦ＿２）の少なくとも１つは、それぞれの画像が、それが符号化される対応するダイナミックレンジから少なくとも２倍以上又はそれ以下のダイナミックレンジにどのように変換されるかを示す少なくとも１つの受信関数（Ｆ１＿Ｌ、Ｆ２＿Ｌ）に少なくとも部分的に基づいて決定される。上述のように、これらの関数は、シーン内のすべてのオブジェクトの明度が（その元のダイナミックレンジ、すなわち受信した入力画像のルマコードＹ’を規定するＥＯＴＦに対応する基準ディスプレイのＰＢと少なくとも２倍異なる）任意のダイナミックレンジでどのぐらい正確に見えるかを決定する。したがって、その情報は、例えばやや低いダイナミックレンジに再等級分けする必要がある場合にも使用することができる（例えばＣｏｍｂＲｎｇがＩｍ＿ＭＤＲのＭＤＲレンジより少し小さい）。これは、それ自身で使用される少なくとも１つの画像又はビデオの調整された輝度になるためのスマートさのほとんどを行うが、合成画像コンテンツの提示のためにＣｏｍｂＲｎｇにマッピングされた画像の最初のピクセル輝度のセットを大まかに決定するための良い出発点である。いずれの実施形態でも検査され使用されている関数Ｆ１＿Ｌ及びＦ２＿Ｌそれぞれの形状特性においてコンテンツの作成者によって指定されているから、（例えばオブジェクト分割アルゴリズム及び対応する輝度レンジに従ってスマートに決定されるか、又は例えばＣｏｍｂＲｎｇを５等分又は等しくないサブレンジに分割し、２つの入力画像輝度レンジ及びそれらの対応するサブレンジについて同じことをすることによって大まかに決定されるかいずれにしても）例えば合成装置又は方法によって決定されたヒューリスティックな線形ストレッチのようないくらか単純化されたさらなる微調整、又はそれらのオブジェクト又は輝度サブレンジ内の画像における特定の必要な輝度調整を考慮した高度なさらなる微調整が生じる場合がある。
上記の方法の１つに記載の２つの画像を合成する方法において、合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）及びアンカー輝度（ａｎｃ）のうちの少なくとも１つは、２つの画像のうちの少なくとも１つにおけるオブジェクトの輝度分布依存性質、２つの画像の少なくとも１つの輝度特性を要約する情報、合成された少なくとも１つの出力画像（Ｉｍ＿ｏ）がレンダリングされるディスプレイのダイナミックレンジ、及び出力画像が見られる視聴環境のための明度測定値のセットからの少なくとも１つの要因に基づいて決定される。
上記のすべては、インターネットなどを介して接続された他の国のサーバに構成要素が存在する場合がある消費者装置又はプロフェッショナルシステムであろうが、様々なシステム及び形態に組み込まれ得る。
ＣｏｍｂＲｎｇの仕様（例えば、その上位輝度ＬＭＣ、及びその下限輝度ＬｍｉＣ）、及び／又は例えば顔の典型的なアンカー輝度、場合によっては同様に画像ピクセル輝度をどのようにしてＣｏｍｂＲｎｇにマッピングするかを指示する少なくとも１つの色変換関数などのメタデータが画像に補足されると有利である。
受信されたときに画像の照明選択が様々な画像の合成を望む装置によって理解することができるように、コンテンツ作成者が少なくとも１つの意味的に関連性のある（好ましくは事前に合意されたタイプの）アンカー輝度で画像に注釈を付けることも有利である。
これらの方法のそれぞれは、コンピュータプログラムとして実施すること有利であり、コンピュータプログラムは、コードが実行されたときに上記の方法のいずれかの実施形態のすべてのステップが実行されるように、プロセッサがコードを実行できるようにするソフトウェアコードを含む例えばコンピュータプログラムなどの物理的なキャリアを介して通信され得る。
発明による方法及び装置のこれらの及び他の態様は、以下に説明される実施態様及び実施形態及び添付の図面から明らかとなるものであり、これらを参照して説明する。これらの図面は、単により一般的なコンセプトを例示する非限定の特定の図を単に提供するものであり、破線はその構成要素が任意選択であることを示すために使用され、破線以外の構成要素についても必ずしも必須ではない。また、必須と説明された要素がオブジェクトの内部に隠れていることを示す場合又はオブジェクト／領域の選択（及び、ディスプレイ上での見せ方）などの無形物の場合にも破線を使用可能である。
（最近開始された）ＨＤＲ時代において、容易に関連しない非常に異なる輝度特性を有する画像をもたらすビデオを符号化する様々な異なる態様がどのように（２０１５年に）提案されたかを概略的に示す図である。 同じ画像ＨＤＲシーンのオブジェクト明度のＬＤＲの低輝度の異なる外観（又は色等級分け）とともに、出願人のＨＤＲ符号化技術がＨＤＲ画像をどのように符号化することができるのかの基本構成要素を概略的に示し、この情報が任意のピーク明度（ＰＢ＿ＭＤＲ）を持つ任意の利用可能なＨＤＲディスプレイ上の正しい画像オブジェクト明度で適切な外観を計算するのにどのように十分であるかを概略的に示す図である。 本発明のＨＤＲが可能な画像又はビデオの合成装置の主要なユニットを示す基本的な実施形態を概略的に示す図である。 最適に選択された合成ダイナミックレンジに対する適切な色変換がビデオ又は画像の合成の前にどのように起こるかを概略的に示す図である。 ピクチャインピクチャ構成の考えられる合成の１つにおいて、２つの画像のピクセル輝度（又は一般的な色）を注意深く測色的に準備するのではなく、むしろ簡単な態様でそれらを合成する場合に起こり得る問題を概略的に示す図である。 合成すべき少なくとも２つの画像のうちの少なくとも１つについて、装置が例示的な適切な色又は少なくとも輝度、変換関数（ＦＦ）をどのようにして決定することができるかを概略的に示す図である。 コンテンツ作成者が所望するように、画像を第１のダイナミックレンジから、ダイナミックレンジ（少なくともそのピーク明度）が２つのそれぞれの要因によって異なる場合がある異なる第２の画像へ自動的に芸術的に最適に再等級分けするために、本出願人の発明者によって開発されたようにどのアルゴリズムを使用することができるかを概略的に示す図である。 画像化されたＨＤＲシーンにおけるオブジェクト輝度分布の意味的特質に基づいて、合成すべき画像を合成レンジ（ＣｏｍｂＲｎｇ）に色変換するために装置がどのように（ＦＦ）関数を調整するかについて、いくつかのより高度な例を概略的に示す図である。 現在説明されている装置及び方法の実施形態のアプリケーションの一例、すなわち例えばテレビのトークショーのようなマルチビデオオリジナル作成を概略的に示す図である。 装置及び方法の実施形態が、例えばローカルエリアにサービスを提供するための伝送制御室のようなビデオ通信ネットワークの中間ノード内のシステムで使用される第２の例を概略的に示す図である（他の合成装置の実施形態は、例えばビデオの最終ユーザの屋内にあるビデオ又は画像処理チェーンの他の場所に存在し得ることを読者は理解すべきである）。 装置の実施形態がどのようにしてＣｏｍｂＲｎｇを決定し、ソース画像輝度をアンカー輝度の輝度値の良好な位置からそこへ割り振ることができるかを概略的に示す図である。 装置の実施形態がどのようにしてＣｏｍｂＲｎｇを決定し、ソース画像輝度をアンカー輝度の輝度値の良好な位置からそこへ割り振ることができるかをさらに説明する例を概略的に示す図である。 本発明の技術的側面を使用せずにどのようにして２つの画像からピクセルを単純に合成することができるかを概略的に示す図であるが、これは、品質の悪い合成画像を導く可能性がある。 特に１つの技術的ＨＤＲビデオ符号化方法で符号化された１つの画像キャプチャ方法であっても、特にＨＤＲ撮像の可能性を最も自由に利用したい場合に、どのようにして同じオブジェクトに対して非常に可変の輝度を有することができるかを概略的に示す図である。 様々な合成レンジをどのように決定することができるか、及び特に関連する感知可能なアンカー輝度（ａｎｃ）の確立について、及びそこから少なくとも２つの画像又はビデオからの部分コンテンツを調和させるための典型的な輝度マッピング関数について、それが実際に何を意味することができるかを概略的にさらに説明する図である。 特に、様々な画像輝度の粗い及び細かい再等級分けの特定の態様においてビデオ処理チェーンの初期の部分、ビデオ符号化自体を特定した場合に、どのようにして非常に強力な調和を行うことができるかを概略的に示す図である。 人間の等級分け及び画像注釈の場合に人間のコンテンツ作成者によって決定することができる画像コンテンツの歪み及び／又はコンテンツの不調和の両方のようなエラーの要因を決定することができる様々なアルゴリズムに基づいて、自動バージョンが様々な変数の決定をどのように定式化することができるかを概略的に示す図である。 画像合成に対する調和された輝度を決定するための有用な輝度変換関数の実施形態のいくつかのさらなる例を概略的に示す図である。
図１及び図２は既に上記で説明され、図２は、同じシーンのＨＤＲビデオ、より正確にはＬＤＲグレード画像及びＨＤＲ（典型的には５０００ニットＰＢ）グレード画像を好ましくはどのように符号化するかを示しており、これは、（受信したＬＤＲ画像に輝度変換関数を適用することによって）符号化して、端部としてＬＤＲ及びＨＤＲグレーディングにまたがるダイナミックレンジの範囲内又は範囲外の任意の場所でディスプレイピーク明度のための最適に再グレードされた画像を生成することができる。
図３は、ＨＤＲ画像、又はビデオ、ハーモニック合成装置又は方法のほとんどの実施形態の根本的ないくつかの基本的な構成要素をより高いレベルで説明している。以下ではＰＩＰの例を用いて状況を説明するが、例えば異なるソースからインターリーブされたビデオの時間的連続性において等級分けの明度を調整するのに同じ技法を使用することもできる。例えば、ＬＤＲコマーシャルのための良好なＣｏｍｂＲｎｇレベルを確立し、ＨＤＲ画像の輝度をそれに向かって徐々に適応させることができる（様々なビデオの時間的進化に関して様々な追加のメタデータを送ることができる）。当業者は、非常に異なる状態であり異なって定義された輝度（ルマコードは言うまでもなく）の２つの画像が対応し関連する（結合すべき）類似の輝度を有するものに変換されると、より複雑な態様、例えばアルファブレンディングでコンテンツの混合を開始することができ、又は顔の一部を適切に調整された輝度などを有するいくつかのコンピュータ生成の顔構造と置き換えることができると理解するであろう。例えば、第１の画像のＣｏｍｂＲｎｇにマッピングされた顔輝度（例えば、異なって照らされた顔の両側）がｘとｙであり、第２の画像のそれがｘ＋ｅ１とｙ＋ｅ２であり、ｅ１とｅ２が十分に小さい偏差である場合、Ｌ＿ｏｕｔ＿ｃｏｍｂ＝ａｌｐｈａ＊Ｌ＿ｉｍ１＿ｃｏｍｂ＋（１−ａｌｐｈａ）＊Ｌ＿Ｉｍ２＿ｃｏｍｂのような混合式を適用することができ、Ｌ＿ｉｍ１＿ｃｏｍｂ、Ｌ＿Ｉｍ２＿ｃｏｍｂはそれぞれ、（それぞれＦＦ関数を使用して）ＣｏｍｂＲｎｇに色変換した後の第１及び第２の画像のピクセル輝度であり、ａｌｐｈａは０．０と１．０の間の実数であり、Ｌ＿ｏｕｔ＿ｃｏｍｂは出力画像Ｉｍ＿ｏ、すなわちＣｏｍｂＲｎｇをダイナミックレンジとして有する合成画像におけるその混合ピクセルの最終輝度である。
読者は、作成者が元の画像に対して可能な限り完全に制御できる場合（特に、意図したレンダリング環境の詳細を知る必要がある場合もある）、もちろん要望に応じて完全に満足するまで任意の手段を用いて合成画像を微調整することができることを理解することができる。しかしながら、本実施形態は、例えば、すべてを手作業で微調整する時間がないため、又は最適な外観を定義する入力や変数が制御できない又は知られていないため、それほど簡単又は可能ではない多くの状況を提供する。何かがいつも画像処理状況で変わることがあり、そのため、これは最新のＨＤＲ処理技術が提供すべきものである。すなわち、少なくとも本実施形態は、例えば新しい要望に応じて様々な瞬時の比色微調整を行うことができるより汎用性のある用途を可能にし、元の画像の外観情報の一部を保持することができる。重要なのは、各段階で画像の少なくとも最も重要な側面の一部を保持することである。もちろん、エンドユーザはビデオを完全に再度色付けすることを決定することができるが、すべてのコンテンツ作成者の努力は無視され失われ、それは実際誰の役にも立たない（例えば、テレビメーカーは、画像レンダリングに自分の好みを幾分か追加したいと考えるが、必ずしもその画像に関するすべてのもの、特にコンテンツ作成者が画像について指定したものを無視することによってそうする必要はなく、しかし一方で、受信側は、たとえ状況が明らかに不適切であると思われるとしても、画像比色に関して全く何も言うことがないと感じるべきではない）。
復号器２５１は、図２で説明したものと同様であり、すなわち、説明したＨＤＲ符号化方法（様々な可能な画像グローバル又はローカル実施形態に従って輝度マッピング関数を抽出し、そこから新しいＭＤＲ再等級分け画像を決定する）に従って（ＨＤＲ、ＬＤＲ）画像の等級分けを処理することができる。もちろん、読者は、これが可能な実現化のうちの１つを単に説明することであることを理解しており、装置は通常、あらゆる種類のＨＤＲ又はＬＤＲビデオ又は画像を処理（すなわち、複合及び合成）することができる、すなわちＩｍ＿ＨＤＲはＰＱ ＥＯＴＦ又はＢＢＣ−ＨＬＧ法などによっても定義できる。しかしながら、この例では、いくつかの（第２の）画像ソース３５１（例えば、衛星放送チャンネル、又はインターネットを介したビデオストレージへの接続、又は接続されたカメラなど）から、混合すべき２つの画像のうちの第２の画像が得られると仮定する（例えば、主要な、最も重要な（主な）プログラムは、正確に芸術的に色等級分けされたＨＤＲ映画である）。例えば、それは画像がＰＱ ＥＯＴＦで変換され、次にＤＣＴ符号化され、いくつかのＨＥＶＣプロファイル及びレベルに従って符号化される５０００ニットＰＢ ＨＤＲ等級分けである。このＨＤＲ画像を１００ニットＬＤＲ画像にダウングレードする関数Ｆ２＿Ｌを含むメタデータも通信される。復号器は、接続されたディスプレイのための最適な画像、例えば２５００ニットＭＤＲ画像、Ｉｍ２＿ＭＤＲを作ることができる。これはこの映画では正しい等級分けであり、他の（第１の）画像データと合成されずに空間的に又は時間的に散在しているか否かそれ自身で監視される。
図７では、本実施形態の１つによれば、第１のダイナミックレンジの外観から第２のダイナミックレンジの外観へのそのような再等級分けをどのように行うことができるか要約する。Ｌ＿ｉｎが実際の（ＨＤＲ画像をレンダリングする際にディスプレイにレンダリングされる）輝度０−５０００ニットに対応する［０．０−１．０］ＨＤＲ入力輝度に正規化されていると仮定する。Ｌ＿ｏｕｔは、正規化されるがＰＢ＝１００ニット（すなわちＳＤＲ輝度）に対応するＬＤＲ輝度である。このＨＤＲをこのＬＤＲ画像にマッピングする関数７０２は、特定の輝度変換におけるＦ２＿Ｌ色の例である（単純な理解のために単にグレースケール画像を有すると仮定することができるが、この態様で必要な色変換をＲＧＢ色に適用することができることも示す）。例えば３４００ニットのＭＤＲディスプレイのＰＢ＿ＭＤＲに対応する最適な再等級分け関数７０３を導出したいと仮定する。斜線７０１は、５０００ニット入力画像をＰＢ＝５０００ニットのディスプレイに最適な画像にマッピングしたい場合、ＨＤＲ画像がそのディスプレイに対して既に最適に等級分けされているので（すなわち、それが同一性変換によって記号的に変換されているため）、必要な輝度マッピングになる。例えば垂直な誘導方向ＤＩＲを確立する。３４００ニットのディスプレイＰＢに対するスケーリングされた関数は、Ｆ（Ｌｓ）の間にある任意の入力輝度Ｌｓについて、すなわち最適に決定されたダウングレード関数Ｆ（Ｆ２＿Ｌ）がその輝度点及びＬｓに存在しても、値Ｆ＊（Ｌｓ）を与えるべきである。この点をＬｓ＋ＦＩ（ＰＢ＿ＭＤＲ、Ｌｓ）＊（Ｆ（Ｌｓ）−Ｌｓ）と決定することができ、ＦＩは０と１の間の値を与える関数であり、より単純なシナリオではｋ（ＰＢ＿ＭＤＲ）＊Ｌｓとして乗法的に書くこともできるＰＢ＿ＭＤＲの関数のみである。どの関数が正確に使用されるかは、使用された実施形態の再等級分け原理に依存し、読者は、例えば視聴環境の詳細に依存する（又は視聴者の嗜好も考慮される）が、多かれ少なかれ複雑な様々な実施形態が存在し得ることを想像することができる。しかしながら、その詳細は、この出願で説明する必要があるものを超えており、既に十分に複雑である（読者は、いくつかの再等級分け関数が確立され、入力画像に適用され、ＭＤＲディスプレイのための正しい画像オブジェクト輝度を有する正確に再等級分けされた画像を得ることができることを理解すべきである）。
上記の第１の画像は何でもよいが、ＬＤＲコマーシャルを用いて原理を説明し、本実施形態の原理は他のコンテンツと同様である。少なくとも２つの画像のダイナミックレンジの大きな差異だけではなく、ＬＤＲコマーシャルにおけるオブジェクト輝度の極端な分布のために（すなわち、２５００ニットはＣｏｍｂＲｎｇにとって最良のＬＭＣ値ではないが別の値が選択され得る）、この２５００ＭＤＲは、１００ニットのＬＤＲコマーシャルと混合する場合、適切な等級分けではない（すなわち、２５００は適切なＰＢではない）。高ダイナミックレンジは、「高い」すなわち明るいだけでなく、「動的」という点でも、すなわち輝度軸上のどこに作成者が画像内の様々な意味オブジェクト及び／又は領域を割り当てたかという点でも理解するべきである。一般的な誤解とは対照的に、単に高輝度で画像を表示することは、むしろフラットなＬＤＲ−ｉｓｈの外観及び苛立たしい明るさをもたらす可能性があるので、グレー値の間の全部又は多くをより厳密に制御することが望ましい。例えば、コマーシャルの作成者は、１００ニットＬＤＲスクリーンに高い視覚的インパクトを与えるために、ＬＤＲコマーシャルをより明るく派手にする。しかし、このインパクトは、（このようなディスプレイを購入した視聴者のための５０００ニットＰＢ＿Ｄディスプレイはもちろん）２５００ニットのダイナミックレンジであっても高すぎるので、例えば映画にきれいな明るいランプを表示する必要性とＬＤＲ等級分けの極端さの両方を考慮したＣｏｍｂＲｎｇはそのような場合に例えば１５００ニットＬＭＣで必要となる。この装置は、ＬＤＲ画像の全体コントラストを測定するなどの方法を用いることができ、例えばＬＤＲ画像におけるｋ％＝例えば８０％の輝度より上のピクセルの量がどれだけ大きいか、どのくらいの頻度で平均輝度が高いか極端か、又はｋ％より上のピクセルの量がどのように変化するかなどをカウントし、そこから極端な基準を決定し、このＬＤＲコマーシャルの最も明るい部分がＣｏｍｂＲｎｇにマッピングされたときに最終的にどの程度明るくなるかを決定し、例えばＬＭＣがどのようなものでなければならないかを決定する（例えば、ＬＤＲピクセルのうち最も明るいピクセルは、どの非線形性が使用されるかに依存して、又は顔の輝度を配置するためにどの程度の明るさが必要であるかに依存して、３００ニットになり得、ＨＤＲ映画の最も明るいランバーシアンピクセル（すなわち、その映画のより低いレンジにおいて、例えばＨＤＲ映画のためのそのメイン領域の符号化された中間グレーの５倍として識別される）は、例えば、大体ｋ倍すなわち２００又は４５０になり、明るいランプは３００ニットの５倍になり、ＬＭＣ＝１５００ニットを与える。）
当業者であれば、ＣｏｍｂＲｎｇ（又はａｎｃ）に至る様々な態様があることを理解しており、例えばそれは主にＨＤＲ映画によって決定され、次にＬＤＲ画像をそのＣｏｍｂＲｎｇにマッピングされたＨＤＲ映画とどのように調整するか（上述の第１の記述された例のように）、又はここで例示されるようにＬＤＲ画像特性によって主に又は大部分が決定され、最も明るいＨＤＲオブジェクトがＬＤＲ画像内の最も明るい色又は平均色より上にどれだけ伸びるかを決定するとき、又は２つの合理的な最適値が見つかるまで反復的に決定するときに、ＨＤＲ画像の十分な品質を保護する。それはすべて特定の状況の必要性、及び特定の合成装置の実施形態の挙動に依存する。２つの画像のうちのどれが最も高い重要性を有するかは、様々な態様で予め設定することができ、例えば視聴者は、いくつかの実施形態では、リモートコントロールを用いて、どのような画像が合成されても映画の邪魔を最小限にしたいことを示すことができ、又はコンテンツ作成者は、その合成装置が最終的に決定するコンテンツについての指示を与えることができる。
図３に戻って、第１の画像ソース３５０は、例えばＲｅｃ．７０９に従って標準的な態様で符号化されたＬＤＲ画像Ｉｍ１＿ＬＤＲと仮定した第１の画像を供給する（当然そこには図示されていない復号器ユニットが存在し得る）。最近のビデオの場合、ＨＤＲに変換するための独自の関数Ｆ１＿Ｌで注釈が付けられ、古いＳＤＲビデオの場合には注釈が付けられていない。すなわち、そのメタデータに関連する関数Ｆ１＿Ｌを有し、本来の１００ニットＤＲよりも他のダイナミックレンジへの芸術的な最適な変換を可能にする。関数が欠落している場合、合成装置は、平均的に合理的にうまく機能する関数及び推定を常に適用することができる。やはり、画像ソース３５０は、様々なソースであり、例えば視聴者の家の正面玄関にあるセキュリティカメラは、誰かがドアベルなどを鳴らしたときなどに画像をＰＩＰする。
説明したように、様々な考えられるアルゴリズムのうちの１つに従って、ダイナミックレンジ確立ユニット（３０２）は、例えば第１及び第２の画像の輝度特性のような状況を分析し、上記の例ではＬｍｉＣ＝０ニット、ＬＭＣ＝１５００ニットで適切な合成輝度ダイナミックレンジ（ＣｏｍｂＲｎｇ）を確立する。輝度アンカー決定部（３０３）は、アンカー輝度（ａｎｃ）を決定する。例えば、輝度アンカー決定部（３０３）は、第１の画像に関連付けられたメタデータにおける第１の画像ソースから、タイプ「顔輝度」のソースアンカー輝度（Ｌ＿ＳＡ１）を読み出し、この値は例えば４５ニットである。画像の少なくとも１つの顔が重要であることが分かっている場合は、ＣｏｍｂＲｎｇの中でどれが良い顔色ａｎｃかを確立する必要がある（もちろん、他の実施例では、指定された場所でソースアンカー輝度を調べることなく、ａｎｃを最初に決定することができ、又はアンカー輝度が例えば明るい屋外のサブ領域において平均グレーであることを見た場合に、ＣｏｍｂＲｎｇについて、全体的な平均グレー及びＣｏｍｂＲｎｇ内の色の全体的な中立的なレンダリングと比較して明るい外部輝度を位置付けるｄ＿ａｎｃ位置を決定する）。実施形態の複雑さに依存して、典型的な実施形態は、タイプ顔色の第２のソースアンカー輝度Ｌ＿Ｓ２Ａ１のどの値が、顔色が映画のこのショットにどのように現在あるかを示すことを確認したい。上側のレンジは明るく点灯したオブジェクト又は領域、又はランプのようなＨＤＲ効果に使用されるから、正規化された輝度軸ではこれは当然低い値になる。それでも、拡散オブジェクトの範囲における例えば最大４００ニットの合理的な値が１８０ニットであり、３０ニットの値しか見つからない場合には、本質的に暗い顔か薄暗い顔、或いはその両方であることを知る。いずれにせよ、たとえその顔がコマーシャルよりも暗く見えても、ａｎｃ値を例えば１８０＊１５００／２５００に置くことを決めた場合にそれはもっと暗くなる。したがって、３０ニットにいくらか近いａｎｃ値を計算し、ＬＤＲの顔輝度を例えば０．８＊１８０＊１５００／２５００ニット値又はその付近に配置し、例えば０．３＊１８０＊１５００／２５００のａｎｃ値近辺にＨＤＲ顔色をマッピングすることを望む。これは、物語に従ってＨＤＲ映画のために、どちらも最適なａｎｃ値に従って調整すべきであるので、ＬＤＲ画像に対して顔を適切に薄暗くし、顔を適切に暗くすることを保証する。もちろん、例えば特にＨＤＲ点灯領域の中間グレーのような他の又は追加のアンカー輝度を考慮することによって同じことを行うことができる。
アンカー輝度ａｎｃを有するＣｏｍｂＲｎｇを確立してから行う唯一のことは一般的に、ａｎｃ値又はその周辺に向けられるべきであるために決定される１つの特定の輝度値に従って２つの画像をそのダイナミックレンジに最適にマッピングすることである。これを行う１つの態様は、輝度マッピング関数のラインの傾きである最適に決定されたコントラスト値Ｃを用いて輝度の線形割り当てを行い、次にクリッピングが生じるまで線形方程式を計算することによって輝度を割り当てることである（クリッピングの量はＣ値とともに制御することができ、ＣｏｍｂＲｎｇ内のある値、すなわち最大値ＬＭＣ以下の値にクリップすることができることに留意されたい）。この例におけるＣｏｍｂＲｎｇへのダウンマッピングは、復号器２５１が使用するのと同じ計算を考慮することによって、すなわち典型的には人間のグレーダによって決定されるように画像のより明るい部分及び暗い部分のために必要な挙動を符号化する特徴を有する少なくとも輝度マッピング（Ｆ２＿Ｌ）を使用することによっても行うことができる。例えば、ＣｏｍｂＲｎｇを知ると、復号器２５１によって５０００ニットのＨＤＲ画像Ｉｍ２＿ＨＤＲから直接にマッピングされた第２の画像に対応するピクセルを有することができる。色変換ユニット（３１０）は、すべての必要なピクセル色変換を行い、特に少なくとも適切な輝度調整を行うので、合成ユニット（３２０）は、単純なアルゴリズムを適用することができる（すべての比色最適化が既に行われているため、例えば単純加算加重又はピクセル置換又は切り替えユニット）。ソースアンカー輝度読み出しユニット（３１１）は、例えばＬＤＲ画像の顔輝度、又は画像化されたシーン中の黒の良好な平均値などの、２つの画像のうちの１つに関連する１つのソースアンカー輝度を少なくとも読み出す。上述のように、いくつかの実施形態では、両方又は一般的にはすべての画像から、画像内の特定の輝度領域の特徴であるいくつかのソースアンカー輝度（例えば、特別なグレー値、又は平均的な明るさ又は暗い空の輝度などの共通の意味的に重要なオブジェクトに関連するグレー値）を読み出す。単純ではないシナリオでは、（ａｎｃに固定された）ただ１つの同様のアンカー輝度を同等にすることに基づいて２つの画像の輝度をマッピングするのではなく、むしろａｎｃに比べて出力輝度をスマートに位置決めしたいので、偏差決定ユニット（３１２）は、適切な輝度オフセット（ｄ＿ａｎｃ）を決定する。例示されているように、これは、例えばコマーシャルは非常に明るくコントラストの高い顔を含んでおり、ホラー映画は濁った暗い顔を含んでいるので、例えばａｎｃが暗い映画の顔の輝度に近いと決定された場合、ＬＤＲコマーシャルの顔の顔色をどこにマッピングするかについて十分に大きな正のオフセットｄ＿ａｎｃが求められる。中間的に正確に輝度マッピングされた画像Ｉｍ２＿ＨＭ及びＩｍ１＿ＬＭは、次いで合成ユニット（３２０）に入り、次いで線形ＲＧＢであるか又はＹ’ＣｂＣｒに再計算されたものであろうとなかろうとマッピングされたＨＤＲ色（すなわち、Ｉｍ２＿ＨＭ）又はＬＤＲ Ｉｍ１＿ＬＭ色を出力画像Ｉｍ＿ｏに入れるピクセルの（ｘ、ｙ）位置に依存するピクセルスイッチャのようにシンプルになる。
図４は、輝度ダイナミックレンジ上のマッピングを示すことによって、選択された例のすべてをさらに明確にしている。Ｉｍ１＿Ｒｎｇは、ＬＤＲの第１の画像のＬＤＲ ０−１００ニットダイナミックレンジであり、すなわち、最小輝度Ｌｍｉ＿Ｌ＝０ニットと最大輝度ＬＭ＿Ｌ＝１００ニットとの間でなければならない符号化された輝度を有する。Ｉｍ２＿Ｒｎｇは、例えば、ＬＭＨ＝５０００ニットのＨＤＲ画像のダイナミックレンジである（又は、上記の例ではＬＭＨが２５００ニットになるディスプレイが最適化されたＭＤＲ画像であり得る）。このことから、ＣｏｍｂＲｎｇがＩｍ２＿Ｒｎｇ又はディスプレイＤｉ＿Ｒｎｇのレンジと同じ又は近くなければならない必要はないことが既に分かる。このディスプレイレンジは比較のために示されているが、いくつかの実施形態では合成でも使用されず、むしろ、Ｉｍ＿ｏはディスプレイ調整色変換ユニットに行き、定義された合成出力画像Ｉｍ＿ｏを例えば１４００ニット又はどのような値であってもディスプレイダイナミックレンジ上の例えば３０００ニットにマッピングする（当業者であれば、例えば合成が他の装置、例えばケーブルヘッドエンドで行われ、特定のユーザが例えば９５０ニットの限定されたＰＢのＨＤＲディスプレイを有する場合、又は、混合がすべての視聴者の場所で発生し、視聴者が例えば７０００ニットの高いＰＢのディスプレイを有する場合、ＬＭＣがＬＭ＿ＭＤＲよりも高いシナリオが存在し得ることを理解するが、現在はＰＢ＝１２００ニット以下のニュース番組のようなＨＤＲ番組及びＬＤＲ画像のコンテンツを受け取る場合、ＬＭＣはＬＭ＿ＭＤＲ＝７０００ニットよりもはるかに小さいと判定される）。ＬＤＲのコマーシャルは既にそれと十分に調和しているので、調整関数は例えばＨＤＲ映画のコンテンツ（すなわち、Ｆ２＿Ｌ）のためのものとなり得る。もちろん、より複雑な実施形態は、両方の画像をディスプレイダイナミックレンジに直接的に最適化する。読者は、例えば視聴者のテレビの特徴がまだ知られていないプロダクション又はビデオ送信サイトにおいてＣｏｍｂＲｎｇが例えばディスプレイダイナミックレンジにならない状況があることを理解するであろう。それはＨＤＲ市場が作り出した複雑さの１つであり、それは要求に応じる必要がある。ＬＤＲ時代にはすべてのテレビがほぼ同等（ＰＢは約１００ニット）であったため、ビデオ処理は単純であったが、今は一部の視聴者は１０００ニットのＨＤＲテレビを有し、他の視聴者は７０００ニットのＨＤＲテレビを有し、その他の視聴者はレガシーＳＤＲ１００ニットのＴＶを有し、他の視聴者は例えば５００ニットのＰＢのＩｐａｄ又は携帯電話で画像を見たい（まだ様々な画像コンテンツのすべての詳細を明らかにし始めていない）。それらの大きな多様性によって、これらのディスプレイダイナミックレンジは、２つの画像を合成し両方を最適に表現するためにすべてが最も適切なＣｏｍｂＲｎｇであるとは限らないことを理解されたい。しかしながら、特に最後に１０００ニットのテレビ又はモニタにレンダリングしなければならない場合、ＬＤＲを最大５０００ニットの画像２ＨＤＲダイナミックレンジまでアップグレードして合成し、その後、再び大幅にダウングレードして、特にＦ２＿Ｌ関数を使用したときにより明るいＬＤＲ色の重要な部分を失うリスクがあることが最適であろうか？
この点について、ＨＤＲ映画のメイン領域５００においてＰＩＰ５０１の例を使用する（ただし、同様の問題が例えば一時的なマスキング及び適応などで起こる）図５を用いてもう少し説明する。
古典的なＬＤＲコンバイナは、Ｙ’ＣｂＣｒ（すなわちルマ＋２クロミナンス座標）、非線形Ｒ’Ｇ’Ｂ’、線形ＲＧＢ、又は原理的には任意の色空間において合成を行うことができる（ビデオ速度で作業する必要があるシステムに対してこれはあまり一般的ではないが、計算リソースを節約したい）。グレー値の画像があると仮定することにする。
ピクセルごとにピクセルのルマコードＹ’を単純に切り替えた場合、それらはＨＤＲ及びＬＤＲ画像に対して非常に異なるように決定されるので、非常に悪い結果をもたらす（基本的に処理装置の主要な誤認問題になる）。例えば、ＬＤＲ ＰＩＰ（ディレクタの解説であるとする）の窓５１０に見えるすべてのものは、ＬＤＲに対して明るすぎ、そのビデオ単独ではとにかく面白くないから、最大ルマコードＹ’＝２５５又は正規化された１．０でクリップされている。オリジナルのＨＤＲ映画（例えば暗い夜景）のピクセルの正規化されたピクセルルマのいくつかが、ＬＤＲ画像の正規化されたルマで置き換えられるルマ符号化において合成画像Ｉｍ＿ｏをレンダリングする場合、例えばＰＱ ＨＤＲ ＥＯＴＦで符号化することによって、ＰＩＰが過度に明るく見える（窓の色は例えばＰＢ＿Ｄ＝４０００ニットのようにレンダリングされ、代わりに原則的には、うまく調和された外のオブジェクトの色、又は少なくとも刺激の少ない明るいクリップされた色を有する）。これは、ブリージング又は光の広がりとも呼ばれる過剰放射５０２につながる。これがディスプレイの物理的性質（例えばバックライトＬＥＤの量が少ない、ディスプレイ前面板における相互反射）に起因していない場合、人間の目の眩しさにより、明るい領域をブロックするために手を使うことなくＨＤＲディスプレイ上の非常に明るい領域を見るのが難しいという事態を招く。要するに、視聴者はそのようなことを望んでおらず、技術的に可能であるならばそのようなことがないことを望む。少なくとも、ＬＤＲ ＰＩＰの輝度とＨＤＲ映画の夜景の暗い領域がよく調和していないことは明らかである。しかしながら、その逆も生じる。ＰＩＰがＨＤＲ映画において太陽の近く又はその他の非常に明るい部分にある場合は、暗すぎることがある。例えばはっきりと白であるはずの色があまりにも灰色に見えると見苦しくなり得る。右側に示すようにＰＩＰの顔の輝度を暗いＨＤＲの顔の輝度に近づけることによって減少させると、（コントラスト比で）ＬＤＲ画像内の他のオブジェクトの輝度が顔色に関連するという事実によって、それらもより適切に暗くなる。したがって、すべての色が比較的うまく調整されているように見えるはずである。
適切なＬＤＲサブレンジをＰＩＰ画像（すなわち、それが何であってもＨＤＲ ＣｏｍｂＲｎｇになる０−１００ニット輝度のサブレンジ）に割り当てること、つまり３０００ニットの（相対）ディスプレイＰＢではなく、１００ニットのＬＤＲ ＰＢに最大化されたＲｅｃ．７０９でそれを正しく復号することに対応し、次いで、（ＣｏｍｂＲｎｇが利用可能なディスプレイＤＲと等しいと仮定して）これらのＬＤＲピクセルがディスプレイダイナミックレンジで最大１００ニットの輝度を有するようにすることによって、すべての問題を解決することができると単純に考えるかもしれない。しかしながら、上述のように、これはある状況では良い選択かもしれないが、ディスプレイのダイナミックレンジが実際にどのようなものであるかに依存する（相対的に見れば、ランダムな関係になる）。非常に明るい日差しのシーンでは、３０００ニットのディスプレイに最大１００ニットのＬＤＲ ＰＩＰに隣接して１５００ニット輝度の隣接オブジェクトが存在することがある。これにより、ＰＩＰはむしろ残念ながら暗くなり、その色は鮮やかではなく濁って見え、これはコマーシャルのために支払った人が望むものではない。ＨＤＲ画像ダイナミックレンジ（Ｉｍ２＿Ｒｎｇ）で合成する場合も同様のことが起こり得る。したがって、適切な混合は些細なことではない、すなわち本発明のような良好なフレームワークが必要であることが理解されるであろう。また、２つのＨＤＲ画像を有する場合、たとえＥＯＴＦが異なっていなくても、コンテンツ作成者がその利用可能なレンジをどのように使用したか、すなわち、測色的に全システム（コンテンツ作成ルールなど）をどのように設計したかは分からない。例えば５０００対４０００のニットのようにたとえ２つの符号化のＰＢが大きく異なっていなくても、例えば屋内のシーンのランバーシアンの反射オブジェクトがある低いレンジに関して、作成者は大きく異なる決定を下すことがある（例えばきれいにデザインされたＨＤＲシーンで特定の物語を魅力的に見せるための理由に対して、他の作成者は他のダイナミックレンジ、例えば画像にはまだＨＤＲパンチがあるポータブルディスプレイでの視聴に容易に変換可能なニュース番組を作成する）。第１の作成者は、（４０００ニットシステムで）最大３００ニットまでのものを定義し、一方、第２の画像の作成者は、例えば宇宙ステーションの屋内のシーンについて（５０００ニットシステムで）最大９００ニットと決定する。それは、あなたが明るい又は不気味な暗い宇宙ステーションが好きかどうかと同じように時には単純である。たとえ顔の輝度のライティング又は少なくともレンダリングに関して非常に厳しい規則を守ったとしても、例えば合成において適切に調和された顔を有さない拡散白色（すなわち、３００又は９００ニット）の５０％は、相当に、奇妙に、異なって、鮮やかに見える。例えばスイミングプールがやや鮮やかに内側から光るように見えたり、又は鈍く地味な水に見えたり、夜のシーンがどんなに暗くなるか、昼にどのぐらい霞むか、特にそれがシーンの他のオブジェクトに関連し、ストーリーとムードが伝達される場合には飲料自動販売機の前の明るいポスターの輝度について誰かが気になるなど、ＨＤＲ画像に含まれる多くの他の測色的に重要なオブジェクトにも同様のことが起こる可能性がある。
図６は、ＣｏｍｂＲｎｇへの色変換の２つの可能な例を示す。入力画像として、相対入力輝度Ｌ＿ｉｎを有する合成すべき画像の１つがある。説明したように、装置は、ＣｏｍｂＲｎｇの出力輝度Ｌ＿ｏｕｔ＿ｃｏｍｂをすべての考えられる入力輝度に対して割り当てる色変換関数（ＦＦ＿１）を決定する必要がある。例えばＬＵＴにロードされたこの関数を有すると、連続する画像の入力ピクセル色の処理を開始することができる。第１の単純な線形決定は、入力画像内の顔色輝度Ｌ＿ＳＡ１Ｆｃについての２つのパラメータａｎｃ＿ＦＣ及び乗法コントラスト定数Ｃによって決定される線形関数６０１を生成する。この関数は、望ましいかもしれないし、望ましくないかもしれない黒又は白でクリップすることができる（最終的にコンテンツ作成者又は装置製造者である決定者がそれをどれほど単純に望むかに依存する）。より複雑な実施形態では、それを改善することができる。輝度マッピング関数６０２は、２つの重要なアンカー輝度のみに基づいて所望のマッピングをうまく構成する態様を示す。その使用は一般的にはそれほど難しいものではないが、非常に良い結果を生み出す。おそらく、このコマーシャルＬＤＲ画像は、背景に明るすぎるピクセルを有する。特定の写真合成規則を適用する場合、例えば平均的な灰色の背景、又は非常に明るい又は白い背景、又は潜在的に暗い背景などの暗い又は明るい背景に対して主要人物を撮影することを選択することができる。実際の背景が何であるかに依存することはビデオではよくある（例えば、ビデオが白い背景に対してモデルを撮影するファッションフォトグラファーに関するレポートである場合、ビデオは撮影される白い壁又は背景の前で話すファッションフォトグラファーを示す）。スタジオでは、背景がデザインされていることがある。天気予報では、気象予報者は、視聴者、非専門家によって提出された写真のレンダリングの前（仮想典型的には緑色のスクリーンのそばに）に立っている場合がある。又は何らかの理由などのため映画で誰かが明るい広告スクリーン、例えばＬＥＤスクリーンの前に座っている場合がある。これは、過去にはＬＤＲ天気予報できれいに調整されたＬＤＲ写真が表示されていたが、視聴者はすぐにまだＬＤＲ方式で生成されたＨＤＲ写真を表示のために送信し、又は数年後には誰かがＨＤＲプログラムで混合されて表示される非常に低品質のＬＤＲ写真を送信するかもしれないので、どこかを調整する必要性の他の例である。いずれにしても、曲線６０２では、ＰＩＰ化されるＬＤＲ画像に多くの明るすぎるピクセルが存在すると考えられる。関数６０２の出力値をいくらかの白に対して下げる必要があるだけでなく、例えば最も明るい入力輝度に対してソフトクリッピングを開始する必要がある。したがって、曲線６０１は、明るすぎる結果をもたらす。装置（３０１）は、入力画像における３種類のソースアンカー輝度を読み出し、それらをＣｏｍｂＲｎｇ出力画像内のそれぞれのアンカー輝度に割り当てることによってこれを行った。すなわち、コンテンツ作成者は、拡散白色に対する良好な基準レベル、すなわち画像内のどの輝度が白である（すなわち、例えば９０％の反射率を有する）ランバーシアン反射オブジェクトに対応し、平均的に点灯しているかも指定する。装置は、このＬＤＲ画像に対して、線形輝度変換曲線６０１がもたらすものよりも明白に低い、ＣｏｍｂＲｎｇにおけるＬＤＲ画像の拡散白色のａｎｃ＿ＤＷ輝度を割り当てる。したがって、合成装置は、今は、合成画像内の明るいピクセルに対する特定のニーズとして決定され与えられたものであれば、そのような明るい画像ピクセルをどのように輝度変換するかをスマートに決定することができる。例えばこの場合、クリッピングを回避するために、黒アンカー輝度Ｌ＿ＳＡ１ＲＢｋをコンテンツ内に先験的に指定し、合成時に適切な黒アンカー輝度ａｎｃ＿ＲＢｋを決定することによって、同じような適切な振る舞いを暗い側で指定することができる。装置は、例えば関数をこのａｎｃ＿ＲＢｋ点から絶対的な黒（すなわち０．０）まで直線的に続行し、それをａｎｃ＿ＤＷより上まで非常に小さい傾きで上昇させることを決定することができる。又は、装置は、Ｌ＿ＳＡ１ＲＢｋソース黒アンカー輝度の知識を使って、特定のレンダリング状況に合わせて黒を最適化することができる。
図８を用いて考えられるより複雑な例を説明する、すなわち、本発明の装置及び方法の実施形態のいくつかがどのようにして様々なアンカー輝度に基づいてマルチセグメント関数を設計できるだけでなく、メタデータの作成側からの画像と共同通信して色変換関数（Ｆ２＿Ｌ、及び利用可能な場合はＦ１＿Ｌ）で指定された再等級分けの振る舞いに基づいて、輝度変換曲線（ＦＦ）の部分の形状を決定することができるかを説明する。
３つのアンカー輝度の間で決定する関数（ＦＦ）は以前のように（線形補間又は非線形補間によって）再び起こるが、装置は、受信したメタデータ（Ｆ２＿Ｌ）からコンテンツ作成者による等級分けに関して得られた知識に基づいて、図８Ｂの高度輝度変換関数８１０の輝度変換挙動を決定しようとすることを仮定することができる。Ｆ２＿Ｌは、その本来のダイナミックレンジ（ＤＲ１）から予め指定された他のダイナミックレンジ（ＤＲ２）への第２の画像の輝度変換である（第２の画像に対する輝度変換であるが、合成出力画像に合成される他のすべての画像についても同様である）、すなわち、入力輝度Ｌ＿ＤＲ１＿ｉｍ２は出力輝度Ｌ＿ＤＲ２＿ｉｍ２に関連し、これは同じ画像化されたＨＤＲシーンに対する別のダイナミックレンジの外観である。このグラフから、（ａｎｃ＿ＤＷとａｎｃ＿ＲＢｋの間に）主要部分があることが分かり、これは（合成状況に対して）良好に十分に明るくコントラストの良い輝度で良好に表現される（レンダリングされる）が、黒（Ｌ＿ＳＡ１ＲＢｋ以下）は、いくつかのダイナミックレンジに対応する少なくともいくつかの外観では、関数が急速にゼロに落ちてクリップするので、簡単に破棄することができる。すなわち、この例では最も暗い輝度のサブレンジにおいて非常に重要なオブジェクトがない。装置は、例えばこれらの暗い黒について関数を素早く落とすことによって、適切な関数８１０を決定するためにこれを使用することができ、合成希望がどれほど暗い又はコントラストが強いか、又は合成画像内の少なくとも第２の画像部分に基づいて（例えば、第２の画像内又は例えば出力画像Ｉｍ＿ｏにおけるスケーリングなど適切な合成後にあるＬ＿ＳＡ１ＲＢｋ以下の輝度を有するピクセルの量に基づいて）これを決定することができる。すなわち、合成装置は、受信した２つの等級分けされた画像符号化の再等級分け挙動（すなわち、受信した輝度マッピング関数の形状の一部において例えば５０００ニットＰＢ＿Ｃ等級分けされた画像のマスタからＳＤＲ１００ニット等級分けへの再等級分けの際に最も暗いピクセル輝度がどのように扱われるか）を見て、ある程度類似した部分形状を決定する。
最も明るいピクセルの可能性も示す。曲線Ｆ２＿Ｌの不連続性は、２つの領域、例えば屋内シーンのランバーシアンのオブジェクト、及びランプ（又は同様の状況）を表す明るい色が明確に存在することを示している。特にランプがある場合は、特にＭＤＲディスプレイ及び／又はＣｏｍｂＲｎｇで使用可能なダイナミックレンジに依存して、最終的な輝度をより自由に割り当てることができることを意味する。したがって、装置は、これらのピクセル輝度についての適切な平均レベルＬ＿ＲｅｆＢを決定し、そのような８１０曲線形状を確定することができる。図８Ａは、受信したマスタＨＤＲ及びＳＤＲの等級分け間のマッピングのための受信輝度マッピング関数Ｆ２＿Ｌが、対応する明るい部分（８０２）及び暗い部分（８０１）の関数形状及び挙動とともにどのように見えるかを示す。
当業者であれば、本発明の様々な実施形態を、多くのシステム、多くの組み合わせシナリオに、様々な組み合わせにおける様々な構成要素とともに適用できることを理解するが、２つの図を用いていくつかの可能性のある例をさらに説明する。
図９は、テレビ制作システムの一例を示す。これは、マルチカメラスタジオ作成（第１のカメラ９０１及び第２のカメラ９０２）であり、いくつかのライブコンテンツは、野外撮影地などから来る。また、これはＯＢバンなどによる野外作成でもよい。技術ディレクタは、カメラフィードと、例えばＨＤＲやＬＤＲなどの他のビデオを混在させる必要があり、ＨＤＲビデオはもちろん、単一タイプ（ユニバーサル単一Ｒｅｃ．７０９標準が存在する）のＬＤＲビデオと対照的に様々なタイプ及び特性である。技術ディレクタは、生産管理室にある合成決定装置９０３で最適な合成を決定したい。技術ディレクタは合成を決定するが、この例では、この合成が必ずしも固定的に定義されたＩｍ＿ｏになる必要はないことを示している（むしろ、技術ディレクタは適切な合成を決定するだけであるが、その合成の詳細は様々な態様でビデオ通信パイプラインからさらに下の様々な受信サイトへ通信することができ、受信側は例えば技術ディレクタが希望するものと若干異なるように合成を再決定したいと希望することもある、すなわち、合成の前に粗い画像及び関数及び他のメタデータとして合成が通信されてもよい）。この場合、（例えば、決定されたＰＩＰ合成を決定するためのスケーリング関数を有する）２つの画像を含むメタデータを有する画像信号９１０は、決定されたＣｏｍｂＲｎｇ、ａｎｃ、及び場合によっては同様にＦＦ＿１及びＦＦ＿２色変換とともに画像をマッピングするためにＣｏｍｂＲｎｇに通信され、任意の受信機（例えば、伝送制御室のようないくつかの中間ノードにおける伝送受信機９０４）は、実際に最終的な合成を適用することができる。（ＣｏｍｂＲｎｇ、ａｎｃ、ＦＦ＿１、又はＦＦ＿２のうちの少なくとも１つの）潜在的な再決定を可能にするために、作成側は、例えば明るいシーンが多く含まれているかどうか、平均ムービーの明るさよりも３倍の明るさが必要であること（すなわち最終的なＣｏｍｂＲｎｇでこのコンテンツをどのような輝度マッピングを所望するか）、オブジェクト又は領域の輝度に関する詳細、又は例えば輝度レンジ及び／又は空の場所などのようなセマンティック情報、などのメタデータをビデオにさらに伝達する。
図１０は、別の考えられる実施形態、すなわち中間結合装置（１００１）を示す。これは、例えば、ケーブルプロバイダなどの伝送制御室に設置される。中間結合装置は、（ディレクタに従ってそれらを適切に結合するために図９で作成され最終的な画像として又は十分なメタデータを有する初期画像として通信された）主要な作成物、すなわちＩｍ＿Ｐｒｏｄ及び例えばローカルコマーシャル供給ＩｍＬｏｃＣｏｍｍから画像を得ることができる。中間合成装置（１００１）は、潜在的にダイナミックレンジ変換も行うことができ、例えば５０００ニットのＩｍ＿Ｐｒｏｄを、例えばいくつかの予め確立されたビデオ通信システムでのさらなる配信などの目的により適しているＰＢ＝３０００ニットで符号化された出力画像に変換することができる。後者は、装置１００１が後に混合される２つの別個の画像ストリームを出力する場合にもちろん興味深いが、この例では最終的に適切な画像ストリームが生成される（最終的な受信機によって表示調整のみされる）と仮定し、それは典型的には既に５０００ニットとは異なるＬＭＣを有する。
読者はまた、コンシューマ側のシステムがどのようにして同様にＨＤＲ画像又はビデオを合成することができるか、例えば映画をコンピュータで受信した画像と一緒にセットトップボックス、パーソナルコンピュータなどのＩＣにおいて合成することができるのか、又はビデオ会議室などでどのように使用できるのかも理解することができる。図３のＩｍ＿ｏはテレビに出力することができ、画像の１つはＢＤプレーヤなどを介してブルーレイディスクで受信することができる。
図１１と図１２は、ＣｏｍｂＲｎｇを決定する態様をいくつか示している。輝度軸は、画像がレンダリングされた場合に人間の視覚明度と明るさの印象とのより良い相関を与えるために、底が２のＬｏｇ単位で与えられている。様々なピクセル輝度を決定するためのアルゴリズムも、そのような対数表現で有利に定式化することができ、実際に好ましいビデオ符号化の実施形態のいくつかは、そのような知覚的に均一化された輝度表現でも動作する。これらの実施形態では、装置は既にａｎｃ＿ＦＣの良好な値を決定している。例えば、装置は、ＨＤＲレンダリングについても、約３０ニットのＬＤＲ値が良好な値になると仮定する。装置は、合成の詳細と２つの画像の輝度分布状況を合成して見て、ＬＭＣ及びＬｍｉＣの良好な選択肢に到達する。装置は、この点について視聴者の制御設定によって選択され変更される規則を有する。第１の２つの例は、高いダイナミックレンジ画像（太い線で示されたＩｍ２）が主画像であり、低いダイナミックレンジ画像（必ずしもＳＤＲでない）Ｉｍ１がＰＩＰであり、例えば領域の１／４（Ｉｍ２のシーン内のオブジェクトと比較してＩｍ１のオブジェクト又は領域の視覚的支配を示すことができる制御パラメータの１つ）を占める。これらの例では、装置は、ＨＤＲ Ｉｍ２の外観が優位になることを望むので、最初にＩｍ２のＣｏｍｂＲｎｇ及び配置を決定し、ガイドとして調和的にＩｍ１を配置する。これらの実施形態では、顔色は最適な最終顔色ａｎｃ＿ＦＣに既に割り当てられているので、残りの問題は残りの輝度を割り当てることである。これは、ＣｏｍｂＲｎｇの端点及びそこから生じる他の輝度に輝度調整してフィットさせる色変換関数と、明るさインパクト要求としてこれらの関数の形状を変化させるために許容された変化性との両方によって影響を受ける。図１１Ａにおいて、ＨＤＲ Ｉｍ２は、ａｎｃ＿ＦＣの周りにレンダリングされた場合に顔を有する典型的なシーンに既によく適合しているヒストグラムを有する、すなわち、Ｉｍ２の顔は通常照らされている。黒へのロングテールによってシーンに暗い領域があることが分かる、例えば、これは俳優の背後のどこかの照明されていない部屋である。いくつかのレンダリングではピクセル色の一部は見分けがつかないほど暗いので見えないが、少なくともそれらは符号化され、装置によって計算されるので、最終的なレンダリング装置（例えば、テレビはそのＭＤＲレンジへの表示調整、及び最も暗い領域のベンダー固有の明るさ処理を行う）は、このデータを適切に使用することができる。明るい輝度モードＨｉＬａＩｍ２が存在することがさらに分かり、これは例えばいくつかの構造体（例えば、ランプが金属製の照明器具内でどのように反射するか）を理想的に見たいランプに対応する。ＰＩＰ化される画像Ｉｍ１は、白（そのコードで最も明るい輝度）付近に高ピクセルカウントピークＨｉＭｏｄＩｍ１を有する特性がある。これは、（ａｎｃ＿ＦＣ付近のモードから分かるように典型的な顔色が典型的に明るい画像であるべき合理的に大きな領域を有する）人が、例えば白い近いか又は潜在的に最大の白色にクリッピングされたライトボックスの大きな明るいスクリーンの前に立っているからである。このピークは明るすぎて合成に邪魔になる可能性が高い。しかしながら、この第１の例では、顔色が両方の画像内の通常の位置にあり、ＨＤＲ画像内に合理的に明るい色が既に多く存在し（例えばランプのメインセットの下、及び顔よりも１００倍明るいいくつかのハイライトＨｉＬａＩｍ２の拡散照明されたオブジェクトの両方のモード）、Ｉｍ２においても生じたことが分かる通常の輝度である、すなわち不調和的すぎないから、ＨｉＭｏｄＩｍ１を通常の位置に置くことができる（すなわち、線形輝度表現に復号されたときにＩｍ１において符号化されたＣｏｍｂＲｎｇのアンカーの上の同じ数のストップであり、この例では、顔輝度がその通常のＬＤＲ位置にあるので、約１００ニットの通常の復号化された値である）。これはまた、Ｉｍ２のハイライトを通常の位置に保つことができることも意味している（なぜなら、すべての一致した色がこの画像に対して起こった場所のハイライトを有する現在のＨＤＲ画像輝度分布プロファイルにフィットするため再マッチングや再調整が不要であるからである）、すなわち、この装置は、ＬＭＣを、ＨｉＬａＩｍ２輝度モードの上限、又はＰＢまでの輝度を持たない場合にＨＤＲ Ｉｍ２レンジのピーク明るさに選択することができる。これは必ずしもそうであるとは限らないが、例えばＨＤＲ画像処理連鎖のラインをさらに下回る典型的な使用に関してさらなる詳細が知られていなければ合理的な選択であり得る。図１１Ｂでは、同様の状況（同じＩｍ１がＰＩＰ化される）があるが、今度はＩｍ２が異なるヒストグラム（例えば、映画の後ショット）を有する。ここで、顔は、（すなわち他の画像コンテンツとの合成なしにそれらが単独でレンダリングされる場合）比較的暗く、例えば４ニットでレンダリングされる。例えば人が影に立っていることもある。この例では、装置はＰＩＰ内の顔を暗くすることを望まないが、Ｉｍ１の顔に対してもより調整された暗さを望む。装置は、ＨＤＲ画像の顔の輝度、すなわち８ニット上にワンストップするａｎｃ＿ＦＣの設定を取り、（この映画シーンの芸術的意図を維持するために暗い外観を保持すべきであるので）ａｎｃ＿ＦＣの下にワンストップするＩｍ２の顔をレンダリングし、及び（とりわけＰＩＰの大きさに依存して）ａｎｃ＿ＦＣの上にワンストップするＬＤＲコマーシャルＩｍ１の顔をＣｏｍｂＲｎｇにレンダリングする（まだ明瞭に明るい画像部分であるが、不調和すぎるほど明るくない）ことを決定する。Ｉｍ１のすべてのオブジェクト輝度の比率を維持する場合（アンカー輝度ａｎｃ＿ＦＣによる線形マッピング）、ＨｉＭｏｄＩｍ１の大きな領域の輝度は、やがて約１００ではなく６０ニット未満に下がる。それでも、装置が明るさのインパクトを判断する場合（例えば顔色ａｎｃ＿ＦＣ、及びこのＨｉＭｏｄＩｍ１輝度のようなＩｍ２の重要な部分又はオブジェクトのいくつかの基準色の間のコントラストＣＨＬを計算することによって、又は空間分析によって、例えば重要なＩｍ２の中央領域とより真剣に対比するようにＩｍ１の大きく近いハイライト領域を重み付けすることによって、純粋に輝度で判断することができる）、Ｉｍ１の大きな明るい領域がＩｍ２の大部分のやや暗い外観と比較して明るすぎると考えるかもしれない。したがって、装置は、このモードのＨｉＭｏｄＩｍ１の輝度を１ストップ下げて３０ニットにすることを決定するが、これは右上隅の小さなＰＩＰに対して気を散らしすぎるものではない。上に示したように、装置は、例えば輝度変換のためのコントラスト係数Ｃをａｎｃ＿ＦＣより上のＣｏｍｂＲｎｇに下げる、又はＩｍ１の最も明るい可能性のあるピクセルのいくつかの所望の最大位置ＬＡＭＸに基づいて計算することができ、いくつかの拡散白色アンカー輝度を配置することによって潜在的にさらに決定されるいくつかの非線形関数などの様々な態様でそれを行うことができる。装置は、本実施形態では、黒輝度サブ領域においてもいくつかの調和処理を行っていることに留意されたい。ＨＤＲ画像の黒が非常に深くなるので（少なくともアルゴリズムがディスプレイ最適化に先立って適用され、ディスプレイが接続された状態で実行される、又はディスプレイ内で実行される場合、いくつかのディスプレイがこれをレンダリングすることができ、もちろん装置はディスプレイが実際に十分な視覚的品質すなわち可視性でレンダリングできるものを考慮に入れると仮定する）、装置はＩｍ１の黒も深くして、両方の黒のセットをより調和させることができる。それは、例えばＩｍ１のためにＬａ＿Ｂｋ（いくつかの黒の区切り文字）として符号化されたものより低いすべての輝度を広げることによって、例えば局所的なコントラストを２倍に伸ばすことによって行うことができる。図１１Ｂから分かるように、この例では、ＨＤＲ画像の最も明るい領域の維持は依然として有用である、すなわち、この問題はより深く落ちる輝度サブ領域でＩｍ１を調整することが大部分であったから、ＬＭＣはＩｍ２をディスプレイに忠実にレンダリングするのに必要な最大値に再び決定される。装置は、この例では、ＬｍｉＣをＩｍ２の最も暗い色よりも幾分上に制限するように選択したことに留意されたい。例えばＸは、暗すぎる色がいずれにしても合成の視聴者によって無視されると判断するのでａｎｃ＿ＦＣの下で止まる。ＣｏｍｂＲｎｇにマッピングする色変換は、これを考慮に入れて最も暗い色を明るくして、それらをＣｏｍｂＲｎｇ内にもたらすことができる。
図１２Ａは、（すなわちコマーシャルの簡単な説明において）Ｉｍ１が支配的な画像になる例を示す。おそらく、視聴者は、コマーシャルが始まったときに映画が小さくなることを望まないが、ＰＩＰは、例えば視聴者が見たいと思う第２のチャンネルで何か重要なことが始まったら、視聴する第２のチャンネルとするか、又は最初に見たＩｍ２映画スイッチを小さなＰＩＰに含めることができる（例えば、このＩｍ１の画像は、重要なニュース項目が予想されるため視聴者が見逃したくないニュースの開始に対応する）。ここで、Ｉｍ１がＳＤＲ画像であると仮定するが、誰かが、明るいディスプレイに余地があるのでより高いダイナミックレンジで非常に明るくレンダリングするように指定する（例えばコマーシャルのコンテンツの作成者が、メタデータにおいて「５００ニットの最も明るい輝度を少なくとも１０００ニットのＰＢのディスプレイにレンダリングする」というように指定してする場合があり、又は、視聴者が、たとえＳＤＲであってもコンテンツの明るさをどのように動的又は控えめに見せたいかを示すユーザ設定を選択する場合もある）。したがって、Ｒｅｃ．７０９に従って通常のように復号した場合、ヒストグラムＩｍ１Ｎａｔを得られるが、実際にはＣｏｍｂＲｎｇを取得してヒストグラムＩｍ１ａｄｊをＩｍ１の値とともに５００ニットまでの合成でレンダリングする（合成装置によって少なくともＳＤＲコンテンツ作成者の要求に完全に従うと、例えば無料のコンテンツ閲覧モードに設定されているため、コマーシャルオーナーによって支払われる）。図１２Ａは、計算実施形態を示しており、例えば若い視聴者は自分のシステムを動的モードに設定する。Ｉｍ１から来る大きな明るい領域と鮮明に対比できるようにするために、装置は、明るいランプを例えば８０００ニットに設定する必要がある（少なくともこの中間指定ＣｏｍｂＲｎｇでは、ディスプレイの調整が生じる可能性がある）、すなわち（たとえ元のＩｍ２復号では例えば４０００ニットであったとしても）ＬＭＣを８０００ニットに設定する必要がある。図１２Ｂは、（過度に明るい画像を見たくないので）視聴者が自分のシステムを控えめに設定しているため、第１の可能性と対照的な実施形態である。これはＳＤＲコンテンツの明るさが先導しており十分に明るい別の調和の検討であるため、読者はこれがＣｏｍｂＲｎｇのＬＭＣの導出とは非常に異なる結果であると分かる。Ｉｍ１からの非常に明るい非常に多くのピクセルが既にあるので、合成画像Ｉｍ＿ｏの全体的な高い明るさを判定又は経験するのに寄与し、装置は、明るいＨＤＲモードＨｉＬａＩｍ２の輝度を低下させることを望み、（たとえ映画が例えば１０，０００ＰＢ＿Ｄの等級分けディスプレイでマスタ等級分けされ、例えばＳＭＰＴＥ２０８４ ＥＯＴＦルマ割り当てで、５０００ニットのＰＢ＿Ｃ ＨＤＲ画像として通信されたとしても）結果としてＬＭＣをたったの２０００にする。ＨＤＲ画像の最も明るいランプとＩｍ１の明るい広い領域（５つ以上ではなく２つのストップ）との間のコントラストが少なくなるが、すなわちＨＤＲ映画はＰＩＰがポップアップしたときにパンチの一部を失うが、少なくとも全体画像は過度に明るくない。視聴者は、このような合成の態様を望む場合がある。
また、レンジＣｏｍｂＲｎｇがａｎｃ＿ＦＣの前に指定された場合、装置は、両方の画像内のピクセル及びオブジェクトの輝度の様々な態様を見る、例えば１つ又は複数の対応する典型的な輝度を指定することができる。例えば、装置は、中間グレーのｋ倍以上又は復号された画像のピーク輝度の１倍以上の両方の画像のピクセルのパーセンテージを見て、両方の画像のこれらの値から、いくつかの典型的な輝度の良好な値、合成ＬＭＣで少なくとも開始するのに可能な最大輝度が何であるか決定する。装置の実施形態が、各画像について最も明るいオブジェクト輝度の１つの典型的な値を使用する場合、ＣｏｍｂＲｎｇにマッピングされたときにそれらがどのように関係するか、すなわち例えばどのような輝度コントラストがあるのかを決定することができ、より調和のとれたコントラストを提案する。もちろん、シーン内のほとんどの色の中間グレー代表値（中間グレーは、シーンのいくつかの典型的な照明では実際１０％の反射率となり得るが、例えば画像のピクセルのモード、多数値、又は平均などを示すために使用することもできる）のようなさらなる値は、合成画像内の例えばＩｍ２の最も明るい部分とＩｍ１の中間グレー部分など様々な領域間コントラストがどのようになるかを決定し、それらの間の調和のとれた関係を選択するのに役立つ。例えば、いくつかの装置の実施形態は、明るさ、暗さ、及びＣｏｍｂＲｎｇのいくつかの典型的な輝度サブ領域に割り当てられた平均領域とともにいくつかの典型的なコントラスト値を常に選択するように構成され（もちろんＬＭＣが約１０００ニット、約２０００ニット、約５０００ニット、又は約１００００ニットであるか否かに依存して異なる）、これらの値は、例えば夜景、明るいニュース番組、夜の自然などいくつかの特徴的な画像タイプが検出されたときに、逸脱する可能性がある（例えば、ＣｏｍｂＲｎｇにおいてマッピングｋがより高く停止する）。良好な顔又は灰色の明るさ（又は明るい光領域）に対する良好なａｎｃ値を決定するとき、装置は、視聴者がどのような視聴環境に座っているかを測定することができる。例えば、テレビ内の前向きカメラは、環境の明るさ特性を１つ又は複数の特性値で要約することができ、ａｎｃ＿ＦＣ値など、及びアンカー輝度などと比較した他の輝度のために必要なコントラストをスケーリングするために方程式で使用することができる（例えば、１つ又は複数のストップを上下させる）。例えば、カメラは、（顔検出による）観察者が、ある局所的な照明の下でコーチに座っているのを把握することができ、典型的にはあまり照明が当たっていない壁や他のオブジェクトである第２の領域を決定することができる。実施形態によって単一の特徴的な環境明るさ値を導出しなければならない場合、局所的な照明が典型的に上から来ており視聴者がいる環境の経験には影響が少ないので（例えば脳がその環境において深い黒として確立するものでありディスプレイがちょうどその一部を形成する）、周囲の壁の明るさは計算において高い値になる（例えばａ＊周囲平均＿Ｌ＋ｂ＊局所平均＿Ｌ）。これらの様々な説明から、様々な実施形態において、ＣｏｍｂＲｎｇ、１つ又は複数のａｎｃ輝度、輝度マッピング関数形状、及び、実際に最終的にはそれぞれの状況に合わせた調和のとれた出力画像の全体に到達する様々な態様があることが読者に明確になったはずである。
図１８は、混合すべき画像又は画像部分（又はそれぞれの関数ＦＦ＿ｘを有するそれらの一部又は全部）の少なくとも１つの輝度に適用される決定された色変換関数ＦＦの一般的な典型的な可能性を説明しているにすぎず、これらの例から、読者は、本発明及びその様々な実施形態の一般的な概念に従うさらなる可能性を想像することができる。例えば、図１８ａは、２つの部分（この例ではレンジの正確な終点で終了するが他のシナリオで逸脱する可能性がある）からなるＦＦ＿１関数を決定する２つの簡単な態様を示す。ソースアンカー（Ｌ＿ＳＡ１）と等しい入力画像の輝度に関数を適用した出力結果輝度（ＬＦ１＿ｏ）がａｎｃと正確に等しくなければならない場合、この装置の内部プログラムから関数を引き出す。出力輝度ＬＴ２＿ｖが近傍に入ることができる場合、Ｙ値ａｎｃ／ｋの点を通る類似の幾分異なる２つのセグメント関数ＦＦを決定することができ、ここでｋは１．５、２、３又は４である。
図１８ｂは、複雑な形状の関数を例えば黒色のためのＳ字曲線で通常の／薄暗い照明の中間グレーアンカーの周りに設計することができることを示している。合成装置は、例えば典型的には他の実際に受信されたものからダイナミックレンジ画像の１つを得るために本発明の符号化原理に従って通信された再等級分け輝度関数（例えば、細かい等級分け関数）を見ることによって、このような輝度マッピング関数部を提案することができる。合成装置が黒色に対してこのようなＳタイプの動作を予想した場合、装置は、黒色の中央には良好な強いコントラストを有している必要がある重要なオブジェクト領域があるようであり、最も深い黒は、関数がそれらの大部分が最小の黒（０、又は最小の黒が起こるものは何でも）にクリップされていることを示しているのでほとんど無視することができるようであると理解することができる。したがって、いくらかスマートな合成プログラムの実施形態は、その決定されたＦＦ形状でこの挙動に従うが、マッピングはマスタＨＤＲの輝度の５０００ニットレンジと１００ニットＳＤＲレンジとの間にはなく５００ニットＣｏｍｂＲｎｇにあるので、関数は再形成される（したがって中間の黒が最も良くレンダリングされていることを大体確実にする同様の必要性に従って黒をいくらか変換する必要があるがこれはやや異なっている）。同様に、明部の関数についても、合成装置は、重大な画像オブジェクトの輝度のサブレンジに対応する形状詳細により正確に又はより少ない度合いで追従することを決定することができる。図１８ｃは、合成装置が、例えば合成されるＳＤＲ画像のいくつかの「中間レンジ」のコントラストＣを制御する例を示し、この例では、装置は、この実施形態では明るすぎるＳＤＲピクセルレンダリングを招くので、（出力画像Ｉｍ＿Ｃｍｂの）ＣｏｍｂＲｎｇの最大値までわざわざＦＦ関数の上部を伸張しないことを決定する。（読者は、ＨＤＲ画像輝度ヒストグラムは典型的には、例えば２０個の小さな鏡面パッチの２０×５ピクセルしか含まない最も明るい輝度のローブを有する遠方広がりローブを有し、ＳＤＲ画像は、例えばクリッピングされた白い屋外の風景の潜在的に大きな画像領域でさえ最大ＰＢ＿Ｃ＝１００ニット付近の多くの輝度を有する密に束ねられたヒストグラムを含み、確かに比較的薄暗い又は暗いＨＤＲ映画では、合成ピクセルのそれらの領域は、映画視聴の喜びを壊さないためにＰＢ＿Ｃｏｍｂ＝２０００ニットのように明るくレンダリングするべきではないと理解すべきである）。初期の合成装置の実施形態は、ソフトウェア又はハードウェアにそのような感知可能な予めプログラムされたルールを２つしか持たないが、将来のさらなる実施形態は、最終的にバランスのとれた合成画像とするために複雑な分析を行うことができることを理解すべきである。したがって、様々な異なるシステムの実施形態は、（よく知られていない）混合が実際に起こるずっと前に、コンテンツのアンカー輝度の良好な値を選択することによって、エレガントであまり煩雑でない態様で、コンテンツが必要とするものを人間が特定できるようにするために、画像又はビデオの混合を正しく処理するコア装置を中心に設計することができる。混合装置では種々の実施形態を実施することができ、例えば装置は同じタイプのアンカーを使用する（しかし、いくつかの装置は異なるアンカータイプを使用することを決定し、２つの画像の調和したマッピングをそれらのアンカータイプから混合ダイナミックレンジの利用可能な輝度に変換することを決定することもできる）。当業者であれば、実際には前者の状況は、例えば一種のスレーブモードで動作する混合装置で実施することができ、少なくとも例えばその重大な顔のアンカー輝度が何であるかを定義する主ビデオをチェックし、（例えば最終的なレンダリング特性を考慮して）何が混合ダイナミックレンジにおける良好な顔の輝度であるかを確立し、（顔を含んでいないとしても）第１の画像における重要な顔の輝度と調和するように（すなわち、それがどのように合成ダイナミックレンジで表されたか）第２の画像を輝度変換することを理解することができる。混合装置が導かれる第２の戦略の例は、例えばユーザがテレビで写真を見ている場合に、（写真のレンダリングが（ほぼ）準拠しなければならない全体的な典型的な明るさに対する代表的な単一値としてアンカー輝度を定義することによって、また典型的には例えば他の画像データが入ってきて調和して混合される前に、明るすぎない（柔らかい表示の）合成ダイナミックレンジをそのレンジにマッピングされた写真輝度で既に定義しているプレゼンテーションのダイナミックレンジによって、写真が現在そのレンジのほぼ半分を使用している、すなわち第２のコンテンツが望むならば明るいピクセルのために合成ダイナミックレンジにいくらかの余裕があるにもかかわらず、それらのピクセルのほとんどすべてがＰＢ＿Ｃｏｍｂ＿ＰｈｏｔＶｉｅｗ／２より低い輝度を有するように指定することによって）それに対する何らかの基準を設定する。第２の画像コンテンツ（第１のコンテンツは、決定された輝度マッピングに従って既にマッピングされている写真である）の混合は、コンテンツのアンカー値を見ることによって装置によって発生し（これは、写真視聴のアンカータイプと異なるが、混合装置の例えばａｎｃ＿ｆａｃｅ＿ｉｎｍｉｘ＝１．３＊ａｎｃ＿ｐｈｏｔｖｉｅｗａｐｐｌｉｃという式の計算によってそれに関連する）、例えば０又はｋニット及びＰＢ＿Ｃｏｍｂ＿ＰｈｏｔＶｉｅｗの間の輝度を有する写真視聴合成ダイナミックレンジを確立する。様々な状況に対応できる一般的な単一の（すべての状況が可能な）ＨＤＲ画像コンテンツ混合システムを持つことは非常に便利であり、様々な種類における決定は、状況に最適なもの及びどんなときでも装置に既に知られているものに依存する。
例えば、最終的なレンダリングシステムがまだ分かっていない場合、ミキサが２つの画像コンテンツを調和させる必要があるときにできる最良のことは、それらがどのように最良に混合されているかを少なくとも見ることである（例えば画像の１つが過度な（多分大きい）高輝度領域を有し、他の画像コンテンツを楽しむために暗くする必要があるか否か）。その場合、（例えば消費者のテレビにおける）最終的なディスプレイ最適化段階は、それらがどのように（一般的に）最適に混合されるべきか既に示された画像を考慮に入れて、さらに複雑な最適化を行う必要がある。しかし、レンダリング環境が既に知られている実施形態では、特に強い要求がある場所では、ミキサは最終的な外観（すなわち、大ファクタディスプレイで決定されたＣｏｍｂＲｎｇの視覚品質ニーズ、及び例えば異なるマッピングを行うことによって画像の１つを完全にソールレンダリングすることによる何らかの犠牲）に対してバランスをとる。レンダリング能力がＣｏｍｂＲｎｇの決定において主要な重要性を有する場合、典型的には、少なくともいくつかの典型的な考慮事項が例えばＨＤＲ画像の期待される特性に関して使用される（例えば合成装置のソフトウェアのルールは、「一般的な」典型的なＨＤＲ画像の大部分はおそらく例えば５００ニット以下（＋−）に存在し、明るいオブジェクトは例えば最大１５００ニットの表示輝度になるように割り当てられた場合レンダリング可能でなければならないと決定する）。ディスプレイが例えばＰＢ＿Ｄ＝１０００ｎｉｔのみの能力を有する場合、それは良質のＨＤＲ画像のいくつかの誤った非最適なレンダリングに対応する（すなわち例えば１４００ニットの明るさの増加はやや暗すぎる）。このような場合には利用可能なディスプレイの実際のＰＢ＿Ｄは、レンダリングの前に画像コンテンツを混合するためのＣｏｍｂＲｎｇのＰＢ＿Ｃの決定に大きな影響を及ぼすが、合成装置は、ＣｏｍｂＲｎｇのＰＢが１０００ニットより幾分大きい、例えば１５％高いすなわち１１５０ニットと判断することを決定することができる（そして、それをディスプレイにレンダリング可能な範囲にマッピングするのに混合画像の最終的な表示調整を適用する）。もちろん、理想的なより良い実施形態では、ＣｏｍｂＲｎｇの最適化及び合成ダイナミックレンジ内の適切なａｎｃ点も考慮に入れ、すべての知られているファクタ（すなわち理想的なコンテンツレンダリングの必要性、現在のＨＤＲ画像混合フェーズのすべての実際的な要求及び制限）のバランスをとる。最適なａｎｃ点決定は、典型的には、以前に最適なＣｏｍｂＲｎｇを定義した後に利用可能な（可能である）ものを見ることである（しかし教示されているように、例えば画像が意味的にどのような種類のコンテンツを含むか、いくつかの実施形態ではひょっとしたらエンド視聴者がそのような画像コンテンツに期待するものなどの様々な他のファクタを含む）。したがって、様々な実施形態は、様々なａｎｃタイプのオプションを有し、合成すべきソース画像すなわち典型的には主要な画像の少なくとも１つにおいて決定されたもの（すなわち、例えば良好な顔色のような結合すべき画像の少なくとも１つにおいて示されたものと同じタイプのＣｏｍｂＲｎｇにおけるａｎｃ輝度であるが、しかし理解すべきなのは合成状況において最適なＣｏｍｂＲｎｇにおいては各画像をそれ自体にレンダリングする場合とは異なることである）に最も近いものを状況のすべての物理的特性（例えばコンテンツのピクセル輝度分布及び表示能力）を与えられた感知可能なａｎｃ値が何であるかの装置のオンザフライ決定などのために選択するシステムを介して、（ソース画像アンカータイプとして指定されているものであれば）常にすべてを適切な顔輝度に関係付ける装置内の固定設定にまたがる様々な態様でａｎｃを確立することができる。後者の種類の実施形態は、例えば与えられた特定のレンダリング制限で顔色を最適に決定しなければならず、例えばどのように暗くするとディスプレイが暗いオブジェクトを良好に表示し、その上に顔の輝度を落とすことがソース画像の暗い領域において顔にとって特に重要である場合に良好である。したがって、明確にするために、装置のいくつかの実施形態は、一般的には装置を動作させるために必要なのはそれらが装置によって関連付けられることだけであるから、現在入力されている２つの画像は顔色タイプのａｎｃ輝度で定義することができるが、いくつかのａｎｃ値（例えば良好な平均輝度）を決定することによって動作することができる（すなわち、装置は、特に最初に独立して確立された十分に使用可能なａｎｃ値よりも顔が例えば５０％明るい場合には、十分に良好な画像が得られると判断するので、入力画像の典型的な顔の輝度はＣｏｍｂＲｎｇの「平均タイプ」のａｎｃ値の近傍にマッピングすることができる）。したがって、ソース画像のａｎｃタイプ及びＣｏｍｂＲｎｇは関連しているか関連可能であるべきである。ａｎｃは、最適かつエレガントな態様で、画像のすべての比色分析の複雑さを要約することができ、多くの状況でいずれにしても合成のための１つの調整ポイントのみが必要である。完全性を期するために、ダイナミックレンジのａｎｃ値はエンドポイントの輝度ではなく、むしろそれに追加される情報であることを意味する。輝度ダイナミックレンジを確立することに関して、当業者は、どのように高輝度を決定するか、及び最低輝度を体系的にゼロニットにしない実施形態で、画像の暗い領域における関連する画像コンテンツの量、暗い色を表示するためのレンダリングシステムの能力など既知のファクタのバランスのとれたニーズに依存してどのように低輝度を確立するのかを理解する。
本明細書に開示のアルゴリズムの構成要素は、実用上、（全部又は一部が）ハードウェア（例えば、特定用途向けＩＣの部品）又は特殊なデジタルシグナルプロセッサ若しくは一般的なプロセッサ等で動作するソフトウェアとして実現されるようになっていてもよい。
当業者であれば、本提示により、任意選択として改良し、他の構成要素と組み合わせて実現可能な構成要素及び方法の（任意選択としての）ステップが装置の各手段に対応する具合及びその逆を理解可能であるものとする。本出願において、単語「装置（ａｐｐａｒａｔｕｓ）」は、その最も広い意味すなわち特定の目的の実現を可能にする手段群で使用しているため、例えばＩＣ（の微小な回路部）、専用電化製品（ディスプレイを備えた電化製品等）、又はネットワーク化システムの一部等が可能である。また、「装置（ａｒｒａｎｇｅｍｅｎｔ）」は、最も広い意味での使用を意図するため、特に、単一の装置、装置の一部、協働する装置（の一部）の一群等を含んでいてもよい。
コンピュータプログラムの意味としては、（中間言語及び最終的なプロセッサ言語への翻訳等の中間変換段階を含み得る）一連のロード段階後に汎用又は専用プロセッサを有効にするコマンドの一群の任意の物理的実現を明示的に含むことにより、コマンドをプロセッサに入力して、発明の特徴的機能のいずれかを実行することが了解されるものとする。特に、コンピュータプログラムは、例えばディスク若しくはテープ等の担体上のデータ、メモリ中に存在するデータ、ネットワーク接続（有線若しくは無線）を介して伝搬するデータ、又は紙面上のプログラムコードとして実現されていてもよい。また、プログラムコードのほか、プログラムに必要な特徴的データがコンピュータプログラムとして具現化されていてもよい。
この方法の動作に必要なステップの一部は、データ入力及び出力ステップ等、コンピュータプログラムにおける記述の代わりに、プロセッサの機能として既に存在していてもよい。
上述の実施形態は、本発明の制限ではなく、説明を行っていることに留意するものとする。当業者であれば、特許請求の範囲の他の領域への提示例のマッピングを容易に実現可能であるが、簡素化のため、これらすべての選択肢については詳しく説明していない。特許請求の範囲における組み合わせのような本発明の要素の組み合わせのほか、要素の他の組み合わせも可能である。要素の如何なる組み合わせも、単一の専用要素で実現可能である。
特許請求の範囲における括弧内の如何なる参照記号も、特許請求の範囲の制限を意図していない。単語「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、特許請求の範囲に挙げられていない要素又は態様の存在を除外するものではない。要素の前の単語「ａ」又は「ａｎ」は、複数の当該要素の存在を除外するものではない。

Claims (15)

  1. ２つの画像又は２つのビデオのうちの１つが高ダイナミックレンジの画像又はビデオである、複数の画像のうちの当該２つの画像又は２つのビデオを合成するための装置であって、前記装置は、
    複数の画像のうちの前記２つの画像又は前記２つのビデオのうちの少なくとも１つの画像又はビデオの最大輝度と、複数の画像のうちの前記２つの画像又は前記２つのビデオをレンダリングするためのディスプレイのピーク明度とのうちの少なくとも１つに基づいて決定される最大輝度を少なくとも特徴とする合成輝度ダイナミックレンジを確立するダイナミックレンジ確立ユニットであって、前記ダイナミックレンジ確立ユニットが、前記合成輝度ダイナミックレンジにおけるアンカー輝度を決定する輝度アンカー決定ユニットをさらに含む、ダイナミックレンジ確立ユニットと、
    前記２つの画像又はビデオの少なくとも１つに少なくとも輝度変換を実行する色変換ユニットであって、前記色変換ユニットは、前記２つの画像又はビデオの第１の画像又はビデオを供給する第１のソースからのメタデータから少なくとも１つのソースアンカー輝度を読み出すソースアンカー輝度読み出しユニットを含み、前記色変換ユニットは、前記第１の画像又はビデオに適用される色変換を確立し、前記色変換は、前記ソースアンカー輝度が前記アンカー輝度の近傍の出力輝度にマッピングされるという性質を有することによって、前記ソースアンカー輝度の値に依存する、色変換ユニットと、
    複数の画像のうちの前記２つの画像又は２つのビデオを合成して、少なくとも１つの出力画像を形成する画像合成ユニットと
    を含む、装置。
  2. 前記色変換ユニットは、少なくとも１つの前記ソースアンカー輝度と等しい前記第１の画像又はビデオのピクセルの色の入力輝度に前記色変換を適用した結果として決定される出力輝度が、前記アンカー輝度と等しくなるように、前記色変換を決定する、請求項１に記載の装置。
  3. 前記色変換ユニットは、第２の入力輝度に前記色変換を適用した結果として決定される第２の出力輝度を前記出力輝度で割った輝度比が、前記第２の入力輝度を前記ソースアンカー輝度で割った比の定数倍になるように、前記色変換を決定する、請求項２に記載の装置。
  4. 前記色変換ユニットは、少なくとも１つの前記ソースアンカー輝度に基づいて輝度オフセットを決定する偏差決定ユニットを含み、前記色変換ユニットは、少なくとも１つの前記ソースアンカー輝度と等しい前記第１の画像又はビデオのピクセルの色の入力輝度に前記色変換を適用した結果として決定される出力輝度が、前記アンカー輝度と前記輝度オフセットとの和と等しくなるように、前記色変換を決定する、請求項１乃至３のいずれか一項に記載の装置。
  5. 前記色変換ユニットは、前記２つの画像又はビデオの第２の画像又はビデオを供給する第２のソースから得られた少なくとも１つの第２のソースアンカー輝度を読み出し、前記偏差決定ユニットは、少なくとも１つの前記第２のソースアンカー輝度にも基づいて前記輝度オフセットを決定する、請求項４に記載の装置。
  6. 前記色変換ユニットは、前記第１の画像又はビデオを、前記第１の画像又はビデオの符号化に関連するダイナミックレンジから、少なくとも乗算係数２だけ異なるピーク明度を有するダイナミックレンジにマッピングするために前記第１の画像又はビデオにおけるオブジェクトの輝度分布の変化を指定する第１の色再マッピング関数にも依存して前記第１の画像又はビデオに適用される色変換を確立し、又は、前記色変換ユニットは、第２の画像又はビデオを、前記第２の画像又はビデオの符号化に関連するダイナミックレンジから、少なくとも乗算係数２だけ異なるピーク明度を有するダイナミックレンジにマッピングするために前記第２の画像又はビデオにおけるオブジェクトの輝度分布の変化を指定する第２の色再マッピング関数にも依存して前記第２の画像又はビデオに適用される色変換を確立する、請求項１乃至５のいずれか一項に記載の装置。
  7. 前記ダイナミックレンジ確立ユニットは、前記２つの画像又はビデオのうちの少なくとも１つに存在する輝度に依存して、前記合成輝度ダイナミックレンジを確立する、請求項１乃至６のいずれか一項に記載の装置。
  8. 前記ダイナミックレンジ確立ユニットは、少なくとも１つの前記出力画像がレンダリングされるディスプレイのピーク明度に依存して、及び好ましくは視聴環境の明度特性にも依存して、前記合成輝度ダイナミックレンジを確立する、請求項７に記載の装置。
  9. 前記輝度アンカー決定ユニットは、前記合成輝度ダイナミックレンジ、前記２つの画像又はビデオの少なくとも１つの画像又はビデオの輝度、少なくとも１つの前記出力画像がレンダリングされるディスプレイのピーク明度、及び視聴環境の明度特性のうちの少なくとも１つに依存して前記アンカー輝度を決定する、請求項１乃至８のいずれか一項に記載の装置。
  10. ２つの画像又は２つのビデオのうちの１つが高ダイナミックレンジの画像又はビデオである、複数の画像のうちの当該２つの画像又は２つのビデオを合成するための方法であって、前記方法は、
    複数の画像のうちの前記２つの画像又は前記２つのビデオのうちの少なくとも１つの画像又はビデオの最大輝度、及び、複数の画像のうちの前記２つの画像又は前記２つのビデオをレンダリングするためのディスプレイのピーク明度の少なくとも１つに基づいて決定される最大輝度を少なくとも特徴とする合成輝度ダイナミックレンジを確立するステップであって、前記確立するステップが、前記合成輝度ダイナミックレンジにおけるアンカー輝度を決定するステップをさらに含む、確立するステップと、
    前記２つの画像又はビデオの少なくとも１つに少なくとも輝度変換から構成される色変換を適用するステップであって、前記色変換は、前記２つの画像又はビデオの第１の画像又はビデオを供給する第１のソースからのメタデータから読み出されるソースアンカー輝度の値に基づいて確立され、前記色変換は、前記ソースアンカー輝度が前記アンカー輝度の近傍の出力輝度にマッピングされるという性質を有する、適用するステップと、
    複数の画像のうちの前記２つの画像又は２つのビデオを前記合成輝度ダイナミックレンジにおけるそれらのピクセル色を用いて合成して、少なくとも１つの出力画像を形成するステップと
    を有する、方法。
  11. 前記色変換は、少なくとも１つの前記ソースアンカー輝度と等しい前記第１の画像又はビデオのピクセルの色の入力輝度に前記色変換を適用した結果として決定される出力輝度が、前記アンカー輝度と等しくなるように又は前記アンカー輝度と決定された差との和と等しくなるように、決定される、請求項１０に記載の方法。
  12. 前記色変換は、第２の入力輝度に前記色変換を適用した結果として決定される第２の出力輝度を前記出力輝度で割った輝度比が、前記第２の入力輝度を前記ソースアンカー輝度で割った比の定数倍になるように、決定される、請求項１０又は１１に記載の方法。
  13. 複数の画像のうちの第２の画像又はビデオの色変換は、前記２つの画像又はビデオの第２の画像又はビデオを供給する第２のソースから得られた少なくとも１つの第２のソースアンカー輝度に基づいて決定される、請求項１０乃至１２のいずれか一項に記載の方法。
  14. 前記少なくとも２つの画像又はビデオのそれぞれに適用される前記色変換の少なくとも１つは、それぞれの画像又はビデオが、当該画像又はビデオが符号化される対応するダイナミックレンジから少なくとも２倍以上又はそれ以下のダイナミックレンジにどのように変換されるかを示す少なくとも１つの受信関数に少なくとも部分的に基づいて決定される、請求項１０乃至１３のいずれか一項に記載の方法。
  15. 前記合成輝度ダイナミックレンジ及び前記アンカー輝度のうちの少なくとも１つは、前記２つの画像のうちの少なくとも１つにおけるオブジェクトの輝度分布依存性質、前記２つの画像のうちの少なくとも１つの画像の輝度特性を要約する情報、合成された少なくとも１つの前記出力画像がレンダリングされるディスプレイのダイナミックレンジ、及び前記出力画像が見られる視聴環境のための明度測定値のセットからの少なくとも１つの要因に基づいて決定される、請求項１０乃至１４のいずれか一項に記載の方法。
JP2018545548A 2015-11-24 2016-11-11 複数のｈｄｒ画像ソースの処理 Active JP6831389B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15196054.9 2015-11-24
EP15196054 2015-11-24
US201662383692P 2016-09-06 2016-09-06
US62/383,692 2016-09-06
PCT/EP2016/077373 WO2017089146A1 (en) 2015-11-24 2016-11-11 Handling multiple hdr image sources

Publications (3)

Publication Number Publication Date
JP2019506817A JP2019506817A (ja) 2019-03-07
JP2019506817A5 JP2019506817A5 (ja) 2019-12-19
JP6831389B2 true JP6831389B2 (ja) 2021-02-17

Family

ID=65638024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018545548A Active JP6831389B2 (ja) 2015-11-24 2016-11-11 複数のｈｄｒ画像ソースの処理

Country Status (4)

Country Link
JP (1) JP6831389B2 (ja)
PL (1) PL3381179T3 (ja)
RU (1) RU2723676C2 (ja)
ZA (1) ZA201804211B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3451677A1 (en) * 2017-09-05 2019-03-06 Koninklijke Philips N.V. Graphics-safe hdr image luminance re-grading
WO2021108719A1 (en) * 2019-11-27 2021-06-03 Dolby Laboratories Licensing Corporation Rate-control-aware reshaping in hdr imaging
CN111915517B (zh) * 2020-07-23 2024-01-26 同济大学 适用于室内光照不利环境下rgb-d相机全局定位方法
CN112949502B (zh) * 2021-03-05 2024-03-29 浙江大华技术股份有限公司 游泳池安全员的环视检测方法、***和电子装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
WO2010132237A1 (en) * 2009-05-11 2010-11-18 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
EP2702766B1 (en) * 2011-04-28 2017-06-14 Koninklijke Philips N.V. Apparatuses and methods for hdr image encoding and decoding
CN103827956B (zh) * 2011-09-27 2017-06-13 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
JP5829758B2 (ja) * 2011-10-20 2015-12-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ等化のための方法およびシステム
JP6104411B2 (ja) * 2013-02-21 2017-03-29 ドルビー ラボラトリーズ ライセンシング コーポレイション オーバーレイグラフィクス合成のためのアピアランスマッピングのシステムおよび装置
JP6528683B2 (ja) * 2013-07-12 2019-06-12 ソニー株式会社 再生装置、再生方法
WO2015061335A2 (en) * 2013-10-22 2015-04-30 Dolby Laboratories Licensing Corporation Guided color grading for extended dynamic range
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
US9230338B2 (en) * 2014-03-05 2016-01-05 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US10536731B2 (en) * 2014-05-12 2020-01-14 Apple Inc. Techniques for HDR/WCR video coding
BR112017009528A2 (pt) * 2014-11-10 2018-02-06 Koninklijke Philips N.V. aparelho e método para decodificar um sinal de vídeo de hdr integrado a partir de um ou mais sinais da fonte, aparelho para codificar um sinal de vídeo, e método de decodificação de um sinal de vídeo
JP6891492B2 (ja) * 2015-02-03 2021-06-18 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
JP2019506817A (ja) 2019-03-07
RU2018122765A (ru) 2019-12-26
RU2018122765A3 (ja) 2020-02-27
PL3381179T3 (pl) 2024-06-10
ZA201804211B (en) 2021-05-26
RU2723676C2 (ru) 2020-06-17

Similar Documents

Publication Publication Date Title
CN108521859B (zh) 用于处理多个hdr图像源的装置和方法
JP7343629B2 (ja) Ｈｄｒ画像をエンコードする方法及び装置
JP6596125B2 (ja) Ｈｄｒイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
JP6495552B2 (ja) 画像及びビデオのためのダイナミックレンジ符号化
US9754629B2 (en) Methods and apparatuses for processing or defining luminance/color regimes
US20230177659A1 (en) Encoding and decoding hdr videos
KR102014127B1 (ko) Ｈｄｒ 이미지 인코딩 및 디코딩을 위한 밝기 영역-기반 장치들 및 방법들
JP7419230B2 (ja) グラフィックスセーフなｈｄｒ画像輝度の再グレーディング
JP2020520145A (ja) 復号された高ダイナミックレンジ画像の彩度を最適化すること
JP6831389B2 (ja) 複数のｈｄｒ画像ソースの処理
US11741873B2 (en) Adjustment of display optimization behaviour for HDR images
US20240257323A1 (en) Display-optimized hdr video contrast adaptation
US20240221135A1 (en) Display-Optimized HDR Video Contrast Adapation
KR102279842B1 (ko) Hdr 이미지 인코딩 방법 및 장치
BR112018010367B1 (pt) Aparelho para combinar duas imagens ou dois vídeos de imagens, e método para combinar duas imagens ou dois vídeos de imagens
CN117321625A (zh) 显示优化的hdr视频对比度适配
BR112017002313B1 (pt) Codificador para codificar um vídeo de entrada de alto alcance dinâmico, método para codificar um vídeo de entrada de alto alcance dinâmico, decodificador de vídeo para decodificar um vídeo de alto alcance dinâmico, decodificador de vídeo para decodificar um conjunto de imagens de vídeo de alto alcance dinâmico e método de decodificação de vídeo de um conjunto de imagens de vídeo de alto alcance dinâmico

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191106

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200309

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210128

R150 Certificate of patent or registration of utility model

Ref document number: 6831389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250