約5年前、高ダイナミックレンジビデオコード化の新規の技法が、世界に紹介された(例えば、1000ニットUltraHD Premiumテレビ上で視聴されるスペシャルHDR blu-rayディスクをもたらした)。
画像を技術的に処理するこの新規の手法は、今日では標準ダイナミックレンジ(SDR)ビデオコード化(低ダイナミックレンジビデオコード化、LDRとしても知られる)と呼ばれる、それまでの先行する50年にわたってすべてのビデオが符号化されていた旧来のビデオコード化と、多くの点で技術的に対照を成す。画像を表現するためには、ピクセル色のデジタルコード化表現が必要であり、Rec.709のSDRのlumaコード定義(光電気伝達関数OETFとしても知られる)は、その関数形状がほぼ平方根であるため(luma:Y=sqrt(Luminance L))、(8又は10ビットlumaワードで)約1000:1輝度ダイナミックレンジしか符号化することができなかった。しかしながら、これは、約0.1~100nit、後者の値は最大輝度としても知られる、いわゆるピーク輝度(PB)である、の典型的な輝度レンダリング機能(当時のすべてのディスプレイの)を有する当時のディスプレイ上で表示されるように画像を符号化するのには完璧に適したものであった。
Rec.709 lumaコード定義関数が膨大な範囲のHDRシーン画像輝度(例えば、0.001ニット~10,000ニットの所望の画像コード化ピーク輝度PB_C)を数学的に表現することができないと見て、HDR研究者らは、当初、はるかにより多くの輝度をコード化することができるように、形状がはるかにより対数的である新規のHDRコード配分を設計することによって、この問題を解決した(視覚システムはそれほど正確である必要はない、すなわち、暗い領域よりも明るい領域において必要なコード値が少ないため、例えば、2^8=256(^はべき関数を示す)のうち50コードを各10輝度に配分することによって、すでに100,000:1のダイナミックレンジをコード化することができると理解することができる)。これは、SMPTE 2084規格のいわゆる知覚量子化(PQ)機能を使用することによる、HDR画像色を符号化するための単純で「自然」な手法である。
これがHDR画像を符号化及び復号するためのすべてであると単純に考えられるが、ことはそれほど単純ではなく、そのため、特に本出願人のHDRビデオコード化及び処理のための以前に開発された手法など、追加のコード化手法が出現した。
HDRビデオコード化に含まれ、必要とされるものを適切に理解するために、図1は、いくつかの重要な態様を要約している。
左側に、PB_C=5000ニットまでのすべての可能な(PQ復号)HDR輝度の輝度範囲があると想定する。暫時、この画像を所望のとおり完璧に見えるようにするために、このマスタHDR画像と呼ばれるもののすべての物体ピクセルがコンピュータ上で作成されると想定する(例えば、放送カメラから始めるやり方が図2を用いて下記に説明される)。自然なHDRコーデック(最大10,000ニット、すなわち、この例において所望されるものとしてはまた最大5000ニットの輝度を符号化する技術しか提供しない)に伴う問題は、消費者も高価な5000ニットのディスプレイピーク輝度(PB_D)のディスプレイを有する場合(且つ、消費者が標準化視聴環境条件下で画像を見る場合)、消費者が、作成者(例えば、動画監督)が意図したとおりに完璧にビデオを視聴するが、消費者が異なるディスプレイ(例えば、PB_D=750ニット又はPB_D=100ニット)を有する場合、解像度が不足し、やはり単純な問題ではなくなり、750ニットPB_Dディスプレイに5000ニットPB_C画像をどのように表示するかということになる。これに対する的確で単純な解決策は存在しないと考えられる。正確な輝度表示を適用することによって、すべての物体が最大750ニットの輝度によって完璧に表示されるが、すべてのより明るい物体ピクセルが同じPB_D=750ニットにクリッピングされ、多くの画像物体が白色斑状領域に入って見えなくなり、これは確実に見映えが悪い。内容の線形スケーリングが1つの解決策(すべてのHDR輝度を5000/750によって除算する、これはいわゆるコンテンツ・ホワイト・オン・ディスプレイ・ホワイト・マッピング手法である)であると考えられるが、ダイナミックレンジのより低いディスプレイにとってはすでに低すぎる、HDR輝度(0.05ニット)を有する一例のシーン画像ImSCN3における洞窟の暗い領域内の人のようなより暗い物体は、750ニットディスプレイ上では知覚不可能な暗い輝度を得る(0.05*750/5000=0.0075ニット)。
図1はまた、異なる典型的なHDRシーンの異なるHDR画像は、様々な(場合によってはHDR輝度範囲DR_2に沿った「任意の」輝度位置にある)HDR輝度をはるかにより小さい、例えばLDR輝度のダイナミックレンジDR_1に絞り込むやり方に関して非常に異なる要件を有することも教示している。
実世界の輝度は、例えば、屋内物体と屋外物体の両方が同時に視野内にあるとき、照明コントラスト*物体反射コントラスト(illumination_contrast*object_reflection_contrast)=(1:100)*(1:100)に及ぶが、シーンを表す画像内の輝度は元のシーンの輝度と同一である必要はなく、またそうはならず、良好なHDR表現の画像について、最大で少なくとも1000ニットに及び、少なくとも0.1ニット以下である最小値において始まる可能性があるピクセル輝度が期待される(したがって、DR_im≧10,000:1)。さらに、良好なHDR画像は、物理的なダイナミックレンジ自体に関するというよりもはるかに、輝度範囲に沿った様々な物体輝度のスマートな配分に関するものである(まして、ビット量が参考になるということは誤解であり、これは非線形lumaコード定義には当てはまらず、10ビットluma画像は、ちょうどSDR画像のように、或るHDR画像でもある)。
図1は、将来のHDRシステム(例えば、1000ニットPB_Dディスプレイに接続されている)が正確に、すなわち、画像内のすべての物体/ピクセルについて適切な輝度を表示することによって処理することが可能であり必要がある、多くの可能なHDRシーンの、いくつかの典型的な図解例を示す。
例えば、ImSCN1は、西部劇動画からの日当たりのよい屋外の画像である(理想的には、例えば、例として400ニットの平均輝度によって、雨の日の見かけよりも日当たりのよい見かけを提供するために、100ニットディスプレイ上でいくらかより明るくレンダリングされるべきである、どんよりした画像である平均よりも明るい、主に明るい領域を有する)。他方、ImSCN2は非常に異なる種類の画像であり、すなわち、夜間の画像であり、暗い領域(及び、例えばそれらの良好な可視性)が支配的であり、ただし、街灯の下のスポット、及び、おそらくは家屋の灯りのついた窓には明るいピクセルもあり、さらには街灯のランプ表面上には非常に明るいピクセル(例えば、3000ニット)があることによって、これは単純に暗いSDR画像ではなく、HDR画像になっている。
そのようなImSCN1画像を日当たりよくし、対してImSCN2を暗くするものは何か?これは必ずしも、相対輝度ではなく、少なくともSDRパラダイムにおけるものではない(おそらく両方の画像について0.1~100ニットの範囲全体にわたるピクセル輝度があるが、そのような輝度の空間分布及び特にヒストグラムは異なり得る)。過去数年のみのうちに終わったSDRの時期において常にそうであったものからHDR画像レンダリングを異なるものにするものは、SDRには、そのような制限されたダイナミックレンジ(約PB=100ニット、及び、約0.1~1ニットの最小黒色レベルMB)があったこと、主に物体の内在する反射性がSDRにおいては示され得る(良好な白色についての90%と良好な黒色についての1%との間に入る)ことである。それは、均一な技術的に制御された照明下では物体を認識するのに良好である(それらの反射から一定量の輝度、及び、無論、色度を有する)が、自然なシーンにおいて有することができる照明自体の美しい変化、及び、見る者に対して有し得る影響については、それほどではない(窓から来る太陽光線、又は魔法使いから放射されるプラズマ)。ディスプレイがこれを可能にし、したがって、画像コード化及び処理技術がこれを可能にする場合、日光は、森歩きにおいて実際に木々を通して、すなわち、SDRディスプレイ上のようにいくらかより黄色がかった印象にならないように見え、日陰から日向へと歩くときに明るく色彩豊かな、太陽に照らされた衣服を見たくなる。また、同様に、少なくともPB_Dが可能にする限りにおいて、火及び爆発も、最適な視覚的影響を有するべきである。
SDRにおいて、夜間の画像は、ルマヒストグラムにおいて知覚可能なものとして、通常の明るさの画像よりいくらか暗くすることができるが、過度にはできず、又は、画像を暗く見づらく(場合によってはさらにほとんど見えなくなる)レンダリングするに留まる(このため、夜間の画像を相対的にまだ明るく、ただし青色にする慣例が導入された)。また、100ニットTV又は100ニット符号化では、単に何らかの過度に明るいものにあらゆる利用可能な余地がない。そのため、物体をそれらの照明とは無関係に示す必要があり、同時に、発生し得るシーンのコントラストが高い場合がある照明を忠実に示すことはできなかった。実際には、これは、非常に明るい日当たりのよいシーンは、どんよりした雨の日のシーン、及びさらには夜間のシーンとほぼ同じディスプレイ輝度(0~100ニット)でレンダリングされる必要があったことを意味する。
実生活において人間の視覚はまた、得られる光量に適合するが、過度にではない(実生活においてほとんどの人は、暗くなってきていること、又は、自身がより暗い若しくは非常に明るい環境にいることを認識する)。また、テレビ番組の画像は、適合した眼のシミュレーションではなく、視聴環境及び他の技術的制限を所与として得られるものと同様の、実生活環境のシミュレーションであることを忘れてはいけない。そのため、画像の中で芸術的に設計することができる、すべての注目に値する局所的で且つ一時的な照明効果を有する画像を表示して、少なくとも最終的に見る者がHDRディスプレイを利用可能である場合に、はるかにより現実的なレンダリング画像を得ることが所望される。例えば、暗い室内のライトセイバーの適切な輝度が正確にはどのようなものであるかは、マスタグレーディングの判断を行う色グレーダに委ねられ(本件特許における教示を単純にするために、様々なダイナミックレンジの画像、少なくとも極端な異なるダイナミックレンジのうちの2つのダイナミックレンジの画像が、人間のグレーダによって作成されるが、同様に、画像は自動ソフトウェアによって作成することができる)、本出願は、異なる需要を有する可能性がある様々な市場関係者のために、そのような画像を生成及び処理するための必要な技術的構成要素に焦点を当てる。
図1の左軸には、5000ニットPB_D(基準)ディスプレイ上に直接表示可能であるものとして、(例えば)5000ニットPB_CマスタHDRグレーディングにおいて見たいと思われる物体輝度が示されている(すなわち、画像グレーダは、家庭において典型的な高品質HDR TVが5000ニットPB_Dを有すると仮定して画像を生成し、実際に、ある種のそのような家庭視聴室内で座って、そのようなグレーディングディスプレイ上でグレーディングし得る)。キャプチャされた元のHDRシーンの単なる近似錯覚ではなく、カウボーイが明るい日当たりのよい環境にいる現実的なシーンを伝達することを所望する場合、それらのピクセル輝度を、例えば、平均して約500ニットなど、十分に明るく指定し、レンダリングしなければならない。
夜のシーンについては、主に暗い輝度が所望されるが、オートバイに乗った主人公は良好に認識可能であるべきであり、すなわち暗すぎてはならず(例えば、約5ニット)、同時に、例えば、5000ニットディスプレイ上で約3000ニット、又は、任意の他のHDRディスプレイ上でほぼピーク明るさ(例えば、1000ニットPB_D)など、例えば街灯の非常に高輝度のピクセルもあり得る。第3の例ImSCN3は、現在同じくHDRディスプレイ上で可能である画像を示し、多くの(意味的に単なるランプよりも関連が多い、すなわち、太陽に照らされた木々など、領域内詳細が多い)非常に明るいピクセルと、多くの重要な非常に暗いピクセルとの両方を同時にレンダリングすることができる。ImSCN3は、典型的でHDRシーン画像を処理するのが相対的に困難であるように見えるものとして、暗い洞窟を示しており、日当たりのよい屋外を見ることができる小さい開口がある。このシーンについて、木のような日に照らされた物体を、例えば約400ニットなど、明るい日当たりのよい眺望のみの印象をレンダリングすることが所望されるシーン内よりもいくらかより明るくすることが所望され得、これは、洞窟の中にいる本質的に暗い人物とより調和されるべきである。色グレーダは、不適切に暗く又は明るく見えるものがなく、コントラストが良好であり、例えば、この洞窟の暗がりに立っている人が、約0.05ニットのマスタHDRグレーディング画像においてコード化され得るように、すべての物体の輝度を(すでにPB_HDR=5000ニットのマスタHDR画像において)最適に調和させることを所望し得る。
このマスタHDR画像が作成されると、芸術的な問題(それが有効化技術において定式化される前であっても)は、この画像が、例えば、少なくとも100ニットPB_CレガシーSDR画像など、異なるダイナミックレンジの画像にどのようにリグレードされるべきであるかということである。
これは、輝度間の関係が与えられたときに理解を助け、したがって、有用である場合には、本件特許においてはこれを行う。事実、技術的に、輝度は、光電気伝達関数(OETF)としても知られるルマコード割り当て関数を介してルマとしてコード化され、したがって、例えば、入力L_inから出力輝度L_outを算出するための関数など、輝度間のすべての関数をまた等価なルマ間の関係として定式化することもできる。
多少の混乱はあろうが、輝度を正規化されるように(すなわち、1.0に等しい最大正規化輝度を用いて)定式化し、そのような正規化輝度に対するすべての動作を定義することもできる。これには、(両方の画像ピクセル色が同じRGB原色セットにおいて定義されることを条件として)正規化HDR色域がLDR色域と正確に重なり合い、したがって、この単一の正規化色域において輝度変化を示すことができるという利点がある。明らかに、PB_C=5000を有するHDR輝度範囲内で定義されるHDR輝度と正確に同じ絶対輝度において表示されるはずである正規化LDR輝度の相対位置は、異なる相対高さを有する(すなわち、このとき、対応するLDR画像ピクセル輝度をこの正規化色域における高さの相対/正規化変化として作成するときに、そのような色域表現において、必要とされる特定のHDRピクセル輝度の輝度マッピングを示すことができる)。絶対輝度と相対輝度との間の関係は、L_norm=L_abs/PB_Cと単純であり、PB_Cは、コード化の任意の最大輝度であり、例えばHDRコード化については5000ニットであり、SDRについては標準的に100ニットが合意されている。
(すべての技術がそれに従って挙動しなければならないため)図1から学習すべき重要である最後のことは、いずれの種類のHDRシーンにおいていずれのタイプの物体が対処されているか(すなわち、そのピクセル輝度)に応じて、上記ピクセル輝度をリグレード、すなわち、輝度変換するやり方に関して異なる高レベルの手法があり得る。
例えば、オートバイのライダーなどの暗い中にある物体は、すべてのリグレードされている画像、特に、左側の開始マスタHDR画像、右側の対応するSDR画像、及び、例えば、800ニットPB_Dディスプレイ上での直接表示のために(例えば、そのようなディスプレイを購入しており、例えば、自身のケーブルプロバイダから、又は、衛星セットトップボックスを介して、又は、インターネットなどから5000ニットPB_C HDR画像を得る消費者について)最適化されている(正確な物体輝度によって)PB_C=PB_MDR=800ニットによって示されているものなどの、間に或る任意の中ダイナミックレンジ(MDR)画像に対して絶対輝度を一致させること(正規化輝度の対応するスケーリング変更を含む)によって、レンダリングされる。コンテンツの作成者は、オートバイだけが見える暗い雰囲気を伝えることを所望し、これをより明るいディスプレイ上で、そのようなディスプレイが、シーン内のすべての物体輝度を表示するより高いPB_Dにおいて終端するより大きい輝度範囲を有するために明るく表示することができるというだけの理由で、より明るくレンダリングすることは好ましくないため、これは理にかなっている。
太陽のような物体は、おそらく、まったく異なる原理、すなわち、任意の画像表現において可能な最も高い値、すなわちPB_Cを常に与えられるホワイトオンホワイトマッピング方法に従うことになる。明らかに、他の種類の物体は他の種類の規則に従うことができ、さらに演繹することができる(例えば、カウボーイはスケーリングミドルグレイ原理に従う)が、読者にとっては、例えば、単純な技術が指定する固定されたものなどではなく、すべてのピクセル輝度のほぼ「任意の」割り当てを可能にする技術を有しなければならないことを理解すれば十分である。
図1は、多用途HDR画像作成に必要なもの(動画、スポーツ生放送などのような、そのような別様に技術的に制約されている用途に及ぶ)をかいつまんで要約しているが、このとき、HDR技術開発者にとっての問題は依然として、HDR画像をどのように符号化するか、及びまた、HDR画像を、コード化PB_C(すなわち、ビデオ内で少なくとも1回生じる可能性があり得る最も明るいピクセル)よりも低いPB_Dを有する任意のディスプレイ上に最適に表示することを可能にするようにどのように変換するかである。HDRシーン画像のキャプチャ、並びに、重要なことにはまたHDRシーンの美術監督及び照明も技術的技能であるが、本出願ではその態様に焦点を当てる必要はない。
最も着想しやすいことは、単純にHDRピクセル輝度をコード化すること(ディスプレイ適合(DA)、すなわち、PB_C1画像をより性能の低いディスプレイの画像にマッピングする手法の完全性は無視する)。問題は、Rec.709 OETFが1000:1の輝度ダイナミックレンジしかコード化することができず、すなわち、新規のHDR OETF(又は実際にはその逆のEOTF)を考案する必要があることであった。例えば、新規のブラックリボンHDR blu-rayを作成するために使用される、HDR10と呼ばれる最初のHDRコーデックが市場に導入された。これは、SMPTE 2084において標準化されており、実際のHDRビデオ生成に十分な1/10,000ニット~10,000ニットの間の輝度のルマを規定することを可能にする知覚量子化(PQ)関数と呼ばれるより対数の形状に近い関数をOETFとして使用する。さらに、このコーデックには、このコーデックが生成するルマコードが人間の視覚が機能する様式と調和するという優れた特性がある(脳がシーン内の異なる輝度を特性化するために使用する一種の知覚濃淡値、これは、脳が行うように、特定の白黒階調物体を効率的にリグレードすることと、輝度を効率的に表現することの両方にとって優れた特性である)。ルマの計算後、ピクセル平面は10ビットしかなく(又はむしろまた、2つのクロミナンス平面Cb及びCr3ビット平面を有する)、これは典型的には完全に、それらが例えば圧縮MPEGなど、数学的にSDR画像「であるかのように」さらに処理され得る(これは、ビデオパイプライン全体においていくつかの既存の技術を再設計及び再展開することを回避するため、重要な制約である)。
HDR10画像に伴う重大な技術的難点は、依然として、それらをより性能の低いディスプレイ(例えば、HDRコンテンツがそれ向けに作成された2000PB_Cよりも性能の低い)上で適切に表示する手法である。例えば、ただ線形的にホワイトオンホワイトでマッピングする(コード化ピーク輝度PB_Cとしても知られるコード化画像最大白色値を、例えばSDRディスプレイピーク輝度PB_Dにマッピングする)場合、PB_C=1000ニットを有する画像の最も興味深い(最も暗い)部分が典型的には10倍暗く見え、これは、夜間のシーンImSCN2が見るに耐えなくなることを意味する。PQ OETFの対数的性質のために、HDR10画像は見ることができるが(ルマとしてのみレンダリングされる、すなわち、誤ったEOTFによって復号される場合)、ひどく劣化したコントラストを有し、これによって画像はとりわけ色あせて、誤った輝度に見えるようになる。
例えば放送シナリオにおいてHDRビデオコンテンツを作成するための単純なシステムが、図2を用いて説明される。ここでも、非線形ルマ又はR’G’B’ピクセル色コード割り当ての詳細は、説明を単純なままにするために、まだ考慮されない(チェーン全体を通じて通常の(絶対)輝度を有する、いわゆる光光アプローチ(OOTF))。カメラ(201)の露出(EXP)によって、いずれの物体輝度が忠実に記録されるか、及び、いずれの相対値において記録されるかを選択することができる(カメラはすべての空間位置に対する相対輝度計、又は、むしろRGBトリプレットをもたらす相対色度計として機能するため)。カメラセンサと、色成分のNビット数学表現の両方がともに、最小値において開始し、最大値において終端する最終的な範囲を実際に有するため、十億ニットである太陽の詳細に対して露出するのではなく、少なくともそれらの輝度又はRGB値をそれらの最大値までクリッピングすることは理にかなっている。ただし、いずれにせよ、実質的に無限の範囲において、露出選択を後の輝度再マッピングによって「補正」することができる場合、この事実は、シーン輝度の、表示される輝度への「自然」な明白なマッピングは存在しないことを読者に示す(後者は、ディスプレイ関連比色分析として知られる輝度、及び、実際に最終的に問題となるものを参照する)。線形輝度画像LIN_HDRが、典型的には最初にOOTFマッピングを受ける(202)。これはすでにある程度までSDR自体に存在していたものであり、テレビが視聴される夕方の居間の典型的により暗い観察環境における人間の視覚が同様の視覚体験のためにより高いコントラストを必要とする事実を補正し、したがって、OOTFは典型的にはソフトガンマ関数である。しかしながら、特に、相当のダイナミックレンジのシーンをよりダイナミックレンジの低い典型的なディスプレイ(205)上にマッピングするとき(さらには、これが高品質4000ニット参照モニタであるとき)、グレーディングユニット203によって、本明細書においてグレーディングと呼ばれる、可能性として任意である曲線を適用することによる、様々な物体ピクセル輝度の何らかの審美的な最適化が適切であり得る。特に、オフラインの高品質再現について、いわゆるクリエイティブな視覚又は見かけをマスタHDR画像MAST_HDR(本発明によれば、例えば有利に符号化されるなど、依然として技術的にさらに処理される必要がある)に置くためのグレーディングの労力は相当なものであり得る。このとき、結果もたらされる画像は最適に見え、何らかの画像通信接続204を介してディスプレイ205を介して送信することができ、このディスプレイ上で、人間のグレーダは、画像がすでに所望されるとおりであるか否かを確認することができ、又は、ユーザインターフェース制御ユニット206(例えば、グレーディングコンソール)を介して少なくとも1つの輝度マッピング関数を引き続き微調整することができる。この任意のグレーディングがマスタルックを形成し、これは、例えば、(例えば後述するようなビデオコーディング原理の一部を形成するとき)マスタSDR画像と呼ばれる場合がある、可能な限り最適な対応するSDR画像を得るための任意のリグレーディング(二次ルック)と混同されるべきではない。読者のために1つのみのより単純なトポロジを説明したが、実際には、例えば、単一のHDRカメラのみ、若しくは、混合した複数のSDR及びHDRカメラ、又は、ここでコード化原則(例えば、下記に参照するETSI1又はETSI2原則)などに従ってともに符号化される必要がある、以前に決定されたHDR画像及び対応するリグレードされたSDRマスタ画像による、進行中の生放送があるかに応じて異なる実際の実施形態が存在し得ることが読者には理解され得る。
図1によってすでに説明したことであるが、マスタHDRから始まる様々な可能なリグレードMDR画像間の数学的にリグレードする関係が存在するため、それらの関数を技術的に実際的に捕捉することができることを条件として、事実、種々のダイナミックレンジ関数のスペクトル全体を、それらのうちの1つのみを送信することによって符号化し、1つの実際に送信される画像から別の画像を作成するための少なくとも1つの輝度マッピング関数を符号化することができることを、本出願人は認識した。この可能性及びその後の技術的コード化概念の最初の照会は、国際公開第2011107905号パンフレットにおいて行われた。
(例えば、5000ニットPB_C)マスタHDR画像輝度をSDR画像輝度に変換する輝度マッピング関数F_Lを定義すること、すなわち、グレーダに、最も極端な画像表現間の必要とされるリグレード挙動を定義させ、次いで、任意の可能な5000ニットPB_C M_HDR画像輝度に対応する中間のMDR画像ピクセル輝度を計算するための、ディスプレイ適合輝度マッピング関数F_L_DAを再計算させることが理にかなっていることが分かった。
出願人が後に標準化したように、このとき、画像を実際に任意のレシーバに送信するための2つの論理的選択肢(特にPB_C終端点における、異なるダイナミックレンジのリグレード可能な画像のスペクトル全体に対する単独の画像として、多くの場合、例えば0.01ニットなどの、より低い終端点のMBがほぼ固定されると想定され得る)、すなわち、マスタHDR画像、又は対応するSDR画像が存在する(ここで、その状況において、L_HDR_reconstructed=F_L_inverse[L_SDR]であるため、実際にはHDR画像の代わりにプレーンSDR画像が送信され、事実、F_L関数のために依然としてHDR画像も通信されることを少しの間検討し、理解されたい)。
技術的制約が、多くの旧来のディスプレイが非分散的にサービスされる必要がある(事実、古いSDRディスプレイはSDR画像のみを取得し、これがHDR画像も符号化していることを知る必要なしに、SDR画像を直接的に表示し、HDRシーンの非常に良好なSDRレンダリングを直ちに取得することができ、事実、最善でそのディスプレイがそのようなHDRシーンを表示することができる)ということであるときに非常に有用である、第2のコード化選択肢は、最初にETSI TS 103 433-1(-1に留意されたい。本明細書においてはETSI1と略記する)の下で標準化された。定義されているようなその標準コード化(復号)アプローチをもたらす技術的意図の一部であった、任意の受信側において元のマスタHDR画像を十分な精度で再構築することを可能にするための、SDR画像色の可逆性の必要性のような技術的制約があることに留意されたい。
ETSI TS 103 433-2(ETSI2)は、実際にマスタHDR画像がレシーバに通信され、関数F_L(実際には下記に示すもの、説明のために通信される画像内のすべてのピクセル輝度に対して単一の大域的なF_L関数が存在するかのようなシステムが企図されるが、技術的理由から、その後適用されるマッピング関数のセットが使用される)が、PB_D<PB_Cマスタを有するディスプレイ上での最適な表示のための(すなわち、いわゆるディスプレイ適合のための)画像を計算する役割を果たす、代替的なコード化手法である。様々な消費者が、利用することを所望するシステムを選択することができ、例えば、ETSI2 HDRを通信するケーブルテレビの運営者は、そのユーザに、ユーザが意図せずに家庭に有している任意のディスプレイのために復号及び最適化するSTBを展開する。
図3は、まず、基本概念を説明することを目的として、典型的なシングルイメージプラスファンクション(single-image-plus-functions)HDRビデオ通信システム(エンコーダ+デコーダ)、すなわち、非限定的にはSDR通信タイプの典型的なシステムの構成要素を、俯瞰レベルにおいて示す。
色変換手段302が、画像ソース301から入力としてMAST_HDR画像(例えば、カメラによってキャプチャされ、図2によって説明されるシステムによってグレーディングされ、次いで、何らかの専門的なビデオ通信システムによって、例えば、無線で又はテレビケーブルネットワークを介してテレビ番組を放送する放送側のエンコーダ321に通信されるものとしての)を取得する。その後、マスタHDR画像(MAST_HDR)ピクセルの輝度の対応するSDR輝度を取得するために、少なくとも輝度マッピング関数F_Lを含む色変換関数F_ct(この例においては、例えば、ヒストグラムなどのような画像特性に基づいてF_ct関数を定義する、本出願人の自動HDR-SDR変換技術などの、グレーディングオートマトンソフトウェアによって決定される。これは任意の画像又は時間的に連続する画像のセットのそのような最適化された関数の存在のみを必要とするため、その特定の詳細は本出願の説明からは除外され得る)のセットが適用される。理解を容易にするために、読者には、単純化するためにF_Lが、100ニットPB_C SDR出力画像Im_LDR内のピクセルの1.0正規化SDR出力輝度(すなわち、図1の右側の輝度範囲)を導出するための、4乗輝度マッピング関数(L_out_SDR=power(L_in_HDR;1/4))であると想定される。
この時点で「通常の」SDR画像が存在するため、これは、例えば、HEVC若しくはMPEG2などのMPEG規格、又は、AV1などの同様の規格などの、標準ビデオ圧縮技法を用いて圧縮することができ、この圧縮は、ビデオ圧縮手段303によって実施される。
レシーバは、受信される対応する圧縮SDR画像Im_CODからマスタHDR画像を再構築することが可能でなければならないため、送信されるべき実際のピクセル化画像は別として、色マッピング関数F_ctもビデオ圧縮手段に入力しなければならない。限定ではなく、関数は、例えば、SEI(補助強化情報)メカニズム又は同様の技法によってメタデータ内に格納されると想定される。最終的に、フォーマッタ304が、任意の技術的通信媒体305についてビデオストリームをフォーマット化する(データチャンクに入れるなど)のに必要な一切のことを行い、例えば、blu-rayディスクに格納するための、又は、衛星を介したDVB通信のためなどのフォーマット化を行う(この詳細は、それぞれの技術分野の当業者によって見出すことができ、本発明の概念の理解には無関係である)。
(アンフォーマッタ306を通過した後に)ビデオ解凍手段307によって実施されるビデオレシーバ320におけるMPEG解凍の後、SDR画像は、(SDRディスプレイの画像を取得するために)標準Rec.709 EOTFを適用することによって、レシーバによって解釈され得るが、レシーバはまた、再構築HDR画像Im_RHDRを取得するために、受信Im_COD画像を別様に復号することもできる。
これは、解凍Im_RLDRとしてのSDR画像を、任意の非SDRダイナミックレンジ(すなわち、100ニットよりも高く、典型的には少なくとも6倍高いPB_Cの)の画像に変換するように構成されている色変換手段308によって実施される。例えば、MAST_HDRからIm_LDRを作成するために、符号化側において使用される(また、メタデータ内で受信されており、色変換手段308に通されている)色変換F_ctの逆色変換IF_ctを適用することによって、5000ニットの元々のマスタ画像Im_RHDRを再構築することができる。又は、SDR画像Im_RLDRを異なるダイナミックレンジ、例えば、ディスプレイ310が3000ニットPBディスプレイである場合に最適にグレーディングされるIm3000ニット、又は、対応するより低いPB_Dのディスプレイの1500ニット若しくは1000ニットPB画像などに変換するディスプレイ適合ユニット309が含まれ得る。非限定的に、ビデオデコーダ及び色変換手段は、単一のビデオレシーバ320内にあると仮定される。技能を有する読者には、例えば、受信されるものとして予め最適化された画像のための能力に乏しいディスプレイとしてのみ機能するか、又は、さらなる画像色変換などを行うディスプレイに接続されるセットトップボックス内で分離されている復号機能によって、多くの異なるトポロジを同様に設計することができることが理解され得る。
図4は、ETSI2において標準化されているものとしての、本出願人の輝度及び色マッピング技術の原理を手短に要約している(事実、これは、ETSI2復号原理(又は同様にETSI1符号化原理)に従って図3において一般的に紹介された色変換手段302を詳述している)。これは、本出願のより特定的な実施形態の技法のいくつかを理解するために理解する必要があるためである。
入力は、PQ定義YCbCrピクセル色(すなわち、ピクセル毎のルマY及びクロミナンスCb及びCr色成分)であると仮定される。最初に、ルマが、SMPTE 2084 PQ EOTFを使用しなければならないEOTF適用ユニット401によって通常の線形輝度L_inに線形化される。その後、入力HDピクセル色からSDR出力ピクセル色を取得するためのリグレードプロセス全体を、通常の(物理的なSI及び普遍的に定義されるCIE)輝度によって再び定義することができる。この後、輝度プロセッサ401によって輝度処理を実施することができ、輝度プロセッサは、所望のとおりに、ただし、分別よく選択されたサブユニットによって、完全なF_Lマッピングを実現する(これらのユニット402、403などは、自動グレーディング、人間によるグレーディングを容易にすること、IC設計の複雑さなどのような、様々なHDR適用の必要性にとって有利であるように、技術的に設計されている)。
最初に、輝度均一化手段が、以下によって定義される曲線のファミリのうちのPBに依存するものを適用することによって、入力HDR画像のピーク輝度PB_C_H(PB_C_H=例えば5000ニット)のみに形状が依存する固定曲線変換を適用する。
Y’HP=log(1+(RHO-1)*power(L_in/PB_C_H;1/(2.4)))/log(RHO) (式1)
ここで、
RHO=1+32*power(PB_C_H/10000;1/2.4) (式2)
これは、すべての輝度を知覚的に均一なグレールマY’HPにマッピングする。PB_C_HDR=10000ニットである場合、この曲線は、知覚的に均一であることが分かっていたSMPTE 2084 PQ曲線に密接に対応する。より低いPB_C_HDRの入力画像について、曲線は良好にスケーリングし(事実、例えば、絶対的な意味において10000ニット曲線上の3000ニットにおいて終端する部分曲線を表す)、正規化[0-1.0]/[0-1.0]入力/出力輝度軸表現において最も暗い色のログガンマ曲線のより緩やかな勾配をもたらす。すなわち、処理の残りの部分はすでに、良好に予め正規化されて開始する。
その後、所望に応じて、白黒レベルオフセッタ403が、何らかの追加の白レベルオフセットWLO及び何らかの黒レベルオフセットBLOを適用する。
白レベルオフセットの有用性は、以下のように理解することができる。コンテンツ作成者が自身の画像をPB_C=4000ニットに設定されたシステム上でグレーディングしている(すなわち、例えば、コンテンツ作成者の参照グレーディングモニタが4000ニットのPB_Dを有する)が、ビデオ全体において、実際には、例えば1500ニット(コード可能な最大値PB_Dとは異なるビデオ最大値)よりも高いピクセル最大輝度を有する画像を決して作成することはないと仮定する。このとき、SDR輝度ダイナミックレンジは実際には十分に小さいため、それらの未使用値1500~4000ニットを下回る入力HDRを再スケーリングすることを理にかなっている(いずれにせよ画像/ビデオの瞬間毎に最適化することができる、動的に調整可能な輝度マッピングを使用しているため)。1500/4000は、0.375の正規化(入力)HDR輝度に対応し、そのため、この値を2.6で除算することによって、スケーリングされたHDRルマY’HPSの最大値にマッピングすることができる。
正確に言うと、ETSI2規格に従って、以下の計算が実施される。
Y’HPS=(Y’HP-BLO)/(1-WLO-BLO) (式3)
ここで、WLO及びBLOは、受信されるビデオ画像とともに通信されるか又は関連付け可能であるメタデータ内で通信される。
ブラックレベルオフセットは、SDR対応リグレード画像のよりコントラストの高い見かけを得るのに有用であるが、ESTI1受信画像は、HDR画像に逆マッピング可能であるままであるべきである、すなわち、過度に多い黒色ピクセル詳細が失われるべきではないことに留意されたい(このため、図4には示されていない並列ゲインリミッタも存在する理由である)。
単純に黒色レベルオフセットは、何らかのHDR「黒」色をSDRにおける0.0に置くこと、又は、より正確には、ユニット403を介して(すなわち、正規化輝度が依然としてHDRにある状態で、これはHDRディスプレイ上で良好な見かけであるが、SDRディスプレイ上では不良でまた最適化されていない見かけを得るのに使用可能な相対分布の状態であることを意味する)HDR-SDR輝度マッピングに備えることとして理解することができる。
その後、粗ダイナミックレンジ変換手段404が、一次輝度変換を適用して(すなわち、SDRディスプレイ上で妥当な見かけを得るために良好な、物体輝度の第1の再分布によって)SDR輝度を得る。このために、ETSI2は、最も暗いHDR正規化輝度の勾配制御可能な線形セグメント(このセグメントの勾配はシャドウゲインと呼ばれる)、最も明るい正規化HDR入力輝度Y’HPS入力輝度のためのもう1つの線形圧縮部分(勾配制御パラメータであるハイライトゲインを有する)、及び、中間色調の良好なSDR外観を提供することによってこれをともに平滑化する制御可能な放物線部分(制御パラメータである中間色調幅を有し、この計算は規格において読むことができ、本出願においては、本発明の洞察による新規の発明的実施形態を理解するのに必要な範囲までのみが(適度に単純な要約可能な様式で)再び説明される)から成る曲線を使用する。そのため、第1の時点のこの粗ダイナミックレンジ変換手段404の出力ルマY’CLはSDR範囲、又は、SDR相対ルマ分布統計において規定される。
このユニット404のコンテンツ作成者への技術的(及び審美的)供与は、グレーダが、より明るいピクセルを含む他の物体の物体内コントラストを犠牲にして(SDR輝度範囲が制限されているため)最も暗いピクセルをどれほど明るくするかを良好に最適化することができ、ただし、例えばハイライトゲインをともに調節することができることである。シャドウゲインは、例えば、洞窟の暗い陰の領域に立っている0.05ニットの輝度の人物のものとして理解することができる。この人物をSDRディスプレイ上で、ホワイトオンホワイト基準によって、すなわち、正規化輝度関数プロットの対角線である45度勾配を有する恒等関数である正規化マッピング関数によって表示する場合、その人物のHDRにおける正規化輝度は、粗くマッピングされたSDR輝度の恒等写像のために等しい正規化輝度に留まる0.05/5000であり、すなわち、それらが絶対的にされた後、それらのピクセルはSDRディスプレイ上で、(1/100000)*100、すなわちそのディスプレイ上の最小黒色(「0」駆動信号)によって表示され、見えなくなることが分かる。したがって、たとえより対数的な均一化されたHDR及びSDR相対濃淡値又はルマ表現においても、十分に視認可能であり、人物オブジェクト(例えば、SDRディスプレイ上で表示される0.3~1.2ニットにわたる人物ピクセル輝度)内でオブジェクトテクスチャを区別可能にするSDR輝度を得るために、そのような輝度を相当にブーストしなければならない。それゆえ、人物がHDR輝度範囲上でどれだけ深いところに位置するかに応じて(上記で教示したように、HDRシーン構造、シーン照明、カメラ露出、及び審美的マスタHDRグレーディングなどのような要因の組み合わせがコンテンツ作成者によってどのように選択されたかに依存する)、エンコーダ(例えば、マスタHDR入力を最適又は適切な対応するSDRピクセル輝度にリグレードするためのこの第1の粗輝度マッピング選択である適切なF_L部分を作成する人間のグレーダ)は、この特定の範囲の上記最も暗いピクセルを処理するための適切なシャドウゲイン(すなわち、最適化された画像内容)を選択する。実際には、ETSIにおいて、シャドウゲインSGは、入力及び出力画像、少なくともそのルマ表現のピーク輝度の比に基づく自動スケーリングの補正として定義されていることに留意されたい。等輝度原理の下で、L_200=Y’200*L_HDRとして、正規化HDR輝度から開始することによって、例えば200ニットPB_C(又はむしろ上記式1及び式2による値Y’HP=Y’200=v(PB_C_H/200;RHO(200))、vは式1の上記擬似対数式)のみに対応する正規化ルマ範囲上で表現される輝度をブーストすべきであることは理にかなっている。しかしながら、これによって与えられる画像は典型的には明るすぎ、またコントラストが低すぎ、そのため、グレーダは、SGを対角値1.0に向かって戻し、何らかの暗さをSDR画像に戻す減光係数になる露出ゲイン補正SG=expgain*Y’200を使用することができる(グレーダは、このとき、SDR正規化ルマがHDR正規化ルマに等しくなり、再び暗くなりすぎ、SGが例えば1.0~1.8になるため、典型的には、expgain=1/Y’200を選択しない)。
この曲線は、はるかにより大きい可能性がある輝度ダイナミックレンジ内の多くのHDR輝度をはるかにより小さいSDR DRに絞り込むために、ある種の非線形輝度圧縮「ばね」を実施する。「決して平均的に不合理すぎるはずがない」固定曲線が使用されるのではなく、エンコーダは、すでに最適化された曲線を適用することができるため、結果もたらされるSDR画像は、多くのHDRシーンにとって悪くないものになる(すべてのHDRシーンが等しく複雑であるとは限らず、例えば、時として、均一に太陽に照らされた領域に隣接して何らかのわずかに陰になった領域があるだけであり、このとき、最も単純なシステムが白色へのクリッピングのような問題を生じるが、ユニット404の3部分曲線のような複雑すぎないスマートなHDR-SDRマッピングが多くの場合、HDRマスタ画像(例えば、実生活のイベントをキャプチャするコンテンツ作成者のHDRカメラに由来するもの)の適切なSDRリグレード画像の作成においてすでに良好に機能する)。
しかしながら、いくつかの他のシーンはより複雑であり、一部のコンテンツ作成者はまた、自身の審美的コンテンツを微調整するときに専門的に必要なものとして高度なものを有している(例えば、ハリウッド映画監督又はDOP)。
それゆえ、次のユニットであるカスタマイズ可能曲線適用手段405は、コンテンツ作成者(ここでも、人間、又は、そのアルゴリズムに様々な規則を符号化されているスマートオートマトンのいずれかは問わない)が、可能性としてカスタマイズ可能で任意に成形される微細グレーディング輝度マッピング関数F_L_CUをY’CL予備グレーディングルマに適用することを可能にし、グレーディングされたLDRルマY’GLをもたらす(この関数の唯一の要件は、非減少であり、典型的にはさらに単調増加であり、典型的には少なくとも1.0入力から1.0出力へのETSI2マッピングにおいて選択されるものであることである)。実際には、この関数F_L_CUの形状は、例えば多項式の計数などの形状定義パラメータのセット又はLUTなどのいずれかとしてデコーダに通信される。
そのような微細グレーディングは、視覚系が知覚される画像オブジェクト濃淡値印象を決定する複雑な手法を有するため、及び/又は、大きい範囲のHDR輝度を限られたSDR DRに絞り込むには時として相当の判断力を必要とし得るため、及び/又は、コンテンツ作成者が何らかの追加の審美的特色をこのカスタマイズされた曲線F_L_CUに入れ込むことを所望するため(その形状はこのとき、典型的には図示されていない符号化側の別のカラーユーザインターフェースコンピュータハードウェア及び関連ソフトウェアによって決定される)、必要とされる。事実、一方においては、すべてのMDR画像はマスタHDR画像内のすべての情報の何らかの圧縮表現である(に過ぎない)はずであると言うことができ、他方においては(例えば、霧を通して見るかのように、あまりにもコントラストが小さい、かなり弱い印象の画像を与えるため)、コンテンツ作成にとっての他の重要な要件は、それらのより限定されたDR機能を所与として、HDRシーンのように可能な限り写実的に、又は、可能な限り美しくすべての画像をSDR画像の見かけに取り入れることである。人間の視覚は高度に非線形的且つスマートであり、単純すぎる関数を使用しているかのように迅速に知覚する。そのため、コンテンツ作成者は、粗輝度絞り込み関数F_Cに加えてカスタマイズ可能関数F_L_CUの判断力を使用して、依然として可能な限り良好に見え、好ましくはHDRシーンに見えるSDR画像を作成することがほぼ不可能な情報においてより良好な仕事をする(例えば、ピクセルの何らかの輝度部分範囲の明るさを下げて、例えば、教会内部に対するステンドグラス窓の明るさの、ほんの少しだけより多くのオブジェクト間コントラスト、若しくは、SDR画像内の屋内-屋外視覚コントラストを生成するか、又は、F_L_CU曲線の特定の局所的形状などを介して選択することによってシーン内の何らかのオブジェクトの彩度対輝度を最適化する)。
図6に示す「影人間(Shadowman)」画像の単一の単純な例によって、読者にカスタマイズ可能な輝度マッピング関数を教示し、読者に最小限必要な理解を提供する。
図6Aは、画像内に見えるものを幾何学的に示し、図6Bは、L_HDR輝度とL_SDR輝度との間の関数関係を示す。画像は、暗い宇宙ステーション(DRKSPST)を示しており、ロボット602がそこを通じて移動している。特定の画像提示時点において、影人間601に遭遇する。影人間は比色分析によって非常に明るいHDRピクセルのセットとして定義され、影人間の体を構成する様々なピクセル間の輝度差はほとんどない。これは、霧の雰囲気で満たされている、強く照明された環境にある窓の後ろに影人間が立っているために、そうなる。霧は、影人間の体(例えば、その衣服)に由来する輝度に成分を加え、例えば、L_pants=20ニット+L_mist=4500ニット=4520ニット、L_shirt=50ニット+L_mist=4800ニット=4850ニットなどの最終的な輝度が、HDR画像において観察者に向かって与えられる。最も明るいピクセルの勾配が小さすぎる粗輝度マッピング関数を使用するときの問題は、影人間のコントラストが不十分になり、SDR画像などのよりダイナミックレンジの低い画像においてはひどく見えにくくなるということである。1つの解決策は、入力HDR輝度領域4500~5000ニットにおいて局所的により大きい勾配を有し、影人間のより大きいSDR輝度部分範囲RSをもたらし、影人間、及び、影人間が装着しているネクタイなどの影人間の詳細が、たとえSDR画像において霧の中でよりよく見えるようにするように、F_L_CU関数を定義することである。粗マッピング関数F_Cのみよりもいくらかの多くの追加のリグレーディング制御を有することが有利であり得る、より多くの状況が存在することが理解され得る。
図4に戻って、適切な(均一な視覚的表現)SDRルマを定義した後、線形化手段406が、それらを(正規化)SDRルマLsに変換する。したがって、これは、上記の式1の逆を適用するが、SDR輝度は今回は、輝度処理チェーンの始まりにおける知覚的均一化に使用された5000ニットではなく、PB_C_S=100ニットに対応するRHO(ユニット406に入力される)によって作成されるべきである。
色は無論、1次元ではなく(無彩色濃淡値画像のみで作業するのでない限り)、これによって、ダイナミックレンジ変換及びコード化は非常により複雑になっているが、いずれにせよ、より適切な対応するSDRクロミナンス、又は、実際には図4に示すように出力色成分Rs、Gs、及びBsとしての最終的に適切なSDR RGB色を得るために、ピクセルのクロミナンスCb及びCrの並列処理トラックが必要とされる。
ETSI2の色処理トラック450は、以下を実施する(必要とされる範囲までのみ、再び簡潔に説明する)。乗算手段452によって、入力ピクセルクロミナンスCb及びCrが同様に値F_C[Y]を乗算され、出力クロミナンスCb*、Cr*がもたらされる。難点は、認識可能な色の色域の形状が不規則であること(図5の説明を参照)、計算の非線形性、及び観察者のヒト視覚系の他の難点など、多くの難点があることを理解した上で、適切な出力クロミナンスを常に得ることである。さらに、本出願の実施形態において下記に示すように、市場ではこれまで以上に多くのものが必要とされており、これまで以上に複雑なHDR処理システムがもたらされている。
ETSI2は、例えば、入力ピクセルがいずれのルマ値Yを有することになったかに応じて乗算手段に送信される、出力値を定義するLUTをロードすることができる飽和処理決定手段451を使用する。ここでも、コンテンツ作成者は、このルマ依存飽和乗算手段定義関数の形状を自由に定義/最適化することができる。少なくともこれは、必要とされる程度まで、下記で見るように、時として本発明の色計算がこのF_C[Y] LUTを定義するために必要とされるためである。
行列適用ユニット453が、単純に、Cb、Crから色指定を対応する正規化RGB表現に変換する(この計算は、本出願の関心事ではなく、関心のある読者はETSI2 juncto ETSI1においてこれを見出すことができる)。
「非HDR輝度(un-HDR-luminanced)」正規化R/Lhなどの値に、輝度処理トラック401において算出されている正規化Ls値を乗算することによって、実際のRGBトリプレットを定義することができる。結果もたらされるRN、GN及びBN値は事実、絶対SDR輝度(Rsなど)ではなく、依然として正規化輝度であるが、それらは、この時点で、SDR色が得ることになった輝度(Ls)を考慮に入れているため、「SDRに的確な」正規化輝度であることに留意されたい。
比色分析技術の当業者でない者にとって最初は多少難解な概念である可能性がある水準に読者がより迅速に到達するようにするために、図5における正規化(普遍的、すなわち、上記で説明したように正規化されたときにSDR及びHDR色域が良好に重なり合うが、無論、たとえ変換が高度にスマートで、現在のHDRシーン画像の需要に対して最適化されたものではなく、単純に、絶対SDR輝度を入力HDR絶対輝度と同一視するものであったとしても、HDR色を適切なSDR色になるようにシフトしなければならない)YCbCr色域において起こることを説明している。
純粋な輝度変換は垂直方向において行われ、そのため、典型的には、HDR輝度又はその(すなわち、ColHDRの)対応するルマYが上向きに最適な新しい位置(ColSDR)まで動かされる。これは、HDR-SDR輝度マッピングについて、正規化軸プロット上のF_L曲線が常に対角線を上回るためである(すなわち、特定のx座標を有する入力HDR正規化輝度又はルマはまた、y座標として、x座標の位置における対角線の高さも有し、したがって、常にその対角線の上にある関数の正規化SDR出力輝度は、常により高い正規化出力値をもたらす)。いずれの実際の(絶対)SDR輝度がこの正規化ルマ値Yに対応するかは、最初に正規化輝度にEOTFを実施すること(Y’GLまでのルマY’HPの処理は式1の対応するEOTFを適用することによって定義されているため、これはユニット406によって実施される)によって見出され、それらの正規化輝度は単純に、乗算手段455によって100を乗算される(例えば、0.7*100=70ニット)。すなわち、読者にはこの時点で、このフレームワークによって、入力HDR画像色、特にそのPQ定義ルマY(例えば、HDR blu-rayディスクに格納されているような)から、HDR入力画像に最適に対応するSDR画像(及び、受信HDR画像からのSDR画像の結果としての復号)を示すために必要な一切のものを、SDRディスプレイ上に表示される対応するピクセルの絶対SDR輝度まですべて定義することができることが確認される。
ここまでで、この時点において読者には、少なくとも本出願人のETSI標準化コード化原理に従って、HDR符号化の基本的な開始点が理解される。ほとんどの顧客にとって、ETSI1又はETSI2(及び、そのとき技術的に発生するすべてのもの)のいずれかの選択は、その目的、すなわち、その市場に美しいHDR画像を供給することにとって十分である(無論、顧客は依然として、少なくともF_C関数及び好ましくはまたF_L_CU関数の良好な形状を決定することを含め、又は、少なくとも、顧客自身の特定の審美的に必要なものに従ってそれらの関数を手動で最適化していないときに、それらの美しいHDR画像を作成し、各HDR画像タイプの非常に良好な見かけ及び結果として生じるコーデック関数形状を自動的に生成する本出願人のオートマトンを購入し、使用する必要がある)。例えば、時代遅れにならないように設計された高品質の多用途HDRを得るために全面的な改修を試みる顧客は、ETSI2システムを展開し得、それらのSDR画像又はSDR顧客をより評価する市場関係者は、それらのHDRシステムをETSI1システムとして展開し得る(これはまた、例えば、コンテンツ作成者対ケーブルテレビ通信システムオペレータなど、HDRビデオ処理チェーン内のどこにあるかに応じた様々な議論も含むことができ、コード変換なども含まれ得る)。
しかしながら、正確に標準化されているものとしてのETSI1又はETSI2を展開することを好まない顧客に関する、市場における別の要求又は市場に対する提案が存在する。或る者がHDR画像を、すべての様々なPB_Dディスプレイに必要な画像のスペクトル全体を表現する単一の画像として通信することを選択する場合、その者が(例えば、5000ニットPB_C)マスタHDR画像自体を通信することはよく理にかなっている。これは、それらの画像がすでに利用可能であるためだけでなく、画像HDRシーンの最高品質の表現でもあるためである(その者は事実コンテンツ作成者「ゴールド(gold)」であり、画像は、残りのリグレーディングが選択された技術によって自動的に機能する場合に、その者が能動的に作成した唯一のものでない場合、その者が特別に作成して署名したものであり、多くの場合創造的な空想動画の開始点である)。しかしながら、特に将来数年において、別の追加のアプローチから受益する商況がある。不都合なことに、能力に乏しい旧来のSDRディスプレイ(すなわち、HDR復号、ディスプレイ適合などに含まれるすべての計算を行うことが不可能である)でない、市場のすべてのテレビ(又は一般的にビデオ復号又は処理デバイス)が常に、直ちにETSI2(又はETSI1)が有効なテレビであるとは限らない。例えば、最近標準化されたハイブリッドログガンマ手法によるものなど、HDRコード化及び表示に対して非常に異なる手法を適用する複数のテレビが市場に存在する。又は、おそらく一部のTVはまた、PQルマ符号化HDR画像のみを復号することができるに過ぎず、他は一切できない。おそらく一部のテレビは、その手法を使用するに過ぎず、そのため、おそらくそれらが行うことができる最良のことは、入来するETSI2 HDRビデオを処理することではまったくない。同様に、少なくともディスプレイ適合、すなわち、例えば、受信されているものとしての2000ニット画像の、例えば、900ニットPB_Dディスプレイのための900ニット画像へのリグレーディングに留意しない、いかなる規格原理にも従わないテレビも市場に一部存在する。そのようなテレビは、受信されているものとしての画像が含むピクセル色及び特に輝度の意味を理解する復号機能を必要とするが、それらのテレビは、900ニット画像を作成する手法に関するそれら自体の(トーンマッピング)発見的教授法を使用し得る。少なくとも、すべての消費者がその動画を元々作成されたものと同様に良好なものとして見ることができることを好むコンテンツ作成者の観点からの欠点は、そのような変動が、任意の特定のブランドのテレビが任意の受信HDR画像から何を生成するかに関する高度な不確実性をもたらすことになることである。例えば、近い過去において実施されたHDR画像の単純な表示再解釈が、HDR画像輝度の絶対的なレンダリングである。これは、900ニットまでのすべてのHDR画像輝度が、画像内でコード化されているものとしての輝度によって正確に表示されるが、より高いすべての輝度は、ディスプレイの可能な最も白い白色(すなわち、PB_D)までクリッピングされることを意味する。図7の宇宙ステーションのような例示的な画像では、これは、地球の何らかの部分が見づらい白色パッチ(太陽がその右側の地球を照らしすぎている箇所)にクリッピングされていることを意味し得る。宇宙ステーションの上部観察口から見た地球の大部分の良好に明るい青色を、暗い内部と良好なコントラストを成して示すため、このTVは、ある程度までは依然として美しいHDR TVであるが、画像の少なくとも一部分は見づらい(また、何らかの他のシーンは、少なくとも一部のTV上で、例えば、図1の洞窟の外側のすべての画像詳細又は青空市場などをクリッピングするなど、はるかにより深刻なエラーを示す)。例えば、ホワイトオンホワイト戦略などの輝度の線形圧縮などの別の単純なトーンマッピング再解釈を実施することによって、いくつかの他の問題が生じる可能性がある。そのため、そのようなシステムは機能し、最終観察者に対する何らかの種類のHDR画像を生成し得るが(例えば、本発明のETSI2システムにおいて、そのようなTVは401のPQ関数しか使用し得ず、すべての他の輝度マッピング関数メタデータ及び結果としての順次的な輝度マッピング402、403などを無視し、ETSI2においてディスプレイ適合の機能を実施する)、結果は最良の視覚的品質でもなく、場合によってはより悪いことだが、予測可能でもない。
これによって、マスタHDR画像に加えて、第2の種類のHDR画像、いわゆる中間ダイナミックレンジ(IDR)画像に基づく新規のコード化トポロジがもたらされており、これは国際公開第2016020189号パンフレットにおいて最初に紹介された。この利点は、当該分野内の多くのテレビの範囲内にあるPB_C(例えば、1000ニット又は750ニット、ただし、同じ技法によって500ニットに近い値を使用することもでき、又は、さらには400ニットPB_IDRであってもよい)を用いて、そのような二次HDR画像(従来のETSI2コーデック原理におけるマスタHDR画像の代わりにレシーバに通信されるIDRコード化画像)を定義することができることである。しかし、依然として、審美的なものとして又は実際的に技術的に制限されている(例えば、利用可能なグレーディングモニタ)ものとして所望される任意のPB_MHDRマスタHDRを作成することができる。この着想は、任意のテレビが使用する表示再解釈(トーンマッピングを含む)技法が何であれ、PB_DがPB_IDR、すなわち、受信されているものとしてのIDR画像のピーク輝度に近い場合に、処理が受信画像から過度に逸脱すべきではないという意味において、これは平滑であるべきであるということである。例えば、PB_Dを上回るすべてのピクセル輝度をクリッピングするのみであるような、能力に乏しいテレビであっても、過度にクリッピングすべきではない(例えば、洞窟画像の外側の地上又は日の当たっているところ全体をクリッピングすべきではない)。また、コンテンツ作成者は、たとえ一方において、例えば5000ニットPB_C_Hのマスタにおいて平均約4000ニットの美しい超高輝度の画像領域を作成することを所望する場合であっても、それらの領域が十分に1000ニットを下回り、結果、能力に乏しい800ニットのテレビであっても、例えば、図7の宇宙ステーションの太陽光線のみなど、最も明るく視覚的に最も破綻をもたらさないピクセルのみをクリッピングするように、それらの領域をIDR画像内でリグレードする手法を制御することができるため、いくらかの制御を取り戻す。そのため、その新規の手法の要求に応じるために、何らかの新規の技術が必要とされている。
図7は、国際公開第2016020189号パンフレットのコーデック原理がどのようにチャネル適合手法の要求に応じたかを示している(チャネルにおいて通信される画像はIDR画像であり、以て、特定の通信チャネルは例えば1000ニットPB_CH画像を送信するように構成されていると言うことができる)。この例は、いくつかの主な概念を説明するために興味深いものとして再び選択されている。理解すべきことは、範囲の沿ったすべての異なるPB_C画像が、正確に、コンテンツ作成者がそれらの各々を別個にグレーディングしており、いかなる技術的システムにも制約されていない場合に作成するものであるか、又は、少なくともそれに非常に近い場合にこれは有用であるが、これは特にIDR画像において必ずしも常にそうである必要はないことである。何らかの緩和が含まれる(他方、HDRシーンカテゴリX対Yの何らかの特定の画像グレーディングが最適であるのはいつか及び最適である理由、並びに、どの程度の逸脱が十分な逸脱であるかに関しては何らかの議論があり得、例えば、実生活においてはいずれにしても任意の街灯はわずかに明るい場合もあれば、又は、あまり明るくない場合もあるため、特に暗がりに半分隠れているものとして見られると考えられる場合に、街灯のピクセルの輝度は顔のものよりも重要性が低いと想像することができる)。
国際公開第2016020189号は、何らかの中間点としてのIDR画像からの、すなわち、レシーバによって受信されているものとしてのIDR画像から再構築されるマスタHDRに向かって上向きの、及び、PB_D<PB_IDRの任意のMDRディスプレイのためのディスプレイ適合を行うための下向きの関数(異なる関数)を定義する手段を提供した。そのような技術によって、マスタHDR範囲は、PQ関数に結びつけられた範囲である10000ニットPB_C範囲として常に固定されるものとして良好に選択される。
ここで、様々な可能な輝度を変換する手法に種々の考慮事項が含まれると考えられ、これらは有利には、選択されるIDR画像の左側では、右側とは非常に異なり得る。そのため、事実、概念的に、異なることを行っている。左側では、二次(「より小さい」)HDR画像をマスタHDR画像から作成している。そのため、1つの考慮事項は、このIDR画像がマスタHDR画像と(より低いPB_IDRにもかかわらず)「ちょうど同等に良好」でなければならないこと(及び、このとき、矛盾していると考えられるそのことを的確に解決する手法)である。右側においては、さらにより小さいPB_MDRに向かって圧縮しており(これは何らかのより複雑な状況、すなわち、とりわけ、輝度範囲全体にわたって分散している多くの重要なオブジェクト、及び高PB_C_H画像にとっては相当のものであり得る)、すなわち、ディスプレイ適合画像生成の異なるタスクがあると考えられる。そのため、これによって(非常に)異なる技術的処理がもたらされ得、特に本発明の画像+輝度マッピングビジョンにおいて、別様に成形/設計された輝度マッピング関数がもたらされ得ると想像することができる。
この例において、暗い宇宙ステーションの輝度は、60ニットよりも暗いため、(少なくとも原則的には)あらゆる妥当なテレビ上で表示可能である。しかし、より明るいピクセルは、最初に、IDR画像に非常に慎重に圧縮しなければならず、このとき、より少ない圧縮が第1の部分において行われており、より多くの圧縮がSDR画像に向かって行われなければならない。また、ここでも、例示的な2つの明るいオブジェクト、すなわち、明るく青い地球と、それに対する、はるかにより明るいがほとんど無色である太陽及びその光線とについて異なる基準があり得る。明るい地球のオブジェクトについてそれぞれマスタHDR画像輝度範囲(BE)及びIDR輝度範囲(Be2)上の輝度部分範囲を示すため、理想的には、このコンテンツ作成者は、任意の画像又はディスプレイのPB_C機能がどういうものであれ、地球が例えば750ニットを決して上回らないような最大の明るさを所望する(そうでなければ地球は過度に光り始め、非現実的な見かけになるため)。しかしながら、このとき、太陽の輝度が為すに違いないことは、単に審美的に必要なものだけではなく、選択される(800ニットPB_IDR)IDR画像内の750ニットを上回る太陽オブジェクトをコード化するために残された輝度の量も含むいくつかの要因から成る関数になる(無論、状況によっては、コンテンツを通信するものは、別のより高いPB_IDR値を選択するが、ここでは、通信チャネルの受信端に接続される装置がどのようなものであれ常に、ハリウッド映画又はニュース番組のいずれかを問わず、任意のビデオコンテンツについて800ニットのPB_IDRが期待されることを想定した)。サブセットとしてのすべてのそれらの最も明るいピクセルのマスタHDR画像輝度からIDR画像輝度を生成するための、最終的に選択されるF_H2h輝度マッピング関数が2つの矢印によって示されており、明るさの最も低い地球オブジェクト輝度をいくらか低減もする、2つのオブジェクトに対する総合的な圧縮動作をともに定義するためのソリューションが選択された。これは、コンテンツ作成者のリグレーディングに必要な理想的なものが100%完璧に満たされるとは限らず(おそらく何らかの他の技術的難点に対応し得るため)、ただしIDR画像はほとんどの人にとって十分折り合いがつく状況の一例である。地球のピクセルがIDR画像においてわずかにより暗いだけであり、より品質の低いHDR画像についてさえそう予測され得る場合には、これは現実にはそれほど問題にならない。しかし、重要な点は、このIDR画像は依然として元のETSI2原理のすべての要件を満たすことができ(さらに、この追加のコーデックステップによればまた、能力に乏しい約800ニットのPB_Dディスプレイが表示前に受信IDR画像を過度に劣化させ得ないという要件も満たされる)、コンテンツ作成者によって所望されるようなSDRマスタ画像までのすべてのMDR画像を、依然として、右側輝度変換関数を利用することによってレシーバによって生成することができ、(たとえ明るい地球オブジェクトピクセルが暗くされても)F_H2h関数(それ自体、その技術的及び/又は審美的需要に従って、各画像、又は、動画の特定のショットを符号化する連続する画像セットに対して最適化することもできる)を反転することによって、マスタHDR2000ニットPB_C又は10,000ニットPB_C画像を依然として再構築することができることである。
両方ともビデオ画像コード化フレームワーク設計ではなく、いわゆる「ディスプレイ最適化」に関する2つの文献、すなわち米国特許出願公開第20160307602号及びEP2689392(国際公開第2012127401号としても知られる)は、それらの重要性ではなく(ただし、混乱の可能性があるため、それらの評価は論じられている)、それらの無関係性に関して(異なる技術的態様が混同されるべきではないため)、議論を評価している。当業者にとってのこの大きな差は、ビデオ処理チェーン全体の典型例を示す図23によって説明される。コンテンツ作成側2301において、カメラ2302によるHDRシーンのライブの(又は以前に記録された)キャプチャが存在すると仮定する。人間のグレーダ(又はシェーダ)が、例えばとりわけ、キャプチャのマスタグレーディングを決定する(すなわち、例えばPB_C_H50=5000ニットの表現可能な最大値において終端し、本発明の議論のためにゼロに等しくなると仮定される、例えばMB_C_H50=0.001ニットの何らかの小さい黒色値において始まる、マスタHDR画像の輝度ダイナミックレンジ上の様々な画像オブジェクトピクセル輝度の相対位置、例えば、宇宙ステーションについて、グレーダは画像処理によって、太陽のピクセルが4500ニット、地球の明るい青色が例えば200ニット、などになるように、元のカメラキャプチャを変更する)。第2に、本発明の手法におけるグレーダは典型的には、典型的には5000ニットのPB_C_H50正規化マスタHDR輝度が100ニットLDR正規化輝度にどのようにリグレードされなければならないかを指定する関数FL_50t1になる、少なくとも1つの輝度マッピング関数を示すことを所望する(実際には、そのような輝度マッピング関数は、HDRビデオの連続する画像について異なる形状になり得、当方はさらに、当方のETSI規格において、これが単一の瞬間のビデオ画像についてさえ、いくつかの関数を定義するのにいかに技術的に非常に便利であるかを説明しているが、それらのさらなる複雑性は、当該技術分野に対する本発明の寄与を説明するのに必要ない)。
次いで、第3の重要な態様は、(少なくとも1つの符号化技法を介して)1つ又は複数のレシーバに通信されるべきマスタHDR画像を符号化するための符号化技法である。HDRビデオ研究の始まりにおいて、また、対応して本出願人によって標準化されたより単純なバージョンにおいて、これは、例えば、LDR 100ニット画像などの相対的に単純な符号化であり、これはこのとき、良好に下位互換性であり、結果、HDR判断力又は処理機能のない旧来のLDR TV上で良好な視覚的外観を有して直接的に表示することができる。国際公開第2016020189号のコード化手法及び本発明の教示は、より進歩した第2の生成手法の例であり、これはより複雑であるが、何らかの特定のHDRビデオ通信又は処理技術エコシステムにおいてさらに必要なものの要求に応じることができる。例えば人間のグレーダ2304によって実施されるグレーディング(多くの場合は生放送番組制作などの、これが自動化されない場合)は、グレーディング装置2303(典型的にはピクセル輝度を変更するためのいくつかのツールを含むが、本発明の説明のために、FL_50t1の形状の指定するためのユーザインターフェースを提供する要素、及び、そのような関数形状を(例えば、関数の形状を定義するいくつかのパラメータを含むメタデータとして)外部に通信する要素から成ると仮定され得る)上で行われる。
ビデオエンコーダ2305(非限定的に、その入力マスタHDR画像がすべてのピクセルの輝度のセットであると仮定して、どのようなものであってもコード化技法が選択されていることを所与として、マスタHDR画像の実際の符号化、すなわち、例えば、典型的にはYCbCrピクセル色トリプレットの8ビット、10ビット又は12ビットピクセル化行列を、輝度マッピング関数のようなすべてのさらなる情報を記述するメタデータとともに生成するすべての技法を実施する)が、原則的にグレーディング装置2303に含まれるが、典型的に、接続可能なさらなる装置として示している。これは、本発明を説明するのに十分な、読者のための単純化を表しており、例えば外部放送トラックにおいて行われるキャプチャ(及び、場合によってグレーディング)、及び、例えば地方のコマーシャルが信号に挿入された後に何らかの中間通信中継局において場合によって行われる符号化などの様々な実際的な変化形を要約している(それに関して、様々な画像内容の協調も含まれるが、それは詳述する必要のない詳細である)。ここでは、最終的に符号化されたビデオ信号が、例えば、衛星アンテナ2306及び通信衛星2340(又は例えばインターネットなどを介した任意の等価なビデオ通信チャネル)によって何らかの消費者に通信されるときに正式に終了するものとして定義される、作成側において行われることを理解することが重要である(例えば、寄与と分配との間の差を参照されたい)。
受信側において、典型的には、入力側ではローカル衛星アンテナ2351に接続されており、出力側では典型的には例えば1000ニット、又は700ニット、又は2500ニットのPB_Dなどの様々な表示機能を有するHDRディスプレイ2353に接続されている、例えば衛星TVセットトップボックスなどの最終的な消費者の家庭にある消費者装置、又は、任意の等価な復号・最終処理装置2352に行き当たる。セットトップボックスが、このときエンコーダの逆の動作を行うデコーダ2381によって、表示される必要がある輝度値に再び復号することのみを実施することで十分であり得るが、これは典型的には、限定された数の状況においてしか有用でない。マスタ画像は例えば5000ニットPB_C_H50に対して符号化されており、すなわち、可能性として2000ニットの輝度のピクセルを含むが、特定の消費者のHDRディスプレイは例えば700ニット(その表示可能な最も白い白色)までしか表示することができないため、通常、ディスプレイオプティマイザ2382による、絶対的な正規化された輝度分布をそれぞれ再び変更する(例えば受信されているものとしてのLDR画像、又は例えば5000ニット画像などの復号マスタHDRのいずれか)、ディスプレイ最適化プロセスが存在することになる。
そのため、一方においては、例えば、作成/符号化/送信側が、マスタHDRビデオ(MsterHDR)を何らかのチャネル符号化中間ダイナミックレンジ画像IDRとして符号化するためのビデオエンコーダ2370のみを有し、一方で、受信側が、再構築された5000ニットHDR画像(RecHDR)を、任意選択的に、接続されている700ニットPB_Dディスプレイに最適に適合された、ディスプレイ最適化されている、例えば700ニットのPB_C画像ImDAにディスプレイ最適化することもできるという、いずれかの側における電化製品(及びそれらの技術的設計原理など)の間の大きな技術的差異が存在する。2つの間の技術的差異は、ディスプレイ最適化が(任意選択の)後処理として行われ、一方で、コード化/復号が画像再構成技術でしかなく、典型的にはディスプレイ最適化に関するいかなる教示も必要としないという点において確認され得る。2つの側の装置(及び動作手順など)は、典型的には、非常に異なる技能を有する専門家によってのみ処理される。コンテンツ作成装置は、専門ビデオ機器製造元によって設計され、放送技術者などによって操作される。セットトップボックス及びテレビは典型的には、例えばアジア発祥の消費者電化製品製造元によって作成される。
米国特許出願公開第20160307602号は、本出願人の最初のディスプレイ最適化特許である。要約すると、当該特許における着想は、コンテンツ作成者がリグレーディング挙動を案内する規則、及び、画像に存在し得る様々な(少なくとも2つの)レジームのためのアルゴリズム(レジームは、画像内のピクセルのセットと、様々な画像ダイナミックレンジの様々なディスプレイが利用可能であるときのそれらのピクセルの必要なリグレーディング挙動の両方である概念である)を与えることができるということである。これは最初に、コンテンツ作成者の必要なものと、最終的な消費場所における実際の表示との間の接続を可能にしたが、実際には、この最終的な場所において、ディスプレイ適合の制御された挙動が行われる必要がある。また、理想的には、セットトップボックス、又は、少なくともディスプレイ適合がそのテレビにおいて行われる場合にはテレビの製造元は、大まかには、コンテンツ作成者がビデオ画像における様々なレジームのオブジェクトの良好な挙動として指定したものに従う(例えば、暗い領域から次第に現れるものは、任意の表示能力において、さらには100ニットPB_D LDRディスプレイにおいて、見えすぎるようにもならず、見えにくくなりすぎもしない)。これは、無分別に一切を自身で行うのではなく、そうすることがこの内容に必要とされているためである。しかし、これは明らかに、消費側において行われるべき最後の挙動であり、ビデオ通信技術提供者が任意の特定のビデオコーデック原理を展開することを所望する手法、又は、任意の実施者がこれを展開することを所望する手法に完全に直交する。また、そのようなマッピングが典型的には、より低いダイナミックレンジのIDR画像を介したコード化が有するべき特性である逆行可能性を有しないという事実がすでにあるため、任意のアドホックトーンマッピング技術を混同すべきでもない。
国際公開第2012127401号はまた、様々な画像内容が異なる輝度ダイナミックレンジ能力に対してどのようにリグレードされるべきであるかを指定するDATGRAD構造の様々な実施形態によって行うことができるディスプレイ最適化挙動を指定するための初期のHDR技術である。このDATGRAD構造は、最低限必要なリグレード仕様のマスタHDRコード可能ピーク輝度PB_C(すなわち、本表記におけるPB_C_H50)と、100ニットLDR PB_Cとの間での、中ダイナミックレンジ(MDR)ディスプレイPB_Dに必要とされる任意のMDR画像を生成するために使用される(p.16)。MDR画像の導出は、最適には、DATGRADデータ構造内で符号化されているものとしての画像のリグレーディング需要を使用するだけでなく、例えば、観察環境輝度又は最終観察者選好設定などの特定の表示側観察態様も使用することによって行われる(p.5を参照)。
最初から、さらに非常に特定的な洞察がない場合、そのような教示はコーデック再設計に関して当業者に何ももたらさないことは明らかであるはずである。
従来技術における、ただしより重要なことには発明的なコーデック構造/フレームワーク自体においてすでに発見可能であるものと比較した特定の関数の生成における差異とは別に、第2のPB_C値(実際に通信されるIDR画像のより低いものに加えて、マスタ内容の最も高いもの)の実際の通信も、国際公開第2016020189号において使用される(任意選択の)タイプ特性化手段とは異なることにも言及すべきである。これら2つがまったく同じであるという事実に加えて、特に本教示と比較してそのフレームワークの詳細に注目すると、列挙手段が異なる役割を有する。そのような‘189号特許の特性化手段は、例えば2つの上方向リグレーディング輝度マッピング関数が存在する場合に有用である。これは、作成側のマスタHDR画像の近密な再構築のような任意のものを得るのはどれであるかを選択するのに有用である。しかし、そのような情報は従来技術において厳密に必要でもなく、必ず適用されるべきでもない。5000ニット再構築画像の代わりに4000又は6000ニット再構築画像を得るために、マスタHDR画像に由来するアップグレード関数が使用され得る。中間画像の2つの側があり、ダウングレード関数が、通常、重要な画像内容(特に、すべてのPB_Dディスプレイ上で十分に明るく信頼可能に表示されなければならない内容)を有するものであるが、アップグレード関数は、まさに最も明るいオブジェクト(車のヘッドライト、太陽の反射など)に対するリグレーディング挙動を指定するように、特に異なるものになる。それらは、しかしながら、様々な能力のディスプレイが最も変動する輝度範囲の上側領域にあるため、決して正確に再現することができないものでもある典型的なHDR影響オブジェクト/効果である。したがって、例えば600ニットIDR画像から4000ニットPB_C再構築画像を作成することによって、それらの理想的な輝度値と比較するとわずかに暗すぎる何らかの車のヘッドライトが得られるが(たとえそのような値が4000ニット輝度範囲以上で表現され得るとしても)、これは、例えば、水平軸がIDR画像のPB_C正規化輝度を表し、垂直座標が(場合によっては分かっておらず仮定されているに過ぎない)マスタHDR PB_Cから不合理に離れすぎていない、計算されるべき再構築HDR画像PB_Cに対して選択される任意のものに対応する[0~1]/[0~1]軸系上の多重線形正規化リグレーディング関数を適用するのみである場合に、依然として非常に良好に見えるHDR画像になる。本技術においては、デコーダのアルゴリズムにおいても使用されるため、PB_C_H50輝度値自体を、メタデータにおいて積極的に外部に通信する。
図9は、新規のSLHDR2PLUSエンコーダ900を一般的に示す。入力として、エンコーダは、一般性を損なうことを所望することなく、読者が、人間の色グレーダによって、色グレーディングソフトウェアを使用して、例えば、RAWカメラキャプチャHDR画像から開始することによって、符号化の時点又は概ねその時点において作成されていると仮定することができる、マスタHDR画像(例えば、5000ニットPB_C画像MsterHDR)を得る(MsterHDR画像は、例えば、典型的な夜の薄暗いテレビ視聴環境、すなわち、その平均周辺輝度などに対して最適化されており、本発明の技術はまた、他の又は様々な環境によって機能することもできるが、これはむしろ、HDR画像を作成又はコード化するための新規の方法というよりも、ディスプレイ適合の議題である)。グレーダはまた、5000ニットマスタHDR画像を対応する良好な見かけのSDR画像(すなわち、通常の100ニットのPB_C)に変換する、少なくとも1つの良好な輝度ダウングレーディング関数FL_50t1も作成しており、403、404及び405の部分リグレーディング態様、並びに、色処理ユニット451による何らかの良好な色調整F_C[Y]のいくつかを埋めることによってこれを行っており、グレーダは、自身のSDR参照モニタ上でこれをチェックしている(例えば、生イベント放送などにおける他の方法は、適用可能な関数形状をオンザフライで計算することができ、このとき、何らかのディレクタが結果を大まかに見ているか、又は、さらにはそうでなくても、部分ユニットのうちの1つのみから、又は、ともにすべてのユニットの全体の関数などからであるかを問わず、原則的に良好な関数FL_50t1が存在することになる)。
この関数FL_50t1はまた、新規のエンコーダ900の開始情報としても入力されなければならない。ピーク輝度静的(映画又は放送全体に対して)メタデータPB_C_H50も、使用されるときには入力され、ただし、これはまた総合的なIDRビデオコード化信号としてエンコーダによって出力される(IDR+F_I2sCI+PB_CH+PB_C_H50、画像は典型的には、例えばHEVCなどの何らかの適切なビデオ通信規格に従って圧縮され又は圧縮されず、他のメタデータは、MPEG SEIメッセージから専用インターネットパケットなどに及ぶ、任意の利用可能又は構成可能なメタデータ通信メカニズムに従って通信することができる)。
HDR関数生成ユニット901が、マスタHDR画像からIDR画像を計算するのに必要とされるHDR-IDR輝度マッピング関数F_H2hCIを計算し、当該ユニットが何らかの他の入力から取得すると仮定される、IDRのPB_CHに対する選択を必要とし(例えば、これは、ケーブルテレビの運営者によって選択されており、構成ソフトウェアによってロードされるために、メモリ内のどこかに置かれている)、PB_CHは1000ニットに等しいと仮定される(説明のために過ぎず、典型的にはこの値は、例えば4倍など、SDR PB_Cよりも2~3倍高くなり、技術的態様は、いずれの値が選択されるかに基づいて、実施形態の詳細がいくらか異なる)。
このHDR関数生成ユニット901がどのように機能するかは、図10によって示される。
グレーダが何らかの関数(ここでは、説明例における、本出願人がETSI標準化コーデック原理に従って、支配的な画像領域の輝度の第1の、すでに大まかに良好なリバランスを行う(すなわち、これは例えば、最も明るい輝度領域がともに制御されて圧縮されることと引き換えに、SDR画像において暗がりに十分な視認性を与える)ために使用する直線-放物線-直線関数、略してpara)を定義していると仮定する。
そのような関数は、グレーダによってこのHDR画像のために最適に選択されるものとしての、制御された勾配SG_grを有する線形関係によって、ルマの最も暗い部分範囲(L<Ld)の入力ルマ(上記式1及び式2に従ってピクセル輝度を変換することによる心理視覚的に均質化された表現にある)を必要な出力輝度に関係付ける。
(Ln_Mster_HDR<Ld)である場合、Ln_XDR=SG_gr*Ln_Mster_HDR (式4)
(式中、Ln_Mstr_HDR及びLn_XDRはそれぞれ、グレーダによって最適な開始画像として予めグレーディングされているものとしての、入力マスタHDR画像のルマ、すなわち、対応するピクセル輝度の心理視覚的に均一化された表現であり、Ln_XDRは、本発明及びその実施形態の背後にある概念を説明するための、同じ正規化垂直軸上にすべて示されている、異なるダイナミックレンジ、及び、特にピーク輝度PB_Cを有する画像のいくつかの出力ルマの要約である)。特に、グレーダが自身のすでに最適にグレーディングされたMster_HDR画像の対応する最適なSDR画像のリグレーディングを開始するとき、XDRは種SDRになり、対応する輝度マッピング関数形状がF_Mt1として示される[本明細書においては、ルマをマッピングする関数の開始点PB_C x及び終端点PB_C yを示すために略記xtyを使用し、x及びyは、MasterのMのように一般的に画像のPB_Cを示すか又は例示的な値を数値で示し、このとき、本明細書においては2つのゼロを省く。例えば、50は5000ニットを意味し、1は100ニットを意味する]。
同様に、Lbよりも高い入力ルマLn_Mster_HDRについて、ここでも制御可能な線形関係が存在する。
(Ln_Mster_HDR>Lb)である場合、Ln_SDR=HG_gr*Ln_Mster_HDR+(1-HG_gr) (式5)
Ld=mx-WPとLb=mx+WPとの間に延在するparaの放物線部分は、L_XDR=a*x^2+b*x+cの関数定義を有し、その係数a、b及びcは、その極限に由来する曲線への接線が交差する点、及びその横座標mx(ETSI1規格において定義されるものとして、mx=(1-HG)/(SG-HG))を計算することによって計算することができる。
本発明に基づく全般的な思想を以下に述べる(乗法的な観点において説明することができる)。恒等変換(対角線)を適用することによって、あらゆるマスタHDR輝度をそれ自体に変換することができる。リグレーディング画像のスペクトルの終わりに、すなわち、対応するSDR輝度(XDR=SDR)を生成するために、出力輝度L_SDR=F_Mt1(Ln_M)、Ln_MはLn_Mstr_HDR輝度の何らかの特定の値、を得る必要がある場合、これを入力輝度の乗法ブーストL_SDR=b_SDR(Ln_M)*Ln_Mと考えることもできる。ここで、何らかの中間関数F_Mt1_caを定義することができる場合、最終的な処理は2つの関数F_IDRt1(F_Mt1_ca(Ln_Mster_HDR))の連続的な適用であり、F_IDRt1は、すでに計算されたIDRピクセル輝度(マスタHDR輝度から導出される)から開始して、任意のピクセル(又はオブジェクト)のSDR輝度に向かって最終的に輝度マッピングを行う。乗法的用語においては、L_SDR=b_IDR*b_ca*Ln_Mと言うことができ、2つのブーストが中間関数(又はチャネル適合関数)に対応し、残りはリグレーディング関数に対応する(ETSI2準拠HDRビデオコード化をもたらすためにIDR画像とともに通信される関数ということになる)。これらのブースト因子はそれ自体、Ln_Mster_HDRの関数(又は実際には任意のそれと関連付け可能な中間ルマ)であることに留意されたい。
ここで、追加の関数を一切通信する必要がないことが好都合である(例えば、メタデータ管理が不完全である場合などに失われ得る)。
そのため、SLHDR2PLUS原理が、グレーダのF_Mt1関数(すなわち、グレーダが使用することを所望した任意の関数形状に対するメカニズム)を、PB_IDR(その値は典型的にはETSI2コード化手法に従って、PB_CHとしてレシーバにも通信される)に対応するチャネル適合関数に変換するための、事前に合意された固定的な手法を使用するのであれば有用であり得る。したがって、固定されており、デコーダに知られているため、上方グレーディング関数F_H2hを、IDR画像と関連付けられるメタデータ内でともに通信する必要がなく、そのため、実際に示すように、受信F_I2s関数から逆F_??が計算される可能性があり得ることが示され得る(PB_C_H50もレシーバに通信される場合)。デコーダの新規性は、PB_C>PB_IDRの画像を導出するこの新規の手法である。原則的に、マスタF_Mt1からF_Mt1_ca関数を導出する任意の固定アプローチは、数学的に可逆的であるか、又は、少なくとも要件に従って復号可能であることを条件として機能し得るが、MDR画像を導出するためのそのさらなる変形が、ETSI2がもたらすものと適合するように、HDR-IDRリグレーディングが実施される種のクラスのアプローチが選択されることが所望され(すなわち、F_Mt1_ca形状が導出される)(原則的に、ETSI2画像は、PB_Cと100ニットとの間でのみ標準化され、そのため、PB_IDRと100ニットとの間のダイナミックレンジのすべての画像について、画像の見かけ、すなわち、すべてのピクセル輝度及び色がほぼ均質であることを所望することから開始され得るが、得られるソリューションに、受信IDRからマスタHDR画像に向けて、すなわち、SLHDR2PLUSデコーダによって計算されるF_??によってアップグレードされる画像が、例えば5000ニットPB_C Mster_HDR画像及び総合的な輝度リマッピング関数F_Mt1を受信するETSI2のディスプレイ適合によって得られるものと同じ見かけを有するという技術的制約を解決策に課すような試行もされ得る。
最初に、SLHDR2PLUSのいくつかの手法/実施形態にとって有用である、そのような好ましいチャネル適合(すなわち、F_Mt1_ca又は図9において計算されるF_H2hCI、及び、対応するIDR画像の計算)をどのように設計することができるかを説明する。
図12aは、グレーダ(又はオートマトン)によって最適に選択されるものとしての白色レベルオフセットWLO_gr、及び、利用可能な場合はまた図4のユニット403に対応する黒色レベルオフセット(BLO_gr)も示す。
差し当たって、これは、唯一のダイナミックレンジ調整、すなわち、Mster_HDR開始画像からSDR画像を得るための輝度マッピング動作であると仮定することができる(このホワイトオンホワイト及びブラックオンブラックはむしろ、所望されているものである結果としての画像のより高い画像品質の記述子を有しないことは言うまでもなく、正確な平均輝度も、平均視覚コントラストもすでに有しない、不良な品質のLDR画像を与える、能力に乏しいダイナミックレンジ変換であるが、本出願人の手法によるリグレーディングチェーンの最初のステップとしては良好なステップであり、このステップ及びそのチャネル適合を最初に説明する必要がある)。その着想は、PB_HDR=5000ニットまでのルマをコード化する可能性は別として)実際には、現在マッピングされるべき画像(又は、それらの時間的に連続する画像のすべての同じ関数を使用することを決定している場合は、同じシーンのビデオ内の画像のショット)内に値MXHを上回るピクセル輝度が存在しない場合に、その最も高いMXH値をSDR内の最大ルマコード(すなわち、例えば、100ニットの輝度に対応する1024)にマッピングすることが理にかなっているということである。任意の他のマッピング手法(例えば、HDRホワイトオンSDRホワイトマッピング)が、すべての実際に存在する輝度をさらに暗くし、それは、SDR輝度範囲がそうであるのに十分に小さく、ただし、大きい範囲のHDR輝度の対応するエミュレーションを最適に含む必要があることを所与として、最適ではない。
このとき、問題は、このWLO値がIDR画像に対して調整されるべきであるか否かということである(図12bに見られるように、中間画像内の最も明るいルマはすでにPB_IDRのより近くに入り、SDRリグレーディング画像について1.0にマッピングするような最終的なシフトが依然として存在し、そのマッピングはまた、同等に、ONによって示されるように、HDR5000ニット画像の正規化輝度範囲上に示すこともできる)。第1のアプローチにおいて、これは必要ない(F_Mt1_ca関数を計算するためのアルゴリズムの設計手法にある程度の自由度があるため)が、スケーリングされる場合は、以下のアプローチを使用することができる。
輝度マッピング関数をスケーリングすることが可能であるように、そのような水平スケーリングのスケール係数が決定される必要があり、これは、この場合はそのパラメータWLO_ca、及び同様にスケーリングされているBLO_gr(BLO_caと表記する)である。このパラメータをPB_IDRによって線形的にスケーリングすることを所望する場合、その制約は、この動作が完全にオンであること、すなわち、PB_IDR=PB_SDRであるときに、オフセットがその最大範囲BLO_grを有することである。他方、HDR画像について、5000ニットMster_HDRをMster_HDRにマッピングするには恒等変換があるため、何も補正する必要がないとき、BLO又はWLOはゼロとすべきである。
したがって、以下のとおり、パラメータのそのような定義を定式化することができる。
WLO_ca=scaleHor*WLO_gr (0<=ScaleHor<=1)
BLO_ca=scaleHor*BLO_gr (式6)
このとき、問題は、ScaleHorをどのように定義するかということである。
図12bは、異なるダイナミックレンジ、より具体的には、水平軸に沿って編成されている異なるPB_C画像のスペクトルを示す。それらは、各画像のピーク輝度PB_Cの知覚化位置に沿って位置決めされる。したがって、それらはv(PB_C)である横座標位置に配置され、vは関数式1であり、値PB_CがパラメータL_inに使用され、式2の値RHOが、グレーディングされたMster_HDR画像のピーク輝度について計算される(すなわち、例えば、5000ニットPB_C Mster_HDR画像について、RHOは25である)。縦座標軸もそのルマLを、同じRHO=25によってv関数に従ってパラメータ化されている場合(垂直軸上)、PB_Cは直線に良好に追従し、定義及び計算はこのフレームワーク内で行うことができる。例えば、任意の中間画像のピーク輝度PB_Cのルマをマスタ(5000ニット)ルマ軸に投影することができる。本明細書において使用する表記は「P_I1oI2」であり、これは、画像I2のルマ範囲上で表現されるときの、画像I1のピーク輝度(正規輝度である)のv関数の適用を介して対応するルマの値を意味する。そのため、例えば、P_IoHは、Mster_HDRルマ範囲上の選択されているIDR画像のピーク輝度のルマであり、P_SoHは、100ニットのルマである(この範囲上の1.0は、Mster_HDR画像のPB_Cに対応し、結果、例えば0.5である、例えば100ニットの位置は、選択されているMster_HDR画像表現に応じて変化し、このため、式1及び式2はRHOパラメータ化曲線ファミリであることに留意されたい)。
このとき、ScaleHorの適切な関数は、1-P_IoHから開始することになる。この関数は、事実、PB_IDRが低減するほど増大し、すなわち、より右側において、MsterHDR画像の本発明のIDR画像表現が選択される。また、P_IoH=1の場合、これは0をもたらし、これは5000ニットIDR画像が選択されるときに生じる(技術的には意味を成さないため、これは純粋にScaleHor式の理論的説明のためのものである)。しかしながら、この式は、IDR=SDRであるときは1.0に等しくなく、そのため、係数kを用いてスケーリングする必要がある。
k=1-P_SoH(様々なIDR位置に対応する変数P_IoH値とは対照的に固定値である)である場合に正規化が正確であることを検証することができ、したがって、以下のとおりである。
ScaleHor=(1-P_IoH)/(1-P_SoH) (式7)
チャネル変換の正確なparaの決定(図4、ユニット404)はより複雑であり、図13を用いて説明する。
この場合、本発明者らは、恒等対角線([0,0]-[1,1])に直交する対角線方向における関数変換を行うことを決定した。これは、すべての関数リグレーディングの正規Mster_HDR/XDR座標系表現における均等なパラメータ化において変換される必要がある。
基本スケーリングは、対角線を水平軸に変更する45度回転した軸系において定義される(図13a)。例えば、回転されたparaである関数Fxを考える。回転された対角線、すなわち新たなx軸上の点の任意の値dYを係数La/Kによってスケーリングすることは理にかなっており(dXは元の軸系における何らかの横座標、すなわち、L_Mster_HDRルマに対応する)、ここで、Kは関数の完全な作用であり、すなわち、完全なdY値であり、スケールdY_ca値は、この回転された系においては(La/K)*dYになる。
sc_r=La/Kを定義し、ここで、La=1/P_IoHであり、K=1/P_SoHである(I1軸上のI2ルマの値は、I2軸上のI1ルマの値として最適式化することができることに留意されたい。特に、例えば1/P_IoH=P_HoIであり、例えば、P_IoH=0.7である場合、これは、PB_Mstr_HDRがPB_IDRを上回る1/0.7に張り付くことを意味する)。
ここで、対角線sc_rに対する均等な垂直スケーリングsc*を計算する必要がある。
これは、図13aの表現を図13bの対角線にする、(実際には最初に、1.4の代わりに1.0のK及びLaを定義することによって)逆回転計算を適用することによって行うことができる。これは、行列回転(対角線系の任意のx_r、y_r、例えば、主表現に対して回転されている1、dY)によってもたらされる。
[x1,y1]=[cos(pi/4)-sin(pi/4);sin(pi/4)cos(pi/4)]*[1,P_HoI=1/La]
[x2,y2]=[cos(pi/4)-sin(pi/4);sin(pi/4)cos(pi/4)]*[1,P_HoS=1/K] (式8)
対角線スケーリングのために、x座標とy座標の両方が変化するが、SG及びHG、並びに、任意の他のスケーリングされた点の変化は、いずれにせよ角度ではなく勾配として定義されることに留意されたい。
図13bの(0,0)からルママッピング関数の対角線スケーリングされた点を表す正方形までの線から、(0,0)から元の輝度マッピング関数点である円までの線への、又はその逆の回転は、例えば以下のような、任意の固定横座標値における勾配を割ることによって求めることができる(角度変化は正規化スケール係数sc*の垂直変化に対応する)。
sc*=(y2/x2)/(y1/x1)=[(1+1/K)/(1-1/K)]/[(1+1/La)/(1-1/La)]=[(K+1)/(K-1)]/[(La+1)/(La-1)]
=[(La-1)*(K+1)]/[(La+1)*(K-1)] (式8)
その後、完全な垂直スケーリング(sc*=1)に対応する実際の縦座標距離nが計算される必要があり、これは、対角線スケーリングに含まれる45度の角度のために、mipが、そこから下方に対角線までで、そこから上方にparaの2つの線形セグメントの交差点(mx,my)までの距離Fdを有する中間点であることを実現することによって行うことができる。したがって、n=Fdは、mxにおけるSG-1の差分勾配の半分に等しく、すなわち、mx*(SG-1)/2である。
その後、以下のように、シフトされた交差点(mxca,myca)が計算される必要がある。
mxca=mx+d=mx+[mx*(SG-1)/2]*(1-sc*)
myca=my-d=SG*mx-(mxca-mx)=-mxca+mx*(SG+1) (式9)
新たな点の位置によって、最終的に、チャネル適合シャドウゲイン(SG_ca、図10を参照)及びチャネル適合強調ゲインHG_caを以下のように計算することができる。
SG_ca=myca/mxca
HG_ca=(myca-1)/(mxca-1) (式10)
最後に、放物線中央区画について、いくつかの手法/実施形態が存在する。
非常に良好な視覚的結果を実際に生成する1つの手法において、WP_ca=WP_grが得られ、WP_grはマスタHDR画像をマスタSDR画像に関係付ける、コンテンツ作成者のグレーダ又はオートマトンによって最適化されるものとしての放物線区画の元の幅であり、WP_caは、チャネル適合para関数の幅である。別の手法は、WP_ca=v(abs(sc*),100)*WP_grを定義することができ、v関数はここでも、上記式1及び式2によって定義される。
これを利用可能な技術とすることによって、SLHDR2PLUSにとって適切なIDR定義を定義するためにこれを使用することができる。
図10に戻って、上記式は、例えば5000ニットマスタHDR画像から開始する、例えば選択されている1000ニットPB_IDRについて関数F_Mt1_caをどのように一意に定義することができるかを定義する。この関数がHDR関数生成ユニット901によって決定される場合、これは、F_H2hCIとして出力することができ、IDR画像計算ユニット902に対する入力として送信することができる。このユニットは、自身が画像入力として受信するMsterHDR画像のすべてのピクセル輝度にこの関数を適用して[L_IDR=F_H2hCI(L_MsterHDR)=F_Mt1_ca(L_MsterHDR)]、対応するIDR画像ピクセル輝度を得て、IDR画像を出力する。
ここで、問題は依然として、これが正規のETSI2画像であるかのように見えるようにするために(すなわち、任意の旧来のETSI2デコーダがこれを正常に復号して、SDR画像又はそれがそのように見えるべきである任意のMDR画像をもたらすことができるように)、いずれの輝度マッピング関数をメタデータ内でIDR画像に追加すべきであるかということである。
paraでもあるこの補助IDR輝度マッピング関数F_I2sCIは、以下のように定義することができる(また、IDRマッピング関数生成手段903によって計算される)。IDR画像のシャドウゲインSG_IDRは、すでにMster_HDRからIDR画像へと進んだ後の残りの乗算(又は勾配)と考えることができる(すなわち、IDR画像から開始して、SDR画像を得るための残りの相対増光)。
Y_out(x_in)=SG_gr*x_in;=F_I2sCI(L_IDR=SG_ca*x_in)
最も暗いピクセルの同じpara線形セグメントマッピングが新たなIDRルマ入力に適用されることも分かる。
Y_out=SG_IDR*L_IDR
したがって、以下のようになる。
SG_gr=SG_IDR*SG_ca (式11)
(例えば、対角線からL_IDR=0.3=(0.3/0.2)*x_inにマッピングされ、最終的にはY_out=0.4=k*0.3にマッピングされる入力x_in=L_Mster_HDR=0.2が得られ、ここで、k=0.4/0.3であり、Y_out=SG_gr*0.2=(0.4)*0.2=(0.4/0.3)*(0.3/0.2)*0.2である。)
したがって、式11から、必要なSG_IDRを計算する手法に従う(上述したようなSG_caを決定するための固定手法を使用していることを所与として)。
SG_IDR=SG_gr/SG_ca (式12)
同様に、以下のようになる。
HG_IDR=HG_gr/HG_ca (式13)
ここで、HG_grはここでも、マスタSDR画像の見かけをマスタHDR画像の見かけに関係付けるコンテンツ作成者によって決定されるものとして最適な強調ゲインであり(すなわち、そのルマ分布)、HG_caは、元の強調ゲインHG_grに対応するチャネル適合強調ゲインである。
SDR画像とIDR画像との間のピーク輝度の差に由来する、予測される単純なシャドウゲインに関係する基本シャドウゲイン調整を決定することができることに留意されたい:ShadBst=SG_IDR/P_IoS。上記のように、P_IoSは、SDR画像の正規化ルマ軸上で表現したときのIDR画像のコード可能な最大輝度、すなわち、例えば7.0である。
強調ゲインを所定の数よりも大きくすることができないいくつかの実際の実施形態が存在することに留意されたい(このように、ETSI規格は強調ゲインを成文化している)。この場合、下記参照のように、強調ゲインのさらなる再計算が必要であるが、これはすべての実施形態に必須ではない。これは、例えば、以下のように実現することができる。
HG_IDR>KLIMの場合、HG_IDR_adj=KLIM (式14)、KLIMは好ましくは0.5に等しい。
事実、グレーダが0.5の最大値に近いHG_grを作成しており、対応するHG_ca(よりソフトなマッピングとして、対角線により近い、すなわちHG_grよりも大きいHG_caを有するべきである)が例えば0.75であると仮定すると、商は0.67であり、これは標準化されているものとしての純粋なETSI2 HDRビデオ信号に従って通信することができる最大値よりも高い。解決策は、例えば、HG_IDRが標準化最大値である0.5よりも高くならないように、より小さいHG_grを再定義することである。これによって、再び、下記に示すように、すべてのリグレーディング態様を考慮に入れた相当の計算が必要になる。別の選択肢は、例えば、追加のメタデータとして正確な制限されていないHG_IDRを通信しながら、HG_IDRを0.5に制限することによって、IDR+メタデータ信号を適合させることである。HG_grは、典型的には、Mster_HDR画像のPB_Cに依存するだけでなく、画像内にある画像オブジェクトの種類が何であるか(例えば、それらの輝度が圧縮されすぎないのに十分に重要である、明るく色彩豊かなオブジェクト、極端な例は、多くの非常に高いL_Mster_HDRルマ値及び少数の暗い値によってグレーディングされる、強力な太陽の近くの明るい惑星の画像である)にも依存する。HG_caは、典型的には、とりわけ、選択されているPB_IDRがPB_Mster_HDRにどれだけ近いかに依存する。
さらに、WP_IDR=WP_gr(式15)と仮定する。
上記のように他の実施形態が可能であるが、当該原理をより容易に説明するために、ここではその仮定を行う。
式6によって、黒色レベルオフセット及び白色レベルオフセットの適切なチャネル適合値が計算された(任意のそのようなオフセットがコンテンツ作成者によって定義された場合)。ここで、BLO_IDR及びWLO_IDRの対応する値を(IDRビデオエンコーダによって)計算する手法は、そのままである。
最初に、好ましい符号化様式において、値glimが計算される。
glim={log[1+(rhoSDR-1)*power((0.1/100);1/2.4)]/log(rhoSDR)}/{log[1+(rhoHDR-1)*power(1/PB_Mster_HDR;1/2.4)]/log(rhoHDR)} (式16)
ここで、rhoSDR=1+32*power(100/10000;1/2.4)であり、
rhoHDR=1+32*power(PB_Mster_HDR/10000;1/2.4)である。
これによって、実際には、HDR符号化のETSI1及びETSI2規格アプローチにおいて、これらの図は理解を容易にするために本出願人の手法の部分的な順次的リグレーディングステップを説明しているに過ぎない、輝度処理チェーン(図4のユニット402~406及び図15の1502~1506)に並行して、角度glimを有する線形曲線を知覚化Y’HPに適用し、説明されているユニットによって計算されるものとしてのY’GL値と比較し、並列に計算される2つの値の最大値をとる(これは、とりわけ、ETSI1の可逆性が、最も暗いHDRルマの再構築を可能にするのに重要である)線形ゲインリミッタも存在するため、BLOを適合させる容易な手法がもたらされる。
ここで、このリミッタの動作に起因して、BLO値を、以下の式によって容易にチャネル適合させることができることを示すことができる。
BLO_IDR=BLO_gr*glim (式17)
上記で示したようなglimは、PB_Mster_HDRの特定の選択に依存し、例えば、0.6とすることができる。
これは図17によって示されている。図17bは、図17aに示す全範囲ルママッピングの最も暗いルマへの拡大を示す。ここでも、様々な関数が正規化プロット上に示されており、これらの関数は、様々な入力PB_C及び出力PB_Cに対応する。
FL_grは、例えば4000ニットMster_HDRをSDRにマッピングするためのコンテンツ作成者によって作成されるものとしての関数である。点線の曲線FL_caは、Mster_HDRから例えば500ニットIDRを作成するためのチャネル適合である。破線の曲線FL_IDRは、IDRルマをSDRルマにマッピングするための曲線である。図17bの拡大プロットにおいて、FL_gr曲線は、0.03あたりの入力において鋭いキンクを有することが分かり、ここで、並列ゲインリミッタが作動する(すなわち、その線形出力y=glim*Y’HPが、図4に示すようなチェーン内のすべてのユニットの動作から生じるY’GL値の代わりに、より低いルマ入力に対する関数出力として選択される(回路全体の説明については、ETSI1規格の図4を参照されたい))。
任意の曲線のBLO値は、ゲイン制限、すなわち、例えば、点線がそうするようにFL_gr曲線の0.3の上の局所的勾配を延長することによって示されるBLO_grがなかった場合に生じる水平軸との交差である。
本出願にとっては、BLO_IDR値を得るためにFL_IDR曲線を延長することもできること(glim_grとは異なる、ETSI2規格が使用するglim_IDR値が存在することに留意されたい)、及び、このより低いBLO_IDR値は、glim*BLO_grとして求めることができること(このglim、すなわち、SLHDR2PLUSのために計算する必要がある唯一のglimは、図17bにglim_grとして示されているものであることに留意されたい)が分かれば十分である。
その後、WLO_IDRを得るために以下の計算が実施される。
図17aは、3つの異なるWLO、すなわち、グレーダによって自身のマスタHDR-SDRマッピング戦略によって元々作成されたWLO_gr(図12bのONでもある)、FL_ca曲線が上側の水平線と交差するところであり、WLO_grルマのIDRルマ軸へのマッピングであるチャネル適合WLO_ca(MXHがMXIに投影される、図12のような表現によって想定することができる)、そして最後に、IDRルマをSDRまでルママッピングするために残っているWLOである、WLO_IDRも存在する(正規化ルマ横座標軸の定義は、WLO_gr及びWLO_caについて、関連付けられるPB_C=5000から開始するときに変化するため、スケーリングされているWLO_caと同じではない。これは、そのETSI2準拠視点においては、そこから受信される他の画像を導出するための開始画像が例えば1000ニットPB_C IDR画像であるため、リグレーディング需要のIDR関連定義のPB_C=1000ニットに対して、それらの関数によってリグレーディングするための入力画像が5000ニットMster_HDRであるためである)。
図17cは、関数プロットのその上隅([1,1]付近)を拡大している。WLO_IDR値は、(正規化)縦座標位置から横座標位置への円形投影によって示すように、FL_ca曲線を通じてWLO_gr値を入力として送信することから生じる。図12bにおいて、MXI位置が事実、1.0のSDRルマにマッピングされるIDRルマ軸上の正規化位置であり、したがって、これがWLO_IDRとしての定義によって必要とされるものであることが分かる。
一見して、WLO値がその後、符号化側に到達するマッピング曲線がpara(図4、ユニット403後のユニット404のマッピングを参照)である場合、これは典型的には、含まれることになるparaの上側線形セグメントであると考えられる。
しかしながら、paraが定義される手法のために、その任意の部分が含まれる(paraのSGの特別な値のみが、理論的に1.0の上で移動する非常に高い交差点を定義する設定さえ存在し、したがって、最も明るいルマまでのその場合の挙動は、シャドウゲイン勾配のみによって決定され、例えば、サイエンスフィクション映画における5つの太陽によって照らされている砂漠の惑星のような、ほとんどが非常に明るいルマを含むHDR画像をSDRにリグレーディングするのに有用である線形曲線がもたらされる)。したがって、これは、paraの3つの下位部分のうちのいずれかが試験される必要がある、いくらか関係のある計算になり、好ましい数学的実現形態は以下のようになる。
WLO_co=255*WLO_ca/510
BLO_co=255*BLO_ca/2040
Xh=(1-HG_ca)/(SG_ca-HG_ca)+WP_ca
WW=(1-WLO_gr*255/510-BLO_co)/(1-WLO_co-BLO-co)
IF WW>=Xh THEN WLO_IDR=HG_ca*(1-WW)*510/255[上側線形セグメント]
ELSE {
Xs=(1-HG_ca)/(SG_ca-HG_ca)-WP_ca
IF WW>Xs
{[入力、すなわち、WLO_grがチャネル適合paraの放物線下位部分を通じてマッピングされる必要がある]
A=-0.5*(SG_ca-HG_ca/(2*WP_ca))
B=(1-HG_ca)/(2*WP_ca)+(SG_ca+HG_ca)/2
C=-[(SG_ca-HG_ca)*(2*WP_ca)-2*(1-HG_ca)]^2/(8*(SG_ca-HG_ca)*2*WP_ca)
WLO_IDR=(1-(A*WW*WW+B*WW+C))*510/255
}
ELSE[paraのシャドウゲイン下位部分が適用される特別な事例において]
WLO_IDR=(1-SG_ca*WW)*510/255
}
これらのパラメータSG_IDR、HG_IDR、WP_IDR、BLO_IDR、WLO_IDR(及び、同様に、必要な場合は、カスタマイズ可能な曲線の追加のパラメータ)は、関数F_I2sCIを特性化し、したがって、当該関数として出力されるパラメータである(実際に、ディスプレイ適合を行うためのこの必要な曲線の形状を特性化するこれらのパラメータが出力されるか、又は、関数を特性化するLUTが出力されるかは、実施形態の選択に過ぎず、重要なことは、1.0正規化軸系における正確な輝度マッピング関数形状F_I2sCIが、メタデータとしてIDR画像とともに通信されることである)。
ここで、エンコーダが、新規のSLHDR2PLUS手法に従って特性化される。このとき、問題は、デコーダがどのように設計されるべきかということである。このデコーダが、ここでF_I2sCI関数のみを得ることになり、そのため、受信IDR画像から元のMster_HDR画像を再構築するのに必要な関数F_??を何らかの形で計算しなければならないことは理解されたい。このSLHDR2PLUSコード化手法において、これはIDRルマを生成するためにエンコーダにおいて使用されるF_H2hCI関数の逆であるが、そのような関数は依然として計算可能であるべきである。
図11は一般的に、SLHDR2PLUSビデオデコーダ1100を説明しているため、輝度関数決定ユニット1104は、それが受信する情報、すなわち、F_I2sCI並びに2つのピーク輝度PB_CH及びPB_C_H50のみに基づいてF_??関数を計算する必要がある。その関数が決定されると、これは、(色変換手段1102において)受信されているものとしてのIDRルマに適用することによって、元のMster_HDR輝度を再構築するために適用することができ、すなわち、L_REC_M_HDR=F_??(L_IDR)となり、このルマから、式1及び式2の逆をそれらのL_REC_M_HDRルマに適用することによって、対応するHDR輝度を計算することができる。最後に、例えばPQベースのYCbCr色系統など、所望に応じて任意のフォーマットで、色変換手段1102によって再構築マスタHDR画像(REC_M_HDR)を出力することができる。デコーダ1100は、好ましい実施形態においてはまた、例えば、300ニットPB_D接続ディスプレイが受信されるものとしてのHDR画像の最良の均等物を供給されるべきである場合のMDR_300など、任意のディスプレイ適合画像を計算するように構成することもでき、適切な画像(IDR)及び輝度マッピング関数(F_I2sCI)がすでに色変換手段1102において入力として利用可能であるため、これは、SLHDR2PLUS計算又は単に通常のETSI2復号のいずれかによって行われる。
図14は、paraが、受信されているものとしてのIDR画像からREC_M_HDR画像を再構築するために含まれるものを示しており(同様の計算がWLO及びBLOに対して行われる)、カスタマイズ可能な曲線形状は、適用可能な箇所を指す(後述するように、いくつかの実施形態は、Mster_HDRとIDRとの間でカスタマイズ可能な曲線の原理を適用せず、SDRダウングレーディング技術としてのみ、すなわち、IDRとSDRとの間で適用することに留意されたい)。
ここで、新たなマスタHDR再構築シャドウゲイン(SG_REC)及び再構築強調ゲイン(HG_REC)を計算する必要があり、必要な再構築para輝度マッピング関数形状F_L_RHDRを完成させるために、放物線セグメントの逆放物線式が計算される必要がある(例示のみを目的として、逆SDR-Mster HDR輝度マッピング関数もこの正規化グラフ上に点線として示されていることに留意されたい。SDR-HDRマッピングの逆関数特性のために、その曲線のシャドウゲインSG_RMは1/SG_grに等しいことなどに留意されたい)。
図15は、最初に、典型的なデコーダ1502のコア計算トポロジのいくつかの態様を説明している。見てとれるように、これは、反対方向におけるリグレーディング(IDRからの再構築REC_M_HDR)を実施することを除いて、エンコーダと概ね同じ構造であり、これは、必要性によって支持されるように、そのような計算トポロジを容易に再構成することができるために便利である。輝度マッパ1501が全体的なLUT(すべての部分連続リグレーディング動作の)を得る場合、これは事実、エンコーダと同様に機能する。
無論、デコーダが有するように構成される必要がある何らかの差異が、正確なHDR再構築リグレーディングを行う。最初に、L_inはここでIDR正規化輝度になり、出力輝度Lhは、例えば5000ニットPB_Dディスプレイレンダリングに対して正確にスケーリングされている正規化輝度になる。ここで、REC_M_HDR画像ピクセル色(Rs、Gs、Bs)をもたらす最後の乗算手段が、ここでメタデータ内で受信されているものとしてのPB_C_H50値によって乗算を行うことも分かる。事実、知覚化手段1502及びリニアライザ1506によって実施される知覚化外側計算ループは、それぞれ式1、式2及びそれらの式の逆においてPB_CH及びPB_C_H50値を適用する。ここで、様々な部分リグレーディングの順序は、それらが存在する範囲において逆にされ、最初に知覚IDRルマY’IPが、微細グレーディングユニット1503において逆カスタマイズ可能曲線によって微細グレーディングされて、リグレーディングIDRルマY’IPGがもたらされることにも留意されたい。その後、HDRルマ軸(すなわち、対応する正確なHDRの見かけ、実際には、5000ニットPB_C_H50 Mster_HDRの見かけの対応する再分布ルマ)への最初のマッピングが、依然として正確に計算される必要がある図14の逆paraを適用する粗輝度マッピングユニット1504によって実施され、初期HDRルマY’HCをもたらす。最後に、逆黒白オフセッタ1505が、各ピクセルの完全な三次元色に到達するための、彩度によるさらなる計算に使用される正確な正規化REC_M_HDRルマ(Y’HR)を生成する。説明したように、ユニット1504は典型的には、計算されたSG_RECなど(又はこれら3つの値に対応する、適用されるべきルママッピング関数のLUTバージョン)を得る。様々なPW値が同一のままであった場合、WP_RECはここでもWP_grであることに留意されたい。ユニット1505は同様に、Mster_HDRの再構築の黒色及び白色オフセットを得る(WLO_REC、BLO_REC)。色処理を行うコアユニットの下側部分(クロミナンスプロセッサ1550)は、色処理決定ユニット1551における正確なC_LUT F_C[Y]のロードを除いて、図4のエンコーダトポロジと同様になる(下記に説明されているこの計算を参照)。
ここで、問題は、IDRからMster_HDRを再構築するようにプログラムされているデコーダ内で適用されるべき関数のパラメータを計算することができるか否か、及び、どのように計算することができるかということである(これは、以前HDRビデオ復号においては起こらなかった状況である)。
例えば、シャドウゲインのアプローチを参照することができる。
SG_RECを計算する前に、SDRからMster_HDRへの全体的なシャドウゲインSG_RMを決定することができるか否かを尋ねることができ、そこから、その後、式12の除算を介してSG_RECを決定することができる。
したがって、SG_IDR=SG_gr/SG_ca
SG_ca=(mx/mxca)*(SG_gr+1)-1であると示すこともできる。
これは、myca=SG_ca*mxca(チャネル適合paraの下側線形セグメントの定義による)、及びまたmyca=my-d=mx*SG_gr+(mx-mxca)であるために確認することができる。
mxca/mxの第2の関係は、式9の上側の式をmxによって除算することによって生じる。
第1の関係を第2の関係に組み込む(mx/mxca部分を除去する)ことによって、SG_grに関してSG_caを書くことができるため、ここで、最終的な関係が、SG_IDRとSG_grとの間で形成可能である。
SG_ca=(SG_gr+1)/[(SG_gr-1)*(1-sc*)/2+1]-1
そこから、以下のようになる。
SG_IDR=SG_gr/{(SG_gr+1)/[(SG_gr-1)*(1-sc*)/2+1]-1} (式18)
ここで、この式は、既知の(受信)SG_IDRを所与として、未知のSG_grについて解くことができる(また、PB_CH、すなわちPB_IDRとPB_C_H50の両方が受信され、PB_SDRは通常100ニットであるため、sc*は、同じく既知であるピーク輝度のみから計算されているが、そうでない場合、信号のメタデータ内に置くこともできる)。
表記を単純化するためにSG_IDR=y及びSG_gr=xと名付けると、以下のようになる。
y=[(x-1)*(1-sc*)*x/2+x]/[x-(x-1)*(1-sc*)/2]
したがって、x^2+x*(y-1)*[(sc*+1)/(sc*-1)]-y=0 (式19)
[y及びsc*の関数であるそれらの係数(以降A’、B’、C’と呼ぶ)は、下記において、Mster_HDR画像のルマを再構築するための連立方程式全体において二次方程式を解くために使用される]。
再構築輝度マッピング関数の形状を与えるすべてのパラメータを決定するために、以下の式が、典型的にはそれらの実施形態のうちの1つにおいて行われる(これは、エンコーダ側においてIDR画像を生成するのに使用された関数の逆を再構築する)。最初に、正確なparaが決定され、そこから、その後、黒色及び白色オフセットが計算可能である。
rhoSDRが再び上記のように計算され、rhoCHが以下のように計算される。
rhoCH=1+32*power(PB_CH/10000;1/2.4)
mu=log[1+(rhoSDR-1)*power(PB_CH/PB_SDR;1/2.4)]/log(rhoSDR)
K及びLa並びにsc*が上記のように計算され、K=P_HoS及びLa=P_HoIである。
A’=1
B’=(SG_IDR-1)*(sc*+1)/(sc*-1)
C’=-SG_IDR
デコーダ側においてすべての必要な関数の必要なパラメータを決定することが可能になると(注:他の受信されている利用可能なパラメータSG_IDRなどから)、残りの復号は、可逆性のために、符号化の逆の曲線を適用することのみであり、例えば、図14のようなpara(その適切な定義パラメータ1/SG_RECなどを計算されることによって適切に成形されている)が、図10に示すようなIDR符号化paraの作用を取り消す、すなわち、Mster_HDRルマへのIDRの再復号などを定義する。
そこから、以下のようになる。
SG_gr=[-B’+SQRT(B’^2-4*A’*C’)]/2*A’
式中、^2は二乗を示す。
SG_REC=SG_gr/SG_IDR (式20)
そのため、逆チャネル適合シャドウゲイン(1/SG_REC)はすでに既知である。
同様に、必要な強調ゲインを計算することができる。
A’’=(SG_REC*HG_IDR-SG_gr)*(SG_gr+1)/(SG_REC+1)
B’’=SG_gr-HG_IDR-(SG_REC*HG_IDR-1)*(SG_gr+1)/(SG_REC+1)
C’’=HG_IDR-1
MxRec=[-B’’+SQRT(B’’^2-4*A’’*C’’)]/2*A’’
IF MxRec=1 THEN HG_REC=0
ELSE=HG_REC=max[0,(MxRec*SG_gr-1)/(MxRec-1)]
para関数はそのパラメータから定義されるため、それらが計算されると、必要なparaが定義される。
BLO_REC及びWLO_RECを得るために、以下の式が実施される。
mx=(1-HG_gr)/(SG_gr-HG_gr)
mxca=mx*(SG_gr-1)*(1-sc*)/2+mx
myca=mx*(SG_gr+1)-mxca
SG_ca=myca/mxca
IF mxca=1 THEN HG_ca=0 ELSE HG_ca=max[0,(myca-1)/(mxca-1)]
ScaleHor=(1-1/La)/(1-1/K)
RHO=1+32*power(PB_C_H50/10000;1/2,4)
glim={log[1+(rhoSDR-1)*(0.1/100)^(1/2.4)]/log(rhoSDR)}/{log[1+(RHO-1)*(1/PB_C_H50)^(1/2.4)]/log(RHO)};[前出のとおり、エンコーダによって使用されるものと同じglim、ETSI手法においてこれはIm_PB_C_1<>Im_PB_C_2メカニズムの固定並列バイパスであるため、それら2つの画像は、同じPB_C_1から開始してリグレーディングされているものとして定義され、この特定のSLHDR2PLUS手法においてはそれぞれMster_HDR及びIDR画像である]
BLO_gr=BLO_IDR/glim[式17の逆、そのため、これはより高次の式を必要とすることなく相対的に容易に決定され、その後、必要なWLO_RECを得るための固定チャネル適合メカニズムを適用するだけでよく、これは符号化によって使用されるWLO_caに等しいが、ここでは反転され、加算が減算になる]
BLO_REC=BLO_ca=BLO_REC*ScaleHor
その後、符号化原理においてそうであったように、paraを通じて投影し、その後反転されることによって、WLO_RECが計算される。
IF HG_ca=0 WLO_REC=0
ELSE
{
BLO_co=255*BLO_ca/2040
Xh=(1-HG_REC)/(SG_REC-HG_REC)+WP_REC
Xh_REC=HG_REC*Xh+1-HG_REC
WW_REC=1-WLO_IDR*255/510
IF WW_REC>=Xh_REC THEN WCA=1-(1-WW_REC)/HG_REC
ELSE
Xs=(1-HG_REC)/(SG_REC-HG_REC)-WP_REC
Xsca=SG_REC*Xs
IF WW_REC>Xsca
{
A’’’=-0.5*(SG_REC-HG_REC)/(2*WP_REC)
B’’’=(1-HG_REC)/(2*WP_REC)+(SG_REC+HG_REC)/2
C’’’=-[(SG_REC-HG_REC)*(2*WP_REC)-2*(1-HG_REC)]^2/[8*(SG_REC-HG_REC)*(2*WP_RE)]
WCA=(-B’’’+SQRT(B’’’^2-4*A’’’*{C’’’-WW_REC})/(2*A’’’)
WCA=min(WCA,1)
}
ELSE WCA=WW_REC/SG_REC
WLO_REC=(1-WCA)*(1-BLO_co)/[(1-WCA*ScaleHor)*(510/255)]
BLOは事実、マッピングに関しては純粋な加法的寄与であるが、WLOは変換し、最大値への乗法的スケーリングになる(例えば、図4において)ことに留意されたい。
Y’HPS=(Y’HP-BLO)/(1-BLO-WLO) (式21)
この情報はすべて、典型的には、例えば、知覚領域においてY’IPをY’HRに関係付ける単一の輝度処理LUT(又は、さらにより良好には、各L_in値についてLhを定義する全体的なLUT)に組み込むことができる。これによって、REC_M_HDRが再構築される。
上記で言及したように、デコーダが例えばMDR_300などのディスプレイ適合画像を直接的に出力することができることも有用である。
このために、図16を用いて説明されているような以下の技術を使用することができる(2つの部分LUTが使用され、実際には、P_LUTと呼ばれる1つのLUTのみをロードすることが最も有用である。これは、輝度計算上側トラックが、典型的には単純にLUTとして具現化される、例えば専用復号ICの毎ピクセル色プロセッサなどの、好ましいコア計算ユニット内にあるためである)。Y_IDRルマ値が入力され(例えば、典型的には符号化されているPQベースのYCbCr)、それらはリニアライザ1601によって正規化輝度L_inに変換される。知覚化手段1602が、上記で説明したように機能し(式1及び式2)、例えば1000ニットなど、IDRピーク輝度PB_IDRにRHO値を使用する。これによって、知覚化IDRルマY’IPがもたらされる。輝度マッピングユニット1603が、上記で説明したようにマスタHDR画像を再構築する、すなわち、IDR-MsterHDR再構築輝度マッピング関数F_L_REC、又は典型的にはその関数形状のLUTを定義するすべての計算されているパラメータを得る。これによって、再構築Mster_HDRルマY’HPRがもたらされる。この画像は、より低いダイナミックレンジ/ピーク輝度PB_Cの画像を計算するための良好な基礎を形成する。基本的に、これは、正確な関数が適用されることを条件として、ETSI2メカニズムのように動作する。これらの関数は、メタデータとしてともに通信されるF_L_IDRからスケーリングすることができるか、又は、コンテンツ作成者がMster_HDR画像からマスタSDR画像を計算するための最適な関数として自身の側で定義したものの再構築である再構築F_50t1関数から計算することができる。このとき、ETSI2規格(読者には、この詳細についてその規格を参照されたい)において定義されている原理に従って、このF_50t1関数を計算して、例えば、300ニットPB_Dの適切なディスプレイ適合関数F_L_DAを求めることができる。これは、存在する場合、HDR-MDR輝度マッパ1604にロードされる。実際には、単一のP_LUTがF_L_REC及び続くF_L_DAの全体的な作用を含む。
最後に、得られたMDR相対輝度が、(正確な付随するF_C[Y]をも用いて)同じ処理を行うために図4の第1の乗算手段454に送信される。
最後に、輝度リグレーディング出力色に、それらの適切なクロミナンスを与える適切なC_LUT(それぞれ図4又は図15のF_C[Y])を計算する必要がある(Mster_HDR画像に可能な限り近い見かけを有するように、すなわち、出力画像ピクセル及びMster_HDR画像の色度は、異なるより小さいダイナミックレンジを所与として可能な範囲において、ほぼ同一であるべきである)。
Mster_HDR再構築のためのC_LUTは以下のとおりである(他のリグレーディング計算は、例えば、ETSI2の教示を考慮に入れて、同様の原理に従う)。
最初に、Mster_HDR画像をIDR画像にマッピングするためにエンコーダにおいて適用された上述のP_LUTの逆であるCP-LUTが計算される(そのため、デコーダにおいては、この逆クロミナンス補正が、受信されているものとしてのIDR画像クロミナンスCb及びCrからMster_HDR再構築クロミナンスに再変換するために使用される)。
Mster-HDR再構築のためのC_LUTはこのとき、以下のように計算することができる。
XH=v(PB_M_HDR;10000)
XS=v(PB_SDR=100;10000)
XD=v(PB_D;10000)
XC=v(PB_CH;10000)
vはここでも、上記の式1及び式2によって定義されるものとしての関数v(x,RHO)である。
CfactCH=1-(XC-XS)/(XH-XS)
CfactCA=1-(XD-XS)/(XH-XS)
C_LUT[Y]=[1+CfactCA*power(CP_LUT[Y];2.4)]/[Y*{1+CfactCH*power(CP_LUT[Y];2.4)}] (式22)
ディスプレイ目標PB_Dを、再構築のためにPB_Mster_HDRに設定することができ、この場合、除算手段のみがC_LUT決定手段として残る。実際の実施形態において、指数2.4はまた、例えば、いくつかの実施形態においてはいくらか計算を節約するCPP_LUT=power(CP_LUT[Y];2.4)として、LUTに含むこともできる。
上記において、SLHDR2PLUSエンコーダのいくつかの実際の実施形態(現行のETSI2メタデータ定義に適合する)は、適合するHG_IDR値のHG_grを再計算することが述べられている。これは以下のように行うことができる。
例えば、paraのHGのために8ビット符号語を確保しており、すなわち、この場合、IDR画像+そのメタデータがETSI2適合信号であると仮定されるため、問題は、必要なHG_IDRが割り当てられたコード内に適合するか否かである。規格は典型的には、物理的に必要なHG_IDRを何らかのHG_CODに変換するためにコード割り当て関数を使用して、すなわち、HG_COD in [0,255]=F_COD[HG_IDR]となる。例えば、FCODは、128*(4*HG_IDR)とすることができ、これは、255の最大値が0.5の最大HG_IDRに対応することを意味する。
IDR画像が、HG_IDR画素のコード範囲にちょうど適合するように生成されることが保証されることが所望される、すなわち、(固定チャネル適合及びそれに基づくIDRメタデータ決定によってそのオーバーフローがちょうど回避されるように)グレーダのHG_grを何らかの形で適合させることによって、実用的な実施形態がこれを実現することができる。
この(任意選択の)実施形態の計算は、例えば、以下のとおりである。
Set HG_IDR=(254*2)/(255*4);
Exposure=shadow/4+0.5[shadowはシャドウゲインSG_grのETSI2成文化である]
SG_gr=K*exposure
A=SG_gr*(HG_IDR-1)-0.5*(SG_gr-1)*(1-sc*)*(HG_IDR+SG_gr)
B=SG_gr-HG_IDR+1+0.5*(SG_gr-1)*(1-sc*)*(HG_IDR+1)
C=HG_IDR-1
MxLM=[-B+sqrt(B*B-4*A*C)]/(2*A)
IF MxLM=1 THEN HG_gr_LM=0
ELSE HG_gr_LM=max[0,(MxLM*SG_gr-1)/(MxLM-1)]
ここで、HG_gr_LMは調整されたHG_gr値である。このアルゴリズムの残りの部分は、グレーダが始まりから最適なHG_gr_LM値が選択したかのように、上述したように機能する。
これは、SLHDR2PLUSの新規のコーデック設計の問題にアプローチする1つの方法を詳述する。行われる技術的選択に応じて、特に、いずれの態様を特に重要であると見出し、それに対して他の態様を寛容し得るかに応じて、代替的な方法が存在する。
上記の計算は、少なくともETSI1及びETSI2手法と一致する中核的な計算手法によって、HDRデコーダを実施するまったく新しい様式を定義し、特に、異なる形状のP-LUT及びC_LUT関数が、上記で示したように計算されるが(図4及び図15が、本発明のHDRコード化手法が機能する手法、及び、実際に、ルマ処理トラック401又は1501における輝度処理[一次元色態様においてそれら2つは非線形的なそれ自体画像に依存する関数変換を介して関係付けられる]と等価であるルマ処理全体が、正確な全体的P_LUTルママッピング関数形状をロードすることによって、また同様に、それぞれユニット451及び1551においてF_C[Y]と呼ばれるC-LUTについて実施される理由の背後にある技術的-物理的原理を詳述するにもかかわらず)、計算トポロジは再使用可能であり、これは、顧客にとって相当に有用な特性である(顧客は、例えばSTB内のICを一度購入する必要があり、これは、メタデータ処理を再プログラミングし、ただし、毎ピクセル色変換エンジンは維持することによって、様々な新規のコード化原理に対して再構成することができる)。
単にETSI2デコーダに、受信されている画像をダウングレーディングするその通常タスクの代わりに、ディスプレイ適合されたそれをPB_D<PB_IDRのディスプレイに適切に外挿するように指示することによって、同じ綿密なETSI2復号計算(すなわち、部分リグレーディング1503~1505のチェーン)を再使用するIDRコード化技術を設計することもできる。それは、IDR画像の見かけ(すなわち、特に、IDRピクセルの相対ルマ又は絶対輝度の統計的分布)に対応する「ただ任意の」より高いダイナミックレンジの画像の見かけを与える、「盲目的な」外挿ではなく、実際には、コンテンツ作成側の元のMster_HDR画像(同じく、そのような実施形態においては依然として実際に受信されず、例えば受信されるSG_grなどのそのメタデータではない)に可能な限り近く見えるHDR出力画像を符号化するこの手法によって「自動的に」生成することを強調しておく必要がある。この自動化は無論、そう単純ではなく、コンテンツ符号化側における正確なアプローチを含む。この原理の実施形態におけるデコーダについて、PB_C_H50受信二次ピーク輝度関数は、中核的な毎ピクセルデコーダのプログラミングにおいて、所望のディスプレイ輝度PB_D(このとき、PB_IDRよりも例えば5倍高い)であるかのように同等に機能する。
図18は、この手法を説明する(エンコーダの計算が概念的に機能する手法のブロック図)。さらに、単純にするために(これらの選択は必ずしもこの例にとってそうである必要があるものとしてリンクされていないが)、固定チャネル適合アルゴリズムの選択の自由度は、Mster_HDR及びIDRをリンクさせるpara変換のみを行い、任意のBLO及びWLO(現在の画像又は画像のショットにすでに適用可能である場合)並びにカスタマイズ可能曲線は二次変換、すなわち、IDR-SDRリグレーディングに委ね、ETSI2適合IDR信号に属するメタデータはレシーバ(旧来のETSI2レシーバであるか又はSLHDR2PLUS復号レシーバであるかは問わない)に通信されるようにするように選択されていると仮定する。
最初に、何らかの導入定義が必要である。
図10に示すような、すなわち、上記の式4及び式5において定式化されており、放物線中央部分がa*x^2+b*x+cによって定義されているETSI標準化形状定義を有するpara曲線の逆が、本明細書において簡潔にするためにabcaraと呼ぶ曲線である。ETSI1セクション7(HDR信号再構築)によれば、これは以下のように定義される。
L_out=1/SG*L_in(if 0<=L_in<=xS)
L_out=-b/2a+sqrt(b^2-4*a*(c-L_in))/2a(if xS<L_in<xH)
L_out=1/HG*(L_in-1)+1(if xH<=L_in) (式23)
ここで、xS及びxHは、線形セグメントが、paraが符号化(又は任意の他の用途)について定義された様態と一致して、放物線中央部分に変化する点である。
図18のビデオエンコーダ実施形態が達成しようとしていることの基本原理は、図20(この例において、この方法が何らかの形でより低いPB_IDRに限定されるか又はそれにより適していると言うことを所望することなく、500ニットPB_C IDRの例を説明するために選択している)に示されている。
IDRから、PB_IDRよりも高いPB_Cに外挿する(そのようなPB_C設定をディスプレイピーク輝度であるかのように使用して)ための固定メカニズム(ETSI2適合又はETSI2旧来デコーダ内の)がある場合、そのプロセスを反転させる、すなわち、適切に適合された外挿輝度マッピング関数F_E_I2S(IDR信号、すなわち、IDR画像+F_I2S関数を含むメタデータのレシーバによって受信されるETSI2仕様に一致するF_I2S関数から適合される)の逆F_ENCINV_H2Iを使用することによってIDR画像を作成し、その後、任意の中間リアルタイムコード化プロセスなどにおいて、例えば、人間のグレーダなどのコンテンツ作成者、又はオートマトンによって作成されるものとして全体的な輝度マッピング関数F_H2S(例えばF_50t1)から導出されることになる、上記のようにF_I2Sである正確なメタデータを追加するコーダも設計することもできる。
当該関係は、乗法的な観点において定式化することもできる。
L_SDR=m_F_I2S*m_F_ENCINV_H2I*L_HDR=m_F_I2S*L_IDR
L_HDR=m_F_E_I2S*L_IDR
m_F_I2S又はむしろm_F_I2S(L_HDR)は、F_I2S輝度マッピング関数形状、及び同様に他の乗算手段に対応する、任意の選択されるL_HDR値毎の輝度リグレーディングを実現するのに必要な対応する乗算手段である。
そのため、HDRからIDRへのparaの逆、すなわち、IDRからHDRへと作用するabcaraが、(任意のL_IDRで開始して)PB_HDRに外挿されている或るparaと同じ効果を有することを解決する必要がある。
それをいくらかより良好に理解するために、図21を使用する。より高い入力画像PB_C(すなわち、正規化出力画像輝度のPB_Dよりも高いPB_Chを介して実際の輝度に対応する任意の正規化入力輝度L_in_Xに作用する)からより低いPB_Dへの通常の内挿モードにおいて、元のグレーダのpara F_H2S(標準ETSI2コード化ビデオ通信チェーンによってメタデータ内で受信されるものとしての)が、対角線[0,0]-[1,1]NIMに向かって矢印に従って対角的にスケーリングされ、F_ENCIV_H2I(ここで、PB_IDR/PB_HDR対PB_SDR/PB_HDR、すなわち、例えば、v(100/5000)/v(500;5000)=0.54/0.72[v(x;y)は、横座標x、及び、式2によってyに対応するRHOを有する式1の関数である]の視覚的に均一化された擬似対数距離比に対応する)がもたらされる。恒等処理マッピングPB_HDR-PB_HDRを通じて任意のより高いPB_D状況からより低いPB_D状況へのリグレーディング挙動を継続すると、事実、それらが数学的にabcaraになるpara種輝度マッピング曲線について急激に下降するようになる曲線がもたらされると想像することができる。事実、(ETSI2チャプタ7.3ディスプレイ適合メカニズムを使用することによって、メタデータ内で受信されているものとしての開始輝度マッピング関数F_H2Sに基づいて)任意の受信IDR画像を外挿するための必要な関数F_E_I2Sは、F_ENCINV_H2Iの対角線を中心としてミラーリングすること(及びその逆)によって得られるミラー関数になる。
したがって、SLHDR2PLUS機能を実施するために標準ETSI2計算メカニズムを再利用することが所望されることを所与として、残されていることは、図18によって説明したように、対応するエンコーダを定義することである。
例えば、F_ENCINV_H2IのSGは、abcara定義1/SG*L_in_X内にある。
SG_COD(すなわち、上記物理的-数学的シャドウゲインSGのETSI定義の成文化)に関して、(SG_COD=SGC*255/2 juncto ETSI1 eq. C23 exposure=SGC/4 +0.5 juncto C24 expgain=v(PB_HDR=5000/PB_target=500;PB_target) juncto eq. C27 SG=expgain*exposure)が得られる。
1/[(SGC/4+0.5)*v(5000/500;500)]=(X/4+0.5)*v(500/5000;500)(式24)
未知のparaについて解くために、シャドウゲインはXを制御する(すなわち、XはF_ENCINV_H2IのSGである)。
すなわち、デコーダは、任意のグレーダのF_H2S選択について、F_E_I2S形状がどのようなものであるかを(ETSI2 7.3アルゴリズムを使用して)定義するが、そのabcaraを対応する必要な逆para F_ENCINV_H2Iと関係付けて、最終的に、新規のSLHDR2PLUSエンコーダ内で対応するparaを使用して、IDR画像輝度を計算する(汎用SLHDR2PLUS手法のこの特定の種のアプローチの第1の好ましい実施形態、すなわち、第2のピーク輝度を使用した輝度マッピング関数の導関数計算において、白色及び黒色オフセットは、図7に示すような異なるPB_C画像スペクトルのHDR<>SDR部分範囲に適用可能であるため、少なくともHDR<>SDR部分範囲内で、この種において無視される)ことができるように、それをETSI1 abcaraとして解釈する必要がある。
ここで、実際に、エンコーダは他の順序において作用する(ただし、システムをETSI2に適合したままにするために、順守される関係は同じである)。チャネルアダプタ1801は、(受信F50t1関数形状から)L_HDRルマを例えば500ニットPB_C L_IDRルマに変換するのに必要なparaを計算する(上述した先行する実施形態のチャネル適合計算を使用することができるが、このとき、WLO及びBLO適合は無視する、すなわち、paraは、paraのみを適用するだけで、いかなるオフセットも含まれることなく、2つの0-1.0ルマ表現の間でのみ作用する)。インバータ1802が、式24の逆を使用して、対応するabcaraを計算する(すなわち、式の右辺の既知のSGCを所与として、左辺の1/Xが計算される)。これは、受信されているものとしてのL_IDRルマからL_HDRピクセルルマを再構築するマッピングである。したがって、例えば、コーデック定義チェーンにわたって一定のままであるWPを仮定して、インバータ1802はabcaraのシャドウゲインSG_abc及び強調ゲインHG_abcを計算する。メタデータ管理を行う下側トラックは、最終的に、F_L_IDR(=F_I2S)を計算することを必要とし、そのため、アダプタ1803が、ETSI2 7.3のアルゴリズムを逆方向に適用することによって(F_ENCINV_H2Iを使用することによって部分輝度リグレーディングがIDR画像ルマに対してすでに行われている場合に、全体的な変換F_H2Sの残りの変換F_I2Sを実現する)、必要なマッピング関数F_I2S(特にそのSG_IDR及びHG_IDR)を決定する。
すでに上記で言及したように、いくつかのシナリオにおいて、HG_IDR値が、ETSI2に適合してHG_CODとしてコード化され得るものを上回ることが起こり得る。そのようなシナリオにおいて行うことができることは、HG_IDRの上記値をその最大値に制限し、チェーンを通じてそれが意味するもの、特に、異なる元のグレーダのF_H2S関数が対応するものまで戻ることである。このとき、すべての計算をその状況から再開することができ、これが、破線において示す任意選択のユニットが1つの連続的な処理ライン内で実施することである。
図22は、リミッタ1804が輝度マッピング曲線の再成形として実施することを説明する。点線において、開始F_H2S、並びに、ここから固定チャネル適合アルゴリズムによってF_ENCINV_H2I関数を導出することができる手法、(元の)残りの部分リグレーディング関数F_I2S_orが導出され得る手法(ここで説明されているようなより詳細な特定の実施形態アプローチを要請して現在定式化されているものとしてのETSI2において追加の特定の制限がない場合は元のF_IDR)を示す。この関数のHG_IDR_orは、これがHDRビデオコード化に対する完全に新規のアプローチであることを所与として、HG_COD定義に適合しない場合がある、すなわち、ETSI2適合HDRビデオコード化信号において通信することができるその8ビット最大値255を上回る値を必要とする。したがって、HG_IDR_orは、最大でも制限された依然としてコード化可能な値HG_IDR_LIM(ETSI2の現行の実施形態では2.0であるが、これは本アプローチの基本的な限定ではない)を下回る必要がある。これによって、いくらかより明るいIDR画像に対応するが、基本的の問題のない(様々な変化形を設計するためにシステム内のいくらかの緩和の可能性があると上記で言及したように)、水平上限(L_out_X=1.0)にいくらかより近い強調線形セグメントを有するparaが生成される。これは、HDRシーン画像内の最も輝度の高い領域が、よりコントラストの低いIDR表現(ただし、元のマスタHDRが完全に復元可能であり、SDRの見かけ及びすべてのMDRリグレーディングも良好に見える)を得て、ただし、より高いPB_C HDRマスタからのグレーディングが行われており、これは、(いずれにせよ何らかの劣化するマッピングは常に必要とされ、そのような超高輝度領域について予測される種類のものであるため)わずかな劣化を受ける可能性がある、典型的にはランプなどである、例えば3000~5000ニット範囲内にあるものに対応するため、これは実際には問題ないことを意味する。その後、第2のチャネルアダプタ1805が、すべての上記計算を再び適用し、ただし、今回は、HG_IDRが制限されている状況である(そのため、最初に同等のF_H2Sを計算することができ、これは上記のように、このカテゴリの実施形態において、制限されたF_I2S_LIMをPB_D=PB_Mster_HDR状況に外挿することによって実施することができ、その後、チャネル適合を再び適用することができる)。
この結果としてのF_H2S_LIM(すなわち、L_HDRルマのL_IDRルマへのマッピング)を、ここで、画像ピクセル輝度マッパ1806によって適用して、すべてのIDRルマをピクセル毎に決定することができる(又は実際には、ETSI2の色処理、すなわち、F_H2I_LIMルママッピング関数形状に対応する、そこで定義されているC_LUTも使用して、すべてのIDR YCbCr色を決定することができる)。最後に、IDRメタデータ決定手段1807が、PB_IDRそのものよりも低い(又は外挿によってPB_IDRよりも高い)、(任意のディスプレイPB_Dの)PB_C画像へのETSI2適合メタデータベースリグレーディングを実現するためのメタデータの完全なセットを計算する。そのため、再び、SG_IDR、HG_IDR及びWP_IDRが、上記で説明したような実施形態を形成する可能な組み合わせのいずれかに従って決定される。ここでまた、BLO_IDR及びWLO_IDRも決定される(上記で説明したように、Mster_HDRルマ軸上の特定のルマを、SDRルマ軸上の1.0にマッピングすることができ、これを、適切にスケーリングされたIDRルマのマッピング、すなわち、WLO_IDR、及び同様にBLO_IDRの定義として再定式化することができる)。
最後に、カスタマイズ可能曲線オプティマイザ1808によって、新たなIDRメタデータ状況に対してカスタマイズ可能曲線を最適化することができる(カスタマイズ可能曲線が使用される場合、例えば生放送などの何らかのサブマーケットコーデック技術実施形態変形例が、カスタマイズ可能曲線を決して使用しないことを選択している場合があるため、前者のpara+オフセット計算が適用される)。
図19は、カスタマイズ可能曲線の適合がどのように作用するかを説明している。これは常に、2つの概念的構成要素から構成される(直接的に単一の方向のみにおいて適用されるか、又は反転されるかを問わない)。第1の構成要素は、オブジェクトを念頭に置くことによって理解することができ、差し当たって、多重線形セグメントカスタマイズ可能曲線の制御点のうちの1つが一対のパンツに対応すると仮定する(そのため、特定のL_in_S正規化ルマxo1Iは、例えば、すべてのパンツのピクセルの平均ルマである)。例えば、人間のグレーダ(又はオートマトンソフトウェア)に従って、それらのパンツのピクセル(制御点の周り、及び、特に制御点のうちの1つ)を明るくして、それらのパンツのより良好なルマである正規化ルマを出力するための変換が使用される。図4において、ETSIアプローチにおいて、これはエンコーダにおける最後の(任意選択の)微細グレーディングコード化ステップ(ユニット405)、及び、対応して、デコーダにおける最初のステップとして行われることも分かる。そのため、実際には、このルマ変換は事実、SDRルマ領域内で定義される(行われる場合はpara+オフセットの粗HDR-SDRルママッピングの後に)。
そのため、任意のルマが、乗法的にL_out=m(L_in_SDR)*L_in_SDRと書くことができる変換(そのオブジェクトの!)を必要とすると推論することができる。
必要な乗法的ルマ変更(知覚的)は、例えばIDR画像など、任意の他の画像においては異なるが、微細グレーディングの補正が、リグレーディングを必要とする特定の「オブジェクト」に対応するということは信頼することができるはずである(たとえカスタマイズ可能曲線が、特定のオブジェクト微細グレーディングに加えて、例えば、粗グレーディング輝度マッピング曲線の形状の改善など、その利益のうちの別の利益のために使用される場合であっても、何らかのルマ部分範囲に対応する仮想オブジェクトのセットを定義することによって、これは物理的に依然として、そのようなオブジェクトベースの改善として解釈することができる)。そのため、オブジェクトを別のDRルマ範囲に対して追跡する場合、正規化横座標値が変化し得るが、オブジェクトの中核的本質は変化しない(例えば、オートバイに乗っている人はHDRにおいて、SDRの正規化ルマ、すなわち5/100とは異なる正規化ルマ、すなわち5/5000を有する)。そのため、その新たな正規化ルマ位置分布の関数を再計算する必要がある(これは、任意の量の中間部分リグレーディング輝度マッピング関数、さらには、どれだけ複雑なHDRビデオコード化実施形態を設計することが所望されているとしても、上向き及び下向きの様々な部分トラックについて行うことができる)。そのため、図19aは、これを全般的に示しており、元のSDRオブジェクトルマ(例えば、カスタマイズ可能曲線の線形セグメントのセグメント終端点)xo1Iがxo1Nに移動する(これは、例えば、図20のF_I2Sの逆であるabcaraを適用することによって行われる)。同じことが、例えば、五角形セグメント点などの他の点に対して行われる(典型的には、例えば16個など、十分な良好に分散されたセグメント点が存在すると仮定することができ、そのうち例えば10個が、グレーダが例えば粗線形カスタマイズ済みリグレーディングをより暗いルマの相対的に大きい部分範囲に適用する場合に、グレーディングソフトウェアによって自動的に設定される)。そのため、これらすべての点がシフトすると、ここで、元のCC_grオフセット、すなわち、L_out_SDR=CC_gr[L_in_S]を適用することによって、マスタコンテンツメタデータグレーダの元のCC_gr曲線(SDRルマ範囲上にCCを有するF_H2S)から、中間曲線CC_XRMを定義することができ、L_in_S値は元の値xo1Iなどであったものである(ただし、ここで、L_out値はxo1Nリマッピング済みIDRルマ位置にて起用される(破線の曲線がもたらされる))。無論、これは適切なHDR-IDR(又はより正確にはIDR-IDR)マッピング乗算手段ではなく、結果、図19bに示すように、ステップ2において補正が実施される。
再び図19bから分かるように、乗法的微補正は、無補正(Mster_HDRピクセルルマは、この画像がコンテンツ作成者によって、開始するために最適にグレーディングされたものであるため、定義によってすでに正確である)と、本出願人の手法において典型的には100ニットSDR画像である、リグレーディング画像のスペクトルにおいて(Mster_HDRから)最も極端に異なるPB_C画像の完全補正との間で変化するスケーラブルなプロセスとして解釈することができる(特定のピクセルの完全補正は、例えばmso1であり、これは、絶対的なオフセットとして書くことができ、ただし、乗法的補正yio1=mso1*xso1として書くこともできる(任意のルママッピング曲線形状yio1=F_L(xso1)を、ルマ依存乗算値の曲線として定式化することができる))。
乗法的補正の見方は、yio1=xso1である、対角線からのオフセットとして定式化することができるため、垂直スケール係数を導入することができる。
ScaleVer=max[(1-La)/(1-K);0] (式25)
La及びKは上記のように定義される。
カスタマイズ可能曲線の必要な適合された値はこのとき、以下のように求められる。
yiDA=Min[(yio1-xso1)*ScaleVer+xio1;1] (式26)
また、これはxso1のすべての値について計算される。
図27は、カスタマイズ可能微細グレーディング曲線のセグメント終端点を、デコーダについて技術的に的確なやり方で決定する別の手法を与える。粗グレーディングpara曲線のパラメータ(並びに、存在する場合は黒色及び/又は白色オフセット、ただし、paraに焦点を当てるために説明を単純化している)をどのように再計算することができるかはすでに説明した。paraは、任意の開始ダイナミックレンジから、例えばLDRダイナミックレンジなどの最終ダイナミックレンジへの粗グレーディングを行うと仮定する。黒色及び白色オフセットは、必要な場合は正規化範囲の不一致を考慮に入れることができ、そのため、カスタマイズ可能曲線はただ、正規化軸に沿った特定のレジームの相対輝度の再位置決めに関する。したがって、曲線は(0,0)において始まって(1,1)において終端し、それらの間に何らかのセグメントコネクタ点、実施例2においては、曲線形状決定点(例えば(x1,y1))を有する。レジームの性質は変化しないため、任意の表現及びそのリグレーディングにおいて、線形セグメント及び点の数が等しいことも理にかなっている(例えば屋内の最も暗い色のレジームは例えば、1500ニットPB_C画像ではなく、200ニットPB_C画像内の異なる(典型的には知覚的に均一な)正規化ルマにおいて終端するが、屋内及び屋外の2つのレジームが存在するという事実はリグレーディングにおいて変化しない)。
したがって、多重線形リグレーディング関数形状再決定のためには、対応する終端点(xnew,ynew)を求めることのみが必要とされる。
(理想的には)満たされるべき別の特性を利用することができ、すなわち、全範囲関数FL_50t1(この場合は、2つの連続的に適用されるべき関数、すなわち、全para2710及び全多重線形関数2711から構成される)によってマスタHDR画像を直接的にリグレーディングするか、又は、最初に(ここでもIDR生成para2701及びIDR生成多重線形関数2702の2つの関数を使用することによって)5000ニットマスタから700ニットIDRへとリグレーディングし、その後、そこから(チャネルpara2703及びチャネル多重線形関数2704を用いて)100ニットLDR画像へとダウングレーディングする2つのステップにおいてリグレーディングを行うかにかかわらず、結果は同じ、すなわち、同じLDR画像でなければならず、これは、それがマスタHDR画像について常に作成すべきLDR画像、すなわち、コンテンツ作成者がコード化及び通信したもの(ダウングレーディング輝度マッピング関数形状を有する)であるためである。すなわち、すべての可能な入力HDR正規化ルマx1_MHのうちのいずれが選択されようとも、最終的なLDR出力ルマは同じであるべきである。したがって、これはまた、(先行するマッピングを介して)チャネル多重線形のx座標x1_CH_Lにマッピングすることになる入力ルマについても真である。これは、セグメントを再計算するために使用することができ、縦座標y上に等価性を有するため、他方のダイナミックレンジ上で対応する多重線形カスタマイズ曲線の特定のセグメントのx_newを計算することのみが必要である。
そのため、符号化側において、任意のx1_MH入力について、スケーリングされた標準化アルゴリズムを適用することによって、チャネル適合Y_CHAを計算することができる。この値Y_CHAは、次のブロックの対応する入力x座標を形成し、これはチャネルPB_C決定paraになり、その式は上記で与えられている。無論、復号側とは対照的に、符号化側において、直接的に分かる(例えば、人間のグレーダによって作成されている)、5000ニットの100ニットへの全体的なリグレーディングのy1_L値に等しいため、yi_CH値はすでに分かっている。多重線形関数のすべての点についてこれを行うと、ビデオ信号に(F_I2sCIの一部として)書き込まれる、すべてのその特性化パラメータが得られる。
デコーダ側において、ここで何らかの未知のパラメータが計算される必要があるため、ここでも、いくらか異なるアルゴリズムに至るために、同じ論拠を使用することができる。そのため、最初のステップは全体的なリグレーディング関数を復元することであったため、ここで、受信されており、したがって既知であるx1_CH_L値に対応するx1_ML値が計算される必要がある。典型的には、例えば256個の量子化x値など、デジタル精度の関数が存在し(すなわち、例えば2つ又は3つのセグメント間の点ではなく、すべての点、そのため、間にある線上の点も含む)、そのため、単純に、カスタマイズされたものとしてのカスタマイズ可能曲線のすべての点についてLUTテーブルを数値的に構築することができ、すなわち、その曲線のy1_Lは、x1_CH_Lに対応する、既知の必要なx1_MLである。
LDRルマからIDRルマにマッピングすると、任意のyi_CHについてx1_CHが得られ、その値はpara2703を通じて逆にマッピングすることができる。para2701及び多重線形2702が分かっている場合、すべての可能なx1_MH値のいずれがこのY_CHA値にマッピングするかを決定することもできる。上記から、上記で説明したようにデコーダ側受信関数メタデータからpara2701を計算する手法が分かる。多重線形2702は(まだ)分からないが、これは現時点において必要ではない。これは、カスタマイズされた曲線2702は標準化アルゴリズムの垂直スケーリング式にも従うことが分かっているためである。任意の試験されるX1_MHが、対応するX_CHAへと変換可能であり、それに対応する(また必要とされる)Y_CHA値が、Y_CHA=(y1_L-x1_ML)*scaleVer+X_CHAから得られ、全体的なpara2710を適用することによって、x1_MHからx1_MLを計算することができる。
したがって、正確に1つの対応するx1_MH又はx1_ML値が求められ、これによって、全体的な多重線形関数2711が復元される。このとき、全体的なリグレーディング及びチャネル部分リグレーディングが分かるため、残りのリグレーディング、すなわち、5000ニットマスタと700ニットIDRとの間のリグレーディングも決定することができ、したがって、すべてが復号され、すなわち、関数が決定され、図26によって説明されているように、すべてのIDR画像ピクセル色の処理を開始することができる。
図26は、読者がより良好に理解することを保証するために、技能を有する読者が上記の詳細な説明においてすでに見出し得るすべてのことを、要約されるように再び概念的に説明する。上側トラックボックスは、メタデータ再計算、すなわち、様々な輝度マッピング関数決定の様々なステップに関するものである(下側ユニット2650などは、実際のピクセル色処理を実施するものである)。ここで、HDR関数ユニット901における標準化アルゴリズム適用、又はエンコーダにおけるIDRマッピング関数生成手段903の関数決定に対応する2ステップ計算がよく考えられるが、ここでは、SLHDR2PLUSビデオデコーダ側からのものである。説明したように、デコーダは、そのチャネルピーク輝度PB_CHを有する、受信されている選択IDR画像と、100ニットグレーディングとの間の輝度リグレーディング挙動を指定する関数F_I2sCIを得る。しかし、100ニットと、例えばPB_C_H50=6000ニットのマスタHDRピーク輝度との間のより大きい範囲の関数、すなわち、FL_50t1関数(又はより正確には、符号化側において使用されるものの逆形状の関数)を決定する必要があり、これは、元の関数計算手段2601が行う。しかし、本発明ではそこまでではなく、IDR正規化輝度(又はより正確には、本発明の典型的な復号トポロジにおいて知覚的に均一化された正規化ピクセルルマ)を復号してマスタHDR再構築輝度を得ることが所望される。そのため、元々受信されているF_I2sCIも、関数FL_50t1も、PB_C_H50ニットマスタと、100ニットの間であり、PB_CHニットIDR画像ではなく2つの他の画像のうちのいずれかの画像のリグレーディングを決定せず、そのため、(知覚的に均一化された)再構築マスタHDR画像ピクセルルマYpMstrを得るために、受信されているものとしてのIDRピクセルルマに適用する関数F_IDRt50を決定する必要があり、これは、再構築関数決定手段2602が行うことである。上記のように、典型的には本発明の全機能SLHDR2PLUS復号ICにおいても可能にされるが、原則的にSLHDR2PLUS復号については任意選択であるため、ディスプレイ適合可能性は破線のディスプレイ最適化関数計算ユニット2603として示している。チャネルピーク輝度PB_CHは、通常のとおりコード化されている(例えば、10ビットYCbCr)IDRピクセル輝度を知覚的に均一なIDRピクセルルマYpIDRに変換するために使用され、これを受けて、典型的には、本発明の好ましいSLHDR2PLUS ICにおいて本発明の再構築輝度マッピングを行う(ただし、当業者には、知覚的均一化又は別の方法などを適用しない代替的な回路又はソフトウェアにおいて本発明の原理を具現化し得る手法が理解される)。それに対して、知覚的均一化手段2650が、PB_C_H=PB_CHを用いて式1及び式2を適用する。輝度アップマッパ2651が、単純に、決定されている関数、すなわちYpMstr=F_IDRt50(YpIDR)を適用することによって、マスタHDR画像ルマを再構築する。例えば350ニットPB_C画像を作成するためにディスプレイ適合が必要とされる場合、ディスプレイオプティマイザ2652が、単純に、そのために決定されているディスプレイ最適化関数に適用され、ディスプレイ最適化ピクセルルマがもたらされ、すなわち、Yglim=F_DO(YpMstr)となる。それらは、逆の式1及び式2を適用するが、今回はPB_CHの代わりに、例えばディスプレイ最適化の350ニットPB_C_DOを用いて、リニアライザ2653によって実際の正規化ピクセル輝度Lに変換することができる。最後に、任意選択的に、典型的には、一般的なHDR10フォーマットにおける出力ルマYPQを与えるためにSMPTE 2084の知覚量子化手段EOTFを適用するさらなるルマコード生成手段2654が存在する。
図28において、色処理(すなわち、輝度ではなくピクセル色の飽和に影響を及ぼす)の例示的な仕様が与えられる。図15に示すような処理装置トポロジ(例えば、典型的には、何らかの例えば消費者デバイス内部の集積回路)が使用されると仮定し、ここで、色処理(乗算手段)は、各ピクセルの適切な乗算値、又は、より正確には各可能なピクセル色YCbCrを得る必要がある。この値は、色処理決定ユニット1551によって、異なるピクセルルマ値に対して異なる値を提示することを可能にする、すなわち、色域に沿って、すなわち特に色域の高さYに沿って差分飽和修正を可能にする関数を用いることによって決定される。
そのような関数F_C(Xi)の例が図28に示されており、Xiは、ここでは、例えば、典型的には固定10,000ニット値を表す1.0において終端するスケール上のYの正規化表現である。これは、いくつかの可能なピクセルルマについて飽和係数(Ys=F_C(Xs)、例えば0.33)を定義する多重線セグメント曲線(非限定例に過ぎない)である。この例において、1/2の値は、色単位元を意味し、すなわち、飽和のブーストでも希釈でもない。この特定の例において、0.5よりも低い値が色ブーストを定義し、より高い値は飽和の低減を定義し、したがって、例えば、人間のコンテンツ作成者又はオートマトンが、特定のHDRシーン及びその画像(例えば、第1の輝度ダイナミックレンジの画像を異なる第2の輝度ダイナミックレンジの最適に対応する出力画像に変換するために別の最適な色調整を必要とする、色鮮やかなTL標識を有する夜間の街路、又は、激しい爆発)の需要に応じて任意の形状をとるように自由に選択するこの特定の飽和ゲイン仕様曲線F_C(Xi)が、例えば色域先端に適合するようにするために、より明るいオブジェクトについて飽和を低減することが分かる。
この例において、本発明の元のマスタHDR画像は、何らかの正規化された均一なPQ値PQ_4000=0.9に対応する、4000ニットのコード化可能ピーク輝度又は発生する最大ピクセル輝度を有していたと仮定する。
そのマスタHDR画像内には4000ニットを上回るものは何もないため、4000ニットを上回る飽和ブースト値は原則的に指定される必要はないが、例えば、一定で4000ニットに等しい値Ys3を維持するためにそれらを指定してもよい。小文字のsによって指定される元の飽和ブースト仕様曲線は、点(Xs1,Ys1)、(Xs2,Ys2)などによって定義されることが分かり、X座標は正規化ルマ(知覚的に均一化された軸上にある、この例ではSMPTE 2084 EOTFを使用する)であり、Y座標は、そのX値、すなわち、例えば0.88が同様にCb及びCrによって乗算されるために適用可能な乗法ブースト係数を表す。
この開始状況、及び元の飽和ゲイン関数2801は、そのピクセルルマ及び彩度Cb、Crによって第1の参照ダイナミックレンジ、この場合は4000ニットPB_C HDRから、この例では典型的な100ニットPB_C_SDR画像である第2の参照ダイナミックレンジになるときにピクセル彩度をどのように処理すべきかを定義する。
SLHDR2PLUSのタスクはここでも、これを実際に異なるチャネルPB_C関連処理として表すことであり、例えば、PB_CH=600ニットである場合、元のマスタHDR画像に対応するチャネル通信IDR画像から開始する場合に同じ彩度変化を適用するという点において元の飽和ブースト仕様曲線2801に対応するチャネル飽和ブースト仕様曲線2804を求める必要がある。
すなわち、マスタHDR画像の任意のピクセル(Y_HDR、Cb_HDR、Cr_HDR)を、例えばSDRピクセル(Y_SDR、Cb_SDR、Cr_SDR)などの任意の二次ダイナミックレンジ色、又は、250ニットPB_Dディスプレイを最適に駆動するための250ニットMDR画像の対応するピクセル色(Y_MDR2、Cb_MDR2、Cr_MDR2)にマッピングする場合、すなわち、これは指定の、典型的にはメタデータとしてともに通信されるルママッピング関数及び元のF_C関数を含むが、チャネル画像色(Y_CDR6、Cb_CDR6、Cr_CDR6)から開始するが、その後、対応するチャネル飽和ブースト仕様曲線2804(すなわち、その関数はその後、色処理決定ユニット1551にロードすることができ、装置は入来するピクセルのバルク処理を開始することができる)、及びまた、上記において様々な可能な実施形態において詳細に説明されているような正確なチャネルルママッピングを適用するときに、正確に同じ又は少なくとも良好に近似する、例えば(Y_MDR2、Cb_MDR2、Cr_MDR2)ピクセル色を得るべきである。
また、より興味深いことに、これらのチャネルPB_C関連ルマ及び彩度マッピング関数を供給されるデコーダは、例えば、HDR画像などを復元するか、又は、さらには任意の二次ダイナミックレンジ(MDR)への任意の上方若しくは下方マッピングを実施するが、受信されているものとしてのIDR画像及びそのピクセル色から開始する(また、好ましくは、好ましくは図15に示すものなど、同じピクセル処理トポロジを使用する)など、元の状況を再構築する(特に、受信されているものとしてのチャネル飽和ブースト仕様曲線から元の飽和ブースト仕様曲線を決定する)ことが可能であるべきである。
符号化側において、チャネル通信のためのIDR画像は、ルママッピング部分に関する上記の実施形態のいずれかによって説明されるように(例えば、図9のF_H2hCIを参照)、正規化ルマの、例えば4000ニットPB_C_master_HDRから600ニットPB_CHへのマッピングを行うことによって生成することができる。これは、元のマスタ関数セグメント点2802の、チャネル適合セグメント点2803までの距離PL(Xs2)にわたる水平移動によって示されている(このシフトのみの効果は、細い一点鎖線の曲線によって示されているが、これは図示されているだけで、技術的には使用されない)。600ニットIDRから100ニットへのマッピングは、4000-100ニット色処理全体の一部のみを実現するため、エンコーダは依然として、垂直シフトに対応する点(例えば、その上方の円に対応する、すなわち、同じXc値を有するチャネル適合色ブースト値点2805)の新たな出力Y値を計算する必要がある。
飽和ブースト関数は、マスタ表現からチャネル表現へと(例えば、PB_C_MHDR=4000ニットからPB_CH=600ニットへと)マッピングするために、第1の様式において修正される必要があり、これは、この例によれば、好ましくは以下のように実施される。
最初に、以下に従って修正係数が計算される。
MF=1-(invPQ[PB_CH]-invPQ[PB_SDR])/(invPQ[PB_C_MHDR]-invPQ[PB_SDR])(式27)
この例において、PB_SDR=100ニットであり、invPQはSMPTE 2084において標準化されているものとしてのPQ EOTFの逆関数の省略表現である。
その後、以下のように定義されるチャネル適合関数g(Xn)が計算される。
g(Xn)=F_C[Xn]*MF+(1-MF)/Rs (式28)
Rsは典型的には2.0になるように選択される定数である。
Xnは、図28に示すような、ピクセル輝度の任意の可能な正規化PQスケールルマ表現である。
この処理が色処理決定ユニット1551にロードされるように処理するための新規のLUTが、例えば、好ましい実現形態において、以下のように定義され得る。
F_C_chadap[Xn]=Min{LC0;(1+MF*POWER[Xn;2.4])/(Xn*Max[Rs/255;Rs*g(Xn)])*S}
(式29)
ここで、F_C_chadapは、マスタHDRコンテンツの元のコンテンツ作成者のF_Cに対応する適合飽和ブースト関数であるが、特定のPB_CH及び対応する中間ダイナミックレンジ画像について、LC0は、例えば好ましくは1/8に等しい定数であり、POWERはべき関数を示し、Rsは好ましくは2に等しい別の定数であり、Sはルマコードの語長が使用するビット数に依存する定数であり、S=1/(POWER[2;wordlength])は、例えば10ビット入力画像については1/1023である。
興味深いことは、式29の分子のべき関数である。これは、PQ定義領域におけるルマ及び彩度の成文化のために発生する飽和挙動(SDR/MPEG次代のYCbCrの元の定義がそうであったような、通常の平方根挙動とは対照的な)の非線形性を補正するための良好に機能する関数の例である。
第1の様式の修正ステップは、飽和ブースト仕様曲線2804のさらなる計算への開始点に過ぎない(事実、これは、4000ニットの元の仕様から開始して100ニットに至る、4000ニットから600ニットへのマッピングの「半分」を行うが、実際に関心があるのは600-100ニット飽和ブースト仕様曲線2804であり、そのため、全体的な動作を2つの部分に分割し、第1の修正ステップにおいて第1の部分がすでに計算されているようにして、ここで全体のうちの残りの部分を計算する必要がある)。
曲線2804を得るために、SLHDR2PLUSエンコーダは2つのことを行う必要がある。
第1に、エンコーダは、F_C_chacomm[Xc]曲線2804の(又は同様に連続的なF_C曲線表現を有する)線形セグメントの新たな定義点を、ルママッピングを通じてそのような点を追跡することによって計算する必要がある。
すなわち、例えばXs2など、元の各点(メタデータを供給される元の4000-100ニットF_C曲線からの)が、新たな正規化点Xc2などにマッピングされる必要がある。
これは、全体的なルママッピングPL(Xs2)を、上記で説明した任意の実施形態状況において定義されたように適用することによって行われ、すなわち、PL曲線は図9のF_H2hCI曲線である。
例えば、ルママッピングがParaのみによって定義された場合、4000ニットPB_C_MHDR正規化ルマ位置[図28において添え字sによって示されている]を対応する600ニットPB_CH正規化ルマ位置[図28において添え字cによって示されている]にマッピングするために、適切に変形されたParaが(上記式に従って)使用される。
ルママッピングが白色オフセット、及び/又はカスタマイズされた曲線形状なども含む場合、そのすべてが、600ニット状況に対して同様に調整される必要があり、対応する600ニット正規化ルマ位置(Xc…)が計算される必要があり、そこから曲線2804の定義が開始する。
しかし、すべてのそれらの(再決定された)位置Xcに対する色調整は、600ニット(又は任意のIDRのPB_CH)から、典型的には100ニットPB-SDRである最も低いダイナミックレンジ参照レベルへの補正のための残りの部分のみを行う必要がある。
以下に従って、Yc値が計算される。
Yc=Ys/{Rs*(Ys*MF+(1-MF)/Rs)} (式30)
Ys=F_C[Xs]であることに留意されたい。
これは以下の状況である、曲線のより重要な部分のみを説明していることに留意されたい。
Xs<=invPQ[PB_C_MHDR]、完成させるために、例えば、例示的なPB_C_MHDR=4000ニットに対応する0.9値を上回る正規化PQルマについて、正確なスケーリング関係を維持するために、好ましくは以下の式が使用される。
Xc=Xs*invPQ[PB_CH]/invPQ[PB_C_MHDR] (式31)
これらの上側Xc値のYc値は同様に計算されるか、又は、曲線のその部分が実際には未使用である場合には、最後の関連値において一定に維持される。
最後に、典型的には、例えば以下のような何らかの量子化レベルまでの何らかの丸めが含まれる。
(Xcr,Ycr)=round[255*(Xc,Yc)]/255 (式32)
SLHDR2PLUSデコーダは、F_C_chacomm[Xc]曲線定義(すなわち、チャネル飽和ブースト仕様曲線2804)の送信されている(Xc,Yc)対及び受信されている(Xcr,Ycr)対から元の(Xs,Ys)対を復元する必要がある。
したがって、エンコーダの逆の2つのステップが適用される。
最初に、デコーダは、飽和ブースト曲線線形セグメント定義点をそれらのXc位置からXs位置へとリマッピングする必要がある。上記において、IDR画像とともに通信されているメタデータ内で受信されているものとしてのチャネル適合ルママッピング関数から開始する、IDR、例えば、600ニットPB_CHルマ位置から元のマスタHDRルマ位置へのルママッピングを計算する手法を示した。
この動作をPQ領域において呼び出す(図28が示すように、XsとXcの両方の値が、SMPTE 2084を適用してPQ領域内で定義される)。
Xs=PQICA(Xc) (式33)
この逆チャネル適合関数の形状はここでも、とりわけ、例えば、Para単独対Para+カスタマイズされた曲線など、ルママッピング関数のいずれの定義が使用されたか、及び、他方においては、洞窟探検HDRシーンなどに適用可能である特定のParaを定義するShadowGainのような特定のパラメータ値に依存する(そのすべてが上記の様々な実施形態について十分詳細に教示されている)。
補正状況はここでも、以下のとおりである。
Xc>invPQ(PB_CH)である場合、Xs=Xc*invPQ[PB_C_MHDR]/invPQ[PB_CH] (式34)
以下に従って、必要なYs値が計算される。
Ys=(MF-1)*Yc/(Rs*MF*Yc-1) (式35)
最後に、例えば1/255の刻みまでの丸めが再び含まれる。
最後に、これは受信IDR画像から元のマスタHDR画像色(Y、Cb、Cr)のみを再構築するのに有用であるが、SLHDR2PLUSデコーダが、PB_D_MDR、例えば250又は400ニットディスプレイを最適に駆動するための任意の必要な中ダイナミックレンジ画像に直ちに変換する(すなわち、それぞれの例えば(Y_MDR2、Cb_MDR2、Cr_MDR2)色を計算する)ことができることが有利であり、そのとき、これは無論1回であり、すなわち、チャネル適合IDR色(Y_CDR6、Cb_CDR6、Cr_CDR6)から開始し、すなわち、例えば、適切なルマ処理関数(又はLUTなど)及び彩度乗算手段決定関数F_C_MDRを図15に示すようなピクセル色処理トポロジにロードすることによる。
そのために、式29の特定のF_C定義式が有利には適用される。
分子及び分母の両方が、新たな状況、すなわち、PB_CHからPB_MDRへの新たな色マッピングに対して調整される必要があり、後者は、例えば、250ニットディスプレイが最適なディスプレイ最適化画像(元のマスタHDR画像であったもののうちの、及び、デコーダが関係する限り、対応する入来600ニットIDR画像、それら2つのいずれも、250ニットディスプレイ上に表示するのに依然として良好ではない)を供給される必要があるとき、250である。
そのために、最初に2つの修正係数が計算される。
MF_ch=1-(invPQ[PB_CH]-invPQ[PB_SDR])/(invPQ[PB_C_MHDR]-invPQ[PB_SDR])
(式36)
MF_do=1-(invPQ[PB_MDR]-invPQ[PB_SDR])/(invPQ[PB_C_MHDR]-invPQ[PB_SDR])
(式37)
CPL[Xc]が以下のように定義されるルママッピング関数である場合、
各PB_CH定義正規化入力ルマXcについて、
最初にPQ EOTFを適用し、その後、値PB_CHのRHOパラメータを用いてフィリップス知覚化関数(PPF:Philips perceptualizer function)を使用して知覚領域に変換し、その後、PB_CHから可能な実施形態のいずれかに従って教示されているPB_C_MHDRに戻るルママッピング関数の関数形状、及び、コンテンツ作成者の関数形状を適用し、その後、フィリップス知覚化関数(PPF)の逆を使用して、ただし今回は値PB_C_MHDRのRHOパラメータを用いて線形領域に変換し、最後に、SMPTE 2084による逆PQ EOTFを適用して対応するCPL[Xc]値をもたらす。
CLY[Xc]関数は以下のように計算される。
CLY[Xc]=(1+MF_do*POWER[CPL[Xc];2.4])/(1+MF_ch*POWER[CPL[Xc];2.4])
(式38)
これは、ディスプレイ最適化のためにその式の新たな状況に対して飽和位置補正関数(FSNL)を呼び出す、彩度乗算手段定義関数(典型的にはC_LUT)のこの部分の古い(もはや適用可能でない)状況の補正を含む。
このとき、2つのg関数は以下のように計算される。
Gch[Xn]=F_C_[CPL[Xc]]*MF_ch+(1-MF_ch)/Rs;
Gdo[Xn]=F_C_[CPL[Xc]]*MF_do+(1-MF_do)/Rs (式39)
(ここで、F_C_[CPL[Xc]]は、メタデータ内でSLHDR2PLUSデコーダによって受信されるものとしてのF_C_chacomm[Xc]色調整曲線から計算される、すなわち、曲線2804に対応する、すなわち、例えば(Xs,Ys)点の上記計算によって実施されるものとしての元の飽和ゲイン関数2801をもたらす元のコンテンツ作成者の彩度乗算手段である)
最後に、IDR-MDRディスプレイ最適化のための適切な彩度乗算手段をもたらすC_LUTが、以下のように計算される。
F_C_DO[Xn]=CLY[Xc]*max{Rs/255;Rs*Gch[Xn]}/max{Rs/255;Rs*Gdo[Xn]}
(式40)
表示又は例えば記憶などのために適時に正確にディスプレイ適合されたMDR画像をもたらすために、ピクセル色プロセッサの作動を開始するための新たに入来する画像の始まりの前に、このF_C_DO[Xn]関数をユニット1551に直接的にロードすることができる(技能を有する読者であれば、他の実現変形例が可能であるが、このとき、すべての計算がそれに応じて修正される必要があることが理解されよう)。
単独で又は組み合わせて変更することができる態様のいくつかを説明するためにいくつかの実施形態/教示が提示されたが、同じ基本原理に沿って、いくつかのさらなる変形例を形成することができ、同様にコンテンツ作成サイトにおいて最適にグレーディングされたマスタHDR画像を再構築するために、ETSI2 HDRビデオ通信などと一致して受信されているものとしての異なる中間ダイナミックレンジ画像メタデータからルママッピング式が再導出される。本明細書において開示されているアルゴリズム的構成要素は、(全体的に又は部分的に)実際には、ハードウェア(例えば、特定用途向けICの部分)として、又は、専用デジタル信号プロセッサ若しくは汎用プロセッサなどの上で作動するソフトウェアとして実現され得る。
当業者には、いずれの構成要素が任意選択の改善であり得、他の構成要素と組み合わせて実現することができるか、並びに、方法の(任意選択の)ステップが装置のそれぞれの手段にどのように対応するか、及び、逆の対応になるかが、本発明の提示から理解可能であるはずである。本出願における「装置」という単語は、その最も広い意味、すなわち、特定の目的の実現を可能にする意味のグループにおいて使用されており、したがって、例えば、IC(の小さい回路部分)、又は専用機器(ディスプレイを有する機器など)、又は、ネットワーク化システムの一部などであり得る。「構成」も、最も広い意味において使用されるように意図されており、そのため、とりわけ、単一の装置、装置の一部、協働する装置(の部分)の集合などを含み得る。
コンピュータプログラム製品という表示は、汎用又は専用プロセッサが、一連のロードステップ(中間言語及び最終プロセッサ言語への翻訳のような、中間変換ステップを含み得る)の後に、コマンドをプロセッサに入力し、発明の特徴的な機能のいずれかを実行することを可能にするコマンドの集合の任意の物理的な具現化を包含するように理解されるべきである。特に、コンピュータプログラム製品は、例えば、ディスク若しくはテープのようなキャリア上のデータ、メモリ内に存在するデータ、有線若しくは無線のネットワーク接続を介して伝わるデータ、又は紙上のプログラムコードとして実現されてもよい。プログラムコードとは別に、プログラムに必要な特性データもまた、コンピュータプログラム製品として具現化されてもよい。
データ入力及び出力ステップのような、方法の実施に必要なステップのいくつかは、コンピュータプログラム製品に記載される代わりに、プロセッサの機能のうちにすでに存在してもよい。
上述した実施形態は、本発明を、限定するのではなく、例示することに留意されたい。当業者が、提示されている例の、特許請求の範囲の他の領域へのマッピングを容易に実現することができる場合、これらのオプションすべてに逐一詳細には言及していない。特許請求の範囲において組み合わされているような本発明の要素の組み合わせとは別に、要素の他の組み合わせも可能である。要素の任意の組み合わせは、単一の専用の要素において実現することができる。
特許請求項内の括弧の間の任意の参照符号は、特許請求項を限定するようには意図されていない。「備える」という単語は、特許請求項内に列挙されていない要素又は態様が存在することを除外するものではない。単数形は、そのような要素が複数存在することを除外するものではない。
使用されている用語及び略語
PB_C:任意の状況に対して一般的に示される画像のコード可能な最大輝度。Cはコード化を表し(ビット深度と混同されるべきではない)、例えば、HDR画像は、PB_C_HDR=4000ニットを有することができる(L_norm=L/PB_Cであるため、下記の相対輝度も定義する、L_normは0.0と1.0との間にある正規化輝度である)。
PB_D:任意のディスプレイの表示可能な最大輝度(ピーク輝度としても知られる)。例えば、現行のHDRディスプレイは典型的には、1000ニットのPB_Dを有する(しかし、最低600ニット又は最高2000ニット、及びさらには4000ニットの値も現在賄うことができ、将来的にはより高いPB_Dがあり得る)。
IDR(中間ダイナミックレンジ):元々(すなわち、マスタ画像)、例えば10,000ニットなどのPB_C1によって、実際にはPB_C2<PB_C1(例えば典型的には2分の1以下低く、PB_C2は典型的には500ニット以上)を有する二次HDR画像として定義されていた画像を表現するためのメカニズム。
MDR(中ダイナミックレンジ、確実にIDRと混同されるべきではない):典型的には受信されているものとしてのHDR画像のPB_C(PB_C_H)と、PB_C_SDR=100ニット(ビデオ分野における合意された定義による)との間にあるPB_C_MDRを有する画像。PB_C_MDR値は任意のディスプレイのPB_Dに等しく設定される(このように、誤ったダイナミックレンジ、及び、従ってより重要なことには互いに対する正規化ルマの誤った相対統計分布を有する入来HDR画像を、より低いダイナミックレンジ能力、すなわちPB_D<PB_C_Hの特定の利用可能なディスプレイに最適にリグレーディングすることができる)。
Para:PB_C1に対応する第1の正規器化ルマ範囲上で定義されるルマをPB_C2による正規化にマッピングするための、特定の実用性の高い有用な関数。この関数は上記において式4及び式5、並びに、それらの間の放物線セグメントによって、又は、公式にはETSI TS 103 433-1 V1.2.1 (2017-08) [略してETSI1] p. 70 Eqs. C-20において定義されている。
Abcara:任意のparaの逆関数(すなわち、その形状を一意に定義するパラメータを有する)、その逆の形状はまた、直感的に軸を交換することによって求めることもできる(ただし、数学的に計算する必要がある場合がある)。
WLO(白色レベルオフセット):第2の正規化ルマ範囲上の1.0にマッピングされる、第1の画像の(im1)正規化ルマ範囲内の正規化ルマ。したがってPB_C_im1>PB_C_im2である。本出願においては、コード化プロセス定義に沿った異なるPB_Cの様々な画像についていくつかの異なるWLOが存在し、したがって、それらを容易に区別するために、例えばWLO_grのような添え字を与えられる。
BLO(黒色レベルオフセット):第2の正規化ルマ範囲上の0.0にマッピングされる、第1の画像の正規化ルマ範囲内の正規化ルマ。したがってPB_C_im1>PB_C_im2である。本出願においては、コード化プロセス定義に沿った異なるPB_Cの様々な画像についていくつかの異なるBLOが存在し、したがって、それらを容易に区別するために、例えばBLO_IDRのような添え字を与えられる。
P_LUT:第1の画像の任意の可能な正規化ルマを第2の画像の対応する正規化ルマに変換するのに必要な全体的なマッピング(図4によって説明されているように本発明のコーデックアプローチにおいては複数の部分リグレーディングから構成される)。したがってPB_C_im1!=PB_C_im2(典型的には少なくとも1.02倍だけ異なる)となる。典型的には画像内容に依存し、例えば、スマート画像解析オートマトン又は人間によって最適化されるP_LUT[L]は正規化ルマの相対分布、すなわち、ヒストグラムを変化させるため、これは、例えば、本発明の新規のHDRコーデック原理において重要であるIDR画像定義に含まれるものなど、ダイナミックレンジの変換の重要な態様である。
C_LUT:P_LUTとともに色変換(YCbCr_out=T[Y_cbCr_in])を達成する、ピクセル色のクロミナンス(彩度としても知られる)のピクセルルマ依存マッピング。
フィリップス知覚化関数(PPF):0とPB_Cとの間の範囲上で定義される輝度を知覚的に均一な輝度にパラメータ的に変換するように構成されている関数(式1に定義されているような)。PB_C値はパラメータRHOを介したPPF関数形状の制御パラメータであり、したがって、様々な入力輝度の視覚的に均一なコード化ルマの割り当てである。