JP2022541884A - Hdr画像のための表示最適化挙動の調節 - Google Patents
Hdr画像のための表示最適化挙動の調節 Download PDFInfo
- Publication number
- JP2022541884A JP2022541884A JP2022500901A JP2022500901A JP2022541884A JP 2022541884 A JP2022541884 A JP 2022541884A JP 2022500901 A JP2022500901 A JP 2022500901A JP 2022500901 A JP2022500901 A JP 2022500901A JP 2022541884 A JP2022541884 A JP 2022541884A
- Authority
- JP
- Japan
- Prior art keywords
- mapping function
- display
- image
- luma
- luma mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title description 8
- 241000023320 Luma <angiosperm> Species 0.000 claims abstract description 289
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims abstract description 276
- 238000013507 mapping Methods 0.000 claims abstract description 208
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 38
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000002829 reductive effect Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 176
- 235000019557 luminance Nutrition 0.000 description 113
- 230000000875 corresponding effect Effects 0.000 description 24
- 230000006399 behavior Effects 0.000 description 12
- 239000003086 colorant Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000000670 limiting effect Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012856 packing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000219357 Cactaceae Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 235000019994 cava Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
- G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Processing (AREA)
Abstract
HDRビデオ表示調整のより良好でより調節可能な手法を可能とするために、備えられた又は接続可能なビデオ復号器207への接続部501であって、前記ビデオ復号器が符号化高ダイナミックレンジ画像Im_CODを受信し、前記符号化高ダイナミックレンジ画像は第1の最大コード化可能輝度PB_Hにしたがって符号化され、前記ビデオ復号器が少なくとも1つのルママッピング関数F_ct、FL_50t1_1を指定するメタデータを受信し、前記少なくとも1つのルママッピング関数が前記符号化高ダイナミックレンジ画像において符号化された時の同一のピクセル位置の輝度と比較して、前記符号化高ダイナミックレンジ画像に対応する二次画像の輝度のオフセットを指定し、前記二次画像が、前記第1の最大コード化可能輝度PB_Hよりも少なくとも4倍小さい又は大きいことが好ましい第2の最大コード化可能輝度PB_Sを有し、前記ビデオ復号器が復号高ダイナミックレンジ画像Im_RHDRと前記ルママッピング関数とを出力するように構成された、接続部501と、特定のディスプレイが最も明るいピクセル色として表示可能な表示最大輝度PB_Dの値と、入力ルママッピング関数とを受信するように構成された表示調整部401であり、前記表示調整部が、前記入力ルママッピング関数と前記表示最大輝度PD_Dとに基づいて少なくとも1つの表示調整済みルママッピング関数を計算するアルゴリズムを適用し、この少なくとも1つの表示調整済みルママッピング関数が、前記入力ルママッピング関数に形状で対応するが、前記表示最大輝度PB_Dの値と、前記第2の最大コード化可能輝度PB_Sと前記第1の最大コード化可能輝度PB_Hとの間の差に関連した前記第1の最大コード化可能輝度PB_Hとの間の差に応じて、知覚的に均一化された軸において前記入力ルママッピング関数のグラフの45度増加する対角線に近接して存在する、表示調整部401と、を備える画像ピクセル輝度調整装置500であって、前記画像ピクセル輝度調整装置が代替ルママッピング関数ALT_FL_50t1_1を決定する代替ルママッピング関数決定部502を備え、前記表示調整部401が、組み合わせルママッピング関数を得るように、前記少なくとも1つのルママッピング関数F_ct、FL_50t_1と前記代替ルママッピング関数ALT_FL_50t1_1とを組み合わせるように構成された組み合わせ部503を備え、前記表示調整部が、入力ルママッピング関数として、前記組み合わせルママッピング関数に対してそのアルゴリズムを適用し、前記画像ピクセル輝度調整装置が、前記復号高ダイナミックレンジ画像Im_RHDRのピクセルルマを受信し、それらのピクセルルマに対して、前記組み合わせルママッピング関数を適用して出力画像Im_DAの出力ルマを取得するルママッピング部510を備え、前記画像ピクセル輝度調整装置が、出力画像又はビデオ伝送ケーブル又は無線チャンネルを備え、前記出力画像又はビデオ伝送ケーブル又は無線チャンネルに対して、ディスプレイが接続可能であり、前記出力画像Im_DAを送信する出力信号フォーマッタ230をさらに備えることを特徴とする、画像ピクセル輝度調整装置500を提供する。
Description
本発明は、特定の輝度ダイナミックレンジ、特に最大表示可能輝度(PB_D)を有するディスプレイ上の特定の表示のためにHDRビデオの高ダイナミックレンジ画像ピクセル輝度を調整するための方法及び装置に関する。
数年前、高ダイナミックレンジビデオコーディングの新規技術が、特に出願者によって紹介された(例えば、WO2017157977参照)。
HDRビデオのコーディングと処理は、数年前までの、全ビデオが符号化され現在では標準ダイナミックレンジ(SDR)ビデオコーディング(低ダイナミックレンジ(LDR)ビデオコーディングとして知られる)と呼ばれる従来のビデオコーディング、すなわちアナログ時代のPAL、デジタルでは例えばRec.709MPEG2とは非常に大きく異なる。事実、コーディング可能である必要がある、非常に明るい、場合によっては暗い画像オブジェクト(すなわち、コンテンツ作成者によって作成された最初のマスターHDR画像におけるより大きなレンジのピクセル輝度)から開始し、そこからビデオ技術のルールすべてが1つずつ再考されて、多くの場合再発明されてきた。
コーディングに関して、HDRとSDRとの違いは、物理的な違い(ピクセル輝度に大きな違いがあり、より大きなダイナミックレンジ特性のディスプレイに表示される)だけではなく、最初の画像ダイナミックレンジとは異なる二次ダイナミックレンジの画像を得るなどのために様々な画像オブジェクトピクセル輝度を再グレーディングする手法を指定する追加の(画像のショット毎の)動的変化のメタデータである、異なるルマ符号割当て関数(OETF)を開発するという技術的な違いでもある。
Rec.709のSDRのルマ符号定義は、その時の全ディスプレイの通常のレンダリング機能に合うように符号化する近似的な平方根OETF関数形状(ルマ:Y=平方根(輝度L)のため、約1000:1の輝度ダイナミックレンジのみを符号化できた(8又は10ビットルマの場合)。SDR時代では、コーディングピーク輝度PB_Cとして知られる最大輝度を指定する、又は使用することは誰も気にかけていなかったが、20世紀の市場にあった様々なLDRディスプレイの輝度は、およそ0.1の最暗表示可能輝度(単純な用語では「黒」)と100nit(「白」)、すなわち表示ピーク輝度(PB_D)との間に近接して存在していた。
最初に市場に紹介されたHDRコーデックは「HDR10」コーデックで、例えば、黒リボンの宝石箱であるHDRブルーレイを作成するために使用され、OETFを、SMPTE2084で標準化された、より対数形の知覚量子化(PQ)関数に変更したのみであり、より多くの輝度に対して、すなわちビデオ作成(例えば、動画、テレビ放送など)のためのあらゆる実用的HDR画像仕様にとって十分な1/10,000nitと10,000nitとの間の輝度に対してルマを定義可能であった。
単純化し過ぎて、HDRを、ルマ符号ワード(例えば8ではなく16ビット)のための単純に大きな(より大きな)量のビットと混乱するようなことがあるべきではない。そのようなことはアナログデジタル変換器のビット量などの線形系が該当する場合があるが、コード割当て関数は大幅に非線形を有することが可能であるため、この場合、10ビットルマでHDR画像を実際に定義でき、それによって既に開発されたシステムの再利用性の利点につながる(例えば、ICは、特定のビット深度又はビデオケーブルなどを有する場合がある)。
ルマの計算後、10ビットプレーンのピクセルのみが得られ(又は2つのクロミナンスプレーンであるCb及びCr3の10ビットプレーンが得られ)、「まるで」数学的にSDR画像であるかのように、例えばMPEG-HEVC圧縮されているかのようになどのラインにまでさらに下がって古典的に処理され得る。
当然ながら、受け取る側は、SDR画像ではなくHDR画像を取得していることを認識する必要があり、そうでなければ誤ったレンダリングが発生する。例えば、線形でマッピングのみ行った(画像最大輝度PB_CをSDR表示ピーク輝度PB_D=100nitにコーディングした)場合、PB_C=1000nitを有する画像は10倍暗すぎるように見える場合があり、これは夜のシーンが不可視になることを意味する。他の輝度マッピングを使用することによって明るいピクセルを作ることができるが、一般に、何が行うのが最良かについて細心の注意が必要である。
PQ OETFの対数特性のため、HDR10画像は原理的に可視である(ルマ符号が通常のSDRコードであるかのように解釈した場合、すなわちほぼ2乗のEOTFを適用後にそれらを表示する場合)が、見苦しく劣化したコントラストを有することになり、特にコントラストが低下して誤った輝度を有して見えるようになる(例えば、暗闇に隠れていると考えられる犯人が、まるで天井の照明によって照らされたように突然出現する)。
そのような「単なるHDR」ビデオ画像(HDRマスターグレーディングとも呼ばれており、グレーディングという用語は、HDRシーンが例えば1000nit(又はそれ以上)のPB_Cを有する画像表現で最適に見えるようにするために、様々なシーンオブジェクト/ピクセルがその表現においてどの輝度を有するべきかを示す)の単なるコーディング及び処理の問題は、同一の表示ピーク輝度PB_D=1000nitのディスプレイ上でのみ正しく表示することであり、したがって、ディスプレイと様々なコンテンツのPB_Cとの両方が(「制御不能に」)変化する可能性があるため、例えばそのようなHDRブルーレイディスクは常に完璧には表示せず、この状況では夜のシーンは不可視となることがすぐに判明した。
それに加えて、より高度なHDRビデオ符号化器が、例えばPB_C=5000nitの高ダイナミックレンジの画像と、通常、HDRシーンのグレーディングとして知られる、PB_C=100nitを有するSDR画像である低ダイナミックレンジの画像との2つの異なるダイナミックレンジでグレーディングされた画像を符号化する。これは、その画像が従来のLDRディスプレイ上ですぐに表示可能であるためである。以下で説明するように、例えばMPEG-HEVC画像として実際に伝送される対(ビデオ画像の表示時刻毎)の一方から第2の画像を算出できるようにする全数学的情報を伝送する場合、受け取り側へ2つの異なるグレーディングの画像を伝送することは、2つの画像、すなわちYCbCrピクセル色のDCT変換マトリクスの2つのセットを実際に伝送することを意味する必要はないことを読者は理解されたい。
実際のシーン(ただし、均一に照射されたシーンは、100:1の比率の物体の反射度に起因して、より低いダイナミックレンジのみを有する)は、非常に高いダイナミックレンジを有することができる。例えば、外の日光に対して小さな開口部を有する洞穴は、家庭でのテレビ視聴のシーンの適切なHDRグレーディングを含む10,000nitのPB_C基準表現上で、洞穴のピクセルに対して1nit未満の輝度を有し、屋外のピクセルの少なくとも一部に対して10,000nitまでの輝度を含む。そのような難しいHDR画像は、特にコンテンツ作成者が、SDRグレーディングにおいて、依然として非常に類似したHDRルックを伝達したい場合、非常に低いダイナミックレンジ(例えばSDRになる場合は少なくとも100倍)にあまり明らかに変換されないが、図1で説明するように、原則としては伝達されることは可能である。
本明細書を読む際に便利なように、さらに関係する態様のいくつかを迅速に理解できるように、図1は、(例えば1000nitPB_Dディスプレイと接続された)将来的なHDRシステムが正しく、すなわち画像における全オブジェクト/ピクセルのために適切な輝度をレンダリングすることによって、処理することが可能である必要がある多くの考えられるHDRシーンの説明上の典型的な例を数例示す図である。
ダイナミックレンジマッピング、例えば大ピクセル輝度ダイナミックレンジから小ピクセル輝度ダイナミックレンジへのダイナミックレンジマッピングに関わる典型的な問題を示す(少なくともピーク輝度特性が変化すると仮定できる場合)。この問題は、多くの物を非常に小さいスーツケースにパッキングするタスクにたとえることができる。最大のスーツケースには、整理せずにすべての物を投げ入れるだけでよく、何とか収まる。中間サイズのスーツケースでは、何らかの最適化を決定する必要があり、例えば、衣類を個別の袋などの小さい仕切りにきっちりとパッキングする場合、必要なスペースは少なくてもよく、この場合もすべてが容易に収まる。最小のスーツケースのみを使用する場合、より厳しいアクションの新しいセットが必要となる。例えば、目的地に関する本をパッキングする場合、別の本で同一の情報がより詳しく説明されているときは2冊目の本の数ページを破って、パッキングする物の量を何とかして減らす(したがって、「同等のもの」となるが、最大のスーツケースにあるものとは正確には異なる)。衣類のみをパッキングしている場合、高価な服の一部を破くことは好ましくないため、上述した書物の最良の圧縮方法を適用しないことが好ましい。ビデオコーディング技術においても類似しており、実行中に「画像パッキング」を行い、さらに様々なサブエコシステム(例えば芸術性が非常に高いハリウッド映画と、雑に作成されたニュース素材、例えば素人の投稿者からの映像など)の必要性に応じて異なる可能性もある、安定していて、普遍的に適用可能で、高速に計算可能な方法を見つける必要がある。
例えば、ImSCN1は、西部劇映画からの晴天時の屋外の画像である(例えば、約500nitの平均輝度を用いて雨天日のルックではなく晴天のルックをより多く示すために、100nitのディスプレイ上よりもHDRディスプレイ上でやや明るくレンダリングされることが理想的な、明るい領域が大部分を示す、又は明るい領域のみとなっていることを特徴とする)一方、ImSCN2は夜間の画像である。
何が画像を晴天にし、何が暗い画像とするのか。必ずしも相対的な輝度ではなく、少なくともSDRパラダイムでは相対的な輝度ではない。HDR画像のレンダリングとSDR時代で常に行われていたレンダリングとの違いは、SDRが限定されたダイナミックレンジ(約PB=100nitで、およそ0.1から1nitの最小黒(MB)レベル)を有していたことであり、ほぼ物体の固有の反射率のみがSDRで示される(良好な白に対する90%と良好な黒に対する1%との間の範囲にある)。それは、均一で技術的に制御された照明の下で物体(その反射から特定量の明るさと、当然ながら色度を有する)を認識するには良いが、自然のシーンで有することができる照明自体で美しい変化と、閲覧者に与え得る効果とを伝えるにはあまり適していない。
ディスプレイが対応している場合、したがって画像コーディング及び処理技術が対応している場合、森の中を散歩している人は、木々の間からの太陽の光を実際に見ることになり、すなわち、SDRディスプレイ上のいくつかのパッチのやや黄色に近い印象だけではなく、人が影から太陽に向かって歩いた時に明るくカラフルな日光に照らされた衣服を見ることが期待される。同様に、火事と爆発も、少なくともPB_Dが対応していれば、最適な視覚効果を有する。
SDRにおいて、夜間の画像はやや暗くするのみであり、ルマヒストグラムでは、それほどまででなく、そうでなければ暗すぎて、不快に画像をレンダリングする(少なくとも部分的に不可視の可能性がある)こととなる場合がある。さらに100nitのテレビ上では、又は100nitの符号化においては、過度に明るいもののための余地がない。したがって、物体をその照明に関係なく表示しなければならず、同時に、シーンの中で高コントラストの照明があっても、すべてを忠実に表示することができなかった。事実、これは、非常に明るい晴天のシーンが曇った雨の日のシーンとほぼ同一の表示輝度(0から100nit)でレンダリングされなければならなかったことを意味した。状況が何であったか、例えば、サボテンがおそらく太陽の光に照らされているため明るいことを閲覧者が期待しているなどを、他の手がかりから計算しなければならなかった。夜間のシーンでも過度に暗くレンダリングされてはならず、そうでなければ閲覧者が画像の最も暗い部分を明確に区別できず、したがって、この場合も、夜間の輝度は、およそ1nitと100nitとの間の範囲においてレンダリングされた。これに対する従来の解決法は、夜間のシーンを青で着色することであり、それによって閲覧者は昼間のシーンを見ていないと理解すると考えられた。これらは、事実、SDRイメージングの深刻な制限である(他の例は、例えば、窓の外のすべてを単一の白にクリッピングすることであり、それによって、もはやそこに見えるものが何もない)が、閲覧者及び業界のユーザが何らかで「それに慣れて」しまっていたが、それは改善の余地がないことを意味しない。
ここで、当然ながら、現実の人間の視覚は、使用可能な光量にも適応するが、それほどまでではない(現実の大部分の人は、暗くなっている、又はより暗い、又は非常に明るい環境にいることを認識する)。さらに技術的なテレビシステムによる調整は人間の目及び脳による適応と同一ではなく、家庭におけるコンテンツの表示への調整は、砂漠の中で外にいる場合の元のシーンへの調整とは同一ではない。
したがって、少なくともHDRディスプレイが利用可能な場合に、非常にリアルにレンダリングされた画像を得るために、芸術的に設計することが可能な優れた局所的、時間的な照明効果のすべてを用いて画像をレンダリングすることが望ましい場合がある。それをまさに示しているのは、例えば暗い部屋の中でのライトセーバーに対する適切な輝度であり、マスターグレーディングを作成しているカラーグレーダーに判断を任せており(カラーグレーダーについて述べる時、各エコシステムに対して同等の概念を意味し、したがって、マスターHDR画像とSDR画像との両方のピクセル輝度を定義するために、人間が多くの時間を費やす必要はなく、リアルタイムのブロードキャストなどのための自動グレーディングも必要ない)、本出願は、そのような画像を作成及び処理するための必要な技術的要素に焦点を当てる。
図1の左軸では、物体の輝度は、5000nitのPB_Dディスプレイ用に、5000nitのPBマスターHDRグレーディングで見たい輝度である(すなわち、グレーダーは、家庭の典型的な高品質HDRテレビが5000nitPB_Dを有することを前提とした画像を作成し、そのような家庭での閲覧室を表現したものに実際に座って、そのような5000nitのPB_Dグレーディング基準表示上でグレーディングする)。錯覚だけでなく明るい太陽に照らされた環境にいる実際のカウボーイのリアルさも伝えたい場合、それらのピクセル輝度を例えばおよそ500nitなど、(例えば屋内のシーンであった前のシーンと比較して)十分に明るく指定してレンダリングする必要がある(ただし、HDR画像作成及び処理の典型的な落とし穴である、不快なほど明るすぎないようにする)。夜間のシーンのために、ほぼ暗い輝度が望ましいが、オートバイに乗っている主役が明確に認識可能でなければならず、すなわち暗すぎては(例えばおよそ5nitでは)認識可能でなく、同時に、例えば、例えば5000nitのディスプレイ上でおよそ3000nit、又はいずれかのHDRディスプレイ(例えば1000nit)上でのピーク輝度前後など、街灯の非常に高い輝度を有するピクセルが存在することが可能である。
第3の例であるImSCN3は、同様に、現在、HDRディスプレイ上で実現したものを示し、非常に明るいピクセルと非常に暗いピクセルとの両方を同時にレンダリングできる。ImSCN3は暗い洞穴を示し、晴天の外を見ることができる小さな開口部を有する。このシーンに関して、例えばおよそ400nitで明るい晴天の景色の印象をレンダリングしたいシーンよりも、木のような太陽に照らされた物体をやや低輝度にしたい場合があり、洞穴の内部のほぼ暗い登場人物とより詳細に調整することが必要である(暗い洞穴の中の物体が視覚的に劣化させるような人の目における散乱も望ましくないため)。色グレーダーは、全物体(PB_HDR=5000nitのマスターHDR画像に既に存在する)の輝度を光学的に調整して、例えば洞穴の暗い部分に立っている人はおよそ0.05nitのマスターHDRグレード画像においてコード化される(HDRレンダリングが明るいハイライトだけでなく、暗い領域もレンダリングできると仮定した場合)など、いずれも不適切に暗く、又は明るく見えることがなく、コントラストが良好なようにすることが望ましい。
ただし、ここで、問題は、これらのマスターHDR物体ピクセル輝度を有する場合、例えば1500nitで終端するダイナミックレンジ上では何になる必要があるのかである(この小さなダイナミックレンジでも1500nit未満の全輝度は忠実に表現されることが可能であるが、1500nitを上回るピクセル輝度はどうなのか、典型的な挙動では、同一の1500nitのPB_C値にすべてクリッピングされるが、理想からは遠い)。
したがって、上記のスーツケースのパッキング例のように、原則的に、コンテンツ作成者には、マスター5000nitHDR画像から始まる再グレーディングされた画像の大きなセット、例えば、3000nitのPB_C画像、2000、1500、1000、750、500、300、及び100nit画像を定義するというタスクがある。そのような大きなタスクは、当然ながら、商業的には実行不可能である。したがって、コンテンツ作成者が自分のマスターHDR画像及び対応SDR画像のみをグレーディングでき、それに基づくすべての中間の画像が、自動的で技術的な、いわゆる表示最適化システムによって決定されることができる技術を発明した(WO2017108906参照)。
深く理解することが重要となる、以下で詳述されるような本発明の概念の一部の構成要素の説明のために一部の技術的なビデオコーディングの可能性を示すために、HDR画像用に設計した例示のHDRビデオコーディングシステム、特にHDRビデオコーディングについて説明する(本説明により、簡単な説明のために選択された例示のシステム以外のシステムに対しても本発明の原則が適用可能であることを理解されたい)。
本ビデオコーディングシステムは、本分野における典型的な単一の種類のディスプレイ用の単一の標準化されたHDRビデオのみ(例えば、10ビットの知覚量子化が、符号化のためのEOTFを定義するルマ符号として使用される)の伝送(符号化)を処理できる(例えば各エンド閲覧者が1000nitのPB_Dディスプレイを有するという前提において、画像はPB_C=1000nitで定義される)だけでなく、同時に、当業界における様々な他のピーク輝度を有する様々な可能性のある他のディスプレイタイプのための最適なルック/グレーディングを有するビデオ、特に100nitのPB_DのSDRディスプレイのためのSDR画像を伝送及び処理できる。
すなわち、そのようなHDRビデオ伝送システムでは、伝送ピクセル化画像として1種類のグレーディングされた画像のみを実際に伝送するが、様々な変形を有し、本例ではそのうちのSDR画像をいずれかのビデオ伝送システムによって受信者に伝送するもの(ただしHDR画像を伝送する変形を使用してもよい)を説明する。メタデータにおいて、HDR画像ピクセル色、特にそれらのSDR画像ピクセル輝度のうちの特定の輝度を定義する、再グレーディング関数としても知られる、1つ又は複数の輝度再マッピングも加えるため、同時に、該当するシーンに対するHDR画像ルックも伝送する(二重画像伝送のようにHDR画像、又はピクセル化HDR画像データの少なくとも第2の層を伝送する必要は実際にはない)。
それに加えて、図2で図示するように、適切な可逆色変換関数F_ctのセットが、例えば、人間の色グレーダーによって符号化側で定義される。
上記の関数は、マスターHDRピクセル輝度(又は透過的に対応するルマ符号)から始めて、そのHDRマスター画像MAST_HDRに対応する妥当なルックのSDR画像(Im_LDR)をどのように取得するかを定義すると同時に、逆関数IF_ctを使用することによって、元のマスターHDR(MAST_HDR)画像が、再構成HDR画像(Im_RHDR)として十分な正確性でいずれかの受信側で再構成されることが可能であることを確実にする。IF_ct関数は、伝送された前方のHDRからSDRへのマッピングのF_ct関数から決定されることができ、又はシステムは、例えば、SEIメッセージのMPEG機構、又はいずれかの他の適切なメタデータ伝送機構によって、IF_ct関数を直接でも伝送する。
色変換器202は、通常、マスターHDR画像(MAST_HDR)ピクセルの輝度のF_ct輝度マッピングを適用し、その輝度は正規化されることを前提とし、それによって最大輝度が1.0となる(その後、HDR及びSDR全領域を重ね合わせることが可能であり、すなわちDR輝度変換が符号化可能な色の、正規化された全領域における色の上方又は下方へのシフトに対応することを意味することに留意されたい)。本発明の概念を簡単に理解するために、単純化のため、F_ctのHDRからSDRへの輝度マッピングは、100nitのPB_CのSDR出力画像Im_LDRのピクセルの正規化SDR出力輝度(すなわち図1の右側の輝度)を導出するために、1/4乗輝度マッピング関数(L_out_SDR=(L_in_HDR、すなわち1/4)乗)であると仮定する。
受信者は、受信した対応SDR画像からマスターHDR画像を再構成可能である必要があるため、又は何らかの圧縮関連のアーチファクトのため、実際のピクセル化画像から離れた、少なくとも近似の再構成が可能である必要があるため、色マッピング関数も、その後、ビデオ符号化器203に入力される必要がある。制限なく、ビデオは、MPEG HEVCビデオ圧縮器を使用してこのビデオ符号化器203によって圧縮されて、符号化された(SDR)出力画像Im_CODを生成し、それらの関数は、例えばSEI機構又は類似の技術を用いてメタデータに格納されることを前提とする。
したがって、コンテンツ作成装置221の動作後、画像伝送技術の観点から、伝送チェーンの残りは、入力として「正常なSDR」画像を取得するふりをする。したがって、例えば伝送フォーマッタ204は、何らかの伝送媒体205を通過するようにデータをフォーマット化するためにすべての必要な変換を適用する(例えば、BDディスク上に格納するためのチャンネルコーディング、又はケーブル伝送のための周波数コーディングなど)。
その後、画像データは、何らかの伝送媒体205、例えばATSC3.0又はDVB、又は任意のビデオ信号通信原理に従う衛星又はケーブル又はインターネット伝送を介して、テレビセット、又はセットトップボックスなどの消費者ビデオ装置、又は映画館受信ユニットなどの専門的システムなどの1つ又は複数の受信側に移動する。
いずれかの消費者側又は専門業者側において、例えばセットトップボックス、テレビ又はコンピュータなどの様々な物理的装置に組み込まれた受信アンフォーマット器206は、アンフォーマット及びチャンネル復号を適用することによってチャンネル符号化(存在する場合)を解除する。その後、ビデオ復号器207は、例えばHEVC復号を適用して、復号SDR画像Im_RLDRを生成し、色変換関数メタデータF_ctをアンパックする。その後、色変換器208は、SDR画像を、いずれかの非SDRダイナミックレンジ(すなわち100nitよりも高く、通常少なくとも4倍高いPB_Cを有する)の画像に変換するように構成される。
例えば、5000nitの元のマスター画像Im_RHDRは、MAST_HDRからIm_LDRを作成するために符号化側で使用された色変換F_ctの逆色変換IF_ctを適用することによって再構成される。ただし、SDR画像Im_RLDRを異なるダイナミックレンジに変換する表示調整ユニット209も備えられてもよく、例えば、ディスプレイ210が3000nitPBディスプレイ、又は1500nitPB、又は1000nitPBの画像などの場合にIm3000nitが最適にグレーディングされる。ビデオ復号器及び色変換器が単一のビデオ再決定装置220内に存在することを非限定的に前提とする。技能を有する読者は、例えばPB_C=10,000nitを有するHDR画像を伝送するトポロジを同様に設計でき、色変換器は、対応テレビ又はモニタ用に、例えばPB_C=2500nitを有する出力HDR画像を生成すること、さらに、例えば様々なサーバ上などで動作させるために、様々なユニットがネットワークを介して接続されることを理解できる。
本技術的構成要素(接続、協働、統合などが行われる本教示による革新的な構成要素及び/又は従来技術)は、画像又はビデオ技術において、すなわち、例えば、様々なハードウェア機器において典型的である様々な技術的システムとして具現化又は実現される。例えば、ビデオ再決定装置220は、いずれかの技術的ビデオ供給出力部231を有してもよく、例えば、テレビのディスプレイなどに接続可能なHDMI(登録商標)ケーブル(さらに、例えば、格納装置など、又はそれぞれIm3000nitの出力画像Im_RHDRを他の可能性のあるリモート装置又はシステムなどに伝送するネットワークケーブル)を有してもよい。選択された物理的変形に応じて、画像を、いずれかの技術的状況での必要に応じた信号に変換する画像又はビデオ出力信号フォーマッタ230が存在してもよい(例えば、以下のコアの測色計算は、例えば出力としてピクセル色の線形R、G、B表現を生成し、例えばディスプレイ210に送信された最終的な画像信号(I_out)が、その技術的構成に合わせて、例えばHLGフォーマット化、展開、又はMPEG又はAV1圧縮などが行われ、信号フォーマッタ230が、例えば、上記のような全信号導出段階(単一のオプションとして固定、又は構成可能のいずれかに関わらず)を処理する役割を果たす典型的な集積回路などのユニットを含んでもよいことを説明する)。
図3は、色変換器202(それぞれ色変換器208)が本発明において一般的に何であるかを有益に理解する一例を説明するものであり、この特定の色計算コアは1つの構成可能コアとして全変形を適切に実現するが、技術に関する本革新的提案に関する限り、要素が様々な異なるトポロジにおいても設計されると考えられる。色は、ビデオ色表現用に非常に古典的な色フォーマット、すなわちYCbCrで入力される(追記として、様々な実施形態では、このスペースは、例えば、ガンマ2.0定義、PQ定義など、様々な非線形R、G、Bの色トリプレットから定義されてもよい)。
クロマ乗数決定器301は、処理されているいずれかの連続した画像ピクセルのルマ(Y)値に応じて、適切な乗法スケーリング係数を決定し、乗算器302はこの乗法スケーリング係数を使用して、このスケーリング係数s(Y)に、両方のクロマ座標Cb及びCr、すなわち入力色の出力赤クロマCro=s(Y)*Cr及び出力青クロマCbo=s(Y)*Cbを乗算するために、同一のs(Y)係数は、出力色の色相を、入力色の色相と同一に保つ(一方で、ピクセル色の飽和に適切に影響する)。クロマ乗数決定器301は、伝送SDR(又は他の)画像とともに通常伝送され、例えばSDR画像が有する各可能性のあるY値に対するs係数のLUTを含むメタデータMET(F_CLUT)から読み出すように構成されてもよい。出力クロマ値Cro及びCboは、行列計算器303でルマYとともに入力され、行列計算器303は、正規化されたRGB表現、すなわち正規化赤入力成分RnI、正規化緑入力成分GnI、及び正規化青入力成分BnIを算出するために、(例えばRec.709又はRec.2020など、どの原色が選択されたかに応じて、一般的に知られている測色法にしたがって)標準的な3×3の行列係数を使用する。正規化RGB表現は、(正規化された)必要とされる出力RGB値RnO、GnO、BnO、すなわち本例では(正規化)HDR再構成成分に変換される。
処理されているピクセルが有する入力ルマYが与えられた場合、例えばピクセルトリプレットの輝度増加は、(乗算器305による)上記3つの入力成分に同一のルマ乗算値g(Y)を乗算することによる影響を受ける。上記において、いずれかの所与の正規化ルマ間マッピング関数形状(例えば、(0,0)から始まり(1,1)で終端する放物線)を、すべての可能性のある正規化ルマYnのためのg個の乗数の対応セットに変換できる従来技術を説明した。この動作は、コンテンツ作成者によって伝送されたようなメタデータMET(F_PLUT)を入力として読み込むルマ乗数決定器304によって実行され、輝度マッピング曲線、又は同等に相関したルママッピング曲線、又は任意の選択されたものの形状をコード化する。
乗算器305の後、依然として1.0への正規化の領域上であるが、ピクセル輝度はそれ自体のHDR_再構成相対位置に正しくシフトされる。最後に、出力色計算器306は、例えば、HDMI(登録商標)ケーブル、無線通信チャンネルなどを介して接続されたディスプレイなど、技術的出力コンポーネントによる必要に応じて技術的にフォーマット化するために必要な全計算を実行する。出力色フォーマットRGB_DFは、例えばPQ-RGBフォーマットとなるように決定してもよいが、接続されたディスプレイが特定の物理的タイプであるとわかっている場合は例えば全種類の最適化を適用してもよいが(出力が例えば後で閲覧するために格納する例えばハードディスク記録などである場合は、行わなくてもよく、又は異なって行ってもよい)、それらの詳細は、本発明の説明では重要ではない。
図4は、特定のHDRシーン画像のためにコンテンツ作成者が選択したいずれかの再グレーディング関数形状(及び状況、コーディング実施形態)に対して、表示最適化(表示調整とも知られる)がどのように作用するかを説明する図である(例えば、左部分が比較的暗い画像であり、それによってより暗い領域の正規化SDR表現において相対的輝度増加が必要であり、したがって影に隠れている人はHDR画像表示とSDR画像表示の両方で半分可視であり、一方、そのシーンと連続した画像のより明るい部分で霧の中にいる人に対しては十分なコントラストが同時に実現され、図4に示すFL_50t1_2曲線のように2つの領域においてコントラストを最適化する二重曲線が得られる)。
図4を参照すると、(例えば受信されたHDR画像)が特定の正規化ルママッピング関数FL_50t_1によって対応SDR画像に最適に再グレーディングされるように現在の画像(又は連続画像のショット)が存在することを前提とする(ビデオにおいて技能を有する読者は、軸と、曲線の対応形状とを変更するだけで、正規化輝度と正規化ルマとの両方においてどのように上記教示が構成されることが可能であるかを理解できることに留意されたい)。
不必要に限定することは望ましくなく、本説明の例は、視覚的に均一化された輝度に両方が変換される軸を使用する(すなわち、横軸及び縦軸上の等間隔の刻みは、視覚的に等しい輝度差にほぼ対応する)ことを前提として説明を続ける。
出願人によれば、以下の式は、輝度(又は希望に応じて、原色の赤の線形寄与率など、色座標のいずれかの量)を上記のような知覚的に均一なルマvに変化させるために使用可能である。
v(Ln;Lmax)=log[1+(RHO(Lmax)-1)*power(Ln;1/2.4)]/log[RHO(Lmax)]
RHO(Lmax)=1+32*power(L/10000;1/(2.4)) [式1]
v(Ln;Lmax)=log[1+(RHO(Lmax)-1)*power(Ln;1/2.4)]/log[RHO(Lmax)]
RHO(Lmax)=1+32*power(L/10000;1/(2.4)) [式1]
上記式において、Lは、ピクセルの(正規、絶対、nit単位==Cd/m^2)輝度、Lnは最大限で1.0まで正規化された輝度、すなわちコーディングされた画像PB_C、例えば5000nitのピーク輝度に等しいLmaxを有し、その後、除算Ln=L/PB_Cすることによって得られる輝度である。
したがって、例えば5000nitのコンテンツをSDR輝度にマッピングする必要がある場合、図4Bの縦軸に示すような出力ルマv_SDRとなり、出力ルマv_SDRは式1の逆数を使用することによって輝度に変換されることが可能である。輝度の視覚的に均一なルマ表現のほぼ対数特性を理由として、縦軸で、PB_C_SDR=100nitまでの10進がほぼ等間隔となっており、すなわち、v=0.6が10nitにほぼ対応するなどとなる。
同様に、5000nitのPB_C定義のHDR入力の場合、横軸の正規化ルマはほぼ等間隔に0、1、10、100、1000に対応し、終端点5000は、10k位置が存在する位置よりわずかに近い。
この軸系に対応して、コンテンツ作成者は、その後、現在の画像のために必要に応じて輝度再マッピング関数形状を定義できる(例えば、いくつかの街灯を有する暗い通りは、より暗いPB_DディスプレイでのレンダリングのためのマスターHDR画像と対応する暗いPB_C画像において、その通りの家又は低木の最暗部分を何らかで明るくして、十分に可視な状態を維持する必要があり、これは第1の例示のルママッピング(輝度マッピングに相当)曲線FL_50t1_1の暗い端部における45度よりも大きい傾きとともに、5000nitルマを例えば650nitルマにマッピングする必要がある曲線形状を自動的に導出するための表示調整戦略によって示されており(650nitPB_D接続のディスプレイが、SDR表現画像が伝送及び受信された場合に受信又は再構成されたようなマスターHDR画像の適切に最適化/再グレーディングされたバージョンを供給される必要がある場合)、以下で説明する。
表示調節のいくつかの変形が存在することが可能で、それらすべてが本特許出願の本革新的技術追加事項とともに機能する場合、複雑な説明を単純なままとするために、使用された特定の表示調整機構は、ETSI TS 103 433-2 V1.1.1(2018-01)のTechnicolorとともに出願人のKoninklijke Philipsによって標準化されたものであることを前提とし、その目的のため、再度、概要をやや一般的に簡潔に述べる。
考え方は、例えば、マッピング曲線形状FL_50t_1又はマスターHDR及びSDRグレーディング済み画像のうちの少なくとも1つを決定する人間の色グレーダーなどのコンテンツ作成者に時間があまりないことである(グレーダーが2つの画像のみを作成した場合、出願人はSDR画像の輝度がどのようにHDR画像のうちの1つと関連するかを自動的に導出されたFL_50t_1関数によって導出する技術を使用可能であるが、それらの詳細はこの場合も本説明に十分に関連していないため、グレーダーは、例えば色処理ユーザインターフェースツールを用いてFL_50t1_1曲線の形状を描き、これが本当に正しいルックのSDR画像を実現しているかをチェックし、そうでなければ所望のSDR画像出力を生成する形状が得られるまで関数を再度変更することを仮定することを、技能を有する読者は理解するであろう)。
したがって、コンテンツ作成者は多くの異なる再グレーディング曲線を作成したくない(例えば、5000nitの最高品質のマスターHDR画像を作成した後、2000nitに最適に再グレーディングする手法の関数、及び1000nitへの再グレーディングの手法の他の関数の作成を希望せず、その理由は、それらの関数が、非常に類似した輝度再グレーディングの必要がある同一の画像オブジェクトを有する同一のマスターHDR画像に対して動作するため、それらの2つの関数は、通常、比較的類似して見えるためであり、5000から2000へのマッピング曲線は、5000から1000へのマッピングなどよりも「やや弱い」正規化輝度シフトを実行する)。
したがって、理論上では、全種類の再グレーディングされた関数及び画像に関して言えることは多くあるが、技術的な実用面の観点から、v_HDRからv_MDRへのマッピングのために間の関数を自動的に計算する自動表示調整アルゴリズムを使用した場合(600nitのPB_CのMDR画像を作成するための第1の例示の表示調整済み関数F_DA50t6_1と同様)、すべてでなければ大部分のHDR画像に対して、100nitと、この例では5000nitであるPB_C_マスター_HDRとの間のPB_Dのディスプレイに対して十分に良質な中間ダイナミックレンジ(MDR)画像を得ることが論じられており、これは、グレーダーが、(洞穴は、例えば青色照明パネルを有する理髪店と非常に異なるルママッピング関数形状を必要とするため、当然ながら異なる典型的な画像状況毎に)例えば第1のSDRマッピング関数FL_50t1_1などの単一のHDRからSDRへのマッピング関数のみを作成すればよいとわかるため、グレーダーの作業量を緩和する。
表示調整部401(通常は、ESTI標準で説明されるような技術的数値演算を実行する集積回路、又は同等のシステム)は、その後、上記の入力ルママッピング関数及びPB_D値(この例では600nit)に基づいて導出し、HDRルマを適切な600nitのPB_CのMDRルマにマッピングするための、必要とされる第1の例示の表示調整済み関数F_DA50t6_1を算出する(すなわち、アンフォーマット器206によって受信されたようなメタデータにおけるコード化HDR画像とともに伝送された第1のSDRマッピング関数FL_50t1_1としてコンテンツ作成者によって伝送されたような、現在の画像の特定の輝度再グレーディングの必要性を正確に考慮する)。同様に、他の画像に対して、第2のSDRマッピング関数FL_50t1_2が、示されるように異なる形状(及び通常は同一のPB_D値)を有する場合、結果として、同一の汎用形状を有するがPB_C_マスター_HDRとPB_C_MDR=PB_D_利用可能ディスプレイとの間の差の結果得られる適切な量において多少「弱い/中間」である、正しく最適化された第2の例示の表示調整済み関数F_DA50t6_2(例えば暗い影になった角と、強い照明の下にあるテーブル上の領域など、画像における異なる領域又は物体の特定の再グレーディングの必要性を示す)が得られる。
どのようにそのような自動表示調整が、通常、適切に作用するかを図4Bに示す。例えば第1の入力ルマVnH1又は第2のVnH2などの何らかの入力ルマに対応した、対角線上のいずれかの点に対して、入力関数、この例では第2のSDRマッピング関数FL_50t1_2に入るまで、例えば対角線に対して直交した尺度方向をたどる。この点は、対応100nit出力ルマへマスターHDR入力ルマを再グレーディングすることが必要な関数に対応するため、この(垂直方向の上方と比べて左に45度傾斜する)尺度では、100nit位置に対応する。この例では5000nitであるPB_C_マスター_HDR位置は、対角(開始)位置に対応する(Ln_5000からLn_5000への再グレーディングが恒等変換に対応するため、技能を有する読者は理解する)。ここで、入力ルママッピング曲線上で100nit位置から始まる大きい刻みが存在して対角線に向かって小さい刻みが存在する、例えば対数尺度などの尺度を間の位置に対して定義すると、この尺度は例えば600nitなどの所望のPB_Cの全位置を特定でき、したがって破線以外で示された、必要とされる第2の例示の表示調整済み関数F_DA50t6_2の形状である曲線のすべての点を生成する。その後は、この(「新規」/最適化)曲線形状をルマ乗数決定器304に送信すればよく、その後、図3に示す色計算エンジンを使用して、入力としてマスター_HDR画像ピクセル色から始まる600nitMDR画像のための全ピクセルルマを計算できる。
このシステムは非常に適切に動作し、多くの種類のHDRコンテンツに対して何度も満足のいくレベルで実行された。ただし、それに伴う問題は、自動の固定アルゴリズム特性のため、やや静的であることであり、説明のために選択された変形のほかに、例えば、他の尺度、すなわち対角線と入力ルママッピング関数位置との間の距離に沿った、又は対角線に沿って分散された尺度軸の45度以外の方向の100のPB_C_マスター_HDR位置の異なる配置を使用する他の変形を使用してもよく、又は表示調整アルゴリズムに対してより高度な変更を有する変形でもよいが、実行中の再構成がやや面倒にみえるために、いずれかのそのような選択されたアルゴリズムが表示調整を実行する受信機器の集積回路に、通常、組み込まれる場合、表示調整済み関数の結果が常にそのままで「固定」される。これは、少なくとも一部の顧客にとって、可能性のある表示ピーク輝度、例えばPB_D<350nitの範囲の少なくとも一部において、画像のうちのいくつかが例えば暗すぎる又はコントラストがなさすぎるなどを依然として認識するという不便さにつながる場合がある。グレーダーが変更しなかったルママッピング関数を技術的フレームワーク制約として維持したいことを理解することは重要である。より明るい画像を望んだ場合に、コンテンツ作成者はより急な関数FL_50t1_1から開始するべきであると主張する場合があり、例えば、わずかに、又はわずか以上に再度明るすぎる可能性のある明るいディスプレイ(例えば、PB_C>2500)上での表示などのいずれかの他の問題、又は表示領域の上部近くに他の問題が全く存在しないと一時的に仮定する。
しかしながら、コンテンツ作成者は上記の関数が「自分のゴールド」であると主張する場合がある。すべての二次処理が根拠とする全MDR画像のセット全体に対する全体的な仕様は、重要過ぎて修正できず、又はとにかく基本的に「正しいだけ」であるとみなされる(すなわち、おそらく、特定の条件における特定のディスプレイが若干暗すぎると認識する場合があるが、それは、特に100nit画像の基準表示が誤っていたことを意味するものではなく、それどころか、100nit画像自体も、すなわちコンテンツを定義する画像として、誤っておらず、コンテンツ作成者がこの画像を最適化した手法も間違っていない)。したがって、実用上では、単純な手法で、受信側で、表示調整を変更することによってMDR画像生成が調整又は改善可能でありながら、すなわち各連続ビデオ画像のためのSEIメタデータで受信されたSDRマッピング関数を含む、入って来る画像情報すべてを未修正のままとすることが望ましい。
従来技術の表示調整の静的特性を解決し、受信側での何らかのさらなるカスタマイズ性を実現するための実用的な手法は、
備えられた又は接続可能なビデオ復号器(207)への接続部(501)であって、前記ビデオ復号器が符号化高ダイナミックレンジ画像(Im_COD)を受信し、前記符号化高ダイナミックレンジ画像は第1の最大コード化可能輝度(PB_H)にしたがって符号化され、前記ビデオ復号器が少なくとも1つのルママッピング関数(F_ct、FL_50t1_1)を指定するメタデータを受信し、前記少なくとも1つのルママッピング関数が前記符号化高ダイナミックレンジ画像において符号化された時の同一のピクセル位置の輝度と比較して、前記符号化高ダイナミックレンジ画像に対応する二次画像の輝度のオフセットを指定し、前記二次画像が、前記第1の最大コード化可能輝度(PB_H)よりも小さい又は大きい第2の最大コード化可能輝度(PB_S)を有し、復号高ダイナミックレンジ画像(Im_RHDR)と前記ルママッピング関数とを出力する、接続部(500)と、
特定のディスプレイが最も明るいピクセル色として表示可能な表示最大輝度(PB_D)の値と、入力ルママッピング関数とを受信する表示調整部(401)であって、前記表示調整部が、前記入力ルママッピング関数と前記表示最大輝度(PD_D)とに基づいて少なくとも1つの表示調整済みルママッピング関数を計算するアルゴリズムを適用し、この少なくとも1つの表示調整済みルママッピング関数が、前記入力ルママッピング関数に形状で対応するが、前記表示最大輝度(PB_D)の値と、前記第2の最大コード化可能輝度(PB_S)と前記第1の最大コード化可能輝度(PB_H)との間の差に関連した前記第1の最大コード化可能輝度(PB_H)との間の差に応じて、知覚的に均一化された軸において前記入力ルママッピング関数のグラフの45度増加する対角線に近接して存在することを特徴とする、表示調整部(401)と、を備える画像ピクセル輝度調整装置であって、
前記画像ピクセル輝度調整装置が代替ルママッピング関数(ALT_FL_50t1_1)を決定する代替ルママッピング関数決定部(502)を備え、
前記表示調整部(401)が、組み合わせルママッピング関数(CMB_FL_50t1_1)を得るように、前記少なくとも1つのルママッピング関数(F_ct、FL_50t1_1)と前記代替ルママッピング関数(ALT_FL_50t1_1)とを組み合わせる組み合わせ部(503)を備え、前記表示調整部が、入力ルママッピング関数として、前記組み合わせルママッピング関数に対してそのアルゴリズムを適用し、
前記画像ピクセル輝度調整装置が、前記復号高ダイナミックレンジ画像(Im_RHDR)のピクセルルマを受信し、それらのピクセルルマに対して、前記調整済み組み合わせルママッピング関数(ADJ_F_DA50t6_1)を適用して出力画像(Im_DA)の出力ルマを取得するルママッピング部(510)を備え、
前記画像ピクセル輝度調整装置が、出力画像又はビデオ伝送ケーブル又は無線チャンネルを備え、前記出力画像又はビデオ伝送ケーブル又は無線チャンネルに対して、ディスプレイが接続可能であり、前記出力画像(Im300nit)を送信する出力信号フォーマッタ(230)をさらに備えることを特徴とする、画像ピクセル輝度調整装置(500)によって実現される。
備えられた又は接続可能なビデオ復号器(207)への接続部(501)であって、前記ビデオ復号器が符号化高ダイナミックレンジ画像(Im_COD)を受信し、前記符号化高ダイナミックレンジ画像は第1の最大コード化可能輝度(PB_H)にしたがって符号化され、前記ビデオ復号器が少なくとも1つのルママッピング関数(F_ct、FL_50t1_1)を指定するメタデータを受信し、前記少なくとも1つのルママッピング関数が前記符号化高ダイナミックレンジ画像において符号化された時の同一のピクセル位置の輝度と比較して、前記符号化高ダイナミックレンジ画像に対応する二次画像の輝度のオフセットを指定し、前記二次画像が、前記第1の最大コード化可能輝度(PB_H)よりも小さい又は大きい第2の最大コード化可能輝度(PB_S)を有し、復号高ダイナミックレンジ画像(Im_RHDR)と前記ルママッピング関数とを出力する、接続部(500)と、
特定のディスプレイが最も明るいピクセル色として表示可能な表示最大輝度(PB_D)の値と、入力ルママッピング関数とを受信する表示調整部(401)であって、前記表示調整部が、前記入力ルママッピング関数と前記表示最大輝度(PD_D)とに基づいて少なくとも1つの表示調整済みルママッピング関数を計算するアルゴリズムを適用し、この少なくとも1つの表示調整済みルママッピング関数が、前記入力ルママッピング関数に形状で対応するが、前記表示最大輝度(PB_D)の値と、前記第2の最大コード化可能輝度(PB_S)と前記第1の最大コード化可能輝度(PB_H)との間の差に関連した前記第1の最大コード化可能輝度(PB_H)との間の差に応じて、知覚的に均一化された軸において前記入力ルママッピング関数のグラフの45度増加する対角線に近接して存在することを特徴とする、表示調整部(401)と、を備える画像ピクセル輝度調整装置であって、
前記画像ピクセル輝度調整装置が代替ルママッピング関数(ALT_FL_50t1_1)を決定する代替ルママッピング関数決定部(502)を備え、
前記表示調整部(401)が、組み合わせルママッピング関数(CMB_FL_50t1_1)を得るように、前記少なくとも1つのルママッピング関数(F_ct、FL_50t1_1)と前記代替ルママッピング関数(ALT_FL_50t1_1)とを組み合わせる組み合わせ部(503)を備え、前記表示調整部が、入力ルママッピング関数として、前記組み合わせルママッピング関数に対してそのアルゴリズムを適用し、
前記画像ピクセル輝度調整装置が、前記復号高ダイナミックレンジ画像(Im_RHDR)のピクセルルマを受信し、それらのピクセルルマに対して、前記調整済み組み合わせルママッピング関数(ADJ_F_DA50t6_1)を適用して出力画像(Im_DA)の出力ルマを取得するルママッピング部(510)を備え、
前記画像ピクセル輝度調整装置が、出力画像又はビデオ伝送ケーブル又は無線チャンネルを備え、前記出力画像又はビデオ伝送ケーブル又は無線チャンネルに対して、ディスプレイが接続可能であり、前記出力画像(Im300nit)を送信する出力信号フォーマッタ(230)をさらに備えることを特徴とする、画像ピクセル輝度調整装置(500)によって実現される。
まず、表示調整部のアルゴリズム及びハードウェアの詳細に関して、技能を有する読者は、HDRからPD_Dへ最適化された中間ダイナミックレンジ表示調整の汎用的な技術的本質を、第1の最大コード化可能輝度(PB_H)と第2の最大コード化可能輝度(PB_S)との間において、表示調整部(401)が最適に調整された画像及びそのピクセル輝度又はルマを計算する必要がある表示最大輝度(PB_D)の値がどこに存在するか、したがって、換言すれば、さらに結果的な表示調整済みルママッピング関数が対角線に対してどの程度近接するかに応じて、HDRからSDRへの再グレーディングルママッピング関数に近い、又は遠い関数の決定に基づいて計算できるいくつかの代替手法が存在することを理解する。さらに、(ほぼ)知覚的に均一化されたルマをどの程度正確に定義するかにおけるいくつかの変形が存在し、上記のような関数が特性としてほぼ対数となるが、例に示すように、対数関数のパラメータを変更でき、アルゴリズムは依然として同様に作用し、良好なルックを有する画像を生成する。したがって、技能を有する者は、上記の詳細が、本革新的提案の本質を形成しておらず、依然として同種の同一視することができる装置を実現しつつも変更できることを理解する。さらに、技能を有する者は、その装置がスタンドアロンの、すなわち個別のビデオ復号器(例えばPQ符号化されたR、G、B非線形成分値に基づくよく知られる行列を用いて計算される線形RGB表現、又は、説明を簡潔にするために、YCbCrであることを前提とする全データ、すなわち画像ピクセル色データと、表示調整部の最終ルママッピング計算アルゴリズムによって「使用される少なくとも1つのルママッピング関数を含むメタデータとを取得して、必要に応じて供給するため復号する)に対して動作接続される画像色最適化装置であることが可能であり、又は、その装置がすべて(例えばテレビのディスプレイなどとして具現化される場合のすべて)を備える完全なシステムでもよいことを理解する。二次(グレーディングされた基準)画像は、網羅されるべき所望のダイナミックレンジの他端における画像であり、したがって、例えば4000nitのPB_CマスターHDR画像の場合、通常、100nitのPB_C SDR画像となり、その2つのうちのいずれか一方が実際に伝送されるかは関係ない(表示調整済み最終MDR画像も、SDR画像から始めて計算できるが、簡潔にするため、本説明では、最初に作成された画像よりも優れた、やや高いダイナミックレンジへの外挿が存在しない限り、HDR画像、すなわち低ダイナミックレンジ(又は入力及び出力画像の最小黒が同一であると仮定した場合の少なくとも最大輝度)へ計算されると仮定する)。通常、コンテンツ作成者の2つの基準グレーディングのダイナミックレンジ、すなわち、通常はそれらのPB_C値を、少なくとも4の倍数因子だけ異なるようにすることは意味をなすが、そうでなければ、原理的に、様々な画像グレーディング間でわずかな差があっても同一の原理を適用できるが、少なくとも技術的に高品質の表示最適化を実行する意味はあまりない。表示最大輝度は、この場合も技術的実現変形に応じて、様々な手法で表示調整部(401)のために入力される。例えば、様々なディスプレイのうちの1つが接続されたセットトップボックスはポーリングを行う場合があり、その後、そのディスプレイが、色最適化、及び接続されたテレビディスプレイに対しての画像又はビデオ出力を開始する前に、PB_Dの値をSTBに返信する場合がある(又はユーザは、自分がその値だと思う値、又は自分のテレビに対して少なくとも良好に作用する値を、STBユーザインターフェースなどを介して入力してもよい)。一方、装置がテレビ自体である場合、その一意のPB_D値(例えば、LCDディスプレイパネルの後ろのバックライトに関係するPB_D値、又はテレビ製造者がOLEDパネルなどを過度に加熱しないように使用することが安全であると考える値)は修正不可能なメモリに、表示調整部(401)内部に既に格納されている場合があり、すなわち、表示調整部401がそれ自体からPB_D値を受信する場合の汎用的な単なる概略的説明と比較される。この場合も、そのような可変態様は、装置が、発明されここで説明されたような種類のものである場合を特定するために実際に重要ではない。
代替ルママッピング関数決定部(502)は、優れた代替ルママッピング関数(ALT_FL_50t1_1)を決定するために多数の(単純な)固定戦略を使用していてもよい。例えば、本技術の多くの出願人にとって、図7で例示するPara Shadowgain(「Para」は暗い端部0,0及び明るい端部1,1の両方において線形の傾きを有し、中間部分でそれらの線形部の滑らかな放物線分接続を有する特定のルママッピング曲線の名称である)代替案のような、暗い部分を明るくするほど単純なこと、又は単純なコントラスト修正などを行うのは既に十分であり、現在、PB_Dに応じて、すなわち「コンテンツに」(すなわち、両端のHDR及びSDR基準グレーディングの対と、それらを結合するルママッピング関数とに)それを行う代わりに、PB_D対応ディスプレイの全範囲のうちのどの部分が多少の修正を必要とするかに応じて、制御が実行可能である。後で行うのではなく、固定表示調整の前に調節を行うのは利点があり(例えば、伝送された信号のメタデータにおいてコンテンツ作成者から受信したParaと、受信側、すなわち、例えばテレビ自体によって提案された代替Paraとの両方をさらに表示調整してもよく、表示調整された代替案を使用して表示調整されたParaを修正してもよい)、それを事前に行うことは、標準的な表示調整済み挙動、例えば多くの調整が必要とされ高PB_Dディスプレイに対して「ほぼ完ぺきなHDR」を有する場合に、より近いSDRを変化させる様々なPB_Dの尺度上における対数位置を通過する機能が依然としてあることが理由である。
技能を有する読者は、さらに、いくつかの関数が存在し得る場合を理解するのはあまり難しくない(通常通り、最も詳細でない実施形態に対して設定された動作を実行することに関しては請求項を読むべきであり、すなわち表示調整済みMDR画像とともに供給されることが必要なPB_Dの特定の単独のディスプレイに対して、ルック(すなわち、様々な画像オブジェクトの相対的ルマ位置と全体的な色の印象)においてHDRマスター画像に対応する最高のMDR画像を得るために、色処理部においてロード又は適用される準備ができている唯一の最終的な最適表示調整済みルママッピング関数を導出するために、単一の元の、コンテンツ作成者が導出したルママッピング関数と、単一の代替のルママッピング関数とを使用して単一の画像が処理される。
連続画像が時間的に連続して提示されるための複数の異なるルママッピング関数を作成でき、その後、表示調整部は、コンテンツ作成者によって作成されたため、入力ルママッピング関数のそれぞれに対応するいくつかの連続表示調整済みルママッピング関数を作成する。表示調整部は、例えば、2つの出力ビデオストリームのうちの一方を高品質の1500nitPB_D HDRディスプレイに供給し、それと同時に、他方を、他の家族のメンバーがキッチンで番組を見ている持ち運び式ディスプレイに対して供給するなど、2つの出力ビデオストリームを供給する必要がある場合に、単一の入力ルママッピング関数のためにいくつかの出力表示調整済みルママッピング関数をさらに作成する。
理解する上で若干複雑なのは(少なくとも特許取得の観点から、本技術提案をそれ自体で理解する必要はないが、完全性のために有効である)、ルママッピング関数が、連続して適用されるように定義された多数の部分ルママッピング関数からなることである。例えば、コンテンツグレーダーは、粗いグレーディングを実行するためにParaを適用して、暗い領域と明るい領域のバランスを大まかにとる。すなわち、あるシーンを、例えば性質上屋外より通常100倍暗く、コンテンツ作成者が実際の状況を自分のマスターHDR画像にどのようにマッピングしたかに応じて、HDR基準グレーディングにおいておそらく10倍暗い屋内など、2つの非常に異なって照らされた領域とマッピングする場合、Paraは明るい部分と相対的に暗い部分を明るくするために使用可能であり、それによって明るい領域のコントラストが何らかの状態で発生し、これは、高ダイナミックレンジ画像の低ダイナミックレンジバージョンを作成するための優良で単純な手法である(さらに、既に非常に良好な大部分のコンテンツに対しても有効な場合が多い)。ただし、屋外では、ガラスのパネル上に付された(サンドブラストされた)白いテキストとして具現化された商業的看板が存在する場合がある。すべての暗いオブジェクト/ピクセルルマのためのSDR第2基準グレーディングの小輝度範囲において余裕を作るために小さい必要があるParaの上部傾きなど、過度に単純化したアプローチによってコントラストを低減させると、上記のテキストの可読性が下がる場合がある。出願人の原理によれば、コンテンツ作成者/コーダーは、これを、Paraの後で、白いテキスト及びガラスを囲む、又はその背後の、又はそれを反映する白みがかった色のルマ位置のまさに周辺で再度より高いコントラストを実現するカスタマイズ可能曲線(CC)をParaの後に適用することによって解決し、それによってテキストは再度可読性が非常に高くなる(なお、計算精度とコード化ワード長などとの間の差も良好になるが、そのような詳細はここで説明する必要はない)。
新規の本教示に関して、多数のルママッピング曲線の連続が、それ自体で再度ルママッピング曲線であると理解できるが、「完全な」曲線が1つのみ存在するということにしてもよい場合がある(実際、読者が本特許出願の理解のために物事を単純なままにしておきたい場合、グレーダーはCCなしで、Paraのみを使用したと仮定してもよい)。ただし、完全なマッピング関数だけでなく、特定の計算を用いて、部分的なルママッピング曲線自体に対しても表示調整を実行することは可能であり、これに関して興味がある場合、読者はETSI TS 103 433-2 V1.1.1(2018-01)、段落7.3「metadata recomputation」を参照されたい。
上記詳細をどのように具現化したとしても、本革新的改良は、技術的なフレームワーク制限の理由により、比較的静的に実現されることが好まれるもの(上述の通り)に対して非常に優れた調整機構を有することに関するものである。
より高度な実施形態では、関数決定部502は、入力画像の様々な詳細を分析でき(例えば統合派生物、テクスチャ特性などのようなものの全体的な輝度分散特性、様々な領域へのセグメント化、幾何学的構造及びコントラスト尺度の分析)、そこから代替ルママッピング関数形状として構成する調整を導出できる。
組み合わせ部503は、技能を有する読者が本明細書の例に基づいて理解できるいくつかの変形において組み合わせをさらに適用できるが、そのような単純な線形重み付け組み合わせは実用においては十分に良好な場合が多く(技術者は少ない送信機と電力を必要とするより単純な変形を好むが、当然ながら代替の実施形態も導出可能である)、より興味深い部分は、この組み合わせがどのようにPB_Dの状況に依存するかを制御することである。組み合わせに関して、例えば曲線の一部のみが他の曲線の一部と交換されるなどの場合の最も広い可能性のある概念を意味しないが、ルマの全部又は大部分は、第1の曲線で構成されたような出力と、第2の曲線又は規定で構成されたような出力との両方に依存する新規の曲線出力を得る。
画像ピクセル輝度調整装置(500)が、前記組み合わせ部に、前記組み合わせルママッピング関数が、それぞれ前記代替マッピング関数と形状がより類似していることを決定させ、前記少なくとも1つのルママッピング関数が前記表示最大輝度(PB_D)の値に依存する場合に、優れた利点が得られる。その後、例えば、より小さいPB_D値を得るために特定の相対的ルマ再配置を修正する代替の挙動のより多くの混合を制御でき、読者は、どの状況で何が特になされるかという複雑な構成を可能性として使用して、いくつかの手法でそれを実行することが望ましいことを理解できる(例えば、代替ルマ関数は、2つのルマ再配置態様に対して修正し、第1のルマ再配置態様は、例えば、処理対象の全PB_D範囲の特定の部分範囲内においてのみで、PB_D_limPB_D値よりも高くない第1の角度になるように制御され、通常は他のルマ部分領域に対応する第2の態様は異なる手法で制御され、すなわち異なるPB_D依存の組み合わせ挙動などを有するように制御される)。例えば、組み合わせ部がPB_D値、その後、さらにそれが適用する何らかの組み合わせマッピング関数挙動決定をチェックでき、PB_D値が最大PB_D(例えば、入力画像のPB_HDR)からの特定の割合の逸脱内にあり、その後、おそらく代替の関数の形状にしたがって元の関数を若干乱すが、例えば、第1の関数の周辺の特定の帯内にとどまるかをチェックする。PB_D1未満のPB_D値に対しては、深刻な逸脱が開始する場合があり、PB_D2未満の値は、代替関数の形状を大部分たどる。そのようなPB_D依存関数組み合わせ挙動となる他のアルゴリズムも可能である。これによって、低ダイナミックレンジ、実際には表示ピーク輝度のみを有するディスプレイに高ダイナミックレンジ画像を表示するという難しいタスクに対する制御がより可能となる。
画像ピクセル輝度調整装置500の実用上単純であるが良好に動作する変形は、CMB_FL_50t1_1(Vn)=(1-A)*FL_50t1_1(Vn)+A*ALT_FL_50t1_1(Vn)として定義されるルマ値毎の線形重み付けによって前記組み合わせ部によって決定される組み合わせルママッピング関数を有し、Vnが前記輝度に対して対数関数を適用することによって適用されることが可能なピクセル輝度の知覚的に均一化されたルマ表現であり、Aがゼロと1との間の重み値であり、ゼロに等しいAを低表示最大輝度(PLOW)よりも下に設定し、1に等しいAを高表示最大輝度(PHIG)よりも上に設定し、所定の重み付けプロファイル形状にしたがって前記表示ピーク輝度が前記低表示最大輝度(PLOW)と前記高表示最大輝度(PHIG)との間にある場合にゼロと1との間の値に等しいAを設定する関数を適用することによって前記表示最大輝度(PB_D)の値に基づいて導出される。PLOW及びPHIGの値は、その後、全画像の平均に対して汎用的に、又は特定の種類の画像(例えば、暗い小オブジェクトを有する大部分が明るいなど、すなわち少数の暗ピクセルルマと大部分が暗い画像など、ルマヒストグラムの詳細に基づいて分類される)に対してのいずれかで、何が良好な結果を与えるかに応じたインテリジェントな手法で固定又は最適化されることが可能である。
読者は、代替のルママッピング関数及び重み定義として必要な調節の他の構成が構成可能であることを理解する。
そのような場合、関数決定部502(組み合わせ部が実行することと関連して)は、代替の関数が適切なHDRからMDRへの再グレーディングを実行するために必要な形状を大部分有することに全体的に考慮する。多くの場合、本方法は、いずれにしても何らかの微調整を行うために適用される。(ほぼ)HDRのMDR画像に関して、表示調整自体の作用は、それぞれの最終的な関数が使用される代替案に関係なく、さらにその尺度の対数特性に起因して、(対角線近くの)正しい挙動を保証する。
前記画像ピクセル輝度調整装置の実用的な単純実施形態は、所定の重み付け関数形状として、前記知覚的に均一化されたルマ表現で計測された入力軸上に定義された場合にゼロと1との間の線形に増加する形状を使用してもよい。この場合も、いくつかの(大部分が同様に作用する)知覚的ルマ表現のうちの1つを固定してもよく、前記装置は、同様の手法で機能し、選択は、本特許出願では重要でない変数に依存する(したがって、限定することを意図せずに、読者は、知覚的に均一化されたルマとしての輝度の表現は、例示の式1によって計算可能であるということを前提としてもよい)。
前記少なくとも1つのルママッピング関数(F_ct、FL_50t1_1)が、総入力ルマ範囲の最暗部分範囲のための第1の線形セグメントで、線形態様が前記知覚的に均一化されたルマ表現で満たされる第1の線形セグメントと、前記総入力ルマ範囲の最明部分範囲のための第2の線形セグメントと、前記第1の線形セグメント及び前記第2の線形セグメントと両端で接続する、前記最暗部分範囲と前記最明部分範囲との間の中間部分範囲のための非線形非減少セグメントとからなるルママッピング関数を用いて少なくとも部分的に定義され、前記代替ルママッピング関数(ALT_FL_50t1_1)が、前記少なくとも1つのルママッピング関数の最暗部分範囲の前記第1の線形セグメントの傾きとは異なる傾きを有する前記最暗部分範囲の少なくとも第1の代替線形セグメントを含む、請求項1から4のいずれか一項に記載の画像ピクセル輝度調整装置(500)である特定の実施形態は、多くの顧客及び/又は市場の状況に対する十分な表示調整品質の調節を既に実現する。したがって、すなわち表示調整されたParaが異なる粗いバランシング、すなわち部分範囲の相対的な再配置を行うという事実によって、元々特定された部分範囲と比較して新規のルマ部分範囲にシフトされた、同一のオブジェクトのルマを詳細にグレーディングすることを考慮する詳細グレーディングCC第2部分ルママッピング曲線を有する場合、粗いParaを修正するのみである。
最も暗い(及び最も明るい)線形セグメントの端部のルマは、元の作成者のPara及び代替のParaと同一でもよく、又は異なっていてもよい。
なお、(対応SDR画像として伝送された場合でも)マスターHDR画像のPB_Hの第1の最大輝度は、通常、さらに伝送され、SDR最大輝度は、上述したように事前に固定されてもよく、通常100nitに等しいが、変更及び伝送されてもよく、本実施形態は同様に作用することに留意されたい。
様々な技術的実現は、
符号化高ダイナミックレンジ画像(Im_COD)を受信し、前記符号化高ダイナミックレンジ画像は第1の最大コード化可能輝度(PB_H)にしたがって符号化され、少なくとも1つのルママッピング関数(F_ct、FL_50t1_1)を指定するメタデータを受信するステップであって、前記少なくとも1つのルママッピング関数が前記符号化高ダイナミックレンジ画像において符号化された時の同一のピクセル位置の輝度と比較して、前記符号化高ダイナミックレンジ画像に対応する二次画像の輝度のオフセットを指定し、前記二次画像が、前記コード化可能輝度(PB_H)よりも少なくとも4倍小さい又は大きいことが好ましい第2の最大コード化可能輝度(PB_S)を有する、ステップと、
前記符号化高ダイナミックレンジ画像(Im_COD)を復号高ダイナミックレンジ画像(Im_RHDR)に復号するステップと、
表示調整ステップにおいて、特定のディスプレイが最も明るいピクセル色として表示可能な表示最大輝度(PB_D)の値と、前記ルママッピング関数とを受信するステップであり、前記表示調整ステップが、前記ルママッピング関数と前記表示最大輝度(PD_D)とに基づいて少なくとも1つの表示調整済みルママッピング関数を計算するアルゴリズムを適用し、この少なくとも1つの表示調整済みルママッピング関数が、前記入力ルママッピング関数に形状で対応するが、前記表示最大輝度(PB_D)の値と、知覚的に均一化された軸において前記入力ルママッピング関数のグラフの45度増加する対角線に近接して存在し、前記対角線への前記近接度が、前記表示最大輝度(PB_D)と、前記第2の最大コード化可能輝度(PB_S)と前記第1の最大コード化可能輝度(PB_H)との間の差に関連した前記第1の最大コード化可能輝度(PB_H)との間の差に応じる、ステップとを含む、ピクセル輝度調整の方法であって、
前記ピクセル輝度調整の方法が、代替ルママッピング関数(ALT_FL_50t1_1)を決定するステップを含み、
前記表示調整ステップが、組み合わせルママッピング関数(CMB_FL_50t1_1)を得るように、前記少なくとも1つのルママッピング関数(F_ct、FL_50t1_1)と前記代替ルママッピング関数(ALT_FL_50t1_1)とを組み合わせることを含み、前記表示調整ステップが、入力ルママッピング関数として、前記組み合わせルママッピング関数に対してそのアルゴリズムを適用して、調整済み組み合わせルママッピング関数(ADJ_F_DA50t6_1)を生成し、
前記復号高ダイナミックレンジ画像(Im_RHDR)のピクセルルマを受信し、それらのピクセルルマに対して、前記調整済み組み合わせルママッピング関数(ADJ_F_DA50t6_1)を適用して出力画像(Im_DA)の出力ルマを取得するステップと、
ディスプレイが接続可能な画像又はビデオ伝送ケーブル又は無線チャンネル上で前記調整済み組み合わせルママッピング関数を、前記復号高ダイナミックレンジ画像(Im_RHDR)の前記ピクセルルマに適用した結果得られた出力画像(Im3000nit)を出力するステップとを含むことを特徴とする、ピクセル輝度調整の方法としても具現化されてもよい。
符号化高ダイナミックレンジ画像(Im_COD)を受信し、前記符号化高ダイナミックレンジ画像は第1の最大コード化可能輝度(PB_H)にしたがって符号化され、少なくとも1つのルママッピング関数(F_ct、FL_50t1_1)を指定するメタデータを受信するステップであって、前記少なくとも1つのルママッピング関数が前記符号化高ダイナミックレンジ画像において符号化された時の同一のピクセル位置の輝度と比較して、前記符号化高ダイナミックレンジ画像に対応する二次画像の輝度のオフセットを指定し、前記二次画像が、前記コード化可能輝度(PB_H)よりも少なくとも4倍小さい又は大きいことが好ましい第2の最大コード化可能輝度(PB_S)を有する、ステップと、
前記符号化高ダイナミックレンジ画像(Im_COD)を復号高ダイナミックレンジ画像(Im_RHDR)に復号するステップと、
表示調整ステップにおいて、特定のディスプレイが最も明るいピクセル色として表示可能な表示最大輝度(PB_D)の値と、前記ルママッピング関数とを受信するステップであり、前記表示調整ステップが、前記ルママッピング関数と前記表示最大輝度(PD_D)とに基づいて少なくとも1つの表示調整済みルママッピング関数を計算するアルゴリズムを適用し、この少なくとも1つの表示調整済みルママッピング関数が、前記入力ルママッピング関数に形状で対応するが、前記表示最大輝度(PB_D)の値と、知覚的に均一化された軸において前記入力ルママッピング関数のグラフの45度増加する対角線に近接して存在し、前記対角線への前記近接度が、前記表示最大輝度(PB_D)と、前記第2の最大コード化可能輝度(PB_S)と前記第1の最大コード化可能輝度(PB_H)との間の差に関連した前記第1の最大コード化可能輝度(PB_H)との間の差に応じる、ステップとを含む、ピクセル輝度調整の方法であって、
前記ピクセル輝度調整の方法が、代替ルママッピング関数(ALT_FL_50t1_1)を決定するステップを含み、
前記表示調整ステップが、組み合わせルママッピング関数(CMB_FL_50t1_1)を得るように、前記少なくとも1つのルママッピング関数(F_ct、FL_50t1_1)と前記代替ルママッピング関数(ALT_FL_50t1_1)とを組み合わせることを含み、前記表示調整ステップが、入力ルママッピング関数として、前記組み合わせルママッピング関数に対してそのアルゴリズムを適用して、調整済み組み合わせルママッピング関数(ADJ_F_DA50t6_1)を生成し、
前記復号高ダイナミックレンジ画像(Im_RHDR)のピクセルルマを受信し、それらのピクセルルマに対して、前記調整済み組み合わせルママッピング関数(ADJ_F_DA50t6_1)を適用して出力画像(Im_DA)の出力ルマを取得するステップと、
ディスプレイが接続可能な画像又はビデオ伝送ケーブル又は無線チャンネル上で前記調整済み組み合わせルママッピング関数を、前記復号高ダイナミックレンジ画像(Im_RHDR)の前記ピクセルルマに適用した結果得られた出力画像(Im3000nit)を出力するステップとを含むことを特徴とする、ピクセル輝度調整の方法としても具現化されてもよい。
汎用型の画像ピクセル輝度調整方法において、さらに、前記組み合わせルママッピング関数が、それぞれ前記代替マッピング関数と形状がより類似しているように決定され、前記少なくとも1つのルママッピング関数は前記表示最大輝度(PB_D)の値に依存する。
上述したような画像ピクセル輝度調整方法において、前記組み合わせルママッピング関数が、CMB_FL_50t1_1(Vn)=(1-A)*FL_50t1_1(Vn)+A*ALT_FL_50t1_1(Vn)として定義されるルマ値毎の線形重み付けによって決定され、Vnが、前記輝度に対して対数関数を適用することによって適用されることが可能なピクセル輝度の知覚的に均一化されたルマ表現であり、Aが、ゼロと1との間の重み値であり、ゼロに等しいAを低表示最大輝度(PLOW)よりも下に設定し、1に等しいAを高表示最大輝度(PHIG)よりも上に設定し、所定の重み付け関数形状にしたがって前記表示ピーク輝度が前記低表示最大輝度(PLOW)と前記高表示最大輝度(PHIG)との間にある場合にゼロと1との間の値に等しいAを設定する関数を適用することによって前記表示最大輝度(PB_D)の前記値に基づいて導出される。
画像ピクセル輝度調整方法において、前記所定の重み付け関数形状は、前記知覚的に均一化されたルマ表現で計測された入力軸上に定義された場合にゼロと1との間の線形に増加する形状である。
画像ピクセル輝度調整方法において、前記少なくとも1つのルママッピング関数(F_ct、FL_50t1_1)が、総入力ルマ範囲の最暗部分範囲のための第1の線形セグメントで、線形態様が前記知覚的に均一化されたルマ表現で満たされる第1の線形セグメントと、前記総入力ルマ範囲の最明部分範囲のための第2の線形セグメントと、前記第1の線形セグメント及び前記第2の線形セグメントの内側の端部と両端で接続する、前記最暗部分範囲と前記最明部分範囲との間の中間部分範囲のための非線形非減少セグメントとからなるルママッピング関数を用いて少なくとも部分的に定義され、前記代替ルママッピング関数(ALT_FL_50t1_1)が、前記少なくとも1つのルママッピング関数の最暗部分範囲の前記第1の線形セグメントの傾きとは異なる傾きを有する前記最暗部分範囲の少なくとも第1の代替線形セグメントを含む。
最大コード化可能輝度は、最大コード化可能ピクセル色、すなわち最も高いルマ符号(例えば10ビットで1023)、すなわちいずれかのディスプレイ上で理想的に表示された場合に最も白い白の実際の輝度に対応する物理的輝度を意味し、画像と関連付けられた対応仮想ディスプレイ上に表示されてもよい。すなわち、その仮想ディスプレイは、画像の最も明るいコード化可能輝度が例えば1200nitであることを示し、理想的には、1200nit最大表示可能な白以上の実際の受信側(例えば消費者)ディスプレイを有する場合、そのようなディスプレイは、1200nitの表示輝度を有して最も高いルマ符号無色ピクセルをレンダリングする必要がある。したがって、ともに伝送された関数は、例えば、より明るい色よりもより暗い色に対してより大きい部分範囲を使用するなどして最も高い画像ルマを最も高い可能性のある表示可能輝度以下にマッピングすることによって、そのような画像輝度(典型的には、実際はルマ)が、例えば600nitディスプレイなど、より小さい最大輝度特性を有するディスプレイ上にどのように表示される必要があるかを示す、コンテンツ作成者最適化関数形状を有することができる。画像作成者は、900nitのPB_Cの非発光型画像オブジェクトピクセル輝度と比べて照明を大幅に明るくできる、例えば4000nitのPB_Cなどの最大コード化可能輝度PB_Cに応じて異なるように、様々な画像オブジェクトの相対的な輝度位置を構成できることを理解されたい。さらに、これは、1.0輝度(又はルマ、様々なルマ符号に対応する輝度を定義するEOTFによる)に正規化された軸上で、様々なPB_C画像コード化のために、例えば屋内の椅子オブジェクトピクセル輝度と比較して、新規の相対的位置にオフセットされた、例えば照明などの1つのオブジェクトのピクセル輝度としてみることができる。
本発明による方法及び装置の上記及び他の態様は、以下に記載の実施及び実施形態から明らかであり、それらを参照して、さらに添付図面を参照して説明され、添付図面はより一般的な概念を例示する非限定的な特定の図の役割を果たすに過ぎず、添付図面において、ダッシュ記号は構成要素が任意であることを示すために使用され、ダッシュ記号が付されていない構成要素は必ずしも不可欠でない。ダッシュ記号は、不可欠であると説明されているが物体の内部に隠れている要素を示すために、又は例えば物体/領域の選択など無形の物(及びそれらがディスプレイ上にどのように表示されるか)のためにさらに使用されることが可能である。
以下に図面を説明する。
図5は、本特許出願の画像ピクセル輝度調整装置500の改良された表示調整部を構成する集積回路又は同様のユニットを一般的に示す図である。
既に上述したように、新規の画像ピクセル輝度調整装置500は、代替のルママッピング関数決定部502を備える。これが存在する装置に応じて(例えば、特定のテレビ用に画像を準備するセットトップボックス又はテレビ自体などに応じて)、このルママッピング関数決定部は、様々な手法で、例えば画像のコンテンツ又はコンテンツ作成者のSEI伝送ルマ調整関数のいずれかに依存しない、又はほとんど依存しない関数からの範囲の代替のルマグレーディング関数形状ALT_FL_50t1_1を構成でき、又はこの関数は、SEI伝送ルマ調整関数の形状に大部分が従うことができ、例えば、v_input、v_outputグラフにおいてわずかに高い、又はv_inputの小さい部分範囲において何らかの形状の乱れを有するなど、1つの態様のみが(わずかに)変更されることが可能である。
これは、技術提供者又は装置製造業者によって設計された固定量だけであることが可能であり、又は例えば画像毎など、実行中に決定される可能性がある可変量だけであることが可能である。
代替のルママッピング関数(ALT_FL_50t1_1)と、再グレーディングの必要性を示す関数としてコンテンツ作成者によって判断され、受信されたままの元のルママッピング関数(FL_50t1_1)(通常、ビデオ復号器207によって抽出され、この場合のビデオ復号器は装置500に含まれ、又は動作中に装置500に少なくとも接続されることによって、関数が入力501を介して受信可能である)とは、いずれかの手法で組み合わされ(組み合わせ部503において)、組み合わせグレーディング関数CMB_FL_50t1_1を生成し、組み合わせグレーディング関数CMB_FL_50t1_1は、表示調整の必要性に応じて、すなわち、通常、接続されたディスプレイのPB_Dの特定の値に応じて両方の関数の一部を実施する。なお、入力501は、復号された画像Im_RHDRのための入力の2倍でもよく、又は備えられた復号器又は接続可能な復号器からのその画像のための個別の入力でもよいことに留意されたい。
説明上の例において、元の関数は、やや粗い形状(例えば、純粋なParaなど)であり、(低PB_CのMDR画像又は、より正確には、SDRグレーディングのために)最も暗いルマの相対的輝度増加をほぼ実現することがわかる。上記代替関数は、例えば、最も暗い、すなわち最も低いPB_Dのディスプレイ上で良好な再グレーディングを容易に実現しない重要なオブジェクトが存在するため、知覚的に均一な入力部分範囲MRにおいて何らかのコントラスト強度を実現する。したがって、標準的な表示調整アルゴリズムが静的で知られた元画像のものであるため、上記挙動は、表示調整された組み合わせルママッピング関数(ADJ_F_DA50t6_1)を通して漏れ、したがって必要に応じた調節につながることがわかる。
最後に、調整された組み合わせルママッピング関数ADJ_F_DA50t6_1は、ルママッピング部510によって(入力として)使用され、ルママッピング部510は、この仕様を使用して、再構成/復号されたHDR画像Im_RHDRのルマを、表示調整済み画像Im_DAの最適に対応する、表示調整された出力ルマにマッピングし、マッピング結果が、特定の画像又はビデオ処理装置又はシステムの特定の技術実現に応じて、いずれかの画像又はビデオ出力に送信されることができる。
図6は、ルマ毎の2つのルマ関数に重み付けを行う有益な手法を一般的に示す図である。例えば、PB_D1と等しい特定のPB_D値に対して、調節のための結果的な重み付け因子Aは、A=0.6である。
入力画像において発生可能な、1.0に正規化された知覚的に均一な全ルマ(Vn)に対して、したがって組み合わせ関数は、以下のようにして計算できる。
CMB_FL_50t1_1(Vn;PB_D1)=0.6*FL_50t1_1(Vn)+0.4*ALT_FL_50t1_1(Vn)
CMB_FL_50t1_1(Vn;PB_D1)=0.6*FL_50t1_1(Vn)+0.4*ALT_FL_50t1_1(Vn)
この組み合わせ関数は、その後、明らかに異なるが、元のコンテンツ作成者のルママッピング関数であるかのように(すなわち、標準的表示調整を実行しているかのように)表示調整の標準的アルゴリズムに入力されることができる。
最後に、この関数は、例えば図3で説明したようなものなど、色処理コアにおいて適用可能であり、それによってMDR画像の出力ルマが、HDR画像(又は同等のSDR画像から開始する計算を具現化し、その後異なる形状を有する組み合わせルママッピング関数で具現化されるもの)の入力ルマに基づいて得られる。
図8は、いくつかの輝度数値が重なったいくつかの実行例を示す図である。通常、PB_D値が判断されるため、尺度は、例えば映画などのコンテンツのPB_C値、この例では4000nitで終端する。あるコンテンツは重要度が低いために表示PB_Dを有する大きいサブセット上で適切にグレーディングし、他のコンテンツは後で何らかの問題を示し始めるなどのため、重み因子決定曲線が、例えば、どの種類の画像コンテンツが処理されているかに応じて変化する(例えば、第1の重み決定曲線WP1及び第2の重み決定曲線WP2)ことをさらに示す。知覚的に均一なルマ表現の対数定義を用いて例を説明したが、調節の定義、特に、重み決定関数の仕様は、他の非線形表現でも作用可能である。
横軸は、最大であるPB_Hによって(すなわち、例えば式1又は同様の知覚的均一化式を用いて)定義された対数系におけるPB_D(すなわちPB_D/PB_H)の相対値としても説明される。
関数形状又は関数の形状という場合、式y_out=a*x^2+b*x+cの値a、b及びcなどの形状制御パラメータによって制御される様々な入力点に対する出力点の軌跡、すなわち例えば放物線状の凸形状を意味する。
図7は、代替のParaベースの調節を使用することによって、どのように受信者の表示調整挙動の輝度挙動に適切及び単純に影響するかを示す図である。
メタデータとして受信されたコンテンツ作成者の元のParaは、ルマLsdで終端する暗セグメントSDを有し、明るい線形セグメントSBはLsbが始端となり、中間(放物線状の)セグメントSMは、中間範囲ルマのグレーディングを制御する。
その代替の暗セグメントSDA(又は、より一般的には、1.倍、又は、さらに2.倍など)のために、作成者のParaの傾きSL(Shadowgainとして知られる)よりも例えば1.3倍だけ急な傾きSLを有する代替のグレーディングParaは、代替ルママッピング関数決定部502によって生成される。この関数の残りは、純粋なPara(例えば、何らかのカスタマイズされたCC曲線形状の前のPara)とは異なっているが、代替ルママッピング関数決定部502は、例えば、SB領域の傾きに大部分が対応するものなど、例えば代替の最も明るいセグメントSBAのハイライトゲインを決定することができながら、セグメントSMAの代替の中間領域再グレーディング挙動の決定と連動して、最も暗い出力ルマのための余地を残す。例えばハイライトゲインなどの他のPara関数形状制御パラメータは、代替のルママッピングPara及び元のルママッピングPara又は異なるルママッピングParaなどに対して等しくてもよい。
本明細書で開示されたアルゴリズムの構成要素は、ハードウェア(例えば、特定用途向けICの一部)又は専用のデジタル信号プロセッサ又は汎用プロセッサなどで動作するソフトウェアとして実行上(全体的又は部分的に)実現されてもよい。
本説明により、技能を有する者は、どの構成要素が任意の改良であり、他の構成要素と組み合わされて実現可能であるか、さらに方法の(任意の)ステップが装置のそれぞれの手段にどのように対応するか、又はそれぞれの手段が方法の(任意の)ステップにどのように対応するかが理解可能なはずである。本出願における「装置」という用語は、最も広義で使用され、すなわち一群の手段は特定の目的の実現を可能とし、したがって、例えばIC(の小回路部分)、専用機器(ディスプレイを有する機器など)、又はネットワーク接続されたシステムの一部などであることが可能である。「構成」も最も広義で使用されることが意図されるため、特に単一の装置、装置の一部、協働している装置(の一部)の集合体などを備えてもよい。
コンピュータプログラム製品の意味は、コマンドをプロセッサに入力し、本発明の特徴的な機能のいずれかを実行するための一連のロードステップ(中間言語及び最終的なプロセッサ言語への変換などの中間変換ステップを含んでもよい)後に、汎用又は専用プロセッサを使用可能とするコマンドのコレクションのいずれかの物理的実現を包含することを理解されたい。特に、コンピュータプログラム製品は、ディスク又はテープなどのキャリア上のデータ、メモリに存在するデータ、有線又は無線のネットワーク接続を介して移動するデータ、又は紙上のプログラムコードとして実現されてもよい。プログラムコードの他に、プログラムのために必要な特徴データがコンピュータプログラム製品としてさらに具現化されてもよい。
本方法の動作のために必要なステップの一部は、データ入力及び出力ステップなど、コンピュータプログラム製品に記述される代わりに、プロセッサの機能に既に存在している場合がある。
なお、上述した実施形態は、限定することなく、本発明を説明することに留意されたい。技能を有する者が請求項の他の領域に対する、提示した例の対応付けを容易に実現可能である場合、簡潔性のため、全選択肢を詳細に述べていない。請求項において組み合わされるような本発明の要素の組み合わせの他に、要素の他の組み合わせが可能である。要素のいずれかの組み合わせは、単一の専用要素において実現可能である。
請求項における括弧内の参照符号は、その請求項を限定することを意図しない。「備える」という用語は、請求項に列挙されていない要素又は態様の存在を排除するものではない。要素の単数形は、複数のそのような要素の存在を排除するものではない。
Claims (10)
- 備えられた又は接続可能なビデオ復号器への接続部であって、前記ビデオ復号器が符号化高ダイナミックレンジ画像を受信し、前記符号化高ダイナミックレンジ画像は第1の最大コード化可能輝度にしたがって符号化され、前記ビデオ復号器が少なくとも1つのルママッピング関数を指定するメタデータを受信し、前記少なくとも1つのルママッピング関数が前記符号化高ダイナミックレンジ画像において符号化された時の同一のピクセル位置の輝度と比較して、前記符号化高ダイナミックレンジ画像に対応する二次画像の輝度のオフセットを指定し、前記二次画像が、前記第1の最大コード化可能輝度よりも少なくとも4倍小さい又は大きいことが好ましい第2の最大コード化可能輝度を有し、前記ビデオ復号器が復号高ダイナミックレンジ画像と前記ルママッピング関数とを出力する、接続部と、
特定のディスプレイが最も明るいピクセル色として表示可能な表示最大輝度の値と、入力ルママッピング関数とを受信する表示調整部であって、前記表示調整部が、前記入力ルママッピング関数と前記表示最大輝度とに基づいて少なくとも1つの表示調整済みルママッピング関数を計算するアルゴリズムを適用し、この少なくとも1つの表示調整済みルママッピング関数が、前記入力ルママッピング関数に形状で対応するが、前記表示最大輝度の値と、前記第2の最大コード化可能輝度と前記第1の最大コード化可能輝度との間の差に関連した前記第1の最大コード化可能輝度との間の差に応じて、知覚的に均一化された軸において前記入力ルママッピング関数のグラフの45度増加する対角線に近接して存在する、表示調整部と、を備える画像ピクセル輝度調整装置であって、
前記画像ピクセル輝度調整装置が代替ルママッピング関数を決定する代替ルママッピング関数決定部を備え、
前記表示調整部が、組み合わせルママッピング関数を得るように、前記少なくとも1つのルママッピング関数と前記代替ルママッピング関数とを組み合わせるように構成された組み合わせ部を備え、前記表示調整部が、入力ルママッピング関数として、前記組み合わせルママッピング関数に対してそのアルゴリズムを適用して、出力として、調整済み組み合わせルママッピング関数を生成し、
前記画像ピクセル輝度調整装置が、前記復号高ダイナミックレンジ画像のピクセルルマを受信し、それらのピクセルルマに対して、前記調整済み組み合わせルママッピング関数を適用して出力画像の出力ルマを取得するルママッピング部を備え、
前記画像ピクセル輝度調整装置が、出力画像又はビデオ伝送ケーブル又は無線チャンネルを備え、前記出力画像又はビデオ伝送ケーブル又は無線チャンネルに対して、ディスプレイが接続可能であり、前記出力画像を送信するように構成された出力信号フォーマッタをさらに備えることを特徴とする、画像ピクセル輝度調整装置。 - 前記組み合わせ部は、前記組み合わせルママッピング関数が、前記表示最大輝度の値に応じて、前記代替マッピング関数と形状がより類似しているか、又は逆に前記少なくとも1つのルママッピング関数とより類似しているかを決定し、前記組み合わせルママッピング関数が、前記表示最大輝度の低い値のために前記代替マッピング関数と形状がより類似している、請求項1に記載の画像ピクセル輝度調整装置。
- 前記組み合わせルママッピング関数が、組み合わせルママッピング関数(CMB_FL_50t1_1(Vn))=(1-A)*ルママッピング関数(FL_50t1_1(Vn))+A*代替ルママッピング関数(ALT_FL_50t1_1(Vn))として定義されるルマ値毎の線形重み付けによって決定され、Vnが、前記輝度に対して対数関数を適用することによって適用されることが可能なピクセル輝度の知覚的に均一化されたルマ表現であり、Aが、ゼロと1との間の重み値であり、ゼロに等しいAを低表示最大輝度よりも下に設定し、1に等しいAを高表示最大輝度よりも上に設定し、所定の重み付けプロファイル形状にしたがって前記表示ピーク輝度が前記低表示最大輝度と前記高表示最大輝度との間にある場合にゼロと1との間の値に等しいAを設定する関数を適用することによって前記表示最大輝度の前記値に基づいて導出される、請求項2に記載の画像ピクセル輝度調整装置。
- 前記所定の重み付けプロファイル形状が、前記知覚的に均一化されたルマ表現で計測された入力軸上に定義された場合にゼロと1との間の線形に増加する形状である、請求項3に記載の画像ピクセル輝度調整装置。
- 前記少なくとも1つのルママッピング関数が、総入力ルマ範囲の最暗部分範囲のための第1の線形セグメントで、線形態様が前記知覚的に均一化されたルマ表現で満たされる第1の線形セグメントと、前記総入力ルマ範囲の最明部分範囲のための第2の線形セグメントと、前記第1の線形セグメント及び前記第2の線形セグメントと両端で接続する、前記最暗部分範囲と前記最明部分範囲との間の中間部分範囲のための非線形非減少セグメントとからなるルママッピング関数を用いて少なくとも部分的に定義され、前記代替ルママッピング関数が、前記少なくとも1つのルママッピング関数の最暗部分範囲の前記第1の線形セグメントの傾きとは異なる傾きを有する前記最暗部分範囲の少なくとも第1の代替線形セグメントを含む、請求項1から4のいずれか一項に記載の画像ピクセル輝度調整装置。
- 符号化高ダイナミックレンジ画像を受信し、前記符号化高ダイナミックレンジ画像は第1の最大コード化可能輝度にしたがって符号化され、少なくとも1つのルママッピング関数を指定するメタデータを受信するステップであって、前記少なくとも1つのルママッピング関数が前記符号化高ダイナミックレンジ画像と同一のピクセル位置の輝度と比較して、前記符号化高ダイナミックレンジ画像に対応する二次画像の輝度のオフセットを指定し、前記二次画像が、前記第1の最大コード化可能輝度よりも少なくとも4倍小さい又は大きいことが好ましい第2の最大コード化可能輝度を有する、ステップと、
前記符号化高ダイナミックレンジ画像を復号高ダイナミックレンジ画像に復号するステップと、
表示調整ステップにおいて、特定のディスプレイが最も明るいピクセル色として表示可能な表示最大輝度の値と、前記ルママッピング関数とを受信するステップであって、前記表示調整ステップが、前記ルママッピング関数と前記表示最大輝度とに基づいて少なくとも1つの表示調整済みルママッピング関数を計算するアルゴリズムを適用し、この少なくとも1つの表示調整済みルママッピング関数が、前記入力ルママッピング関数に形状で対応するが、前記表示最大輝度の値と、知覚的に均一化された軸において前記入力ルママッピング関数のグラフの45度増加する対角線に近接して存在し、前記対角線への前記近接度が、前記表示最大輝度と、前記第2の最大コード化可能輝度と前記第1の最大コード化可能輝度との間の差に関連した前記第1の最大コード化可能輝度との間の差に応じる、ステップとを有する、画像ピクセル輝度調整の方法であって、
前記画像ピクセル輝度調整の方法が、代替ルママッピング関数を決定するステップであって、
前記表示調整ステップが、組み合わせルママッピング関数を得るように、前記少なくとも1つのルママッピング関数と前記代替ルママッピング関数とを組み合わせて、前記表示調整ステップが、入力ルママッピング関数として、前記組み合わせルママッピング関数に対してそのアルゴリズムを適用して、調整済み組み合わせルママッピング関数を生成するようにする、ステップと、
前記復号高ダイナミックレンジ画像のピクセルルマを受信し、それらのピクセルルマに対して、前記調整済み組み合わせルママッピング関数を適用して出力画像の出力ルマを取得するステップと、
ディスプレイが接続可能な画像又はビデオ伝送ケーブル又は無線チャンネル上で前記調整済み組み合わせルママッピング関数を、前記復号高ダイナミックレンジ画像の前記ピクセルルマに適用した結果得られた出力画像を出力するステップとを有することを特徴とする、画像ピクセル輝度調整の方法。 - 前記組み合わせルママッピング関数が、前記表示最大輝度の値に応じて、それぞれ前記代替マッピング関数と形状がより類似しているか、又は逆に前記少なくとも1つのルママッピング関数と形状がより類似しているように決定され、前記組み合わせルママッピング関数が、前記表示最大輝度の低い値のために前記代替マッピング関数と形状がより類似している、請求項6に記載の画像ピクセル輝度調整の方法。
- 前記組み合わせルママッピング関数が、組み合わせルママッピング関数(CMB_FL_50t1_1(Vn))=(1-A)*ルママッピング関数(FL_50t1_1(Vn))+A*代替ルママッピング関数(ALT_FL_50t1_1(Vn))として定義されるルマ値毎の線形重み付けによって決定され、Vnが、前記輝度に対して対数関数を適用することによって適用されることが可能なピクセル輝度の知覚的に均一化されたルマ表現であり、Aがゼロと1との間の重み値であり、ゼロに等しいAを低表示最大輝度よりも下に設定し、1に等しいAを高表示最大輝度よりも上に設定し、所定の重み付けプロファイル形状にしたがって前記表示ピーク輝度が前記低表示最大輝度と前記高表示最大輝度との間にある場合にゼロと1との間の値に等しいAを設定する関数を適用することによって前記表示最大輝度の前記値に基づいて導出される、請求項7に記載の画像ピクセル輝度調整の方法。
- 前記所定の重み付けプロファイル形状が、前記知覚的に均一化されたルマ表現で計測された入力軸上に定義された場合にゼロと1との間の線形に増加する形状である、請求項8に記載の画像ピクセル輝度調整の方法。
- 前記少なくとも1つのルママッピング関数が、総入力ルマ範囲の最暗部分範囲のための第1の線形セグメントで、線形態様が前記知覚的に均一化されたルマ表現で満たされる第1の線形セグメントと、前記総入力ルマ範囲の最明部分範囲のための第2の線形セグメントと、前記第1の線形セグメント及び前記第2の線形セグメントの内側の端部と両端で接続する、前記最暗部分範囲と前記最明部分範囲との間の中間部分範囲のための非線形非減少セグメントとからなるルママッピング関数を用いて少なくとも部分的に定義され、前記代替ルママッピング関数が、前記少なくとも1つのルママッピング関数の最暗部分範囲の前記第1の線形セグメントの傾きとは異なる傾きを有する前記最暗部分範囲の少なくとも第1の代替線形セグメントを含む、請求項6から9のいずれか一項に記載の画像ピクセル輝度調整の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19185243.3 | 2019-07-09 | ||
EP19185243.3A EP3764346A1 (en) | 2019-07-09 | 2019-07-09 | Adjustment of display optimization behaviour for hdr images |
PCT/EP2020/068410 WO2021004839A1 (en) | 2019-07-09 | 2020-06-30 | Adjustment of display optimization behaviour for hdr images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022541884A true JP2022541884A (ja) | 2022-09-28 |
JPWO2021004839A5 JPWO2021004839A5 (ja) | 2023-07-06 |
Family
ID=67226019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022500901A Pending JP2022541884A (ja) | 2019-07-09 | 2020-06-30 | Hdr画像のための表示最適化挙動の調節 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11741873B2 (ja) |
EP (1) | EP3764346A1 (ja) |
JP (1) | JP2022541884A (ja) |
CN (1) | CN114097237A (ja) |
DE (1) | DE112020003342T5 (ja) |
GB (1) | GB2600630B (ja) |
WO (1) | WO2021004839A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4220539A1 (en) * | 2022-01-27 | 2023-08-02 | Koninklijke Philips N.V. | Automatic luminance adjustment for hdr video coding |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8014445B2 (en) * | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
US8363131B2 (en) * | 2009-01-15 | 2013-01-29 | Aptina Imaging Corporation | Apparatus and method for local contrast enhanced tone mapping |
US8831340B2 (en) * | 2010-01-27 | 2014-09-09 | Adobe Systems Incorporated | Methods and apparatus for tone mapping high dynamic range images |
US9754629B2 (en) * | 2010-03-03 | 2017-09-05 | Koninklijke Philips N.V. | Methods and apparatuses for processing or defining luminance/color regimes |
US8594426B2 (en) * | 2011-02-04 | 2013-11-26 | Apple Inc. | Color matching using color segmentation |
US8731287B2 (en) * | 2011-04-14 | 2014-05-20 | Dolby Laboratories Licensing Corporation | Image prediction based on primary color grading model |
KR101812469B1 (ko) * | 2011-12-06 | 2017-12-27 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 상이한 디스플레이 능력들을 통한 지각적 휘도 비선형성―기반 이미지 데이터 교환을 향상시키는 방법 |
EP2603000B1 (en) * | 2011-12-08 | 2017-11-01 | Dolby Laboratories Licensing Corporation | Guided prediction-filtering in layered vdr image coding |
ES2769593T3 (es) * | 2013-07-16 | 2020-06-26 | Koninklijke Philips Nv | Procedimiento y aparato para crear una función EOTF para un mapeo de código universal para una imagen HDR |
EP2989793B1 (en) * | 2013-11-13 | 2017-04-05 | Dolby Laboratories Licensing Corporation | Workflow for content creation and guided display management of enhanced dynamic range video |
PL3324629T3 (pl) * | 2014-05-28 | 2019-11-29 | Koninklijke Philips Nv | Sposoby i urządzenia do kodowania obrazów hdr oraz sposoby i urządzenia do wykorzystania tak zakodowanych obrazów |
EP3174280A1 (en) * | 2014-06-23 | 2017-05-31 | Panasonic Intellectual Property Management Co., Ltd. | Conversion method and conversion apparatus |
US10902567B2 (en) * | 2015-11-24 | 2021-01-26 | Koninklijke Philips N.V. | Handling multiple HDR image sources |
ES2684432T3 (es) * | 2015-12-17 | 2018-10-02 | Koninklijke Philips N.V. | Codificación de rango dinámico para imágenes y vídeo |
RU2721762C2 (ru) * | 2015-12-21 | 2020-05-22 | Конинклейке Филипс Н.В. | Оптимизация изображений высокого динамического диапазона для конкретных дисплеев |
RU2728516C2 (ru) * | 2016-03-18 | 2020-07-30 | Конинклейке Филипс Н.В. | Кодирование и декодирование hdr видео |
BR112018068603A2 (pt) | 2016-03-18 | 2019-02-05 | Koninklijke Philips Nv | decodificador e codificador de vídeo e método de decodificação e de codificação vídeo |
US10244244B2 (en) * | 2016-10-26 | 2019-03-26 | Dolby Laboratories Licensing Corporation | Screen-adaptive decoding of high dynamic range video |
US20180152686A1 (en) * | 2016-11-28 | 2018-05-31 | Microsoft Technology Licensing, Llc | Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices |
EP3418972A1 (en) * | 2017-06-23 | 2018-12-26 | Thomson Licensing | Method for tone adapting an image to a target peak luminance lt of a target display device |
WO2020048790A1 (en) * | 2018-09-05 | 2020-03-12 | Koninklijke Philips N.V. | Multi-range hdr video coding |
-
2019
- 2019-07-09 EP EP19185243.3A patent/EP3764346A1/en not_active Withdrawn
-
2020
- 2020-06-30 US US17/625,354 patent/US11741873B2/en active Active
- 2020-06-30 GB GB2201633.1A patent/GB2600630B/en active Active
- 2020-06-30 JP JP2022500901A patent/JP2022541884A/ja active Pending
- 2020-06-30 DE DE112020003342.2T patent/DE112020003342T5/de active Pending
- 2020-06-30 CN CN202080049821.8A patent/CN114097237A/zh active Pending
- 2020-06-30 WO PCT/EP2020/068410 patent/WO2021004839A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
DE112020003342T5 (de) | 2022-03-24 |
GB2600630A (en) | 2022-05-04 |
US20220262293A1 (en) | 2022-08-18 |
GB2600630B (en) | 2023-08-30 |
EP3764346A1 (en) | 2021-01-13 |
WO2021004839A1 (en) | 2021-01-14 |
CN114097237A (zh) | 2022-02-25 |
US11741873B2 (en) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6596125B2 (ja) | Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 | |
US20230188761A1 (en) | Methods and apparatuses for encoding an hdr images, and methods and apparatuses for use of such encoded images | |
US10182247B2 (en) | HDR image encoding and decoding methods and devices | |
JP6495552B2 (ja) | 画像及びビデオのためのダイナミックレンジ符号化 | |
CN107111980B (zh) | 针对特定显示器优化高动态范围图像 | |
CN109219961B (zh) | 对hdr视频进行编码和解码的方法和装置 | |
JP6396596B2 (ja) | 色彩恒常性を有するルミナンス変更画像処理 | |
EP3399497A1 (en) | Optimizing decoded high dynamic range image saturation | |
JP7381463B2 (ja) | 改良された高ダイナミックレンジビデオ色再マッピング | |
JP7453214B2 (ja) | マルチレンジhdrビデオコード化 | |
JP2022541884A (ja) | Hdr画像のための表示最適化挙動の調節 | |
JP7300070B2 (ja) | 飽和色のための改善されたhdrカラー処理 | |
US20240221135A1 (en) | Display-Optimized HDR Video Contrast Adapation | |
JP2024517242A (ja) | ディスプレイに最適化された環境光hdrビデオ適応 | |
JP2024519606A (ja) | ディスプレイに最適化されたhdrビデオコントラスト適応 | |
KR20240116489A (ko) | Hdr 이미지의 디스플레이의 최적화 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240716 |