JP7061073B2 - Hdrビデオの符号化及び復号 - Google Patents

Hdrビデオの符号化及び復号 Download PDF

Info

Publication number
JP7061073B2
JP7061073B2 JP2018548399A JP2018548399A JP7061073B2 JP 7061073 B2 JP7061073 B2 JP 7061073B2 JP 2018548399 A JP2018548399 A JP 2018548399A JP 2018548399 A JP2018548399 A JP 2018548399A JP 7061073 B2 JP7061073 B2 JP 7061073B2
Authority
JP
Japan
Prior art keywords
luminance
hdr
luma
image
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018548399A
Other languages
English (en)
Other versions
JP7061073B6 (ja
JP2019512954A (ja
JP2019512954A5 (ja
Inventor
ヨハネス ワイゼブランド ティヒラー
モウリク ヨハネス ゲラルドゥス ライク ファン
ジェローン フーベルト クリストッフェル ヤコブス ステッセン
ローランド フォッコ エバーハート ゴリス
マーク ジョゼフ ウィレム メルテンス
パトリック ルク エルス バンドワール
ルトガー ナイランド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Priority claimed from PCT/EP2017/056055 external-priority patent/WO2017157977A1/en
Publication of JP2019512954A publication Critical patent/JP2019512954A/ja
Publication of JP2019512954A5 publication Critical patent/JP2019512954A5/ja
Application granted granted Critical
Publication of JP7061073B2 publication Critical patent/JP7061073B2/ja
Publication of JP7061073B6 publication Critical patent/JP7061073B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Picture Signal Circuits (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、本明細書ではHDRビデオと呼ばれる時間的に連続する高ダイナミックレンジ画像のセットを符号化及び復号するための方法及び装置に関する。
数年前まで、全てのビデオは、標準ダイナミックレンジ(SDR:standard dynamic range)とも呼ばれる、いわゆる低ダイナミックレンジ(LDR:low dynamic range)の哲学に従って符号化されていた。すなわち、撮影されたシーンがどのようなものであっても、符号の最大値(典型的には8ビットルマY’=255、又はアナログディスプレイ駆動では100%電圧)は、標準化された定義によって、ピーク明度PB(すなわち、レンダリング可能な最も明るい白)が標準的な協定により100nitであるディスプレイに対応する、すなわち、その上にレンダリングされる必要がある。人々が少々暗い又は明るい実際のディスプレイを購入した場合、視聴者の視覚系は、画像が依然として適切に見え、参照100nitディスプレイ上と同じにさえ見え、(たとえば、暗く見えなければならないホラー映画の夜のシーンの場合に)たとえば煩わしいほどあまりに明るく見えないように適合すると仮定されていた。
当然ながら、実際のプログラムでは、これを行うことは、典型的にはシーン照明設定の厳密な制御を維持することを意味しており、その理由は、完全に均一な照明下ですら既に、様々な物体の拡散反射率が、100:1のコントラスト比を与える可能性があるためである。そのようなSDRディスプレイの黒は、典型的には、良い状況では0.1nitであるが、最悪の状況では1nitさらには数nitであるので、SDRディスプレイダイナミックレンジ(最も明るい白を最も暗い視認可能な黒で割ったもの)は高々1000:1以下であり、これはそのような均一な照明のシーンと、約2.0のガンマ、又は符号化逆ガンマ0.5を有する、全てのレンダリングすべきピクセルのグレー値又は明度に対する8ビット符号化とにうまく対応する。Rec.709は、典型的に使用されるSDRビデオ符号化であった。典型的にはカメラも、非常に明るい領域と、かなり暗い領域との両方を同時に撮影するという問題を有しており、すなわち、窓又は車の窓の外に見えるシーンが、典型的には白(これは赤、緑及び青の加法色成分R=G=B=maxを与え、それらの平方根符号化された値R’=G’=B’=255に対応する)にクリップされていた。なお、本出願において、ダイナミックレンジがピーク明度(すなわち、最も明るくレンダリングされる又はレンダリング可能な輝度)のみで一番最初に指定される場合、最低輝度値は実際的にゼロであるものとし(実際には、ディスプレイ前面板又はシネマスクリーンの光の反射などの視聴条件に依存し、たとえば、0.1nitである)、これらのさらなる詳細は具体的な説明とは無関係であるものとする。なお、さらに、ダイナミックレンジを定義するいくつかの手法が存在し、以下の説明で典型的に使用される最も自然なものは、ディスプレイにレンダリングされる輝度ダイナミックレンジ、すなわち最明色の輝度対最暗色の輝度である。
なお、さらに、HDRの研究中により明らかとなり、誰もが理解できるように本明細書で言及されることは、符号システム自体は、参照ディスプレイが関連付けられなければ、すなわち、たとえば、R’=G’=B’=Y’=255が100nit、或いは1000nitなどのPBに対応する必要がなければ、元々ダイナミックレンジを有しないということである。具体的には、通常の想定に反して、ルマなどのピクセルの色成分に使用されるビット数は、ダイナミックレンジの良い指標ではなく、その理由は、たとえば10ビットの符号化システムが、符号化のタイプと、特に、符号化に関連付けられた参照ディスプレイの電気-光伝達関数EOTF(electro-optical transfer function)、すなわち、ピクセルのルマ符号[0,1023]と、対応する輝度との関係を、ディスプレイ上にレンダリングする必要がある場合に定義するものとに応じて、HDRビデオ又はSDRビデオを符号化することができるためである。
本文書では、HDR画像又はビデオについて言及される場合、100nitのSDRの値よりも高く、典型的には少なくとも4倍高い、最高ルマ符号(又は等価的に、たとえば、YCbCr符号化ではなく、RGB符号化の場合には最高R’、G’、B’値)についての、対応するピーク明度又は最大輝度を有するものとし、すなわち、HDR画像を最適に見せるためのレンダリングすべき最大表示輝度は、たとえば、1000nit、5000nit又は10000nitである(なお、これは以下に詳述される一見複雑な概念と混同されるべきではなく、その概念では、そのようなHDR画像又はビデオをSDR画像又はビデオとして符号化することができ、その場合、画像は100nitディスプレイ上にレンダリング可能であるだけでなく、重要なことに、HDR画像を復元するための色変換を符号化した対応する関連メタデータを有する場合に、たとえば1000nitのPBを有するHDR画像を生成するための全ての情報を含む)。
したがって、高ダイナミックレンジ画像の高ダイナミックレンジ符号化は、たとえば1000nitまでのレンダリングすべき輝度を有する画像を符号化することができるので、たとえば、周囲のレンダリングされたシーンと比べて明るい爆発(bright explosion)、又は輝く光沢のある金属表面などを有する良質なHDRをディスプレイにレンダリングすることができる。
実際には、世界には、非常に高いダイナミックレンジを有し得るシーンが存在する(たとえば、1nitの暗さの物体と、同時に、10000nitを超える輝度を有する窓越しの屋外の太陽に照らされた物体とを含み、10000:1のダイナミックレンジを与える屋内撮影であり、これは1000:1のDRの10倍であり、さらには100:1のダイナミックレンジよりも100倍大きく、また、テレビの視聴などは、昼間の視聴などのいくつかの典型的な状況では、30:1未満のDRを有する)。ディスプレイはより良くなってきているので(100nitよりも数倍明るいPBであり、1000nitが現在登場しており、数千nitのPBが想定されている)、目標はこれらの画像を美しくレンダリングできることであるが、様々な視聴条件などの要因によって元とは厳密には同一ではないが、少なくとも非常に自然に、又は少なくとも満足できるようにレンダリングできることである。また、これには、SDRビデオ符号化時代に欠けていたものが必要であり、すなわち、優れた実用的なHDRビデオ符号化技術である。
読者が同様に理解すべきなのは、視聴者が典型的には異なる状況でコンテンツを見ているので(たとえば、夜間に弱く照明されたリビングルーム、又は暗いホームシアター若しくは映画館に座っており、撮影された明るいアフリカの風景の中に実際に立っているのではない)、シーン内の輝度と、テレビ(又は他のディスプレイ)上に最終的にレンダリングされる輝度との間には同一性がないということである。この対処は、とりわけ、人間のカラーグレーダに、使用可能な符号化DR、すなわち、関連付けられた参照ディスプレイのものにおける最適な色を手動で決定させることによって、たとえば、シーン内の太陽が画像内で(その実際の値である10億nitではなく)5000nitでレンダリングされるように指示することによって、行うことができる。代替的には、自動アルゴリズムが、たとえば、生のカメラキャプチャから、本文書で(マスター)HDRグレーディングと(一般的に)呼ばれるものへのそのような変換を行う。これは、その後このマスターグレーディングを5000nitPBのHDRディスプレイ上に、それが利用可能な場所においてレンダリングできることを意味する。
しかしながら同時に、今後数年間に、100nitPBの従来のSDRディスプレイ、又はポータブルであるために5000nitの白を作ることができないディスプレイを有する人々の大きな設置基盤(installed base)が存在することになり、それらの人々もHDRムービーを見ることができるようにする必要がある。したがって、5000nitHDRから、同じシーンの100nitのSDRルック画像に変換するための何らかのメカニズムが必要となる。
図1は、将来のHDRシステム(たとえば、1000nitPBディスプレイに接続されたもの)が正しく対処できなければならない、すなわち、画像内の全ての物体/ピクセルについて適切な輝度をレンダリングすることができなければならない多数の可能なHDRシーンのいくつかの図解例を示す。たとえば、ImSCN1はウエスタン映画の日当たりの良い屋外の画像であり、ImSCN2は夜間の画像である。HDR画像レンダリングを、つい数年前に終了したLDR時代におけるそのいつもの態様と異ならせるものは、LDRがそのような限られたダイナミックレンジしか有していなかったこと(およそPB=100nit、及び黒レベル±0.1~1nit)、主に物体の反射率しか表示できなかったこと(これは良好な白の90%と良好な黒の1%との間に収まる)である。したがって、物体をその照明とは無関係に表示しなければならず、起こり得るシーンの時折非常にコントラストの高い照明の全てを同時に忠実に表示することはできなかった。実際には、それは、非常に明るい晴れたシーンが、どんよりした雨の日のシーンとほぼ同一の表示輝度(0~100nit)でレンダリングされなければならなかったことを意味していた。また、夜間のシーンでさえもあまりに暗くレンダリングすることはできず、又は、視聴者が画像の最暗部分をうまく識別することもできないので、やはりそれらの夜間の明度も0~100nitの範囲にわたってレンダリングされていた。したがって、従来は夜のシーンを青く色付けして、視聴者が昼のシーンを見ているのではないと理解するようにしなければならなかった。さて、当然ながら実生活では、人間の視覚も利用可能な光量に適応するが、それほどではない(ほとんどの人は実生活で暗くなっていることを認識する)。したがって、画像のレンダリングを、その中に芸術的にデザイン可能な全ての壮大な局所照明効果を使用して行うことによって、少なくとも利用可能なHDRディスプレイを有する場合に、はるかに現実的なレンダリングされた画像を得ることを望む。
したがって、図1の左の軸上にあるのは、5000nitPBディスプレイ用の5000nitPBのマスターHDRグレーディングで見たい物体輝度である。ただの錯覚ではなく、カウボーイが明るい太陽に照らされた環境にいる本当の感覚を伝えたい場合、十分に明るい(ただし明るすぎない)そのピクセル輝度を、たとえば500nit付近に指定し、レンダリングする必要がある。夜のシーンでは、ほとんどが暗い輝度を望むが、オートバイ上のメインキャラクタは良好に認識可能である、すなわち、暗すぎない(たとえば、5nit付近)必要があり、同時に、たとえば5000nitディスプレイ上に3000nit付近の街灯などの非常に高い輝度のピクセル、又は任意のHDRディスプレイ(たとえば、1000nit)上にピーク明度付近のものが存在し得る。第3の例のImSCN3は、HDRディスプレイ上で現在可能なものを示しており、非常に明るいピクセルと非常に暗いピクセルとの両方を同時にレンダリングすることができる。暗い洞窟が、小さい穴と共に見え、それを通して晴れた外が見える。このシーンでは、樹木のような日光のあたる物体を、明るい日当たりの良い風景の印象をレンダリングしたいシーンよりも多少暗く、たとえば400nit付近にすることを望み、これは洞窟の中の本質的に暗いキャラクタとより調和するはずである。カラーグレーダは、全ての物体の輝度を最適に調和させて、不適切に暗く又は明るく見えるものがなく、コントラストが良好となるようにすることを望み、たとえば、この洞窟の暗闇に立っている人物は、マスターHDRグレーディング画像において0.05nit付近に符号化される(HDRレンダリングは、明るいハイライトだけでなく、暗い領域もレンダリングできるものとする)。
これらの非常に異なるタイプのHDRシーン全ての物体輝度全てを、図1の右側に示されたはるかに小さいSDR又はLDRダイナミックレンジ(DR_1)で利用可能な最適な輝度にマッピングすることは、常に簡単な作業ではなく、そのため、好ましくは、人間のカラーグレーダが色変換(少なくとも輝度変換、又は等価的にルマ符号に実行される場合はルマ変換を含む)を決定するために関与することは理解されよう。しかしながら、画像内容の色特性、たとえば、輝度ヒストグラムなどの分析に基づいて、自動的に決定された変換を使用することをいつでも選択することができ、これは、たとえば、より単純な種類のHDRビデオ、又はリアルタイムコンテンツ制作などのように人間のグレーディングがあまり好ましくないアプリケーションにとって好ましい選択肢である(本特許では、限定はしないが、グレーディングは、少数の色変換関数パラメータの簡易設定、たとえば、撮影開始前に素早く制作全体について行うことを含み得るものとする)。
出願人は、(全てのエンドビューアが、たとえば、1000nitPBディスプレイを有する)現場の典型的な単一の種類のディスプレイについて、単に1つの標準化されたHDRビデオの通信(符号化)に対処することができるだけでなく、同時に、現場の様々な他のピーク明度を有する様々な可能な他のディスプレイタイプについて、特に100nitPBのSDRディスプレイ用のSDR画像について、最適に見えるビデオを通信し対処することができる符号化システムを設計した。
たとえば10ビットの従来のMPEG又は同様のビデオ符号化技術で、たとえば1000nitHDRモニタ上でレンダリングするために、HDR画像のセット、すなわち正しいルック、すなわち正しい画像物体輝度を有するもののみを符号化することは、それほど困難ではない。かなり広いダイナミックレンジを有する新たなタイプの画像、すなわち白に比べて比較的暗い多くの領域においてバンディングを示さない画像のための最適なOETF(光-電気伝達関数:opto-electronic transfer function)を確立し、次いで全てのピクセル/物体輝度についてルマ符号を計算するだけでよい。
しかしながら、出願人は、HDR画像を実際にはLDR画像として通信することが可能なシステムを設計しており、すなわち、実際にはLDR(又はより正確にはSDR、すなわち、100nitPB参照ディスプレイに差し向けられ、そのような参照ディスプレイについて最適にカラーグレーディングされることが多い、従来のRec.709ベースの符号化を意味する標準ダイナミックレンジ)画像が通信され、次いでこれを直ちに使用して、従来の100nitPBのSDRディスプレイ上で正しく見えるSDRルックをレンダリングすることができる。それに加えて、図2に示されるように、適切な可逆色変換関数F_ctのセットが定義される。これらの関数は、HDRマスター画像MAST_HDRに対応する合理的に見えるSDR画像(Im_LDR)を得るために、人間のカラーグレーダによって定義され、同時に、逆関数IF_ctを使用して、元のマスターHDR(MAST_HDR)画像を、再構成されたHDR画像(Im_RHDR)として十分な精度で再構成できるようにし、又は自動分析アルゴリズムをコンテンツ作成側で使用して、適切なそのような色変換関数F_ctを決定する。本教示がより具体的な説明を必要としない限り、いくつかの標準的な関数、たとえば、国際公開第2015007505号のような対数ガンマ形状の初期のHDRからSDRへのマッピングが作成側で使用され(たとえば、関数の特定の形状は、HDR画像内の最明色(ランプ参照)のローブが平均色(たとえば夕暮れ時の街の景色)のローブからどれほど離れているかに基づいて選択される)、また、有用な場合、さらなる3部分曲線などが、色の最暗部分領域、中間のもの、又はより明るいものの少なくとも1つを調整し、たとえば、限定はされないが、説明のためだけに、作成側の顔検出器アルゴリズムが、暗闇に少なくとも1つの顔が存在する場合に暗部の傾きを制御するその関数のパラメータを決定することができるものとする。又は、(映画又は一般的なビデオコンテンツのある時点で)2つのグレーディングされた画像が、これら2つを本発明の原理に従って通信される1つの画像として符号化する前に、既に作成側で利用可能である例を用いて説明するいくつかの実施形態では、限定はされないが、理解のために、HDR画像(たとえば、1000nitの符号化ピーク明度PB_C、すなわち、その選択された符号化のその色表現で符号化され得る最も明るい白の輝度を有するもの)と、SDR(100nitPB_C)画像が存在し、両方とも人間のカラーグレーダによってグレーディング済みであるものとする。なお、受信側が関数F_ctを逆関数IF_ctに変換するのに頼る代わりに、必要な関数を送っておいて、受信され復号されたSDR画像Im_RLDRからIm_RHDRを計算できるようにすることもできる。したがって、色変換関数が実際に行うことは、HDR画像(MAST_HDR)内のピクセルの輝度をLDR輝度に変更して、すなわち、図1に示されるような最適な輝度圧縮を行って、全ての輝度を100nitPBのLDRダイナミックレンジDR_1に適合させることである。出願人は、以下に説明されるように、色の色度を一定に保って、その輝度のみを効果的に変更することができる方法を発明した。
図2に示される典型的な符号化チェーンは、以下のように機能する。たとえば、最適にグレーディングされた画像を与えるグレーディングコンピュータ、又はHDR出力画像を与えるカメラである、ある画像源201は、色変換及び符号化されるマスターHDR画像MAST_HDRを供給する。色変換器202は、決定された色変換、たとえば、凹型屈曲関数を適用し、これは、説明を簡単にするために、係数gam=1/kであり、kは2.0より大きい数であるガンマ関数であるものとする。当然ながら、より複雑な輝度マッピング関数が採用されてもよく、ただし、十分に可逆的である、すなわち、Im_RHDR画像が無視可能な又は許容可能なバンディングしか有さない場合である。少なくとも輝度変換関数を含むこれらの色変換関数F_ctを適用することにより、出力画像Im_LDRが得られる。この画像又は画像のセットは、従来のLDR画像符号化器によって符号化され、これは多少変更される可能性があり、たとえば、予測差分のDCTされた変換値に対する量子化テーブルは、HDR特性を有する画像により良好に適合するように最適化されてもよい(ただし、色変換は典型的には既にIm_LDRの統計を、典型的なHDR画像よりも典型的なLDR画像のようにはるかに見えるようにしており、そのHDR画像は典型的には、比較的暗い輝度を有する比較的多くのピクセルを有し、その理由は、その範囲の上側部分がしばしば小さいランプなどを含むためである)。たとえば、HEVC(H265)などのMPEGタイプの符号化器を使用して、符号化されたSDR画像Im_CODを生成する。そして、このビデオ符号化器203は、通常のSDR画像を取得するように見せかけるが、マスターHDR画像の再構成を可能にする関数F_ctも取得し、すなわち、効果的にこれをSDR及びHDRルック両方と、それらに対応する画像のセット(Im_RLDR及びIm_RHDR)とのデュアル共符号化する。関数F_ctの全ての情報を含むこのメタデータを伝達するにはいくつかの手法が存在し、たとえば、SEIメッセージとして伝達される。そして、伝送フォーマッタ204は、たとえば、ATSC3.0、DVB、又は任意のビデオ信号通信原理に従う衛星、ケーブル又はインターネット伝送などの、何らかの標準規格に従うある伝送媒体205を通過するようにデータをフォーマットするために必要な全ての変換を適用し、すなわち、データのパケット化、チャネル符号化などが行われる。任意の消費者又は専門家側において、たとえば、セットトップボックス、テレビ又はコンピュータなどの様々な物理的装置に組み込まれる受信器206は、アンフォーマット及びチャネル復号を適用することによってチャネル符号化を元に戻す。そして、ビデオ復号器207は、HEVC復号などを適用して、復号されたLDR画像Im_RLDRを生成する。そして、色変換器208が、SDR画像を任意の非LDRダイナミックレンジの画像に変換するように構成される。たとえば、MAST_HDRからIm_LDRを作るために符号化側で使用された色変換F_ctの逆色変換IF_ctを適用することによって、5000nitの元のマスター画像Im_RHDRが再構成される。SDR画像Im_RLDRを異なるダイナミックレンジ、たとえば、ディスプレイ210が3000nitPBディスプレイである場合に最適にグレーディングされたIm3000nit、又は1500nit若しくは1000nitPB画像などに変換する表示調整ユニット209が備えられる。
図3は、HDR及びSDR画像ペアの単なる1つの例示的な(非限定的な)色変換ベースの符号化を設計可能な手法を示しており、この例では特定の必ずしも必要ではないが有用な特性として、色度を保存する輝度再計算を有し、この例は国際公開第2014056679号から取られている。この処理は、SDR及びHDR画像の両方について1.0の最大相対輝度に正規化された色域で見た場合に理解することができる(すなわち、SDR及びHDRが同一の、たとえばRec.2020の原色を有すると仮定すると、国際公開第2014056679号の図1に示されるように、それらは全く同一のテント形状の色域を有する)。たとえば、任意のディスプレイを駆動して、カウボーイが駆動画像においてディスプレイのピーク明度の10%の輝度に対応するルマ符号を有するならば、ディスプレイのPBが高いほど、そのカウボーイは明るくレンダリングされる。これは望ましくない場合があり、その理由は、カウボーイを全てのディスプレイで(ほぼ)同じ輝度で、たとえば、60nitでレンダリングしたい場合があるためである。そのとき、当然ながら、同じ最終的なレンダリング輝度を得るためには、ディスプレイのPBが高いほど、相対輝度(又は対応する10ビットルマ符号)は低くなければならない。すなわち、(使用される符号を定義するEOTFの正確な形状に応じて)たとえばSDR画像でのルマ符号800から、HDR画像でのルマ符号100などへのダウングレードマッピングとしてその要望を表すことができ、又は輝度では、60%のSDR輝度を、4000nitのHDRディスプレイではたとえばその1/40に、若しくはそれに対応する最適にグレーディングされた画像にマッピングする。本文書におけるダウングレードとは、ピクセルのルマ符号(又はこれに対応するレンダリングすべき輝度)を、より高いピーク明度の表現(すなわち、1000nitPBなどのより高いPBディスプレイ上にレンダリングするためのもの)から、より低いPB画像における同一のシーンの画像のルマに変更して、100nitSDRディスプレイなどのより低いPBディスプレイにレンダリングすることを意味し、アップグレーディングとは、より低いPB画像をより高いPB画像に変換するための逆の色変換であり、これは、新たなピクセルを追加すること、及びいくつかのピクセル又はそれらのピクセルのいくつかの色成分を破棄することである空間的なアップスケーリング及びダウンスケーリングと混同すべきではない。これは、(RGB)トリプレットがディスプレイ又は符号化符号色域内のある色度(x,y)に対応する任意の色に対して、その色度について利用可能な(レンダリング可能な)最大輝度Lmax(x,y)に自動的にスケーリングするような手法で、図3の装置によって行うことができる。実際には、これが、無彩色軸(すなわち、特定の色相を有さない色のもの)上で、SDR画像の色の入力輝度Lを、最適なHDRグレーディング画像の必要な相対出力輝度L*にする同様の輝度マッピングを適用することに対応することを実証することができる。詳細に入り込まずに、本教示に関連することは、対応する色変換を、乗算器311による、1.0より大きい又は小さい定数gを用いた、(好ましくは線形の)RGB成分に対する成分別の乗法的変換として実現することができ、これは、選択される輝度変換関数L_out=TM(L_in)の任意の形状に対応し、これはまた、ピクセルの入力された赤色、緑色及び青色値の最大値の関数変換として定式化することができるということである。したがって、輝度マッパー307が、何らかのSDR輝度からHDR輝度へのマッピング関数、たとえば、パラメトリックに指定された対数ガンマ関数若しくはシグモイド、又はLUTとして受信された多重線形曲線を取得した場合、各入力色(R,G,B)に対して、Im_RLDRをIm_RHDRに(又は、Im3000nitなどの他の任意のグレーディング画像に適切にスケーリングされるように)変換する所望の色変換を適用するための適切なg値が計算される。例示的な実施形態の回路の構成要素は、処理中のピクセル色のR、G、及びB値の最大値(maxRGB)を出力する最大値計算器305と、システムが現在動作しているある色定義標準、たとえば、Rec.2020に従って色の輝度を計算する輝度変換器301と、L/max(R,G,B)としてLmax(x,y)を生成する除算器302と、実際にはmaxRGBへのマッパーとして動作して、m*=TM(maxRGB)を生成し、TMはF_ctの輝度変換部分を規定するある関数である、輝度マッパー307と、L*=(m*)xLmax(x,y)を生成する乗算器308と、本実施形態では実際には除算器であり、g=L*/L、すなわち、出力HDR相対輝度を入力SDR相対輝度Lで割ったものを計算するゲイン決定ユニット310と、3つの色成分R、G、Bに同一のg係数を乗算するように構成される乗算器311である。
この回路はいくつかの色符号化に適している。しかしながら、理想的には、一般的に使用されるように、一般的なSDR符号化で動作させることを望む。HEVC復号器207から出たときのIm_LDRは、典型的には非線形Y’CbCr符号化である(ここで、ルマY’のRec.709非線形性が近似的に平方根であると仮定することができ、すなわち、輝度が一定でない問題を無視すると、近似的にY’=sqrt(L)となる)。
図4は、同じ意図の輝度変更色処理を、Y’、Cb及びCrピクセル色成分への直接的な乗算戦略として実現する可能性を示している。また、乗算用のゲイン値gを得るために(それぞれ選択された実施形態の場合に従って、線形輝度L又は平方根入力輝度Y’によって)まだ除算を行う必要があるTM()関数を伝達する代わりに、この場合、画像内のピクセルの可能なルマY’値に対して必要な様々なg値を、たとえば、ルックアップテーブルg_ctとして、又は受信側が正しい関数変換仕様を受信する限り、より少ないデータしか必要としない任意の等価な体系化として伝達しておき、この例では、符号化されたHDRシーンの受信されたSDRルック画像からマスターHDR画像を再構成する。熟練した読者ならば、様々な態様を、様々な実施形態において入れ替えて組み合わせることができると述べる場合を理解するはずである。たとえば、HDRの現在計算すべきピクセル色についての正しい最終的な輝度、すなわちL_out_HDRによって、色の輝度非依存符号化(たとえば、色度)のスケーリングを行う他の実施形態もあり得る。
また、復号器400において、(一部の実施形態、たとえば、4:4:4符号化では任意選択であるアップスケーラ401及び402の後に)色空間変換ユニット403によりYCbCrからRGBへ変換して、R’、G’及びB’値(ここでは非線形、すなわち、プライム記号’を打つことで示される線形加法性色成分の平方根)を取得し、最大値計算ユニット404によってそれら3つの色成分の最大値を計算することを見ることができる(なお、いくつかの代替的な実施形態は、Wr*R’などの重み付き版、最大化への他の入力、たとえば、ルマY’又はピクセル色の輝度Lの再構成値若しくは近似を使用するが、根本概念を十分に簡潔に保つためにこれらの詳細を説明することはない)。ゲイン決定ユニット405は、作成側から(たとえば、BDディスク上のメタデータ、又は通信されるビデオ信号として、たとえば、SEIメッセージ又は同様のメカニズムとして)、ピクセル色(すなわち、特定の画像内容)に応じた所望のゲインの仕様、すなわち、LUTとしてのg_ctなどを受信することになり、この処理中のピクセルに対するg値を出力するように構成され、これを乗算器409、410及び411が使用して、色成分に乗算し、たとえば、受信されたSDR画像の入力ルマであるY’4Lに乗算し、HDRルマであるY’4H=g*Y’4Lとなる。この例は、色差成分Cb及びCrに対して異なるゲイン係数gsを有する任意選択の可能性も示しており、その場合、決定されたg値に基づいてこれらの値を決定する任意選択のアップスケーラ407及び408が存在する。
また、さらなる色変換器412が、その(たとえば、復号処理コアの内部の)YCbCr色を、目的に適した他のフォーマット、たとえば、SMPTE ST.2084 EOTF又は符号割り当て関数に従って符号化されたR’’、G’’及びB’’値に変換することができ、たとえば、その理由は、正しくグレーディングされた画像が供給されるディスプレイ420が、たとえばHDMI(登録商標)接続を介して、画像カラー通信フォーマットとしてそのようなフォーマットを要求するためであるということも情報として示す。
したがって、HDR符号化、通信、及び正しい復号を可能にするために、これらの符号化器及び復号器トポロジは全て可能である。ただしこれは、望む全てのものが得られるという意味ではない。実際に、たとえば0.01nitから1000nit(又は5000nit)までのピクセル輝度をレンダリング可能な優れたHDRディスプレイを指定することが必要である。これは、それに表示するきれいに見える画像が得られるという意味ではない。これが制作アーティストの問題になると考えるならば、まだ中間の符号化技術を有していることを認識すべきであり、単一のHDR画像符号化では、任意の適切な可逆復号可能な符号割り当てで十分であるが、HDRシーンのいくつかのダイナミックレンジルック(すなわち、少なくとも2つ、典型的にはSDR及びHDRであるが、たとえば、2つのHDRルック、たとえば、1000nitHDR版及び10,000nitHDR画像を符号化する場合に同じ原理を適用することができる)を同時に符号化可能にする符号化技術には、さらなる実際的な制限があり、これは詳細な技術的な注意を払って対処される必要があり、さもなければ符号化システムの有用性を制限することになる。より具体的には、グレーダが実現できること、特にSDR画像のルックの質とHDR画像の質との間にはトレードオフがあり、これらは理想的には(全ての実際的な制約、たとえば、人間のグレーダがルックを微調整する時間の欠如、又はいくつかの色関数をサポートしていない特定のICの複雑性の低減などが課せられた場合に)いずれも良好又は少なくとも十分な品質でなければならない。しかしながら、少なくともある者はHDR画像が良質であることを期待し、そうでなければわざわざ新たな高品質システムを作らない。具体的には、HDRはレンダリング画像のかなり高い明度部分に関するものであり得るが、画像の暗い領域についても十分な技術的注意が払われなければならず、これは以下の実施形態によって対応するさらなる実際的な問題である。
Rocco Gorisら、「Philips response to Cfe for HDR and WCG、112、MPEG meeting 2015年6月23日/2015年7月、Warsaw no.MPEG2015/m36266には、画像のHDR及びSDRグレーディング間の構造化された変換、及びその逆、特に関数的結合符号化及びその通信を可能にするための、出願人によって開発された可能な手法の1つが記載されている。しかしながら、教示されていないのは、深いHDRの黒を安全に扱うための差異のある具体的な手法である。
複雑なHDR符号化も提案されており、たとえば、「Paul Laugaら:Segmentation-based optimized tone mapping for HDR image and video coding、2013 Picture Coding Symposium IEEE 8DEC2013、257-260頁」があるが,これは、実際的な既に展開されたビデオ処理システム(たとえば、従来のHEVC符号化)にはうまく変換されず、その理由は、特にその教示では、特定の符号化トリックが使用されているために、復号器が特に注意を必要とするピクセルの場所を示すビットマップの通信を必要とするためである。
HDRシーン画像を通信されるSDR画像として実用的に符号化する非常に有利なシステムは、受信された100nitの標準ダイナミックレンジ画像(Im_RLDR)に輝度変換関数のセットを適用することに基づいてHDR画像(Im_RHDR)を計算するように構成されるHDRビデオ復号器(600、1100)であって、関数が、ダイナミックレンジ最適化器(603)によって標準ダイナミックレンジ画像のピクセルルマに適用されて、ダイナミックレンジが調整されたルマ(Y’HPS)が生成される粗輝度マッピング(FC)と、続いてレンジ伸長器(604)による、ダイナミックレンジが調整されたルマ(Y’HPS)の最暗値(0)の、受信された黒オフセット値(Bk_off)へのマッピングである第2の関数とを少なくとも含み、ビデオ復号器が、粗マッピング及び最暗値のマッピングへの代替計算として、HDR画像の最暗輝度の部分範囲(502)に、標準ダイナミックレンジ画像の対応する最暗ルマ(Y’_in)をマッピングする代替の輝度変換関数を標準ダイナミックレンジ画像のピクセルルマに適用するように構成されるゲイン制限器(611、1105)をさらに備える、HDRビデオ復号器(600、1100)を有することにより得られる。レンジ伸長器は、典型的には、知覚的に均一な空間における線形マッピング(又は他の色空間における対応する戦略)を用いて動作する。
このゲイン制限器戦略は、グレーディング関数の選択時に多少荒い場合がある人間のカラーグレーダに、望むようにHDR画像に対応するSDRルックを取得させる(たとえば、HDR画像の一部を深いSDR黒に押し込むことによって、符号化の良好な技術特性、すなわち、HDR画像の十分な品質の再構成可能性を保証して)場合だけでなく、たとえば、2つの利用可能な作成済みのグレーディング、すなわちHDR画像及び対応するSDRルック画像、又はHDR画像特性などの分析に基づいて、HDR画像から合理的なSDR画像として自動的に計算されるSDR画像に基づいて関数形状又はパラメータを推定する自動アルゴリズムにとって特に有益である。グレーダは、自分が何をしているのかを参照ディスプレイ上で(たとえば、SDR参照ディスプレイ上で、HDRディスプレイ上のマスターHDR画像とチェックして)確認することができるが、テレビ制作中にリアルタイムで動作する自動アルゴリズムはできない。最暗HDRシーン色のゲイン制限される並列符号化(復号)は、HDR再構成の良好な品質を保証する。SDRルックの芸術的側面の需要と、対応するSDR画像として通信されるHDR入力画像の再構成の品質との両方に関して、現在、SDRルマの全範囲にわたって優れた制御があり、本システムは単純であり、風変わりなトリック、及び輝度マッピング関数を超えたさらなる符号化を必要とせずに、既に展開されたビデオ通信システムにおけるさらなる処理(たとえば、MPEG符号化/復号)に関しても、SDR画像に期待されるものに適合する。並列戦略の計算の最初の輝度マッピングが良好である場合、それが選択されることになり、その理由は、典型的には作成側の人間のグレーダなどによる所望のグレーディングを含むためであるが、そうでなければ、受信側の復号器によるHDR再構成に最低限必要とされるものよりも悪い場合、ゲイン制限戦略が選択されることになり、これはHDR再構成の観点から必要とされる最小品質レベルにとって少なくとも十分に良好となるように設計されている。
以下の変形例及び実施形態もまた有利である。
ゲイン制限器が、輝度変換関数のセットを適用することによって得られる中間HDR輝度(L_HDR_IM)と、入力ルマ(Y’_in)の関数との最小値を計算するように構成される、HDRビデオ復号器(600)。これは必要な戦略が単純な計算によって実現される場合に、符号化器及び復号器にとって有利である。
代替の輝度変換が、所定の又は受信された定数(1/gP)と、知覚ルマ(Y’P)の値との乗算として定義され、その知覚ルマ(Y’P)が、非線形関数を入力ルマに適用することによって計算され、その非線形関数が、互いに等距離の位置にある知覚ルマの値のセットが視覚的に均一な明度の外観を有することを特徴とする、HDRビデオ復号器(600)。知覚色空間における実施形態は、うまく機能することが分かっている。
非線形関数が、
Y’P=log[(1+(rho-1)*power(L_SDR_in,1/2,4)]/log(rho)
の定義を有し、L_SDR_inは標準ダイナミックレンジ画像(Im_RLDR)の線形輝度であり、rhoは所定の又は通信される定数である、HDRビデオ復号器(600)。
定数(1/gP)が、HDRビデオ復号器によって、HDR画像の符号化ピーク明度(PB_C)の受信値の関数として決定される、HDRビデオ復号器(600)。
代替の輝度変換、又は標準ダイナミックレンジ画像(Im_RLDR)の少なくとも最暗輝度に対する輝度変換関数のセットに基づく変換のいずれかの選択を制御するためのプロセッサ(901)を備え、輝度変換関数のセットが、最暗HDR輝度に対する、標準ダイナミックレンジ画像(Im_RLDR)の最暗輝度への変換の仕様を含む微細グレーディング関数を含む、HDRビデオ復号器(600)。
そのプロセッサ(901)が、黒オフセット(Bk_off)の受信値がゼロであるか否かの確認に基づいて、適用すべき輝度変換を決定するように構成される、HDRビデオ復号器(600)。
より多くの可能性を有する実施形態は、より複雑ではあるが、複雑なHDRシナリオ又は要求に対してさらに優れた、より調和した対処を可能にする。
入力HDR画像(Im_RHDR)の100nitの標準ダイナミックレンジ画像(Im_RLDR)表現を計算するように構成されるHDRビデオ符号化器であって、HDRビデオ符号化器は、
- 入力HDR輝度又はルマ(Y’HP)の値を最小の黒の値にマッピングするように構成されるレンジ伸長器(702)であって、最小の黒の値が典型的にはゼロである、レンジ伸長器(702)と、
- 粗輝度マッピング(FC)、たとえば、HDR画像の2つの輝度部分領域の、結果のルマ(Y’R)の範囲の2つの部分領域への割り当てを指定する関数を適用するように構成されるダイナミックレンジ最適化器(703)と、
- HDR画像の最暗輝度のサブセット(502)を標準ダイナミックレンジ画像の対応する最暗ルマ(Y’_in)に変換するための代替の輝度変換関数を適用するように構成されるゲイン制限器(707)と
を備える、HDRビデオ符号化器。
入力HDR画像(Im_RHDR)の100nitの標準ダイナミックレンジ画像(Im_RLDR)表現を計算するように構成されるHDRビデオ符号化器であって、HDRビデオ符号化器は、
- 入力HDR輝度又はルマ(Y’HP)の値を最小の黒の値にマッピングするように構成されるレンジ伸長器(702)であって、最小の黒の値が典型的にはゼロであり、出力として伸長された色表現の輝度又はルマ(Y’HPS)を生成する、レンジ伸長器(702)と、
- HDR画像の暗い及び明るい輝度部分領域の、結果のルマ(Y’R)の範囲の対応する暗い及び明るい部分領域への割り当てを指定する粗輝度マッピングを、伸長された色表現の輝度又はルマ(Y’HPS)に適用するように構成されるダイナミックレンジ最適化器(703)と、
- 入力HDR画像の輝度又はルマへの代替計算として、HDR画像の最暗輝度のサブセット(502)を標準ダイナミックレンジ画像の対応する最暗ルマ(Y’_in)の範囲に変換するための代替の輝度変換関数を適用するように構成されるゲイン制限器(707)と
を備える、HDRビデオ符号化器。
代替の輝度変換が、所定の又は受信された定数(gP)と、知覚ルマ(Y’HP)の値との乗算として定義され、その知覚ルマ(Y’HP)が、非線形関数をHDR入力輝度(L_in)に適用することによって計算され、その非線形関数が、互いに等距離の位置にある知覚ルマの値のセットが視覚的に均一な明度の外観を有することを特徴とし、ゲイン制限器(1204)が、所定の又は受信された定数(gP)が乗算された知覚ルマと、知覚ルマ(Y’HP)に、レンジ伸長器によるレンジ伸長と、ダイナミックレンジ最適化器による粗輝度マッピングとを連続して適用した結果得られる知覚ルマ(Y’P)の値との最大値を計算する、上記のHDRビデオ符号化器。
受信された100nitの標準ダイナミックレンジ画像(Im_RLDR)に輝度変換関数のセットを適用することに基づいてHDR画像(Im_RHDR)を計算するように構成されるHDRビデオ復号の方法であって、関数が少なくとも粗輝度マッピング(FC)を含み、方法が、
- 粗輝度マッピング(FC)を入力輝度(L_SDR_in)又はその関数である入力ルマ(Y’P)に適用して、ダイナミックレンジが調整されたルマ(Y’HPS)を生成するステップと、
- HDR画像の最暗輝度のサブセット(502)に収まる輝度を、標準ダイナミックレンジ画像の対応する最暗ルマ(Y’_in)から計算するための、粗マッピングを含む輝度変換に代わる代替の輝度変換関数を決定し、代替の輝度変換関数により決定されたルマ(Y’PFB)と、少なくとも粗輝度マッピングを適用することによって得られるルマ(Y’HP)とのうち最も低いものを選択することによってゲイン制限戦略を適用するステップと
を有する、HDRビデオ復号の方法。
代替の輝度変換関数を決定するステップが、知覚的に均一な空間で定義される標準ダイナミックレンジ画像の少なくとも最暗入力ルマ(Y’_in)に対する線形関数であって、所定の又は受信された定数(1/gP)に、それぞれの入力ルマ(Y’_in)に対応する知覚ルマ(Y’P)の値を乗算することによって計算される線形関数を決定するステップを有する、請求項10に記載のHDRビデオ復号の方法。
入力HDR画像(Im_RHDR)の100nitの標準ダイナミックレンジ画像(Im_RLDR)表現を計算するためのHDRビデオ符号化の方法であって、
- 入力HDR輝度又はルマ(Y’HP)の値を、マッピングの出力であるレンジ調整されたルマ(Y’HPS)の最小の黒の値にマッピングするマッピングを適用するステップであって、最小の黒の値が典型的にはゼロである、適用するステップと、
- HDR画像の最明及び最暗輝度の輝度部分範囲の、結果のルマ(Y’R)の範囲のそれぞれの対応する最明及び最暗部分範囲への割り当てを指定する粗輝度マッピング(FC)を、レンジ調整されたルマ(Y’HPS)に続いて適用するステップと、
- マッピング及び粗輝度マッピングの組み合わせへの代替の輝度変換として、HDR画像の最暗輝度の部分範囲(502)を、標準ダイナミックレンジ画像の対応する最暗ルマ(Y’_in)に変換するための代替の輝度変換関数を適用するように構成されるゲイン制限戦略を適用するステップと
を有する、HDRビデオ符号化の方法。
ゲイン制限が、入力HDR画像(Im_RHDR)の輝度(L_in)に知覚化関数を適用して得られる知覚的に均一化されたルマ(Y’HP)に係数(gP)を乗算することによって、代替の輝度変換関数を計算する、請求項12に記載のHDRビデオ符号化の方法。
新たな本技術的思想は様々な形態で具現化され、たとえば、接続されたシステム、汎用又は専用ネットワークを介して通信される遠隔地の部分的サービス、プロセッサ上で動作する場合に、プロセッサが上記の方法クレームの1つの全ての方法のステップを実行することを可能にするコードを含むコンピュータプログラム製品、符号化器/送信器と復号器/受信器との間で協調して通信される必要がある様々な必要なメタデータを含む任意のビデオ信号の体系化などがある。
本発明による方法及び装置のこれら及び他の態様は、以下に説明される実装形態及び実施形態を参照して、また、添付の図面を参照して明らかになり解明され、図面はより一般的な概念を例示する非限定的な特定の例示としての役割を果たすにすぎず、構成要素が任意選択であることを示すために破線が使用され、非破線の構成要素は必ずしも必須ではない。また、破線は、必須であると説明されている要素が物体の内部に隠れていることを示すために、又は物体/領域の選択(及びディスプレイに表示される態様)などの無形のもののために使用することもできる。
高ダイナミックレンジ画像を対応する最適にカラーグレーディングされた同様の外観(所望と同程度類似しており、第1及び第2のダイナミックレンジDR_1及びDR_2の差が与えられた場合に実現可能なもの)に最適にマッピングする場合に行われるいくつかの典型的な色変換を概略的に示す図であり、これは可逆の場合には、HDRシーンのLDR画像を、そのシーンのHDR画像にマッピングすることにも対応する。 高ダイナミックレンジ画像、すなわち、少なくとも典型的には700nit以上(典型的には1000nit以上)の輝度を有することが可能な画像を符号化するための技術を概略的に示す図であり、これは出願人が最近開発したものであり、HDR画像を実際にはLDR画像と、ピクセル色に対して適切に決定された輝度変換を少なくとも含む色変換関数を符号化したメタデータとして伝達し、これらを復号器が使用して、受信されたLDR画像をHDR画像に変換し、これは作成側で作成された元のマスターHDR画像の忠実な再構成である。 色域内の色(すなわち色度)を保存する輝度変換を可能にするために使用可能な出願人の第1バージョンの技術を概略的に示す図であり、これは、画像物体又はピクセルの明度を変更して、入力画像のダイナミックレンジとは異なる、具体的にはより大きなダイナミックレンジの画像において必要なものにより適合させるためのものであり、これは特定のタイプの状況でうまく機能する。 第1のダイナミックレンジの画像を第2のダイナミックレンジの画像に変換するための、特に復号側で受信されたSDR画像からHDR画像を再構成する、又は符号化側でその逆を行うための、本技術に有用な、符号化器又は復号器において必要とされるコア輝度変換の他の可能な実施形態を概略的に示す図である。 たとえば自動アルゴリズムが、HDRビデオ符号化のために実用的に設計した標準的な再グレーディングに基づく画像符号化関数のツールセットの例示的な構成要素である3部分輝度変換曲線を画像統計に画像依存的に適合させる手法を概略的に示す図であり、この関数の形状を体系化したパラメータは受信器に伝達され、関数を再構成し適用することができる。 本発明の原理によるHDRビデオ復号器のコアの第1の基本的な実施形態を概略的に示す図である。 対応する符号化器の第1の可能な実施形態を概略的に示す図である。 現在教示されている新たな原理による他の可能な復号器を概略的に示す図である。 典型的にはコンテンツがどのように符号化されたかに基づいて、また、受信された第1のダイナミックレンジ画像からの第2のダイナミックレンジ画像の復号を定義する輝度変換を符号化したメタデータの特定の変形例からそれがどのように決定可能であるかに基づいて、復号戦略を選択する選択肢を有する第3のより複雑な復号器を概略的に示す図である。 単なる芸術的変換よりも慎重な対処を必要とする最低HDR輝度(及び対応する最低SDRルマ)の領域の拡大図であり、これは、符号化及び復号輝度変換形状が対角線に対する反転を介して互いにどのように関係するかだけでなく、ゼロから始まる十分に大きな傾きの輝度マッピング関数部分セグメントと、最大化戦略とを介した安全な符号割り当てをどのように定義することができるかを説明するためのものである。 有用な復号器の実施形態の他の実施形態を説明用に概略的に示す図である。 対応する符号化器の実施形態を概略的に示す図である。 様々な可能な符号ピーク明度PB_Cに対する、ゲイン制限戦略の知覚ルマドメインにおける最暗色の線形底部の乗算定数gPを概略的に示す図である。
図5は、曲線、輝度(又はルマ)マッピング曲線を用いてSDR画像及びHDR画像の間の変換をモデル化することができる手法の例を示す。すなわち、SDR画像を受け取った場合にも、逆曲線を適用することによって、作成側のマスターHDR画像をほぼ再構成することができる。いくつかの実施形態では、セカンダリ再グレーディング画像(すなわち、本説明では、明確にするためのほんの一例として、PB_C=1000nitのHDR画像)内のピクセルの領域(たとえば、物体に対応)を、プライマリ画像、すなわち、SDRのPB_C=100nit画像内の幾何学的に対応するピクセルに基づいて計算するのに関与する様々な色変換が存在する。たとえば、局所的な色変換が、一部の領域にのみ適用され、画像の残りの部分には適用されない。しかしながら、実際的な理由から、多くのシナリオでは、安価である必要がある特定の実施形態のシステムにおけるICの複雑性、又は人間のグレーディングの関与に使用可能な時間などの理由で、単純な変換(通常は大域的なもの、すなわち、ピクセルルマに依存し、画像内の幾何学的位置又は他のそのような色関連でない特性に依存しないもの)を望む。典型的には、図5に示されたように、凸形状(図示のように、入力x軸上の1から1000nitまでこの曲線の大部分が「小文字のr型」である)から始めることを望み、あるコンテンツでは、これは既に十分にモデル化されている。可逆輝度マッピング関数のみの選択が可能な場合、量子化及びDCT誤差がなければ、HDR画像の再構成はほぼ完璧である。(元のマスターHDR画像の最適な再構成に役立ち得るように形成された)受信器に送るSDR画像の品質は、意図した(芸術的な)SDRルック画像から多少ずれている場合があるが、いくつかの用途ではそれで十分な場合がある(たとえば、ニュース番組では、ニュースリーダの顔などのように、主要な画像物体が十分な品質である限り、ニュースリーダの背後の壁にある全ての影が全てのピクセルにおいて厳密に正しいグレー値を有することは重要ではなく、言い換えれば、芸術的及び対応する技術的精度の要求が緩和される)。説明のため、2つの前もって存在するグレーディング、すなわち、PB_C=1000nitのマスターHDRグレーディング画像と、それに対応する最適に見えるSDR画像とに基づいて、通信されるSDR代表画像を自動的に符号化するものとする。すなわち、人間ではなく画像解析アルゴリズムが、HDRからSDRへの輝度変換(又はその逆)の関数形状を決定する。芸術的に最適に見えることの意味は、マスターHDR画像よりもここでは10倍小さい輝度ダイナミックレンジ(0~PB_C_HDR=1000nitではなく、0~PB_C_SDR=100nit)内で、全ての画像物体に適切な輝度が与えられているので、HDRマスタールックを近似したルックとして、全ての物体が依然として適度に明るく見え、領域間及び物体内のコントラストが適切に見えるということである。PB_C_SDR=100nitに再スケーリングされたHDR相対輝度を再使用することなどに対応する線形圧縮関数を単に使用するとすれば、画像のより暗い領域は不快に暗くなる。この最適な輝度マッピングは、一般に、シーンのタイプと、その様々なダイナミックレンジルック画像と(たとえば、PB_C_MDR=500nitのMDR画像も)に依存し、その理由は、たとえば、画像内のどこかのガラスに彫刻された白い商標の可読性が、その映画の商業スポンサー及びそのロゴの所有者に義務を履行するために、全てのDRルックで良い品質で表現されるべき物体であるためである。したがって、あまり重要ではなくより自動的な実施形態に関して、一般性を失うことなくここで仮定するのは、人間のカラーグレーダが十分な時間を取って、マスターHDR及び導出された(最適に見える対応する)SDR画像を正確にグレーディングするということである。
ここで、そのグレーディング画像のペアの符号化を次に、自動的に又は多少のグレーダの関与を伴って行うことができる。物事を単純にするために、自動符号化システムの例のみを説明するが、それもまた本発明の限定とみなされるべきでなく、その理由は、HDR/SDRペアの色変換ベースの符号化(すなわち、グレーディング画像のうちの一方のみが、ピクセル色のマトリックスとして、メタデータ内の他方のグレーディング画像を再計算するための関数と共に実際に通信されるもの)のために、人間のグレーダがSDR画像の作成に関与する場合、限られたベース関数の組から順次選択する場合に、同様の技術原理が適用されるためである(すなわち、特に図7の処理チェーンで説明されるように、まず1つの単純な「r型」の関数を用いて粗いSDRグレーディングを作り、次いで、必要性がまだあれば、映画を加工するための時間及び予算も考慮して、必要な変換をさらに微調整する)。一般性を失うことなく、(下記参照の、このHDR処理のために出願人によって開発された知覚明度空間変換によって決定される一種の「対数」ドメインにおけるSDR対HDR画像のヒストグラムの比較に基づく)自動輝度変換関数の決定が以下のタイプのものである例を用いて本原理を説明する。
これは、擬似対数知覚空間プロットにおけるデータへの適合によっても示されるように、非常に有用であることが分かっており(図5のx軸及びy軸のスケールを参照されたいが、読者はこれらを、等距離の場合に知覚的にほぼ同一の差に見える位置を与えるものとみなし、すなわち、グレー1、グレー2=20%明るいグレー、グレー3=グレー2より20%明るいグレー、などである)、これは、グレーダ又は自動最適マッチング曲線計算ユニットが、少なくともマスターHDR画像に対応するSDR画像の初期決定のために3部分曲線を入力として使用した場合のものであり、この曲線は、画像内の明るい又はハイライトピクセルについての直線傾斜部分(領域505)の角度a_Hと、より暗い色(領域503)についてのマッピングの線形近似のための(少なくともマスターHDR画像に基づくSDR再グレーディング画像の粗い決定のための)角度a_dとによって定義される。この曲線は3つの非常に有用かつ画像について多くを伝達するパラメータしか必要とせず、その理由は、曲線の第3の部分として、2つの線分が交差する点の両側に幅WPにわたって等しく伸長された曲線セグメントを使用するためである(すなわち、a_d、a_H、及びWPのみが受信器に伝達される必要があり、これは、あまりにも多くのメタデータ通信を行う余裕がないシステムにとって、又は少なくともいくつかの連続した画像のショットのグレーディングにあまりに多くの時間を費やす余裕がないグレーダにとって重要である)。使用する両端の2つの直線部分を接続する曲線部分の固定形状曲線は、典型的には、放物線セグメント(領域504)である。
ここで、SDRグレーディング画像を決定する興味深い特性があり、これは実験的に検証することができる。多くのHDRシーンのSDRルック画像は、十分な量の暗いピクセル、すなわち、SDR黒が存在しない場合、定性的にあまりよく見えない(Rec.709曲線では、最も低い符号、たとえば10ビットルマ符号化での0、1及び2は、およそピーク明度の1/1000、すなわち100nitの1/1000の、ディスプレイにレンダリングされる輝度に対応し、これはHDRシーンの画像物体又は領域の一部に対応する)。したがって、図5の矢印によって示されるように、約0.1nitまで関数(本例では、3部分曲線の暗い物体のピクセルに対する直線部分であるが、他の関数を用いてSDRグレーディング画像を決定する実施形態でも同様である)を継続する必要があると予想するであろう(それらの物体に対してより高いSDR輝度を有する、不適切に見えるグレーディングとは対照的である)。これは、それらのHDRシーンの美しいSDR画像バージョンを与える。しかしながら、HDRシーンは当然ながら、潜在的に非常に大きなダイナミックレンジのピクセル輝度(濃い黒)を含むという特性を有する。読者は、符号が対象としている典型的な参照ディスプレイのピーク明度、又は実際にはPB_Cと比較した相対輝度について話していることに注意する必要がある(実際には、これに関係して、任意の見栄えの良いダイナミックレンジグレーディングでは、輝度の絶対的な符号化を用いて動作することが好ましいが、それらの輝度はある典型的な表示能力に差し向けられ、たとえば、薄暗い夜のリビングルームで見た1000nitディスプレイであって、元のシーンではなく、簡単な言葉で言えば、太陽が実際の10億nitの値ではなく、1000nitに符号化されレンダリングされる)。したがって、たとえば夜のシーンの典型的なHDRシーンは、現実世界では、たとえば、1nitをはるかに下回る(たとえば、0.01nit、又はさらに低い)暗い隅の輝度を有する一方で、同時に街灯は、10,000nit以上の輝度、すなわち、1,000,000:1以上のダイナミックレンジで画像内に存在し、これはそのままではSDR表現においてレンダリングも表示もできない。なお、最適な(マスター)HDR及びSDRグレーディングでは、コントラストが多少低くなることがあり、その理由は、アーティストのグレーダがシーンの最暗部分を多少明るくし、最明ピクセルを暗くしている場合があるためであるが、依然として良好な表現(符号化自体、全ての用途で)と、たとえば、0.05nitから5000nitまでの間のその例示的HDRシーンのレンダリング(たとえば、そのようなディスプレイが利用可能である場合は随時)とを所望する場合があり、すなわち、100,000:1のディスプレイにレンダリングされる所望のDRであり、これは明らかにSDR能力を上回っているので、HDR技術をそもそも元より導入している。
したがって、HDR輝度点501より下のいかなるものもSDRグレーディングでレンダリングすることができない(又はRec.709ベースの技術で符号化することさえできない)場合、これは、そのSDR表現における領域502の全てのHDR値が、同じ黒(たとえば、8、10、又は12ビット表現のいずれでも、ルマ符号0)にクリップされることを意味する。これは、単にHDR画像を受信器に通信するシステム(すなわち、受信側で関数を使用して、受信したHDRピクセル化画像からSDRグレーディングを計算するだけのもの)、すなわち、その完璧に符号化された画像データを1000nitのHDRディスプレイ上に直接レンダリングすることができるシステムであって(たとえば、SMPTE 2084 OETFを使用して符号化された場合)、ディスプレイピーク明度PB_Dが1000nit未満のディスプレイを有する視聴者にとって最適なグレーディングを導出するための色変換関数しか必要としないシステムでは実際には問題にならない。たとえば、これらのクリッピング関数を使用して、受信されたHDR画像からダウングレードすることによって、SDRグレーディングを作ることができ、これは実際に正しい最適なSDRルックを生成する。
しかしながら、HDRシーンの2つの異なるダイナミックレンジルック(すなわち、2つの異なるグレーディング)を符号化するシステム、たとえば、SDR画像を通信して、視聴者の大きな設置基盤に、輝度処理なしで直接レンダリングされた場合に、SDR画像を良い品質で見られるようにする必要があるシステムであって、そこから非常に良質のHDR画像再構成を、HDRディスプレイを購入した顧客のために導出するシステムは、より多くの制約を有する。通信されるSDR画像においてより暗いHDR色の一部をクリップすると、受信側で必要なHDRピクセル色を可逆的に再構成することができない。
解決策は、SDR対HDR画像における対応する輝度の点の軌跡(r型の極太の点群)に接近し近似するように、黒用の線形セグメントを選択する方がより賢明であると考えるかもしれないが、その場合SDRルックの品質は著しく劣化する。たとえば、(0,0)から始まる黒用の線形セグメントによってその点群に近づくと、より暗い領域の多くが明るくなりすぎ、もはや良好なコントラストには見えなくなる(明るい背景に対してシルエットであるべき人々が、たとえば、より明るいダークグレーのシルエットになる)。これが通常のLDRシーン(すなわち、慎重に均一化された照明の下で1%と95%との間の物体反射率を有するスタジオセット)に対してより低い品質を与える場合、特にHDRシーンでは、そのシーンのSDR変形においても、十分に印象的な領域間コントラストを見ることを望む。HDRシーンのSDR表現は非常に重要で複雑な場合があり、その理由は、同時に、洞窟の暗い領域が、たとえば、洞窟の入口付近の平均的な照明の領域よりもかなり暗いことを伝えることを望む場合があるが、単純にこれらの暗い領域を非常に暗くするのではなく、たとえば、そこに立っている人物をまだ多少良好に見たい場合もあるためである。困ったことに、その問題はしばしば、より明るい領域まで及ぶことさえあり(その理由は、3部分曲線などの粗再グレーディング輝度変換曲線は、単純であるがゆえ、任意のパラメータのずれを広い輝度部分範囲にわたって拡大させるためである)、これは、たとえばほこりで散乱する光線など、慎重に制御すべきであって、シーンのルックのためにディレクターによって慎重に選択されている、SDR画像内のいくつかの局所的なコントラストに深刻な影響を与え、輝度マッピング曲線のより低い部分が良好なHDR輝度クリッピング点501に向かって曲がる戦略ではなく、むしろ絶対的なゼロ点HDR輝度=0を使用した場合に得られる白飛びした(washed-out)ルックではほとんど消えてしまう。
したがって、この問題のためには、(グレーディング又は少なくとも符号化において)追加の構成要素、特に全ての実際的なシナリオでこれに簡単に対処できるものが必要である(様々な用途に対して異なる種ではなく、単一のシステムが、場合によっては何らかの微調整された構成の後に、ハリウッドなどの映画のための高品質のオフライングレーディングから、あまり多くの変更が要求されない、たとえば、現在存在し、人々が専門としているテレビ制作過程を超えたあまりにも多くの追加の人間の専門家の関与などが要求されない、非常に安価なオンザフライのテレビ放送までの様々な用途の需要に対処することができる場合に、本当に優れたHDR符号化及び処理技術のみを有し、いずれにしても、マスターHDRグレーディング及び対応するSDRグレーディングの両方の作成、通信及び使用をマスターすれば、全ての場合において本当に優れたHDR処理システムのみを有する)。
図6は、最暗HDR色の正しい対処を有する(出願人の発明者により最近発明された概念に基づいており、さらにその上に構築する)復号器のコア輝度変換部分を示しており、これを前の図で説明された復号器の実施形態の様々な実施形態に組み込むことができる。
入力は古典的なRec.709のルマY’_in(すなわち、たとえば、0~1023の値)である。知覚空間変換ユニット601は、(図5で既に導入されたように)それらの輝度を知覚空間内に変換する。RGB色空間、たとえばRec.2020、又はY’CbCr変形などのその派生物を有する場合、表現可能な全ての色の色域は、1.0に正規化され得る尖った先端を有する三角テントであることに留意することが読者にとって有益であり、その場合、色変換は、そのテント内の色点の位置の変更とみなすことができる(HDR相対輝度又はルマは、対応するSDR輝度又はルマとは異なる高さになる)。
たとえば、知覚表現への変更も、様々な色の高さ(すなわち、様々な単位で表される「明度」)を変更し、その理由は、たとえば、輝度軸(白を通るテントの垂直支柱)のメトリックを対数になるように再定義することが、たとえば90%の相対輝度を有する色の高さが、その位置が対数軸上に降りるあらゆる位置に変化すべきであることを意味するためである。
HDRシーン画像のSDR再グレーディングに対処するために様々な利点があるので、対数表現に変更する。まず、より知覚的な態様での輝度のこの均一化は、HDR画像の多少合理的で非常に粗いより低いダイナミックレンジ表現を既に得ていることを意味する。しかしながら、たとえば、夜の暗闇が正しい様式を有する必要があるシーンに芸術的に注意を払う場合、その対数画像を使用してLDRディスプレイ上に直接レンダリングすると、夜のシーンが明るすぎて不適切に見えることがあり、特定の表示ピーク明度PB_Dを有する任意のHDRディスプレイ上でどのように見えるかを述べることは簡単ではないが、少なくとも重要なHDRシーンでは、単純過ぎる対処がどのディスプレイでも最適に見えないことが予想される。正規化された色域及びその輝度軸では、HDR画像は典型的には最大値(1.0)に近い明るい物体を有し、ピクセル輝度の残りはこれをはるかに下回る。この大きなダイナミックレンジをSDR輝度範囲に絞るためには、これら2つの輝度は共に近づく必要があり、その理由は、ランプが平均ピクセル輝度512=18%より、たとえば、2倍明るいだけであり得る(たとえば、HDRでの10,000:500=20xではない)ためである。これは、近似的に対数である関数、又はそれに形状が似た何らかのより優れた関数(実際には「何らかの」ブースティングを行うもの)によって既に近似的に実現され得る。
しかしながら、これらのSDRグレーディングは、HDR画像の良質なSDRグレーディングとして機能するにはまだあまり適しているわけではなく、その理由は、それらが非常に鈍く、コントラストが低く、しばしば白飛びしているように見えるためである。優れたグレーディングのためには、シーン内の最明ピクセルの決定可能な範囲と、最暗輝度の部分範囲との少なくとも一方、典型的には両方に行われなければならないことに十分に配慮しなければならない。そして、最も単純なバージョンでさえ、中間の範囲で行われることを中間に多少委ねることができ、たとえば、単に滑らかな接続動作を使用することができ、又は、システムがより正確な制御をそこで行うことができる(それがなければ、本コーデックトポロジでは、典型的には微細グレーディング関数を有する)。
フィリップスは、線形輝度から知覚ルマY’Pへの変換を行う関数を発明した。
Y’P=log[(1+(rho-1)*power(L,1/2,4)]/log(rho) [式1]
ここで、Lは正規化された輝度であり、rhoはHDR画像のPB_Cに依存する定数であって、10,000nitでは典型的には33である。逆関数は線形化関数として、すなわち知覚的に均一なルマドメインから線形ドメインへ、すなわち輝度のドメインへ変換するための関数として使用することができる。したがって、実施形態は、輝度よりも知覚的に等間隔に広がるルマ符号を生成する知覚空間変換ユニットにおける任意の輝度知覚均一化曲線と、特に入力画像がHDR画像であることを知っている場合は、等距離の明度値によって表現される必要があるかなりのダイナミックレンジとで動作することができ(これを本出願では技術的にはルマと呼ぶ場合があり、SDR符号化時代には、輝度を符号化するために単一の手法しかなかったので、ルマがRec.709OETFによって計算されており、これは近似的には平方根であるが、HDRではルマ符号を任意の適用されたHDR OETFによって定義することができ、これは黒付近で平方根よりも急峻な関数、たとえば、SMPTE 2084 PQ関数である)、しかしながら、説明を簡単にするために、上記のフィリップスの関数であるものとする(これは式(1)のrhoでパラメータ化された対数ガンマ関数であり、ここでrhoは固定又は可変にとることができ、符号化器及び復号器が全ての通信されるビデオコンテンツに対して固定の事前に合意された最大値PB_C、たとえば、1000nitで動作する場合は、典型的には固定であり、異なるPB_Cを用いた符号化が使用される場合は可変である)。
しかしながら、この実施形態では、入力としての平方根Y’ルマが知覚ルマに変換されるので、知覚空間変換ユニット601の変換関数形状は、それに対して調整される(2つの部分的関数を組み合わせることができ、これは、まずY’を2乗し、次いで上記のフィリップスの知覚関数形状を適用するのと同等である)。
これ以降、処理は(図5の軸のように)知覚空間内のものであり、実際のコンテンツ依存かつ画像/シーン依存の物体の明るさ再調整を開始することができる。読者が分かるように、関数的なHDR符号化の単純な実施形態は、3つのブロックしか有さない(いくつかの安価な符号化はそれら全てさえ使用しない)。
3つの処理ブロック(微細グレーディングユニット602、ダイナミックレンジ最適化器603、及びレンジ伸長器604)は、符号化器で行われたのと逆の順序である(しかしながら、ユニット601の知覚化及びリニアライザ605の線形化ではそうではなく、その理由は、符号化及び逆の復号の輝度変換の両方が、知覚擬似対数ドメインで動作し、その変換は常に同一の態様で行われるためである)。
したがって、読者にとって図7の符号化器で説明を始める方が簡単であり、その理由は、マスターHDRルックからSDRルックを作成する場合に、人間のグレーダ(又はこれをエミュレートする自動システム)がしたいことを推論することができるためである。知覚空間変換ユニット701は、ユニット601と同様であり、ただ線形HDR輝度から変換が始まることを知っている(この単純な例では一般性を失うことなく、いくつかの他の符号化器もHDR画像への他の色の特徴付けから始めることができるが、それらは本技術的概念を理解するためには不必要な詳細である)。すなわち、ユニット701は式1を適用する。したがって、出力色輝度は、ここで知覚ルマY’HPとして表される。ルマ伸長器702は、コンテンツをSDRの最大範囲まで伸長する。これは多くの実施形態にとって重要な再グレーディングステップであり、その理由は、狭いSDRダイナミックレンジしか有さない場合、本来HDRシーン画像であったことを表す合理的なSDRをレンダリングする必要がありながらも、未使用の符号を有したくないためである。したがって、輝度が最大値のたとえば70%までしかない映画又はシーンを有する場合、伸長器は典型的にはその値を100%(又は少なくともそれに近い値、たとえば95%)にマッピングする。同様に、暗端のマッピングは、Y’HPS=0へ行われる。読者は、いくつかのシーン及びそれらのHDR画像が、かなり大きなダイナミックレンジのものであるが、符号化可能な最大の可能なダイナミックレンジではないことに留意すべきである。たとえば、マスターHDRが10,000nitPB_C表現である場合、ピクセルを10,000nit付近の最高輝度に割り当てる際に注意すべきであり、さもなければ人々は画像が明るすぎると不平を言うであろう(すなわち、典型的な視聴環境では、そのようなシーンの現実生活での見え方と比較して不自然に明るく見え、又は、単に不愉快に明るく見える)。たとえば、小さい街灯は10,000nitのピクセルを有し得るが、屋内環境から窓越しに見られる最明ピクセルは、たとえば1500nitにすぎず、すなわち、その画像では、1500nitと10,000nitとの間の符号は使用されない。そして、ルマ伸長器702は、画像内のこの1500nitの最明色を中間色表現Y’HPS、すなわち伸長された色表現の最大値にマッピングする(これはSDR画像の最大値として見ることができ、その理由は、それ以降、固定の白=1.0未満の物体輝度の分布の補正に焦点を合わせることができるためである)。いくつかの実施形態はそれから逸脱し、たとえば、HDR1からHDR2への再グレーディングに同じ技術を使用する場合、たとえば、第2の画像ダイナミックレンジの90%にマッピングする。当然ながら、メタデータは最初に伸長された1500nit点を送る必要があり、その結果、復号側でレンジ伸長器604がこのSDRピーク明度(1023に対応する1.0)をHDR再構成における1500nitにマッピングし戻すことができる。
黒側でもそのような伸長が行われ得るが、いくつかの実施形態では、黒は明部と異なって挙動するので(コンテンツセマンティクス、視聴環境、心理視覚的外観などに関して)注意が必要である。この黒伸長処理ステップを除去し、輝度変換関数形状を介したHDR画像の全ての最暗輝度のSDR画像への輝度変換の割り当てだけを処理することもできる。
一般的に、いくつかのモードがあり得る。プロフェッショナルモードでは、グレーダが、輝度変換曲線のパラメータの選択(たとえば、ダイヤルを使用して、ユニット703の3部分曲線の明るい輝度の角度a_Hを下げる又は上げるなど)の結果得られるグレーディング画像、すなわち、SDR画像だけでなく、HDR参照モニタ上でHDR再構成を見ており、それによって再構成品質への自身の選択の影響を確認することができ、この曲線(特に、後述するユニット704の微細グレーディング曲線)の選択が優れていると予想することができる。符号化器が備えられたいくつかのグレーディング装置の実施形態は、グレーダが0付近の最暗HDR値で曲線の線形近似に対して本当に低い傾きを作成した場合に警告を出し(これにより、再構成の傾きが大きくなり、バンディング又はDCT誤差などの符号化誤差が生じる)、そして装置は、グレーダの合意の上で、最暗HDR色について独自の部分曲線を提案し、それをメタデータ内で受信器に送ることができる。自動グレーディングシステム(たとえば、事前にグレーディングされたマスターHDR及び対応するマスターSDRグレーディング画像からの符号化)は、より安全かつ粗い手法を必要とする場合があり、たとえば、いくつかの自動システムは、(ユニット703の)2つのグレーディングを関連付けるための輝度変換の(たとえば、3区間曲線ベースの)粗い決定のみを有し、(ユニット704の)微調整曲線を有さず、その場合、輝度変換曲線の底部を決定するための単純なシナリオが望まれる(これは次いで、SDRグレーディング曲線選択ではなく、HDR画像の再構成のための符号割り当て曲線として主に機能する)。なお、これらの自動システムは、典型的には、図5に示されるような輝度分布統計における曲線マッチングなどによる黒オフセット動作も有してはいる。
理解を容易にするために、粗SDRグレーディング決定ユニット703が、たとえば、図5のようなヒストグラムデータに基づく自動推定によって(又は等価的に、これは人間のグレーダによる最適化に基づき得る)、上述の画像最適化されたコンテンツ曲線を適用するものとする。一般に、人間が関与する場合、粗いグレーディングは、最暗ピクセル対最明ピクセルの粗い再分布、すなわち、HDR対SDR輝度部分範囲それぞれにおいてそれらが広がる輝度部分範囲を使用する。したがって、典型的には、図示された3部分曲線のような曲線が必要とされ、これは少なくともシーンのより明るい部分及びより暗い部分の輝度スパンを制御するものである。読者は、典型的な使用シナリオ及び動作を、たとえば、店の窓がある夜のシーンの領域間コントラスト制御から理解することができる。店内でいくつかの服を着たマネキンが明るく照らされているとし、又は店が点灯しているランプを販売していてもよく、外では暗闇に歩道のタイルなどの他の物体があってもよい。粗い制御によって、グレーダは屋外の歩道のタイルのような画像の暗い領域の物体の可視性などの視覚的側面を最適化することができ、照らされた店の窓の中のランプをきれいに明るく光らせる手法を制御することができる。読者は自身の数学的知識から、SDR及びHDRマスターグレーディングにおけるピクセル輝度の輝度分布が図5のような「r型」の挙動を示す場合に、自動輝度マッピング関数決定ユニットが粗グレーディング関数を決定できる手法を理解することができる(また、輝度分布の点群の形状が多少異なる場合の最適な曲線マッチングと、これがその場合に粗輝度マッピングになる理由とを理解することができ、これはマスターHDR画像に対応して符号化され通信されるSDRグレーディングを計算する場合に既に合理的に動作しているが、微調整最適化可能な曲線によって、特定のHDRシーンのSDR及びHDRグレーディングの間の関係を近似する関数ほど完全ではなく、その表色的再グレーディングはより優れている必要がある)。
そして、いくつかの実施形態、主に人間のグレーダが関与する高い色品質のグレーディングを必要とする実施形態について、微細グレーディング曲線を決定することができ、しかしながら、いくつかの自動システムも、たとえば、マッピングされた3部分曲線が(SDR輝度,HDR輝度)点群の入力HDRルマごとの中央点の軌跡などからあまりにも逸脱している入力HDRルマ範囲の領域を特定することなどに基づいて、そのような微調整曲線を決定することができる(これは3点曲線ではなく自由形状曲線を決定する)。この曲線は、(粗マッピングによって処理された後に)微細グレーディングユニット704によって処理中の各ピクセルの粗いルマY’Rに適用される。この微細グレーディングルママッピング曲線が対角線付近で振動する場合、最終結果として、最終的なSDR出力画像では、特定の明度を有するいくつかのピクセルのサブセットが、粗いSDRルマY’Rよりも明るく又は暗くSDRグレーディングされ、すなわち、正確なルマY’P(ユニット704の出力)を得る。この曲線はいくつかの芸術的要件を満たすことができ、たとえば、いくつかの中間範囲の輝度物体のコントラストを高くすることができるが、以下では、これをエレガントに用いて、HDR再構成品質を維持しながら、最暗領域の良好なSDRルックを規定することができる手法について見ていく。
最後に、線形化ユニット705は、SDRルック画像の完全にグレーディングされた所望のピクセルルマを線形輝度ドメインに変換し、その結果、(図3で既に説明されているように)最終的に必要な色変換を3つの色成分に対して乗法的に行うために必要な(ゲイン係数ベースの変換を用いた実施形態における)ゲイン係数gの後の決定においてこのF(L_in)を使用することができる。
以下の技術的発明のいくつかをより良く理解するために、符号化ブロックのパラメータを決定する自動アルゴリズムの典型的なマッピングをさらに議論する(これは符号化が実際に行われる場合に使用され、すなわち、それらのパラメータを用いて輝度変換関数を適用することによってSDR画像が生成され、使用されるパラメータ(又は等価的には、たとえば、LUTとしての関数形状自体)は、SEIメッセージなどにSDR画像と共に共符号化され、その結果受信器は逆色処理を行って、受信されたSDR画像からHDR画像を再構成することができる)。また、上記のように、この説明を請求可能範囲の限界とする意図はなく、その理由は、人間のグレーダが同様の検討を行うことができるためである。
自動アルゴリズムは、黒オフセットBk_offの良い値を得るために、様々なヒューリスティクスを使用することができるが、単純なアルゴリズムは、SDR-HDR輝度点群に従う曲線の下部をマッピングするだけでこれを決定する。すなわち、図5の例において、この点群の多くが特定の方向に従うことが分かるので、3部分曲線の低い線形セグメントは、矢印が示すようにx軸(Y’_SDR=0)に向かって続き、この交点は黒オフセットBk_offを規定する。そうでなければ、(0,0)を通る線形部分を用いて行われる場合のマッピングは、この特定のHDRシーンでは実際の点群を上回ってかなり高くなるが、それはより大きな誤差を有し、すなわち、典型的には自動関数推定からは得られないはずである。上記のように、これがL_HDR=Bk_offについてL_SDR=0に直進することによって、美しいSDRルックが作成されるが、暗い領域についてのHDR画像の良好でない再構成が作成される(その理由は、たとえば、通信されたY’_SDRルマの1対多の逆マッピングが、正しいHDR輝度を生成できないためである)。
ここで興味深いことに、符号化器/符号化戦略にゲイン制限器707を組み込んでおり、これは、少なくとも自動グレーディング符号化器が何をしても(すなわち、黒オフセットを決定した後に、少なくとも3部分曲線を適合させようとしても)、最終的な曲線の最低部分(受信器への通信のために、SDRグレーディングとしてのHDRグレーディングの優れた二重通信を可能にする)が再構成に安全な曲線となるようにする。すなわち、HDRシーン及びそのHDRマスター画像の最暗領域内にあるものを少なくとも近似的に符号化する必要がある。そのような曲線を決定するためにいくつかの手法があり得るが、これは典型的には、単純な実施形態では、部分曲線の挿入によって行われ、しばしば暗部用の固定部分曲線によって行われる。興味深いことに、IC及びソフトウェアは極力安価でなければならない。少なくとも、理論的には符号化器は複雑であり得るが、復号器は比較的単純なHDR画像再構成の原理を有することを望む。すなわち、複雑な追加情報を必要とする奇妙な符号化戦略ほど複雑なものは何も好まない。図5及び図7から分かるように、この符号化戦略を、最適輝度変換(すなわち、r型曲線F(L_HDR)であり、これは点501より下では良好でない)によるSDR決定値と、最暗領域用の安全曲線との間の最大値計算として具現化することができる。また、ほとんどの場合、比較的単純な安全曲線の原理を使用することができる。下側の曲線(この例では単なる直線)を伸ばした点線から、点501より上では、正しい輝度変換曲線F(L_HDR)が最大値計算から得られることが分かり、点501より下では、輝度変換F(L_HDR)の傾き及び高さが低すぎる(この例では、ゼロにすらクリップされる)ので、これらの最暗HDR領域内の任意の意味論的に重要な画像データを表すのに十分なSDR符号を有する任意の適切に選択された部分曲線が最大値計算から得られる。
理解のためにさらに簡単にするために、線形部分曲線を使用して領域502内の最暗HDRピクセルを適切なSDR色に変換する実用的に単純な実施形態を仮定する(これは、芸術的に最適ではなく、少なくともHDR再構成画像に良好に可逆であり、多くの場合、視覚的な品質に関して実際的に許容可能でもある)。これは、乗算器706において、入力ピクセル輝度L_inに定数dgを乗算することによって実現することができる。なお、この特定の実施形態では、線形輝度が乗算され、最大値判定のために、ユニット705による再線形化の後で、芸術的に完全に最適化されたマッピングを有する上側並列処理トラックの線形輝度と比較される。そのような乗算器は、HDR画像のL_in、特にそのPB_Cが定義された色空間が何であっても、任意のシナリオに対処することができる。しかしながら、係数dgは適切に選択されなければならない。ただし、利点は、復号器がdgの値、というよりむしろそれらの側では1/dgの値について良好かつ標準的でスマートな選択肢しか使用しないと仮定すると、それがメタデータとして符号化され受信器に送信される必要がないことである。適切な選択肢は、(共に)通信されるHDRビデオの大域的な特性、たとえば、そのPB及び最小値に基づいて、場合によってはさらなる表色的側面、たとえば、画像の想定される使用などにすら基づいて決定されてもよい。
これは図10で良く分かる。いくつかの暗い色の線形マッピングは、ブースト(又は、ブースト係数が1未満の場合は、減光ブースト)とみなすことができる。なお、絶対輝度では、HDR画像がSDR画像よりも(少なくとも多少)明るいことを期待するが(k≧1のkによるブースト)、暗い領域については、SDRと同じ輝度を有してもよく、その理由は、SDRディスプレイは明るい色をレンダリングすることはできないが、典型的には両方のディスプレイが暗い色を同様にレンダリングすることができるためである。また、いくつかの状況では、HDRディスプレイは、最暗色について、より暗いレンダリングされた色を表示することさえできる(たとえば、従来のLCDのLDRディスプレイと比較した、暗い部屋のOLEDのHDR)。しかしながら、相対的なシステム(すなわち、HDR及びSDR輝度の両方が最大値1.0の割合である)では、HDR暗部をSDR色とほぼ等しい明るさに保ちつつ、100nitよりも10倍又は100倍明るいPB_Cに差し向けられるために、相対座標系でSDRからHDRにマッピングする場合は減光を行い、図5(両方の軸でたとえば1nitの絶対値を見ることができる)のようにHDR入力からSDRへの変換を作成する場合はブースティングを行う。したがって、曲線1002であるHDRからSDRへのマッピングのための最暗色の局所的なブースティングは良好であり、これは対角線に対して同じ角度を有する鏡像であるSDRからHDRへの再構成部分(線形)曲線1001に対応する。曲線1002を使用して最暗HDR領域のSDR符号を生成する場合、HDR画像の良好な再構成可能性が依然として得られる。しかしながら、自動システム又はグレーダは、より低い、すなわち対角線により近い局所セグメントを有する曲線を選択する場合がある。グレーダがこれを行う理由は、そうでなければ、あまりに多くの(SDR)符号が最暗HDR領域に使用されてしまうためであり、これは現在の画像に対して望まない2つの影響があり、1)非常に暗いはずのその領域502のピクセルの一部(たとえば、空いているドア越しに見える消灯した奥の部屋)が明るくなりすぎ、非常に不都合にもなり、2)点501を上回る全ての輝度を十分な品質で符号化するのに十分なSDR符号が存在しなくなる(ここで、うまく表現すべき多くのHDR輝度領域が存在し得、たとえば、暗い照明されていない食器棚への視野のある明るい部分、照明が乏しく外界への窓から遠く離れた内廊下、ガラス窓を介して廊下につながったオフィスである平均輝度の領域、及びオフィスの反対側に窓越しに見える晴れた外の世界などである)。したがって、そうした理由で、そのような低い曲線1003が選択される(また、自動アルゴリズムはそのようにし、その理由は、その輝度点群が偶然どのような形状になっても、図5のようにデータに盲目的に追従するためである)。
したがって、符号化器において、dgの最小許容値が選択された場合(SDR画像からの、又はより正確には入力であるそのピクセルのY’_SDR値からのHDR画像の再構成を示すこのプロットでは、対応する受信器/復号器側の1/dgの値に対応する)、ゲイン制限器707が、その選択された曲線が計算するあらゆるF(L_in)と、そのdg*L_inとの最大値を計算する場合に、曲線1002よりも対角線に近い曲線のより低い値は選択されることはない。
復号側では、過剰にブーストする、すなわち、対角線に下から近い部分曲線は、第2の入力である線形曲線1001、すなわち、(1/dg)*Y’_SDRを用いた最小値計算から出現し得ない。最後に(本実施形態を古典的なRec709の解釈可能なSDR出力画像で動作するように調整し説明したので)、平方根計算器708(又はRec709OETF変換器)は、処理中のピクセルの正確にグレーディングされたピクセル輝度の線形輝度表現L_SDR_outから、SDRルマY’_SDRを計算し、この画像がビデオ通信のために圧縮される場合に、これを通常通りHEVCビデオ圧縮などで使用することができる。すなわち、この通信される画像は使用可能であり、従来のシステムによって、直接レンダリング可能な良好な視覚品質のSDR画像として、すなわち、レンダリング可能なSDR輝度の平方根として近似的に定義されるルマを有するものとして扱われる。しかしながら、説明されたように、この画像はHDR画像の符号化でもあり、図6の例示的なSDRからHDRへの復号器に示されるように、図7の上側トラック並びに下側トラックの数学的写像を逆に適用することによって再構成可能である。図示のように、破線のHDR輝度は、平方根演算によって、又は、たとえば、事前に合意された通信プロトコルプロパティの接続で復号器からディスプレイに画像を通信するようなアプリケーションに適した他のルマ符号割り当て関数によって表現することもできる。
パラメータdgは、SDRグレーディングの場合には常に100nitである第2のグレーディングのピーク明度と比較したマスターHDRグレーディングのピーク明度に依存する(ただし、HDRのPB_Cは、BDディスク用のグレーディングなどのいくつかの実施形態では1000nitであり、その他では5000又は10,000nitなどである)。
PB_C_HDRに依存するgの実用的な良好な値は、線形ドメインでは、dg_lin=0.05*PB_C_HDR/100である(すなわち、符号化器側での値であり、復号器側では対応する実施形態は1/dgを使用する)。この線形の0.05の値は、疑似対数ドメインでは、0.287の値に対応する。この値に従って最暗HDR輝度がSDR画像に(たとえば、単純な実施形態では線形的に)符号化されることを復号器が想定していることを符号化器が知っている場合、そのようにSDRルマを生成することができ、復号器は1/dgの値を用いて、さらなる情報を必要とせずに正しく復号する。これがほとんどの画像及び状況に対して、特に自動符号化システムにおいてうまく動作する場合、一部の画像又は状況は、領域502における最暗HDR輝度に対する部分的な輝度マッピング曲線に反映されるような、最低HDR輝度の安全な符号化のさらなる精度と画像依存の最適化とを求め得る。これを微細グレーディング曲線を介して手軽に行うことができる手法を以下に示し、たとえば、グレーダは好みに応じてその最低部分を形成して、それらの暗いHDR領域のSDR部分領域をよりよく見えるようにしつつ、メタデータで通信される選択されたカスタム曲線(復号器においてユニット602によって適用される曲線)が与えられれば、HDR画像の良好な自動再構成をさらに与える。
符号化器のこの説明の後、図6の1つの可能な復号器の実施形態のユニットは、符号化の逆であるので、熟練した読者であれば理解することができる。ここで、微細グレーディングユニット602は、SDR入力画像の正確なルマのピクセル明度を粗いルマY’Rにリセットする(すなわち、同様にこれを定式化することができ、SDRダイナミックレンジにおいて再グレーディングを行う)。続いて、ダイナミックレンジ最適化器603は、HDRルマのスケーリングされたバージョンY’HPSを計算する(これは依然として典型的には0.0~1.0の全範囲で行われ、ただしここではHDRダイナミックレンジの相対表現である)。そして最後に、レンジ伸長器604は、これらのスケーリングされたバージョンを、たとえばPB_C=5000nitのHDR表現のHDR輝度軸上に正しく配置して、上記のように、たとえば、最大のスケーリングされたルマを1500nitにマッピングする(すなわち、ダイナミックレンジ最適化器603から得られる画像表現Y’HPSの1.0の点は、5000nitではなく1500nitにマッピングし、その理由は、現在処理中のシーンの画像のショットなどの中でそれが最明ピクセルであったためである)。最後に、線形化ユニット605は、正しく再構成されたHDR輝度の輝度表現を作成するが、まだ中間表現L_HDR_IMであり、その理由は、ゲイン制限器611がまだ、正しい符号化安全な(順次的な再グレーディング処理の上側トラックに代わる)戦略を、最暗SDRルマ(これは、作成/符号化側のマスターHDR画像の領域502内の元の最暗HDR輝度に対応する)に適用する必要があるためである。
一般に、このゲイン制限器611は、作成側で適用された任意のマッピング戦略の逆を適用する。理解を簡単にするために、上述のように、受信されたSDR画像が表す元のHDR画像のPB_Cに基づいて任意の受信器によって計算され得る適切なゲインdgと共に線形戦略が使用されたと再度仮定する(これは常にメタデータで伝達され、そうでなければ、受信器は、HDR画像のY’CbCr又はRGB表現の正しい輝度範囲を決定することができない)。その非常に実用的に単純で有用な実施形態では、乗算器610はY’_inに1/dgを乗算する(一般的なHDR符号化保護アルゴリズムが符号化器及び復号器で使用される場合、任意の必要なスケーリングをゲイン制限器611において直接考慮に入れることができる。したがって、単純な実施形態では、復号器内のゲイン制限器は、L_HDR_IM及び(1/dg)*Y’_inの最小値を計算して、L_HDR_outを生成する。いくつかの復号器の実施形態は、その値を直接使用して最終的な色変換を行い、たとえば、正しいL_HDR_outを使用して、HDR画像の色度が3D色に変換される場合である。他の実施形態はこれの平方根バージョン(これはHDR画像輝度のRec.709解釈である)を要求し、その場合、任意選択の平方根計算器612が存在する。
また、乗算係数gを用いて、3つの色成分にこのgを乗算することによって、(たとえば、線形又は非線形RGB、YCbCrなど、それらがどのような形式であっても)復号(HDRへの再構成)の色/輝度変換を行ういくつかの例も教示しているので、図8の他の説明すべき実施形態を与える。上記の復号器は輝度を選択する原理を使用しており、これはさらにその後のg係数の計算に使用されるのに対し、図8から学ぶことができるのは、同様にg値に基づいて、最小化戦略(又は一般的には、任意の正しい暗いピクセルが良質な復号戦略)を行うことができるということである。上側の分岐の全ての構成要素は、同様に説明された通りである。そして、ゲイン計算器801はゲインの計算を、F(Y’_in)値を除算することで行い、この値は、受信されたメタデータ(すなわち、たとえば、粗い変換のためのa_d、a_H、及びWPを含むSEI画像、たとえば、ユニット602の微細グレーディング関数の8形状制御点ベースの線形関数、又はより正確なLUTなど)内の体系化によって決定される様々な輝度変換関数形状を適用して、すなわち、最暗輝度に関する特定の(符号化安全な)動作を考慮せずに計算されたものである。この表現では、最小計算ユニット802は、ゲイン計算器801によって決定されるゲインgと、既知の1/dgとの最小値をここで計算して(又は、いくつかの実施形態では、作成側で使用されたこのdgの値を、上記の式の標準的な値から逸脱している場合に伝達することもできる)、3つの色成分に乗算される最終的なg_finを生成する。熟練した読者であれば、対応する符号化器を想像することができ、又は、他の戦略を適宜変更して用いて、たとえば、作成側から最暗輝度用のg値のLUTを受信するなどして、良好なg_fin値に到達する手法を想像することができる。
より興味深いことに、図9は、HDR画像の領域502の最暗輝度を最暗SDRルマの良好なサブセットとして符号化するための優れた戦略を決定するための選択肢に特に関して、様々な手法で作成された様々なコンテンツを取得するシステムに配置されるHDR復号器のより複雑な実施形態を与える。そのようなIC又はソフトウェアは、たとえばTV又はSTB内に存在し、これらは両方とも、高品質のグレーディングされた映画素材、たとえば、必要な色変換関数(一般に、本発明を解明するために説明されたものとは別に、ピクセル色の彩度を変更するなどの特定の色変換もあり得る)のメタデータと共に通信されるSDR(又はHDR)画像のセットを、映画配信サーバからインターネットを介して、又は衛星接続を介した単純なテレビ放送を介して取得する。この例では、たとえば、人間のグレーダが、上記の線形の戦略よりも最暗HDR輝度をマッピングするためのより優れた戦略を作成していると仮定する。これは部分的関数F_bkを介して行われる。線形の戦略は、実用的に単純であるにもかかわらず、ほとんどの場合は良好に動作する戦略であるが、最暗HDRシーンピクセルのためのより複雑ながらもまだ符号化安全な代替/並列戦略によって、グレーダは極度暗部(ultradark)に対する特定のグレーディング動作を、HDRシーンがまだそれを必要とする場合に組み込むことができる。様々な実施形態において、これを行ういくつかの手法があり、たとえば、ユニット602にロードされる微細グレーディング輝度マッピングのLUT体系化を介して、すなわち単一の関数として、この部分形状を伝達する。代替的には、微細グレーディング輝度マッピング関数の最低部分の形状を却下する部分的関数などを伝達する。ここで、ゲイン制限の動作はその場合、たとえば、その微細グレーディング関数の最低部分のグレーダに決定された形状によって決定される必要があり、すなわち、最小値計算が迂回される必要があり(すなわち、極度暗部、すなわち最も暗い暗部の代替的/並列復号のための単純な戦略を用いた最初の戦略であるか、又は極度暗部に対するより洗練された代替的な戦略が符号化側で使用されたか、その復号器が状況を検出する制御機構を有する必要がある)、しかしながら、他の、たとえば、粗く自動的にグレーディングされたコンテンツが入力された場合(たとえば、視聴者がケーブル又は衛星供給のビデオ番組に切り替えたため)、図6で説明された線形ベースのバージョンが(再び)適用されるべきである。有用な実施形態は、この微細グレーディング曲線ベースの手法を、黒オフセット(BK_off)をゼロに設定し、次いで微細グレーディング曲線において、L_HDR=0から始まるSDRへの全てのHDR輝度のマッピングを決定することによって実行するものである(すなわち、復号器において、微細グレーディング関数がどんな形状でも、(HDR画像の)ゼロであるL_in値は、ゼロであるY’_SDRルマに典型的にはマッピングされ、点501のHDR輝度が既にゼロにマッピングされている図5とは異なり、すなわち、輝度変換ベースの処理の上側の分岐のみを適用した場合であり、傾きdgを有する線形部分のゲイン制限を適用した場合ではない)。確認プログラムを動作させるプロセッサ901は、この状況を確認し、黒オフセットBk_offがゼロである場合には、真に最も暗いSDRルマに対して微細グレーディング曲線ベースの復号が行われるべきであり、そうでない場合には、F(Y’_in)-及び他の復号器実施形態ではg-と、線形の1/dgの傾きのSDR復号との最小値を計算する戦略が行われるべきである。したがって、プロセッサ901は、いずれの変形例が所与の状況に適しているかを選択する制御信号をスイッチ902に送る。
図12は他の符号化器(1200)の実施形態を示しており、その研究が示したものは、たとえばrho=25のフィリップスの知覚化曲線と共に使用された場合に特に、非常に興味深い。式1はPB_Cに依存するrho値を有し、復号器によっても使用される(すなわち、既知の)割当関数をこれに使用することができ、したがって、PB_C値のみが伝達される必要があり、たとえば、10,000nitのPB_CではPB_C=33、5000では25、1000では13.2である(100nitのPB_Cは5.7に対応するが、それは明らかにHDR画像符号化のPB_C値ではなく、したがってSDR画像をフィリップス知覚ルマドメインにマッピングするためのみのものである)。任意のPB_Cに対してrhoを得るための式は、
Rho(PB_C)=1+(33-1)*power(PB_C/10000;1/(2.4))
とすることができ、HDR符号化では、PB_Cは典型的には800nitを上回る。
様々なユニット(カスタム曲線形状ベースの微細グレーディング、画像の暗部及び明部のコントラストの制御に基づく3部分曲線の粗いグレーディング、並びに黒及び白オフセット)は、やはり上記実施形態と同一又は同様のものとして理解される。すなわち、たとえば、グレーダ(又は自動グレーディング装置)は、HDR画像の最明輝度(実際には、対応する最明ルマとして技術的に実装されるもの)を、典型的にはSDRルマの最大値(すなわち、たとえば、10ビットの符号化では1023)にマッピングしたいと決断し、おそらく黒も、典型的には最低SDR符号(0)にシフトされる。次いで、明部及び暗部の粗いルック調整を行い、曲線形状を選択して、レンジ、平均明度及びコントラストを画像のそれらの部分に割り当て、たとえば、本来はHDR画像ルマの値によってSDRディスプレイ上で過度に暗く見えるはずの夜のシーンの最暗部分を明るくする。したがって、たとえば、極度暗部に対して範囲0~M1_HDRを指定し、これを知覚表現の線形曲線によって0~M1_SDRにマッピングし、同様に、最明輝度の部分範囲における線形マッピングにやはり対応して、M2_HDR-1をM2_SDR-1にマッピングする。次いで、グレーダ又はグレーディングデバイス/符号化器自体が、ある滑らかな接続関数を中間の輝度値に対して指定する。そして、グレーダは、いくつかの物体の輝度、又は実際にはそれらに対応するルマ(それぞれの輝度部分範囲に沿って存在するもの)をより適切な位置にシフトして、選ばれた微細グレーディング曲線によって、たとえば、顔をよりきれいに見せ、又は、シーンのあるランプを多少明るくするなどする。これはSDR「明度」を、又はより正確には、知覚的に均一な明度表現のルマ(Y’P)を生成する。
ここで、違いは、最大値の計算(又は一般的には、出力される最暗SDRルマY’_SDRにより適切な符号化戦略の等価な判定)が知覚ドメインで実行されることである。加えて、乗算器1203によって、知覚HDRルマY’HP(知覚空間変換ユニット1201により計算されたもの)を乗算するための最適な定数gPが、このドメインで決定されなければならない。そのような符号化器の実施形態では、最大値計算も知覚空間で行われるので、線形化ユニット1205は、回路接続順では、ゲイン制限器(1204)の前ではなく後に来る。
研究から本発明者は、この戦略が、符号ピーク明度(PB_C、すなわち、符号化されるマスターHDR画像のもの)に依存しない、最暗HDR色の部分範囲[0~HDRL]の、SDR色の最暗部の部分範囲[0~SDRL]への割り当てを、知覚空間における線形的な手法で、すなわち、乗算定数、すなわちgPによって表すことができる手法で行う場合、全ての典型的なHDRテスト画像で良好に動作することが分かっている。
実験から、1nitのHDR輝度に対応する知覚ルマ(符号化されるHDR画像のピーク明度に常に無関係である)が、HDRL値に使用するのに適しており、0.1に対応する知覚ルマが、SDRL上限閾値に使用するのに適していることが分かっている。
そして、乗算値gPは、次のように符号化することができる。
gP=PH(0.1/100,100)/PH(1/PB_C,PB_C) [式2]
この表記ではPHは上記の式1の公式であり、より正確には、入力がコンマの前の第1の値である場合に出力される相対関数の値である。したがって、最初のPHは、典型的には100nitであるSDRの最大符号ピーク明度まで使用された場合の関数形状であり、(そうでなければ100の代わりにPB_C_SDRにたとえば200を書き込むが、実施形態の原理のこの説明では事柄を簡潔に保つ)、0.1の入力、したがって、最大の可能なSDR輝度(100)の1/1000に対する出力値を得る。同様に第2の部分、除算の分母は、フィリップス知覚関数PH(ただしこれは現在、HDR入力画像が必要とする範囲、たとえば、PB_C=5000nitまでの範囲をカバーするものであり、これはコンマの後のPB_Cによって示されている)に、1nitHDR輝度に対応する値、すなわち、1/PB_Cの相対値、たとえば、5000nitPB_Cの場合は1/5000を入力して得られるルマの値である。これをgP+-=0.67log(PB_C)/log(1000)で近似することができる。
興味深いことに、固定されたPH関数のrho値(及び典型的には2.4であるガンマ値も)を選択する実施形態では、選択されたgP値を符号化サイトから任意の受信側に伝達する必要がなく(ただし、いくつかの実施形態はそうすることができる)、復号器は、HDR符号(又は実際にはこのHDR画像を伝達するSDR画像)のピーク明度が伝達されるだけで、必要な逆定数1/gPを自力で計算することができ、これはどうにかして伝達される必要があるものであり、その理由は、R=G=B=1023の符号が実際に対応することになる、白にレンダリングされる輝度を知る必要があるためである。したがって、通信ビットを節約することができ、これは、メタデータが必要ない場合、それが損失又は破損して、付随した誤った結果を伴うことがあり得ないことも意味する。ただしこれは、符号化器及び復号器が共に、暗部のマッピングのたとえば1nit及び0.1nitに、(たとえば、HEVC-profile-Xなどの使用する符号化アルゴリズムのために)事前に合意している場合である。
実験が導いた結果では、SDRルマ符号化ユニット(1206)において、(古典的に行われたようにRec.709OETFを使用するのではなく)近年標準化されたRec.1886EOTFの逆関数を使用して、SDR画像信号に入れて受信器に伝達される実際のSDRルマY’_SDRを計算する場合、HDRシーン画像の極度暗部、すなわち、1nit未満の輝度を有するピクセルに存在する任意の画像構造を符号化するために約50のルマ符号を有する。このために典型的に使用するEOTFは、L_out=a*power((Y’_SDR+b);2.4)であり、ここでa=1.0及びb=0である。Y’_SDRのルマは、ファイルに書き込まれるものであり、マスターHDR画像について作成されたSDRルックのピクセル明度だけでなく、それらのマスターHDR画像の明度も同時に表し、ただしこれは当然ながら、それらが本色変換関数、特に本輝度変換関数を適用して計算された場合である。Rec.1886が標準SDRモニタ上の出力レンダリング輝度L_outとして定義するものは、上記のように、我々にとっては、このEOTFの逆関数、すなわち、輝度をルマ符号に変換するOETFの入力となる。この輝度は、0~100nitの輝度範囲、又は任意の対応する等価なルマ範囲に変換した後、HDRマスター輝度の代理となり、すなわち、これらは図12のLo値であって、たとえば、正確に又は近似的に元のマスターHDR画像ピクセル輝度の平方根である入力HDRルマY’_inに対応する、SDRダイナミックレンジに含まれる輝度である。
本符号化器は、直接的な消費と、又は数年後により高品質なレンダリングシステムで使用される元のビデオのマスターストレージとの両方に使用され得るので、様々な使用シナリオに対応する必要がある。極度暗部は、0.1nit以下が通常それほど興味がないか、又は表示面板上の部屋の光の反射で見えてすらいない、古典的なテレビシステムでレンダリングすることができることができるだけでなく、その画像は、OLEDのように深い黒をレンダリングすることが可能なディスプレイ上で暗い環境でレンダリングすることもでき、ディスプレイ又はそれに画像を供給する装置が、最暗色の輝度を多少増加させる内部の明るさ調整アルゴリズムを使用するようにさえしてもよい。しかしながら、HDR画像が、多くの非常に明るい物体に加えて、非常に暗い領域(たとえば、夜のシーンで)も十分に含み得るにもかかわらず、暗いために完全に可視でなく、典型的には画像の最重要部分でもないそのような領域には約50のルマ符号で十分であるはずである(そして、全ての画像の詳細は、LDR/SDR時代の全ての種類の画像を「完全に」表現するために使用された符号量の約5分の1でなおも表示される)。読者はまた、この実施形態では、処理は入力HDR輝度L_inで開始し、すなわち、単純にそのHDR輝度が使用されるか、又はそれらが線形輝度の何らかの関数、たとえば平方根として入力されるかは、本出願の教示の他の全ての部分と自由に組み合わせて変更することができる技術回路設計の選択肢であることに留意されたい。
熟練した読者であれば、本原理の様々な組合せ論的な代替的変形例を設計する手法をここで理解し始める可能性があるので、図11に、図12のタイプの符号化器に対応する復号器(1100)の2つのインターリーブされた実施形態を示す。いくつかの実施形態が、受信されたSDR画像の最暗ピクセルの復号が最小化戦略を用いて復号されるか、又はスイッチ1102がそれを迂回し、必要に応じて、受信されたSDRルマY’_inを再構成されたHDR輝度Loに変換することが可能な符号決定として機能する受信された関数から純粋に全ての復号が処理されるかに関して、(図9で既に同様に説明された)プロセッサ1101による状況条件の確認を有し得ることを破線で示している。乗算器1103はここで逆定数1/gPを使用し、これは上記のように、多くの実際的な実施形態において、受信デバイスによって(典型的には、映画ごとに、又は一般的には、チャネル切り替え後などの新たな受信コンテンツごとに1回)計算することができ、その理由は、符号化器が同様に使用したものを知っているためである。したがって、いくつかの実施形態は、プロセッサ1101からの任意選択の制御ループが存在することなく、常に回路をゲイン制限器1105と共に使用する。熟練した読者はまた、本原理が1/gP値が実際に伝達されること、たとえば、ディスクのセクタ上に記憶されること、又はメタデータ内で受信信号と共に伝達されることなどを禁止していないことも理解するべきである。
rho=5.7のフィリップス知覚化関数を使用できるようにするために、Rec.1886EOTF(b=0、a=0)を受信したSDRルマY’_inに適用して(たとえば、HEVC画像符号化された信号内で伝達されたもの)、正規化された線形SDR輝度L_SDR_inを開始点として得ることができる(当然ながらいくつかの実施形態では、それら2つのユニットは、固定のLUTとなる場合に結合することができ、その理由は、SDRの標準化された100nitPB_Cのために、そのような符号化が入力として使用される場合、rhoは常に5.7であるためであり、これは少なくとも近い将来には、実施形態が使用される可能性が高い手法である)。ユニット1111の線形変換もやはり、どのHDR符号化が使用されたかを示すPB_Cの受信値に依存するrhoを有する。
図13は、可能なPB_C符号ピーク明度(すなわち、必ずしも画像内の最明輝度ではなく、(全ての符号が使用された場合、すなわち、最明ピクセルが最大であった場合に)画像が含むことができ、符号化が対処できる必要があるもの)に対するgのいくつかの典型的な値を示す。これをたとえばLUTとして符号化し、復号器のハードウェアに入れることができる。
本文書で開示されたアルゴリズムの構成要素は、実際にはハードウェア(たとえば、特定用途向けICの部品)として、又は専用のデジタル信号プロセッサ若しくは汎用プロセッサ上で動作するソフトウェアとして(完全に又は部分的に)実現される。
どの構成要素が任意選択の改良であり、他の構成要素と組み合わせて実現され得るか、また、どのように方法の(任意選択の)ステップが装置のそれぞれの手段に対応するか、及びその逆は、本提案から当業者には理解できるはずである。本出願における「装置」という単語は、最も広い意味で使用され、すなわち、特定の目的の実現を可能にする手段のグループであり、したがって、たとえば、IC(の小回路部品)、専用機器(たとえば、ディスプレイを有する機器)、又はネットワーク接続されたシステムの一部などとすることができる。「構成」も、最も広い意味でも使用されることが意図されているので、とりわけ、単一の装置、装置の一部、協働する装置(の部分)の集合体などを含む。
コンピュータプログラム製品の表記は、汎用又は専用プロセッサが、一連のローディングステップ(これは中間変換ステップ、たとえば、中間言語及び最終的なプロセッサ言語への変換を含む)の後に、コマンドをプロセッサに入力して発明の特徴的な機能のいずれかを実行することを可能にする、コマンドの集合体の任意の物理的実現を包含するものと理解されるべきである。具体的には、コンピュータプログラム製品は、たとえばディスク若しくはテープなどのキャリア上のデータ、メモリに存在するデータ、有線若しくは無線のネットワーク接続を介して移動するデータ、又は紙面上のプログラムコードとして実現される。プログラムコードとは別に、プログラムに必要な特徴データもコンピュータプログラム製品として具現化される。
本方法の動作に必要なステップのいくつかは、データ入力及び出力ステップなど、コンピュータプログラム製品に記載される代わりに、プロセッサの機能内に既に存在する。
上記の実施形態が本発明を限定するのではなく例示するものであることに留意されたい。当業者が提示された例を特許請求の範囲の他の領域にマッピングすることを容易に実現できる場合、簡潔にするために、これらの選択肢の全てを詳細に述べているわけではない。特許請求の範囲で組み合わせられた本発明の要素の組み合わせとは別に、要素の他の組み合わせも可能である。要素の任意の組み合わせを、単一の専用要素内で実現することができる。
請求項内の括弧内のいかなる参照符号も、その請求項を限定するものではない。「備える」という単語は、請求項に記載されていない要素又は態様の存在を排除するものではない。要素に先行する単語「a」又は「an」は、複数のそのような要素の存在を排除するものではない。

Claims (12)

  1. 受信された100nitの標準ダイナミックレンジ画像のピクセルのルマに輝度変換関数のセットを適用することに基づいて、輝度を有するピクセルを有するHDR画像を計算するHDRビデオ復号器であって、前記輝度変換関数が、少なくとも粗輝度マッピングを含み、前記HDRビデオ復号器は、
    前記粗輝度マッピングを入力輝度又は当該入力輝度の関数である入力ルマに適用して、ダイナミックレンジが調整されたルマを生成するダイナミックレンジ最適化器と、
    続いて、前記ダイナミックレンジが調整されたルマの最暗値の、受信された黒オフセット値へのマッピングを実行する第2の関数を適用するレンジ伸長器と、
    を含み、前記HDRビデオ復号器が、
    ゲイン制限器であって、前記HDR画像の最暗輝度のサブセットに収まる輝度を、前記標準ダイナミックレンジ画像の対応する最暗ルマから計算するために、最暗HDRシーン色に対する、粗マッピングを含む前記輝度変換関数のセットを用いた輝度変換の代替として、代替の輝度変換関数を決定し、代替の輝度計算は、前記輝度変換関数のセットを介した計算と並列に実行され、前記輝度変換関数のセットを介して計算された輝度と、代替の輝度とのいずれが最も低い輝度値を有するかを選択することによってゲイン制限の戦略を適用する、ゲイン制限器をさらに備えることを特徴とする、HDRビデオ復号器。
  2. 代替の輝度変換が、所定の又は受信された定数(1/gP)と、知覚ルマ(Y’P)の値との乗算として定義され、前記知覚ルマが、非線形関数を入力ルマに適用することによって計算され、前記非線形関数は、互いに等距離の位置にある前記知覚ルマの値のセットが視覚的に均一な明度の外観を有することを特徴とする、請求項1に記載のHDRビデオ復号器。
  3. 前記非線形関数が、
    Y’P=log[(1+(rho-1)*power(L_SDR_in,1/2,4)]/log(rho)
    の定義を有し、
    ここで、L_SDR_inは前記標準ダイナミックレンジ画像の線形輝度であり、rhoは所定の又は通信される定数である、請求項2に記載のHDRビデオ復号器。
  4. 前記定数(1/gP)が、前記HDRビデオ復号器によって、前記HDR画像の符号化ピーク明度の受信値の関数として決定される、請求項2又は3に記載のHDRビデオ復号器。
  5. 代替の輝度変換、又は前記標準ダイナミックレンジ画像の少なくとも前記最暗輝度に対する前記輝度変換関数のセットに基づく変換のいずれかの選択を制御するためのプロセッサを備え、前記輝度変換関数のセットが、最暗HDR輝度に対する、前記標準ダイナミックレンジ画像の最暗輝度への変換の仕様を含む微細グレーディング関数を含む、請求項1から4のいずれか一項に記載のHDRビデオ復号器。
  6. 前記プロセッサが、黒オフセットの受信値がゼロではない場合に、前記代替の輝度変換が適用されると決定し、黒オフセットの受信値がゼロである場合に、前記標準ダイナミックレンジ画像の少なくとも前記最暗輝度に対する前記輝度変換関数のセットに基づく変換が適用されると決定するよう構成され、前記輝度変換関数の前記セットは、微細グレーティング曲線を有する、請求項に記載のHDRビデオ復号器。
  7. 入力されたHDR画像の100nitの標準ダイナミックレンジ画像の表現のピクセルの輝度を計算するHDRビデオ符号化器であって、前記HDRビデオ符号化器は、
    入力HDR輝度又はルマの値を最小の黒の値にマッピングし、出力として伸長された色表現の輝度又はルマを生成する、レンジ伸長器と、
    前記HDR画像の暗い及び明るい輝度部分領域の、結果のルマの範囲の対応する暗い及び明るい部分領域への割り当てを指定する粗輝度マッピングを、前記伸長された色表現の輝度又はルマに適用するダイナミックレンジ最適化器と、
    を備えることによって輝度変換関数のセットを適用する、HDRビデオ符号化器において、前記HDRビデオ符号化器は、
    前記輝度変換関数のセットの適用と並列に実行される、前記入力されたHDR画像の最暗HDRシーン色の輝度又はルマへの代替計算として、前記HDR画像の最暗輝度のサブセットを前記標準ダイナミックレンジ画像の対応する最暗ルマの範囲に変換するための代替の輝度変換関数を適用し、前記代替計算の結果と前記輝度変換関数のセットの適用の結果とのうち最も高いものを出力するゲイン制限器をさらに備えることを特徴とする、HDRビデオ符号化器。
  8. 代替の輝度変換が、所定の又は受信された定数と、知覚ルマの値との乗算として定義され、前記知覚ルマが、非線形関数をHDR入力輝度に適用することによって計算され、前記非線形関数が、互いに等距離の位置にある前記知覚ルマの値のセットが視覚的に均一な明度の外観を有することを特徴とし、前記ゲイン制限器は、前記所定の又は受信された定数が乗算された前記知覚ルマと、前記知覚ルマに、前記レンジ伸長器によるレンジ伸長と、前記ダイナミックレンジ最適化器による前記粗輝度マッピングとを連続して適用した結果得られる知覚ルマの値との最大値を計算する、請求項7に記載のHDRビデオ符号化器。
  9. 受信された100nitの標準ダイナミックレンジ画像のピクセルのルマに輝度変換関数のセットを適用することに基づいて、輝度を有するピクセルを有するHDR画像を計算するHDRビデオ復号の方法であって、前記輝度変換関数が少なくとも粗輝度マッピングを含み、前記方法が、
    前記粗輝度マッピングを入力輝度又は当該入力輝度の関数である入力ルマに適用して、ダイナミックレンジが調整されたルマを生成するステップと、
    続いて、前記ダイナミックレンジが調整されたルマの最暗値の、受信された黒オフセット値へのマッピングを実行する第2の関数を適用するステップと
    を有する、方法において、前記方法が、
    前記HDR画像の最暗輝度のサブセットに収まる輝度を、前記標準ダイナミックレンジ画像の対応する最暗ルマから計算するための、最暗HDRシーン色に対する、粗マッピングを含む前記輝度変換関数のセットを用いた輝度変換の代替として、代替の輝度変換関数を決定し、代替の輝度計算は、前記輝度変換関数のセットを介した計算と並列に実行され、前記輝度変換関数のセットを介して計算された輝度と、代替の輝度とのいずれが最も低い輝度値を有するかを選択することによってゲイン制限の戦略を適用するステップ
    をさらに有することを特徴とする、HDRビデオ復号の方法。
  10. 前記代替の輝度変換関数を決定するステップが、知覚的に均一な空間で定義される前記標準ダイナミックレンジ画像の少なくとも最暗入力ルマに対する線形関数であって、所定の又は受信された定数に、それぞれの前記入力ルマに対応する知覚ルマの値を乗算することによって計算される前記線形関数を決定するステップを有する、請求項9に記載のHDRビデオ復号の方法。
  11. 輝度変換関数のセットを、入力されたHDR画像のピクセルの入力HDR輝度又はルマに適用することによって、前記入力されたHDR画像の100nitの標準ダイナミックレンジ画像の表現のピクセルの輝度を計算するためのHDRビデオ符号化の方法であって、
    前記入力HDR輝度又はルマの値を、レンジ調整されたルマの最小の黒の値にマッピングするマッピングを適用し、出力として前記レンジ調整されたルマを生成するステップと、
    続いて、結果のルマを生成する粗輝度マッピングを、前記レンジ調整されたルマに適用するステップであって、前記粗輝度マッピングは、前記HDR画像の最明輝度及び最暗輝度の輝度部分範囲の、前記結果のルマの範囲のそれぞれの対応する最明及び最暗の部分範囲への割り当てを指定する、ステップと、
    を有する、方法において、前記方法は、
    前記輝度変換関数のセットの適用への代替の輝度変換として、前記HDR画像の前記最暗輝度の部分範囲を、前記標準ダイナミックレンジ画像の対応する最暗ルマに変換するための、前記輝度変換関数のセットの適用と並列に実行される代替の輝度変換関数を適用するゲイン制限の戦略を、最暗のHDRシーン色に適用するステップ
    をさらに有し、
    前記代替の輝度変換の結果と前記輝度変換関数のセットの適用の結果とのうち最も高いものを出力することを特徴とする、HDRビデオ符号化の方法。
  12. 前記ゲイン制限が、前記入力されたHDR画像の輝度に知覚化関数を適用して得られる知覚的に均一化されたルマに係数を乗算することによって、前記代替の輝度変換関数を計算する、請求項11に記載のHDRビデオ符号化の方法。
JP2018548399A 2016-03-18 2017-03-15 Hdrビデオの符号化及び復号 Active JP7061073B6 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662310233P 2016-03-18 2016-03-18
US62/310,233 2016-03-18
EP16165406.6 2016-04-14
EP16165406 2016-04-14
PCT/EP2017/056055 WO2017157977A1 (en) 2016-03-18 2017-03-15 Encoding and decoding hdr videos

Publications (4)

Publication Number Publication Date
JP2019512954A JP2019512954A (ja) 2019-05-16
JP2019512954A5 JP2019512954A5 (ja) 2020-04-23
JP7061073B2 true JP7061073B2 (ja) 2022-04-27
JP7061073B6 JP7061073B6 (ja) 2022-06-03

Family

ID=65728953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018548399A Active JP7061073B6 (ja) 2016-03-18 2017-03-15 Hdrビデオの符号化及び復号

Country Status (9)

Country Link
US (3) US10803562B2 (ja)
JP (1) JP7061073B6 (ja)
KR (1) KR102337438B1 (ja)
AU (1) AU2017235369B2 (ja)
ES (1) ES2951773T3 (ja)
MX (1) MX2018011332A (ja)
PL (1) PL3430806T3 (ja)
RU (1) RU2728516C2 (ja)
ZA (1) ZA201806927B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3220645A1 (en) * 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
AU2017235369B2 (en) 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
WO2018035696A1 (zh) * 2016-08-22 2018-03-01 华为技术有限公司 一种图像处理方法以及装置
JP6729170B2 (ja) * 2016-08-23 2020-07-22 沖電気工業株式会社 画像処理システム及び画像復号装置
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
US10609424B2 (en) * 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
EP3764346A1 (en) * 2019-07-09 2021-01-13 Koninklijke Philips N.V. Adjustment of display optimization behaviour for hdr images
US11082473B1 (en) * 2020-03-15 2021-08-03 Tfi Digital Media Limited Method for complexity reduction in video coding by coding parameters reuse
US11388348B2 (en) * 2020-07-20 2022-07-12 Samsung Electronics Co., Ltd. Systems and methods for dynamic range compression in multi-frame processing
CN112040091B (zh) * 2020-09-01 2023-07-21 先临三维科技股份有限公司 相机增益的调整方法和装置、扫描***
JP2022174948A (ja) * 2021-05-12 2022-11-25 横河電機株式会社 装置、監視システム、方法およびプログラム
CN113691816A (zh) * 2021-08-16 2021-11-23 维沃移动通信(杭州)有限公司 图像显示方法、装置、显示设备及存储介质
US11418724B1 (en) 2021-11-29 2022-08-16 Unity Technologies Sf Increasing dynamic range of a virtual production display
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치
CN114222072B (zh) * 2021-12-16 2023-10-27 影石创新科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN114363702B (zh) * 2021-12-28 2023-09-08 上海网达软件股份有限公司 Sdr视频转换为hdr视频的方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289452A (ja) 2002-02-06 2003-10-10 Samsung Electronics Co Ltd ヒストグラムマッチングを用いたコントラスト向上装置及び方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7768533B2 (en) * 1998-05-27 2010-08-03 Advanced Testing Technologies, Inc. Video generator with NTSC/PAL conversion capability
US20070242880A1 (en) * 2005-05-18 2007-10-18 Stebbings David W System and method for the identification of motional media of widely varying picture content
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
WO2008019524A1 (en) * 2006-07-17 2008-02-21 Thomson Licensing Method and apparatus for encoding video color enhancement data, and method and apparatus for decoding video color enhancement data
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
US20110046761A1 (en) * 2009-08-19 2011-02-24 Paul Frederick Titchener Recorded Media Enhancement Method
US8831340B2 (en) 2010-01-27 2014-09-09 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
EP2445214A1 (en) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video coding using temporally coherent dynamic range mapping
US20120177111A1 (en) * 2011-01-12 2012-07-12 Matthias Narroschke Efficient clipping
US9292940B2 (en) * 2011-04-28 2016-03-22 Koninklijke Philips N.V. Method and apparatus for generating an image coding signal
RU2616158C2 (ru) * 2011-04-28 2017-04-12 Конинклейке Филипс Н.В. Устройства и способы для кодирования и декодирования hdr-изображений
EP2745507A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
US8872981B1 (en) * 2011-12-15 2014-10-28 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
EP2632162A1 (en) * 2012-02-27 2013-08-28 Thomson Licensing Method and device for encoding an HDR video image, method and device for decoding an HDR video image
PT2880624T (pt) * 2012-03-26 2019-08-26 Koninklijke Philips Nv Aparelhos e métodos baseados em região de brilho para codificação e descodificação de imagens hdr
US9031319B2 (en) * 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
PL2836983T3 (pl) 2012-10-08 2018-01-31 Koninklijke Philips Nv Przetwarzanie obrazu zmieniające luminancję z ograniczeniami barwy
KR102157032B1 (ko) * 2013-02-21 2020-09-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위 비디오에 대한 디스플레이 관리
EP3022895B1 (en) 2013-07-18 2019-03-13 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images
JP2016541140A (ja) * 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Hdr放送サービスの提供のための放送信号送受信方法及び装置
JP2017512393A (ja) * 2014-02-21 2017-05-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 高解像度及び高ダイナミックレンジを可能とするビデオデコーダ
RU2689411C2 (ru) * 2014-11-10 2019-05-28 Конинклейке Филипс Н.В. Способ для кодирования, процессор видео, способ для декодирования, декодер видео
EP3231174B1 (en) * 2014-12-11 2020-08-26 Koninklijke Philips N.V. Optimizing high dynamic range images for particular displays
WO2016120085A1 (en) * 2015-01-29 2016-08-04 Koninklijke Philips N.V. Local dynamic range adjustment color processing
EP3051821A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
EP3051486A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
US20160307368A1 (en) * 2015-04-17 2016-10-20 Lytro, Inc. Compression and interactive playback of light field pictures
EP3119088A1 (en) * 2015-07-16 2017-01-18 Thomson Licensing Method and device for encoding an image, method and device for decoding an image
JP6132006B1 (ja) * 2015-12-02 2017-05-24 日本電気株式会社 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
AU2017235369B2 (en) * 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289452A (ja) 2002-02-06 2003-10-10 Samsung Electronics Co Ltd ヒストグラムマッチングを用いたコントラスト向上装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DE HAAN, Wiebe et al.,HDR CE6: Core Experiments 4.3 and 4.6a: description of the Philips system in 4:2:0 and with automatic reshaper parameter derivation,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 23rd Meeting: San Diego, USA, 19-26 February 2016, [JCTVC-W0063],JCTVC-W0063 (version 2),2016年02月20日,pp. 1-13
下山 荘介 他,複合関数による高機能ダイナミックレンジ圧縮手法の検討 Evaluation of Sophisticated Dynamic Range Compression Method using Composite Function,電子情報通信学会2011年総合大会講演論文集 PROCEEDINGS OF THE 2011 IEICE GENERAL CONFERENCE,社団法人電子情報通信学会,2011年02月28日,情報・システム講演論文集2, D-11-67,p. 67

Also Published As

Publication number Publication date
KR20180119684A (ko) 2018-11-02
ZA201806927B (en) 2020-07-29
KR102337438B1 (ko) 2021-12-09
RU2728516C2 (ru) 2020-07-30
MX2018011332A (es) 2019-01-31
US11593922B2 (en) 2023-02-28
US20190130542A1 (en) 2019-05-02
AU2017235369A1 (en) 2018-11-08
US20210019868A1 (en) 2021-01-21
US11887285B2 (en) 2024-01-30
JP7061073B6 (ja) 2022-06-03
RU2018136345A3 (ja) 2020-05-27
ES2951773T3 (es) 2023-10-24
PL3430806T3 (pl) 2023-10-09
JP2019512954A (ja) 2019-05-16
AU2017235369B2 (en) 2022-02-03
RU2018136345A (ru) 2020-04-20
US10803562B2 (en) 2020-10-13
US20230177659A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
JP7061073B2 (ja) Hdrビデオの符号化及び復号
EP3430806B1 (en) Encoding and decoding hdr videos
US11195492B2 (en) Optimizing high dynamic range images for particular displays
US10863201B2 (en) Optimizing high dynamic range images for particular displays
US10366672B2 (en) Optimizing high dynamic range images for particular displays
EP3235236B1 (en) Dynamic range coding for images and video
RU2642335C2 (ru) Обработка изображений с изменением яркости при цветовых ограничениях
JP7053259B2 (ja) Hdr画像をエンコードする方法及び装置
US20210272497A1 (en) Optimized decoded high dynamic range image saturation
JP6831389B2 (ja) 複数のhdr画像ソースの処理
US20240221135A1 (en) Display-Optimized HDR Video Contrast Adapation
JP2024519606A (ja) ディスプレイに最適化されたhdrビデオコントラスト適応

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200313

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220415

R150 Certificate of patent or registration of utility model

Ref document number: 7061073

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150