JP2018093530A - Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置 - Google Patents

Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置 Download PDF

Info

Publication number
JP2018093530A
JP2018093530A JP2018032715A JP2018032715A JP2018093530A JP 2018093530 A JP2018093530 A JP 2018093530A JP 2018032715 A JP2018032715 A JP 2018032715A JP 2018032715 A JP2018032715 A JP 2018032715A JP 2018093530 A JP2018093530 A JP 2018093530A
Authority
JP
Japan
Prior art keywords
image
dynamic range
ldr
range image
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018032715A
Other languages
English (en)
Other versions
JP6615251B2 (ja
Inventor
デル ヴルーテン レナトゥス ジョセフス ファン
Josephus Van Der Vleuten Renatus
デル ヴルーテン レナトゥス ジョセフス ファン
マーク ジョゼフ ウィレム マーテンス
Mark Jozef Willem Mertens
マーク ジョゼフ ウィレム マーテンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018093530A publication Critical patent/JP2018093530A/ja
Application granted granted Critical
Publication of JP6615251B2 publication Critical patent/JP6615251B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】良好な映像符号化を提供する。【解決手段】luma軸の予め決められたスケールにHDR画像をスケーリングし、HDR画像におけるより暗い色を有する少なくともサブレンジ内にある画素色の輝度を変えるトーンマッピングを適用し、ガンマ関数を適用し、任意の単調増大関数マッピングの適用であって、lumaは、LDR画像のlumaを出力するために上記の各ステップを実行することから生じる前記適用を実行することにより、低ルミナンスダイナミックレンジの画像にHDR画像を変換し、画像信号において、低ルミナンスダイナミックレンジ画像の画素色の成文化を出力し、画像信号において、メタデータとしての上記の色変換の機能的動作をエンコードする値又は逆関数のための値を出力し、メタデータは、低ルミナンスダイナミックレンジ画像からHDR画像を復元する。【選択図】図6

Description

本発明は、1つの高ダイナミックレンジ画像(即ち、静止画)、好ましくは複数の高ダイナミックレンジ画像(即ち、ビデオ)のエンコーディング、必要な符号化された画像情報を受信側に伝達するための対応する技術的システム及び方法、並びに、符号化された画像をデコードし、最終的にこれらを表示のために利用可能にするデコーダに関する。
HDR画像は、HDRシーンの視覚的に良好な品質のレンダリングが例えば5000nitのような高いピーク輝度を有するHDRディスプレイ上で行われ得るような態様において、シーンにおける種々の取り込まれたオブジェクトの色テクスチャの高品質エンコーディングのための充分な情報によって(典型的には非常に明るい領域及び非常に暗い領域の双方を含み得る)HDRシーンのテクスチャをエンコードする画像である。数年に渡って開発された我々のHDRエンコーディングフレームワークにおいて、我々は、同時に、そのシーン上の種々の包囲されたダイナミックレンジの下位視野(subview)もエンコードしたかった。これは、連続的に低減されたダイナミックレンジの種々の表示のための良好な駆動画像、少なくとも例えば100nitのピーク輝度の表示を駆動させるのに適しているLDR画像の見た目として機能し得る。
更に、HDRエンコーディングは、好ましくは、既存のビデオ符号化技術と比較的良好にマッチするだけでなく、例えばブルーレイディスクストレージ(及び、ストレージメモリの量のようなその制約、実質的に全ての他の規格化された態様)のような既存の技術の現在の画像又はビデオエンコーディングフレームワーク、又は、HDMI(登録商標)ケーブル接続、又は、他の画像伝送又はストレージシステム等にも合わせることができるように技術的に設計される。とりわけ、時間インスタント毎に2つのエンコードされた画像(例えば、LDR画像、及び、各画素をHDR画像画素までブーストするための局所的に明るくなる強度を有する画像)を用いるHDRエンコードシステムは、不必要に複雑なもののようにとりわけ装置製造者により理解される。
HDRビデオ(又は静止画像)エンコーディングは、最近暫定的に調査されているだけであり、及び、今まで困難なタスクであった。典型的な考えは、シーンオブジェクトのLDR範囲より高い輝度をエンコードする(例えば、シーンルミナンスを直接エンコードするエンコーディングの)ために非常に多くのビットへ向かうことを必要とすること、又は、2層アプローチを必要とすることである。例えばオブジェクト反射画像に加えて、イルミネーションブースト画像又は類似の分解ストラテジが存在する。例えばドルビーのHDR符号化システムのような代替アプローチは、典型的には、2層HDRエンコーディング技術を常に用いる(US8248486B1参照)。WO2010/105036は、ドルビーからの斯様な時間インスタンス当たり2画像エンコーディングシステムの他の例である。(例えば、古典的アナログセルロイドフォトグラフィの動作を模倣する)単純な固定されたトーンマッピングTMは、これに対応するHDRグレーディングにLDR画像をマッピングするために用いられ得るか、又は、逆もまた同じである。これは、あまり正しくないマッピング関数になるかもしれない(グレーダは、言わばLDRグレーディングにおける複雑にされた最適化の決定を用いているかもしれないためである)。従って、元の言わばHDR画像の予測と元のHDR画像自体との間にかなりの差分があるかもしれないが、これは問題にならない。システムは、第2の補正画像として差分(残余ビットストリーム742)を送信することができるためである。
斯様な2画像エンコーディングシステムの他の例は、テクニカラーHDR符号化システムである(Joint Cooperative Team on video coding of ITU-T SG 16 WP3, San Jose of 9-17 Jan. 2014の第16回ミーティングの文書JCTVC-P0159r1)。これは、第1の画像として、局所的イルミネーションである低解像度信号をエンコードする。これは、典型的には、調整された2D LEDバックライトにおいて生成されるためである。第2の画像は、その低周波数信号に基づく典型的により低いダイナミックレンジ変調のテクスチャ画像である。これは、典型的には、適切なLCDバルブ駆動信号による表示に基づき生成されるだろう。
フィリップスは、非常に単純な単一画像アプローチを最近発明した(依然として公にされていないが、幾つかの態様は、WO2012/147022及びWO2012/153224において見られ得る)。これは、画像及びビデオ符号化における新たな方向であり、想像することが容易ではない先験的なものであるだけでなく、実際にこれを行うときに、解決されるべき多くの技術的な課題をもたらす。しかしながら、これは、実際にうまく機能する。
"高ダイナミックレンジ"(HDR;high dynamic range)によれば、取り込み側から取り込まれた画像がレガシーLDRエンコーディングと比較して高いルミナンスコントラスト比を有することを意味する(即ち、10.000:1又はそれ以上のオブジェクトルミナンスコントラスト比は、符号化により扱われ得る。画像ハンドリングの全ての成分はレンダリングにつながれる。取り込まれたオブジェクトルミナンスは、1000nitを越え得る。あるいは、より詳細には、典型的には、再生環境が与えられた場合に言わば点灯されたランプ又は日が照っている屋外の望ましい外観を生成するために1000nitより上で再生/レンダリングされ得る)。そして、典型的には、斯様な画像のレンダリングは、HDRである(即ち、これらの画像は、高画質HDRレンダリングのために充分な情報を含むという点で、好ましくは技術的に使いやすい態様において、適切でなければならない)。画像は、少なくとも1000のnitのピーク輝度によりディスプレイ上にレンダリングされるか又はレンダリングされるのを意図される(これらは、典型的には適切なカラーマッピングの後に、例えば100nitのピーク輝度のLDRディスプレイ上に代わりにレンダリングされ得ない、及び、レンダリングされる必要がないことを意味するものではない)。
最近、例えばドルビーのデュアルレイヤ手法(WO2005/1040035)のように、多数のHDRエンコーディング技術が提案されている。しかしながら、産業界は、現在、データ量、計算複雑性(ICの価格)、取り込みの容易さ、アーティストが好きであるものは何でも生成するための用途の広さ等のような極めて重要なファクタのような全ての要件(のバランス)を有する実際的なHDRビデオ(/画像)エンコーディング技術を依然として探している。とりわけ、デュアルレイヤアプローチは不必要に複雑なものとして見られる。理想的には、例えばDCTベースのMPEG HEVCエンコーディングのようなレガシーエンコーディングに適合する符号化技術を設計することができるようにしたい。問題は、これが多少直観に反しているということである。即ち、HDR画像をどのようにエンコードすることができるかであり、これは、定義により、LDR画像とは異なるものになるべきである。典型的には、LDR画像を含めるために最適化された技術において、興味深い輝度/ルミナンス範囲のより大きな量を有する。これらのレガシーLDR画像ハンドリング/符号化システムは、典型的なLDRイメージングシナリオによって機能するように設計及び最適化された。これは、通常、例えばスタジオ照明比において4:1(又は、例えば10:1)によって適切に照らされる。視野における(白色のための言わば85%と黒色のための5%との間の反射において変化し得る)ほとんどのオブジェクトに対して約68:1(170:1)の全体のコントラスト比を与える。ピークホワイトから開始するオブジェクトルミナンスの相対的レンダリング(即ち、画像ホワイトを利用可能なディスプレイホワイトにマッピングする)を見る場合、局所的調光を伴わない典型的な初期のLCDモニタは、100nitの白色及び1nitの黒色のようなものを有するだろう。これは、画像コントラスト比とマッチするだろう。典型的には、平均のCRTシステム上でその日の間にも見られたかもしれないと考えられるものは、40:1の能力のようなものを有するだろう。これらのシステムにおける2.2の標準レガシールミナンスコード割当てガンマ関数を有することは、より高いシーンコントラストのほとんどのシナリオのために満足に思われた。その頃に許容可能なエラーとみなされたものが作られたにもかかわらず、悪くエンコードされた高ルミナンスシーン領域のレンダリングの斯様な誤差(例えばウインドウの背後で明るい屋外をハードクリッピングする)は、許容可能であった。LDRディスプレイは、これらのオブジェクトルミナンスを物理的に正確にレンダリングすることができなかったためである。
しかしながら、例えば屋内シーンのような、レンダリングを向上させるという欲求があるというシナリオがある。これは、日当りのよい屋外を同時に見ることができ、この場合において、100:1又はそれ以上のイルミネーション比であってもよい。線形の相対的レンダリング(即ち、最も明るいエンコードされた領域又は同等に最も明るいシーン領域の中間グレーにフォーカスし、画像ホワイトをディスプレイホワイトにマッピングする)によれば、屋内ホワイトは、観察者に対して精神視覚的な黒にマッピングされるだろう。従って、LDRにおいて、これらの日当りのよい領域は、典型的には、(典型的には、これらの画素のための最大255周辺でコードを識別するのを困難にするエンコードされた画像において)(ソフト)クリッピングされるように示されるだろう。しかしながら、HDRディスプレイ上で、我々は、これらを明るくカラフルに示すことを望む。これは、(実際にイタリアでの休日の場合のように)斯様なシーンの非常により自然主義的な及び素晴らしいレンダリングを与えるだろう。しかしながら、より高輝度のコンテンツが幾つかの鏡面反射のみで構成されるシーンであっても、大きな視覚的画質改善を既に示す。クリッピング又は量子化エラーのようなアーチファクトが例えば5000又は10000nitのディスプレイ上で不快に見えない場合、少なくとも、我々は、レンダリングされた画像がHDRディスプレイが可能にするのと同じくらい美しくなるように、正しい種類の画像により斯様なHDRディスプレイを駆動させることができるようにしたい。
しかしながら、古典的考えは、追加の過度な輝度範囲をエンコードするために(非常に)多くのビットを有する必要があるということであった。これらは、LDRの範囲より高いオブジェクトルミナンスをエンコードするより高いビットである。これは、(符号ビット、5ビットの累指数及び10ビットの仮数の16ビットを有するOpenEXR、又は、考えられるオブジェクトルミナンスの全体を高精度に数学的に正確に取り込もうとするWardのLogLuvエンコーディングのような)単一の大きなコード語において最適化されてエンコードすることにより、又は、標準のLDRの範囲のコードを有する第1のレイヤ(例えばHDR画像の古典的JPEG近似値)及び斯様な画素ルミナンスをより高い輝度まで向上させるための第2のレイヤ(例えば、より高いルミナンスを必要とする場合に各画素をブーストするためのブースト画像、即ち、単一の線形16ビットコードと等価である2つの斯様な8ビット画像の乗算)を用いることにより、生じ得る。
実用的なHDR符号化技術を設計するときに解決されるべき大きな実用的な問題は、もちろん異なるHDR画像の巨大な範囲を扱うことができなければならないという事実に加えて、ハードウェア製造者がコード語(チャネル(即ちluma及び2つの色彩チャネル))毎により低い量のビットを要求することである。しかしながら、我々の以下で提案された技術はより大きなビット語によって機能することもできるが、少なくともルミナンス(又はより正確にはluma)チャネルのための10ビットの制約下でうまく機能する解決策をもたらす(ルミナンスチャネルを有する実施形態を解明するにもかかわらず、我々の概念は、(線形又は非線形の)RGB色表現上で機能するものとして必要な変更を加えて具現化され得ることに留意されたい)。更に、我々は、二重の観点において、(LDR画像を介したHDRの見た目の)色画素エンコーディング及び幾つかのレンダリングシナリオのための色外観変換(即ち、異なるピーク輝度、例えばPB=800nitを有する幾つかのディスプレイ上にシーンをレンダリングするための必要とされる最適な見た目)の双方を機能的な態様において行うことができるフレームワークを開発した。これは、少なくとも1つの更なるグレーディングの見た目、及び、詳細には各画像に対して少なくとも1秒の画像の代わりにLDRの見た目に加えてHDRの見た目をエンコードするときに関数だけが共同エンコードされるのを必要とすることを意味する。
我々は、現在HDRエンコーディングシステムの2つのカテゴリを有する。市場が、種々のプレーヤ及びこれらの異なるニーズが与えられる、エンコーディングシステムにおける斯様な用途の広さを望んでいるためである。モードi(又は、例えばBDディスク上の単独で規定する画像としてエンコードされるHDRの見た目、又は、ネットワーク接続を介したAVC若しくはHEVC画像のストリーム)システムにおいて、我々は、唯一の画素画像としてHDRの見た目の画像を用いる。これは、オブジェクトの色テクスチャ及び形状をエンコードするために用いられる(斯様な唯一のHDR画像が少なくともHDRの見た目の画素色を規定するためにどのようにレシーバに送信され得るか、及び、適切な再グレーディング関数によってどのようにレシーバがその画像における色を処理することにより他の見た目の画像を計算することができるかについて、出願人のWO2015007505を参照)。これにより、我々は、元のHDRマスターグレーディング画像、即ち、例えば典型的には5000nitのピーク輝度ディスプレイのような基準HDRディスプレイ上で最良に見るために最適に色等級分けされた画像を利用し、これを最小限変換するだけである。基本的に、コード割当て関数又は光電子伝達関数OETFのみを適用する(このOETFは例えばカメラにより取り込まれるシーンルミナンスがどのようにlumaコードに伝達されるかを規定するが、テレビエンジニアは、lumaコードから基準ディスプレイでレンダリングされるルミナンスにするために代わりに電気光学伝達関数EOTFである逆関数を特定したいことに留意されたい)。OETFを用いることにより、利用可能なもの(例えば、全ての輝度値に渡るluma Y´チャネルのための10ビットのコード)を最適に割り当てる。これは、基準[0−5000]nitディスプレイ上で行うことを必要とする。そして、異なるピーク輝度のディスプレイのための他の所望のグレーディングは、このHDRの見た目の画像を変換することにより行われ得る。我々のフレームワークにおいて、我々は、典型的は1つの第2のグレーディングのみによりこのディスプレイの見た目の同調性を可能にする。これは、考えられるディスプレイの範囲の他の最端において機能すべきである(即ち、100nitピーク輝度ディスプレイのためのコンテンツ作者/色グレーダに従って最適又は適切である見た目(これは、典型的にはLDRディスプレイのカテゴリのための基準ディスプレイである))。これは、単なる作成側の再カラーリングステップよりもむしろ更なる見た目の共同エンコーディングであることに留意されたい。この要求される色変換は、全体的な輝度再調整(例えば、画像においてより暗い色を輝かせる)を実現するガンマ関数、局所的コントラストを調整する任意のS字型又は逆S字型の曲線、例えば彩度を画像等における幾つかのオブジェクト又は領域の対応する輝度に調整する色彩度処理関数のようなマッピング関数を適用することにより決定される。我々は、これらの関数を、画素化されたHDRの見た目の画像と関連付けられるメタデータとして自由に共同エンコードすることができる(基本関数の制限されたセットに属するものと同じくらい長い限り、我々はどの関数でも必要とする。レシーバは、規格化された態様において理解することができる)。この場合において、我々は、HDRの見た目の画像から第2のLDRの見た目のグレーディング画像をパラメータ的に規定する(即ち、我々は、画素イメージとしてのそのLDRの見た目の画像をもはやエンコードすることを必要としない)。2つのレイヤエンコーディングシステムとの差を慎重に示す。我々のシステムにおいて、色変換関数は、レシーバにおける第2の見た目を再等級分けすることができるように第2の見た目についてエンコードされる。従って、2画像技術の粗い近似関数よりはむしろ、我々の関数は、種々のオブジェクトの照射がコンテンツ作者によって種々のレンダリングの見た目においてどのように機能するべきかという完全にスマートな認識を含む。生成するアーティストが、その見た目が、色レンダリング機能の第1のレベルを有する表示のための第1の見た目から、色レンダリング機能の第2のレベル(とりわけディスプレイピーク輝度)を有する表示のための第2の見た目に、どのように変換することを望むかというこの認識が与えられる場合、中間機能(例えば1200nitピーク輝度)を有するディスプレイは、2つのグレーディング及び挿入についての認識を用いるにより、そのレンダリング状況のためのより最適な駆動画像自動的にもたらし得る(例えば、ディスプレイは、HDRの見た目の画像及び機能的変換からの導出されたLDRの見た目の画像及びHDRの見た目の2つの画素化された画像の非対称の混合を行ってもよい。乗法的混合割合は、実際のディスプレイが精神視覚的非線形スケール上でHDR又はLDRディスプレイにどれくらい近いかにより決定される)。これは、元のHDRの見た目の画像又はLDRの見た目の画像のいずれかによりディスプレイを駆動させることよりも良好になるだろう。
これは、シーン(例えば5000nitレンダリング)上の単一の(HDR)画像の見た目の強力であり依然として単純な定義であるが、消費者の自宅におけるようなフィールドにおける種々の考えられる表示のためのシーンの適切なレンダリングを導出するための完全なフレームワークである(及び、例えば種々の周囲照明下の人間の視野の変更されたコントラスト感度をモデル化するポストガンマを適用することによる観察環境への潜在的適応)。これは、例えば作者がこれらのコンテンツの良いHDRバージョンを作り、(例えば、HDR BDディスク上で、又は、インターネットを介してHDR動画をオンラインで注文することにより、又は、HDRテレビジョン放送により)レシーバに送信される実際のエンコーディングにおけるこのHDRの見た目を有したいというアプリケーション/シナリオのために主として有益である。実際にこのコンテンツ版を購入する顧客がHDRディスプレイを有することは必要ではない。顧客は、後にHDRディスプレイを有する時のために購入することができ、HDR−2−LDR変換を用いることができるためである。しかしながら、顧客がHDRディスプレイのためのコンテンツを望むときに好ましいオプションになるだろう。
これに対し、HDRシーンをエンコードする上記のHDRの見た目の態様(説明されたように、モードiは、少なくともHDRの見た目の画像は、画素画像としてエンコードされたものである。しかしながら、実際には、その同じシーン上の他の見た目がエンコードされる。しかしながら、その後、例えばクリッピングの実施形態のような色変換関数をパラメータ的に有する。LDRの見た目は、HDR画像の下位範囲を分離し、残りをクリップする)は、主にビデオエンコーディングであるが将来の画像のための実際的な新たな技術的システムをもたらすための重大な技術的なチャレンジをもたらす(ハードウェア製造者のためのIC設計の簡単さとして斯様なファクタを考慮し、それでも、コンテンツメーカーが、実際に点灯されるように見えるランプのような多くの創造的なHDR効果により、SF映画、超大作テレビ番組又は自然ドキュメンタリー等のような美しいHDRコンテンツを生成するのを可能にする)。市場は複雑性のさらに他のレイヤを要求した。我々はこの特許の説明において教示するだろう。
即ち、幾つかの(我々はモードiiと言う)アプリケーションに関して、シーンオブジェクトをエンコードする唯一の画素化された画像としてLDRの見た目の画像を有したくてもよい。これは、例えばブルーレイディスク上に唯一の画像として書き込まれる。コンテンツ作者は、HDRの見た目の画質を気にかけるにもかかわらず、レガシー技術と同様のLDRの見た目にフォーカスする。そして、典型的には、画像信号S_imにおいて通信されたLDRの見た目の画像をアップグレードすることによりHDRの見た目の画像を導出するために、関連付け可能なメタデータにおいて共同エンコードされる関数パラメータがあるだろう。このモードiiの変形(又はLDRの見た目)を選択するための種々の理由があってもよい。これは、例えば任意の処理を行うことができないレガシーシステムのためのものであってもよい(例えば、YCrCbエンコーディングよりもむしろY´uv色として色をエンコードする特定の実施形態において唯一の画像をエンコードするのを好む場合、Y´uv画像を装うことによりレガシーHEVCフレームワークにおいてこれを依然としてエンコードすることができる。これは、奇妙に着色されたYCrCb画像であり、MPEGコーデックファミリーのメンバーのうちの1つにおいて規格化されるようなレガシーDCTベースのエンコーディング方式を更に用いる。)が、(例えば低輝度のポータブルディスプレイ上で動画を表示する)LDRの見た目を必要とするアプリケーションのためのものであってもよく、あまりに多くの処理を行いたくはなくてもよい。あるいは、おそらく、作者は、完全なHDRの見た目を生成することについてあまり多くの時間を注ぎ込みたくない(しかしながら、例えばLDR−2−HDR自動変換の軽微な微調整を行うことによりそれを急激に行う。これは、例えば、古いLaurel及びHardyの動画リマスタリングのために明るい領域を分離してこれらを非線形にブーストする。)。彼のLDRの見た目をLDR及びHDRの見た目の最も重要なマスターグレーディングとみなす。これは、潜在的な色誤差によって、任意の色変換を必要とすることなく直接的にエンコードされるべきである。例えば、テレビブロードキャスタは、とりわけ現実の放送のために、このオプションを選んでもよい(例えば、ニュースは、最も素晴らしいHDRである必要はない)。
しかしながら、このLDRの見た目(モードii)のエンコーディングは、他方における自由な芸術的なグレーディング欲求に対する一方における問題の数学的性質及び符号化数学に起因して追加の複雑性を有する。これは、良好な技術的なフレームワークをもたらすために困難なタスクになる。より正確にするために、一方では、我々は、所望のマスターHDR画像からグレードダウンする関数を必要とし、これらの受信した関数(又は、実際にはダウングレーディングの逆関数)を有するレシーバにおいて、レシーバは、即ち(グレーダがマスターHDRからのダウングレーディングにおいて用いた関数からエンコーダにより導出される)関数のためのパラメータが存在するメタデータ関数パラメータデータにおいて、少なくとも元のHDR画像の近似値にアップグレードすることができる。これは、唯一のLDR画像を、十分に近いHDR予測Rec_HDRにマッピングすることができる。しかしながら、一方、LDR画像は、±100nitディスプレイ上で直接レンダリングされたとき、即ち更なる色変換を伴うことなく、色等級分け部に従って十分良好に見えるべきである。従って、関数の選択とこれらがLDR及びRec_HDRの見た目にどのように影響するかとの間のバランスがそこにあるだろう。また、IC又は装置の製造者が規格の関数の制限されたセットを参照したいというような他の問題を考慮する。これは、見た目の再グレーディング、及びコンテンツ作者が要求するいかなる見た目も素早く特定するためのこれらの関数に対して有益である。グレーディング時間は高価なものであり、映画リリースのタイミングは重要であり得るためである。以下の説明において、我々は、HDRシーンエンコーディングのこのモードiiの変形を扱うための実用的なシステムを述べるだろう。
我々は、HDR画像の改良されたエンコーディングを有することを必要とし、とりわけ、我々は、現時点でとりわけ多くのレガシーLDRシステムがその分野において依然として存在しているときに幾つかのレベルの互換性を必要とするという観点により開始した。これは、一方では、我々が既存の(デ)コーダICを用い続けることを望むことを意味する。これは、(I)DCT[=画像通信技術との第1のレベルの互換性]のような機能を実装する。しかしながら、加えて、ディスプレイとの第2のレベルの互換性が存在することを必要とする。これは、これらの低ピーク輝度のため、LDR画像を必要とする(即ち、LDRの見た目、例えば画像のより暗い部分において暗すぎる色を有するが、むしろLDRディスプレイ上のより良好な可視性のために明るくされたより暗い色を伴うHDRの見た目ではない)。これらは、LDR画像(即ち、斯様なディスプレイダイナミックレンジ機能下での正しいLDRの見た目)のみをレンダリングすることができるためである。これは、現在開発されているレガシーTVに加えて、更なる将来において、ラップトップ又はパッドコンピュータ又はモバイルフォンのような低輝度機能の小さなポータブルディスプレイからの範囲にあるディスプレイのスペクトルが存在するためである。また、消費者は、将来において例えば10000nit及びこれらの間又はそのまわりの全てのディスプレイのピーク輝度を有し得る最も進化したHDRディスプレイへのHDR映画のレンダリングを望む。そして、ディスプレイが依然としてレガシーであってもよく、単純なものであってもよいにもかかわらず、これは、例えばHDMI(登録商標)又は他の接続を介してHDRコンテンツを供給する将来のセットトップボックス又はコンピュータにおいて高い複雑性の新たなデコーディング及びカラーマッピングICにより機能し得る。セットトップボックスは、我々が発明した及び述べたオプションの任意の組み合わせを提供する。レガシーLDR画像は、イントラオブジェクト及びインターオブジェクトコントラストの間の最適化であることを必要とすることに留意されたい。我々は、オブジェクトの内部テクスチャをはっきりと見ることを望み、それでも、依然として、元のシーンのコントラストが強い大きなHDRの印象をLDR画像において有することを望む。即ち、高輝度の領域と低輝度の領域との間の差は、LDR画像によって完全にレンダリング可能ではなくてもよく、それでも、これの残りが依然として存在すべきであり、人間のグレーダによりLDRにおいて伝送可能な依然として可能な限り最適なシーンにおいて照明変化を行う。
我々は、これらの要件を、理想的なシナリオにおいてコンテンツ提供者からの同じ動画又は画像のための(少なくとも)2つのグレーディングを必要とするというアプローチに変換した。我々は、これらを(例えば100nitのまわりのピーク輝度を有するディスプレイを有する、LDRディスプレイシナリオのために用いられる)LDR画像及び(より明るいディスプレイ(例えば5000nitのピーク輝度の基準ディスプレイ)のための)HDR画像と単純に言うだろう。
従って、幾つかの実用的な例のシナリオのために、我々は、入力としての新規なHDRエンコーディング実施形態のための開始ポイントとして、マスターHDR等級化画像を有する(作者の好みに従っていかなる色も処理するソフトウェアであったもの、及び、例えばOpenEXRのような開始色エンコーディングにおいてエンコードされるものについて等級化と言おう。例えばコンピュータグラフィックス効果を追加することによりもともとLDRとして取り込まれた画像のHDRの見た目へのアップグレーディングであってもよい)。そして、我々は、例えば新たなBDディスクプレーヤ又はテレビのIC受信インターネットストリーミングビデオ、又は、現在の画像/ビデオエンコーディング技術の変形に主として準拠する画像ソースに接続される任意のレシーバのための、現在のビデオ又は画像符号化技術のために実際に使用可能である態様においてこのマスターHDR(M_HDR)をエンコードする必要がある(即ち、斯様な符号化技術を用いるための通常の手段から少しだけ修正される。これは、符号の意味の再検討を含み得る。即ち、種々のlumaコードによりエンコードされるそれぞれのルミナンス。しかしながら、例えば全てのバスが12ビットに変えられる必要はない。即ち、我々の方法は、成分毎に10ビットだけが利用可能である場合、又は、8ビットシステム上でもより低い画質を受け入れる場合、12ビットのハードウェアで機能すべきである)。
我々は、そのLDRの見た目をHDRの見た目の画像(我々のモードii)に変換し得る色マッピング関数のパラメータを追加しさえすれば、HDR画像がLDRの見た目の画像(即ち、少ししか比色処理(おそらく他の色空間への変換)を伴わないか又は全く伴わない画像。しかしながら、他のルミナンスダイナミックレンジを有するディスプレイにより適している画像オブジェクトの輝度を変換するために任意の又はより多くのトーンマッピングではない。LDRディスプレイ上に良好な画質表示のために直接用いられ得る)としてエンコードされ得るという重要な理解をもたらした。読者は、理論的に、確実に推測的にではなく、しかしながら、技術的なタスクをセットした後にさえ、これが些細な行為ではないことを予測するべきである(正確な更なる開発を伴うことなく、多少、異なると思われる他の見た目を介して1つの見た目をエンコードすることは若干相反するように見えるためである)。とりわけ、我々の実施形態の多くが既存のM_HDRから始まるので、エンコードされたLDRの見た目の画素化された画像を、関数は、M_HDRの近い復元Rec_HDRにマッピングすることができる。しかし、もちろん、これは、まさに任意の特定のアドホックの態様において一般的に行われ得ない。即ち、特定の技術的なエンコーディングチェインが必要である。
我々の発明は、例えば少なくとも以下の手段において実現され得る。高ダイナミックレンジ画像(M_HDR)をエンコードする方法であって、
− 以下のa)−d)を適用することにより前記高ダイナミックレンジ画像を低いルミナンスのダイナミックレンジ(LDR_o)の画像に変換するステップと、
a)正規化されたルミナンス(Yn_HDR)を有する正規化された色により正規化された高ダイナミックレンジ画像をもたらす[0,1]であるluma軸のスケールへの高ダイナミックレンジ画像の正規化、
b)ガンマ変換されたルミナンス(xg)をもたらす正規化されたルミナンス上のガンマ関数を計算すること、
c)luma(v)をもたらす1.5と5.0との間にある予め決められた量を伴う0.1より低い正規化された高ダイナミックレンジ画像の画素のこれらのガンマ変換されたルミナンスをブーストする第1のトーンマッピングを適用すること、
d)低ダイナミックレンジ画像(LDR_o)のluma(Yn_LDR)を出力するためにステップb及びcを実行することから生じるlumaをマッピングする任意の単調に増大するトーンマッピング関数を適用すること、
− 画像信号(S_im)において、低いルミナンスのダイナミックレンジ画像(LDR_o)の画素色の成文化を出力するステップと、
− 前記画像信号(S_im)において、上記の色変換bのメタデータとしてのdへの関数形状をエンコードする値又はこれらの逆関数のための値を出力するステップであって、メタデータは、レシーバが、低いルミナンスのダイナミックレンジ画像(LDR_o)から、復元された高ダイナミックレンジ画像(Rec_HDR)を復元するのを可能にする、ステップとを有する、方法。
luma変換関数のこの特別な組み合わせは、モードiiの思考法においてHDR画像をエンコードすることを処理するための極めて良好な手段であると判明した。即ち、とりわけ、マスターHDRからのこれらの変換関数により導出されるLDRの見た目の画像としてHDR画像をエンコードするという二重の手段において、LDR画像は、適切に使用可能なLDRの見た目の画像であるのと同様にHDRの見た目を忠実にエンコードするという二重の目的にかなう。
画素色の任意の成文化(即ち、色空間コードシステムにおいて画素の色を表す)が用いられ得ること、及び、他のものより実際的であることに留意されたい。例えば、LDR_oは、(R´G´B´)画像として出力され得る。ここで、ダッシュは、線形RGB成分の非線形マッピングを示す。我々は、Yu´vの態様においてレシーバに通信されるべきLDR画像をエンコードすることができる例により解明する。そして、トーンマッピングのような処理は、例えばu´v´のようなxy色度座標を有するYxy表現において実行され得る。しかしながら、同じ以下の発明原理は、他の色表現(例えば線形RGB表現)において具現化されてもよい(即ち、計算は、後に、Y成分よりもむしろRGB成分によって直接行われる)。また、当業者は、幾つかの態様のうちいずれかを機能的なマッピングを特徴付けるパラメータを共同エンコードするために用いることができることを理解するだろう(これは、例えば、そのセグメントの変化ポイントにより規定される多重線形関数であり得る)。これは、典型的には、画像信号S_imにおけるメタデータ又はそれに関連付け可能なメタデータであるだろう(例えばSEIメッセージ構造又は類似物)。これは、その時に、レシーバが、これらを接続されたディスプレイ上でレンダリングするための例えば線形RGB出力画像に変換するためのエンコードされた画素色データを理解するためにこれらのパラメータを必要とすることを意味する。データ通信技術によりこれらの観察を規定するパラメータを取得しなければならない(例えば通信リンクを介した接続可能なメモリ位置)。
少なくとも画像における最も暗いオブジェクトの色(最も暗い画素色の下位範囲において、実際には、正規化された線形画像の10%の最も低いルミナンスになるように規定することができる。これは、例えばYチャネル、又は、対応する最も低い線形RGB値であってもよい。)を輝かせる"感度的"マッピング及びガンマ/べき関数のこの特定の組み合わせは、HDR画像の比色特性及びとりわけLDRレンダリングを伴うこれらの典型的な不適当な組合せを適切に扱うように機能する。もちろん、多くのLDRレンダリングを予想することができた。例えば、全ての色を無視する些細なもの。これらは、クリッピングにより明るすぎるか又は暗すぎると見なされる。しかしながら、これは、必ずしも、最良のLDRの見た目というわけではなく、良好な画質のHDRの見た目の復元のために確実に使用可能というわけではない。
(直接的にモードiにおける)HDR画像及びLDR画像(とりわけ、HDR画像を実際にエンコードするLDR画像)は、類似の、例えば3x10ビットのHEVCコンテナにおいて実際にエンコードされ得るので、HDR画像とLDR画像との間の差について尋ねるかもしれない。この差分は比色差分であり、これは、ディスプレイ、表示環境及び観察者が含まれるときに非常に重要である。数学的には、正規化された画像(即ち、正規化されたLDR又はHDR画像)における典型的な画素値及びとりわけヒストグラムからこれを測定することができる。通常のLDR画像である場合、典型的には、最も暗い画素色と最も明るい画素色との間で斯様な高コントラストは存在しないだろう。もちろん、LDR画像においても、白色である値及び黒色である値(ゼロ)があってもよい。しかしながら、これらは、レンダリングされたルミナンスになるだろう。これらを規定する異なるコード割当て関数があるためである。我々の新規なレシーバ/デコーダは、この状況を認識し、いずれの場合においても適切なデコーディングを適用するだろう。我々が、LDR画像がレガシーディスプレイ上で直接使用可能であるべきであると言うとき、我々は、デコードされた画像をレシーバに供給するレシーバが、レガシーのコード割当て関数(即ち、典型的にはRec.709のガンマ2.2)を有するluma値を理解/デコードすることを意味する。ここで、master_HDR(モードi)画像は、全体として異なるコード割当て関数によりエンコードされ得る。これは、言わば0.05の黒いlumaがLDR画像より非常に暗い黒色に対応し、0.96が非常に明るい色に対応することを意味する。それに加えて、モードiiは、更なる新たな概念を取り込む。lumaコードは、さらに他のコード割当てによるレンダリングされたlumaになるべきHDRに関連してもよい。グレーダ(とりわけカスタマイズした曲線)による選択に依存して可変でさえあってもよい。とりわけ、モードi画像は、典型的には、レガシーのLDRエンコーディングにおけるもののような、比較的均一な(明るい)ヒストグラムを有しないだろう。しかしながら、典型的には多数のより暗いオブジェクトがあり、多数の非常に明るい画素がある二峰性ヒストグラムである(例えば、線形ルミナンス表現において100xより明るい外側の画素。しかしながら、即ち最終的に用いられたluma表現において、特定のコード割当て関数を用いるときに例えば3xより明るくてもよい)。幾つかのHDR画像において、より明るい画素は、極めて少なくてもよい(例えば夜景における2、3のランプ)。
モードii画像において、この関係は、前と同じように異なるだろう。(単純な解明においてHDR画像がそのように形成されると想定する)明るい領域と暗い領域との間にいくらかの充分な差が依然としてあるだろう。比較的単純な関数は、Rec_HDRにマッピングすることができるだけでなく、LDR直接レンダリングでさえも、コントラストの見た目を多少保持することを望み得るためである。しかしながら、一方、2つのルミナンス範囲は、LDR全域の制約のため、ある程度、互いに向かって、又は、互いに縮小されてもよかった。しかしながら、これの全てにおいて重要なことは、画像がLDRシーン又はHDRシーンだったかどうかのサインを依然として見ることができるということである。数学的画像分析アルゴリズムだけが、画像においてエンコードされるダイナミックレンジの見た目を解析することができるというわけではない(例えば、見た目の最終的な画質は例えば生産コストよりもあまり重要でないリアルタイムのテレビ製造のため)。画像解析ユニット177が用いられ得る。しかし、一般に、これらの最高画質フォーマットにおける我々の符号化技術は、生成側における人間の色等級分け部によって用いられるだろう。生成側は、典型的には、HDR及びLDRディスプレイ上で、システムがどのように動作するかを見ることができ(即ち、LDRの見た目及びHDRの見た目が実際に見える)、等級化キーボードのダイヤルをオンにすることができ、最後に、彼が満足するLDR画像及びHDR復元関数をエンコードすることができる。典型的には、レシーバは、この状況の完全な分析を行う必要がないことに留意されたい。これらは、受信した正規化された画像がHDR画像又はLDR画像であったかどうか、及び、どれがLDR画像の変形であるかについてそれ自体気にかける必要はない。これらは、受信した関数を"盲目的に"適用することだけを必要とする。典型的に知ることを必要とする唯一のものは、関数が規定するもの及び/又は唯一の画像が規定するものである。従って、典型的には、信号は、信号のタイプのインジケータ(IND)を含むだろう。もちろん、更なる画像改良を行いたい、例えばテレビのための信号についての通信される多くのものがあってもよい。しかしながら、典型的には、レシーバが最小限知ることを必要とするものは、このHDRエンコーディング信号S_imのタイプである。これは、LDRレンダリングのために直接使用可能な画像を含む(その見た目がレシーバにより良好なLDR画像に微調整され得るかどうか。これは、[Ff1、Ff2等によってパラメータ化される]更なるトーンマッピング関数を有する受信したLDR画像LDR_tをトーンマッピングすることができる)。この情報により、レシーバは、接続されたLDRディスプレイが適切な画像によって機能する場合にはLDRの見た目の画像は直接送信され得ること、及び、HDRディスプレイである場合にはレンダリングのための正しいHDR画像を取得するために最初に色変換が適用されることを知る。技術を要する読者は、これが幾つかの手段において、例えば"DIRECTLDR"のようなキーワードによって、又は、一組の数"100/5000"によって、示され得ることを理解するだろう。これは、唯一の画像が100nitディスプレイ(実際の又は基準ディスプレイ)のために意図される画像であり、5000nitのHDR画像から導出され、これにマッピング可能であることを示す(他のピーク輝度のディスプレイのための他の画像が、色変換関数を規定するパラメータにおける情報によりLDR画像から導出され得るものではないことを意味するものではない)。
我々が、HDR画像の詳細をもう少し見る場合(正規化されたとき、及び、最適なモードiiのLDR画像に等級分けされる)、種々のシーンが典型的には例えば5000又は10000nitのピーク輝度を有するHDR基準ディスプレイで規定された環境においてマスターグレーディングされることを理解すべきである。
前と同じように、明るい日当りのよい屋外を伴う屋内のシーンの説明例を利用すると、M_HDRにおける屋外の色をほぼHDR中央グレー、従って5000nitの約20%(即ち±1000nit)に等級分けしたくてもよい。屋内の色は、実際の典型的な屋内ルミナンスによりレンダリングされるべきでない。我々は、他の環境(例えばテレビ表示の典型的な暗い環境)において動画を見ているためである。従って、明確には、屋内の色は、日が照っている屋外の画素ルミナンスの1/100でレンダリングされるべきでない。これらは、正確にレンダリングされるわけではなく、基準ディスプレイ上の基準マスターグレーディングが何であったかという任意の受信側での正確なコピーしかないためである。我々は、適合された平均的な観察者に対する外観を考慮することを必要とする。とりわけ、HDRの見た目において、屋内は、非現実的に暗く見えるべきではない。我々は、例えば"日当りのよい屋外"の画像領域色の1/10の平均ルミナンスにおいて、従って±100nitのまわりでこれらの色を等級分けすることができる。しかしながら、(少なくとも概念的に言わば線形拡張に近い色マッピングによって)100nitのLDR基準ディスプレイ上へこれらのlumaを素朴にマッピングすると、LDRにおける日が照っている屋外の色は、約20nit周辺で完全に、及び、もっと高いところでは白色に見えるだろう。しかしながら、屋内の色は、2nitまわりでレンダリングされるだろう。これは、精神視覚的な黒色として見えるだろう。これは、"いくらか"最適化を行うことを必要とする。これは、特定のHDRシーンの複雑性上に依存して非常に複雑になるかもしれない。これは、好ましくは、(我々のエンコーディングフレームワークの態様のための)コンテンツ生成側に含まれる人間の色等級分け部を有する。これらの屋内の色をかなり見えるようにするために、我々は、これらを中間グレー(18%)より多少暗くしてもよい。しかしながら、最適化においてあまり暗くならない。従って、我々は、典型的には5〜7のファクタによりこれらのより暗い色をブーストしたくてもよい(もちろん暗いそれぞれの明るい小領域におけるものに依存して、最適化は、異なる暗い地階に対して異なり得る。壁上のツールをかろうじて見るべきであり、これを照明するランプの光をクリップしてもよい)。それより高いより明るい色を維持する。図5は、我々のHDR/LDRエンコーディングチェインの2つの例となるシナリオを示している。曲線501及び502は、即ちガンマの前の、典型的な第1の"感度"トーンマッピング曲線を示す。これらは、
Figure 2018093530
により規定される。0〜1.0の入力xgのための可能な正規化された値、及び、最適なRHO値を有する。この場合において、マスターHDRは、曲線501のための1000nit(取り込まれたシーンにおけるいかなるコンテンツでも、M_HDRにおけるオブジェクトルミナンスは、0〜最大1000nit(例えば溶接スパーク又は太陽が等級分けされ得る値)の間で規定される)及び曲線502のための5000nitの基準ディスプレイピーク輝度によって規定された。例えば、グレーダは、特定のM_HDR画像を与えた良好なLDRの見た目を考慮するのに適切なものを選択し得る。あるいは、生成側の装置は、例えば以下の式に従って自動的に計算してもよい。
Figure 2018093530
この式において、PBHDRは、M_HDRグレーディング(例えば図5のような1000又は5000nit)と関連付けられる基準ディスプレイのピーク輝度である(即ち、これは、考えられる値の範囲を規定し、典型的には、グレーダがマスターHDRの見た目を検討及び生成した現実のディスプレイのPBに対応する)。GAMはガンマ値であり、これは、例えば、典型的には、2.4であってもよい。もちろん、装置(又はグレーダ)は、任意の他のアルゴリズム又は経験則によりこれらの値から逸れてもよい。例えば、多少明るい、又は、平坦な見た目が必要とされる等である。
図5において、±1.5〜4.0の間の値のみに対する第1の/感度トーンマッピング部分のためのブーストファクタ(対角線と比較して、正規化されたHDR lumaはx軸上にあり、正規化されたLDR lumaはy軸上にある)を決定する場合、2.4のガンマを伴うガンママッピング、色の最も暗い10%のための約6〜7のブーストファクタ)を適用する(曲線503及び504は、対数及びガンマの組み合わせられたマッピングである)。これは、概略的に必要とするものである(グレーダは、任意のトーンマッピング曲線によって要望通り後に微調整することができる。しかしながら、これは、例えば自動変換装置のための良好なストラテジである。これは、グレーダのみを最小限含む。この場合、微調整が必要とされるか又は望ましい)。一般に、組み合わせられた対数/ガンマトーンマッピング動作(即ちユニット602及び603)のための±4〜8のブーストを一般的に有することを望む。これは、1.5〜5.0の間のブースト値は、RHOベースの感度部分(ユニット603)のみに対して適切であることを意味する。より暗い色のための斯様な動作を有するユニット603のための任意のトーンマッピング関数は、我々が本発明のために必要とするものを満たすだろう。しかしながら、上記の対数ベースの式は、これを実現する単純な実際的な態様である。より明るい色のための動作は、典型的には、典型的にはブーストされたより暗い色により取り込まれた範囲より高いより明るいルミナンスを非線形的にマッピングする関数形状によって穏やかな圧縮になるだろう。極めて複雑なHDR画像を有することができる。これは、他の値を要求するかもしれない。しかしながら、斯様な極端な状況は、グレーダ(又は自動等級化アルゴリズム)により適切な任意の曲線定義により扱われ得る。デコーディング側において、処理のチェインは、唯一の通信されたLDR画像からRec_HDRを計算することができるように、実質的に逆行可能である必要があることに留意されたい。実質的に逆行可能は、元のM_HDRのような、Rec_HDRにおいて同じ色成分値を必ずしも正確に取得する必要はないことを意味する。しかしながら、色の差分は、許容誤差制限の範囲内であるべきである。従って、レシーバは、LDR_o(又はLDR_i)にM_HDRを形成させるとき、及び、これらの関数の形状情報を受信するときにレシーバ側でもともと使用されたダウングレーディング関数を反転させることによりこれらを計算するかどうかに関わらず、又は、Rec_HDRにアップグレードを行うために必要な逆関数を直接受信することにより、最後に、HDRの見た目Rec_HDRにアップグレードするための必要とされる色変換関数を取得することができるべきである。これは、とりわけ、典型的には、グレーダがLDRの見た目を厳しい優先度に微調整するために規定することができる任意のトーンマッピング関数のために、当業者が理解するように正規化されたLDR luma及びHDR lumaを関連させる単調に増大する関数を規定することを必要とすることを意味するだろう。
基本的なモードiiの技術的なチェインは、単純な態様において動作する。例えば、幾つかのあまり重要でないシーンのために、グレーダは、任意の関数をインデント性の変換であるデフォルト値で満たしてもよい。我々がチェインにおいて必要な基本的な技術的な成分について述べるにもかかわらず、実用的なリアリゼーションにおいて、これらのブロックの1又はそれ以上は、関数を実行する実際のユニットにおいてグループ化されてもよいことに留意されたい。例えば、幾つかのアプリケーションにおいて、全ての色マッピング関数の全体LUTを一緒に送信することは望ましいかもしれない。その一方で、他のアプリケーションにおいて、分離した関数を送信することが有利であるかもしれない。テレビが(例えばシーンの分析の後に、又は、観察者によるユーザインタフェース制御下で、自動的に)例えば第1の関数を更に調整したくてもよいためである。これは、画像/ビデオ通信技術を介して受信された感度又はRHO値と比較して画像を多少輝かせる。より高度なバージョンは、幾つかの更なる処理ステップを用いてもよい。例えば、エンコーディングの方法は、復元された高ダイナミックレンジ画像(Rec_HDR)における考えられる値の特定の値に対して低ダイナミックレンジ画像(LDR_o)の最大のlumaをマッピングするためのゲイン値(gai)を決定してもよい。及び、画像信号(S_im)におけるそのゲイン値をエンコードする。これは、接続されたディスプレイのピーク輝度(例えばLm=5000nit)に対して最終的なスケーリング形式の正規化された色と混同されるべきでない。このゲインは、より用途が広いグレーディング及び/又は符号化を可能にする。
高ダイナミックレンジ画像(M_HDR)をエンコードする極めて有益な改良された方法は以下を有する。
低ダイナミックレンジ画像(LDR_o)を決定するために上記の色マッピングのいずれかを適用した後に、第2の低ダイナミックレンジ画像(LDR_i)を決定するために更なる技術的なトーンマッピングを適用する(301)。これは、低ルミナンスダイナミックレンジ画像(LDR_o)に対する代替駆動画像としてLDRディスプレイを駆動させるために用いられ得る。技術的なトーンマッピングは、以下により決定される。
a)低ルミナンスダイナミックレンジ画像(LDR_o)の第1の幾何形状領域を決定する。対応する復元された高ダイナミックレンジ画像(Rec_HDR)においてバンディングする可視性は許容可能なレベルを越える。
b)その領域のためのluma(L_u)の範囲を決定する。
c)luma(L_u)の範囲に対するluma軸上の隣り合う画素luma(L_uu)の第2の範囲を決定する。第2の範囲は、最小数(MIN)より高い多数のlumaを有するという条件を満たすために識別され、テクスチャを含む第2の幾何学像領域に対応する。テクスチャは、LDR画像(LDR_i)における最小数より少ないコードを用いて表され得る。その第2の領域のための充分な視覚的な画質の復元された高ダイナミックレンジ画像(Rec_HDR)をもたらす関数を適用する。
d)追加のコードが第1の範囲に対して利用可能になるように、lumaの第1及び第2の範囲のlumaを再分配する再分配マッピング関数を決定し、画像信号(S_im)において、再分配マッピング関数又は好ましくはその逆の関数形状をエンコードする値を出力する。
とりわけ、ハードウェア(及び、グレーディングコスト)がグレーディング関数の比較的制限された量が用いられるべきであることを指示する場合、Rec_HDRの完全な又は十分に正確な復元とLDR画像LDR_oの見た目との間のトレードオフについて多少限定される。幾つかのHDRシーンはそれほど難しくならないかもしれない(例えば、平均的な観察者は、最適な見た目から過度にずれ過ぎない限り、日の当たる道路の影側の影が少し暗いか又は少しの明るいグレーであるかについてあまり重要ではないかもしれない)。しかしながら、幾つかのHDRシーンはより重要になり得る(例えば、HDRルミナンス範囲上のどこかに、明るい霧において部分的に隠される人がいるかもしれない。局所的コントラストが高過ぎる場合、見え過ぎるだけかもしれない。しかしながら、コントラストが低過ぎる場合、不可視になり、ストーリーを変えるかもしれない)。レガシーではない(及び、任意のHDR処理を行う方法を知らない)、及び、更なるトーンマッピングを行うことができる少なくともレシーバのために、グレーディングの他の次元を可能にすることが有利であるだろう。そして、レガシーディスプレイは、"最良の努力の"LDR画像を得ることができる。これは、送信される唯一の画像であるだろう。しかしながら、スマートな将来のレシーバは、LDRの見た目を更に最適化するために幾つかのスマートな技術的トリックを行い得る。従って、グレーダが要求するものにより近くなる(おそらく最終的なLDRの見た目におけるいくつかの値さえクリップする。これは、唯一の送信されたLDR画像において起こる場合、HDR復元と一致しないだろう)。斯様な可能性を有する場合、幾つかのエンコーディング方法又はエンコーダは、この要求を満たすことができる。LDR単独画像における極めて複雑な極めて高コントラスト比のHDR画像を圧搾する場合(例えば、多くのグレー値を有する幾つかの重要な領域を有するHDR画像、例えば、暗い点灯されていない部屋、比較的適切に照らされた第2の部屋、及び同時にカラフルな日に照らされた屋外、及び、例えば適切に照らされた部屋におけるランプの下の白色テーブルの、多くのグレー値をカバーする重要な勾配を含むこれらの3つの領域を伴う)、1又はそれ以上の領域が受け入れられなくなることが生じ得る。色成分のための制限されたワード長(例えば10ビット)に起因して、(色マッピング関数の形状に依存する)どこかで、どこが厳し過ぎると判断されるかというバンディングがあるためである。
この領域は、例えばこれを見分けるグレーダにより識別され得る(グレーディング装置におけるHDR画像分析ソフトウェアにより潜在的に重要なエリアにポイントされることにより支援されてもよい)。バンディング検出部は、例えば拡張された領域のためにそれを計算することができる(潜在的にこの領域がどのルミナンスを有するか、及び、推定されたJNDを考慮する)。各時間のジャンプ、多数の連続的に同等の色が存在する。これらは、斯様な計算からの(及び、典型的には工場実験における)値に基づいて許容可能なレベルを規定することができる。(例えばグレーダが粗く選択したものをより微細に分割することにより)斯様な領域を見つけた後のグレーディング装置は、その後、これに対応するルミナンスの範囲L_uを粗く決定することができる。例えば、青空においてバンディングがあってもよく、その色は、L_sky_lowとL_sky_highとの間のルミナンスを有する。LDRエンコーディングが画像をエンコードするためにより多くの値を有する場合に問題は軽減されるだろう。我々は、エンコーディング側で、M_HDR及び任意の変換が依然として極めて高精度であってもよいことを理解すべきである。しかしながら、これらのコードは存在しない。我々は、全ての必要とされるルミナンスに対して利用可能な10のビットのみを有する。我々は、異なるイルミネーションの全ての他の画像領域を十分にエンコードすることも必要とする。しかしながら、幾つかのコードがL_uに隣接するルミナンスを有する画像の領域から借りられ得る場合、とりわけこれらの領域の視覚的な質がこれらのコード範囲からの少しのコードを利用することによりほとんど低下しない場合、トリックが用いられ得る(典型的には、グレーダは、その結果に順応する単純な動作により、判断するだろう。あるいは、一致しないこの場合において、他の試みが試されるだろう。バンディングが依然として元のバンディングされたエリアのための高い場合により積極的になる。隣り合う領域は、依然としてより劣化され得る。あるいは、グレーダが隣り合う領域があまりに多く劣化し始めていることを示す場合、あまり積極的にはならない)。コードを再分配する単純な態様は、例えば局所的関数部分の線形又は非線形的変更である。唯一の送信された画像LDR_oによる問題は、空が例えば少しばかり暗くなってもよかったこと、及び、おそらく、この動作によりあまりにコントラストが強くなることである(また、隣接領域がいくらか暗すぎるかもしれない、これらのテクスチャの見た目は変えてもよかった等)。これは、小さな変化及びあまり重要でないシーンの場合にはあまり問題を含まないかもしれない、及び、困難なシーンにとって少し不都合かもしれない。これは、レガシーシステムが払わなければならないかもしれない価格である。これらは、LDR_oを直接レンダリングすることを除いて、受信したデータのいずれかにより絶対的に何も行うことができないためである。しかしながら、新たなレシーバは、(即ち適切な空のルミナンス等を有する)もともと意図されたものに非常に近いが少ないバンディングを有するLDRの見た目を生成するために、lumaを再分配するために使用される変換の逆を適用することができる。レシーバは、非常にスマートな分析を行う必要はない。斯様な技術的なトーンマッピング関数が利用可能であるということを知ることしか必要としない。及び、より良好なLDRの見た目の画像LDR_ulを取得するために唯一の送信されたLDR画像LDR_tの復元に適用する。多数の方法は、隣り合う領域のための良好な提案をもたらすように、グレーディング装置において適用されてもよい。例えば、(例えば空における量に等しい)lumaの充分な量を有する領域及び複雑なテクスチャが決定されてもよい。単純な実施形態は、例えば、最も黒い黒色までの、バンディングされた領域の範囲より低い全てのコードを用いてもよい。
第1の範囲のための追加のコードの量は、第1の幾何学形状領域のためのバンディング可視性基準に基づいて決定される。自動のアルゴリズムは、計画(例えば20%の追加のコード)によってもよい。典型的には、人間のグレーダはこれを認識するだろう。アルゴリズムは、例えばこれらの領域の色彩を点滅させることにより、劣化させなければならなかった領域を強調してもよい。従って、グレーダは、復元されたHDR Rec_HDRにおける充分な視覚的な画質のものかどうかを素早くチェックすることができる。
最も実用的な実施形態において、過度なバンディングを示す第1の幾何学形状領域の識別は、典型的には、例えばバンディングされた領域に沿って波形のラインを走り書きすることにより、ユーザインタフェースユニット(105)を介して人間のグレーダにより最終的に実行される。復元された高ダイナミックレンジ画像(Rec_HDR)における第1の幾何学形状領域のバンディングの量、及び、復元された高ダイナミックレンジ画像(Rec_HDR)における第2の幾何学形状領域の復元の視覚的画質は、許容可能な又は許容不能として人間のグレーダにより判断される。許容可能という判断の場合には、再分配マッピング関数又はその逆の関数形状をエンコードする値は、画像信号においてエンコードされ、又は、許容不能という判断の場合には、これらのステップは、代替再分配マッピング関数をもたらすように異なるパラメータによって前と同じように行われる。例えば、10%より多いコードが(おそらく、拡張された隣り合うluma範囲L_uuを犠牲にして)バンディングされた領域に割り当てられてもよい。
高ダイナミックレンジ画像(M_HDR)をエンコードする方法の興味深い実施形態は、低ルミナンスダイナミックレンジ画像(LDR_o)の画素色が、lumaチャネル並びにu´及びv´色座標としてエンコードされることである。u´及びv´色座標は、
Figure 2018093530
及び
Figure 2018093530
として計算される。X,Y及びZは、任意のRGB表現(即ち、CIE1976(u´,v´)色度表現)のために導出可能であるデバイス非依存の1931CIE色座標である。通常、レガシーの観点によれば、画像(とりわけLDR画像)は、YCrCb画像としてエンコードされるだろう。しかしながら、(例えばインターネット伝送のための)任意のコーデックを変える場合、Yuv成分平面として色成分をエンコードした方がよい。これは、も送信された画像の画質、及び、我々のシステムの種々の色変換を適用することの容易さにおいて幾つかの利点を有する(もちろん、レガシーのテレビは、これの良好な見た目の画像をもたらすことはできないだろう)。
我々は、一般的に選ばれたluma定義を見出した(上記ステップの選ばれた完全なトーンマッピングストラテジにより規定され、LDR_o又はLDR_iにおけるlumaを最終的に取得する)。これらは、2つのluma非依存の色度座標、とりわけCIEにより規格化されたu´,v´座標と一緒に、規格の画像又はビデオ圧縮技術において用いられるべき良好な成文化であるだろう。例えばHEVCに類似の圧縮技術は、典型的には、サンプルのブロックのDCTを行うことにより、少なくとも空間圧縮を適用するだろう。しかしながら、ビデオに関して、これらは、圧縮等に基づいて動作推定を行ってもよい。
単純な実施形態において、色変換の機能的色変換動作のエンコーディングは、唯一の画像と関連付けられるか又は関連付け可能なメタデータにおいて以下のものを格納することにより、少しだけの単純なパラメータと通信され得る。
a)感度値(例えばRHO、又は、SENSと呼ばれるとともに以下に規定されるRHOを規定する等価パラメータ、又は、RHO値を決定するのを可能にするRHOの任意の関数又は相関物)
b)ガンマ値(GAM)
c)lumaをマッピングする任意の関数の機能的形状を特徴付ける多数の値
高ダイナミックレンジ画像(M_HDR)をエンコードする方法は、低ダイナミックレンジ画像(LDR_o)の最大lumaを、復元された高ダイナミックレンジ画像(Rec_HDR)における考えられる値の特定の値にマッピングするためのゲイン値を決定すること、及び、画像信号(S_im)においてそのゲイン値をエンコードすることを有する。これは、例えば比較的暗いショットのLDR画像が比較的明るく表される場合、LDR画像から取得可能なRec_HDR画像の更なるスケーリングのために有益である。即ち、lumaを考えられるLDR lumasの範囲の比較的高い値まで上げる。それでも、HDR画像は、あまり明るくレンダリングされるべきでない。これは、あまり高過ぎないlumaによりこれをデコードすることにより最良に扱われる。
高ダイナミックレンジ画像(M_HDR)をエンコードする方法は、低ダイナミックレンジ画像(LDR_o)における色に対する高ダイナミックレンジ画像(M_HDR)の色の彩度変更ストラテジ又はその反対を決定すること、及び、信号(S_im)におけるメタデータにおけるパラメトリック値としてこの彩度変更ストラテジを符号化することを有する。典型的には、グレーダは、画像の彩度の影響を受けたいだろう。例えば、彩度マッピングストラテジー、及び/又は、LDR_oからのRec_HDRの彩度により、M_HDRから取得されるLDR_oの彩度を変えてもよい(例えば、第1のトーンマッピングは、LDR_oにおいて有した値での取得されたRec_HDR色のu,v色度を残し、その後、これらのRec_HDR色の彩度を変える)。
高ダイナミックレンジ画像(M_HDR)をエンコードする方法の幾つかの実施形態は、低ダイナミックレンジ画像(LDR_o)を決定するために上記の色マッピングのいずれかを適用した後に、再分配されたluma、即ち少なくとも画像のlumaサブレンジ及び幾何学領域のための典型的に僅かに変更された値のluma(即ち、再分配されたlumaの低ダイナミックレンジ画像LDR_i)を有する第2の低ダイナミックレンジ画像を決定するために更なる技術的トーンマッピングを適用すること(301)を有する。これは、少なくとも第2の低ダイナミックレンジ画像(LDR_i)のより重要な領域をグレーダに対して保証する。例えば、これらは、典型的な意図された観察者により慎重に見られる。これらは、例えば大きく且つ明るいものであり、バンディングを起こしやすいためである。充分なlumaコードは、予め決められた誤差基準(最小バンディング量)より低い誤差を有する復元された高ダイナミックレンジ画像(Rec_HDR)を復元することを可能にするために、これらの領域におけるテクスチャを充分な精度でエンコードするために割り当てられ得る。
幾つかの実施形態は、任意の変なトーンマッピングストラテジを選ばないことが重要である。とりわけ、数学的画素色値においてM_HDRに近い良好な画質Rec_HDRを取得したい場合、LDR_iにおいてアンダーサンプリングされたテクスチャがないことを保証することを必要とする。これは、均一な量子化の前の最終的なマッピングがどこでもあまり平坦にならないことを保証する場合に生じる。
典型的には、これは、例えばHDR画像上のバンディング検出部又は斯様な任意の予め決められたHDR復元誤差基準のようなluma計数ストラテジ及び/又はLDR画像上のluma計数ストラテジにより行われてもよい。幾つかの実施形態において、前記基準は、人間のグレーダにより実行されてもよい。その存在は、よりスマートな将来の世代のレシーバにより適用されるべき、S_imにおいて共同エンコードされた技術的リマッピングストラテジを有することにより理解され得る。
本方法は、以下のものを有する高ダイナミックレンジ画像(M_HDR)をエンコードするように構成された画像エンコーダ(100)において具現化されてもよい。
− 高ダイナミックレンジ画像を低ルミナンスダイナミックレンジ(LDR_o)の画像に変換するように構成されたダイナミックレンジ変換ユニット(104)。ダイナミックレンジ変換ユニット(104)は、以下の処理順序で接続されるものを有する。
a)高ダイナミックレンジ画像を、[0,1]の範囲にあるluma軸に正規化し、正規化されたルミナンス(Yn_HDR)を出力するように構成された正規化部(601)。
b)正規化されたルミナンスにガンマ関数を適用し、ガンマ変換されたルミナンス(xg)を出力するように構成されたガンマ変換ユニット(602)。
c)luma(v)をもたらすよう、1.5〜5.0の間にある予め決められた量により0.1より低いこれらのガンマ変換されたルミナンスをブーストする第1のトーンマッピングを適用するように構成された第1のトーンマッピングユニット(603)。
d)luma(v)を低ダイナミックレンジ画像(LDR_o)の出力luma(Yn_LDR)にマッピングする任意の関数を適用するように構成された任意のトーンマッピングユニット(604)。
及び、画像エンコーダ(100)は、以下のものを更に有する。
− 低ダイナミックレンジ画像(LDR_o)の色に対してデータ整削減変換を適用するように構成された画像圧縮部(108)。これらの色は、成分画像において構成される。削減変換は、少なくともDCT変換を隣り合う色成分値のブロックに適用し、低ルミナンスダイナミックレンジ画像の画素色の圧縮された成文化(LDR_c)をもたらす。
− 圧縮された成文化(LDR_c)を画像信号(S_im)において出力するように構成され、加えて、色変換の関数形状又はこれらの逆関数のための値をメタデータとしてエンコードする値を画像信号(S_im)において出力するように構成されたフォーマッタ(110)。メタデータは、レシーバが低ルミナンスダイナミックレンジ画像(LDR_o)に基づいて高ダイナミックレンジ画像(Rec_HDR)を復元するのを可能にする。
斯様なエンコーダの実際的な実施形態は、ガンマ変換ユニット(602)が1/(2.4)に等しいガンマ値を用いるものである。及び/又は、第1のトーンマッピングユニット(603)は、式
Figure 2018093530
により規定されるトーンマッピングを用いる。RHOは予め決められた値を有する。この値は、典型的には、マスターHDRエンコーディングM_HDRと関連付けられた基準ディスプレイ及び/又は意図された整備されたディスプレイのピーク輝度の関数である。
画像エンコーダ(100)は、低ダイナミックレンジ画像(LDR_o)におけるlumaコードで最大のものを復元された高ダイナミックレンジ画像(Rec_HDR)の選ばれたluma値にマッピングすることを可能にするゲインを特定するように構成され、画像信号(S_im)におけるメタデータにおける値としてこのゲインを出力するように構成されたフォーマッタ(110)を有する。
上記のエンコーダに係る請求項のいずれかに記載の画像エンコーダ(100)は、技術的トーンマッピングユニット(106)を有する。これは、低ダイナミックレンジ画像(LDR_o)のテクスチャ及び統計情報、とりわけ少なくとも1つの重要な幾何学形状領域を自動的に又は人間によるガイドにより決定するように構成される。少なくとも1つの重要な幾何学形状領域は、誤差、とりわけRec_HDRにおけるバンディングを復元する傾向にある。これに基づいて、低ダイナミックレンジ画像(LDR_o)に対して変換として適用されるための第2のトーンマッピング(Ff1、Ff2...)を計算する。第2の低ダイナミックレンジ画像(LDR_i)の少なくとも少し重要な誤差を起こしやすい領域のテクスチャを特徴付けるlumaコードの最小数(例えば1.3*L_u)を有する第2の低ダイナミックレンジ画像(LDR_i)をもたらす。これにより、予め決められた誤差基準より低い誤差を有する復元された高ダイナミックレンジ画像(Rec_HDR)を復元することを可能にする。エンコーディングの後にレシーバが我々のモードiiのシステムをミラーのように実装するのを可能にする必要な情報を通信することを可能にするために、以下のものを有する高ダイナミックレンジ画像信号(S_im)を送信(又は後に伝送のために格納)することが有益である。
− エンコードされた画素色を有する画素化された低ダイナミックレンジ画像(LDR_o)
− 感度値(RHO)
− ガンマ値(GAM)
− ゲイン値(GAI)
− 任意のトーンマッピング関数形状を特定する値のセット(P_CC)
そして、これらの値から、レシーバは、唯一の通信されたLDR画像(LDR_o又はLDR_i)に適用されるべき全ての関数の関数形状を決定することができ、100nitのLDR画像より高いダイナミックレンジの任意の画像が必要とされるべきであり、計算されるべきである。
とりわけ、S_imは、コンテンツの人間の作者/グレーダにより要求される芸術的なLDRグレーディングと技術的なLDRとの間のマッピングのための技術的リマッピングストラテジ(Ff1、Ff2...)を成文化する値207を有してもよい。技術的なLDRは、サンプリングされたときに、良好なRec_HDR復元のための画像の全ての領域のための充分なluma、又は、自動画像分析ユニット又は人間により重要なものとして決定される少なくともこれらの領域を有する。
とりわけ、これは有益である。非常に実際的に、とりわけ高ダイナミックレンジの画像がエンコードされたことを特定するインジケータ(IND)を画像信号S_imにおいて有することにより、及び、LDRディスプレイ上のレンダリングのために更なるトーンマッピングの必要なく直接使用可能である低ダイナミックレンジの画像としてこれをエンコードする方法によって、レシーバが幾つかの(非常に)異なる考えられるHDR画像エンコーディングメカニズムのうちどれが用いられたかを素早く決定するためである。エンコーディングの種々の斯様な手段は、任意のレシーバがこれを理解する限り、合意され得る。
メモリ製品は、例えば、我々の高ダイナミックレンジ画像信号(S_im)の任意の実施形態を格納するブルーレイディスクである。
受信側で画像通信チェインを有するために、高ダイナミックレンジ画像信号(S_im)を受信するように構成された画像デコーダであるか又はこれを有する種々のリアリゼーションを有してもよく、及び、以下のものを有する。
− 画像信号(S_im)からの圧縮され画素化された低ダイナミックレンジ画像(LDR_c)及びパラメータデータ(P)を取得するように構成されたデフォーマッタ(151)。
− 画素化された低ダイナミックレンジ画像(LDR_t)を取得するために圧縮され画素化された低ダイナミックレンジ画像(LDR_c)に対して少なくとも逆DCTを適用するように構成されたデコンププレッサ(152)。及び、低ダイナミックレンジ画像(LDR_t)を復元された高ダイナミックレンジ画像(Rec_HDR)に変換するように構成されたダイナミックレンジ変換ユニット(153)。ダイナミックレンジ変換ユニット(153)は、処理順序において、以下のものを有する。
a)任意のトーンマッピングを適用するように設けた任意のトーンマッピングユニット(402)。パラメータは、パラメータデータ(P)において受信される(P_CC)規定する。
b)第1のトーンマッピングを規定する少なくとも1つの受信したパラメータ(RHO)により規定されるマッピングを適用するように構成された第1のトーンマッピングユニット(403)。第1のトーンマッピングは、我々のエンコーダ又はエンコーディング方法の実施形態のいずれかによって前に決定されたものである。
c)受信したガンマ値(GAM)によりガンママッピングを適用するように構成されたガンマ変換ユニット(404)。
このデコーダは、全ての典型的なレガシー、例えばHEVC又は類似の圧縮成文化を最初に元に戻すだろう。そして、逆の順序で種々のマッピングを適用するだろう(全ての実施形態において必要される全てのものが正確に逆の順序にあるわけではないことに留意されたい。例えばYu´v´において、最終結果が正確に又はおおよそ意図された色である限り、おそらく僅かに異なる数学的関数を伴って、逆の順序において直交するluma及び彩度処理を選択するかもしれない)。追加の処理ステップがあってもよいことに留意されたい。これは、受信側にのみ存在してもよい(例えば、画像は、Rec.2020のようなRGB表現においてエンコードされてもよいが、テレビ(例えばDCI−P3)により理解される他のフォーマットに変換される必要性があってもよく、TVの実際のプライマリに更に変換されてもよい)。
従って、画像デコーダ(150)は、低ダイナミックレンジ画像(LDR_t)を復元された高ダイナミックレンジ画像(Rec_HDR)に変換するように構成されたダイナミックレンジ変換ユニット(153)を有するだろう。及び、典型的には、論理回路装置があってもよく、更なる色処理関数は、(例えば、どのディスプレイが現在接続されているか、及び、機能しているかに依存して)少なくともいつ何を行うかを規定する。
画像デコーダの実際的な実施形態は、以下の形式の関数を適用するように構成された第1のトーンマッピングユニット(403)を有する。
Figure 2018093530
vは、画素lumaであり、RHOは、パラメータデータ(P)において受信される実数値化された又は整数パラメータである。
画像デコーダ(150)の有益な実施形態は、第2の低ダイナミックレンジ画像(LDR_ul)を取得するために、画像信号(S_im)において受信された更なるトーンマッピング(Ff1、Ff2...)を低ダイナミックレンジ画像(LDR_t)に適用するように構成されたトーンリマッピングユニット(159)を有する。これは、少なくとも復元された高ダイナミックレンジ画像(Rec_HDR)の領域における低減されたバンディングを取得するための再分配されたlumaによって第2の低ダイナミックレンジ画像(LDR_i)をもたらすエンコーダ方法5〜7のいずれかにより適用されるコード再分配アクションを反転させたものである。実際には、エンコーダは、必ずしも任意のエンコーダがlumaを再分配する特定の変換関数をどのようにもたらすかを必ずしも知る必要があるというわけではない。実質的に意図されたLDRの見た目(LDR_ul)をもたらすように逆関数を適用することを必要とするだけである。
デコーダの他の有益な実施形態は、LDR画像のYu´v´エンコーディングを理解することができ、RGB色表現においてYu´v´色表現を変換するように構成された色変換ユニット(155)を有する。トーンマッピングは、変換が行われる前に行われ得る。それ故、処理チェインの最後の部分に対するRGBへの変換を残す。あるいは、代わりに、変換が最初に行われてもよく、等価な色処理がRGB信号上で行われてもよい。
デコーダのうちいずれかに対応して、高ダイナミックレンジ画像信号(S_im)をデコードする対応する方法は、パラメータデータ(P)においてエンコードされた色変換を低ダイナミックレンジ画像(LDR_t)に適用することにより、復元された高ダイナミックレンジ画像(Rec_HDR)を取得することを有する。とりわけ、高ダイナミックレンジ画像信号(S_im)をデコードする方法は、以下のステップを有する。画像信号(S_im)からのパラメータデータ(P)及び圧縮され画素化された低ダイナミックレンジ画像(LDR_c)を取得するステップ。画素化された低ダイナミックレンジ画像(LDR_t)を取得するために圧縮され画素化された低ダイナミックレンジ画像(LDR_c)に少なくとも逆DCT変換を適用することにより、圧縮され画素化された低ダイナミックレンジ画像(LDR_c)を解凍するステップ。以下のものにより、低ダイナミックレンジ画像(LDR_t)を復元された高ダイナミックレンジ画像(Rec_HDR)に変換するステップ。
a)任意のトーンマッピングを適用する。パラメータは、パラメータデータ(P)において受信される(P_CC)を規定する。
b)我々のエンコーダ又はエンコーディング方法の実施形態のいずれかにより前に決定された第1のトーンマッピングを規定する少なくとも1つの受信したパラメータ(RHO)により規定されるマッピングを適用する。
c)好ましくは2.4に等しい受信したガンマ値(GAM)によりガンママッピングを適用する。
我々は、グレーダが、HDRシーンのHDR画像上のLDRの見た目を、単純であるが依然として力強く最適化するのを可能にするシステムについて述べる。好ましくは、可能な限り少しの視覚的品質の犠牲しか払われない。しかしながら、LDRは、そのダイナミックレンジの制約に起因して何らかの最適化を必要としてもよいので、本システムは、グレーダが関心のあるシーンオブジェクト(即ち、このシーンにおける典型的に重要な特性オブジェクト)のマイクロコントラストを微調整するのを可能にする。これにより、何らかの輝度―質の犠牲が払われる必要がある場合に、シーンにおける主なオブジェクトよりもむしろ、背景における壁のような幾つかのあまり重要ではないオブジェクトの正確な見た目を犠牲にする。本発明は、信号において具現化される規定のパラメータのような種々の実施形態の中心的技術的要件を含むような、多くの他の(部分的な)手段において実現され得る。その多くのアプリケーションは、種々の考えられる信号について通信、使用、色変換等を行うようにもたらしてもよい。及び、種々のハードウェアコンポーネントを取り込むか、又は、消費者向け又はプロフェッショナル向けのシステムにおいて種々の方法を用いる種々の手段をもたらしてもよい。任意の成分は、もちろん、小さな成分において又はそれとして実現されてもよく、又は、その逆に、この成分のため主に機能する大きな装置又はシステムの中心として実現されてもよい。
本発明による方法及び装置のこれらの及び他の態様は、後述される実装及び実施形態、及び単により一般的な概念を例証する非限定的な特定の図としての役割を果たす添付の図面から明らかになり、これらを参照して説明されるだろう。
画像通信技術における本発明によるエンコーダ及びデコーダの一実施形態の一例を概略的に示す。 本発明によるHDR画像信号S_imがどのように見えるかについての一実施形を態概略的に示す。 技術的なLDRグレーディングをどのように一般的に取得することができるかについて概略的に説明する。これは、幾つかの実施形態において、グレーダ又はコンテンツ製作者のじゃまをすることなく自動的にフードの下で起こり得る。これは、オブジェクトlumaのより良好なサンプリング、従って、Rec_HDRのより良好な画質復元を可能にする。 本発明による考えられるデコーダの単純な概略的な説明である。 色を大幅に明るくする感度マッピング、加えてガンマ動作によって、組み合わせられた最初のLDRグレーディングを行うための2×2の考えられる実施形態の曲線を示す。 エンコーダの考えられるダイナミックレンジ変換ユニットの単純な概略的な説明である。
図1は、生成側の画像(又はビデオ)エンコーダ100、及び、画像デコーダ150を有する、我々の発明を具現化する例示的な典型的なシステムを示している。我々は、マスターグレーディングされたHDRの見た目の画像(M_HDR)を含むグレーディングシステムにおいてメモリ101が存在すると想定する。これらは、例えばDa Vinciのような色グレーディングソフトウェアにおける動画の現在既知の色グレーディング技術に従ってコンテンツ作者により望まれるようにグレーディングされている(類似の他のシステムは、我々の出願における教示から利益を享受されてもよい。例えば、M_HDRは、例えばカメラ等のダイヤル上のカメラの見た目の曲線の調整の後に、カメラから直接もたらされてもよい)。このM_HDRにおいて、例えば、ウインドウを介して光っている光の輝度は、これらの画素を意図されたレンダリングされるべきルミナンスL_out及び対応するlumaコードv_HDRに与えることにより、[0,5000]nitの基準ディスプレイ上でとても楽しい見た目を与えるように選ばれてもよかった。多くの更なる光の効果は、他の色の最適化と同様に設計されてもよかった。M_HDRは、我々のエンコーダ100における画像入力115を介して入力される。及び、HDR基準ディスプレイ102上に見られてもよい(例えば我々がHDRエンコーディングのために提案する理論的な[0−5000]nitの基準ディスプレイの特性)。これは、グレーダがいつLDRの見た目をもたらしたいかを意味する(これは、オブジェクトテクスチャだけを十分に正確にエンコードすべきではない。従って、受信側で、M_HDRのかなり正確な復元Rec_HDRが取得され得る。しかしながら、このLDRの見た目も、LDRディスプレイ上のエンコードされたHDRシーンを最適にレンダリングするのに適しているべきである)。グレーダは、LDRディスプレイ103上の技術的な制約の見た目が与えられたLDRの見た目がM_HDRと同様にいかに見えるかについて同時に比較することができ、及び、好みに従って望まれるM_HDRから取得するための色マッピング関数を変えることにより最適化することができる。2つのディスプレイは、これらの異なる最適な表示環境にあってもよく、グレーダは、例えば壁により(例えば、これらを同時に見るためのそれらのそれぞれの窓開口部を伴う2つの囲まれた基準環境において、及び、グレーダが時間間隔の間にこれらのうち1つだけを見たい場合に閉じられ得るカーテンによって)切り離されるように見てもよい。グレーダは、HDRディスプレイ102上のHDRの見た目の復元されたグレーディングをチェックしてもよい(例えば代わりにRec_HDR及びM_HDRを切り替えてもよい)。
例えばガンマ又は感度値のような値を設定するためのチューニングホイール又は類似のスライダのようなグレーダ古典的制御を提供するユーザインタフェースユニット105によって、グレーダは、エンコーダの出力116を介して画像信号S_imにおいて出力されるべき変換のパラメータによって、M_HDRがどのようにLDRの見た目の画像にマッピングされるべきかを規定する比色変換を行うことができる。これは、任意の画像伝送媒体140、例えば、通信ネットワーク、又は、BD若しくはソリッドステートメモリ等のような物理担体メモリに接続可能であってもよい。
LDRの見た目は、ダイナミックレンジ変換ユニット104を介して生成される。これは、少なくとも画素色のluma上で、典型的には色度座標上で、比色変換を適用するように構成される。lumaにより、我々は、物理的ルミナンス、又は精神視覚的モデルを介して輝度について最終的に変換可能である任意のエンコーディングを意味する(これは、画像がディスプレイ上にレンダリングされたときに観察者が見るだろう最終的な外観である)。等価な数学により、luma変換は、RGB成分上の対応する変換として直接適用され得ることに留意されたい。究極の目的が見た目における正しいオブジェクト輝度(外観)であるにもかかわらず、我々は、我々の技術的議論を、基準(例えば[0−5000])範囲、又は、この範囲により規定されるXYZのようなデバイス非依存の色空間におけるルミナンスの決定に限定することができる。更に、我々は、色の任意の色彩の変換が1976 CIE Luv空間のUCS平面において行われると想定するだろう。しかしながら、当業者は、他の第2の及び第3の色成分がどのように同様に用いられ得るかについて理解することができる。本発明の基本的成分は概して適用可能である。
CIELuvは、
Figure 2018093530
及び
Figure 2018093530
として、(同様に何らかのRGBから変換することができる)XYZからのu及びvを規定する。
我々は、簡単さのために、HDR及びLDR全域(即ち、2つの画像のエンコーディング計算と関連付けられた理論的表示の全域)は、同じ3(又はそれ以上)のR,G,Bプライマリを有し、それ故、言わば5000及び100nitのそれぞれの最大を1.0にスケーリングすることにより、正確に重複するよう配置され得るものと想定する。従って、HDRからLDRへのトーンマッピングは、この単一のデバイスに依存するRGB全域の範囲内の正規化されたluma方向に沿った相対的変換になる。例えば、HDRの見た目におけるより暗い色をLDR及びHDRディスプレイ上で同じにしたい場合、これは、同じ全域における相対的変換として、以下のようになる。5000nitで規定された鮮明度において、HDR画像における斯様な色は、(例えば0.1より低い)小さなコードを有するので、我々は、(例えば0.3のまわりの値により)100nitのLDRディスプレイ上で十分に可視になるようにこれらを輝かせることを必要とする。正確なマッピングは、LDR画像及びHDR画像の双方のためのlumaの定義に依存するだろう。レガシーLDR画像及びビデオエンコーディングの[ガンマ2.2]の定義の一般化として、我々は、物理的ルミナンスからlumaコードへの任意のコード割当て関数マッピングを規定することができるためである(あるいは、反対に、典型的には、TVエンジニアは、基準ディスプレイを規定することにより開始する。基準[0―5000]nit範囲に加えて、例えば1024 lumaがその基準範囲に沿ったレンダリング可能なルミナンスにどのようにマッピングされるかを示す何らかの基準ディスプレイEOTF動作を有する)。我々は、OETFとしてのパワー1/(7.0)ガンマを用いることができるだけではない。我々は、画像のショットにおいてルミナンスの下側範囲とルミナンスの上側範囲との間にあるルミナンスが存在しない場合に、不連続なコード割当て関数を用いることさえできた。luma非依存の色度(u,v)によるY´uv表現における動作は、色空間の無彩色及び色彩の方向において全体として独立して及び自由に動作するのを可能にすることにも留意されたい。
技術を要する読者のための我々の説明をHDR−2−LDRの無彩色マッピングのみに限定すると、これらは、実際にはHDRの見た目の画像の[0,1]lumaからLDRの見た目の画像の[0,1]lumaへの任意のトーンマッピング関数として一般的に公式化され得る。これは、図2aにおける例によって理解できる。
斯様な関数を特定すると、我々は、全ての色(Y_M_HDR、u,v)に対してマッピングが行われることを想定するだろう。従って、非無彩色の色(u<>u_wp,v<>v_wp)に関して、(u_wp、v_wp)は、D65のような選ばれたホワイトポイントの色度座標である。決定されたトーンマッピング関数210は、WO2014056679において更に詳細に教示されるように、その色のために達成可能な最大のルミナンスL_max(u,v)に線形的にスケールされる。技術を要する読者は、斯様な処理がY´uv色エンコーディングにおいて適用される代わりにRGB色エンコーディングにおいてどのように同様に行われ得るかについて理解し得る。
グレーダが斯様なトーンマッピング動作を特定すると、エンコーダは、M_HDRにおける任意の考えられる色上に適用されるべき輝度ダイナミックレンジ変換のための充分な情報を有し、元の(圧縮されていない、場合により依然として浮動表現において量子化されていない)LDRの見た目LDR_oをもたらす。これから、任意の正確な又は近似の数学的変換は、エンコーダにより決定され得る。これは、レシーバがLDR_oからRec_HDRへの反対の予測を行うのを可能にする。グレーダは、画像出力111を介して、斯様な画像が(例えばHDMI(登録商標)のような画像通信リンクを介して通信され得る画像信号に十分にフォーマット化された後に)基準(言わば100nit、又は、将来においておそらく500nit)のLDRディスプレイ103上でどのように見えるかについてチェックすることができる。
しかしながら、我々は、本発明において、トーンマッピングが任意の一般的な態様において構成されないが特定の態様において構成されるときにこれは有益であることを教示するだろう。(少ない)対応するパラメータは、画像信号S_imにおける分離したメタデータとして有用にエンコードされる。これらは、例えば特定のX nitのディスプレイのための最適な駆動画像を導出するために調整可能な間に、受信側で有利に用いられ得るためである。
第1のパラメータとして、グレーダは、例えば感度をパラメータSENS又はRHOを直接選ぶだろう。これは、フォトグラフィからの知られるASA又はISO値に直観的に類似する値になるだろう。及び、典型的には、LDR画像がどれくらい明るく見えるか(とりわけ、M_HDRの暗いオブジェクトの色がどれくらい上昇するか)を決定する。
好ましい実施形態として、エンコーダは、良好な最初のLDRの見た目を既に与えているEOTF/OETF関数を用い得る。EOTF関数は、
Figure 2018093530
のように規定される。
この式は、言わば1024の考えられる値としての、画素色のlumaコード語のために利用可能なビットの量に基づいて、等距離に広がる[0,1]におけるlumaコードvに対応するレンダリングされるべきHDRルミナンスLを規定する。Lmは、M_HDR又はRec−HDRの線形色/ルミナンス表現の基準ディスプレイのピーク輝度を示す選択可能な変数であり、これは、例えば5000として固定され得る。例えば、グレーダは、典型的には、
Figure 2018093530
としてのrhoに関連し得る感度を選択するためのダイヤルを有するだろう。
暗い色の動作及び全体的な輝度を決定するSENS(RHO)値と一緒に、グレーダは、考えられるLDR lumaの範囲に沿ってオブジェクト/領域輝度を再割り当てする曲げパラメータとしてガンマ(GAM)を共同調整することができる。もちろん、(有益な中間表現であってもよい)M_HDRグレーディングの基準XYZ空間表現におけるルミナンスLからLDRの見た目のv luma値にマッピングするとき、グレーダは、逆関数を規定するだろう。
RHO除算上の基本的な数学的計算を行うと、逆関数(OETF)は、以下のように理解され得る。最初に、
Figure 2018093530
をもたらす1/(GAM)を適用し、そして、
Figure 2018093530
を計算する。
典型的には、エンコーダにおいて、画像分析ユニット177の種々の考えられる実施形態のうちの1つがあってもよい。このユニットは、人工知能によって画像における領域を解析するように構成されもよい。これらの領域のうちどれかが、とりわけモードiiのタイプの、HDRエンコーディングにおける特定の問題をもたらし得る。とりわけ、バンディングになりやすい領域、及び、十分に仕上げられた領域を識別してもよい。従って、これらは、色成分コード及び/又はlumaのより小さい量によってエンコードされ得る。幾つかのアプリケーションにおいて、このユニットは、任意の人間のグレーダの関与を伴うことなく最終のエンコーディング計画(例えばトランスコーダ)を自動的にもたらし得る。しかしながら、他のアプリケーションにおいて、これらを精査することができるように、例えばグレーダの注目下で領域をもたらしてもよい。もちろん、ユーザインタフェースとのインタラクションがあってもよい。例えば、グレーダは、特定の領域によって、又は、特定のテクスチャによって、バンディングを緩和したいことを示すことができる。そして、ユニット177は、斯様な領域及びそのluma範囲等を抽出することができる。
図2において理解できるように、典型的にはメタデータ205におけるリザーブされたLUT空間における最終的なトーンマッピング関数をエンコードすることを決めることができるが、典型的には、ガンマメタデータフィールド203及び感度メタデータフィールド202のそれぞれにおけるガンマ値(例えば2.8)及び感度パラメータ(例えば200のISO)又はRHO値をエンコードするだろう。図2は、画像又はビデオ信号S_im(200)がどのように見えるかを概略的に示している。当業者は、もちろん、多くのデジタルの変形、所与の既存の画像データコンテナ等において実際に規定され得ることを知るだろう。我々のエンコーダの実施形態は、画素色画像(201)の古典的な3つの成分のエンコーディングを用いる。これは、我々のグレーダにより最適化されたLDRの見た目の画像であるだろう。このLDR画像LDR_oは、典型的には、JPEGのような画像エンコーディングの規格化されたフォーマット又はMPEG−HEVC、VP1等のような規格化されたビデオエンコーディングフォーマットに従って、古典的にDCTエンコードされる、ランレングスエンコードされる、フォーマット化される等であるだろう。
技術を要する読者は、レガシーの(又は類似の将来の)符号化技術を再利用することができるように比色分析的にリフォーマットすることを理解するだろう。一般的な概念は本発明の部分であるためである。しかしながら、斯様な符号化のうちどれが実際に用いられるかはそれほど重要ではない。本発明の他の部分は、例えば少なくともシーンのRec_HDRの見た目を回復させるときにデータを解明するために必要なメタデータである(LDRの見た目は、理論的には更なるダイナミックレンジ処理を伴うことなく、Y´uvからデバイスに依存するRGB空間エンコーディングへの比色再定義マッピングだけにより、LDRディスプレイを駆動させるために直接用いられ得るためである)。
更に、グレーダは、(ゲインメタデータフィールド204において共同エンコードされる)GAIN値を用いることができる。従って、関数は、濃青色マップ1.0〜1.0を必要としない。例えば、ゲインは、完全な範囲[0,1]に渡って規定されるLDR画像がHDRディスプレイの[0,5000]範囲の[0,1500]サブレンジのみにどのようにマッピングされるべきかを示してもよい。反対に、用いられる可能性は低いが、使用されるLDR範囲を限定することも原理上考えられる。このゲインは、幾つかの画像をあまり明るくならないようにするために用いられ得る。これは、シーンが例えば霧の深いシーンであるかどうか、又は、LDRにおいてかなり明るくなるがHDRにおいて暗い状態にとどまる必要がある暗い画像であるかどうかを想像することができる。
これらの3つのパラメータ(RHO,GAM,GAI)は、おおまかな全体的な輝度又は照明調整により、対応するLDRの見た目の画像へのM_HDR画像の極めて有益な第1のマッピングを与える。これは、例えば最適なパラメータが放送の開始の前に正しく決定される実生活を放送するのに充分であり得る。映画製作者のようなより重要なユーザは、その見た目を介してより微調整された制御を望むかもしれない。これらは、曲線に曲げられて微細に配置される上記の"loggamma"のものよりも一般的なトーンマッピング関数を特定したいかもしれない。これは、例えば特定のオブジェクト(例えば顔)の平均的局所的輝度又はコントラストを全てのレンダリング可能なLDRルミナンスの所望のサブレンジ(又はより正確に言うとこれらの対応するluma)まで上昇させ得る。あるいは、局所的傾斜の仕様は、LDRの見た目の画像における他の領域/オブジェクトの輝度位置及びコントラストを犠牲にして、画像における重要な領域のいくらかの関心のあるサブレンジBLにおける所望のコントラストを特定し得る。
理解する重要なものは、我々のモードi(HDRの見た目)のシステムによって、グレーダが任意の斯様なマッピングを規定し得ることである。我々は、(復元ではないが、グレーダにより望まれる場合にはデータ破壊的に行われ得る)LDRの見た目の画像を導出することのみを必要とするためである。そのエンコーディングアプローチにおいて、我々は、画像信号S−imにおける唯一の画像としてエンコードされたHDRの見た目の画像を有するためである。しかしながら、モードiiのシステムにおいて、我々は、二重の基準を満たすことを必要とする。一方では、我々は、良好な画質でRec_HDR画像を復元することができることを必要とするが、他方では、我々は、グレーダが望むほとんどの全てではないLDRの見た目を生成するための充分な自由度を望む(そして、例えば映画Sin City 2において理解され得るように、時々非常に創造的であり得る)。
しかしながら、グレーダが好ましいトーンマッピング210によりたとえどんなグレーディングLDR_oをもたらしたとしても、レガシーエンコーディングにおいて、これらの出力LDR lumaは、古典的な均一の量子化(及び、DCT−ing)を介して進行することを理解するべきである。従って、我々は、これらの範囲の幾つかの部分に渡って平坦過ぎるマッピングを生成しないように注意すべきである(即ち、局所的導関数delta_LDR_out/delta_HDR−inは、あまり小さくなるべきではない。従って、LDR lumaコードの最小の必要とされる量は、その範囲delta_HDR―in又は対応するdelta_LDR_outに割り当てられる)。そうでなければ、LDR−2−HDRトーンマッピングにおいてその範囲をブーストするときに、我々は、バンディング又は極端にコントラストが強い及び可視DCTアーチファクトのようなアーチファクトを見るためである。
我々は、ユーザが任意のトーンマッピングの形状を変化させるために用いる局所的制御ポイントの安定性を伴う制御メカニズムを有することができた。しかしながら、これは、とりわけ厳しく実装される場合に、ユーザにとっては不快である(もちろん、システムは、グレーダが実際に変なマッピング曲線をもたらしたい場合に警告することができる。例えば、N曲線のような逆転は行われるべきでない)。
有益な実施形態が図3に示される。これは、技術的トーンマッピングユニット106の動作を説明している。これは、第2のLDRの見た目を決定するために用いられ得る。代わりに、LDRディスプレイを提供する必要があるよりスマートなレシーバによりLDR_oに対して使用可能である。我々は、グレーダが所望の曲線を選択したと想定する。これは、適切なLDRの見た目を与え、これは、図3における実曲線である。トーンマッピング曲線が良好でない場合、これは、平坦過ぎる少なくとも1つの範囲が存在することを意味するだろう。我々は、ここで、最も明るいHDRの部分R−uがLDR画素であると想定する。例を挙げるならばシーンの空である。我々は、LDRにおけるその範囲L_uを伸ばすことができることを必要とする。従って、グレーダのために可能な限り非破壊的(見た目をほとんど変えない)態様において。いくらかのより多くのlumaコードが割り当てられ得る。
これは、よりざらつきのあるオブジェクトを含む隣り合う範囲L_uuがあるときに行われ得る。
これは、所望のLDRの見た目を得るための我々の見た目の曲線は、同時に、種々のHDR領域テクスチャを忠実にエンコードするために利用可能なlumaコードの量子化又は数を決定するという難しい問題からの方法である(シーンにおける全てのテクスチャの充分な誠実な特徴付けは、HDRエンコーディングにおけるエンコーディングの質の主目的である)。1024の異なるluma/グレーレベル(及び、何百万ものコード)を有することは、適切に行われる場合、人間の視野のための全てのテクスチャをうまくエンコードするのに十分であるべきである。複雑なオブジェクトは、比較的少ないコードによってエンコードされ得る。目は、第1に、粗いテクスチャパターン、及び、画素色のそれほど正確な値ではないものを見るためである。特定の好適ではない状況において、少なすぎるコードしか用いなかった輝度を有する場合に問題を有する。
従って、曲線を適合させるときに2つのものが存在する。技術的トーンマッピングユニット106は、典型的には、luma軸上において十分に局所的であることを必要としたときに、前記の適合を保つ。従って、我々は、あまり多くのオブジェクト色のlumaを混乱させない(例えば、この場合も同様に、重要な暗い領域を暗くし過ぎることを回避する)。この例となるシーンの画質基準は、我々は、良好なLDRの見た目を得るために暗い色を輝かせることを必要とすることであり得る。従って、明るい色における局所的変化は、いかなる手法においてもそれを妨害しないだろう。従って、トーンマッピングユニット106は、典型的には、問題のエリアの周辺でいくらかの局所的lumaサブレンジにおいてコードを再分配し、点線である、これのための対応する適応曲線を決定するだろう(この曲線は、その2つの画像領域のエンコーディング部分において、多少元の曲線の形状に追従していてもよい。即ち、空のlumaのための放物線状に曲がっている局所的形状があった場合、典型的には、空気のためのスケーリングされた、より大きな類似の曲がっている放物線状のセグメントを用い得る。しかしながら、これは、絶対に必要であるというわけではない。コードの精度だけが基準であるためである)。
従って、我々は、Rec_HDRの青空勾配を忠実にエンコードするための十分なコードを有するために空領域の輝度範囲を多少広げることを必要とする。しかしながら、我々がそれをどれくらい行う必要があるか、及び、調整範囲R_Adjをどれくらい広げるべきか。
これは、多数のものに依存する。もちろん、R_adjは、問題がある領域を覆うべきである。これは、典型的には、空における勾配のような比較的均一な領域のような、比較的視覚的に単純な領域であるだろう(この青い勾配は、LDR luma範囲に沿ってどこかに存在するだろう)。一方、我々は、十分に粗くされている隣り合う領域を必要としなければならない。ありそうにない状況において、隣り合う領域は、更に他の滑らかな勾配である(これは、人工的勾配テスト画像のような合成画像において生じ得る。この場合において、我々は、我々が得ることができるいかなる最適なluma割り当てにも満足しなければならないだろう。しかしながら、これは、典型的には、自然な画像において発生しない)。R_adjは、比較的大きくなってもよい。ざらつきのある範囲をすぐに発生させる通常の状況において、我々は、同じ大きさの範囲L_uuによりL_uを拡張することができる。これは、我々がどれくらいのコードを追加しなければならないか、及び、テクスチャパターンの複雑さに依存する。3つのコードのみを空に追加することを必要とする場合、L_uuにおける3つのlumaコードを保存することを必要とする。十分にざらつきがある場合、ay10−15lumaの範囲に渡って、グレーダ又は観察者が見つけるか又は見つけ得る許容可能なものに依存して、これを行うことができる。
本装置は、それのための表を含み得る。
従って、見た目の曲線に依存するluma成文化に関する不快な問題が主としてここで解決される。一方、隣り合う暗いオブジェクトをあまり激しく暗くしない。我々の空の範囲L_uを拡張させることにより、上側範囲上でL_uuの色を少しだけシフトするためである。しかしながら、主に、少ししかサンプリングされない、L_uuの下側部分を同じに保つ。これは、視覚的に顕著な問題ではない。テクスチャは、それほど多くのコードを必要としないためである。空の広げられた範囲は、少しだけ最適状態に及ばないかもしれない。しかしながら、通常、実際に問題になるべきではない。我々は、代わりに、向上した画質Rec_HDRを得る。しかしながら、この全ては、例えば如何なる処理も行い得ないレシーバにより、受信側において任意の反作用を利用しない場合にのみ、静的である。デコーダにおいて、トーンリマッピングユニット159における事前補正ストラテジを行うことができるためである。そして、これは、luma割り当てを、グレーダの芸術的な意図の懸念の外の単なる技術的な事項にするだろう。トーンリマッピングユニット159は、例えばLDRディスプレイを駆動させるために生ずる意図されたLDRの見た目(LDR_ul)を用いる前に、前と同じように、圧縮への局所的伸長のための補正を適用するだろう。従って、空の例において、L_uの空の下側制限を、隣り合う範囲L_uuにおけるオブジェクトの輝度まで下に広げた(これにより、これらのオブジェクトを暗くする)場合、デコーダ150のトーンリマッピングユニット159は、補正として301の逆マッピングを適用するだろう。これは、視覚的に、空の範囲が前と同じようにその元のluma範囲L_uを有することを意味する。及び、LDRディスプレイ上にレンダリングされるとき、正しいルミナンス範囲は依然としてより高い精度を有する。より多くのテクスチャエンコーディングlumaコードが割り当てられたためである。同様に、LDR_ulの見た目において、L_uuにおける隣り合う輝度を有するオブジェクトは、正しい暗くない輝度も有するだろう。及び、コードの低減された量のため、精度的にのみ異なる。当業者は、この技術が、グレーダの意図されたLDRの見た目LDR_ulを保つ一方で、常に、種々の他の考えられる状況において、必要な場合、画像のこれらの領域における符号化精度をどのように向上させ得るかを理解することができる。トーンリマッピングユニット159が行う必要がある唯一のものは、例えばLUTによって、デコードされた技術的なLDR_tにトーンマッピングストラテジを適用することである。これは、信号S_imにおいて共同エンコードされ得る(あるいは、トーンマッピングが、例えば線形セグメントを区切る、例えば制御ポイントの制限されたセットから導出され得る場合に部分的にエンコードされる)。それ故、S_imにおけるこの技術的調整関数(Ff1,Ff2...)を別々にエンコードすることが有利である理由は明らかであるべきである。生成側で決定され、グレーダにより受け入れられ、受信側に通信されると、より望ましいLDRの見た目LDR_ulをもたらすようにデコーダにより用いられ得るためである。
上記を可能にするエンコーダ実施形態の2つのカテゴリが主として存在するだろう。1つは、全ての処理を主として自動的に行い、ユーザを含む必要はない。平滑性及びテクスチャ検出部は、種々の領域を自動的に分類し、空における勾配パターン、及び、隣接して位置された(即ち、L_uより低く及び/又は高く配置されたluma範囲上の)他のざらつきのあるオブジェクトを識別するだろう。種々のテクスチャキャラクタライザは、テクスチャの複雑性(例えば、微細な粒度、絡み合っているグレー値の量等)を決定し、そこから、より少ないエンコーディングlumaをもたらす視覚的に顕著な混乱がどのようになるかを決定するために搭載されてもよい。そこから、必要とされるL_uu範囲をもたらす。述べられたように、これらの優先度は、L_uuを機能的に決定する式において又はLUTによって予め組み込まれてもよい。また、幾つかの実施形態において、DCT又は他の圧縮エミュレータが存在してもよい。例えば、これは、R_adjのための種々の選択及び機能的なトーンマッピング摂動形状301の下で生ずる解凍されたLDR画像LDR_dを計算する。及び、バンディング及び/又は他の圧縮アーチファクトの(通常の表示範囲、ディスプレイサイズ、周囲輝度等における)典型的な可視性のための尺度を計算する。テクスチャ分析ユニット117は、これのために存在してもよい。これは、典型的には、元の(LDR_o)及びエンコードされたLDR_cにおける、テクスチャ及びとりわけこれらの視覚的影響を分析するように構成される。実際には、そのデコーディングLDR_dは、最後に受信側に存在するだろう。とりわけ、LDR−2−HDR色マッピングユニット118によるHDRへのリマッピングは、必要に応じて、グレーダが視覚的影響をチェックするのを可能にするために用いられてもよい。グレーダがRec_HDRとしてのこのM_HDRの復元可能性をチェックしたい場合、HDR画像出力119を介して、HDRディスプレイ102上でこれらを時間的に例えば切り換えることができる。実際には、デコーダは、LDRの種々のバージョンをチェックすることができる(別々に示されたが、もちろん、これらは、1つだけの出力に内部的に送られ得る)幾つかの出力111,112,113,114を有してもよい。
技術的再グレーディングを伴うエンコーダの第2のカテゴリは、人間のグレーダを直接含んでもよい。自動化アルゴリズムの質をチェックしている場合、(即ち、典型的には半自動的に)結果に影響するためのオプションを有してもよい。これは、グレーダのために簡素であるべきである。見た目の芸術的な決定とより関与したいかもしれないためである(即ち、圧縮アーチファクトのような技術的問題というよりはむしろオブジェクトlumaの配置。これを見たい場合、及び、画像通信ラインの下で1又はそれ以上の典型的な及び承認されたシナリオをチェックするにもかかわらず、もちろんより厳しいアーチファクトを有し得る更なる圧縮があってもよい)。
これらのエンコーダの実施形態において、ユーザインタフェースユニット105は、典型的には、グレーダが特に問題のエリアである幾何学画像エリアを特定するのを可能にするだろう。例えば、空に渡って走り書きしてもよい。そして、ヒストグラム分析及びテクスチャ分析ユニットは、これらの分析及び技術的更新部分のトーンマッピング曲線の決定を行うとき、画像のこの部分上にフォーカスするだろう。例えば、これらは、グレーダが満足するまで、より多くのlumaコードを一度に空に追加するストラテジを連続的に提案してもよい。例えば、トーンマッピングユニット106の一実施形態のアルゴリズムは、例えばk=1.5により、勾配(バンディングに敏感な)オブジェクトのこの範囲を乗算してもよく、ざらつきのある画像領域の隣接範囲を選択してもよく、及び、これをL_uu−1.5*L_uに圧縮してもよい。即ち、2つの領域におけるコードの任意の線形又は曲線再分配が用いられ得る。L_uuは、少なくとも例えば3*L_uになるように選択されてもよい。これらの値は、典型的には、代表的な画像のセットに基づいて装置設計者により最適化される。装置による計画が良好である場合、グレーダはこれを受け入れ、エンコーダにS_imにおける対応するパラメータを格納させる。あるいは、そうでなければ、新たな繰り返しが、例えばk=1.1*1.5により開始される。
摂動301は、最終的なトーンマッピングをもたらすだろう。これは、最終的な技術的グレーディングLDR_iに対応する。これは、我々のモードiiのHDRエンコーディングシステムによる更なるフォーマッティングの後に通信システムに送信されるLDRの見た目であるだろう。及び、これは、グレーダがLDRの見た目として望むものに主として対応する。グレーダ関与の利点は、少なくとも最小限の関与により、どの領域が意味的に関連しているかを示すことができるということである。統計的テクスチャアナライザは、少ないluma(即ち少ない画素)が例えば屋内の部屋の暗いlumaと日当りのよい屋外の明るいlumaとの間の領域に実際に存在しないことを決定してもよい。それ故、少ないコードを適用するリマッピングストラテジを適用することを決める(デコーダリマッパ−159は、所望のLDRの見た目を任意に復元することができる場合において、強い技術的な変形曲線を用いるかもしれない。これは、LDR_iエンコーディングから全体的にほとんど用いられていないサブレンジをほとんど切り取り、これにより、LDR_i luma値における直接隣り合うものを屋内及び屋外のサブレンジにする)。しかしながら、この小さな領域において偶然現れるオブジェクトのように何とか強調された誰かの顔又はオブジェクトのような重要なオブジェクトがある場合、グレーダは、これの反対に作用してもよい。幾つかの実用的な実施形態が考えられる。例えば、この領域周辺で矩形を走り書きしてもよい。そして、その領域のために用いられるlumaコードの量を増大させるダイヤルをオンにする。技術を要する読者は、画像又はショットにおいて重要な領域又はオブジェクトを選択し、どのようにlumasによってエンコードされるべきかを示すための種々の他のユーザインタフェース手段があることを理解するだろう。グレーダは変更曲線301自体の形状を描くか又はこれに影響する。
我々のモードiiのシステムの残りは以下の通りである。オプションとして、ダイナミックレンジ変換ユニットは、色彩度処理を行ってもよい(例えば、彩度は暗くなるとともに減少し、逆もまた同じである。グレーダは彩度を補正したいかもしれない。これは、lumaトーンマッピングのため、多少不適切になる)。良好な実用的な例示的な実施形態は、非情報破壊的タイプの一般的な彩度関数によって機能する。これにより、この彩度関数がどこも平坦過ぎないことを意味する。従って、反転されてもよい。しかしながら、幾つかの実施形態において、彩度関数は、LDR−2−HDRアップグレーディングにおいて適用されることのみを必要とし得る。そして、これはより自由であってもよい。図3において、s_inからs_outへの滑らかな彩度が示されている。これは、信号S_imにおけるLUTにおける多数の値S1,S2,S3によってエンコードされ得る。これらは、等距離のs_in値のためのs_out値であってもよい(所望の曲線がデコーダにおいてかなり滑らかに回復され得る十分な量)。しかしながら、これは、例えば関数形状制御ポイントであってもよい。不飽和化関数は、例えば、(s_in対s_outのプロット上の)45度より小さな傾斜を有するラインとしてエンコードされてもよい。斯様な不飽和の場合において、画像信号は、メタデータにおける乗数のための浮動値又は整数を有し得る。我々は、説明する例において、s_outがHDR画像の彩度であるものと想定した。我々は、彩度を増大させるためにシーンの暗くされたより暗い色の彩度をブーストすることを必要とする。しかしながら、当業者は、同じ構造的エンコーディングの観点で異なる処理変形が存在し得ることを理解し得る。我々は、説明の簡単さのために、例えば動作s_out=s_in+MS(s_in)*s_inを実行し得るlumaに関わらず、彩度がuv空間において実行されることを想定するだろう。そして、MS(s_in)は、図2bにおいて見られ、LUT 206においてエンコードされる関数から検索可能な乗法的値である。これは、ホワイトポイントと比較される色相方向における彩度ベクトルを伸ばす。説明を簡単にするため、我々は、周辺の(及び1.0として符号化された)最大の彩度を有する円柱形のものにおいてuv空間を規定したと想定する。もちろん、当業者は、他の比色定義における我々の彩度ストラテジを両方ともエンコードすることができることを理解するだろう。あるいは、定義が例えば円柱形のY´uv空間において与えられると、デコーダハードウェア又はソフトウェアの設計者は、RGBベースのYCrCb空間等のような他の色空間においてそれを実際に同等に実行するように選択することができる。グレーダは、S_imにおいてlumaに依存する彩度ストラテジ(即ち、彩度を変える関数)を決定及びエンコードすることができる。乗算部は、処理された色のルミナンスによって変化する。基本的に、S_imのより高度な実施形態は、彩度エンコーディング構造を有するだろう。これは、例えばウェブベースの定義であってもよい。これは、多数の鍵となる色相(例えば6:RGBCYM)に関して、luma:MS(Y´)に渡って規定された乗算関数を有する。206に類似する値の6つのLUTとしてエンコードされ得るものから、受信側において、デコーダは、補間により全域における全ての色のための彩度ストラテジを決定することができる。より複雑なストラテジは、半径方向における彩度の変動性を取り込みさえしてもよい。これは、(図2bにおける理解されるものと同様であるが、全域におけるlumaの高さに渡って可変である)これらの関数を単純にパラメータ的に、例えば、オフセット、ガンマ、ゲイン関数として決定することにより容易なエンコーダになり得る。この場合、以下のものを有するだろう。鍵となる色相のためのs_out=s_in+F(s_in,Y´)。例えば3パラメータ関数形状制御の場合において、例えばY´に渡って変化するよう彩度_ガンマパラメータのluma動作を特定する3x6LUT又は色相のための6つのLUTとしてS_imにおいてこれをエンコードしてもよい。しかしながら、単一の乗法的値は各位置でエンコードされない。しかし、全域における考えられるlumaをサンプリングする多数の位置iに渡って連続的に三つ組みsat_offset(Y´_i)、sat_gain(Y ´_i)、sat_gamma(Y´_i)]_LUT_of_yellow。
エンコーダ(及び対応するデコーダ)の幾つかの実施形態において、画素の色特性のためのu´v´へのオプショナルな変換がある。我々は、ここで説明するだろう(しかしながら、他の実施形態は、例えばYCrCbのためのR´G´B´等において代わりに又は追加的に直接エンコードしてもよい。及び、オプショナルなユニット107さえ内部に有さない。Yu´v´処理は、等価な線形RGB処理として数学的に書き直され得る)。
(例えば、RGB空間又はXYZ等において)正しいLDRの見た目を生成するためにダイナミックレンジ変換に適用した場合、Y´uv空間におけるマッピングを行わないと仮定すると、例となる説明の実施形態の色変換ユニット107は、luma Y´によってu´v´表現への変換を行うだろう。色表現は、上記の式毎に、我々の全体のトーンマッピング関数(即ち、中間LDR画像LDR_iのluma)及び、u,vにより決定される。我々は、ユニット107において比色変換を行うことができた。これは、異なるデバイスに依存するRGB又はマルチプライマリ空間が想定されるときに、色を条件付ける。例えば、我々のM_HDRがより小さなRGB三角形によってエンコードされるがLDRが広い全域ディスプレイのためのものである場合、グレーダは、多くの場合ものが周辺にあるにもかかわらず彩度ブーストストラテジを予め規定してもよい。この場合において、ユニット107は、色彩全域マッピングを実装してもよい。
最終的に、生ずるLDR_uvは、古典的LDR画像又はビデオ圧縮器108(即ち、典型的にはDCT又はウェーブレット変換等)によってエンコードされる。
この圧縮された画像LDR_cは、フォーマッタ116に送信される。これは、受信側で適切に利用可能にするために、規格化されたフォーマットに従って、適用されたマッピング関数上のメタデータを追加する。即ち、このフォーマッタは、感度値(RHO又は代わりにSENS)、パラメータ205を典型的には値(F1,F2...)のLUTとして規定する関数を有する(更なる将来において幾つかのエンコーダがそれ自体いくらかの微調整を行うのに十分スマートであるかもしれないにもかかわらず)人間のグレーダにより典型的に決定されるLDRの見た目を微調整するための更なるトーンマッピング、彩度エンコーディング206、例えば、マルチリニア関数等を規定するパラメータのセットを追加する。
技術的な理由のための更なるトーンマッピングは、典型的には、好ましくは整数又は現実の値207のセットとして、画像又はビデオ信号S_imにおいて別々に格納される。これは、例えば256ポイント又は1024ポイントのLUTを格納するために用いられ得る。
符号化されたLDR_cは、前と同じように、LDR_dにデコードされ得る。そして、色マッピングユニット118によりアップグレードされ得る。従って、グレーダは、画像出力119を介して、復元されたHDR Rec_HDRが受信側でどのように見えるかを確認することができる。グレーダが要求する場合、例えば強圧縮に対する幾つかの典型的な圧縮設定の影響を試験することさえできる。ここで述べられたデコーダは、再符号化ストラテジにおいて用いられ得る。グレーディングの見た目は、事前に準備されてもよいが、例えば、低画質高圧縮のLDRバージョンは、いくらかの特定の画像/ビデオ通信アプリケーションのために再決定される。その二次グレーダは、パラメータを再調整さえしてもよい。利用可能な元のM_HDRを有するかどうかに依存して、例えば、(例えば、モバイルフォン観察者に提供する)新たなより適切に調整されたLDRの見た目を実現するためにダウングレーディング関数を再決定してもよい。実際には、M_HDRの代わりに利用可能な良好なRec_HDRのみを有するときにそれを行いさえしてもよい。lumaコードをより適切に割り当てるための技術的なグレーディング部分の分割は、斯様なシナリオに対して極めて有用である。LDR_oへのマッピング関数(及び、その対応する近い復元LDR_ul)は、実際の芸術的なLDRの見た目を決定するので、これらは、コンテンツの最初の製造時に又は一次グレーダにより決定され得る。しかしながら、エンコーダは、二次グレーダの関与によって、301のような小さな変形及び対応するLDR_i(又はLDR_t)、及びS_imにおける現実の又は整数値207のセットにおける符号化されたメタデータFf1,Ff2を有する技術的なマッピングを依然として自動的に又は半自動的に決定することができる。これは、もちろん、異なる技術的制約(例えばビットの量(例えばlumaチャネルのための8ビットのみ))の間で異なってもよい。
デコーダ150は、例えばこの説明のように、ディスプレイ160又はテレビに接続可能なセットトップボックス又はコンピュータにおけるICであってもよい(従って、我々がデコーダを言うときには、我々は、"USBスティック上のセットトップボックス"又はハードディスク及び光ディスク読み取り装置を有するセットトップボックスのような本発明から実現する及び利益を与える任意の大きな装置のようなこれの任意の小さなリアリゼーションをカバーすることを意図する。エンコーダは、小さなデバイスから大きなグレーディングシステム等までの何らかのものであり得る)。しかしながら、もちろん、テレビは、処理能力のないモニタでなくてもよいが、それ自身のICにおいてこのデコーディング技術の全てを含む。ディスプレイ160は、LDRディスプレイ又はHDRディスプレイ、あるいは、基本的には、例えばポータブルマルチメディアデバイス又はプロフェッショナルシネマプロジェクタへのワイヤレスストリーミングのような画像出力157を介して任意の画像通信技術を介して接続される任意のディスプレイであってもよい。
デコーダは、画像入力158を介して我々のフォーマットされたS_imを得る。デフォーマッタ151は、古典的なJPEGのような又はMPEGのような解凍部152及び、メタデータからのパラメータP(例えば、感度設定1000、及び、トーンマッピング又は彩度マッピングの機能的形状を復元するために用いられ得る幾つかの値)により解凍するために画像LDR_c(図2におけるIMG)において分割するだろう。オプションとして、デコーダにトーンリマッピングユニット159がある。この技術的なリマッピングは、通常グレーダが意図したLDRの見た目LDR_ulの厳しい変形ではないので、幾つかのデコーダはこれを無視しても差し支えない。しかしながら、完全にHDRに準拠するデコーダは、(LDR_oの近似値である)正しいLDRの見た目LDR_ulに達するよう、207のFf値において成文化される技術的な再補正ストラテジを適用するために、このユニット159を用いるべきである。この補正されたLDR画像(LDR_ul)は、更なるディスプレイ色調整ユニット154に進む。このユニット154は、特定の言わば1300nitの広さの全域ディスプレイのための必要とされる最適化を適用することができる(同調性)。変形が考えられるにもかかわらず、我々は、我々のHDRエンコーディングの観点のための典型的なデコーダを描いた。これは、(又は159が近似値LDR_tを示さない場合に)LDR_ulを復元するための画像処理用経路を有する。しかしながら、Rec_HDRを決定するために第2の画像処理用経路を有する。これは、ダイナミックレンジ変換ユニット153において行われる。これは、典型的には、エンコーダにおいて適用される逆マッピングを適用する(実際には、信号において、典型的には、この逆マッピング(即ち、アップグレーディング)のパラメータをエンコードするだろう)。ディスプレイ色調整ユニット154は、典型的には、2つのグレーディングにおける情報を組み合わせるように構成されるだろう。これは、1つだけの画像及び色マッピングパラメータPを用いることに基づいて行われ得る。しかしながら、この説明された実施形態において、我々は、Rec_HDR及びLDR_ul画像を入力として取得し、そして、どのピーク輝度がどのディスプレイに接続されるか、及び、適切に等級化された画像により供給されるかに従って、これらを挿入するものと想定する。
正しい輝度の見た目を取得するためのトーンマッピングから離れて、色変換ユニット155は、典型的には、エンコーディングの全域とは異なる色域(例えばDCI−P3に対するRec.2020又はRec.709等)に対して最適化するために、色彩の適応を行うように構成されてもよい。
画像出力157を介して出力されるもの、それ故、ユニット154により計算されるものは、もちろん、接続されたディスプレイに依存するだろう。LDRディスプレイである場合、ユニット154は、もちろん(ユニット155による)正しい色リマッピングの後、例えば、LDR_ulをY´uvから特定のデバイスに依存するR´G´B´エンコーディングに送信してもよい。続されるディスプレイ160が5000nitのピーク輝度ディスプレイの近くにある場合(デコーディング装置がどのようにtvにその機能を尋ねることができるかについてWO2013/046096を参照;コントローラ161は、ディスプレイと斯様な通信を行うことができ、優先度を取得するために観察者とさえ通信を行うことができ、ディスプレイ調整ユニット154がどのように動作するか、及び、どの種類の画像の見た目を計算及び出力すべきかを設定するように構成される)、前と同じようにテレビが受信したいものに応じた適切なフォーマッティングの後に、Rec_HDRの見た目の画像が出力されてもよい(即ち、これは、依然として、Y´uvエンコーディング、例えば、201/IMGに格納されたHDRの見た目の画像を有する我々のS_imフォーマットであり得る。幾つかの機能的メタデータが送信されてもよく、従って、テレビは、このメタデータにおいてエンコードされるレンダリング可能性のスペクトルに渡ってグレーディングがどのように変化するかに関する情報に基づいて、最後の見た目の比色の微調整を行うことができる。あるいは、R´G´B´HDRディスプレイ駆動画像であり得る)。中間のピーク輝度ディスプレイに関して、ユニット154は、前と同じように我々のY´uvフォーマットにおいて、又は、他のフォーマットにおいて、適切な駆動画像を出力してもよい。
最終的に、コンテンツ作者は、ユニット159の補償マッピングがスキップされるべきでないことを望むかどうかを信号において規定してもよい。例えばコンテンツ作者はLDR_tがLDR_ulから深刻にそれると思うためである。これは、メタデータのIGNORE_TECHNICAL_MAPPINGフィールドにおけるBoolean 209をエンコードすることにより行われ得る。
もちろん同じ合理的根拠に沿って我々はパラメータの1つのセットの最小限のもののみを説明した場合、色マッピング機能的メタデータの幾つかのセットは、S_im、例えば、唯一の(LDR画像である)画像IMGから基準(例えば[0−5000]nitのHDRの見た目の画像)に進むための1つのセットにおいてエンコードされ得る、及び、第2のセットは、例えば1500nitのMDRの見た目に進むために追加され得ることが読者にとって明らかになるべきである。感度、ガンマ、ゲインの特定の分解を行うにもかかわらず、関数形状を更に微調整することは有利であり、技術的説明のため少なくとも良好である。これらのマッピングのうちいずれか1つ、例えばマッピングLDR−2−MDRは、例えばトーンマッピングLUT又は値205のセットのみを満たすことにより、短縮された形式におけるS_imにおいてエンコードされ得る。これは、最終的なマッピング関数を(即ち、感度、微調整及び技術的マッピングのすべてを一緒に)成文化する。
図4は、我々のデコーダコアユニット400(この例では、技術的な再グレーディング又はYu´v´変換等を伴うことなく、モードiiの最小限の部分)の典型的な実施形態を図式的に示している。ランレングス又は算術デコーディング、及び、逆DCT等を行う解凍部401の後、我々は、画像LDR_tを得る。我々は、(即ち、Rec.709に従って規定されたlumas又はR´G´B´成分を有する)ガンマ2.2表現にあり、正規化されることを想定するだろう。第1の制御ユニット420があってもよく、これは、この画像を、接続されたLDR TV 410に直接送信することができる(もちろん関連するいくつかのレガシーフォーマッティングがあってもよいことを直接意味する;原理上、LDR_tは例えば線形画像であってもよい。この場合において、これらは、これをLDRディスプレイに送信する前にこれを再―ガンマ―2.2マッピングすることを必要とするだろう。しかしながら、これが必要ではない場合に有利であってもよい;更なるトーンマッピング関数は、典型的には、LDR_tがどんなタイプであるかに依存して異なってもよいだろう。これは、S_imにおけるインジケータIND_2によって示されてもよい)。そして、第1のトーンマッピングユニット402は、任意のトーンマッピングの逆マッピングを行う。その関数形状P_CCの規定するパラメータは、メタデータMET(F)において受信される。そして、第2のトーンマッピングユニット403は、例えば受信したRHO値によって上記のrhoの式を適用することにより、より明るいものに対してより暗い色を比較的暗くするトーンマッピングを行う。ユニットは、接続されたHDRディスプレイ411から受信される、受信したディスプレイピーク輝度PB_HDRからRHO値を計算することができる。そして、第3のトーンマッピングユニット404は、好ましくは例えば2.4である受信したGAM値を有するガンマべき関数を実行する。そして、乗算部405は、GAIにより乗算を行ってもよく、これは、デフォルトで1.0であってもよい。オプションとして、色彩度プロセッサ406は、いくらかの彩度処理を行ってもよい。最終的に、制御ユニット421は、画像をHDRディスプレイ411に送信してもよく、例えば、ディスプレイが例えばHDMI(登録商標)接続を介して理解する規格に従って画像を正しくフォーマットするためにいくらかの更なる処理を行ってもよい。
図6は、単純なエンコーダのダイナミックレンジ変換ユニットの実施形態を示している。これは、全ての色成分を1に正規化するための正規化ユニット601を有する(即ち、例えばR,G及びBが1.0に正規化される場合、最大のルミナンスも1.0に正規化されるだろう、及び、逆もまた同じである)。HDR画像画素の正規化されたルミナンスYn_HDR(又は、等価な実施形態において、例えば正規化された線形RGB成分)は、グレーダにより望まれたガンマ(しかしながら、通常1/(2.4)に固定される)により、ガンマ動作を行う第1のトーンマッパー602(又は、自動グレーディングユニット)に進む。そして、第2のトーンマッパー603は、例えば、
Figure 2018093530
により、例えば、M_HDRの(ピーク輝度)と典型的には100nitのLDRとの間のダイナミックレンジ差に依存してグレーディングシステムにより提案される、及び、典型的には、グレーダにより最終的に扱われる適切なRHOファクタにより、HDRの暗い色を適切に輝かせる変換を行う(この最初に提案されたRHO値を変えてもよい又は変えなくてもよい)。そして第3のトーンマッパー604を用いることにより、グレーダは、画像における種々のオブジェクトを見る微調整を開始し、及び、グレーダにとって重要な画像オブジェクトに従ってこれらの種々のlumaを変えることにより、カスタマイズしたトーンマッピング曲線CCを最終的に規定する。これは、エンコードされる全てのデータを伴う、LDR_o画像のluma Yn_LDRをもたらす。
このテキストにおいて開示されるアルゴリズムの成分は、ハードウェア(例えばアプリケーション専用のICの部分)として、又は、特別なデジタル信号プロセッサ又は汎用プロセッサ等上で実行するソフトウェアとして実際に(完全に又は部分的に)実現されてもよい。
成分はオプショナルな改良であってもよいこと、他の成分と組み合わせて実現されてもよいこと、方法の(オプションの)ステップが装置のそれぞれの手段にどのように対応するか(及び逆の場合も同じである)は、我々の提示から当業者によって理解可能であるべきである。この出願における"装置"という用語は、その最も幅広い意味、即ち、特定の目的のリアリゼーションを可能にする手段のグループ)において用いられ、それ故、例えばIC(の小さな部分)又は専用の電気機器(例えばディスプレイを有する電気機器)又はネットワーク化されたシステムの部分等であってもよい。また、装置は、最も広い意味において用いられることを意図される。従って、これは、とりわけ単一の装置、装置の一部、協働する装置(の部分)の集合等を有してもよい。
表示としての本実施形態のコンピュータプログラム製品のバージョンは、プロセッサにコマンドを入力するため、及び、発明の特徴的関数のいずれかを実行するために、(中間体変換ステップ(例えば、中間言語及び最終的なプロセッサ言語への変換)を含んでもよい)一連のローディングステップの後、汎用目的又は専用のプロセッサを可能にする一まとまりのコマンドの任意の物理的なリアリゼーションを含むように理解されるべきである。とりわけ、コンピュータプログラム製品は、例えばディスク又はテープ、メモリ内に存在するデータ、有線若しくは無線のネットワーク接続を介して伝送するデータ、又は刊行物上のプログラムコードのような担体上のデータとして実現されてもよい。プログラムコードから離れて、プログラムのために必要とされる特性データは、コンピュータプログラム製品として具現化されてもよい。コンピュータがデータ計算を実行可能な任意のデバイスであることを意味する、即ち、例えばモバイルフォンであってもよいことが明らかであるべきである。また、装置に係る請求項は、実施形態のコンピュータにより実行されるバージョンをカバーしてもよい。
方法の動作のために必要とされるステップの幾つかは、データ入力及び出力ステップのような、コンピュータプログラム製品において述べられたものの代わりに、プロセッサの機能において既に存在していてもよい。
上述の実施形態は、本発明を限定するよりはむしろ例示であることに留意すべきである。示された例の請求項の他の領域へのマッピングを当業者が容易に実現することができる一方で、我々は簡潔さのためにこれらのオプションを詳細に述べていない。請求項において組み合わせられる本発明の要素の組み合わせから離れて、前記要素の他の組み合わせが可能である。要素の任意の組み合わせは、単一の専用の要素において実現されてもよい。
請求項における括弧内の任意の参照符号は、請求項を限定することを意図するものではない。有するという用語は、請求項に記載されていない要素又は態様の存在を除外するものではない。要素の単数表記は、斯様な要素の複数の存在を除外するものではない。

Claims (18)

  1. 高ダイナミックレンジ画像をエンコードする方法であって、
    a)高ダイナミックレンジ画像の、正規化された高ダイナミックレンジ画像をもたらす[0,1]であるluma軸のスケールへの正規化であって、正規化された色は、正規化されたルミナンスを有する、正規化、
    b)ガンマ変換されたルミナンスをもたらす正規化されたルミナンス上のガンマ関数を計算すること、
    c)lumaをもたらす1.5〜5.0にある予め決められた量により、0.1より低いところにある正規化された高ダイナミックレンジ画像の画素のこれらのガンマ変換されたルミナンスをブーストする第1のトーンマッピングを適用すること、
    d)前記lumaを低ダイナミックレンジ画像の出力lumaにマッピングする任意の単調に増大するトーンマッピング関数を適用すること、
    を適用することにより、高ダイナミックレンジ画像を低ルミナンスダイナミックレンジの画像に変換するステップと、
    画像信号において、前記低ルミナンスダイナミックレンジ画像の画素色の成文化を出力するステップと、
    前記画像信号において、メタデータとしての上記の色変換b〜dの関数形状をエンコードする値又はこれらの逆関数のための値を出力するステップとを有し、
    前記メタデータは、レシーバが、前記低ルミナンスダイナミックレンジ画像から、復元された高ダイナミックレンジ画像を復元するのを可能にする、方法。
  2. 前記第1のトーンマッピングは、
    Figure 2018093530
    として規定され、RHOは、予め決められた値を有し、RHO又はRHOの関数である値は、前記メタデータにおいて出力される、請求項1に記載の方法。
  3. ガンマ関数計算は、1/(2.4)に等しいガンマ値を用いる、請求項1又は請求項2に記載の方法。
  4. 低ダイナミックレンジ画像の最大lumaを、復元された高ダイナミックレンジ画像における考えられる値の特定の値にマッピングするためのゲイン値を決定するステップと、
    前記画像信号においてそのゲイン値をエンコードするステップとを有する請求項1−3のうちいずれか一項に記載の方法。
  5. 前記低ダイナミックレンジ画像を決定するために上記の色マッピングのうちいずれかを適用した後に、前記低ルミナンスダイナミックレンジ画像の代わりに代替駆動画像としてLDRディスプレイを駆動させるために用いられ得る第2の低ダイナミックレンジ画像を決定するために更なる技術的なトーンマッピングを適用するステップを有し、
    技術的なトーンマッピングは、
    a)対応する復元された高ダイナミックレンジ画像におけるバンディングの可視性が許容可能なレベルを越える、前記低ルミナンスダイナミックレンジ画像の第1の幾何学形状領域を決定すること、
    b)その領域のためのlumaの範囲を決定すること、
    c)lumaの範囲に対するluma軸上の隣り合う画素lumaの第2の範囲を決定することであって、前記第2の範囲は、最小数より高い多数のlumaを有するという条件を果たすように識別され、LDR画像における最小数より少ないコードを用いて表され得るテクスチャを含む第2の幾何学画像領域に対応し、その第2の領域のための充分な視覚的な画質の復元された高ダイナミックレンジ画像をもたらす関数を適用する、決定すること、
    d)lumaの第1及び第2の範囲のlumaを再分配する再分配マッピング関数を決定すること、
    により決定され、従って、追加のコードは、前記第1の範囲で利用可能であり、前記画像信号において、前記再分配マッピング関数又は好ましくはその逆の関数形状をエンコードする値を出力する、請求項1−4のうちいずれか一項に記載の方法。
  6. 前記第1の範囲のための追加のコードの量は、前記第1の幾何学形状領域のためのバンディング可視性基準に基づいて決定される、請求項5に記載の方法。
  7. 前記第1の幾何学形状領域の識別は、ユーザインタフェースユニットを介して人間のグレーダにより実行され、
    復元された高ダイナミックレンジ画像における前記第1の幾何学形状領域のバンディングの量、及び、復元された高ダイナミックレンジ画像における前記第2の幾何学形状領域の復元の視覚的画質は、許容可能であるか又は許容できないとして人間のグレーダにより判断され、
    許容可能であるという判断の場合において、再分配マッピング関数又はその逆の関数形状をエンコードする値が前記画像信号においてエンコードされ、又は、許容できないという判断の場合において、これらのステップは、代替の再分配マッピング関数をもたらすように異なるパラメータによって再び行われる、請求項5又は請求項6に記載の方法。
  8. 低ルミナンスダイナミックレンジ画像の画素色は、lumaチャネル並びにu´及びv´色座標としてエンコードされ、これらは、
    Figure 2018093530
    及び
    Figure 2018093530
    として計算され、X,Y及びZは、任意のRGB表現のために導出可能であるデバイス非依存の1931 CIE色座標である、請求項1−7のうちいずれか一項に記載の方法。
  9. 高ダイナミックレンジ画像をエンコードするように構成された画像エンコーダであって、
    前記高ダイナミックレンジ画像を低ルミナンスダイナミックレンジの画像に変換するように構成されたダイナミックレンジ変換ユニットを有し、
    前記ダイナミックレンジ変換ユニットは、処理順序において、
    a)高ダイナミックレンジ画像を[0,1]の範囲に渡るluma軸に正規化し、正規化されたルミナンスを出力する正規化部、
    b)前記正規化されたルミナンスにガンマ関数を適用し、ガンマ変換されたルミナンスを出力するガンマ変換ユニット、
    c)lumaをもたらす1.5〜5.0にある予め決められた量により、0.1より低いところにあるこれらのガンマ変換されたルミナンスをブーストする第1のトーンマッピングを適用するように構成された第1のトーンマッピングユニット、
    d)前記lumaを低ダイナミックレンジ画像の出力lumaにマッピングする任意の単調に増大するトーンマッピング関数を適用するように構成された任意のトーンマッピングユニット、
    を有し、
    当該画像エンコーダは、
    前記低ダイナミックレンジ画像の色にデータ削減変換を適用するように構成された画像圧縮部であって、これらの色は、成分画像において構成され、削減変換は、少なくとも、隣り合う色成分のブロックにDCT変換を適用することを含み、低ルミナンスダイナミックレンジ画像の画素色の圧縮された成文化をもたらす、画像圧縮部と、
    圧縮された成文化を画像信号において出力するように構成され、加えて、画像信号において、色変換の関数形状をメタデータとしてエンコードする値又はこれらの逆関数のための値を出力するように構成されたフォーマッタとを有し、
    メタデータは、レシーバが、低ルミナンスダイナミックレンジ画像に基づいて高ダイナミックレンジ画像を復元するのを可能にする、画像エンコーダ。
  10. 前記ガンマ変換ユニットは、1/(2.4)に等しいガンマ値を用い、
    前記第1のトーンマッピングユニットは、式
    Figure 2018093530
    により規定されるトーンマッピングを用い、RHOは、予め決められた値を有する、請求項9に記載の画像エンコーダ。
  11. エンコードされた画素色を有する画素化された低ダイナミックレンジ画像、並びに、更に、感度値、ガンマ値、任意の単調に増大するトーンマッピング関数形状を特定する値のセットを有する、高ダイナミックレンジ画像信号。
  12. 高ダイナミックレンジの画像がエンコードされたが、LDRディスプレイ上のレンダリングのために更なるトーンマッピングを必要とすることなく直接使用可能である低ダイナミックレンジの画像としてこれをエンコードする方法によるものであることを特定するインジケータを有する、請求項11に記載の高ダイナミックレンジ画像信号。
  13. 請求項11又は請求項12に記載の高ダイナミックレンジ画像信号を格納するブルーレイディスクのようなメモリ製品。
  14. 高ダイナミックレンジ画像信号を受信するように構成された画像デコーダであって、
    画像信号から、圧縮された画素化された低ダイナミックレンジ画像及びパラメータデータを取得するように構成されたデフォーマッタと、
    画素化された低ダイナミックレンジ画像を取得するために、圧縮された画素化された低ダイナミックレンジ画像に少なくとも逆DCT変換を適用するように構成された解凍部と、
    低ダイナミックレンジ画像を復元された高ダイナミックレンジ画像に変換するように構成されたダイナミックレンジ変換ユニットとを有し、
    前記ダイナミックレンジ変換ユニットは、処理順序において、
    a)任意の単調に増大するトーンマッピングを適用するように構成された任意のトーンマッピングユニットであって、これを規定するパラメータは、パラメータデータにおいて受信される、任意のトーンマッピングユニット、
    b)我々のエンコーダ又はエンコーディング方法の実施形態のいずれかにより、事前に決定された第1のトーンマッピングを規定する少なくとも1つの受信したパラメータにより規定されるマッピングを適用するように構成された第1のトーンマッピングユニット、
    c)受信したガンマ値を有するガンママッピングを適用するように構成されたガンマ変換ユニット、
    を有する、画像デコーダ。
  15. 前記第1のトーンマッピングユニットは、形式
    Figure 2018093530
    の関数を適用し、vは、画素lumaであり、RHOは、パラメータデータにおいて受信された実数値又は整数のパラメータである、請求項14に記載の画像デコーダ。
  16. 少なくとも復元された高ダイナミックレンジ画像の領域における低減されたバンディングを取得するための再分配されたlumaを有する第2の低ダイナミックレンジ画像をもたらすエンコーダ方法5〜7のいずれかにより適用される、コード再分配アクションを逆転させる第2の低ダイナミックレンジ画像を取得するために、画像信号において受信された更なるトーンマッピングを低ダイナミックレンジ画像に適用するように構成されたトーンリマッピングユニットを有する、請求項14又は請求項15に記載の画像デコーダ。
  17. RGB色表現においてYu´v´色表現を変換するように構成された色変換ユニットを有する、請求項14−16のうちいずれか一項に記載の画像デコーダ。
  18. 高ダイナミックレンジ画像信号をデコードする方法であって、
    画像信号から圧縮された画素化された低ダイナミックレンジ画像及びパラメータデータを取得するステップと、
    画素化された低ダイナミックレンジ画像を取得するために圧縮された画素化された低ダイナミックレンジ画像に少なくとも逆DCT変換を適用することにより、圧縮された画素化された低ダイナミックレンジ画像を解凍するステップと、
    a)任意の単調に増大するトーンマッピングを適用することであって、これを規定するパラメータは、パラメータデータにおいて受信されている、適用すること、
    b)我々のエンコーダ又はエンコーディング方法の実施形態のいずれかにより事前に決定された第1のトーンマッピングを規定する少なくとも1つの受信したパラメータにより規定されるマッピングを適用すること、
    c)(好ましくは2.4に等しい)受信したガンマ値を有するガンママッピングを適用すること、により、
    低ダイナミックレンジ画像を復元された高ダイナミックレンジ画像に変換するステップとを有する、方法。
JP2018032715A 2014-05-28 2018-02-27 Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置 Active JP6615251B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14170157 2014-05-28
EP14170157.3 2014-05-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016566794A Division JP6358718B2 (ja) 2014-05-28 2015-03-19 Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置

Publications (2)

Publication Number Publication Date
JP2018093530A true JP2018093530A (ja) 2018-06-14
JP6615251B2 JP6615251B2 (ja) 2019-12-04

Family

ID=50897371

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016566794A Active JP6358718B2 (ja) 2014-05-28 2015-03-19 Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置
JP2018032715A Active JP6615251B2 (ja) 2014-05-28 2018-02-27 Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016566794A Active JP6358718B2 (ja) 2014-05-28 2015-03-19 Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置

Country Status (9)

Country Link
US (5) US10075738B2 (ja)
EP (2) EP3324629B1 (ja)
JP (2) JP6358718B2 (ja)
CN (2) CN108182672A (ja)
ES (2) ES2694858T3 (ja)
PL (1) PL3324629T3 (ja)
PT (1) PT3324629T (ja)
RU (2) RU2688249C2 (ja)
WO (1) WO2015180854A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065220A (ja) * 2018-10-19 2020-04-23 株式会社朋栄 Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法
JP2021529405A (ja) * 2018-07-05 2021-10-28 華為技術有限公司Huawei Technologies Co.,Ltd. ビデオ信号処理方法及び装置
US11354789B2 (en) 2018-09-03 2022-06-07 Canon Kabushiki Kaisha Image processing apparatus and control method thereof

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182672A (zh) 2014-05-28 2018-06-19 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
EP3163894B1 (en) * 2014-06-27 2020-08-19 Panasonic Intellectual Property Management Co., Ltd. Data output device, data output method, and data generation method
EP2961168A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for predicting image samples for encoding or decoding
JP6478499B2 (ja) * 2014-07-07 2019-03-06 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
CN105578016B (zh) * 2014-10-09 2021-01-12 中兴通讯股份有限公司 一种调整图像动态范围的方法及终端
US10607334B2 (en) * 2014-12-09 2020-03-31 Asml Netherlands B.V. Method and apparatus for image analysis
US10437157B2 (en) 2014-12-09 2019-10-08 Asml Netherlands B.V. Method and apparatus for image analysis
WO2016184532A1 (en) * 2015-05-18 2016-11-24 Telefonaktiebolaget Lm Ericsson (Publ) Methods, receiving device and sending device for managing a picture
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
US10880557B2 (en) * 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
EP3142002A1 (en) * 2015-09-09 2017-03-15 Red.Com, Inc. Motion video output for multiple displays
EP3169071B1 (en) * 2015-11-16 2020-01-29 InterDigital VC Holdings, Inc. Backward-compatible encoding of a hdr picture
US10728560B2 (en) * 2016-01-28 2020-07-28 Koninklijke Philips N.V. Encoding and decoding HDR videos
RU2614576C1 (ru) * 2016-03-11 2017-03-28 Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) Способ кодирования изображений на основе нелинейной формирующей системы
JP2019512953A (ja) 2016-03-14 2019-05-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ダイナミックレンジマッピングのための飽和処理仕様
GB2549696A (en) * 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
CN109845262B (zh) * 2016-05-04 2023-10-13 交互数字Vc控股公司 用于将高动态范围画面编码/解码为编码比特流的方法和装置
EP3242482A1 (en) * 2016-05-04 2017-11-08 Thomson Licensing Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
EP3242481A1 (en) * 2016-05-04 2017-11-08 Thomson Licensing Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
US10834400B1 (en) 2016-08-19 2020-11-10 Fastvdo Llc Enhancements of the AV1 video codec
WO2018035691A1 (zh) * 2016-08-22 2018-03-01 华为技术有限公司 用于图像处理的方法和装置
US11202050B2 (en) * 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
KR102554379B1 (ko) * 2016-10-31 2023-07-11 엘지디스플레이 주식회사 하이 다이나믹 레인지 영상 처리 방법 및 영상 처리 모듈과 그를 이용한 표시 장치
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
EP3367684A1 (en) * 2017-02-24 2018-08-29 Thomson Licensing Method and device for decoding a high-dynamic range image
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
CN106997744B (zh) * 2017-03-15 2020-06-05 Oppo广东移动通信有限公司 屏幕亮度的控制方法及控制装置
EP3399497A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
CN107343203B (zh) * 2017-05-22 2020-01-17 上海大学 基于open-exr图像的jpeg无损压缩方法
CN107103886B (zh) * 2017-06-08 2019-07-12 武汉华星光电技术有限公司 一种动态背光控制显示方法及装置
CN107277399B (zh) 2017-06-09 2020-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
CN110770787B (zh) * 2017-06-16 2023-04-07 杜比实验室特许公司 高效端到端单层逆向显示管理编码
CN109691116B (zh) * 2017-06-21 2022-04-19 松下知识产权经营株式会社 影像显示装置及影像显示方法
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
CN109427316B (zh) * 2017-08-21 2021-10-29 群创光电股份有限公司 显示器以及其操作方法
WO2019050972A2 (en) * 2017-09-06 2019-03-14 Dolby Laboratories Licensing Corporation TONAL CURVE OPTIMIZATION METHOD AND VIDEO ENCODER AND VIDEO DECODER THEREOF
US10609372B2 (en) 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
EP3493542A1 (en) * 2017-11-30 2019-06-05 Thomson Licensing Saturation control for high-dynamic range reconstruction
EP3496028A1 (en) * 2017-12-08 2019-06-12 Koninklijke Philips N.V. Improved high dynamic range video color remapping
EP3503019A1 (en) * 2017-12-21 2019-06-26 Thomson Licensing Improved inverse tone mapping method and corresponding device
WO2019199701A1 (en) 2018-04-09 2019-10-17 Dolby Laboratories Licensing Corporation Hdr image representations using neural network mappings
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
CN108986174A (zh) * 2018-06-06 2018-12-11 链家网(北京)科技有限公司 一种针对高动态范围跨图片的全局色调映射方法及***
EP3588964A1 (en) * 2018-06-26 2020-01-01 InterDigital VC Holdings, Inc. Metadata translation in hdr distribution
JP7145719B2 (ja) * 2018-07-28 2022-10-03 日本放送協会 映像信号変換装置及びプログラム
WO2020033573A1 (en) * 2018-08-10 2020-02-13 Dolby Laboratories Licensing Corporation Reducing banding artifacts in hdr imaging via adaptive sdr-to-hdr reshaping functions
GB2593327B (en) * 2018-10-09 2023-02-08 V Nova Int Ltd Colour conversion within a hierarchical coding scheme
CN109274985B (zh) * 2018-10-12 2020-04-28 腾讯科技(深圳)有限公司 视频转码方法、装置、计算机设备和存储介质
US10893296B2 (en) * 2018-10-26 2021-01-12 EMC IP Holding Company LLC Sensor data compression in a multi-sensor internet of things environment
GB2575134B (en) 2018-12-20 2021-03-31 Imagination Tech Ltd ASTC interpolation
GB2575135B (en) 2018-12-20 2021-03-24 Imagination Tech Ltd ASTC interpolation
EP3672267A1 (en) 2018-12-20 2020-06-24 InterDigital VC Holdings, Inc. Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media
CN113994668A (zh) 2019-02-01 2022-01-28 北京字节跳动网络技术有限公司 基于环路整形的滤波过程
KR20240005124A (ko) 2019-02-01 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 파라미터 세트들을 사용한 인-루프 재성형 정보의 시그널링
US10777167B2 (en) * 2019-02-05 2020-09-15 Sergey N. Bezryadin Color image display adaptation to ambient light
KR20210139272A (ko) * 2019-03-23 2021-11-22 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링 파라미터 세트들에 대한 제한들
CN110012332A (zh) * 2019-04-17 2019-07-12 深圳蓝普视讯科技有限公司 一种基于宽色域高动态范围HDR技术的物理10Bit信息采集播放***
CN113728624B (zh) * 2019-04-23 2023-11-14 杜比实验室特许公司 高动态范围图像的显示管理
US11037329B2 (en) * 2019-06-03 2021-06-15 Google Llc Encoding positional coordinates based on multiple channel color values
US11405582B2 (en) * 2019-06-28 2022-08-02 Meta Platforms, Inc. Preprocessing of high-dynamic-range video using a hybrid lookup table scheme
EP3764346A1 (en) * 2019-07-09 2021-01-13 Koninklijke Philips N.V. Adjustment of display optimization behaviour for hdr images
CN110570484B (zh) * 2019-08-12 2021-09-24 浙江大学 一种图像解耦表征下的文本指导图像上色方法
US11473971B2 (en) * 2019-09-27 2022-10-18 Apple Inc. Ambient headroom adaptation
CN112686809A (zh) 2019-10-18 2021-04-20 华为技术有限公司 处理高动态范围图像的方法和装置
DE112019007869T5 (de) * 2019-11-01 2022-09-15 LG Electronics Inc. Signalverarbeitungsvorrichtung und Bilderzeugungsvorrichtung damit
CN111476848B (zh) * 2020-03-31 2023-04-18 北京经纬恒润科技股份有限公司 一种视频流仿真方法及装置
CN111882498A (zh) * 2020-07-10 2020-11-03 网易(杭州)网络有限公司 图像处理方法、装置、电子设备及存储介质
CN112133249B (zh) * 2020-09-09 2021-11-30 深圳创维-Rgb电子有限公司 Oled显示校正方法、***及存储介质
US11330196B2 (en) * 2020-10-12 2022-05-10 Microsoft Technology Licensing, Llc Estimating illumination in an environment based on an image of a reference object
WO2023094880A1 (en) * 2021-11-29 2023-06-01 Weta Digital Limited Increasing dynamic range of a virtual production display
CN113850743B (zh) * 2021-11-30 2022-03-01 江苏游隼微电子有限公司 一种基于自适应参数的视频全局色调映射方法
CN114820350A (zh) * 2022-04-02 2022-07-29 北京广播电视台 逆色调映射***、方法及其神经网络***
CN114820373B (zh) * 2022-04-28 2023-04-25 电子科技大学 基于知识启发的单张图像重构hdr方法
EP4277281A1 (en) 2022-05-12 2023-11-15 Koninklijke Philips N.V. Hdr video reconstruction by converted tone mapping
EP4283459A1 (en) 2022-05-24 2023-11-29 Koninklijke Philips N.V. Mixing secondary graphics elements in hdr images
CN115601267B (zh) * 2022-10-31 2023-04-07 哈尔滨理工大学 一种具有局部细节补偿能力的全局色阶映射方法
CN117474816B (zh) * 2023-12-26 2024-03-12 中国科学院宁波材料技术与工程研究所 高动态范围图像色调映射方法、***及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014056679A1 (en) * 2012-10-08 2014-04-17 Koninklijke Philips N.V. Luminance changing image processing with color constraints

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4802222A (en) * 1983-12-12 1989-01-31 Sri International Data compression system and method for audio signals
US5146324A (en) * 1990-07-31 1992-09-08 Ampex Corporation Data compression using a feedforward quantization estimator
US5550541A (en) * 1994-04-01 1996-08-27 Dolby Laboratories Licensing Corporation Compact source coding tables for encoder/decoder system
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
GB0324905D0 (en) 2003-10-24 2003-11-26 Interbrew Sa Alcohol beverage appliance with gas connection
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7924731B2 (en) * 2004-11-15 2011-04-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for handling out-of-sequence packets in header decompression
US8804765B2 (en) * 2005-06-21 2014-08-12 Optis Wireless Technology, Llc Dynamic robust header compression
US7433514B2 (en) * 2005-07-13 2008-10-07 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
CN101371583B (zh) * 2006-01-23 2012-03-21 马普科技促进协会 编码/解码高动态范围图像的方法和设备
US7873212B2 (en) * 2006-01-24 2011-01-18 Nokia Corporation Compression of images for computer graphics
EP2098059B1 (en) * 2006-11-24 2011-02-23 Robert Bosch GmbH Process, apparatus and computer program for enhancing detail visibility in an input image
US7920749B1 (en) * 2006-12-20 2011-04-05 Nvidia Corporation Modified high dynamic range color decompression
US7742646B1 (en) * 2006-12-20 2010-06-22 Nvidia Corporation Modified high dynamic range color decompression
US9830691B2 (en) * 2007-08-03 2017-11-28 The University Of Akron Method for real-time implementable local tone mapping for high dynamic range images
JP2009159359A (ja) * 2007-12-27 2009-07-16 Samsung Techwin Co Ltd 動画像データ符号化装置、動画像データ復号化装置、動画像データ符号化方法、動画像データ復号化方法及びプログラム
CN102388612B (zh) * 2009-03-13 2014-10-08 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩
CN102422322B (zh) * 2009-05-11 2015-01-21 杜比实验室特许公司 用于在目标环境下在装置处再现来自源环境的图像的色貌的方法和设备
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
US8781248B2 (en) * 2010-01-28 2014-07-15 Stmicroelectronics Asia Pacific Pte. Ltd. Image details preservation and enhancement
WO2012004709A1 (en) * 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
JP2012058850A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置および方法、並びにプログラム
US8699801B2 (en) * 2010-11-26 2014-04-15 Agfa Healthcare Inc. Systems and methods for transmitting high dynamic range images
GB2500835B (en) * 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
TWI624182B (zh) 2011-04-15 2018-05-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
RU2616158C2 (ru) * 2011-04-28 2017-04-12 Конинклейке Филипс Н.В. Устройства и способы для кодирования и декодирования hdr-изображений
US10097822B2 (en) 2011-05-10 2018-10-09 Koninklijke Philips N.V. High dynamic range image signal generation and processing
US9769430B1 (en) * 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
US8576445B2 (en) * 2011-06-28 2013-11-05 Konica Minolta Laboratory U.S.A., Inc. Method for processing high dynamic range images using tone mapping to extended RGB space
EP2745507A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
EP2803190B1 (en) * 2012-01-09 2017-10-25 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for multiple layered video coding systems
US9076233B2 (en) * 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
JP6092690B2 (ja) * 2012-04-11 2017-03-08 キヤノン株式会社 撮像装置およびその制御方法
JP5873380B2 (ja) * 2012-04-11 2016-03-01 キヤノン株式会社 画像処理装置およびその制御方法
EP2873237B1 (en) * 2012-07-13 2022-03-30 Koninklijke Philips N.V. Improved hdr image decoding methods and devices
BR112014008513B1 (pt) * 2012-08-08 2021-08-17 Dolby Laboratories Licensing Corporation Método para codificar uma imagem hdr, dispositivo de circuito integrado e meio de armazenamento legível por processador não transitório
WO2014099320A1 (en) * 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
CN104995903B (zh) * 2013-02-21 2019-07-09 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
US8957984B2 (en) * 2013-06-30 2015-02-17 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processsing using multi-scale normalized cross-correlation
JP6368365B2 (ja) 2013-07-18 2018-08-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
CN103413285A (zh) * 2013-08-02 2013-11-27 北京工业大学 基于样本预测的hdr和hr图像重建方法
JP6546599B2 (ja) * 2014-02-26 2019-07-17 トムソン ライセンシングThomson Licensing Hdr画像を符号化及び復号する方法及び装置
CN108182672A (zh) * 2014-05-28 2018-06-19 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
US9479695B2 (en) * 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US10362337B2 (en) * 2014-08-08 2019-07-23 Koninklijke Philips N.V. Methods and apparatuses for encoding HDR images
CN110992914B (zh) * 2014-10-06 2022-07-01 三星电子株式会社 显示设备及控制该显示设备的方法
TWI498848B (zh) * 2014-10-13 2015-09-01 Quanta Comp Inc 多重曝光成像系統及其白平衡方法
CN107111980B (zh) * 2014-12-11 2021-03-09 皇家飞利浦有限公司 针对特定显示器优化高动态范围图像
EP3399497A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014056679A1 (en) * 2012-10-08 2014-04-17 Koninklijke Philips N.V. Luminance changing image processing with color constraints

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"High Dynamic Range video coding[online]", JCTVC-P JCTVC-P0159R1, JPN6019003739, 9 January 2014 (2014-01-09), ISSN: 0003972662 *
神納 貴生 TAKAO JINNO: "二種類のトーンマッピングを用いた三層HDR符号化に関する検討 A Stady on Three Layer HDR Coding Meth", 電子情報通信学会技術研究報告 VOL.111 NO.105 IEICE TECHNICAL REPORT, vol. 第111巻, JPN6019037917, 23 June 2011 (2011-06-23), JP, ISSN: 0004126445 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021529405A (ja) * 2018-07-05 2021-10-28 華為技術有限公司Huawei Technologies Co.,Ltd. ビデオ信号処理方法及び装置
JP7150127B2 (ja) 2018-07-05 2022-10-07 華為技術有限公司 ビデオ信号処理方法及び装置
US11750785B2 (en) 2018-07-05 2023-09-05 Huawei Technologies Co., Ltd. Video signal processing method and apparatus
US11354789B2 (en) 2018-09-03 2022-06-07 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
US11798143B2 (en) 2018-09-03 2023-10-24 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
JP2020065220A (ja) * 2018-10-19 2020-04-23 株式会社朋栄 Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法
JP7138935B2 (ja) 2018-10-19 2022-09-20 株式会社朋栄 Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法

Also Published As

Publication number Publication date
CN108182672A (zh) 2018-06-19
ES2744795T3 (es) 2020-02-26
RU2016150818A3 (ja) 2018-07-04
RU2016150818A (ru) 2018-07-03
CN106464892A (zh) 2017-02-22
RU2018108828A (ru) 2019-02-26
RU2688249C2 (ru) 2019-05-21
US20230188761A1 (en) 2023-06-15
US11368724B2 (en) 2022-06-21
US20200366943A1 (en) 2020-11-19
US11949921B2 (en) 2024-04-02
RU2667034C2 (ru) 2018-09-13
PT3324629T (pt) 2019-10-08
PL3324629T3 (pl) 2019-11-29
JP2017523621A (ja) 2017-08-17
CN106464892B (zh) 2019-07-02
ES2694858T3 (es) 2018-12-27
US20170078706A1 (en) 2017-03-16
US20180367819A1 (en) 2018-12-20
JP6358718B2 (ja) 2018-07-18
RU2018108828A3 (ja) 2019-03-06
US20200404343A1 (en) 2020-12-24
US10075738B2 (en) 2018-09-11
EP3149944A1 (en) 2017-04-05
JP6615251B2 (ja) 2019-12-04
US10779013B2 (en) 2020-09-15
EP3324629A1 (en) 2018-05-23
EP3149944B1 (en) 2018-08-22
US11533516B2 (en) 2022-12-20
WO2015180854A1 (en) 2015-12-03
EP3324629B1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
JP6615251B2 (ja) Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置
JP6596125B2 (ja) Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
US11928803B2 (en) Apparatus and method for dynamic range transforming of images
RU2589871C2 (ru) Устройства и способы кодирования и декодирования изображения hdr
US20240221135A1 (en) Display-Optimized HDR Video Contrast Adapation
EP4086844A1 (en) Display-optimized hdr video contrast adaptation
JP2024517242A (ja) ディスプレイに最適化された環境光hdrビデオ適応
JP2024517241A (ja) ディスプレイに最適化されたhdrビデオコントラスト適応
BR112016027461B1 (pt) Método de codificação de uma imagem de alta faixa dinâmica, codificador de imagem disposto para codificar uma imagem de alta faixa dinâmica, decodificador de imagem disposto para receber um sinal de imagem de alta faixa dinâmica, e, método de decodificação de um sinal de imagem de alta faixa dinâmica

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190207

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191105

R150 Certificate of patent or registration of utility model

Ref document number: 6615251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250