JP7483747B2 - ハイダイナミックレンジ画像のディスプレイ管理 - Google Patents
ハイダイナミックレンジ画像のディスプレイ管理 Download PDFInfo
- Publication number
- JP7483747B2 JP7483747B2 JP2021561004A JP2021561004A JP7483747B2 JP 7483747 B2 JP7483747 B2 JP 7483747B2 JP 2021561004 A JP2021561004 A JP 2021561004A JP 2021561004 A JP2021561004 A JP 2021561004A JP 7483747 B2 JP7483747 B2 JP 7483747B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- intensity
- generating
- pyramid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 46
- 244000063498 Spondias mombin Species 0.000 claims description 5
- 235000015127 Spondias tuberosa Nutrition 0.000 claims description 5
- 241001125929 Trisopterus luscus Species 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 10
- 229920006395 saturated elastomer Polymers 0.000 description 9
- 239000003086 colorant Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000000872 buffer Substances 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 235000019646 color tone Nutrition 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6077—Colour balance, e.g. colour cast correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
- G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Description
[関連出願の相互参照]
本特許出願は、それぞれが参照によりその全体が援用される、2019年4月23日に出願された米国仮特許出願第62/837,288号及び2019年11月20日に出願された米国仮特許出願第62/938,027号からの優先権の利益を主張する。
[技術分野]
本発明は、一般に画像に関する。より詳細には、本発明の実施例は、ハイダイナミックレンジ(HDR)画像及びビデオ信号のディスプレイ管理に関する。
本特許出願は、それぞれが参照によりその全体が援用される、2019年4月23日に出願された米国仮特許出願第62/837,288号及び2019年11月20日に出願された米国仮特許出願第62/938,027号からの優先権の利益を主張する。
[技術分野]
本発明は、一般に画像に関する。より詳細には、本発明の実施例は、ハイダイナミックレンジ(HDR)画像及びビデオ信号のディスプレイ管理に関する。
ここで利用されるように、“ダイナミックレンジ”(DR)という用語は、最も暗いグレイ(ブラック)から最も明るいホワイト(ハイライト)などの画像における強度範囲(例えば、ルミナンス、ルマ)を知覚する人間視覚系(HVS)の能力に関するものであってもよい。この意味において、DRは“シーン参照”強度に関する。DRはまた、特定の幅の強度範囲を適切に又はほぼレンダリングする表示デバイスの能力に関するものであってもよい。特定の意味がここでの説明における何れかのポイントにおいて特定の意義を有するよう明示的に指定されていない場合、当該用語は、例えば、互換的に何れかの意味で利用されてもよいことが推測されるべきである。
ここで利用されるように、ハイダイナミックレンジ(HDR)という用語は、人間視覚系(HVS)の大きさの14~15のオーダにわたるDR幅に関する。実際上、人間が強度範囲における広範な幅を同時に知覚しうるDRは、HDRに関してやや切り捨てられてもよい。ここで利用されるように、エンハンストダイナミックレンジ(EDR)又はビジュアルダイナミックレンジ(VDR)という用語は、目の動きを含む人間視覚系(HVS)によってシーン又は画像内で知覚可能なDRに個別に又は互換的に関するものであってもよく、シーン又は画像にわたるある明順応変更を可能にする。
実際上、画像は1つ以上のカラーコンポーネント(例えば、ルマY及びクロマCb,Cr)を有し、各カラーコンポーネントは、ピクセル毎にnビット(例えば、n=8)の精度によって表現される。例えば、ガンマルミナンス符号化を利用して、n≦8の画像(例えば、カラー24ビットJPEG画像)は、標準的なダイナミックレンジの画像とみなされる一方、n≧10の画像は、エンハンストダイナミックレンジの画像とみなされる。EDR及びHDR画像はまた、Industrial Light and Magicによって開発されたOpenEXRファイルフォーマットなどの高精度(例えば、16ビット)浮動小数点フォーマットを利用して格納及び配布されてもよい。
ここで利用されるように、“メタデータ”という用語は、符号化されたビットストリームの一部として送信され、デコーダが復号化された画像をレンダリングすることを支援する何れか任意の情報に関する。そのようなメタデータは、限定することなく、ここに説明されるものとして、カラー空間又はガマット情報、リファレンス表示パラメータ及び任意の信号パラメータ含んでもよい。
大部分の民生用デスクトップディスプレイは、200~300cd/m2又はnits(cd/m2)のルミナンスを現在サポートする。大部分の民生用HDTVは、1000nits(cd/m2)に達する新たなモデルにより300~500nitsの範囲となる。従って、そのような従来のディスプレイは、HDR又はEDRに関して標準ダイナミックレンジ(SDR)とまた呼ばれる下位ダイナミックレンジ(LDR)を代表する。HDRコンテンツの可用性がキャプチャ機器(例えば、カメラ)とHDRディスプレイ(例えば、Dolby LaboratoriesからのPRM-4200プロフェッショナルリファレンスモニタ)との双方の進歩によって拡大しているため、HDRコンテンツは、より高いダイナミックレンジ(例えば、1,000nitsから5,000nts以上など)をサポートするHDRディスプレイ上でカラーグレード及び表示されてもよい。一般に、限定することなく、本開示の方法はSDRより高い何れかのダイナミックレンジに関する。
ここで利用されるように、“ディスプレイ管理”という用語は、ターゲットディスプレイに対してピクチャをレンダリングするための受信機に対して実行されるプロセスを指す。例えば、限定することなく、そのようなプロセスは、トーンマッピング、ガマットマッピング、カラー管理、フレームレート変換などを含んでもよい。
ハイダイナミックレンジ(HDR)コンテンツオーサリングは、この技術は従来のフォーマットより現実的で自然な画像を提供するため、現在広く広がりつつある。しかしながら、ターゲットディスプレイの特性は、オリジナルコンテンツをカラーグレードするのに利用されたリファレンスディスプレイの特性に一致しないかもしれない。本発明者によって理解されるように、既存の表示方式を改善するため、HDR画像のディスプレイ管理のための改良された技術が開発される。
このセクションにおいて説明されるアプローチは、追及可能であるが、以前に想到又は追及されていないアプローチである。従って、特段の断りがない場合、このセクションにおいて説明されるアプローチの何れも単にこのセクションに含めることによって従来技術として認められることは想定されるべきでない。同様に、1つ以上のアプローチに関して特定される問題は、特段の断りがない場合、このセクションに基づいて何れかの従来技術において認識されていると想定すべきでない。
本発明の実施例は、同様の参照番号が同様の要素を指す添付した図面において限定的でなく例示的に示される。
ビデオ配信パイプラインのための一例となるプロセスを示す。
本発明の実施例によるディスプレイ管理のための一例となるアーキテクチャを示す。
本発明の実施例によるディスプレイ管理のための一例となるアーキテクチャを示す。
本発明の実施例によるフレーム解析部の一例となる処理パイプラインを示す。
本発明の実施例による図3のフレーム解析部のカラー変換処理パイプラインをより詳細に示す。
本発明の実施例によるディスプレイマッピングの一例となる処理パイプラインを示す。
本発明の実施例によるカラーボリュームマッピングの一例となる処理パイプラインを示す。
本発明の実施例によるカラーボリュームマッピングの一例となる処理パイプラインを示す。
本発明の実施例によるカラートリムを調整する一例となる処理パイプラインを示す。
実施例によるアップサンプリングされたピラミッド画像を生成する一例となるプロセスを示す。
実施例によるベースレイヤ画像を生成する具体例を示す。
実施例によるエッジフィルタリングの具体例を示す。
HDR画像のディスプレイ管理の方法がここに説明される。以下の説明では、本発明の完全な理解を提供するため、説明の目的のために多数の具体的な詳細が提供される。しかしながら、本発明はこれらの具体的な詳細なく実施されてもよいことは明らかであろう。他の具体例では、周知の構成及びデバイスは、本発明を不要に閉塞、不明化又は不明瞭化することを回避するため、網羅的な詳細について説明しない。
[概要]
ここに説明される実施例は、HDR画像のディスプレイ管理の方法に関する。一実施例では、プロセッサは、第1のダイナミックレンジと第1の空間解像度とにおける第1の画像(507)を受信し、第1の画像は、強度ピクセル(507-I)とクロマピクセル(507-C)とを含む。それは、第1の画像の強度ピクセルにトーンマッピング機能(615)を適用し、ターゲットダイナミックレンジにおけるトーンマッピングされた画像の対応する強度ピクセル(I’)を生成し、ターゲットダイナミックレンジは、第1のダイナミックレンジと異なる。それは、第1の画像におけるクロマピクセルの値に基づいて第1の画像のピクセルの飽和メトリックを計算する。それは、飽和マッピング強度(saturation-mapping-intensity:SMI)スケーラを計算し(660)、SMIスケーラは、第1の画像とトーンマッピングされた画像とにおける強度の対応するピクセルの関数に従って第1の画像におけるクロマピクセルのピクセル値を調整する。それは、第1の画像におけるクロマピクセルの飽和メトリックの第1の関数に基づいてトーンマッピングされた画像における強度ピクセルのトーンマッピング飽和(TMS)スケーラを計算する(640)。それは、第1の画像におけるクロマピクセルの飽和メトリックの第2の関数に基づいて第1の画像におけるクロマピクセルの飽和マッピング飽和スケーラ(SMS)を計算する(645)。それは、TMSスケーラをトーンマッピングされた画像の強度ピクセルに適用し、出力強度ピクセル(I”)を生成する。それは、SMS及びSMIスケーラと第1の画像のクロマピクセルとを乗算し、中間クロマピクセルを生成し、出力強度ピクセルと出力クロマピクセルとを含む出力画像(652)を生成し、出力クロマピクセルは、中間クロマピクセルの関数として生成される中間クロマピクセル又はクロマピクセルの何れかを含む。
ここに説明される実施例は、HDR画像のディスプレイ管理の方法に関する。一実施例では、プロセッサは、第1のダイナミックレンジと第1の空間解像度とにおける第1の画像(507)を受信し、第1の画像は、強度ピクセル(507-I)とクロマピクセル(507-C)とを含む。それは、第1の画像の強度ピクセルにトーンマッピング機能(615)を適用し、ターゲットダイナミックレンジにおけるトーンマッピングされた画像の対応する強度ピクセル(I’)を生成し、ターゲットダイナミックレンジは、第1のダイナミックレンジと異なる。それは、第1の画像におけるクロマピクセルの値に基づいて第1の画像のピクセルの飽和メトリックを計算する。それは、飽和マッピング強度(saturation-mapping-intensity:SMI)スケーラを計算し(660)、SMIスケーラは、第1の画像とトーンマッピングされた画像とにおける強度の対応するピクセルの関数に従って第1の画像におけるクロマピクセルのピクセル値を調整する。それは、第1の画像におけるクロマピクセルの飽和メトリックの第1の関数に基づいてトーンマッピングされた画像における強度ピクセルのトーンマッピング飽和(TMS)スケーラを計算する(640)。それは、第1の画像におけるクロマピクセルの飽和メトリックの第2の関数に基づいて第1の画像におけるクロマピクセルの飽和マッピング飽和スケーラ(SMS)を計算する(645)。それは、TMSスケーラをトーンマッピングされた画像の強度ピクセルに適用し、出力強度ピクセル(I”)を生成する。それは、SMS及びSMIスケーラと第1の画像のクロマピクセルとを乗算し、中間クロマピクセルを生成し、出力強度ピクセルと出力クロマピクセルとを含む出力画像(652)を生成し、出力クロマピクセルは、中間クロマピクセルの関数として生成される中間クロマピクセル又はクロマピクセルの何れかを含む。
[ディスプレイ管理]
HDR信号のビデオ符号化
図1は、ビデオキャプチャからビデオコンテンツディスプレイへの各種段階を示す従来のビデオ配信パイプライン(100)の一例となるプロセスを示す。ビデオフレームシーケンス(102)は、画像生成ブロック(105)を利用してキャプチャ又は生成される。ビデオフレーム(102)は、ビデオデータ(107)を提供するため、コンピュータ(例えば、コンピュータアニメーションを利用して)によってデジタルにキャプチャ(例えば、デジタルカメラによって)又は生成されてもよい。あるいは、ビデオフレーム(102)は、フィルムカメラによってフィルム上にキャプチャされてもよい。フィルムは、ビデオデータ(107)を提供するため、デジタルフォーマットに変換される。制作段階(110)では、ビデオデータ(107)は、ビデオ制作ストリーム(112)を提供するため編集される。
HDR信号のビデオ符号化
図1は、ビデオキャプチャからビデオコンテンツディスプレイへの各種段階を示す従来のビデオ配信パイプライン(100)の一例となるプロセスを示す。ビデオフレームシーケンス(102)は、画像生成ブロック(105)を利用してキャプチャ又は生成される。ビデオフレーム(102)は、ビデオデータ(107)を提供するため、コンピュータ(例えば、コンピュータアニメーションを利用して)によってデジタルにキャプチャ(例えば、デジタルカメラによって)又は生成されてもよい。あるいは、ビデオフレーム(102)は、フィルムカメラによってフィルム上にキャプチャされてもよい。フィルムは、ビデオデータ(107)を提供するため、デジタルフォーマットに変換される。制作段階(110)では、ビデオデータ(107)は、ビデオ制作ストリーム(112)を提供するため編集される。
制作ストリーム(112)のビデオデータは、その後、後制作編集のためのブロック(115)においてプロセッサに提供される。後制作編集ブロック(115)は、画像の特定のエリアにおけるカラー又は輝度を調整又は修正し、ビデオ作成者の創作意図に従って画質を向上させるか、又は画像の特定の外観を実現することを含んでもよい。これは、“カラータイミング”又は“カラーグレーディング”と呼ばれることがある。他の編集(例えば、シーン選択及びシーケンシング、画像クロッピング、コンピュータにより生成される視覚的特殊効果の付加など)がブロック(115)において実行され、配信用の制作の最終バージョン(117)を生成してもよい。後制作編集(115)の間、ビデオ画像はリファレンスディスプレイ(125)上で閲覧される。
後制作(115)に続いて、最終制作(117)のビデオデータは、テレビセット、セットトップボックス、映画館などの復号化及び再生デバイスへのダウンストリームを配信するため符号化ブロック(120)に配信されてもよい。いくつかの実施例では、符号化ブロック(120)は、符号化されたビットストリーム(122)を生成する、ATSC、DVB、DVD、Blu-Ray及び他の配信フォーマットによって規定されるようなものなどのオーディオ及びビデオエンコーダを含んでもよい。受信機では、符号化されたビットストリーム(122)は、信号(117)の同一又は近い近似を表す復号化された信号(132)を生成するため、復号化ユニット(130)によって復号化される。受信機は、リファレンスディスプレイ(125)と全く異なる特性を有しうるターゲットディスプレイ(140)に付属されてもよい。この場合、ディスプレイ管理ブロック(135)は、ディスプレイにマッピングされた信号(137)を生成することによって、復号化された信号(132)のダイナミックレンジをターゲットディスプレイ(140)の特性にマッピングするのに利用されてもよい。
ディスプレイ管理パイプライン
図2A及び2Bは、実施例によるディスプレイ管理のための一例となるアーキテクチャを示す。図2Aに示されるように、入力ビデオ(132)は、ビデオデコーダ(130)から受信されるビデオ、及び/又はGPU(Graphical Processing Unit)(すなわち、セットトップボックスから)及び/又は他のビデオ入力(すなわち、TVのHDMI(登録商標)ポートからセットトップボックス、GPUなどから)から受信されるビデオを含んでもよい。入力ビデオ(132)は、解析器(205)によって処理され、それの出力は、フレームバッファ(220)に格納されてもよい。以降のセクションにおいてより詳細に説明されるように、解析器は、フレームに関する入力をフレームベースで解析し、アーキテクチャの以降の段階において利用されるメタデータ、統計データ又は他のビデオ関連データを生成してもよい。解析器の出力はまた、画像ピラミッド(224)を生成するピラミッドダウンサンプリングユニット(230)(以降においてより詳細に説明される)によって処理されてもよい。解析器はまた、フレームバッファに提供される強度専用信号(207)を生成してもよい。
図2A及び2Bは、実施例によるディスプレイ管理のための一例となるアーキテクチャを示す。図2Aに示されるように、入力ビデオ(132)は、ビデオデコーダ(130)から受信されるビデオ、及び/又はGPU(Graphical Processing Unit)(すなわち、セットトップボックスから)及び/又は他のビデオ入力(すなわち、TVのHDMI(登録商標)ポートからセットトップボックス、GPUなどから)から受信されるビデオを含んでもよい。入力ビデオ(132)は、解析器(205)によって処理され、それの出力は、フレームバッファ(220)に格納されてもよい。以降のセクションにおいてより詳細に説明されるように、解析器は、フレームに関する入力をフレームベースで解析し、アーキテクチャの以降の段階において利用されるメタデータ、統計データ又は他のビデオ関連データを生成してもよい。解析器の出力はまた、画像ピラミッド(224)を生成するピラミッドダウンサンプリングユニット(230)(以降においてより詳細に説明される)によって処理されてもよい。解析器はまた、フレームバッファに提供される強度専用信号(207)を生成してもよい。
図2Bに示されるように、フレームバッファからの入力ビデオ及びグラフィックス(226)は、3つのビデオパイプライン、すなわち、メインビデオパイプライン、任意的なPIP(Picture-In-Picture)パイプライン及び任意的なグラフィックスパイプラインによって処理されてもよい。メインビデオパイプラインは、ピラミッドアップサンプラ部(235)を含み、ディスプレイマッピング部(210)、スケーリング回路、ノイズ除去部及びカラー管理部などの処理ブロックを含んでもよい。同様に、PIPパイプラインは、それ自体のディスプレイマッピング(212)(典型的には、ディスプレイマッピング210のサブセット)、スケーリング及びフレームレート変換を含んでもよい。最終的に、グラフィックスパイプラインは、ディスプレイマッピング(212)及びスケーリングを含んでもよい。3つ全てのパイプラインの出力は、合成ビデオ信号250を生成するため、合成部(245)によって一緒に合成され、付加的なカラー管理及び後処理(図示せず)の後、ターゲットディスプレイ(図示せず)のパネルにわたされる。全体的なアーキテクチャは、ディスプレイ管理制御レイヤ(215)によって制御されてもよい。追加的な詳細が次に提供される。
解析部
図3に示されるように、解析部(205)は、フレーム毎に入力ソースフレームを解析し、
・フレームの最小、中間、最大メタデータ値(310)(L1メタデータとしても参照されうる)
・時間フィルタリングされるL1メタデータなどのグローバル調光に関するメタデータ(310)(L4メタデータとしても参照されうる)
・強度データ(207)及び強度ヒストグラム(320)
を含む各種出力を生成する。
図3に示されるように、解析部(205)は、フレーム毎に入力ソースフレームを解析し、
・フレームの最小、中間、最大メタデータ値(310)(L1メタデータとしても参照されうる)
・時間フィルタリングされるL1メタデータなどのグローバル調光に関するメタデータ(310)(L4メタデータとしても参照されうる)
・強度データ(207)及び強度ヒストグラム(320)
を含む各種出力を生成する。
解析器はまた、ピラミッドダウンサンプリング部(230)と共に、精度マッピング又はピラミッドフィルタリングメタデータ(224)としても参照される入力フレーム(132)のピラミッド表現に関するメタデータを生成してもよい。
実施例では、解析器は、計算複雑さを低減するため、入力フレームの低減された解像度により動作してもよい。例えば、実施例では、解析器は、2Dスケーラ(260)によって生成される1024×576以下の解像度でサブサンプリングされたデータに対してのみ動作してもよい。
図4は、解析部に関する付加的な詳細を示す。図4に示されるように、ビデオ入力(402-a,402-b又は402-c)は、全ての入力フォーマットをより低い解像度の4:4:4表現(例えば、1024×576以下)に変換するダウンサンプリング部405(例えば、2Dスケーラ260を利用することによって)によってダウンサンプリングされる。実施例では、ダウンサンプリング部(405)は、デコーダにおいて利用可能であってもよい何れかのダウンスケーリングハードウェアを利用してもよい。ダウンサンプリング(405)に続いて、いくつかのカラー変換ステージが、入力カラーフォーマットをICtCpカラーフォーマットに変換する。そのようなステージは、
・入力フォーマット(例えば、ICtCp、YCbCr、YUVなど)から非リニアRGBへの変換(410)
・非リニアRGBからリニアRGBへの変換(415)
・リニアRGBからリニアLMSへの変換(420)
・リニアLMSから非リニアLMSへの変換(425)
・非リニアLMSからICtCpのIコンポーネント(430)
・第1のリニアRGB表現から第2のリニアRGB表現(435)
・リニアRGBから非リニアRGBへの変換(440)
を含む。
・入力フォーマット(例えば、ICtCp、YCbCr、YUVなど)から非リニアRGBへの変換(410)
・非リニアRGBからリニアRGBへの変換(415)
・リニアRGBからリニアLMSへの変換(420)
・リニアLMSから非リニアLMSへの変換(425)
・非リニアLMSからICtCpのIコンポーネント(430)
・第1のリニアRGB表現から第2のリニアRGB表現(435)
・リニアRGBから非リニアRGBへの変換(440)
を含む。
入力カラーフォーマットに応じて、これらのステージの1つ以上がスキップされてもよい。PQ符号化データとHLG符号化データとの双方のカラー空間の間のカラー変換の具体例は、参照によりその全体がここに援用される、ITUによるRec.BT.2100,“Image parameter values for high dynamic range television for use in production and international programme exchange”に見つけられてもよい。
リニアRGB値(437)及び非リニアRGB値442が与えられると、メタデータ計算ブロック445は、フレームのピクセル最小ピクセル値(MinPixel)、最大ピクセル値(MaxPixel)、平均ピクセル値(MeanPixel)及び標準偏差(StdPixel)などの各種メタデータ値と共に、ディスプレイ管理における以降のステージに必要とされる付加的なメタデータ値を生成する。例えば、擬似コードを利用して、以下のコードが、これらのメタデータ値を生成するのに利用されてもよい。
これらメタデータが与えられると、時間フィルタ(450)は、MinPixel、MeanPixel、MaxPixel及びStdPixelをフィルタリングして、フィルタリングされたメタデータ値(452)を生成する。このような時間フィルタリングは、Farrellらによる米国特許第10,242,627号“Backlight control and display mapping for high dynamic range images”に記載されるように、シーン変更を考慮し、メタデータ値の突然の変化を限定し、これにより、特にディスプレイ管理が周囲の環境光を考慮する際、不良なディスプレイ出力を生じさせうる。一例として、実施例では、平均及び標準偏差メタデータに対する時間フィルタリングは、以下のように表現されうる。
ただし、FPSは入力信号のフレームレート(例えば、30fps)を示し、L4Alphaはフィルタリングパラメータを示し、CLAMP(x,min,max)関数は、
などのminとmaxとの間のxの値を制限する。
強度(I)データ(207)が与えられると、ヒストグラム計算部455は、それらのヒストグラム457を計算する。
ピラミッドダウンサンプリング
図2Aに示されるように、実施例は、改良されたトーンマッピングのため以降において利用される入力フレームのピラミッド表現(224)を生成するピラミッドダウンサンプリング部230を含む。いくつかの実施例では、ピラミッドのレイヤは、メモリ帯域幅を低減するため、スキップされてもよい。例えば、4K入力画像によると、第1のレイヤ(すなわち、2K解像度における)はスキップされてもよい。その後、アップサンプリングの間、1/4解像度画像が単に2回2倍されてもよい。例えば、4K入力が与えられると、実施例では、ピラミッドは、以下のレイヤ、1024×576、512×288、256×144、128×72、64×36、32×18及び16×9を生成してもよい。同様に、8K入力画像については、1/2解像度レイヤと1/4解像度レイヤとの双方がスキップされてもよい。これは、入力画像サイズにかかわらず、ピラミッドの以降のレイヤは同じサイズを有することを保証する。
図2Aに示されるように、実施例は、改良されたトーンマッピングのため以降において利用される入力フレームのピラミッド表現(224)を生成するピラミッドダウンサンプリング部230を含む。いくつかの実施例では、ピラミッドのレイヤは、メモリ帯域幅を低減するため、スキップされてもよい。例えば、4K入力画像によると、第1のレイヤ(すなわち、2K解像度における)はスキップされてもよい。その後、アップサンプリングの間、1/4解像度画像が単に2回2倍されてもよい。例えば、4K入力が与えられると、実施例では、ピラミッドは、以下のレイヤ、1024×576、512×288、256×144、128×72、64×36、32×18及び16×9を生成してもよい。同様に、8K入力画像については、1/2解像度レイヤと1/4解像度レイヤとの双方がスキップされてもよい。これは、入力画像サイズにかかわらず、ピラミッドの以降のレイヤは同じサイズを有することを保証する。
ピラミッドがサブサンプリングファクタ2,4,8などを用いてサブサンプリングに関して説明されるが、他のサブサンプリングファクタが、一般性を失うことなく利用されてもよい。
一例として、ピラミッドを生成する際、第nピラミッドレイヤ(例えば、n=2~7)における第kラインが、前のレイヤにおけるライン2*k及び2*k-1の適切なフィルタリングによって生成される。実施例では、そのようなフィルタリングは、分離可能なローパス2×2フィルタ(例えば、フィルタ係数[1 1]/2による)又は分離可能な4×4ローパスフィルタ(例えば、フィルタ係数[1 3 3 1]/8による)の何れかを利用して実行される。4×4フィルタは、ピラミッドレベル間のより良好なアライメントを生じさせるが、追加的なラインバッファを必要とする。他の実施例では、例えば、4タップ水平フィルタ及び2タップ垂直フィルタ、又はその逆などの水平方向と垂直方向とにおいて異なるフィルタを適用してもよい。
ピラミッドの第1のレベル(例えば、1024×576における)を計算する前に、入力ICtCp画像(507)が、
・最小から最大のピラミッドレベルまでの全ての空間次元が2によって分割可能であることを保証する
・指定されたROI(Region Of Interest)を考慮してボーダピクセルを複製する
・各種サイズ又はアスペクト比の入力画像を考慮してボーダピクセルを複製する
ためにパディングされてもよい。
・最小から最大のピラミッドレベルまでの全ての空間次元が2によって分割可能であることを保証する
・指定されたROI(Region Of Interest)を考慮してボーダピクセルを複製する
・各種サイズ又はアスペクト比の入力画像を考慮してボーダピクセルを複製する
ためにパディングされてもよい。
ピラミッドアップサンプリング
ピラミッドアップサンプラ(235)は、ダウンサンプリングされたピラミッドデータ(224-1,224-2,・・・,224-7)を受信し、各レイヤにおいてエッジアウェア(edge-aware)アップサンプリングフィルタを利用して、それの元の解像度における元の画像を再構成する。ピラミッドの最小レベルは、まずアップサンプリングされ、その後、更なるレベルが最高のピラミッドレベルの解像度までアップサンプリングされる。7つのレイヤを備えるピラミッドに対するプロセス全体が、図7Aに示される。
ピラミッドアップサンプラ(235)は、ダウンサンプリングされたピラミッドデータ(224-1,224-2,・・・,224-7)を受信し、各レイヤにおいてエッジアウェア(edge-aware)アップサンプリングフィルタを利用して、それの元の解像度における元の画像を再構成する。ピラミッドの最小レベルは、まずアップサンプリングされ、その後、更なるレベルが最高のピラミッドレベルの解像度までアップサンプリングされる。7つのレイヤを備えるピラミッドに対するプロセス全体が、図7Aに示される。
レイヤiにおけるピラミッド画像をP(i)として示す。最も低い解像度レベルからスタートして(例えば、i=7)、最も低い解像度ピラミッド画像(例えば、P(7))が、Ima(7)及びImb(7)として示される2つの係数“画像”を生成するエッジ保存フィルタ(715)に提供される。次に、ImaとImbとの双方が2の係数によってアップサンプリングされ、アップサンプリングされた係数画像ImaU(7)及びImb(7)を生成する(720-7)。
次のレイヤi=6において、ピラミッドのP(6)レイヤが、アップサンプリングされた係数画像ImaU(7)及びImb(7)と合成され、
の画像を生成し、画像P(6)と一緒にエッジアップサンプリングフィルタに提供され、係数“画像”Ima(6)及びImb(6)を生成する。次に、Ima(6)及びImb(6)は、2の係数によってアップサンプリングされ、アップサンプリングされた係数画像ImaU(6)及びImbU(6)を生成する(720-6)。同じプロセスがその他のピラミッドレイヤに対して続けられる。一般に、i=7,6,5,・・・,2に対して、
であり、ただし、係数画像と画像との乗算演算は、ピクセル毎の対応するピクセルの乗算に対応する。例えば、ピクセル位置(m,n)において、W(i)×H(i)のサイズのピラミッドレベルiについて、m=1,2,・・・,W(i-1)及びn=1,2,・・・,H(i-1)に対して、
である。
ピラミッドの第2レベル(i=2)の処理後、S(1)及びP(1)が与えられると、エッジフィルタは、2つのパラメータ画像Ima(1)及びImb(1)を生成する(710)。4K画像を生成するため、Ima(1)及びImb(1)は、2によってアップスケーリング可能である。8K画像を生成するため、Ima(1)及びImb(1)は、4によってアップスケーリング可能である。図7Bに示されるように、入力ビデオの強度画像(I)と合成される2つのアップスケーリングされた係数画像(ImaU(1)及びImbU(1))(712)は、
としてフィルタリングされたベースレイヤ画像を生成するのに利用されてもよい(730)。後述されるように、このフィルタリングされたベースレイヤ画像は、最終的な出力画像を生成するため、カラーボリュームマッピングに対して利用されてもよい。
一般化すると、Nレイヤピクチャ(例えば、P(1)からP(N))によるピラミッドが与えられると、係数画像Ima(1)及びImb(1)を生成することは、
エッジフィルタと、最小の空間解像度によるNレイヤピラミッド画像P(N)とを利用してIma(N)及びImb(N)を生成することと、
(N-1)レイヤの空間解像度に一致するように、Ima(N)及びImb(N)をアップスケーリングすることによってImaU(N)及びImbU(N)を生成することと、
を計算することと、
エッジフィルタと、S(1)及びP(1)を利用してIma(1)及びImb(1)を生成することと、
を含む。
エッジフィルタと、最小の空間解像度によるNレイヤピラミッド画像P(N)とを利用してIma(N)及びImb(N)を生成することと、
(N-1)レイヤの空間解像度に一致するように、Ima(N)及びImb(N)をアップスケーリングすることによってImaU(N)及びImbU(N)を生成することと、
エッジフィルタと、S(1)及びP(1)を利用してIma(1)及びImb(1)を生成することと、
を含む。
図7Cは、フィルタリングされたデータS(i)、ピラミッドレイヤ画像P(i)及びピラミッドウェイトPW(i)(メタデータを介し提供される)が与えられると、上位のピラミッドレイヤにおいてエッジを保持するのに利用される2つの係数マトリックスIma(i)及びImb(i)を生成するエッジフィルタ(715)内の処理をより詳細に示す。最小の空間解像度におけるピラミッドレイヤNに対して、例えば、N=7,S(N)=P(N)であることに留意されたい。
図7Cに示されるように、S(i),P(i),P2(i)及びP(i)*S(i)の各入力がまず、H=[1 2 1]/4などの3×3の分離可能なローパスフィルタを利用して、水平方向及び垂直方向に畳み込まれる。それらの対応する出力は、Sout,Pout,P2out及びPSoutとして示すことができる。これらの信号は各レイヤに対して固有である一方、簡単化のため、インデックスiは使用されない。そして、図7Cに示されるように、
ディスプレイマッピング部
リファレンスディスプレイ(例えば、125)とターゲットディスプレイ(例えば、140)とにレンダリングされる入力画像が与えられると、ディスプレイマッピング部の役割は、ターゲットディスプレイの特徴をフル活用するが、また元の画像の芸術的意図を保存するターゲット画像のための出力画像を生成することである。
リファレンスディスプレイ(例えば、125)とターゲットディスプレイ(例えば、140)とにレンダリングされる入力画像が与えられると、ディスプレイマッピング部の役割は、ターゲットディスプレイの特徴をフル活用するが、また元の画像の芸術的意図を保存するターゲット画像のための出力画像を生成することである。
図5は、実施例によるディスプレイマッピング部の主要なコンポーネントの一例となるブロック図を示す。ディスプレイマッピング部への入力は、ビデオ画像データ及びメタデータ(502)、ターゲットディスプレイの特性及び任意的なユーザ嗜好に関する情報(504)、ピラミッドのレイヤ1からのエッジフィルタ係数及び入力画像(例えば、224)のピラミッド表現に関する任意的な精度マッピングデータ(710)を含み、これらは、ベースレイヤ生成部(750)において、上述され、また図7Bに示されるようなベースレイヤ画像(730)を生成することによってトーンマッピング及びカラーボリュームマッピング処理を改善するのに利用可能である。これらの入力が与えられると、ディスプレイマッピング部(500)は、適切なトーンマッピング及び/又はカラーマッピング(510)によってマッピングされた画像(522)を生成する。
実施例では、限定することなく、トーンマッピング及びカラーマッピング(510)に関する処理は、ICtCpカラー空間又はITPカラー空間において実行されてもよい。入力(502)及び所望される出力(522)のカラーフォーマットに依存して、ICtCpカラー空間における処理は、任意的な入力空間変換(505)及び出力カラー変換(520)を必要としてもよい。
例えば、入力カラー変換(505)に対して、図4に示されるものと同じカラー変換ステップに従ってもよい。例えば、YCbCrからICtCpカラー変換は、以下のステップを適用してもよい。
・YUVから非リニアRGB’(410)
・非リニアRGB’からリニアRGB(415)
・リニアRGBからリニアLMS(420)
・リニアLMSから非リニアLMS’(425)
・非リニアLMS’からICtCp(507)
・YUVから非リニアRGB’(410)
・非リニアRGB’からリニアRGB(415)
・リニアRGBからリニアLMS(420)
・リニアLMSから非リニアLMS’(425)
・非リニアLMS’からICtCp(507)
出力カラー変換に対して、一例として、以下の処理ステップが続く。
・ICtCpから非リニアLMS’
・非リニアLMS’からリニアLMS
・リニアLMSからリニアRGB(522)
・リニアRGBから非リニアRGB’(非リニアRGB’は、非リニアRGB’入力を必要とするデバイスに利用可能である)
・YCbCr入力を必要とするデバイスに対する非リニアRGB’からYUV(又はYCbCr)
一例として、Rec.BT.2100は、PQ符号化データとHLG符号化データとの双方のカラーフォーマット間の推奨されるカラー変換の具体例を提供する。
・ICtCpから非リニアLMS’
・非リニアLMS’からリニアLMS
・リニアLMSからリニアRGB(522)
・リニアRGBから非リニアRGB’(非リニアRGB’は、非リニアRGB’入力を必要とするデバイスに利用可能である)
・YCbCr入力を必要とするデバイスに対する非リニアRGB’からYUV(又はYCbCr)
一例として、Rec.BT.2100は、PQ符号化データとHLG符号化データとの双方のカラーフォーマット間の推奨されるカラー変換の具体例を提供する。
いくつかの実施例では、ICtCpにおけるIコンポーネントが[0,1]の範囲内にあって、Ct及びCpが[-0.5,0.5]の範囲内にあることが好ましい。入力されるICtCp値がこれらの範囲外にある場合、それらは、シンプルなシフト及びスケーリング処理を利用してこれらの範囲に変換できる。例えば、実施例では、処理は“ITP”カラー空間において実行されてもよい。ITP空間は、オフセット及びスケーリング処理を除き、ICtCpカラー空間に大変類似しており、例えば、Ctコンポーネントはより効率的な内部表現に対して2だけスケーリングされる。
ピラミッドフィルタリング
いくつかの実施例では、以降においてより詳細に説明されるように、カラーボリュームマッピングブロック(例えば、510)内のディスプレイトーンマッピングは更に、入力画像のローカルコントラスト及び詳細情報を考慮することによって改良されうる。例えば、フィルタリングされた強度画像は、画像を2つのレイヤ、すなわち、フィルタリングされたベースレイヤと詳細レイヤとに分割するのに利用される。トーンマッピング曲線をフィルタリングされたベースレイヤに適用し、その後、詳細レイヤを結果に加えることによって、画像の元のコントラストはグローバルと共にローカルにも保存可能である。
いくつかの実施例では、以降においてより詳細に説明されるように、カラーボリュームマッピングブロック(例えば、510)内のディスプレイトーンマッピングは更に、入力画像のローカルコントラスト及び詳細情報を考慮することによって改良されうる。例えば、フィルタリングされた強度画像は、画像を2つのレイヤ、すなわち、フィルタリングされたベースレイヤと詳細レイヤとに分割するのに利用される。トーンマッピング曲線をフィルタリングされたベースレイヤに適用し、その後、詳細レイヤを結果に加えることによって、画像の元のコントラストはグローバルと共にローカルにも保存可能である。
実施例では、これは2段階の処理として実行可能である。
a)マッピングをガイドするためベースレイヤ(BL)を生成すること
b)トーンマッピングを実行すること
a)マッピングをガイドするためベースレイヤ(BL)を生成すること
b)トーンマッピングを実行すること
実施例では、生成されるベースレイヤは、元の画像の空間的にぼかされエッジ保存されたバージョンを表す。すなわち、それは重要なエッジを維持するが、より精細な詳細をぼやかす。より詳細には、BL画像は、
・より低い解像度のレイヤを有する画像ピラミッドを生成し、各レイヤを保存すること
・最も低い解像度のレイヤからスタートして、上位レイヤをアップサンプリングしてベースレイヤを生成すること
を含んでもよい。画像ピラミッド及びベースレイヤ画像を生成するための一例となる実施例は、ピラミッドダウンサンプリング(230)及びピラミッドアップサンプリング(235)の一部としてすでに説明された。
・より低い解像度のレイヤを有する画像ピラミッドを生成し、各レイヤを保存すること
・最も低い解像度のレイヤからスタートして、上位レイヤをアップサンプリングしてベースレイヤを生成すること
を含んでもよい。画像ピラミッド及びベースレイヤ画像を生成するための一例となる実施例は、ピラミッドダウンサンプリング(230)及びピラミッドアップサンプリング(235)の一部としてすでに説明された。
カラーボリュームマッピング
図6A及び6Bは、実施例によるカラーボリュームマッピングの一例となる処理パイプラインを示す。カラーボリュームマッピングブロックの目的は、指定されたターゲットディスプレイ上に提示するための強度とカラーとの双方の範囲と視聴環境とを調整することである。本発明の実施例は、従来のディスプレイ管理技術に対して任意的なピラミッドフィルタリング処理の追加によって構成し、上述される新たな“ピラミッドフィルタリング”処理を生じさせる。
図6A及び6Bは、実施例によるカラーボリュームマッピングの一例となる処理パイプラインを示す。カラーボリュームマッピングブロックの目的は、指定されたターゲットディスプレイ上に提示するための強度とカラーとの双方の範囲と視聴環境とを調整することである。本発明の実施例は、従来のディスプレイ管理技術に対して任意的なピラミッドフィルタリング処理の追加によって構成し、上述される新たな“ピラミッドフィルタリング”処理を生じさせる。
カラーボリュームマッピングは、主として色調を維持しながら強度及び飽和を調整する4つの処理の機能である。ToneMapI(615)及びSaturationMapI(660)は、強度に基づいて調整を行い、ToneMapS(642)及びSaturationMapS(645)は、飽和に基づいて調整を行う。P(Cp)とT(Ct)との間の角度として規定される色調は、コントラストを維持する。しかしながら、ローカルマッピングを可能にするため、ToneMapIは、ここでは入力強度Iとピラミッドフィルタリングされた強度IFとの双方の関数である。さらに、ローカルマッピングによるカラー精度を保証するため、SaturationMapIは、ここでは元の強度Iとトーンマッピングされた強度I’との双方の関数である。
実施例は、以降においてより詳細に説明される新規な6ベクトルトリムモジュール(655)を含む。
図6Aに示されるように、入力されたメタデータによると、それはターゲットディスプレイの特性がリファレンスディスプレイの特性又は入力に一致しているよう見える場合(例えば、バイパス605がYesに設定される)、カラーボリュームマッピング全体はバイパスされてもよく、入力(507)は出力(652)に直接わたされる。そうでない場合、入力の強度(507-I)及びクロマコンポーネント(507-C)は、それらの透視マッピングパイプラインにわたされる。いくつかの実施例では、特別な処理が、表示される各フレーム内の特定のROIに対して実行されてもよい。例えば、“ROI決定”部(620)は、入力画像のピクセル(x,y)がROI内にあるか、また、処理がROI外である場合、パラメータ607がデフォルト設定に設定され、ROI内にある場合、これらの制御パラメータ(607)が入力メタデータによって調整されているかを決定してもよい。同様に、ROI外にある場合、図6Bに示されるように、特定の処理ステップがROIの外部のピクセル領域に対して完全にバイパスされてもよい。例えば、ROI部は、入力フレームを包囲するレターボックスエリア又はアクティブピクチャの上部の重複ウィンドウ内のピクチャエリアを検出してもよい。実施例では、限定することなく、ROI部は、
・マッピング対象のトリムを備えた主要エリア
・マッピング対象のトリムを備えない主要エリア
・マッピング対象、黒への設定対象またはバイパス対象の補助エリア(すなわち、レターボックスの上の“レターボックス”又はオーバレイ)
としてピクセル領域をマーキングしてもよい。
・マッピング対象のトリムを備えた主要エリア
・マッピング対象のトリムを備えない主要エリア
・マッピング対象、黒への設定対象またはバイパス対象の補助エリア(すなわち、レターボックスの上の“レターボックス”又はオーバレイ)
としてピクセル領域をマーキングしてもよい。
ToneMapI
ToneMapIブロック(615)は、ピラミッドフィルタリングされたピクセルIFの関数と共にピクセルの強度Iに基づいて、強度チャネルにトーンマッピングを適用する。ToneMapI関数は、ダイナミックレンジの低減及び環境光の調整を含む、各種処理段階を含んでもよい。
ToneMapIブロック(615)は、ピラミッドフィルタリングされたピクセルIFの関数と共にピクセルの強度Iに基づいて、強度チャネルにトーンマッピングを適用する。ToneMapI関数は、ダイナミックレンジの低減及び環境光の調整を含む、各種処理段階を含んでもよい。
ダイナミックレンジの低減は、トーンマッピング処理の過半数を実行する。図6に示されるように、トーンマッパへの入力IBがまず、ローカルマッピングの強度に対する制御を可能にするため、元の画像I(705)とピラミッドフィルタリングされた画像IF(730)との間を補間することによって計算される。
α=0であるとき、トーンマッピングは、従来のグローバルなトーンマッピングと等しい。実施例では、画像IBはその後、ソースメタデータとターゲットコンフィギュレーションとに基づいて動的に計算されるトーンマッピング曲線を介し出力強度(IB’)にマッピングされる。そのようなトーンマッピング関数の具体例は、参照によりそれぞれが援用される、A.Ballestad及びA.Kostinによる米国特許第8,593,480号“Method and apparatus for image data transformation”、及びJ.A.Pytlarz及びR.AtkinsによるWIPO公報WO2018/152063号“Tone curve mapping for high dynamic range images”に記載される。
差分画像D(625)が与えられると(ただし、D=(I―IB))、画像D上の任意的なスケーラβは、トーンマッピングされた出力のシャープニング(sharpening)を調整するのに利用されてもよく、
ただし、IB’はIBのトーンマッピングされたバージョンを示す。
概念的には、このアルゴリズムは、小さな空間領域を変更しないまま、画像の大きな空間領域のみにトーンマッピング処理を適用する。その結果は、画像の元のローカルコントラストの一部がハイライト及び影領域において保存可能である。トーンマッピングがない場合、コントラストを復元する理由がないため、処理は効果を有しない。大きくフラットな領域については、処理はまた効果を有しない。それは、処理がコントラストを保存することを目的とする画像の小さなトーンマッピングされた領域のみである。所望しないハローを防ぐため、ローカルマッピングアルゴリズムは、ルミナンスの大きな変化が視覚可能なハローを生じさせることなく可能である大きな程度のエッジの近くで最小の効果を有する。コンテンツ作成者には、無しからフル強度まで変化する、ローカルマッピングアルゴリズムのどの程度が適用されるかに対する制御度が与えられる。
トーン曲線はまた、ローカルマッピングの強度に基づいて修正されてもよい。マッピング曲線の上部及び下部の傾きは、αの値に基づいてローカルマッピング及びブレンディングにより傾き=1により近くなるよう調整されてもよい。これは、クリッピング又はクラッシングなく追加される詳細のための十分な余地があることを保証する。
環境光訂正は、暗い領域における詳細の可視性を維持するため、視聴環境に基づいて出力ルミナンスを調整する。これは、典型的には、必要に応じて画像における他の場所のコントラストの対応する提言によって、暗い境域におけるコントラストを増加させることを伴う。環境光補償モジュールの背後のアルゴリズムは、周辺環境に基づいて異なるPQ曲線を計算することに基づく。より高いレベルの適応化では、丁度可知差異(just-Noticeable-Difference:JND)は暗い領域においてより大きくなる。これらより大きなJNDをモデル化する新たなPQ曲線を計算することによって、環境光アルゴリズムは、周辺環境に対する可変的な適応度の間の可視的なステップの数を保存できる。周辺の照明を補償することに加えて、このモジュールはまた、推定された画面反射を補償する。環境光は、ディスプレイ上に設置された1つ以上の環境光センサから決定されてもよい。
このようなマッピングの具体例は、J.A.PytlarzらによるWIPO公報WO2018/119161“Ambient light-adaptive display management”及びAtkinsらによる2019年1月9日に出願された米国仮特許出願第62/790,058号“Display management with ambient light compensation”に記載される。この段階はまた、コントラスト調整、輝度調整などのユーザ嗜好に対して調整するのに利用可能である。
図2Bに戻って、ディスプレイマッピング(210)は、グローバルなトーンマッピングと精度マッピングとの双方を含んでもよい一方、ディスプレイマッピング(212)は、グローバルなトーンマッピングのみを含んでもよい。
これら処理ステップの全ては、ディスプレイ管理制御レイヤ(215)又はビットストリームに含まれるメタデータの何れかによって与えられると、フラグ及びパラメータ(607)によって制御される。
飽和マップI
飽和マップIブロック(660)は、ToneMapIの出力及びピクセルの強度に基づいて、クロマチャネル(例えば、T及びP)に飽和マッピングを適用する(615)。マッピングは、3つのステージにおいて適用される。
飽和マップIブロック(660)は、ToneMapIの出力及びピクセルの強度に基づいて、クロマチャネル(例えば、T及びP)に飽和マッピングを適用する(615)。マッピングは、3つのステージにおいて適用される。
ステージ1:飽和保存スケールは、強度に対する変更を説明するため飽和を調整する。カラーの強度が低減するに従って、飽和はまたカラーの外観又はバランスを維持するよう減少する。飽和の調整量は、トーンマッピング前後の強度に依存する。追加的なクランピング及び制限は簡単化のため省略されることに留意されたい。
ステージ2:薄明視保存及びソフトクラッシュスケールは更に、より高いブラックレベルへのマッピングの際に飽和を調整する。薄明視保存(c4)は、ソースコンテンツの低ルミナンスピクセルにおけるカラー飽和の知覚損失をモデル化し、それをより高いルミナンスレベルで再生する。この修正がない場合、ダーク詳細は、より高いブラックレベルを備えるディスプレイにマッピングされる際、より飽和されるように見えうる。ソフトクラッシュ(c2)は、ガマットマッピング飽和調整である。それは、ガマットに戻すため、ターゲットディスプレイの最小値に近いピクセルの飽和を低減する。この修正がない場合、ダークピクセルは、ガマット外のものであってもよく、高く飽和された好ましくないカラーにクリッピングしてもよい。追加的なクランピング及び制限は簡単化のため省略されることに留意されたい。
ステージ3:飽和トリムスケールは、コンテンツ作成者が創作的な意図をより良好に実現するため、自動的なマッピングから飽和を更に修正することを可能にする。これは、実施例では[-0.5,0.5]の範囲と、約0.05の典型的な値とを有するメタデータに提供されたSaturationGain値から単に計算される。
ToneMapS
ToneMapSブロック(640)は、クロマチャネルの飽和に基づいてトーンマッピングされた入力の強度チャネル(I’)を調整する。調整量は、2つの係数c1及びc2によって決定される2つのステージによって制御される。更なるクランピングは簡単化のため省略されていることに留意されたい。
他の実施例では、ToneMapSは、S>0に対してSの何れかの単調増加関数を示すものであってもよい。実施例では、c1及びc2の係数は以下のように計算される。
ToneMapSブロック(640)は、クロマチャネルの飽和に基づいてトーンマッピングされた入力の強度チャネル(I’)を調整する。調整量は、2つの係数c1及びc2によって決定される2つのステージによって制御される。更なるクランピングは簡単化のため省略されていることに留意されたい。
ステージ1:プライマリ飽和は、ソースディスプレイとターゲットディスプレイとのプライマリ間の差分に従って飽和したカラーの輝度を修正する。これは、高く飽和したカラーを若干暗くし、カラー飽和及びテクスチャを明るく飽和したカラー領域において保存することを支援する。ソースディスプレイの赤色の原色の飽和がまず、ITPカラー空間を利用して計算される。その後、係数c1は、ToneMapIによって実行される更なるトーンマッピングを説明するターゲット及びソースの赤色の原色の強度の比率として計算される。係数c1はまた、赤色の原色の3乗された飽和によって更にスケーリングされ、これにより、各ピクセルは赤色の原色の飽和に対するピクセルの飽和の正規化された比率として表される。実際の実現形態は各値の範囲を限定し、ゼロによる除算を回避するための更なるクランピングを含み、以下の式は簡単化のためクランピングを省略する。
ステージ2:クロマウェイトトリムは、コンテンツ制作者が自らの創作的意図をより良好に実現するため、自動的なマッピングから飽和したカラーの輝度を更に修正することを可能にする。これは、メタデータに与えられるChromaWeight値をスケーリングすることによって単に計算される。
ChromaWeightは、[-0.5,0.5]の範囲内にあり、-0.05の典型的な値を有する。
SaturationMapS
SaturationMapSブロック(645)は、クロマチャネルの飽和に基づいてP及びTのチャネルに飽和マッピングを適用する。飽和の調整量は、2つの係数c1及びc2によって決定される2つのステージによって制御される。更なるクランピングは簡単化のため省略されたことに留意されたい。
実施例では、c1及びc2の係数は以下のように計算される。
SaturationMapSブロック(645)は、クロマチャネルの飽和に基づいてP及びTのチャネルに飽和マッピングを適用する。飽和の調整量は、2つの係数c1及びc2によって決定される2つのステージによって制御される。更なるクランピングは簡単化のため省略されたことに留意されたい。
ステージ1:プライマリ飽和は、ソースディスプレイとターゲットディスプレイとのプライマリ間の差分に従って飽和を修正する。これは、高く飽和したカラーを若干不飽和化させ、色調及びテクスチャを明るく飽和したカラー領域において保存することを支援する。ソースディスプレイとターゲットディスプレイとの赤色の原色の飽和はまず、ITPカラー空間を利用して計算される。その後、係数c1がまた赤色の原色のキューブ化された飽和によって更にスケーリングされ、これにより、各ピクセルは赤色の原色の飽和に対するピクセルの飽和の正規化された比率として表現される。実際の実装は、各値の範囲を限定し、ゼロにより除算を回避するよう追加的なクランピングを含むことに留意されたい。以下の式は簡単化のためクランピングを省略している。
ステージ2:クロマウェイトトリムは、コンテンツ作成者が自らの創作意図をより良く実現するため、自動的なマッピングから飽和したカラーのマッピングを修正することを可能にする。これは、メタデータに与えられるChromaWeight値をスケーリングすることによって単に計算される(例えば、式(14)を参照されたい)。
6ベクトルトリム
6ベクトルトリムブロック(655)は、コンテンツ作成者がより低いダイナミックレンジによるディスプレイへのマッピングの際に自らの創作意図をより良く実現するため、特定のカラーの色調と飽和との双方を修正することを可能にする。ここで用いられるように、“トリム”という用語は、所望の創作意図を取得するため、コンテンツ作成者がトーン曲線に対する追加的な手動による修正を実行するための制御を示す。トリム関連メタデータは、ターゲットディスプレイの最大輝度値、トーン曲線操作のためのスロープオフセット電力及び飽和ゲインとクロマ関連パラメータの効果を調整するウェイトなどのパラメータを含んでもよい。
6ベクトルトリムブロック(655)は、コンテンツ作成者がより低いダイナミックレンジによるディスプレイへのマッピングの際に自らの創作意図をより良く実現するため、特定のカラーの色調と飽和との双方を修正することを可能にする。ここで用いられるように、“トリム”という用語は、所望の創作意図を取得するため、コンテンツ作成者がトーン曲線に対する追加的な手動による修正を実行するための制御を示す。トリム関連メタデータは、ターゲットディスプレイの最大輝度値、トーン曲線操作のためのスロープオフセット電力及び飽和ゲインとクロマ関連パラメータの効果を調整するウェイトなどのパラメータを含んでもよい。
図6Bにまた示されるステップは、以下である。
1.ブロック680において、各ピクセルの色調角度(hue angle)を計算する。
ただし、ct及びcpは、図6Aに示される処理からの修正されたクロマ値を示す。
2.ブロック685及び690において、インデックスとして色調角度を利用し、2つの小さなLUT(3ビット)に補間する。
Hが0~360度であると仮定すると、実施例では、色調調整(r1)及び飽和調整(SMH)は、以下のように計算されてもよい。
ただし、SMHLUT[j]及びHMHLUT[j](j=0,1,・・・,7)は、入力されたメタデータの一部としてカラリストによって提供されるトリム値によるルックアップテーブルである。
3.最後に、トーンマッピングされた出力(652)の出力されるクロマコンポーネントCt’及びCp’(657)は、
のように計算される。
1.ブロック680において、各ピクセルの色調角度(hue angle)を計算する。
2.ブロック685及び690において、インデックスとして色調角度を利用し、2つの小さなLUT(3ビット)に補間する。
3.最後に、トーンマッピングされた出力(652)の出力されるクロマコンポーネントCt’及びCp’(657)は、
2つのLUTが、メタデータによって提供され、6つの色調のそれぞれの所望の修正から構成される。クロマチャネルの4象限アークタンジェントによって計算される各ピクセルの色調が、適用すべき色調及び飽和修正量を検出するため、このテーブルに補間するのに利用される。LUTは、1つ以上の特定のルミナンスレベルに対して意図される。補間前、LUTは、その他のトリムと同様に、意図されたターゲットディスプレイの実際のルミナンスレベルに基づいて修正される。
一例となるコンピュータシステムの実装
本発明の実施例は、コンピュータシステム、電子回路及びコンポーネントに構成されるシステム、マイクロコントローラ、FPGA(Field Programmable Gate Array)又は他のコンフィギュラブル若しくはプログラマブルロジックデバイス(PLD)などの集積回路(IC)デバイス、離散時間若しくはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)、及び/又はそのようなシステム、デバイス若しくはコンポーネントの1つ以上を含む装置によって実現されてもよい。コンピュータ及び/又はICは、ここに説明されたものなどハイダイナミックレンジによる画像のための画像変換に関連する命令を実行又は制御しうる。コンピュータ及び/又はICは、ここに説明されるHDRビデオプロセスのディスプレイ管理に関連する各種パラメータ又は値の何れかを計算してもよい。画像及びビデオの実施例は、ハードウェア、ソフトウェア、ファームウェア及びこれらの各種組み合わせにより実現されてもよい。
本発明の実施例は、コンピュータシステム、電子回路及びコンポーネントに構成されるシステム、マイクロコントローラ、FPGA(Field Programmable Gate Array)又は他のコンフィギュラブル若しくはプログラマブルロジックデバイス(PLD)などの集積回路(IC)デバイス、離散時間若しくはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)、及び/又はそのようなシステム、デバイス若しくはコンポーネントの1つ以上を含む装置によって実現されてもよい。コンピュータ及び/又はICは、ここに説明されたものなどハイダイナミックレンジによる画像のための画像変換に関連する命令を実行又は制御しうる。コンピュータ及び/又はICは、ここに説明されるHDRビデオプロセスのディスプレイ管理に関連する各種パラメータ又は値の何れかを計算してもよい。画像及びビデオの実施例は、ハードウェア、ソフトウェア、ファームウェア及びこれらの各種組み合わせにより実現されてもよい。
本発明の特定の実現形態は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む、例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける1つ以上のプロセッサは、プロセッサにアクセス可能なプログラムメモリにおけるソフトウェア命令を実行することによって、上述したようなHDRビデオのディスプレイ管理に関連する方法を実現してもよい。本発明は又、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサによって実行されると、データプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを担持する何れか有形で非一時的な媒体を含んでもよい。本発明によるプログラムプロダクトは、広範な各種の有形な形態の何れであってもよい。プログラムプロダクトは、例えば、フロッピーディスケットを含む磁気データ記憶媒体、ハードディスクドライブ、CD ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体などを含んでもよい。プログラムプロダクト上のコンピュータ可読信号は、任意的には、圧縮または暗号化されてもよい。
コンポーネント(例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など)が参照される場合、特段の断りがない場合、当該コンポーネント(“手段”の参照を含む)の参照は、本発明の図示された一例となる実施例における機能を実行する開示された構成に構成上等価でないコンポーネントを含む所望のコンポーネントの機能(例えば、機能的に等価である)を実行する何れかのコンポーネントを当該コンポーネントの均等として含むといて解釈されるべきである。
均等、拡張、代替及びその他
従って、HDRビデオのディスプレイ管理に関連する一例となる実施例が開示される。上記の明細書において、本発明の実施例が、実現形態に応じて変更されうる多数の具体的な詳細を参照して説明された。従って、本発明であるもの及び出願人によって本発明であると意図されるものの唯一及び排他的なインジケータは、何れかの以降の訂正を含む、請求項が発行する特定の形態における本出願から発行される請求項のセットである。そのような請求項に含まれる用語に対してここに明示的に与えられる何れかの定義は、請求項に用いられるような当該用語の意味を支配する。従って、請求項において明示的に記載されない何れの限定、要素、性質、特徴、効果又は貢献も当該請求項の範囲を何れの方法でも限定すべきでない。従って、明細書及び図面は、限定的でなく例示的としてみなされるべきである。
従って、HDRビデオのディスプレイ管理に関連する一例となる実施例が開示される。上記の明細書において、本発明の実施例が、実現形態に応じて変更されうる多数の具体的な詳細を参照して説明された。従って、本発明であるもの及び出願人によって本発明であると意図されるものの唯一及び排他的なインジケータは、何れかの以降の訂正を含む、請求項が発行する特定の形態における本出願から発行される請求項のセットである。そのような請求項に含まれる用語に対してここに明示的に与えられる何れかの定義は、請求項に用いられるような当該用語の意味を支配する。従って、請求項において明示的に記載されない何れの限定、要素、性質、特徴、効果又は貢献も当該請求項の範囲を何れの方法でも限定すべきでない。従って、明細書及び図面は、限定的でなく例示的としてみなされるべきである。
Claims (16)
- ディスプレイ管理のための方法であって、
第1のダイナミックレンジと第1の空間解像度とにおける第1の画像(507)にアクセスするステップであって、前記第1の画像は強度ピクセル(507-I)とクロマピクセル(507-C)とを含む、ステップと、
ターゲットダイナミックレンジにおけるトーンマッピングされた画像の対応する強度ピクセル(I’)を生成するため、前記第1の画像の強度ピクセルにトーンマッピング関数(615)を適用するステップであって、前記ターゲットダイナミックレンジは前記第1のダイナミックレンジと異なる、ステップと、
前記第1の画像における前記クロマピクセルの値に基づいて、前記第1の画像のピクセルの飽和メトリックを計算するステップと、
飽和マッピング強度(SMI)スケーラを計算するステップ(660)であって、前記SMIスケーラは、前記第1の画像と前記トーンマッピングされた画像とにおける強度の対応するピクセルの関数に従って、前記第1の画像におけるクロマピクセルのピクセル値を調整する、ステップと、
前記第1の画像におけるクロマピクセルの飽和メトリックの第1の関数に基づいて、前記トーンマッピングされた画像における強度ピクセルのトーンマッピング飽和(TMS)スケーラを計算するステップ(640)と、
前記第1の画像におけるクロマピクセルの飽和メトリックの第2の関数に基づいて、前記第1の画像におけるクロマピクセルの飽和マッピング飽和(SMS)スケーラを計算する(645)と、
出力強度ピクセル(I”)を生成するため、前記トーンマッピングされた画像の強度ピクセルに前記TMSスケーラを適用するステップと、
中間クロマピクセルを生成するため、前記SMS及びSMIスケーラと前記第1の画像のクロマピクセルとを乗算するステップと、
前記出力強度ピクセルと出力クロマピクセルとを含む出力画像(652)を生成するステップであって、前記出力クロマピクセルは前記中間クロマピクセルの関数として生成されるクロマピクセルまたは前記中間クロマピクセルの何れかを含む、ステップと、
を有する方法。 - 前記中間クロマピクセルの関数として前記出力クロマピクセルを生成するステップは、
前記第1の画像の一部としてトリムメタデータを受信するステップと、
前記第1の画像における関心領域を受信するステップと、
前記関心領域に属する前記第1の画像におけるピクセルに対して、
前記中間クロマピクセルの色調値を計算するステップと、
前記色調値と前記トリムメタデータとに基づいて飽和マップ色調(SMH)スケーラを計算するステップと、
前記色調値と前記トリムメタデータとに基づいて色調マップ値(r1)を計算するステップと、
前記色調マップ値、前記SMHスケーラ及び前記中間クロマピクセルに基づいて、前記出力クロマピクセルを生成するステップと、
を含む、請求項6に記載の方法。 - ピラミッドダウンサンプリングは、N個のピラミッドレイヤ画像を用いて前記入力画像のピラミッド表現を生成し、Nは少なくとも2であり、第1のピラミッドレイヤ画像は前記入力画像の空間解像度より低い空間解像度を有し、k番目のピラミッド画像(k=2,・・・,N)は(k-1)番目のピラミッド画像より低い空間解像度を有する、請求項9又は10に記載の方法。
- Ima(1)及びImb(1)を生成するステップは、
エッジフィルタとP(N)とを用いてIma(N)及びImb(N)を生成するステップであって、P(N)は最小の空間解像度を有するNレイヤピラミッド画像を示す、ステップと、
(N-1)番目のピラミッドレイヤ画像の空間解像度に一致するようにIma(N)及びImb(N)をアップスケーリングすることによって、ImaU(N)及びImbU(N)を生成するステップと、
i=N-1から2に対して、
前記エッジフィルタS(1)及びP(1)を用いてIma(1)及びImb(1)を生成するステップと、
を含む、請求項12に記載の方法。 - 前記エッジフィルタS(i)及びP(i)を用いてIma(i)及びImb(i)を生成するステップは、
画像P2(i)=P2(i)及びPS(i)=P(i)*S(i)を生成するステップと、
P2outを生成するため、フィルタHによってP2(i)を畳み込むステップと、
Poutを生成するため、前記フィルタHによってP(i)を畳み込むステップと、
Soutを生成するため、前記フィルタHによってS(i)を畳み込むステップと、
PSoutを生成するため、フィルタHによってPS(i)を畳み込むステップと、
を有する、請求項13に記載の方法。 - プロセッサを有し、請求項1から14の何れか一項に記載の方法を実行するよう構成される装置。
- 請求項1から14の何れか一項に記載の方法を1つ以上のプロセッサによって実行するためのコンピュータ実行可能命令を格納した非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962837288P | 2019-04-23 | 2019-04-23 | |
US62/837,288 | 2019-04-23 | ||
US201962938027P | 2019-11-20 | 2019-11-20 | |
US62/938,027 | 2019-11-20 | ||
PCT/US2020/028552 WO2020219341A1 (en) | 2019-04-23 | 2020-04-16 | Display management for high dynamic range images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022530340A JP2022530340A (ja) | 2022-06-29 |
JP7483747B2 true JP7483747B2 (ja) | 2024-05-15 |
Family
ID=70554249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021561004A Active JP7483747B2 (ja) | 2019-04-23 | 2020-04-16 | ハイダイナミックレンジ画像のディスプレイ管理 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11803948B2 (ja) |
EP (1) | EP3959709A1 (ja) |
JP (1) | JP7483747B2 (ja) |
CN (1) | CN113728624B (ja) |
TW (1) | TWI765253B (ja) |
WO (1) | WO2020219341A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3913573B1 (en) * | 2020-05-22 | 2023-11-08 | Beijing Xiaomi Mobile Software Co., Ltd. | Method for image processing, image signal processor in a terminal device |
JP2023537939A (ja) | 2020-08-17 | 2023-09-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジビデオ用のピクチャメタデータ |
JP2024523250A (ja) | 2021-06-11 | 2024-06-28 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 周辺エリア検出および画像フィルタリングのためのブレンディング |
EP4377879A1 (en) | 2021-07-29 | 2024-06-05 | Dolby Laboratories Licensing Corporation | Neural networks for dynamic range conversion and display management of images |
EP4392928A1 (en) | 2021-08-24 | 2024-07-03 | Dolby Laboratories Licensing Corporation | Neural networks for precision rendering in display management |
AU2022358503A1 (en) | 2021-09-28 | 2024-04-11 | Dolby Laboratories Licensing Corporation | Multi-step display mapping and metadata reconstruction for hdr video |
WO2023055612A1 (en) | 2021-09-30 | 2023-04-06 | Dolby Laboratories Licensing Corporation | Dynamic spatial metadata for image and video processing |
US11734806B2 (en) * | 2021-11-24 | 2023-08-22 | Roku, Inc. | Dynamic tone mapping |
CN114359083B (zh) * | 2021-12-24 | 2022-11-29 | 北京航空航天大学 | 一种面向干扰环境的高动态热红外图像自适应预处理方法 |
CN117830183B (zh) * | 2024-03-05 | 2024-05-14 | 俐玛精密测量技术(苏州)有限公司 | 一种针对ct图像的色调映射方法和相关装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018510574A (ja) | 2015-01-19 | 2018-04-12 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ映像のためのディスプレイマネジメント |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2988499B1 (en) | 2006-01-23 | 2017-03-22 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | High dynamic range codecs |
US8477247B2 (en) * | 2008-09-30 | 2013-07-02 | Intel Corporation | Joint enhancement of lightness, color and contrast of images and video |
TWI538473B (zh) | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
EP2518719B1 (en) * | 2011-04-08 | 2016-05-18 | Dolby Laboratories Licensing Corporation | Image range expansion control methods and apparatus |
CN105009580B (zh) * | 2013-02-21 | 2017-09-29 | 杜比实验室特许公司 | 高动态范围视频的显示管理 |
WO2014163793A2 (en) * | 2013-03-11 | 2014-10-09 | Dolby Laboratories Licensing Corporation | Distribution of multi-format high dynamic range video using layered coding |
US9292908B2 (en) | 2013-11-21 | 2016-03-22 | Nvidia Corporation | System, method, and computer program product for enhancing an image utilizing a hyper-clarity transform |
CN106464892B (zh) * | 2014-05-28 | 2019-07-02 | 皇家飞利浦有限公司 | 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置 |
US9613407B2 (en) * | 2014-07-03 | 2017-04-04 | Dolby Laboratories Licensing Corporation | Display management for high dynamic range video |
US10157582B2 (en) * | 2014-08-28 | 2018-12-18 | Nec Display Solutions, Ltd. | Display device, gradation correction map generation device, gradation correction map generation method, and program |
WO2016091406A1 (en) * | 2014-12-11 | 2016-06-16 | Koninklijke Philips N.V. | Optimizing high dynamic range images for particular displays |
DK3231174T3 (da) * | 2014-12-11 | 2020-10-26 | Koninklijke Philips Nv | Optimering af billeder med højt dynamikområde til bestemte displays |
EP3051825A1 (en) * | 2015-01-30 | 2016-08-03 | Thomson Licensing | A method and apparatus of encoding and decoding a color picture |
EP3295451B1 (en) | 2015-05-12 | 2020-07-01 | Dolby Laboratories Licensing Corporation | Metadata filtering for display mapping for high dynamic range images |
US10839487B2 (en) | 2015-09-17 | 2020-11-17 | Michael Edwin Stewart | Methods and apparatus for enhancing optical images and parametric databases |
EP3394850B1 (en) * | 2015-12-21 | 2020-05-13 | Koninklijke Philips N.V. | Optimizing high dynamic range images for particular displays |
US10937135B2 (en) | 2016-03-14 | 2021-03-02 | Koninklijke Philips N.V. | Saturation processing specification for dynamic range mappings |
EP3456047B1 (en) * | 2016-05-10 | 2020-02-26 | Dolby Laboratories Licensing Corporation | Chroma reshaping of hdr video signals |
WO2018119161A1 (en) | 2016-12-22 | 2018-06-28 | Dolby Laboratories Licensing Corporation | Ambient light-adaptive display management |
WO2018152063A1 (en) | 2017-02-15 | 2018-08-23 | Dolby Laboratories Licensing Corporation | Tone curve mapping for high dynamic range images |
WO2018175337A1 (en) * | 2017-03-20 | 2018-09-27 | Dolby Laboratories Licensing Corporation | Perceptually preserving scene-referred contrasts and chromaticities |
GB2561395A (en) * | 2017-04-13 | 2018-10-17 | Sony Corp | Colour conversion |
CN113424550A (zh) | 2019-01-09 | 2021-09-21 | 杜比实验室特许公司 | 具有环境光补偿的显示器管理 |
US11475549B1 (en) * | 2021-06-04 | 2022-10-18 | Nvidia Corporation | High dynamic range image generation from tone mapped standard dynamic range images |
-
2020
- 2020-04-16 EP EP20724336.1A patent/EP3959709A1/en active Pending
- 2020-04-16 JP JP2021561004A patent/JP7483747B2/ja active Active
- 2020-04-16 US US17/605,557 patent/US11803948B2/en active Active
- 2020-04-16 CN CN202080030399.1A patent/CN113728624B/zh active Active
- 2020-04-16 WO PCT/US2020/028552 patent/WO2020219341A1/en unknown
- 2020-04-22 TW TW109113430A patent/TWI765253B/zh active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018510574A (ja) | 2015-01-19 | 2018-04-12 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ映像のためのディスプレイマネジメント |
Also Published As
Publication number | Publication date |
---|---|
TWI765253B (zh) | 2022-05-21 |
WO2020219341A1 (en) | 2020-10-29 |
TW202101956A (zh) | 2021-01-01 |
JP2022530340A (ja) | 2022-06-29 |
KR20220002977A (ko) | 2022-01-07 |
CN113728624B (zh) | 2023-11-14 |
US11803948B2 (en) | 2023-10-31 |
US20220164931A1 (en) | 2022-05-26 |
CN113728624A (zh) | 2021-11-30 |
EP3959709A1 (en) | 2022-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7483747B2 (ja) | ハイダイナミックレンジ画像のディスプレイ管理 | |
CN107995497B (zh) | 高动态范围视频的屏幕自适应解码 | |
CN110337667B (zh) | 高动态范围图像的色调曲线映射 | |
KR102157032B1 (ko) | 고 동적 범위 비디오에 대한 디스플레이 관리 | |
EP2896198B1 (en) | Display management for images with enhanced dynamic range | |
CN111149346B (zh) | 用于编码和解码高动态范围视频的方法、装置和介质 | |
EP3552178B1 (en) | Systems and methods for adjusting video processing curves for high dynamic range images | |
WO2009015483A1 (en) | Enhancing dynamic ranges of images | |
CN110192223B (zh) | 高动态范围图像的显示映射 | |
KR20230003002A (ko) | Hdr 디스플레이들을 위한 이미지 의존적 콘트라스트 및 밝기 제어 | |
JP6335614B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
KR102681436B1 (ko) | 하이 다이내믹 레인지 이미지들에 대한 디스플레이 관리 | |
US11837140B2 (en) | Chromatic ambient light correction | |
JP2024527025A (ja) | 画像のダイナミックレンジ変換及び表示管理のためのニューラルネットワーク | |
KR20200042742A (ko) | 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법 | |
WO2023009392A1 (en) | Neural networks for dynamic range conversion and display management of images | |
CN117716385A (zh) | 用于图像的动态范围转换和显示管理的神经网络 | |
WO2023028046A1 (en) | Neural networks for precision rendering in display management | |
CN117980958A (zh) | 用于在显示管理中进行精确渲染的神经网络 | |
WO2023055612A1 (en) | Dynamic spatial metadata for image and video processing | |
CN118044198A (zh) | 用于图像和视频处理的动态空间元数据 | |
JP2024505493A (ja) | グローバルおよびローカル再整形を介した画像向上 | |
CN116888959A (zh) | 经由全局和局部整形实现的图像增强 | |
Kyung et al. | Improved color reproduction based on CIELAB color space in integrated multi-scale retinex |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7483747 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |