JP7137185B2 - Tone mapping processing method by edge strength maximization and HDR video conversion device - Google Patents
Tone mapping processing method by edge strength maximization and HDR video conversion device Download PDFInfo
- Publication number
- JP7137185B2 JP7137185B2 JP2018103273A JP2018103273A JP7137185B2 JP 7137185 B2 JP7137185 B2 JP 7137185B2 JP 2018103273 A JP2018103273 A JP 2018103273A JP 2018103273 A JP2018103273 A JP 2018103273A JP 7137185 B2 JP7137185 B2 JP 7137185B2
- Authority
- JP
- Japan
- Prior art keywords
- tone mapping
- hdr
- mapping processing
- processing method
- edge strength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims description 96
- 238000006243 chemical reaction Methods 0.000 title claims description 63
- 238000003672 processing method Methods 0.000 title claims description 20
- 238000012545 processing Methods 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 40
- 238000012886 linear function Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 38
- 210000003127 knee Anatomy 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 22
- 230000009466 transformation Effects 0.000 description 18
- 238000011156 evaluation Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、エッジ強度最大化によるトーンマッピング処理方法及びＨＤＲ映像変換装置に関する。 The present invention relates to a tone mapping processing method and an HDR video conversion apparatus by edge strength maximization.
ＨＤＲ画像をＳＤＲ画像に変換する処理は、トーンマッピング(Tone mapping、ＴＭ)と呼ばれて、グラフィックスの分野で多くの研究がなされており、様々な手法が提案されている。放送で用いることを考えると、画像全体に対して一様なレベル変換を行うグローバルＴＭ処理が処理速度の観点からは優位である。カメラ内部でも、古くからダイナミックレンジの圧縮として、ニー(Knee)と呼ばれる処理が用いられている。 The process of converting an HDR image into an SDR image is called tone mapping (TM), and much research has been done in the field of graphics, and various techniques have been proposed. Considering the use in broadcasting, global TM processing that performs uniform level conversion for the entire image is superior from the viewpoint of processing speed. Also inside the camera, a process called knee has been used for a long time to compress the dynamic range.
ニー処理はニーポイントとニースロープ（ゲイン、あるいは圧縮率）による１次式で関数が決まる簡易な処理である。 Knee processing is simple processing in which a function is determined by a linear expression based on a knee point and a knee slope (gain or compression ratio).
カメラにおける逆光補正のための長時間露光信号と短時間露光信号を合成した映像におけるニー処理として、フレーム内の合成信号の輝度値により、ニーポイントと圧縮率（ニースロープ）を制御する技術が特許文献１に開示されている。
Patented technology for controlling the knee point and compression rate (knee slope) based on the luminance value of the composite signal in the frame, as knee processing for images that combine long- and short-exposure signals for backlight compensation in a camera. It is disclosed in
Blu-ray Disc（登録商標）に記録されているハイダイナミックレンジ対応コンテンツを、表示する受像機に合わせて、トーンマッピング処理するためのメタデータの各種要素、構造に関する内容が標準規格として、米国映画テレビ技術者協会(Society of Motion Picture and Television Engineers, SMPTE)により定められている。（例えば、非特許文献２）さらに、Applicationとして、４つのトーンマッピング処理方式が提案されている。（例えば、非特許文献３乃至非特許文献６） Various elements and structure of metadata for tone mapping processing of high dynamic range content recorded on Blu-ray Disc (registered trademark) according to the display receiver is set as a standard for the content related to the structure of the U.S. film industry. Defined by the Society of Motion Picture and Television Engineers (SMPTE). (For example, Non-Patent Document 2) Furthermore, four tone mapping processing methods have been proposed as Applications. (For example, Non-Patent Documents 3 to 6)
下記非特許文献２では、トーンマッピング処理としては、輝度値に対して、Ｓ字曲線（シグモイド曲線）により行われている。そして、フレーム中の最大・最小・平均輝度値の３パラメータからＳ字曲線を決定しているが、その後に続く、色調整、ディテール強調等のパラメータはいずれも主観的なマニュアル調整による。
In
また、下記非特許文献３では、トーンマッピング処理として、いくつかの処理が行われているが、基本的には輝度値に対する処理であり、輝度値のシャドウ部（低輝度領域）、ハイライト部（高輝度領域）のゲイン調整、およびそれらを滑らかに接続する中間輝度領域からなるカーブを用いている。その後の微調整として、区分線形関数による方法も記述があるが、具体的な調整方法は見当たらない。 In addition, in Non-Patent Document 3 below, some processing is performed as tone mapping processing, but basically it is processing for luminance values, and shadow portions (low luminance regions) of luminance values, highlight portions It uses a curve consisting of a gain adjustment in (high luminance region) and a middle luminance region that smoothly connects them. As a fine adjustment after that, a method using a piecewise linear function is also described, but a specific adjustment method is not found.
また、下記非特許文献５では、ＨＤＲ→ＳＤＲ変換を、プリ／ポスト１ＤＬＵＴ（ルックアップテーブル）＋３×３カラーマトリクス変換によりモデル化して、そのモデルパラメータをメタデータとしている。モデルパラメータは、予めマニュアルにより変換したＳＤＲ画像と元のＨＤＲ画像の間のユークリッド距離が最小となるように決定する。モデルの妥当性は、推定したパラメータによる変換結果のＳＤＲ画像と元のＨＤＲ画像の間のＰＳＮＲ，ＳＳＩＭ、および△Ｅにより、実験的に評価している。パラメータの計算方法に関しては、非特許文献７に記載がなされている。 In Non-Patent Document 5 below, HDR→SDR conversion is modeled by pre/post 1DLUT (lookup table)+3×3 color matrix conversion, and the model parameters are used as metadata. The model parameters are determined so that the Euclidean distance between the SDR image manually converted in advance and the original HDR image is minimized. The validity of the model is experimentally evaluated by PSNR, SSIM, and ΔE between the SDR image transformed by the estimated parameters and the original HDR image. A method for calculating the parameters is described in Non-Patent Document 7.
また、非特許文献６では、トーンマッピング関数に、直線と４次ベジェ曲線（多項式関数）を接続したものを用いている。ベジェ曲線は少ない制御点により滑らかな曲線を実現できるものの、計算コストは高い。シーン中の最大輝度値からトーンマッピングパラメータを計算しているが、その根拠は明らかではない。
Also, in Non-Patent
さらに、非特許文献８では、画像の局所的な処理によるローカルトーンマッピング処理であるが、その前処理としての画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数には、有理式関数を用いている。
Furthermore, in Non-Patent
ＨＤＲ画像／映像における高輝度階調情報のすべてをＳＤＲ画像／映像で表現することは不可能である。しかしながら、ハードクリップ変換によるＳＤＲ変換画像／映像では、高輝度階調が失われてしまう。最大輝度値から決定されるスケール変換であるリニア変換では、すべての階調は保存されるものの、平均輝度値の低下により視認性が悪い。画像／映像内容に応じたマニュアルによる調整では、調整コストが掛かるだけでなく、変換結果の品質を一定に保つことも難しい。さらに、トーンマッピングを行うための様々な関数におけるパラメータの意味やその決定方法が明らかではない。ＳＤＲ変換画像／映像における画質を定量的に評価する方法も明らかではない。 It is impossible to express all of the high luminance gradation information in the HDR image/video with the SDR image/video. However, in SDR converted images/videos by hardclip conversion, high luminance gradation is lost. Linear conversion, which is scale conversion determined from the maximum luminance value, preserves all gradations, but lowers the average luminance value, resulting in poor visibility. Manual adjustment according to image/video content not only requires adjustment costs, but also makes it difficult to keep the quality of conversion results constant. Furthermore, it is not clear what the parameters in the various functions for tone mapping are and how they are determined. It is also not clear how to quantitatively evaluate the image quality in SDR converted images/videos.
区分線形関数により定義した卜ーンマッピング処理のためのパラメータを入力ＨＤＲ画像の画素値のエッジ強度を計算することにより、自動的に決定される。パラメータはＳＤＲ変換画像における入力ＨＤＲ画素のエッジ強度を最大化するものであり、連立方程式を解くことにより、閉形式解として得られる。画像全体の明るさを表す平均輝度値をできるだけ明るく、エッジ強度を最大化するためのトレードオフを調整するパラメータをＨＤＲ画像のヒストグラム特徴量から予測して用いる。 The parameters for the tone mapping process defined by the piecewise linear function are automatically determined by calculating the edge intensity of the pixel values of the input HDR image. The parameter maximizes the edge intensity of the input HDR pixel in the SDR transformed image and is obtained as a closed form solution by solving simultaneous equations. A parameter for adjusting the trade-off between maximizing edge intensity and maximizing the average luminance value representing the brightness of the entire image is predicted from the histogram feature amount of the HDR image and used.
本発明では、エッジ強度最大化卜ーンマッピング処理により、ＨＤＲ画像／映像の持つ高輝度階調情報を失うことなく、ＳＤＲ画像／映像に変換することができる。画像／映像のみから自動的にトーンマッピング処理を行うためのパラメータを計算することにより、ＨＤＲ映像とＳＤＲ映像の同時放送・配信のための卜ーンマッピング処理(ＨＤＲ→ＳＤＲ変換処理)におけるマニュアル調整が不要となるのみならず、ＳＤＲ変換画像／映像の品質も維持できる。 According to the present invention, edge intensity maximization tone mapping processing enables conversion to an SDR image/video without losing the high-luminance gradation information of the HDR image/video. By calculating the parameters for automatically performing tone mapping processing only from images/videos, there is no need for manual adjustments in tone mapping processing (HDR → SDR conversion processing) for simultaneous broadcasting and distribution of HDR and SDR video. In addition, the quality of the SDR-converted image/video can be maintained.
本実施形態で開示する処理方法や装置は、ダイナミックレンジを拡大した映像(以下ＨＤＲ映像と称する)を標準ダイナミックレンジ映像(以下ＳＤＲ映像と称する)に変換するトーンマッピング処理(ＨＤＲ→ＳＤＲ変換処理)において、画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数を区分線形関数で表し、関数パラメータを変換結果のＳＤＲ映像のエッジ強度を最大化するように、入力ＨＤＲ映像における画素値から自動的に計算する。変換結果のＳＤＲ映像における平均輝度値とエッジ強度のトレードオフを実現するものであり、入力ＨＤＲ映像における高輝度値の階調が失われないことに特徴がある。 The processing method and apparatus disclosed in the present embodiment perform tone mapping processing (HDR → SDR conversion processing) for converting an image with an expanded dynamic range (hereinafter referred to as HDR image) into a standard dynamic range image (hereinafter referred to as SDR image). , the global tone mapping function that performs uniform level conversion over the entire screen is represented by a piecewise linear function, and the function parameters are calculated from the pixel values in the input HDR video so as to maximize the edge strength of the converted SDR video. Calculate automatically. It realizes a trade-off between the average luminance value and the edge strength in the converted SDR video, and is characterized in that the gradation of high luminance values in the input HDR video is not lost.
本実施形態で説明する処理方法は、次のような特徴を有する。
・ダイナミックレンジを拡大したＨＤＲ映像を標準ダイナミックレンジＳＤＲ映像に変換する卜ーンマッピング処理(ＨＤＲ→ＳＤＲ変換処理)において、画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数を区分線形関数で表し、その関数パラメータを変換結果のＳＤＲ映像におけるエッジ強度を最大化するように、入力ＨＤＲ映像における画素値から自動的に計算する。
・トーンマッピング関数パラメータは入力ＨＤＲ画素値のエッジ強度を累積加算することにより得られる連立方程式を解くことにより、閉形式解として計算される。
・トーンマッピング関数パラメータを計算するための、入力ＨＤＲ画像における平均輝度値とエッジ強度のトレードオフを調整する正則化パラメータを複数ＨＤＲ画像から予め決定した結果と各ＨＤＲ画像のヒストグラム特徴量から正則化パラメータを予測する式を計算する事前の最適パラメータ学習と入力ＨＤＲ画像から抽出したヒストグラム特徴から正則化パラメータを予測計算して、エッジ強度最大化する卜ーンマッピング処理を遂行する。
The processing method described in this embodiment has the following features.
・In the tone mapping process (HDR → SDR conversion process) that converts HDR video with expanded dynamic range to standard dynamic range SDR video, the global tone mapping function that performs uniform level conversion for the entire screen is a piecewise linear function. and its function parameters are automatically calculated from the pixel values in the input HDR image so as to maximize the edge intensity in the converted SDR image.
- The tone mapping function parameters are calculated as a closed form solution by solving the system of equations obtained by cumulatively adding the edge intensities of the input HDR pixel values.
Regularization from the result of pre-determining regularization parameters for adjusting the trade-off between the average luminance value and edge strength in the input HDR image from multiple HDR images and the histogram feature amount of each HDR image for calculating the tone mapping function parameters Predictive calculation of regularization parameters from optimal parameter learning and histogram features extracted from the input HDR image to calculate the formula for predicting the parameters, and perform the edge-strength maximization thorn mapping process.
また、本実施形態で説明する処理方法は、次のような特徴的要素を有することが好ましい。
・ＨＤＲ入力の全画素の対数輝度値の平均によりスケール変換されたＨＤＲ画素を区分線形関数により卜ーンマッピング(ＴＭ)処理する卜ーンマッピング処理部
・ＨＤＲ入力をスケール変換するための対数輝度値平均計算部およびスケール変換部
・ＨＤＲ入力の画素値のエッジ強度を計算するエッジ強度計算部
・ＨＤＲ入力の画素値のエッジ強度の累積加算結果と平均対数輝度値、正則化パラメータによりＳＤＲ変換画像におけるエッジ強度を最大化する卜ーンマッピングパラメータを計算するＴＭパラメータ計算部
・正則化パラメータを事前の最適パラメータ学習により予測するための正則化パラメータ探索方法
・正則化パラメータを事前の最適パラメータ学習により予測するためのＨＤＲ画像からのヒストグラム特徴の抽出部
・複数のＨＤＲ画像における探索による正則化パラメータとヒストグラム特徴ベクトルから予測式を計算する最適パラメータ学習部
・ＨＤＲ入力に対してエッジ強度最大化卜ーンマッピング処理を行うエッジ強度最大化ＴＭ処理部とＨＤＲ入力画像からヒストグラム特徴ベクトルを抽出するヒストグラム特徴抽出部とヒストグラム特徴ベクトルに対して正則化パラメータを予測計算する正則化パラメータ予測部
Moreover, the processing method described in this embodiment preferably has the following characteristic elements.
- A tone mapping processing unit that performs a tone mapping (TM) process on HDR pixels that have been scaled by averaging the logarithmic luminance values of all pixels in the HDR input using a piecewise linear function. - A logarithmic luminance value average calculation unit for scaling the HDR input. and a scale conversion unit An edge strength calculation unit that calculates the edge strength of the HDR input pixel value The edge strength in the SDR converted image is calculated based on the cumulative addition result of the edge strength of the HDR input pixel value, the average logarithmic luminance value, and the regularization parameter A TM parameter calculation unit that calculates the maximizing tun mapping parameter A regularization parameter search method for predicting the regularization parameter by prior optimal parameter learning A regularization parameter search method for predicting the regularization parameter by prior optimal parameter learning Histogram feature extraction unit from HDR images Optimal parameter learning unit that calculates prediction formulas from regularization parameters and histogram feature vectors obtained by searching in multiple HDR images Edges that perform edge intensity maximization and tone mapping processing for HDR inputs An intensity maximization TM processing unit, a histogram feature extraction unit that extracts a histogram feature vector from an HDR input image, and a regularization parameter prediction unit that predictively calculates a regularization parameter for the histogram feature vector.
また、本実施形態で説明する処理方法の実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、MXFファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、MXFファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。カメラ映像を動画像圧縮したもの、あるいはMXFファイルをIP(インターネット・プロトコル)伝送して、クラウド上で処理を行うことも可能である。IP伝送された圧縮映像をベースバンドビデオ信号に復号して、エッジ強度最大化卜ーンマッピング処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。Blu-ray Discに記録されているハイダイナミックレンジ対応コンテンツを、表示する受像機に合わせて、トーンマッピング処理するために、映像のフレーム毎、シーン毎に計算したＴＭパラメータをメタデータとして埋め込むことも可能である。 Further, as a method for realizing the processing method described in this embodiment, it is possible to realize it by a hardware device that processes the baseband video signal, or it is possible to implement software that processes the MXF file and a computer that executes it. It is also possible to implement by any configuration by using a device that converts an MXF file into a baseband video signal or inversely converts it. It is also possible to perform processing on the cloud by transmitting video compression of camera images or MXF files via IP (Internet Protocol). It is conceivable to develop various system forms, such as decoding IP-transmitted compressed video into a baseband video signal, performing edge strength maximization tone mapping processing, compressing the result again, and streaming it. It is also possible to embed TM parameters calculated for each video frame and scene as metadata in order to perform tone mapping processing for high dynamic range content recorded on a Blu-ray Disc according to the display receiver. It is possible.
また、さらに好ましい形態としては、１フレーム内の入力ＨＤＲ画素値によるエッジ強度のみならず、複数フレームにおける画素値によるエッジ強度からＴＭパラメータを計算することも可能であるし、１フレーム毎のＴＭパラメータの結果をフレーム間に渡って、時系列フィルタ処理を行うことも可能である。複数フレームヘの拡張、あるいはフレーム間の時系列フィルタ処理により、ＨＤＲ映像のトーンマッピング処理がさらに安定化する効果が得られるものとなる。 Further, as a more preferable form, it is possible to calculate the TM parameter from not only the edge strength based on the input HDR pixel value within one frame, but also the edge strength based on the pixel value in a plurality of frames. It is also possible to perform time-series filtering on the results of . Extension to a plurality of frames or time-series filter processing between frames has the effect of further stabilizing tone mapping processing for HDR video.
ここで、区分線形関数の入力区分点は、１フレーム内の入力ＨＤＲ画素値における最大輝度値から再帰的に分割することによって決定することができる。一方、ＴＭパラメータの計算においては、１フレーム内の画素値のみからエッジ強度を最大化するトーンマッピングパラメータを計算することに代えて、複数フレームにおける画素値を用いることもできる。例えば、３フレームの画素値を用いてトーンマッピングパラメータを計算する場合には、ＴＭパラメータは３フレーム毎に得られることになる。より多くの画素値データを用いてトーンマッピングパラメータを算出することにより、パラメータの計算結果の信頼性の向上が期待される。 Here, the input segment point of the piecewise linear function can be determined by recursively dividing from the maximum luminance value at the input HDR pixel values within one frame. On the other hand, in calculating the TM parameters, it is also possible to use pixel values in a plurality of frames instead of calculating tone mapping parameters that maximize edge strength from only pixel values in one frame. For example, when the tone mapping parameters are calculated using pixel values of 3 frames, the TM parameters are obtained every 3 frames. Calculation of tone mapping parameters using more pixel value data is expected to improve the reliability of parameter calculation results.
そして、１フレーム毎にＴＭパラメータが計算されて得られる場合であっても、あるいは、複数フレーム毎にパラメータが計算されて得られる場合であっても、いずれかで得られたＴＭパラメータに対して、時系列フィルタ処理を掛けることができる。 Then, even if the TM parameter is obtained by calculating for each frame, or even if the parameter is obtained by calculating for each multiple frames, for the TM parameter obtained by either , can be multiplied by time series filtering.
図１に示したエッジ強度最大化トーンマッピング処理ブロック図について以下に説明する。ＨＤＲ画像／映像は、RGB色空間からｘｙＹ色空間へ変換して、輝度値Ｙのみ処理した結果をＲＧＢに戻すことにより、ＳＤＲ画像／映像に変換する。各グローバルＴＭ処理は、全画素の平均対数輝度値がグレイレベルａ（％）になるようにスケール変換した輝度値Ｙに対して行う。あるいは、全画素による対数輝度値の平均値と最大最小値からグレイレベルａを計算してもよい。 The edge strength maximization tone mapping processing block diagram shown in FIG. 1 is described below. An HDR image/video is converted to an SDR image/video by converting from the RGB color space to the xyY color space, processing only the luminance value Y, and converting the result back to RGB. Each global TM process is performed on the luminance value Y scale-converted so that the average logarithmic luminance value of all pixels becomes the gray level a (%). Alternatively, the gray level a may be calculated from the average value and maximum/minimum values of logarithmic luminance values of all pixels.
輝度値に変換されたＨＤＲ入力Ｌｗは、全画素の対数輝度値の平均を計算するとともに（対数輝度値平均計算）、注目画素に隣接する画素を用いて、水平垂直エッジ強度を計算して（エッジ強度計算）、その結果を累積加算していく。フレーム全体の画素のエッジ強度の累積加算結果と平均対数輝度値、最大輝度値から決定される入力区分点、正則化パラメータλ，μを用いて、トーンマッピング処理結果のＳＤＲ画像／映像におけるエッジ強度を最大化するトーンマッピングパラメータを計算する(ＴＭパラメータ計算)。 For the HDR input Lw converted to a luminance value, the average logarithmic luminance value of all pixels is calculated (logarithmic luminance value average calculation), and the horizontal and vertical edge strengths are calculated using pixels adjacent to the pixel of interest ( edge strength calculation), and the results are cumulatively added. The edge strength in the SDR image/video of the tone mapping processing result using the input segment point determined from the cumulative addition result of the edge strength of the pixels of the entire frame, the average logarithmic luminance value, the maximum luminance value, and the regularization parameters λ and μ Calculation of tone mapping parameters that maximizes (TM parameter calculation).
ＴＭパラメータは、連立方程式を解く閉形式解として計算できる。入力区分点は、ＨＤＲ画像における最大輝度値レベルを再帰的に２分割して、最小区分点が０．０１以下になるまで繰り返すことにより決定する。図２は、区分線形関数によるグローバルＴＭ処理を説明する図である。そのようにして計算されたＴＭパラメータを平均対数輝度値とグレイレベルａにより計算されるスケール係数によりスケール変換されたLに対して、トーンマッピング処理を行い（ＴＭ処理）、ＳＤＲ出力Ldになる。スケール変換は次のように計算する。 TM parameters can be calculated as a closed-form solution to a system of equations. The input segmentation point is determined by recursively dividing the maximum luminance value level in the HDR image into two and repeating until the minimum segmentation point becomes 0.01 or less. FIG. 2 is a diagram illustrating global TM processing by piecewise linear functions. The TM parameter thus calculated is subjected to tone mapping processing (TM processing) for L that has been scale-converted by a scale factor calculated from the average logarithmic luminance value and gray level a, resulting in an SDR output Ld. The scale transform is calculated as follows.
また、図３にトーンマッピング処理全体ブロック図を示す。ＨＤＲ入力として、輝度色差ＹＣｂＣｒ形式の映像を処理する場合には、ＨＤＲ入力を輝度色差ＹＣｂＣｒからＲＧＢに変換して（ＹＣｂＣｒ→ＲＧＢ変換）、RGB毎にEOTF（電気－光変換関数）によるレベル変換を行い、リニアＲＧＢに変換する。リニアＲＧＢをさらに、xyY色空間に変換して、輝度値Ｙのみをトーンマッピング処理する（スケール変換＆ＴＭ処理）。トーンマッピング処理によりＳＤＲ変換された輝度値とｘｙ値を再びＲＧＢ値に戻す（ｘｙＹ→ＲＧＢ変換）。ＳＤＲ変換されたＲＧＢをOETF(光－電気変換関数)によりレベル変換して、さらに輝度色差ＹＣｂＣｒに変換して（ＲＧＢ→ＹＣｂＣｒ変換）、ＳＤＲ出力する。 Also, FIG. 3 shows an overall block diagram of tone mapping processing. When processing a video in the luminance and color difference YCbCr format as an HDR input, the HDR input is converted from the luminance and color difference YCbCr to RGB (YCbCr → RGB conversion), and level conversion is performed by EOTF (electrical-optical conversion function) for each RGB. to convert to linear RGB. Linear RGB is further converted into the xyY color space, and only the luminance value Y is subjected to tone mapping processing (scale conversion & TM processing). The luminance values and xy values that have been SDR-converted by tone mapping processing are returned to RGB values again (xyY→RGB conversion). The SDR-converted RGB are level-converted by an OETF (optical-electrical conversion function), further converted into luminance/color difference YCbCr (RGB→YCbCr conversion), and output in SDR.
また、図４に、トーンマッピング処理（ＴＭ処理）のブロック図を示す。画素値のエッジ強度を最大化するように計算されたトーンマッピングパラメータ（ＴＭパラメータ）は、入力区分点に対する出力区分点として与えられる。区分点間を直線で接続された区分線形関数により表される。スケール変換されたＴＭ処理へのＴＭ入力は、最大輝度値を再帰的に２分割することにより決定された入力区分点のいずれの区分点間隔に属するかを判別される（入力区分アドレス計算）。 Also, FIG. 4 shows a block diagram of tone mapping processing (TM processing). Tone mapping parameters (TM parameters) calculated to maximize the edge strength of the pixel values are given as the output segment points for the input segment points. It is represented by a piecewise linear function with straight lines connecting the piecewise points. The scaled TM input to the TM process is determined to which partition point interval of the input partition points determined by recursively dividing the maximum luminance value by two (input partition address calculation).
入力画素値の属する区分点間隔を示すアドレスをＴＭパラメータ計算結果を格納したゲインオフセットLUT（ルックアップテーブル）に入力する。ゲインオフセットLUTから出力されるＴＭパラメータ計算結果に基づく該当するゲイン・オフセット値によりＴＭ入力画素はゲインオフセット補正されて（ゲインオフセット補正）、ＳＤＲ変換されたＴＭ出力になる。トーンマッピング処理（ＴＭ処理）は、エッジ強度最大化するように計算されたトーンマッピングパラメータ（ＴＭパラメータ）による処理だけではなく、リニア変換、ハードクリップ変換、ニー変換等、様々なトーンマッピング処理を行う場合も同様である。 An address indicating the segment point interval to which the input pixel value belongs is input to a gain offset LUT (lookup table) storing the TM parameter calculation result. The TM input pixels are gain-offset corrected (gain-offset correction) by the corresponding gain-offset value based on the TM parameter calculation results output from the gain-offset LUT, resulting in the SDR-converted TM output. Tone mapping processing (TM processing) performs not only processing using tone mapping parameters (TM parameters) calculated to maximize edge strength, but also various tone mapping processing such as linear conversion, hard clip conversion, and knee conversion. The same is true for the case.
また、図５に画面全体を一様にレベル変換するグローバルＴＭ処理における従来トーンマッピング処理のブロック図を示す。比較のために、リニア変換、ハードクリップ変換、ニー変換等のトーンマッピング処理においても、全画素の対数輝度値の平均とグレイレベルによるスケール変換を行った輝度値に対してトーンマッピング処理を行うものとするが、図１のエッジ強度最大化トーンマッピング処理と比較して、画素値のエッジ強度を計算して、トーンマッピングパラメータ（ＴＭパラメータ）を計算する処理は行っていないことに注意する。次に表１及び図６において、リニア変換、ハードクリップ変換、ニー変換、ReinhardグローバルＴＭの各式の表と各関数の一例をグラフ表示して説明する。 FIG. 5 shows a block diagram of conventional tone mapping processing in global TM processing for uniformly level-converting the entire screen. For comparison, even in tone mapping processing such as linear conversion, hard clip conversion, and knee conversion, tone mapping processing is performed on the luminance value that has been scaled by the average of the logarithmic luminance values of all pixels and the gray level. However, unlike the edge intensity maximizing tone mapping process in FIG. 1, it should be noted that the process of calculating the edge intensity of the pixel value and calculating the tone mapping parameter (TM parameter) is not performed. Next, with reference to Table 1 and FIG. 6, an example of the tables of the linear conversion, the hard clip conversion, the knee conversion, and the Reinhard global TM and the respective functions will be described graphically.
図６は、リニア変換、ハードクリップ変換、ニー変換、ReinhardグローバルＴＭの一例を示す図である。横軸は入力輝度値Lであり、縦軸は出力輝度値Ldである。いずれも、画素値２５５を１．０とする正規化を行っている。入力区分点は、ＨＤＲ画像における最大輝度値レベルを再帰的に２分割して、最小区分点が０．０１以下になるまで繰り返すことにより決定した。ニー変換におけるニー関数のニーポイントＰ＝０．９、ニースロープｄ=１、上限値ａ＝１への到達点bを入力ＨＤＲ画像の最大値qmax=１２．９９２とした。ReinhardグローバルＴＭ関数におけるLwhiteを入力ＨＤＲ画像における最大値とした。 FIG. 6 is a diagram showing an example of linear transformation, hard clip transformation, knee transformation, and Reinhard global TM. The horizontal axis is the input luminance value L, and the vertical axis is the output luminance value Ld. In both cases, normalization is performed with the pixel value 255 set to 1.0. The input segmentation points were determined by recursively dividing the maximum luminance value level in the HDR image into two and repeating until the minimum segmentation point became 0.01 or less. The knee point P=0.9 of the knee function in the knee transformation, the knee slope d=1, and the reaching point b to the upper limit value a=1 were set to the maximum value qmax=12.992 of the input HDR image. Lwhite in the Reinhard global TM function was taken as the maximum value in the input HDR image.
また、図７は、エッジ強度最大化ＴＭ処理における正則化パラメータλ，μを決定するための事前の最適パラメータ学習のブロック図である。正則化パラメータλ，μは、ＳＤＲ変換画像におけるエッジ強度を優先するリニア変換と平均輝度値を優先するハードクリップ変換のトレードオフを決めるものである。これを複数のＨＤＲ画像を学習用画像として、探索により決定した正則化パラメータと画像から抽出したヒストグラム特徴ベクトルにより、最適パラメータ学習として、λ，μを予測する式を生成する。 Also, FIG. 7 is a block diagram of prior optimal parameter learning for determining regularization parameters λ and μ in edge strength maximization TM processing. The regularization parameters λ and μ determine the trade-off between linear conversion that gives priority to edge strength and hardclip conversion that gives priority to average luminance value in an SDR converted image. A plurality of HDR images are used as learning images, and an equation for predicting λ and μ is generated as optimal parameter learning using regularization parameters determined by searching and histogram feature vectors extracted from the images.
正則化パラメータλ，μの探索による決定方法は図９乃至図１２の正則化パラメータλ，μの決定方法に説明している。ＴＭパラメータの計算結果がReinhardグローバルＴＭによる平均輝度値を越えず、かつ単調増加を満たす最小値となるように決定する。そのようにして決定したλ，μ値を画像から抽出したヒストグラム特徴ベクトルに対する予測式として計算する。予測式を計算するための予測器には、線形重回帰、多層パーセプトロン（ニューラルネットワーク）、サポートベクターマシン等を用いることができる。 The method for determining the regularization parameters λ and μ by searching is described in the method for determining the regularization parameters λ and μ in FIGS. 9 to 12 . The calculation result of the TM parameter is determined so as not to exceed the average brightness value by Reinhard global TM and to be the minimum value that satisfies monotonically increasing. The λ and μ values thus determined are calculated as a prediction formula for the histogram feature vector extracted from the image. Linear multiple regression, multi-layer perceptron (neural network), support vector machine, etc. can be used as a predictor for calculating the prediction formula.
図８は、事前の正則化パラメータの最適パラメータ学習の結果を用いて、正則化パラメータをヒストグラム特徴から予測して、エッジ強度最大化ＴＭ処理するブロック図である。ＨＤＲ入力からヒストグラム特徴を抽出して（ヒストグラム特徴抽出）、ヒストグラム特徴ベクトルｈから正則化パラメータλ，μを予測計算して（正則化パラメータ予測）、エッジ強度最大化ＴＭ処理へ入力する。エッジ強度最大化ＴＭ処理は、ＨＤＲ入力を処理して、ＳＤＲ変換されたＳＤＲ出力を出力する。 FIG. 8 is a block diagram of edge strength maximization TM processing by estimating a regularization parameter from a histogram feature using the result of optimal parameter learning of the regularization parameter in advance. A histogram feature is extracted from the HDR input (histogram feature extraction), regularization parameters λ and μ are predicted from the histogram feature vector h (regularization parameter prediction), and input to the edge strength maximization TM process. The edge-strength maximization TM process processes the HDR input and outputs an SDR-transformed SDR output.
（エッジ強度最大化による最適トーンマッピングについて）
（Ａｂｓｔｒａｃｔ）
(Regarding optimal tone mapping by maximizing edge strength)
(Abstract)
ハイダイナミックレンジ（ＨＤＲ）画像をトーンマッピング(Tone Mapping，ＴＭ）処理した結果の標準ダイナミックレンジ（ＳＤＲ）画像におけるエッジ強度を最大化するＴＭパラメータを計算する。ＳＬＴ（Slice Transform)モデルにより定義されたグローバルＴＭ処理を正則化により、エッジ強度を優先するリニア変換と平均輝度値を優先するハードクリップ変換のトレードオフとして、ＨＤＲ入力画像から自動的に決定するものであり、解は最小二乗法により閉形式として得られる。
（１ はじめに）
A TM parameter is calculated that maximizes edge strength in a standard dynamic range (SDR) image resulting from tone mapping (TM) a high dynamic range (HDR) image. By regularizing the global TM processing defined by the SLT (Slice Transform) model, it is automatically determined from the HDR input image as a trade-off between linear transformation that prioritizes edge strength and hardclip transformation that prioritizes average luminance value. and the solution is obtained as a closed form by the least squares method.
(1 Introduction)
次世代テレビ放送としての4K/8K(スーパーハイビジョン（後述文献リスト［１２］参照、以下同様)超高精細映像は、解像度だけではなく、広色域、高フレームレート、高ビット深度がＩＴＵ－Ｒ勧告BT.2020（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange (2014)）として規定されている。映像の明るさを拡張するハイダイナミックレンジ(ＨＤＲ)も、拡張された信号レベルを圧縮するための非線形の伝達関数がITU-R勧告BT.2100（Recommendation ITU-R BT.2 100，Image parameter values for high dynamic range television for use in production and international programme exchange (2016)）として規定された。 4K/8K (Super Hi-Vision (see Reference List [12] below, the same shall apply hereinafter)) ultra-high-definition video as the next-generation television broadcast has not only resolution, but also a wide color gamut, high frame rate, and high bit depth. Stipulated as Recommendation BT.2020 (Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international program exchange (2014)) High dynamic range that extends the brightness of images (HDR) also uses a non-linear transfer function to compress the extended signal level according to ITU-R Recommendation BT.2100 (Recommendation ITU-R BT.2 100, Image parameter values for high dynamic range television for use in production and international program exchange (2016)).
4K/8K放送におけるＨＤコンテンツのリパーパス(repurpose)のためには、解像度変換が必要になる。近年、超解像技術が盛んに研究されている［１３］。その処理の多くは反復によるものであるが、松永は画像の局所的な時間空間方向による補間の重み付け平均とマルチスケール化した非線形エンハンサによる１パスビデオ超解像を提案した［９］。趙・松永［１６］は１パスビデオ超解像処理をＧＰＵにより高速化した。 Resolution conversion is required for the repurpose of HD content in 4K/8K broadcasting. In recent years, super-resolution technology has been actively studied [13]. Matsunaga proposed one-pass video super-resolution using a multi-scaled nonlinear enhancer and a weighted average of interpolation according to the local spatio-temporal direction of the image [9]. Zhao and Matsunaga [16] accelerated one-pass video super-resolution processing with GPU.
放送事業者は、現行地上デジタル放送はＨＤであっても、将来を見据えた4Kでのコンテンツ制作に取り組み始めている。４Ｋ・８Ｋ実用放送開始後も、ＨＤ放送を併存、継続していくことになると、4K/8K解像度・色域で収録した映像コンテンツを、逆にＨＤ解像度・色域へ変換しなければならない。ここで問題となるのは色域の変換であり、より広範囲な色域を持つ4K/8Kコンテンツを、より狭い色域のＨＤコンテンツに変換しなければならない。色域の変換は、プリンタやディスプレイヘカラー表示するための色域（ガマット）マッピング（Gamut Mapping、ＧＭ）処理が、カラーマネジメント技術として研究されてきた［４，１１］。 Broadcasters are beginning to work on content production in 4K, looking ahead to the future, even though the current terrestrial digital broadcasting is HD. Even after the start of 4K/8K practical broadcasting, if HD broadcasting is to coexist and continue, video content recorded in 4K/8K resolution and color gamut must be converted to HD resolution and color gamut. The problem here is color gamut conversion, and 4K/8K content with a wider color gamut must be converted into HD content with a narrower color gamut. Gamut mapping (GM) processing for color display on printers and displays has been studied as a color management technique [4, 11].
松永［１０］は、次世代テレビ放送4K/8K(スーパーハイビジョン）におけるBT.2020色空間から、現行地上デジタル放送におけるBT.709（Recommendation ITU-R BT.709-5,Parameter values for the HDTV standards for production and international programme exchange （04/2002））色空間へ色域の変換を行うために、均等色空間であるＣＩＥＬＡＢ表色系にて、色相毎に最大色差平均の最小化による色域マッピング値を計算した。そして、RGB表色系を入出力とする３次元ルックアップテーブル（３ＤＬＵＴ）補間［７］による計算精度を実験的に評価した。 Matsunaga [10] changed the color space from BT.2020 for next-generation television broadcasting 4K/8K (Super Hi-Vision) to BT.709 for current terrestrial digital broadcasting (Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international program exchange (04/2002)) In order to convert the color gamut to the color space, in the CIELAB color system, which is a uniform color space, the color gamut mapping value by minimizing the average maximum color difference for each hue was calculated. Then, we experimentally evaluated the calculation accuracy by the three-dimensional lookup table (3DLUT) interpolation [7] using the RGB color system as input and output.
近年、さらに、映像の明るさを拡張するハイダイナミックレンジ（ＨＤＲ）に注目が集まっている。ＨＤＲ映像は100％を越える信号レベルを様々な非線形の伝達関数によりレベル変換したものを、圧縮・伝送し、これを受像機側で元の信号レベル（リニアＲＧＢ）に戻して高輝度表示するものである。最新のカメラでは、イメージセンサの進化により、これまでのダイナミックレンジを越えて撮像することが可能となっており、『表示装置の技術向上により、『黒』の表示輝度は変えず、表示装置の最大輝度（ピーク輝度）を増大すること（ダイナミックレンジを拡張すること）が可能となった」「再現範囲が広かった領域をハイライト再現に用い、新たな視聴体験を提供する」「現実に近いハイライト再現（鏡面反射や光沢の再現）、ハイライト部の白飛びなどの改善効果がある」とされている（総務省「情報通信審議会情報通信技術分科会ＩＴＵ部会放送業務委員会（第19回）配付資料」,２０１５年９月２日開催。http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/joho_tsusin/docs_Broadcast/02ryutsu08_03000224.html）。そして、解像度、色域同様にＨＤＲ制作されたコンテンツのＳＤＲ映像への変換が必要とされている。 In recent years, more attention has been focused on high dynamic range (HDR), which extends the brightness of images. HDR video is a signal level that exceeds 100% is level-converted by various non-linear transfer functions, compressed and transmitted, and returned to the original signal level (linear RGB) on the receiver side for high-brightness display. is. With the latest cameras, the evolution of image sensors has made it possible to capture images beyond the dynamic range of the past. It has become possible to increase the maximum luminance (peak luminance) (extend the dynamic range).” “Use areas with a wide reproduction range to reproduce highlights, providing a new viewing experience.” “Close to reality.” It has the effect of improving highlight reproduction (reproduction of specular reflection and gloss) and overexposure in highlights." (Ministry of Internal Affairs and Communications, Information and Communications Council 19th) Handout”, September 2, 2015. In addition, there is a need to convert HDR-produced content into SDR video in the same way as resolution and color gamut.
ＨＤＲ画像をＳＤＲ画像に変換する処理は、トーンマッピング(Tone Mapping、ＴＭ）と呼ばれて、グラフィックスの分野で多くの研究がなされており、様々な手法が提案されている［１５］。 The process of converting an HDR image into an SDR image is called tone mapping (TM), and much research has been done in the field of graphics, and various techniques have been proposed [15].
放送で用いることを考えると、画像全体に対して一様なレベル変換を行うグローバルＴＭ処理が処理速度の観点からは優位である。カメラ内部でも、古くからダイナミックレンジ圧縮として、ニー（Ｋｎｅｅ）と呼ばれる処理が用いられてきた（後述の（付録Ｂ）ご参照）。 Considering the use in broadcasting, global TM processing that performs uniform level conversion for the entire image is superior from the viewpoint of processing speed. A process called Knee has long been used inside a camera as dynamic range compression (see (Appendix B) described later).
しかし、グローバルＴＭ処理を行うにしても、そのレベル変換を行う関数はどのように決定すればよいのかについては、従来、様々な関数が提案されているものの、ある方法とある方法のどちらがよいかを客観的、定量的に評価する方法は知られていない。すなわち、従来の評価方法としては、主観的な評価によるものがあるが［８］、定量的に評価することは難しい。本書面は、それらの従来課題に答えるものであり、グローバルＴＭ処理した結果のＳＤＲ画像におけるエッジ強度を最大化するＴＭパラメータをＨＤＲ入力画像から自動的に決定する。 However, even if global TM processing is to be performed, as to how to determine the function that performs the level conversion, various functions have been proposed in the past. There is no known method for objectively and quantitatively evaluating the That is, as a conventional evaluation method, there is a method based on subjective evaluation [8], but it is difficult to evaluate quantitatively. This document addresses these conventional problems by automatically determining TM parameters from an HDR input image that maximize edge strength in an SDR image resulting from global TM processing.
本書面の構成は、２章で、エッジ強度を最大化するためのトーンマッピングについて説明する。はじめに、ＳＬＴ(Slice Transform)モデル［５］によるグローバルＴＭ処理を定義して、その処理結果のＳＤＲ画像におけるエッジ強度による目的関数を決定する。そして、エッジ強度による目的関数を最小化するグローバルＴＭパラメータをＨＤＲ入力画像から計算する。計算の安定化のために、正則化項［２］を導入するが、これは、エッジ強度を優先するリニア変換によるトーンマッピングと平均輝度値を優先するハードクリップ変換によるトーンマッピングのトレードオフになる。最終的な目的関数をベクトル行列形式で書き直して、最小二乗法による閉形式の解を導出する。３章で画像シミュレーションを行う。リニア変換、ハードクリップ変換、ニー変換、ReinhardグローバルＴＭ［１４，１５］、そして、エッジ強度最大化ＴＭによるＳＤＲ変換画像の結果における平均輝度値とエッジ強度により比較する。また、４章で総括してまとめを記載する。
In the structure of this document,
（２ エッジ強度最大化によるトーンマッピング） (2 Tone mapping by edge strength maximization)
ＴＭ処理結果のＳＤＲ画像におけるエッジ強度を最大化するようなＴＭパラメータｐを計算する。入力区分点ｑは予め与えられているとする。したがって，次の目的関数Ｊを最小化する。 A TM parameter p is calculated that maximizes the edge strength in the SDR image resulting from TM processing. Assume that the input segment point q is given in advance. Therefore, the following objective function J is minimized.
（３ 画像シミュレーション）
評価用ＨＤＲ画像（The ＨＤＲ Photographic Survey, http://rit-mcsl.org/fairchild//ＨＤＲ.html及びCreating cinematic wide gamut ＨＤＲ-video for the evaluation of tone mapping operators and ＨＤＲ-displays［３］,https://hdr-2014.hdm-stuttgart.de/）（ＯｐｅｎＥＸＲ（http://www.openexr.com/））20枚を、リニア変換、ハードクリップ変換、ニー変換、ReinhardグローバルＴＭ［１４，１５］、エッジ強度最大化ＴＭにより、ＳＤＲ画像(8ビット,[0,255])に変換する。ＲＧＢ表色系からｘｙＹ表色系へ変換して、輝度値Ｙのみ処理した結果をＲＧＢ値に戻す［１５］。各グローバルＴＭ処理は、対数輝度値の平均値と最大最小値から決定した係数［１５］を修正した値によりスケール変換した輝度値Ｙに対して行う。ニー変換におけるニー関数,ReinhardグローバルＴＭ処理を後述の（付録Ｂ，Ｃ）に示す。
(3 Image simulation)
HDR images for evaluation (The HDR Photographic Survey, http://rit-mcsl.org/fairchild//HDR.html and Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays [3], https ://hdr-2014.hdm-stuttgart.de/) (OpenEXR (http://www.openexr.com/)) 20 sheets, linear conversion, hard clip conversion, knee conversion, Reinhard global TM [14, 15 ], to an SDR image (8 bits, [0, 255]) by edge strength maximization TM. The RGB color system is converted to the xyY color system, and the result of processing only the luminance value Y is returned to the RGB value [15]. Each global TM process is performed on the luminance value Y scale-transformed by a modified value of the coefficient [15] determined from the average value of the logarithmic luminance values and the maximum and minimum values. Knee functions in knee transformation and Reinhard global TM processing are shown in (Appendices B and C) described later.
図１３（ａ）は、評価用ＨＤＲ画像の１枚(図１４)の正則化パラメータλ，μ＝１０として、その比率を１０：０～０：１０まで変えたときのエッジ強度最大化ＴＭパラメータｐの計算結果を表示したものである。入力区分点ｑはＨＤＲ画像における最大輝度値レベルを再帰的に２分割して、最小区分点が０．０１以下になるまで繰り返すことにより決定した。パラメータ計算に用いる画素は全画素に対して、水平１画素垂直１ラインおきにサンプリングした。比率を変えることにより、ハードクリップ変換からリニア変換まで変化している。 FIG. 13(a) shows the edge strength maximizing TM parameters when the regularization parameters λ and μ=10 of one HDR image for evaluation (FIG. 14) are changed and the ratio is changed from 10:0 to 0:10. The calculation result of p is displayed. The input segment point q was determined by recursively dividing the maximum luminance value level in the HDR image into two and repeating until the minimum segment point became 0.01 or less. The pixels used for parameter calculation are sampled every other horizontal pixel and vertical line for all pixels. By changing the ratio, it changes from a hard-clip transform to a linear transform.
また、図１３（ｂ）は、λ，μの比率を３．３：６．７に固定して、それぞれの大きさを33～3.3×10－４，67～6.7×10－４まで変えたときのｐの計算結果を表示したものである。比率は、ＳＤＲ変換画像における平均輝度値がReinhardグローバルＴＭによる平均輝度値を越えないように選んだ。λ，μの大きさにより、ＴＭ関数の形が微妙に変化しており、そのときのλ，μ値におけるエッジ強度を最大化するようにｐが計算される。λ，μが大きくなるに従い、データとしての画素値のエッジ強度によらず、ハードクリップ変換とリニア変換を３．３：６．７で混合した結果(Mix)に近づく。λ，μが小さ過ぎると、正則化の効果が得られず、計算結果は不安定となり、大きく変動する。λ＝0.0033，μ＝0.0067としたときに、ｐの計算結果がReinhardグローバルＴＭによる平均輝度値を越えず、かつ単調増加を満たす最小値となった。最終的なＴＭ関数によるＳＤＲ変換画像の結果は、図１４に示す。その他の評価用ＨＤＲ画像も同様にしてλ，μの値を決定する。 In addition, in FIG. 13(b), the ratio of λ and μ was fixed at 3.3:6.7, and the respective sizes were changed from 33 to 3.3×10 −4 and from 67 to 6.7×10 −4 . It displays the calculation result of p at time. The ratio was chosen so that the average luminance value in the SDR transformed image does not exceed the average luminance value according to Reinhard Global™. The shape of the TM function subtly changes depending on the magnitudes of λ and μ, and p is calculated so as to maximize the edge strength at the λ and μ values at that time. As .lambda. and .mu. increase, the result approaches the result (Mix) obtained by mixing the hard clip transform and the linear transform at 3.3:6.7 regardless of the edge intensity of the pixel value as data. If λ and μ are too small, the effect of regularization cannot be obtained, and the calculation result becomes unstable and fluctuates greatly. When λ=0.0033 and μ=0.0067, the calculation result of p was the minimum value satisfying the monotonically increasing value without exceeding the average brightness value by Reinhard global TM. FIG. 14 shows the final result of the SDR transformed image by the TM function. The values of λ and μ are similarly determined for other HDR images for evaluation.
図１３（ｃ）は、そのようにして決定したλ，μによる評価用ＨＤＲ画像２０枚のエッジ強度最大化ＴＭパラメータｐの計算結果を重ねて表示したものである（ただし、最大輝度値を１．０とする正規化をしている）。ｐの計算結果は変動しており、ＨＤＲ入力画像に適応している。 FIG. 13(c) shows the calculation results of the edge strength maximizing TM parameter p of the 20 HDR images for evaluation based on λ and μ determined in this way (however, the maximum luminance value is 1 .0). The computation of p varies and adapts to the HDR input image.
図１３（ｄ）は、トーンマッピング関数によるＳＤＲ変換画像における平均輝度値とＬＤＲ／ＨＤＲエッジ強度、エッジ強度相乗平均の平均・標準偏差の結果をグラフ表示したものである。ＨＤＲ入力画像における入力区分点ｑによる最大２区間［ｑｎ－２，ｑｎ］の画素値と同じ座標に対して計算したものをＨＤＲエッジ強度、それ以外の面素値と同じ座標に対して計算したものをＬＤＲエッジ強度として、それぞれ次のように計算する。 FIG. 13D is a graph showing the results of average luminance value, LDR/HDR edge strength, and average/standard deviation of edge strength geometric mean in the SDR converted image by the tone mapping function. The HDR edge intensity calculated for the same coordinates as the pixel values of the maximum two sections [q n−2 , q n ] by the input segment point q in the HDR input image, and the other surface element values for the same coordinates The calculated values are used as LDR edge strengths, and calculated as follows.
ここで、ＮＨ，ＮＬはそれぞれＳＤＲ変換画像におけるＨＤＲ／ＬＤＲエッジ強度を計算する画素数である。グラフの横軸が平均輝度値(Average Luminance)、縦軸がエッジ強度相乗平均(Edge Power Geometric Mean， Here, N H and N L are the numbers of pixels for calculating the HDR/LDR edge strength in the SDR converted image, respectively. The horizontal axis of the graph is the average luminance value (Average Luminance), and the vertical axis is the edge power geometric mean (Edge Power Geometric Mean).
)であり、エラーバーは各標準偏差を表す。［表２］にＳＤＲ変換画像における平均輝度値とエッジ強度、およびＬＤＲ／ＨＤＲエッジ強度の相乗平均の平均・標準偏差の結果を数値で示す。表中括弧内は標準偏差である。 ) and error bars represent the respective standard deviations. [Table 2] numerically shows the average luminance value and edge strength in the SDR-converted image, and the mean and standard deviation of the geometric mean of the LDR/HDR edge strength. The standard deviation is shown in parentheses in the table.
リニア変換はＨＤＲエッジ強度が最大であるが、平均輝度値が低く、視認性が著しく悪い。ハードクリップ変換は最も明るく、視認性が良いものの、ＨＤＲエッジ強度が著しく低く、ＨＤＲ画素はクリップにより階調が失われていることが明らかである。ニー変換、ReinhardグローバルＴＭ（ニー変換におけるニー関数のニーポイントp＝０．９，ニースロープｄ＝１，上限値ａ＝１への到達点ｂを入力ＨＤＲ画像の最大値とした。ReinhardグローバルＴＭ関数におけるＬｗｈｉｔｅをＨＤＲ入力画像における最大値とした。それぞれ後述する（付録Ｂ，Ｃ）参照。）、エッジ強度最大化ＴＭによる結果は、その中間様を示しているが、エッジ強度最大化ＴＭによる結果が、ＳＤＲ変換画像におけるＨＤＲエッジ強度がリニア変換に次いで大きく、エッジ強度相乗平均が最大であり、ＨＤＲ画素の階調が保存されていると期待される。 The linear conversion has the maximum HDR edge strength, but the average luminance value is low and the visibility is extremely poor. The hard-clipped conversion is the brightest and has the best visibility, but the HDR edge strength is noticeably lower, and it is clear that the HDR pixels have lost their gradation due to clipping. Knee transformation, Reinhard global TM (Knee function knee point p = 0.9, knee slope d = 1, reaching point b to upper limit a = 1 in knee transformation was taken as the maximum value of the input HDR image. Reinhard global TM L white in the function was taken as the maximum value in the HDR input image (see Appendices B and C), respectively.), the results from the edge-strength maximization TM show an intermediate result, but the edge-strength maximization TM , the HDR edge strength in the SDR converted image is the second largest after the linear conversion, the edge strength geometric mean is the largest, and the gradation of HDR pixels is expected to be preserved.
図１４、図１５、図１６は、ＳＤＲ変換画像例である。それぞれ１段目左から、ＨＤＲ入力画像を擬似カラー表示［１］したもの、各トーンマッピング関数、および各トーンマッピング関数によるエッジ強度のグラフである。２段目左から、リニア変換、ハードクリップ変換、ReinhardグローバルＴＭ、エッジ強度最大化ＴＭによるＳＤＲ変換画像の結果である。リニア変換による結果は全体に暗く、逆にハードクリップ変換による結果は明るい。ReinhardグローバルＴＭとエッジ強度最大化ＴＭによる結果はその中間様であり、ＨＤＲ画素の階調が保存されているが、エッジ強度最大化ＴＭの方が、エッジ強度相乗平均が大きく、コントラストが強調されている。３段目は、各変換によるＳＤＲ変換画像のエッジ強度画像である。リニア変換による結果は明るさは暗いものの、エッジ情報としてはすべて保存されている。逆に、ハードクリップ変換による結果は明るいものの、ＨＤＲ画素におけるエッジ情報はクリップにより失われている。 14, 15, and 16 are examples of SDR-converted images. From left to right in the first row, the HDR input image is displayed in pseudo color [1], each tone mapping function, and a graph of edge intensity by each tone mapping function. The second row from the left shows the results of SDR conversion images by linear conversion, hard clip conversion, Reinhard global TM, and edge strength maximization TM. The linear conversion results in a darker overall image, while the hardclip conversion results in a brighter image. The results from Reinhard global TM and edge-strength-maximization TM are in-between, preserving HDR pixel tonality, while edge-strength-maximization TM provides higher edge-strength geometric mean and enhanced contrast. ing. The third row shows the edge intensity images of the SDR transformed images by each transformation. The result of linear conversion is dark, but all edge information is preserved. Conversely, edge information in HDR pixels is lost due to clipping, although the hardclip transform results in a brighter result.
（４ まとめ）
ハイダイナミックレンジ（ＨＤＲ）画像をトーンマッピング(Tone Mapping，ＴＭ）処理した結果の標準ダイナミックレンジ（ＳＤＲ）画像におけるエッジ強度を最大化するＴＭパラメータを計算した。ＳＬＴ（Slice Transform)モデルにより定義されたグローバルＴＭ処理を正則化により、エッジ強度を優先するリニア変換と平均輝度値を優先するハードクリップ変換のトレードオフとして、ＨＤＲ入力画像から自動的に決定するものであり、解は最小二乗法により閉形式として得られる。リニア変換、ハードクリップ変換、ReinhardグローバルＴＭによるＳＤＲ変換画像における平均輝度値とエッジ強度により比較評価した。
(4 Summary)
TM parameters were calculated to maximize edge strength in standard dynamic range (SDR) images resulting from tone mapping (TM) processing of high dynamic range (HDR) images. By regularizing the global TM processing defined by the SLT (Slice Transform) model, it is automatically determined from the HDR input image as a trade-off between linear transformation that prioritizes edge strength and hardclip transformation that prioritizes average luminance value. and the solution is obtained as a closed form by the least squares method. Comparative evaluation was made using average luminance values and edge strengths in linear conversion, hard clip conversion, and SDR conversion images by Reinhard global TM.
輝度値のスケール変換係数、正則化パラメータ等の超パラメータが存在している。これをＴＭパラメータｐ同様、画像自身から自動的に決定したい。正則化パラメータλ，μはReinhardグローバルＴＭ関数を基準として、探索により決定している。これには、正則化パラメータの決定に用いられるベイズ推定［２］の適用が期待される。
今後の課題としては。
・ベイズ推定等による超パラメータの自動決定
・マルチコアＣＰＵ／ＧＰＵ／ＦＰＧＡによる実装とＨＤＲ映像のリアルタイム処理
が挙げられる。
There are hyper-parameters such as a scaling factor for luminance values, a regularization parameter, and so on. Like the TM parameter p, we want to automatically determine this from the image itself. The regularization parameters λ and μ are determined by searching based on the Reinhard global TM function. This is expected to apply Bayesian estimation [2], which is used to determine the regularization parameter.
As an issue for the future.
・Automatic determination of hyperparameters by Bayesian estimation, etc. ・Real-time processing of HDR images and implementation by multi-core CPU/GPU/FPGA.
（参考文献リスト）下記各文献冒頭の［番号］は、本文中の文献［番号］に対応します。
［１］A. O. Akyuz, False color visualization for HDR images, Proceedings of First International Conference and SME Workshop on HDR imaging (HDRi2013),Porto,Portugal,pp.26-30 (April 2013).
［２］C. M. Bishop, Pattern Recognition and Machine Learning, Springer 2006.元田 浩(監訳),「パターン認識と機械学習（上・下）」丸善出版, 2012年4月.
［３］J. Froehlich, S. Grandinetti, B. Eberhardt, S. Walter, A. Schilling, and H. Brendel, Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays, Proceedings of SPIE 9023, Digital Photography X, 90230X (March 7, 2014).
［４］画像電子学会編，「カラーマネジメント技術一拡張色空間とカラーアピアランス」,東京電機大学出版局, 2008年７月．
［５］Y. Hel-Or and D. Shaked, A discriminative approach for wavelet denoising, IEEE Transactions on Image Processing, 17-4 (April 2008), 443-457.
［６］金谷 健一，「これなら分かる最適化数学一基礎原理から計筧手法まで一」共立出版，2005年9月．
［７］H. R. Kang, Computational Color Technology, SPIE Publications, May 2006.
［８］P. Ledda, A. Chalmers, T. Troscianko, and H. Seetzen, Evaluation of tone mapping operators using a high dynamic range display, A CM Transactions on Graphics- Proceedings of ACM SIGGRAPH 2005, 24-3, pp. 640-648 (July 2005).
［９］松永 力,時間空間方向性補間とマルチスケール非線形工ンハンサによる１パスビデオ超解像,第20回画像センシングシンポジウム(SSII2014)講演論文集,横浜(パシフィコ横浜), 2014年６月.
［１０］松永 力,広色域映像のための最適色域マッピング,第22回画像センシングシンポジウム(SSII2016)講演論文集，横浜(パシフィコ横浜), 2016年６月.
［１１］J. Morovic, Color Gamut Mapping, John Wiley & Sons Ltd., August 2008.
［１２］日本放送協会，「スーパーハイビジョン映像技術」特集号, NHK技研R&D, No. 137, 2013年１月．
［１３］S. C. Park, M. K. Park, and M. G. Kang, Super-resolution image reconstruction: A technical overview, IEEE Signal Processing Magazine, 20-3 (May 2003), 21-36.
［１４］E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, Photographic tone reproduction for digital images, ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2002, 21-3, pp. 267-276 (July 2002).
［１５］E. Reinhard, G. Ward, S. Pattanaik, and P. Debevec, High Dynamic Range Imaging: Acquisition, Display, and Image-based Lighting, Amsterdam, Elsevier/Morgan Kaufmann, 2005.
［１６］趙 延軍，松永 力, MXFファイルに対応した１パスビデオ超解像アップ変換のＧＰＵによる高速化, GPUテクノロジ・カンファレンス(ＧＴＣ Japan 2014), 2014-8008,東京(東京ミッドタウンホール＆カンファレンス), 2014年7月．
(Reference list) The [number] at the beginning of each document below corresponds to the document [number] in the text.
[1] AO Akyuz, False color visualization for HDR images, Proceedings of First International Conference and SME Workshop on HDR imaging (HDRi2013), Porto, Portugal, pp.26-30 (April 2013).
[2] CM Bishop, Pattern Recognition and Machine Learning, Springer 2006. Hiroshi Motoda (translation supervised), "Pattern Recognition and Machine Learning (
[3] J. Froehlich, S. Grandinetti, B. Eberhardt, S. Walter, A. Schilling, and H. Brendel, Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays, Proceedings of SPIE 9023, Digital Photography X, 90230X (March 7, 2014).
[4] Institute of Image Electronics Engineers of Japan, "Color Management Technology - Expanded Color Space and Color Appearance", Tokyo Denki University Press, July 2008.
[5] Y. Hel-Or and D. Shaked, A discriminative approach for wavelet denoising, IEEE Transactions on Image Processing, 17-4 (April 2008), 443-457.
[6] Kenichi Kanaya, "Optimization Mathematics That You Can Understand -From Basic Principles to Planning Methods-" Kyoritsu Shuppan, September 2005.
[7] HR Kang, Computational Color Technology, SPIE Publications, May 2006.
[8] P. Ledda, A. Chalmers, T. Troscianko, and H. Seetzen, Evaluation of tone mapping operators using a high dynamic range display, ACM Transactions on Graphics- Proceedings of ACM SIGGRAPH 2005, 24-3, pp. 640-648 (July 2005).
[9] Tsutomu Matsunaga, One-pass video super-resolution by spatio-temporal directional interpolation and multi-scale nonlinear enhancement, Proceedings of the 20th Image Sensing Symposium (SSII2014), Yokohama (Pacifico Yokohama), June 2014.
[10] Tsutomu Matsunaga, Optimal color gamut mapping for wide color gamut video, Proceedings of the 22nd Image Sensing Symposium (SSII2016), Yokohama (Pacifico Yokohama), June 2016.
[11] J. Morovic, Color Gamut Mapping, John Wiley & Sons Ltd., August 2008.
[12] Japan Broadcasting Corporation, “Super Hi-Vision Video Technology” Special Issue, NHK STRL R&D, No. 137, January 2013.
[13] SC Park, MK Park, and MG Kang, Super-resolution image reconstruction: A technical overview, IEEE Signal Processing Magazine, 20-3 (May 2003), 21-36.
[14] E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, Photographic tone reproduction for digital images, ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2002, 21-3, pp. 267-276 (July 2002 ).
[15] E. Reinhard, G. Ward, S. Pattanaik, and P. Debevec, High Dynamic Range Imaging: Acquisition, Display, and Image-based Lighting, Amsterdam, Elsevier/Morgan Kaufmann, 2005.
[16] Yanjun Cho, Riki Matsunaga, Acceleration by GPU of 1-pass video super-resolution up-conversion for MXF files, GPU Technology Conference (GTC Japan 2014), 2014-8008, Tokyo (Tokyo Midtown Hall & Conference) ), July 2014.
（付録Ａ、付録Ｂ、付録Ｃ）
上述の実施形態で説明した開示内容は、その具体的な説明実例に限定されるものではなく、本発明の技術思想の範囲内において、当業者の知り得る公知技術または周知技術を適宜適用してアレンジして利用することが可能である。 The disclosure described in the above embodiments is not limited to the specific illustrative examples, and within the scope of the technical idea of the present invention, the known technology known to those skilled in the art or the well-known technology may be appropriately applied. It is possible to arrange and use.
本発明は、映像機器全般に適用可能であって、特にダイナミックレンジを拡大したＨＤＲ映像制作におけるダイナミックレンジ変換装置に好適である。また、受像機／映像再生機におけるＨＤＲ→ＳＤＲ変換機能等にも好適である。
INDUSTRIAL APPLICABILITY The present invention can be applied to video equipment in general, and is particularly suitable for a dynamic range conversion device in HDR video production with an expanded dynamic range. It is also suitable for the HDR→SDR conversion function in a receiver/video player.
Claims (9)
画面全体に対して一様なレベル変換を行うグローバルトーンマッピング関数を区分線形関数で表し、関数パラメータを変換結果のＳＤＲ映像のエッジ強度を最大化するように、入力ＨＤＲ映像における画素値から自動的に計算するものとし、
変換後の前記ＳＤＲ映像のエッジ強度を最大化するような区分線形関数によるトーンマッピングパラメータｐは、次の目的関数Ｊを最小化するものとして得られる
A global tone mapping function that performs uniform level conversion over the entire screen is represented by a piecewise linear function, and the function parameters are automatically calculated from the pixel values in the input HDR video so as to maximize the edge strength of the converted SDR video. shall be calculated to
A piecewise linear function tone mapping parameter p that maximizes the edge strength of the transformed SDR image is obtained by minimizing the following objective function J
前記区分線形関数は、折れ線近似である
ことを特徴とするトーンマッピング処理方法。 The tone mapping processing method according to claim 1,
The tone mapping processing method, wherein the piecewise linear function is a polygonal line approximation.
前記区分線形関数の入力区分点は、前記ＨＤＲ映像における１フレーム中の最大輝度値レベルを再帰的に二分割して、最小区分点が、１００％白レベルを１．０として正規化した輝度値に対して、０．０１以下になるまで繰り返すことにより決定される
ことを特徴とするトーンマッピング処理方法。 In the tone mapping processing method according to claim 2,
The input segment point of the piecewise linear function is obtained by recursively dividing the maximum luminance value level in one frame in the HDR image into two, and the minimum segment point is the luminance value normalized with the 100% white level as 1.0. , is determined by repeating until it becomes 0.01 or less.
前記区分線形関数の入力区分点を、１フレーム内の入力ＨＤＲ画素値における最大輝度値から再帰的に分割することによって決定する工程と、
トーンマッピングパラメータを、１フレーム内の入力ＨＤＲ画素値によるエッジ強度を最大化するものを算出するか、または、
複数フレーム内における入力ＨＤＲ画素値によるエッジ強度を最大化するものを算出するか、の工程と、
得られたトーンマッピングパラメータに対して時系列フィルタ処理を遂行する工程と、を有する
ことを特徴とするトーンマッピング処理方法。 In the tone mapping processing method according to claim 2,
determining an input segment point of the piecewise linear function by recursively dividing from a maximum luminance value at an input HDR pixel value within a frame;
Calculate the tone mapping parameters that maximize the edge strength due to the input HDR pixel values in one frame, or
computing which maximizes the edge strength due to input HDR pixel values in multiple frames;
and performing time-series filtering on the obtained tone mapping parameters.
前記グローバルトーンマッピング関数の関数パラメータは，入力ＨＤＲ画素値をトーンマッピング処理したＳＤＲ画素値のエッジ強度を累積加算することにより得られる連立方程式を解くことにより，閉形式解として計算されるものとする
ことを特徴とするトーンマッピング処理方法。 In the tone mapping processing method according to any one of claims 1 to 4,
The function parameter of the global tone mapping function shall be calculated as a closed form solution by solving the simultaneous equations obtained by cumulatively adding the edge intensity of the SDR pixel value obtained by tone mapping the input HDR pixel value.
A tone mapping processing method characterized by:
入力される前記ＨＤＲ映像における平均輝度値とエッジ強度を最大化するためのトレードオフを調整する正則化パラメータλ，μを、前記ＨＤＲ映像のヒストグラム特徴量から予測する
ことを特徴とするトーンマッピング処理方法。 In the tone mapping processing method according to any one of claims 1 to 5,
Tone mapping processing characterized by predicting regularization parameters λ and μ for adjusting the trade-off for maximizing the average luminance value and edge strength in the input HDR video from the histogram feature amount of the HDR video . Method.
前記ＨＤＲ映像のみから自動的にトーンマッピング処理を行うためのパラメータを計算することにより、前記ＨＤＲ映像と前記ＳＤＲ映像の同時放送・配信のための卜ーンマッピング処理におけるマニュアル調整が不要である
ことを特徴とするトーンマッピング処理方法。 In the tone mapping processing method according to any one of claims 1 to 6,
By calculating parameters for automatically performing tone mapping processing only from the HDR video, manual adjustment in the tone mapping processing for simultaneous broadcasting/distribution of the HDR video and the SDR video is not required. Tone mapping processing method.
前記関数パラメータは、連立方程式を解くことにより、閉形式解として得られるものである
ことを特徴とするトーンマッピング処理方法。 In the tone mapping processing method according to any one of claims 1 to 7,
A tone mapping processing method, wherein the function parameters are obtained as a closed-form solution by solving simultaneous equations.
ことを特徴とするトーンマッピング処理装置。
A tone mapping processing device that performs the tone mapping processing method according to any one of claims 1 to 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018103273A JP7137185B2 (en) | 2018-05-30 | 2018-05-30 | Tone mapping processing method by edge strength maximization and HDR video conversion device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018103273A JP7137185B2 (en) | 2018-05-30 | 2018-05-30 | Tone mapping processing method by edge strength maximization and HDR video conversion device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019207603A JP2019207603A (en) | 2019-12-05 |
| JP7137185B2 true JP7137185B2 (en) | 2022-09-14 |
Family
ID=68767693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018103273A Active JP7137185B2 (en) | 2018-05-30 | 2018-05-30 | Tone mapping processing method by edge strength maximization and HDR video conversion device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7137185B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220070912A (en) * | 2020-11-23 | 2022-05-31 | 삼성전자주식회사 | Method for providing image and electronic device for supporting the same |
| CN116029914B (en) * | 2022-07-27 | 2023-10-20 | 荣耀终端有限公司 | Image processing method and electronic equipment |
| CN115660994B (en) * | 2022-10-31 | 2023-06-09 | 哈尔滨理工大学 | Image enhancement method based on regional least square estimation |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014176449A (en) | 2013-03-14 | 2014-09-25 | Panasonic Corp | Endoscope |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3540957B2 (en) * | 1995-09-25 | 2004-07-07 | 松下電器産業株式会社 | Gradation conversion method, gradation conversion device, and image display device |
-
2018
- 2018-05-30 JP JP2018103273A patent/JP7137185B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014176449A (en) | 2013-03-14 | 2014-09-25 | Panasonic Corp | Endoscope |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019207603A (en) | 2019-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101764943B1 (en) | High dynamic range image generation and rendering | |
| Rao et al. | A Survey of Video Enhancement Techniques. | |
| US8150202B2 (en) | Gaussian mixture model based illumination normalization for global enhancement | |
| JP5524063B2 (en) | Video information processing | |
| JP5509390B2 (en) | Method and system for illumination compensation and transition for video encoding and processing | |
| CN109792523B (en) | Real-time shaping of single-layer backward compatible codecs | |
| EP2144444A1 (en) | HDR video data compression devices and methods | |
| CN110944176B (en) | Image frame noise reduction method and computer storage medium | |
| JP7137185B2 (en) | Tone mapping processing method by edge strength maximization and HDR video conversion device | |
| KR20160102524A (en) | Method for inverse tone mapping of an image | |
| Boitard et al. | Zonal brightness coherency for video tone mapping | |
| KR102045538B1 (en) | Method for multi exposure image fusion based on patch and apparatus for the same | |
| WO2018231968A1 (en) | Efficient end-to-end single layer inverse display management coding | |
| CN111480177A (en) | Improved inverse tone mapping method and corresponding device | |
| KR20150145725A (en) | Method and apparatus for dynamic range expansion of ldr video sequence | |
| Dhariwal | Comparative analysis of various image enhancement techniques | |
| JP4611535B2 (en) | Process, apparatus and use for evaluating an encoded image | |
| EP3639238A1 (en) | Efficient end-to-end single layer inverse display management coding | |
| CN114998122A (en) | Low-illumination image enhancement method | |
| JP2012238932A (en) | 3d automatic color correction device and color correction method and color correction program | |
| JP5410378B2 (en) | Video signal correction apparatus and video signal correction program | |
| JP6826472B2 (en) | Image processing device and its control method | |
| Zhang et al. | Lookup table meets local laplacian filter: pyramid reconstruction network for tone mapping | |
| CN114494471A (en) | Image contrast enhancement method and system | |
| CN114240767A (en) | Image wide dynamic range processing method and device based on exposure fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210513 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220526 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220826 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7137185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |