JP7045916B2 - Video brightness converter and its program - Google Patents
Video brightness converter and its program Download PDFInfo
- Publication number
- JP7045916B2 JP7045916B2 JP2018081842A JP2018081842A JP7045916B2 JP 7045916 B2 JP7045916 B2 JP 7045916B2 JP 2018081842 A JP2018081842 A JP 2018081842A JP 2018081842 A JP2018081842 A JP 2018081842A JP 7045916 B2 JP7045916 B2 JP 7045916B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- gain
- frame
- signal
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
Description
本発明は、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）方式の映像の輝度変化を動的に緩和させる映像輝度変換装置およびそのプログラムに関する。 The present invention relates to an image luminance conversion device and a program thereof for dynamically mitigating a change in luminance of an image of a high dynamic range (HDR) system.
ＨＤＲ方式は、撮像側と表示側とのダイナミックレンジが従来よりも拡大したことにより、より人間の視覚特性に近づいた映像表現が可能となっている。このＨＤＲ方式は、ディスプレイに求めるピーク輝度が１０００ｃｄ／ｍ２以上で、従来の標準ダイナミックレンジ（ＳＤＲ：Standard Dynamic Range）よりも明るい映像を表示することが可能となり、映像の輝度のコントラスト差が大きくなる（非特許文献１参照）。
このように、ＨＤＲ方式は、映像表現のうちで明るさの再現範囲を拡大したことで、明るい映像から暗い映像、あるいは、暗い映像から明るい映像への切り替えが生じたときに、急激な輝度の変化により、視聴者に不快感を与えるおそれがある。
In the HDR method, the dynamic range between the image pickup side and the display side is wider than before, so that it is possible to express an image closer to the human visual characteristics. With this HDR method, the peak brightness required for the display is 1000 cd / m 2 or more, and it is possible to display a brighter image than the conventional standard dynamic range (SDR), and the contrast difference in the brightness of the image is large. (See Non-Patent Document 1).
In this way, the HDR method expands the reproduction range of brightness in the video expression, so that when switching from a bright image to a dark image or from a dark image to a bright image occurs, the brightness suddenly increases. The change may cause discomfort to the viewer.
例えば、ＨＤＲ方式のうちの１つであるハイブリッドログガンマ（ＨＬＧ：Hybrid Log-Gamma）方式に関して、映像切り替え時に、どの程度の輝度差を生じると視聴者が不快感を抱くかについて、主観評価実験を行った報告がある（非特許文献２参照）。
この報告では、視聴者が画面全体から受ける光の明るさである画面平均輝度レベル（ＡＬＬ：Average Luminance Level）が約５ｃｄ／ｍ２から数百ｃｄ／ｍ２までの段階的な映像素材を、薄暗い周囲環境下で切り替えた際の不快感を調べている。この実験結果として、ＡＬＬの差が約８０ｃｄ／ｍ２以内の輝度差の映像切り替えであれば視聴者は不快感を抱かず、逆に、約数百ｃｄ／ｍ２以上の輝度差の映像切り替えが発生したときに、視聴者は不快感を抱くことが判明している。
このような急激な輝度差が生じる映像の切り替えを低減させるには、通常、映像制作時において、事前に急激な輝度差が生じないように映像を制作する、あるいは、映像全体のコントラストを抑えるといった手法がとられる。
For example, regarding the Hybrid Log-Gamma (HLG) method, which is one of the HDR methods, a subjective evaluation experiment was conducted to determine how much brightness difference would cause viewers to feel uncomfortable when switching images. (See Non-Patent Document 2).
In this report, a stepwise video material with a screen average brightness level (ALL: Average Luminance Level) of about 5 cd / m 2 to several hundred cd / m 2 , which is the brightness of the light received from the entire screen by the viewer, is described. I am investigating the discomfort when switching in a dim surrounding environment. As a result of this experiment, if the image switching has a brightness difference of about 80 cd / m 2 or less, the viewer does not feel uncomfortable, and conversely, the image switching has a brightness difference of about several hundred cd / m 2 or more. The viewer has been found to be uncomfortable when this occurs.
In order to reduce the switching of images that cause such a sudden difference in brightness, usually, at the time of image production, the image is produced so that the sudden difference in brightness does not occur in advance, or the contrast of the entire image is suppressed. The method is taken.
従来のような、事前に急激な輝度差が生じないように映像を制作する手法は、常に輝度差を考慮しなければならないため、映像制作に手間がかかるという問題がある。また、映像全体のコントラストを抑える手法は、より人間の視覚特性に近づいた映像表現であるＨＤＲ方式の魅力を低減させてしまうという問題がある。 The conventional method of producing an image so that a sudden difference in brightness does not occur in advance has a problem that it takes time and effort to produce an image because the difference in brightness must always be taken into consideration. Further, the method of suppressing the contrast of the entire image has a problem that the attractiveness of the HDR method, which is an image expression closer to the human visual characteristics, is reduced.
本発明は、このような問題に鑑みてなされたものであり、映像中で急激な輝度差を動的に検出して輝度変化を緩和させることが可能な映像輝度変換装置およびそのプログラムを提供することを課題とする。 The present invention has been made in view of such a problem, and provides a video luminance conversion device and a program thereof capable of dynamically detecting a sudden luminance difference in an image and mitigating the luminance change. That is the issue.
前記課題を解決するため、本発明に係る映像輝度変換装置は、ＨＬＧ方式の映像信号の輝度変化を動的に緩和させる映像輝度変換装置であって、ＥＯＴＦ処理手段と、現在フレーム輝度算出手段と、ゲイン算出手段と、過去フレーム輝度算出手段と、ゲイン調整手段と、逆ＥＯＴＦ処理手段と、を備える構成とした。 In order to solve the above problems, the video luminance conversion device according to the present invention is a video luminance conversion device that dynamically relaxes the luminance change of the HLG system video signal, and includes an EOTF processing means and a current frame luminance calculating means. , A gain calculating means, a past frame luminance calculating means, a gain adjusting means, and an inverse EOTF processing means.
かかる構成において、映像輝度変換装置は、ＥＯＴＦ処理手段によって、ＨＬＧ方式の電気－光伝達関数（ＥＯＴＦ）により、映像信号を第１リニア信号に変換する。
そして、映像輝度変換装置は、現在フレーム輝度算出手段によって、第１リニア信号のフレームごとに、第１リニア信号の輝度平均を表示対象である現在フレームの輝度レベルとして算出する。
そして、映像輝度変換装置は、ゲイン算出手段によって、現在フレームの輝度レベルと、過去フレーム輝度記憶手段に記憶されている過去フレームの輝度レベルとのレベル差に応じて、その差が予め定めた閾値を超えないようにゲインを算出する。
さらに、映像輝度変換装置は、過去フレーム輝度算出手段によって、ゲイン算出手段で算出されたゲインを用いて現在フレームの輝度レベルをゲイン調整し、過去フレームの輝度レベルとして過去フレーム輝度記憶手段に記憶する。この過去フレーム輝度算出手段で算出された過去フレームの輝度レベルは、ゲイン算出手段が、次のフレームが入力された段階で参照する。
そして、映像輝度変換装置は、ゲイン調整手段によって、ゲイン算出手段で算出されたゲインを用いて第１リニア信号をゲイン調整し、第２リニア信号に変換する。
そして、映像輝度変換装置は、逆ＥＯＴＦ処理手段によって、電気－光伝達関数の逆関数（ＥＯＴＦ－１）により、第２リニア信号をＨＬＧ方式の映像信号に変換する。
これによって、映像輝度変換装置は、過去フレームの輝度レベルと現在フレームの輝度レベルとの差を、動的に検出し、現在フレームの輝度レベルを急激に変化させないように調整することができる。
In such a configuration, the video luminance conversion device converts the video signal into a first linear signal by the electric-optical transfer function (EOTF) of the HLG system by the EOTF processing means.
Then, the image luminance conversion device calculates the luminance average of the first linear signal as the luminance level of the current frame to be displayed for each frame of the first linear signal by the present frame luminance calculating means.
Then, in the video luminance conversion device, the gain calculating means causes the difference between the brightness level of the current frame and the luminance level of the past frame stored in the past frame luminance storage means to be a predetermined threshold value. Calculate the gain so that it does not exceed.
Further, the video luminance conversion device adjusts the luminance level of the current frame by the past frame luminance calculating means using the gain calculated by the gain calculating means, and stores it in the past frame luminance storage means as the past frame luminance level. .. The brightness level of the past frame calculated by the past frame brightness calculation means is referred to by the gain calculation means at the stage when the next frame is input.
Then, the image luminance conversion device adjusts the gain of the first linear signal by the gain adjusting means using the gain calculated by the gain calculating means, and converts it into the second linear signal.
Then, the video luminance conversion device converts the second linear signal into an HLG system video signal by the inverse function of the electric-optical transfer function (EOTF -1 ) by the inverse EOTF processing means.
As a result, the video luminance conversion device can dynamically detect the difference between the luminance level of the past frame and the luminance level of the current frame, and adjust the luminance level of the current frame so as not to change abruptly.
また、前記課題を解決するため、本発明に係る映像輝度変換装置は、ＨＬＧ方式の映像信号の輝度変化を動的に緩和させる映像輝度変換装置であって、逆ＯＥＴＦ処理手段と、ＯＯＴＦ処理手段と、現在フレーム輝度算出手段と、ゲイン算出手段と、過去フレーム輝度算出手段と、ゲイン調整手段と、ＯＥＴＦ処理手段と、を備える構成とした。 Further, in order to solve the above-mentioned problems, the video luminance conversion device according to the present invention is a video luminance conversion device that dynamically relaxes a change in the luminance of a video signal of the HLG system, and is an inverse OETF processing means and an OOTF processing means. A configuration including a current frame luminance calculation means, a gain calculation means, a past frame luminance calculation means, a gain adjusting means, and an OETF processing means.
かかる構成において、映像輝度変換装置は、ＯＥＴＦ処理手段によって、ＨＬＧ方式の光－電気伝達関数の逆関数（ＯＥＴＦ－１）により、映像信号を第３リニア信号に変換する。
そして、映像輝度変換装置は、ＯＯＴＦ処理手段によって、ＨＬＧ方式の光－光伝達関数により、第３リニア信号を第１リニア信号に変換する。
そして、映像輝度変換装置は、現在フレーム輝度算出手段によって、第１リニア信号のフレームごとに、第１リニア信号の輝度平均を表示対象である現在フレームの輝度レベルとして算出する。
そして、映像輝度変換装置は、ゲイン算出手段によって、現在フレームの輝度レベルと、過去フレーム輝度記憶手段に記憶されている過去フレームの輝度レベルとのレベル差に応じて、その差が予め定めた閾値を超えないようにゲインを算出する。
さらに、映像輝度変換装置は、過去フレーム輝度算出手段によって、ゲイン算出手段で算出されたゲインを用いて現在フレームの輝度レベルをゲイン調整し、過去フレームの輝度レベルとして過去フレーム輝度記憶手段に記憶する。この過去フレーム輝度算出手段で算出された過去フレームの輝度レベルは、ゲイン算出手段が、次のフレームが入力された段階で参照する。
そして、映像輝度変換装置は、ゲイン調整手段によって、ゲイン算出手段で算出されたゲインを用いて第１リニア信号をゲイン調整し、第４リニア信号に変換する。
そして、映像輝度変換装置は、ＯＥＴＦ処理手段によって、光－電気伝達関数（ＯＥＴＦ）により、第４リニア信号をＨＬＧ方式の映像信号に変換する。
これによって、映像輝度変換装置は、過去フレームの輝度レベルと現在フレームの輝度レベルとの差を、動的に検出し、現在フレームの輝度レベルを急激に変化させないように調整することができる。
なお、映像輝度変換装置は、コンピュータを、前記した各手段として機能させるための映像輝度変換プログラムで動作させることができる。
In such a configuration, the video luminance conversion device converts the video signal into a third linear signal by the inverse function (OETF -1 ) of the optical transfer function of the HLG system by the OETF processing means.
Then, the image luminance conversion device converts the third linear signal into the first linear signal by the optical transfer function of the HLG system by the OOTF processing means.
Then, the image luminance conversion device calculates the luminance average of the first linear signal as the luminance level of the current frame to be displayed for each frame of the first linear signal by the present frame luminance calculating means.
Then, in the video luminance conversion device, the gain calculating means causes the difference between the brightness level of the current frame and the luminance level of the past frame stored in the past frame luminance storage means to be a predetermined threshold value. Calculate the gain so that it does not exceed.
Further, the video luminance conversion device adjusts the luminance level of the current frame by the past frame luminance calculating means using the gain calculated by the gain calculating means, and stores it in the past frame luminance storage means as the past frame luminance level. .. The brightness level of the past frame calculated by the past frame brightness calculation means is referred to by the gain calculation means at the stage when the next frame is input.
Then, the image luminance conversion device adjusts the gain of the first linear signal by the gain adjusting means using the gain calculated by the gain calculating means, and converts it into the fourth linear signal.
Then, the video luminance conversion device converts the fourth linear signal into an HLG system video signal by the optical transfer function (OETF) by the OETF processing means.
As a result, the video luminance conversion device can dynamically detect the difference between the luminance level of the past frame and the luminance level of the current frame, and adjust the luminance level of the current frame so as not to change abruptly.
The video luminance conversion device can be operated by a video luminance conversion program for operating the computer as each of the above-mentioned means.
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、映像信号に急激な輝度変化が発生しても、動的に輝度変化を検出し、フレーム間の輝度差を緩和した映像信号に変換することができる。
本発明によって、映像制作者が輝度変化を意識することなく、ＨＤＲの映像制作を行うことが可能になる。
The present invention has the following excellent effects.
According to the present invention, even if a sudden change in luminance occurs in a video signal, the change in luminance can be dynamically detected and converted into a video signal in which the difference in luminance between frames is relaxed.
INDUSTRIAL APPLICABILITY According to the present invention, an image producer can produce an HDR image without being aware of a change in luminance.
以下、本発明の実施形態について図面を参照して説明する。
≪第１実施形態≫
＜映像輝度変換装置の構成＞
まず、図１を参照して、本発明の第１実施形態に係る映像輝度変換装置１の構成について説明する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<< First Embodiment >>
<Configuration of video brightness converter>
First, with reference to FIG. 1, the configuration of the image
映像輝度変換装置１は、ＨＤＲ方式のうちの１つであるＨＬＧ方式の映像信号に急激な輝度差が含まれる場合に、映像信号を、急激な輝度差を緩和した映像信号に変換するものである。この映像輝度変換装置１は、図示を省略した表示装置（ディスプレイ）に入力する映像信号の前処理を行うもので、表示装置の外部に備えるものとしてもよいし、表示装置の内部に備えるものとしてもよい。
図１に示すように、映像輝度変換装置１は、色信号変換手段１０と、ＥＯＴＦ処理手段１１と、フレーム別ゲイン算出手段１２と、ゲイン調整手段１３と、逆ＥＯＴＦ処理手段１４と、色信号逆変換手段１５と、を備える。ここでは、映像信号が、ＨＬＧ方式の輝度色差信号であることとして説明する。
The video
As shown in FIG. 1, the image
色信号変換手段１０は、入力した映像信号である輝度色差信号を、ＲＧＢ色空間の信号（ＲＧＢ信号）に変換するものである。なお、この色信号変換手段１０は、ＩＴＵ－Ｒの勧告ＢＴ．２０２０に記載の変換式を用いて色変換を行えばよい。
具体的には、色信号変換手段１０は、以下の式（１）により、輝度色差信号Ｙ′，Ｃｂ′，Ｃｒ′を、ＲＧＢ信号Ｅｉｎ′＝（Ｒｉｎ′，Ｇｉｎ′，Ｂｉｎ′）に変換する。
The color signal conversion means 10 converts a luminance color difference signal, which is an input video signal, into a signal (RGB signal) in the RGB color space. The color signal conversion means 10 is described in the recommendation BT of ITU-R. Color conversion may be performed using the conversion formula described in 2020.
Specifically, the color signal conversion means 10 uses the following equation (1) to generate a luminance color difference signal Y ′, C b ′, C r ′, and an RGB signal E in ′ = (R in ′, G in ′, G in ′, Convert to B in ′).
色信号変換手段１０は、変換後のＲＧＢ信号Ｅｉｎ′をＥＯＴＦ処理手段１１に出力する。
なお、入力する映像信号としてＲＧＢ信号を用いる場合、色信号変換手段１０を映像輝度変換装置１の構成から省略すればよい。
The color signal conversion means 10 outputs the converted RGB signal E in ′ to the EOTF processing means 11.
When an RGB signal is used as the input video signal, the color signal conversion means 10 may be omitted from the configuration of the video
ＥＯＴＦ処理手段１１は、ＨＬＧ方式のＲＧＢ信号（映像信号）Ｅｉｎ′を、ディスプレイ光（表示光）に対応するリニア信号（第１リニア信号）Ｆｄに変換するものである。
ＥＯＴＦ処理手段１１は、ＩＴＵ－Ｒの勧告ＢＴ．２１００で規定されている電気－光伝達関数（ＥＯＴＦ：Electro-Optical Transfer Function）を用いて、映像信号をディスプレイ光に対応するリニア信号に変換する。
The EOTF processing means 11 converts the RGB signal (video signal) E in ′ of the HLG system into a linear signal (first linear signal) F d corresponding to the display light (display light).
The EOTF processing means 11 is described in the recommendation BT of ITU-R. An electric-optical transfer function (EOTF) defined by 2100 is used to convert a video signal into a linear signal corresponding to display light.
ＥＯＴＦは、光－電気伝達関数（ＯＥＴＦ：Opto-Electronic Transfer Function）の逆関数（ＯＥＴＦ－１）と、光－光伝達関数（ＯＯＴＦ：Opto-Optical Transfer Function）とで構成される。ＯＥＴＦは、シーン光に対応するリニア信号を映像信号に変換する関数で、撮像装置（カメラ）側の変換処理である。ＯＯＴＦは、シーン光に対応するリニア信号をディスプレイ光に対応するリニア信号に変換する関数である。
すなわち、ＥＯＴＦは、ＯＥＴＦ－１により、撮像装置（不図示）で生成される映像信号をシーン光に対応するリニア信号に変換し、ＯＯＴＦにより、シーン光に対応するリニア信号をディスプレイ光に対応するリニア信号に変換する。
EOTF is composed of an inverse function (OETF -1 ) of an optical transfer function (OETF: Opto-Electronic Transfer Function) and an optical transfer function (OOTF: Opto-Optical Transfer Function). OETF is a function that converts a linear signal corresponding to scene light into a video signal, and is a conversion process on the image pickup device (camera) side. OOTF is a function that converts a linear signal corresponding to scene light into a linear signal corresponding to display light.
That is, the EOTF converts the video signal generated by the image pickup device (not shown) into a linear signal corresponding to the scene light by the OETF-1, and the linear signal corresponding to the scene light corresponds to the display light by the OOTF. Convert to a linear signal.
具体的には、ＥＯＴＦ処理手段１１は、まず、ＯＥＴＦ－１として、以下の式（２）により、色信号変換手段１０で変換されたＲＧＢ信号Ｅｉｎ′＝（Ｒｉｎ′，Ｇｉｎ′，Ｂｉｎ′）を、シーン光に対応するリニア信号Ｅｉｎ＝（Ｒｓ，Ｇｓ，Ｂｓ）に変換する。なお、ＥＯＴＦ処理手段１１は、ＲＧＢ信号Ｅｉｎ′の色信号Ｒｉｎ′，Ｇｉｎ′，Ｂｉｎ′ごとに式（２）を適用し、リニア信号Ｅｉｎの色信号Ｒｓ，Ｇｓ，Ｂｓに変換する。 Specifically, the EOTF processing means 11 first, as OETF -1 , an RGB signal E in ′ = (R in ′, G in ′, converted by the color signal conversion means 10 by the following equation (2). B in ′) is converted into a linear signal E in = (R s , G s , B s ) corresponding to the scene light. The EOTF processing means 11 applies the equation (2) for each of the color signals R in ′, G in ′, and B in ′ of the RGB signal E in ′, and the color signals R s , G s , of the linear signal E in ′. Convert to B s .
ここで、ａ＝０．１７８８３２７７、ｂ＝１－４ａ＝０．２８４６６８９２、ｃ＝０．５－ａ・ｌｎ（４ａ）＝０．５５９９１０７３である。なお、ｌｎ（ｘ）はｘの自然対数を示す。この式（２）は、ＲＧＢ信号Ｅｉｎ′のレベル範囲を［０：１］としたときの変換式である。
さらに、ＥＯＴＦ処理手段１１は、ＯＯＴＦとして、以下の式（３）および式（４）により、式（２）で変換したリニア信号Ｅｉｎ＝（Ｒｓ，Ｇｓ，Ｂｓ）を、ディスプレイ光に対応するリニア信号Ｆｄ＝（Ｒｄ，Ｇｄ，Ｂｄ）に変換する。
Here, a = 0.17883277, b = 1-4a = 0.28466892, and c = 0.5-a · ln (4a) = 0.55991073. Note that ln (x) indicates the natural logarithm of x. This equation (2) is a conversion equation when the level range of the RGB signal E in ′ is set to [0: 1].
Further, the EOTF processing means 11 displays the linear signal E in = (R s , G s , B s ) converted by the formula (2) according to the following formulas (3) and (4) as the OOTF. The linear signal F d = (R d , G d , B d ) corresponding to the above is converted.
ここで、ｃ１＝０．２６２７、ｃ２＝０．６７８０、ｃ３＝０．０５９３である。
αは、表示対象のディスプレイ（不図示）のピーク輝度ＬＷと黒の輝度ＬＢとの差（α＝ＬＷ－ＬＢ）である。βは、ディスプレイの黒の輝度ＬＢ（β＝ＬＢ）である。例えば、α＝１０００、β＝０とする。
γは、ディスプレイのピーク輝度ＬＷに応じたシステムガンマである。例えば、γ＝１．２とする。このγは、以下の式（５）で算出される値である。
Here, c 1 = 0.2627, c 2 = 0.6780, and c 3 = 0.0593.
α is the difference (α = LW −LB ) between the peak luminance LB of the display to be displayed (not shown) and the luminance LB of black. β is the black luminance LB (β = LB ) of the display. For example, α = 1000 and β = 0.
γ is a system gamma corresponding to the peak brightness L W of the display. For example, γ = 1.2. This γ is a value calculated by the following equation (5).
なお、α、β、γは、予め装置内で固定の係数としてもよいし、外部からユーザが設定するものとしてもよい。
ＥＯＴＦ処理手段１１は、ディスプレイ光に対応するリニア信号Ｆｄをフレーム別ゲイン算出手段１２とゲイン調整手段１３とに出力する。
It should be noted that α, β, and γ may be fixed coefficients in the apparatus in advance, or may be set by the user from the outside.
The EOTF processing means 11 outputs a linear signal F d corresponding to the display light to the frame-specific gain calculating means 12 and the gain adjusting means 13.
フレーム別ゲイン算出手段１２は、ＥＯＴＦ処理手段１１で変換されたディスプレイ光に対応するリニア信号Ｆｄのフレームごとの輝度に応じて、フレームごとにゲインを算出するものである。ここでは、フレーム別ゲイン算出手段１２は、現在フレーム輝度算出手段１２０と、過去フレーム輝度算出手段１２１と、過去フレーム輝度記憶手段１２２と、加算平均手段１２３と、ゲイン算出手段１２４と、を備える。 The frame-specific gain calculation means 12 calculates the gain for each frame according to the luminance of the linear signal F d corresponding to the display light converted by the EOTF processing means 11. Here, the frame-specific gain calculation means 12 includes a current frame brightness calculation means 120, a past frame brightness calculation means 121, a past frame brightness storage means 122, an averaging means 123, and a gain calculation means 124.
現在フレーム輝度算出手段１２０は、ＥＯＴＦ処理手段１１で変換されたディスプレイ光に対応するリニア信号（第１リニア信号）Ｆｄを表示対象のディスプレイに表示したときの画面の平均輝度レベル（ＡＬＬ）を、現在フレーム輝度レベルとして算出するものである。
ここで、リニア信号Ｆｄの画素ｉごとの信号をＦｄｉ＝（Ｒｄｉ，Ｇｄｉ，Ｂｄｉ）とし、画素ｉの輝度をＹｄｉとしたとき、現在フレーム輝度算出手段１２０は、以下の式（６）により、現在フレーム輝度レベルであるＡＬＬｃｕｒｒｅｎｔを算出する。
Currently, the frame luminance calculation means 120 determines the average luminance level (ALL) of the screen when the linear signal (first linear signal) F d corresponding to the display light converted by the EOTF processing means 11 is displayed on the display to be displayed. , Currently calculated as the frame luminance level.
Here, when the signal for each pixel i of the linear signal F d is F di = (R di , G di , B di ) and the brightness of the pixel i is Y di , the current frame brightness calculation means 120 is as follows. The ALL signal, which is the current frame luminance level, is calculated by the equation (6).
ここで、ｃ１＝０．２６２７、ｃ２＝０．６７８０、ｃ３＝０．０５９３である。また、ｍは、ディスプレイの表示画素数であって、水平画素数×垂直画素数である。
現在フレーム輝度算出手段１２０は、算出した現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）を、過去フレーム輝度算出手段１２１とゲイン算出手段１２４とに出力する。
Here, c 1 = 0.2627, c 2 = 0.6780, and c 3 = 0.0593. Further, m is the number of display pixels of the display, which is the number of horizontal pixels × the number of vertical pixels.
The current frame luminance calculation means 120 outputs the calculated current frame luminance level (ALL luminance) to the past frame luminance calculation means 121 and the gain calculation means 124.
過去フレーム輝度算出手段１２１は、現在フレーム輝度算出手段１２０で算出された現在フレーム輝度レベルをゲイン調整し、１フレーム後の時点における過去フレーム輝度レベルを算出するものである。
過去フレーム輝度算出手段１２１は、以下の式（６）に示すように、ゲイン算出手段１２４で算出された１フレーム前のゲイン（Ｇａｉｎ）をシステムガンマ（γ）乗した値を、現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）に乗算することで、過去フレーム輝度レベル（ＡＬＬｐａｓｔ）を算出する。
The past frame luminance calculation means 121 adjusts the gain of the current frame luminance level calculated by the current frame luminance calculation means 120, and calculates the past frame luminance level at a time point after one frame.
As shown in the following equation (6), the past frame luminance calculation means 121 sets the value obtained by multiplying the gain (Gain) one frame before by the gain calculation means 124 by the system gamma (γ) to the current frame luminance level. The past frame luminance level (ALL past ) is calculated by multiplying by (ALL current ).
なお、システムガンマ（γ）は、ＥＯＴＦ処理手段１１で使用したγと同じ値（式（４），式（５）参照）である。
過去フレーム輝度算出手段１２１は、算出した過去フレーム輝度レベル（ＡＬＬｐａｓｔ）を過去フレーム輝度記憶手段１２２に書き込み記憶する。
なお、過去フレーム輝度算出手段１２１は、予め設定された最大フレーム数だけ過去フレーム輝度レベルを、順次、過去フレーム輝度記憶手段１２２に記憶する。ここで、過去フレーム輝度算出手段１２１は、記憶する過去フレーム輝度レベルの数が最大フレーム数を超える場合、最も古い過去フレーム輝度レベルを削除する。なお、最大フレーム数は、外部から設定するものとしてもよい。
The system gamma (γ) is the same value as γ used in the EOTF processing means 11 (see equations (4) and (5)).
The past frame luminance calculation means 121 writes and stores the calculated past frame luminance level (ALL past ) in the past frame luminance storage means 122.
The past frame luminance calculation means 121 sequentially stores the past frame luminance level in the past frame luminance storage means 122 by the maximum number of preset frames. Here, the past frame luminance calculation means 121 deletes the oldest past frame luminance level when the number of past frame luminance levels to be stored exceeds the maximum number of frames. The maximum number of frames may be set from the outside.
過去フレーム輝度記憶手段１２２は、過去フレーム輝度算出手段１２１で算出された直近の過去フレーム輝度レベルを予め定めた最大フレーム数まで記憶するものである。
この過去フレーム輝度記憶手段１２２は、一般的な半導体メモリ等の記憶媒体で構成することができる。
The past frame luminance storage means 122 stores the latest past frame luminance level calculated by the past frame luminance calculation means 121 up to a predetermined maximum number of frames.
The past frame luminance storage means 122 can be configured with a storage medium such as a general semiconductor memory.
加算平均手段１２３は、過去フレーム輝度記憶手段１２２に記憶されている過去フレーム輝度レベルを加算平均するものである。
加算平均手段１２３は、ゲイン算出手段１２４からの指示により、過去フレーム輝度算出手段１２１に記憶されている過去フレーム輝度レベルを加算平均する。
すなわち、加算平均手段１２３は、以下の式（８）に示すように、過去フレーム輝度算出手段１２１に記憶されているｎ個の過去フレーム輝度レベル（ＡＬＬｐａｓｔ，１，ＡＬＬｐａｓｔ，２，…，ＡＬＬｐａｓｔ，ｎ）の総和をｎで除算することで、加算平均値である平均フレーム輝度レベル（ＡＬＬｍｅａｎ）を算出する。
The addition averaging means 123 adds and averages the past frame luminance levels stored in the past frame luminance storage means 122.
The addition averaging means 123 adds and averages the past frame luminance levels stored in the past frame luminance calculation means 121 according to the instruction from the gain calculating means 124.
That is, as shown in the following equation (8), the addition averaging means 123 has n past frame brightness levels (ALL past, 1 , ALL past, 2, 2 , ..., Stored in the past frame brightness calculation means 121. By dividing the sum of ALL past, n ) by n, the average frame brightness level (ALL mean ), which is the added average value, is calculated.
加算平均手段１２３は、算出した平均フレーム輝度レベル（ＡＬＬｍｅａｎ）をゲイン算出手段１２４に出力する。 The addition averaging means 123 outputs the calculated average frame luminance level ( ALL main ) to the gain calculating means 124.
ゲイン算出手段１２４は、平均フレーム輝度レベル（ＡＬＬｍｅａｎ）と、現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）との輝度差（レベル差）に基づいて、表示対象のフレーム（現在フレーム）に対するゲインを算出するものである。
ゲイン算出手段１２４は、現在フレーム輝度算出手段１２０から、現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）を入力した段階で、加算平均手段１２３に対して、過去のフレームの輝度平均を算出する旨を指示し、加算平均手段１２３から、平均フレーム輝度レベル（ＡＬＬｍｅａｎ）を取得する。
The gain calculating means 124 calculates the gain for the frame to be displayed (current frame) based on the luminance difference (level difference) between the average frame luminance level ( ALL main) and the current frame luminance level (ALL luminance). Is.
The gain calculation means 124 instructs the addition averaging means 123 to calculate the brightness average of the past frame at the stage where the current frame luminance level (ALL luminance) is input from the current frame luminance calculation means 120. The average frame luminance level (ALL mean ) is acquired from the addition averaging means 123.
ゲイン算出手段１２４は、加算平均手段１２３から取得した平均フレーム輝度レベル（ＡＬＬｍｅａｎ）と、現在フレーム輝度算出手段１２０で算出された現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）とに基づいて、輝度差を緩和するゲイン（Ｇａｉｎ）を、以下の式（９）により算出する。 The gain calculating means 124 relaxes the luminance difference based on the average frame luminance level (ALL luminance ) acquired from the addition averaging means 123 and the current frame luminance level (ALL luminance) calculated by the current frame luminance calculating means 120. Gain is calculated by the following equation (9).
この式（９）の第１項ａ０は、平均フレーム輝度レベル（ＡＬＬｍｅａｎ）と現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）との輝度差を予め定めた閾値（ＡＬＬｔｈ）以内に収めるためのゲインである。
式（９）の第１項ａ０は、以下の式（１０）に示すように、閾値（ＡＬＬｔｈ）と輝度差の明暗方向とに基づいて条件分けされた値とする。
The first term a0 of this equation (9) is a gain for keeping the luminance difference between the average frame luminance level ( ALL main) and the current frame luminance level (ALL luminance) within a predetermined threshold value (ALL th ). be.
As shown in the following equation (10), the first term a0 of the equation (9) is a value conditioned based on the threshold value (ALL th ) and the brightness direction of the luminance difference.
なお、システムガンマ（γ）は、ＥＯＴＦ処理手段１１で使用したγと同じ値（前記式（４），式（５）参照）である。
式（９）の第２項は、輝度差を閾値以内に収めた後、ゲインを時間経過に伴って元のゲインに戻すための補正項である。
The system gamma (γ) is the same value as γ used in the EOTF processing means 11 (see the above equations (4) and (5)).
The second term of the equation (9) is a correction term for returning the gain to the original gain with the passage of time after keeping the luminance difference within the threshold value.
第２項のパラメータｔは、元のゲインに戻すための時間を示す予め設定されたパラメータであって、ここでは、フレーム数を示す。なお、パラメータｔは外部から設定するものとしてもよい。
Δｔは、ゲイン算出手段１２４で増加させるカウンタ（フレーム数）である。ゲイン算出手段１２４は、平均フレーム輝度レベル（ＡＬＬｍｅａｎ）と現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）との輝度差を予め定めた閾値（ＡＬＬｔｈ）を超えたタイミングでΔｔを初期化する。
The parameter t in the second term is a preset parameter indicating the time for returning to the original gain, and here indicates the number of frames. The parameter t may be set from the outside.
Δt is a counter (number of frames) to be increased by the gain calculation means 124. The gain calculation means 124 initializes Δt at a timing when the luminance difference between the average frame luminance level ( ALL main) and the current frame luminance level (ALL luminance) exceeds a predetermined threshold value (ALL th ).
例えば、映像信号として、６０Ｈｚのプログレッシブ方式の映像信号を用い、５秒後にゲインを戻す場合、ｔ＝３００とする。
この場合、ゲイン算出手段１２４は、輝度差が閾値を超えたタイミングでΔｔを初期化し、順次、フレーム単位でカウントアップしていく。そして、ゲイン算出手段１２４は、Δｔ＝ｔとなったときに、式（９），式（１０）により、Ｇａｉｎ＝ａ０＝１を算出し、ゲインを元に戻すことができる。
For example, when a 60 Hz progressive video signal is used as the video signal and the gain is returned after 5 seconds, t = 300.
In this case, the gain calculation means 124 initializes Δt at the timing when the luminance difference exceeds the threshold value, and sequentially counts up in frame units. Then, when Δt = t, the gain calculating means 124 can calculate Gain = a 0 = 1 by the equations (9) and (10) and restore the gain.
なお、極端な輝度変化が発生し、ゲインが極端に大きな値や極端に小さな値とならないように、ゲインには、上限値と下限値を設けることが望ましい。
例えば、ゲイン算出手段１２４は、以下の式（１１）に示すように、予め定めたパラメータｍ（ｍはｍ＞１の実数）により、ゲインの範囲を定め、算出したゲインが１／ｍよりも小さい場合、ゲインを１／ｍとし、算出したゲインがｍよりも大きい場合、ゲインをｍとする。なお、パラメータｍは、外部から設定するものとしてもよい。
It is desirable to set an upper limit value and a lower limit value for the gain so that an extreme change in brightness does not occur and the gain does not become an extremely large value or an extremely small value.
For example, as shown in the following equation (11), the gain calculating means 124 determines a gain range by a predetermined parameter m (m is a real number of m> 1), and the calculated gain is greater than 1 / m. If it is small, the gain is 1 / m, and if the calculated gain is larger than m, the gain is m. The parameter m may be set from the outside.
ゲイン算出手段１２４は、算出したゲイン（Ｇａｉｎ）を、過去フレーム輝度算出手段１２１とゲイン調整手段１３とに出力する。
これによって、フレーム別ゲイン算出手段１２は、フレーム単位で、動的に輝度差を閾値以内に抑えるゲインを生成することができる。
The gain calculating means 124 outputs the calculated gain to the past frame luminance calculating means 121 and the gain adjusting means 13.
As a result, the frame-specific gain calculation means 12 can dynamically generate a gain that suppresses the luminance difference within the threshold value on a frame-by-frame basis.
ゲイン調整手段１３は、ディスプレイ光に対応するリニア信号に対して、ゲイン調整を行うものである。
ゲイン調整手段１３は、以下の式(１２)により、フレーム別ゲイン算出手段で算出されたゲイン（Ｇａｉｎ）をシステムガンマ（γ）乗した値を、ＥＯＴＦ処理手段１１で変換されたディスプレイ光に対応するリニア信号（第１リニア信号）Ｆｄに乗算することで、リニア信号Ｆｄをリニア信号（第２リニア信号）ＦＤに変換する。システムガンマ（γ）は、ＥＯＴＦ処理手段１１で使用したγと同じ値（前記式（４），式（５）参照）である。
The gain adjusting means 13 adjusts the gain of the linear signal corresponding to the display light.
The gain adjusting means 13 corresponds to the display light converted by the EOTF processing means 11 by multiplying the gain (Gain) calculated by the frame-based gain calculating means by the system gamma (γ) by the following equation (12). By multiplying the linear signal (first linear signal) F d to be generated, the linear signal F d is converted into a linear signal (second linear signal) FD . The system gamma (γ) is the same value as γ used in the EOTF processing means 11 (see the above equations (4) and (5)).
なお、ゲイン調整手段１３は、リニア信号Ｆｄの色信号Ｒｄ，Ｇｄ，Ｂｄごとに式（１１）を適用し、リニア信号ＦＤの色信号ＲＤ，ＧＤ，ＢＤに変換する。
ゲイン調整手段１３は、ＥＯＴＦ処理手段１１から入力されるリニア信号Ｆｄと、フレーム別ゲイン算出手段１２で算出されるゲインとをフレーム単位で同期させる。すなわち、ゲイン調整手段１３は、フレーム別ゲイン算出手段１２で現在のフレームに対するゲインが生成されるまで、リニア信号Ｆｄをフレーム単位で、図示を省略したバッファに一時記憶する。そして、ゲイン調整手段１３は、ゲインが算出された段階で、前記式（１２）のゲイン調整を行う。
ゲイン調整手段１３は、ゲイン調整後のリニア信号ＦＤを、逆ＥＯＴＦ処理手段１４に出力する。
The gain adjusting means 13 applies the equation (11) for each of the color signals R d , G d , and B d of the linear signal F d , and converts them into the color signals R D , G D , and BD of the linear signal F D. do.
The gain adjusting means 13 synchronizes the linear signal Fd input from the EOTF processing means 11 with the gain calculated by the frame-based gain calculating means 12 in frame units. That is, the gain adjusting means 13 temporarily stores the linear signal F d in a buffer (not shown) in frame units until the gain for the current frame is generated by the frame-based gain calculating means 12. Then, the gain adjusting means 13 adjusts the gain of the above equation (12) at the stage where the gain is calculated.
The gain adjusting means 13 outputs the gain-adjusted linear signal FD to the inverse EOTF processing means 14.
逆ＥＯＴＦ処理手段１４は、ゲイン調整後のリニア信号（第２リニア信号）ＦＤを、ＨＬＧ方式のＲＧＢ信号（映像信号）Ｅｏｕｔ′に変換するものである。
逆ＥＯＴＦ処理手段１４は、ＩＴＵ－Ｒの勧告ＢＴ．２１００で規定されている電気－光伝達関数（ＥＯＴＦ）の逆関数（ＥＯＴＦ－１）を用いて、リニア信号を映像信号に変換する。
ＥＯＴＦ－１（ＥＯＴＦ逆関数）は、光－光伝達関数（ＯＯＴＦ）の逆関数（ＯＯＴＦ－１）と、光－電気伝達関数（ＯＥＴＦ）とで構成される。
すなわち、ＥＯＴＦ－１は、ＯＯＴＦ－１により、ゲイン調整後のリニア信号ＦＤを、シーン光に対応するリニア信号に変換し、ＯＥＴＦにより、シーン光に対応するリニア信号を映像信号に変換する。
The inverse EOTF processing means 14 converts the gain-adjusted linear signal (second linear signal) FD into an HLG-type RGB signal (video signal) E out ′.
The reverse EOTF processing means 14 is described in the ITU-R recommendation BT. The linear signal is converted into a video signal by using the inverse function (EOTF -1 ) of the electric-optical transfer function (EOTF) defined by 2100.
EOTF -1 (EOTF inverse function) is composed of an inverse function (OOTF -1 ) of an optical transfer function (OOTF) and an optical transfer function (OETF).
That is, the EOTF -1 converts the gain-adjusted linear signal FD into a linear signal corresponding to the scene light by the OOTF -1 , and converts the linear signal corresponding to the scene light into a video signal by the OETF.
具体的には、逆ＥＯＴＦ処理手段１４は、まず、ＯＯＴＦ－１として、以下の式（１３）および式（１４）により、リニア信号ＦＤ＝（ＲＤ，ＧＤ，ＢＤ）を、シーン光に対応するリニア信号Ｅｏｕｔ＝（Ｒｓ，Ｇｓ，Ｂｓ）に変換する。 Specifically, the inverse EOTF processing means 14 first sets the linear signal FD = ( RD , GD, BD ) as OOTF -1 by the following equations (13) and (14). Converts to a linear signal E out = (R s , G s , B s ) corresponding to light.
ここで、ｃ１，ｃ２，ｃ３，α，β，γは、前記式（３），式（４）で用いた値と同じである。
さらに、逆ＥＯＴＦ処理手段１４は、ＯＥＴＦとして、以下の式（１５）により、リニア信号Ｅｏｕｔ＝（Ｒｓ，Ｇｓ，Ｂｓ）を、映像信号であるＲＧＢ信号Ｅｏｕｔ′＝（Ｒｏｕｔ′，Ｇｏｕｔ′，Ｂｏｕｔ′）に変換する。なお、逆ＥＯＴＦ処理手段１４は、リニア信号Ｅｏｕｔの色信号Ｒｓ，Ｇｓ，Ｂｓごとに式（１５）を適用し、ＲＧＢ信号Ｅｏｕｔ′の色信号Ｒｏｕｔ′，Ｇｏｕｔ′，Ｂｏｕｔ′に変換する。
Here, c 1 , c 2 , c 3 , α, β, and γ are the same as the values used in the above equations (3) and (4).
Further, the inverse EOTF processing means 14 uses the following equation (15) as the OETF to obtain a linear signal E out = (R s , G s , B s ) and an RGB signal E out ′ = (R out ) which is a video signal. ′, G out ′, B out ′). The inverse EOTF processing means 14 applies the equation (15) for each of the color signals R s , G s , and B s of the linear signal E out , and applies the formula (15) to the color signals R out ′, G out ′, of the RGB signal E out ′. Convert to B out ′.
ここで、ａ，ｂ，ｃは、前記式（２）で用いた値と同じである。なお、ｌｎ（ｘ）はｘの自然対数を示す。この式（１５）は、リニア信号Ｅｏｕｔのレベル範囲を［０：１］としたときの変換式である。
逆ＥＯＴＦ処理手段１４は、ＲＧＢ信号Ｅｏｕｔ′を色信号逆変換手段１５に出力する。
Here, a, b, and c are the same as the values used in the above equation (2). Note that ln (x) indicates the natural logarithm of x. This equation (15) is a conversion equation when the level range of the linear signal E out is [0: 1].
The inverse EOTF processing means 14 outputs the RGB signal E out ′ to the color signal inverse conversion means 15.
色信号逆変換手段１５は、逆ＥＯＴＦ処理手段１４で生成されたＲＧＢ信号を、ＨＬＧ方式の輝度色差信号に変換するものである。
具体的には、色信号逆変換手段１５は、前記式（１）の逆変換として、以下の式（１６）により、ＲＧＢ信号Ｅｏｕｔ′＝（Ｒｏｕｔ′，Ｇｏｕｔ′，Ｂｏｕｔ′）を、輝度色差信号Ｙ，Ｃｂ，Ｃｒに変換する。
The color signal inverse conversion means 15 converts the RGB signal generated by the inverse EOTF processing means 14 into a luminance color difference signal of the HLG system.
Specifically, the color signal inverse conversion means 15 performs RGB signal E out ′ = (R out ′, G out ′, B out ′) according to the following equation (16) as the inverse conversion of the equation (1). Is converted into luminance color difference signals Y, C b , and Cr.
色信号逆変換手段１５は、変換後の輝度色差信号Ｙ，Ｃｂ，Ｃｒを外部（表示対象のディスプレイ）に出力する。
なお、出力する映像信号をＲＧＢ信号とする場合、色信号逆変換手段１５を映像輝度変換装置１の構成から省略すればよい。
The color signal inverse conversion means 15 outputs the converted luminance color difference signals Y, C b , and Cr to the outside (display to be displayed).
When the video signal to be output is an RGB signal, the color signal inverse conversion means 15 may be omitted from the configuration of the video
このように映像輝度変換装置１を構成することで、映像輝度変換装置１は、映像信号に急激な輝度変化が発生しても、動的に輝度変化を検出し、フレーム間の輝度差を緩和した映像信号に変換することができる。
また、映像輝度変換装置１は、コンピュータを前記した手段として機能させるための映像輝度変換プログラムで動作させることができる。
By configuring the video
Further, the video
（変形例）
映像輝度変換装置１は、ゲイン算出手段１２４において、輝度差を予め定めた閾値に収めるようにゲインを算出した後、時間経過に伴って、段階的にゲインを補正し、元のゲインに戻す処理を行っている（式（９）参照）。しかし、ゲイン算出手段１２４は、時間経過による補正を行わずにゲインを算出する簡易な処理を行うものとしてもよい。
具体的には、ゲイン算出手段１２４は、前記式（９）の代わりに、以下の式（１７）に示すように、前記式（１０）で算出される値ａ０をゲイン（Ｇａｉｎ）とする。
(Modification example)
The image
Specifically, the gain calculation means 124 uses the value a0 calculated by the equation (10) as a gain (Gain) as shown in the following equation (17) instead of the equation (9). ..
ここで、図２を参照して、ゲイン算出手段１２４において時間経過によりゲインを補正する場合と、補正しない場合とで、フレーム輝度がどのように変化するのかについて説明する。図２（ａ）は映像輝度変換装置１に入力される元の映像信号のフレームと、フレーム輝度レベル（画面平均輝度レベル：ＡＬＬ〔ｃｄ／ｍ２〕）との関係を示す。ここでは、ｆ０，ｆ１，…と連続するフレームにおいて、ｆ３のフレームでシーンＡからシーンＢに切り替わり、予め定めた閾値よりも大きい輝度変化が発生した例を示している。
Here, with reference to FIG. 2, how the frame luminance changes between the case where the gain calculation means 124 corrects the gain with the passage of time and the case where the gain is not corrected will be described. FIG. 2A shows the relationship between the frame of the original video signal input to the video
図２（ｂ）は、ゲイン算出手段１２４において時間経過によりゲインを補正する場合のフレームとフレーム輝度レベル（ＡＬＬ）との関係を示す。図２（ｃ）は、ゲイン算出手段１２４において時間経過によりゲインを補正しない場合のフレームとフレーム輝度レベル（ＡＬＬ）との関係を示す。
なお、図２（ｂ），（ｃ）ともに、実線がゲイン算出手段１２４で算出されたゲインによりゲイン調整を行ったときのフレーム輝度レベル、破線がゲイン調整を行わない元の映像信号のフレーム輝度レベルを示す。
FIG. 2B shows the relationship between the frame and the frame luminance level (ALL) when the gain is corrected by the passage of time in the gain calculating means 124. FIG. 2C shows the relationship between the frame and the frame luminance level (ALL) when the gain calculation means 124 does not correct the gain over time.
In both FIGS. 2 (b) and 2 (c), the solid line is the frame luminance level when the gain is adjusted by the gain calculated by the gain calculating means 124, and the broken line is the frame luminance of the original video signal without the gain adjustment. Indicates the level.
図２（ｂ）に示すように、時間経過によりゲインを補正する場合、ｆ７のフレームにおいて、ゲインが元に戻り、元の映像信号と同じフレーム輝度レベルとなる。なお、ここでは、説明を簡略化するため、大きい輝度変化が発生後（ｆ３）、４フレームで元のゲインに戻る例を示している。 As shown in FIG. 2B, when the gain is corrected over time, the gain returns to the original value in the frame of f7, and the frame luminance level becomes the same as that of the original video signal. In addition, in order to simplify the explanation, an example is shown in which the gain returns to the original gain in 4 frames after a large luminance change occurs (f3).
一方、図２（ｃ）に示すように、時間経過によりゲインを補正しない場合、大きい輝度変化が発生後（ｆ３）、フレーム輝度レベルは映像信号に対応して、ほぼ一定のフレーム輝度レベルとなる。なお、この場合でも、平均フレーム輝度レベル（ＡＬＬｍｅａｎ）と現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）との差が、閾値（ＡＬＬｔｈ）以内となった段階で、フレーム輝度レベルは元の映像信号と同じになる。 On the other hand, as shown in FIG. 2C, when the gain is not corrected with the passage of time, the frame luminance level becomes almost constant frame luminance level corresponding to the video signal after a large luminance change occurs (f3). .. Even in this case, the frame luminance level is the same as the original video signal when the difference between the average frame luminance level (ALL luminance ) and the current frame luminance level (ALL luminance) is within the threshold value (ALL th ). become.
また、ここでは、ＥＯＴＦ処理手段１１および逆ＥＯＴＦ処理手段１４において、電気－光伝達関数（ＥＯＴＦ）およびその逆関数（ＥＯＴＦ－１）を用いたが、必ずしも演算を行う必要はない。例えば、ＥＯＴＦ処理手段１１は、図３に示すように、ＲＧＢ信号Ｅｉｎ′＝（Ｒｉｎ′，Ｇｉｎ′，Ｂｉｎ′）とリニア信号Ｆｄ＝（Ｒｄ，Ｇｄ，Ｂｄ）とを対応付けた３次元のルックアップテーブル（３Ｄ－ＬＵＴ）を参照して変換することとしてもよい。また、逆ＥＯＴＦ処理手段１４は、図３と同様に、リニア信号ＦＤ＝（ＲＤ，ＧＤ，ＢＤ）とＲＧＢ信号Ｅｏｕｔ′＝（Ｒｏｕｔ′，Ｇｏｕｔ′，Ｂｏｕｔ′）とを対応付けた３次元のルックアップテーブル（３Ｄ－ＬＵＴ）を参照して変換することとしてもよい。
なお、３Ｄ－ＬＵＴは、必ずしもすべての値を網羅する必要はなく、サンプリングした値でよい。３Ｄ－ＬＵＴを離散的にサンプリングしたテーブルとした場合、ＥＯＴＦ処理手段１１および逆ＥＯＴＦ処理手段１４は、体積補間法等の公知のルックアップテーブル補間手法を用いて、３Ｄ－ＬＵＴの補間を行えばよい。
Further, here, in the EOTF processing means 11 and the inverse EOTF processing means 14, the electric-optical transfer function (EOTF) and its inverse function (EOTF -1 ) are used, but it is not always necessary to perform the calculation. For example, as shown in FIG. 3, the EOTF processing means 11 has an RGB signal E in ′ = (R in ′, G in ′, Bin ′) and a linear signal F d = (R d , G d , B d ). It may be converted by referring to a three-dimensional look-up table (3D-LUT) associated with. Further, in the reverse EOTF processing means 14, the linear signal FD = ( RD , G D , BD ) and the RGB signal E out ′ = (R out ′, G out ′, B out ′), as in FIG. It may be converted by referring to a three-dimensional look-up table (3D-LUT) associated with.
The 3D-LUT does not necessarily cover all the values, and may be a sampled value. When the 3D-LUT is a discretely sampled table, the EOTF processing means 11 and the inverse EOTF processing means 14 may perform 3D-LUT interpolation using a known look-up table interpolation method such as a volume interpolation method. good.
＜映像輝度変換装置の動作＞
次に、図４を参照（構成については、適宜図１参照）して、本発明の第１実施形態に係る映像輝度変換装置１の動作について説明する。なお、映像輝度変換装置１は、映像信号を順次入力するが、ここでは、１フレーム分の映像信号の処理動作についてのみ説明する。すなわち、映像輝度変換装置１は、映像信号のすべてが入力完了するまで、図３に示す動作をフレーム単位で繰り返す。
<Operation of video brightness converter>
Next, the operation of the image
ステップＳ１において、色信号変換手段１０は、入力した映像信号である輝度色差信号を、ＲＧＢ色空間の信号（ＲＧＢ信号）に変換する（前記式（１）参照）。なお、入力する映像信号をＲＧＢ信号とする場合、ステップＳ１を省略する。色信号変換手段１０は、変換後のＲＧＢ信号Ｅｉｎ′をＥＯＴＦ処理手段１１に出力する。 In step S1, the color signal conversion means 10 converts the luminance color difference signal, which is the input video signal, into a signal (RGB signal) in the RGB color space (see the above equation (1)). If the input video signal is an RGB signal, step S1 is omitted. The color signal conversion means 10 outputs the converted RGB signal E in ′ to the EOTF processing means 11.
ステップＳ２において、ＥＯＴＦ処理手段１１は、ステップＳ１で変換されたＲＧＢ信号を、電気－光伝達関数（ＥＯＴＦ）により、ディスプレイ光（表示光）に対応するリニア信号Ｆｄに変換する（前記式（２）～式（４）参照）。ＥＯＴＦ処理手段１１は、変換後のリニア信号Ｆｄを、フレーム別ゲイン算出手段１２とゲイン調整手段１３とに出力する。 In step S2, the EOTF processing means 11 converts the RGB signal converted in step S1 into a linear signal F d corresponding to the display light (display light) by the electric-optical transfer function (EOTF) (the above formula (the above formula (the above formula)). 2) -Refer to equation (4)). The EOTF processing means 11 outputs the converted linear signal F d to the frame-specific gain calculating means 12 and the gain adjusting means 13.
ステップＳ３において、フレーム別ゲイン算出手段１２の現在フレーム輝度算出手段１２０は、ステップＳ２で変換されたディスプレイ光に対応するリニア信号Ｆｄをディスプレイに表示したときの画面（フレーム）の平均輝度レベルを現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）として算出する（前記式（６）参照）。現在フレーム輝度算出手段１２０は、算出した現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）を、過去フレーム輝度算出手段１２１とゲイン算出手段１２４とに出力する。 In step S3, the current frame luminance calculation means 120 of the frame-specific gain calculation means 12 determines the average luminance level of the screen (frame) when the linear signal F d corresponding to the display light converted in step S2 is displayed on the display. It is calculated as the current frame luminance level (ALL luminance) (see the above equation (6)). The current frame luminance calculation means 120 outputs the calculated current frame luminance level (ALL luminance) to the past frame luminance calculation means 121 and the gain calculation means 124.
ステップＳ４において、現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）を入力したゲイン算出手段１２４からの指示で、加算平均手段１２３は、過去フレーム輝度記憶手段１２２に記憶されている過去フレーム輝度レベルを加算平均することで、過去の平均フレーム輝度レベル（ＡＬＬｍｅａｎ）を算出する（前記式（８）参照）。加算平均手段１２３は、算出した平均フレーム輝度レベル（ＡＬＬｍｅａｎ）をゲイン算出手段１２４に出力する。 In step S4, the addition averaging means 123 adds and averages the past frame luminance levels stored in the past frame luminance storage means 122 by the instruction from the gain calculating means 124 in which the current frame luminance level (ALL luminance) is input. Then, the past average frame luminance level (ALL luminance ) is calculated (see the above equation (8)). The addition averaging means 123 outputs the calculated average frame luminance level (ALL mean ) to the gain calculating means 124.
ステップＳ５において、ゲイン算出手段１２４は、ステップＳ３で算出された現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）と、ステップＳ４で算出された過去の平均フレーム輝度レベル（ＡＬＬｍｅａｎ）との輝度差に応じて、ゲインを算出する（前記式（９），式（１０）参照）。
ここで、ゲイン算出手段１２４は、平均フレーム輝度レベル（ＡＬＬｍｅａｎ）と現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）との輝度差を予め定めた閾値（ＡＬＬｔｈ）を超えることでゲインを調整した場合、次フレーム以降でステップＳ５の処理を行うごとに、順次、ゲインを元に戻す補正項を加えてゲインを算出する（前記式（９）参照）。
なお、ゲイン算出手段１２４は、補正項を加えずに、簡易にゲインを算出することとしてもよい（前記式（１７）参照）。
ゲイン算出手段１２４は、算出したゲインを、過去フレーム輝度算出手段１２１とゲイン調整手段１３とに出力する。
In step S5, the gain calculation means 124 responds to the brightness difference between the current frame luminance level (ALL luminance) calculated in step S3 and the past average frame luminance level (ALL luminance ) calculated in step S4. Calculate the gain (see equations (9) and (10) above).
Here, when the gain calculation means 124 adjusts the gain by exceeding a predetermined threshold value (ALL th ) for the luminance difference between the average frame luminance level ( ALL main) and the current frame luminance level (ALL luminance), the following Every time the process of step S5 is performed after the frame, the gain is calculated by sequentially adding a correction term for restoring the gain (see the above equation (9)).
The gain calculation means 124 may simply calculate the gain without adding a correction term (see the above equation (17)).
The gain calculating means 124 outputs the calculated gain to the past frame luminance calculating means 121 and the gain adjusting means 13.
ステップＳ６において、過去フレーム輝度算出手段１２１は、ステップＳ３で算出された現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）を、ステップＳ５で算出されたゲインによりゲイン調整し、過去フレーム輝度レベル（ＡＬＬｐａｓｔ）を算出する（前記式（７）参照）。過去フレーム輝度算出手段１２１は、算出した過去フレーム輝度レベル（ＡＬＬｐａｓｔ）を、過去フレーム輝度記憶手段１２２に記憶する。このとき、過去フレーム輝度算出手段１２１は、記憶する過去フレーム輝度レベルの数が最大フレーム数を超える場合、最も古い過去フレーム輝度レベルを削除する。 In step S6, the past frame luminance calculation means 121 adjusts the gain of the current frame luminance level (ALL luminance) calculated in step S3 by the gain calculated in step S5, and calculates the past frame luminance level (ALL past ). (Refer to the above equation (7)). The past frame luminance calculation means 121 stores the calculated past frame luminance level (ALL past ) in the past frame luminance storage means 122. At this time, when the number of past frame luminance levels to be stored exceeds the maximum number of frames, the past frame luminance calculation means 121 deletes the oldest past frame luminance level.
ステップＳ７において、ゲイン調整手段１３は、ステップＳ２で変換されたリニア信号Ｆｄに対して、ステップＳ５で算出されたゲインを用いてゲイン調整を行い、リニア信号ＦＤを生成する（前記式（１２）参照）。ゲイン調整手段１３は、生成したリニア信号ＦＤを逆ＥＯＴＦ処理手段１４に出力する。 In step S7, the gain adjusting means 13 adjusts the gain of the linear signal Fd converted in step S2 using the gain calculated in step S5 , and generates a linear signal FD (the above equation (the above equation (1)). 12) See). The gain adjusting means 13 outputs the generated linear signal FD to the inverse EOTF processing means 14.
ステップＳ８において、逆ＥＯＴＦ処理手段１４は、ステップＳ７で生成されたリニア信号ＦＤを、電気－光伝達関数の逆関数（ＥＯＴＦ－１）により、ＨＬＧ方式のＲＧＢ信号（映像信号）Ｅｏｕｔ′に変換する（前記式（１３）～式（１５）参照）。逆ＥＯＴＦ処理手段１４は、変換後のＲＧＢ信号Ｅｏｕｔ′を、色信号逆変換手段１５に出力する。 In step S8, the inverse EOTF processing means 14 uses the linear signal FD generated in step S7 as an HLG-type RGB signal (video signal) E out ′ by the inverse function of the electric-optical transfer function (EOTF -1 ). (See equations (13) to (15) above). The inverse EOTF processing means 14 outputs the converted RGB signal E out ′ to the color signal inverse conversion means 15.
ステップＳ９において、色信号逆変換手段１５は、ステップＳ８で変換された映像信号であるＲＧＢ信号を、輝度色差信号に変換する（前記式（１６）参照）。なお、出力する映像信号をＲＧＢ信号とする場合、ステップＳ９を省略する。色信号逆変換手段１５は、変換後の輝度色差信号を外部に出力する。
以上の動作をフレームごとに処理することで、映像輝度変換装置１は、映像信号に急激な輝度変化が発生しても、動的に輝度変化を検出し、フレーム間の輝度差を緩和した映像信号に変換することができる。
In step S9, the color signal inverse conversion means 15 converts the RGB signal, which is the video signal converted in step S8, into a luminance color difference signal (see the above equation (16)). If the video signal to be output is an RGB signal, step S9 is omitted. The color signal inverse conversion means 15 outputs the converted luminance color difference signal to the outside.
By processing the above operation for each frame, the image
≪第２実施形態≫
次に、図５を参照して、本発明の第２実施形態に係る映像輝度変換装置１Ｂの構成について説明する。
図１で説明した映像輝度変換装置１は、ＨＬＧ方式の映像信号において、表示対象となる現在のフレームの輝度と、過去の複数フレームの平均輝度とに急激な輝度差が含まれる場合に、急激な輝度差を緩和した映像信号に変換するものであった。
<< Second Embodiment >>
Next, with reference to FIG. 5, the configuration of the image
The video
映像輝度変換装置１Ｂは、ＨＬＧ方式の映像信号において、表示対象となる現在のフレームの輝度と、１フレーム前のフレームの輝度とに急激な輝度差が含まれる場合に、急激な輝度差を緩和した映像信号に変換するものである。
すなわち、映像輝度変換装置１Ｂは、図１で説明した映像輝度変換装置１のフレーム別ゲイン算出手段１２の構成から加算平均手段１２３を削除し、過去フレーム輝度算出手段１２１Ｂおよびゲイン算出手段１２４の機能を変更した過去フレーム輝度算出手段１２１Ｂおよびゲイン算出手段１２４Ｂとしたフレーム別ゲイン算出手段１２Ｂを備える。
過去フレーム輝度算出手段１２１Ｂおよびゲイン算出手段１２４Ｂ以外の構成は、図１で説明した映像輝度変換装置１の構成と同じであるため、同一の符号を付して説明を省略する。
The video
That is, the video
Since the configurations other than the past frame luminance calculation means 121B and the gain luminance calculation means 124B are the same as the configurations of the image
過去フレーム輝度算出手段１２１Ｂは、現在フレーム輝度算出手段１２０で算出された現在フレーム輝度レベルをゲイン調整し、１フレーム後の時点における過去フレーム輝度レベル（ＡＬＬｐａｓｔ）を算出するものである。過去フレーム輝度算出手段１２１Ｂにおける過去フレーム輝度レベルの算出手法は、過去フレーム輝度算出手段１２１（図１）と同じである。
なお、過去フレーム輝度算出手段１２１Ｂは、１フレーム分の過去フレーム輝度レベルを、過去フレーム輝度記憶手段１２２に記憶する。
The past frame luminance calculation means 121B adjusts the gain of the current frame luminance level calculated by the current frame luminance calculation means 120, and calculates the past frame luminance level (ALL past ) at a time point after one frame. The method for calculating the past frame luminance level in the past frame luminance calculating means 121B is the same as that for the past frame luminance calculating means 121 (FIG. 1).
The past frame luminance calculation means 121B stores the past frame luminance level for one frame in the past frame luminance storage means 122.
ゲイン算出手段１２４Ｂは、過去フレーム輝度記憶手段１２２に記憶されている１フレーム分の過去フレーム輝度レベル（ＡＬＬｐａｓｔ）と、現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）との輝度差に基づいて、表示対象のフレーム（現在フレーム）に対するゲインを算出するものである。
ゲイン算出手段１２４Ｂは、現在フレーム輝度算出手段１２０から、現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）を入力した段階で、過去フレーム輝度記憶手段１２２から過去フレーム輝度レベル（ＡＬＬｐａｓｔ）を読み出す。
なお、ゲイン算出手段１２４Ｂにおいてゲインを算出するには、図１で説明したゲイン算出手段１２４における平均フレーム輝度レベル（ＡＬＬｍｅａｎ）を過去フレーム輝度レベル（ＡＬＬｐａｓｔ）に置き換えて同様の演算を行えばよい（前記式（９），式（１０）参照）。
The gain calculation means 124B is a display target based on the brightness difference between the past frame luminance level (ALL past ) for one frame stored in the past frame luminance storage means 122 and the current frame luminance level (ALL luminance). It calculates the gain for the frame (current frame).
The gain calculating means 124B reads out the past frame luminance level (ALL past ) from the past frame luminance storage means 122 at the stage where the present frame luminance level (ALL luminance ) is input from the present frame luminance calculating means 120.
In order to calculate the gain in the gain calculating means 124B, the same calculation may be performed by replacing the average frame luminance level (ALL luminance ) in the gain calculating means 124 described with FIG. 1 with the past frame luminance level (ALL past ). Good (see equations (9) and (10) above).
以上説明したように映像輝度変換装置１Ｂを構成することで、映像輝度変換装置１Ｂは、映像信号に急激な輝度変化が発生しても、動的に輝度変化を検出し、フレーム間の輝度差を緩和した映像信号に変換することができる。
また、映像輝度変換装置１Ｂは、コンピュータを前記した手段として機能させるための映像輝度変換プログラムで動作させることができる。
By configuring the video
Further, the video
なお、映像輝度変換装置１Ｂの動作は、図４で説明した映像輝度変換装置１の動作とほぼ同じである。映像輝度変換装置１Ｂの場合、図４のステップＳ４を省略し、ステップＳ５において、ゲイン算出手段１２４Ｂは、ステップＳ３で算出された現在フレーム輝度レベル（ＡＬＬｃｕｒｒｅｎｔ）と、過去フレーム輝度記憶手段１２２に記憶されている過去フレーム輝度レベル（ＡＬＬｐａｓｔ）との輝度差に応じて、ゲインを算出する。それ以外の動作は、映像輝度変換装置１の動作と同じであるため、説明を省略する。
The operation of the video
≪第３実施形態≫
次に、図６を参照して、本発明の第３実施形態に係る映像輝度変換装置１Ｃの構成について説明する。
映像輝度変換装置１Ｃは、映像輝度変換装置１，１Ｂと同様、ＨＤＲ方式のうちの１つであるＨＬＧ方式の映像信号に急激な輝度差が含まれる場合に、映像信号を、急激な輝度差を緩和した映像信号に変換するものである。
図６に示すように、映像輝度変換装置１Ｃは、色信号変換手段１０と、フレーム別ゲイン算出手段１２と、ゲイン調整手段１３Ｃと、色信号逆変換手段１５と、逆ＯＥＴＦ処理手段１６と、ＯＯＴＦ処理手段１７と、ＯＥＴＦ処理手段１８と、を備える。
<< Third Embodiment >>
Next, with reference to FIG. 6, the configuration of the image
Similar to the video
As shown in FIG. 6, the image
すなわち、映像輝度変換装置１Ｃは、図１で説明した映像輝度変換装置１のＥＯＴＦ処理手段１１および逆ＥＯＴＦ処理手段１４を、逆ＯＥＴＦ処理手段１６、ＯＯＴＦ処理手段１７およびＯＥＴＦ処理手段１８に置き換え、ゲイン調整手段１３の入出力を変更したゲイン調整手段１３Ｃで構成している。他の構成は、図１で説明した映像輝度変換装置１の構成と同じであるため、同一の符号を付して説明を省略する。
That is, the video
逆ＯＥＴＦ処理手段１６は、ＨＬＧ方式のＲＧＢ信号（映像信号）Ｅｉｎ′を、シーン光に対応するリニア信号（第３リニア信号）Ｅｉｎに変換するものである。
逆ＯＥＴＦ処理手段１６は、光－電気伝達関数（ＯＥＴＦ）の逆関数（ＯＥＴＦ－１）により、色信号変換手段１０で変換されたＲＧＢ信号Ｅｉｎ′＝（Ｒｉｎ′，Ｇｉｎ′，Ｂｉｎ′）を、リニア信号Ｅｉｎ＝（Ｒｓ，Ｇｓ，Ｂｓ）に変換する。なお、この変換処理は、図１のＥＯＴＦ処理手段１１の一部であって、前記式（２）と同じ処理である。
逆ＯＥＴＦ処理手段１６は、変換後のリニア信号Ｅｉｎを、ＯＯＴＦ処理手段１７とゲイン調整手段１３Ｃとに出力する。
The reverse OETF processing means 16 converts the RGB signal (video signal) E in ′ of the HLG system into the linear signal (third linear signal) E in corresponding to the scene light.
The inverse OETF processing means 16 is an RGB signal E in ′ = (R in ′, G in ′, B) converted by the color signal conversion means 10 by the inverse function (OETF -1 ) of the optical transfer function (OETF). in ′) is converted into a linear signal E in = (R s , G s , B s ). This conversion process is a part of the EOTF processing means 11 of FIG. 1, and is the same process as the above formula (2).
The reverse OETF processing means 16 outputs the converted linear signal Ein to the OOTF processing means 17 and the gain adjusting means 13C.
ＯＯＴＦ処理手段１７は、シーン光に対応するリニア信号（第３リニア信号）Ｅｉｎをディスプレイ光に対応するリニア信号（第１リニア信号）Ｆｄに変換するものである。
ＯＯＴＦ処理手段１７は、光－光伝達関数（ＯＯＴＦ）により、逆ＯＥＴＦ処理手段１６で変換されたリニア信号Ｅｉｎ＝（Ｒｓ，Ｇｓ，Ｂｓ）を、リニア信号Ｆｄ＝（Ｒｄ，Ｇｄ，Ｂｄ）に変換する。なお、この変換処理は、図１のＥＯＴＦ処理手段１１の一部であって、前記式（４）と同じ処理である。
ＯＯＴＦ処理手段１７は、変換後のリニア信号Ｆｄを、フレーム別ゲイン算出手段１２に出力する。
The OOTF processing means 17 converts the linear signal (third linear signal) E in corresponding to the scene light into the linear signal (first linear signal) F d corresponding to the display light.
The OOTF processing means 17 converts the linear signal E in = (R s , G s , B s ) converted by the inverse OETF processing means 16 by the optical transfer function (OOTF) into the linear signal F d = (R d) . , G d , B d ). This conversion process is a part of the EOTF processing means 11 of FIG. 1, and is the same process as the above formula (4).
The OOTF processing means 17 outputs the converted linear signal F d to the frame-specific gain calculation means 12.
ゲイン調整手段１３Ｃは、シーン光に対応するリニア信号に対して、ゲイン調整を行うものである。
ゲイン調整手段１３Ｃは、以下の式(１８)により、フレーム別ゲイン算出手段１２で算出されたゲイン（Ｇａｉｎ）を、逆ＯＥＴＦ処理手段１６で変換されたシーン光に対応するリニア信号（第３リニア信号）Ｅｉｎに乗算することで、リニア信号Ｅｉｎを、リニア信号（第４リニア信号）Ｅｏｕｔに変換する。
The gain adjusting means 13C adjusts the gain of the linear signal corresponding to the scene light.
The gain adjusting means 13C uses the following equation (18) to convert the gain calculated by the frame-based gain calculating means 12 into a linear signal (third linear) corresponding to the scene light converted by the inverse OETF processing means 16. By multiplying the signal) E in , the linear signal E in is converted into a linear signal (fourth linear signal) E out .
このゲイン調整手段１３Ｃは、入出力の信号の種類が異なるだけで、図１で説明したゲイン調整手段１３の処理内容と同じである。
ゲイン調整手段１３Ｃは、ゲイン調整後のリニア信号Ｅｏｕｔを、ＯＥＴＦ処理手段１８に出力する。
The gain adjusting means 13C is the same as the processing content of the gain adjusting means 13 described with reference to FIG. 1 except that the types of input / output signals are different.
The gain adjusting means 13C outputs the gain-adjusted linear signal E out to the OETF processing means 18.
ＯＥＴＦ処理手段１８は、ゲイン調整後のリニア信号（第４リニア信号）Ｅｏｕｔを、映像信号であるＲＧＢ信号Ｅｏｕｔ′に変換するものである。
ＯＥＴＦ処理手段１８は、光－電気伝達関数（ＯＥＴＦ）により、ゲイン調整手段１３Ｃでゲイン調整されたリニア信号Ｅｏｕｔ＝（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を、映像信号であるＲＧＢ信号Ｅｏｕｔ′＝（Ｒｏｕｔ′，Ｇｏｕｔ′，Ｂｏｕｔ′）に変換する。なお、この変換処理は、図１の逆ＥＯＴＦ処理手段１４の一部であって、前記式（１５）と同じ処理である。
ＯＥＴＦ処理手段１８は、ＲＧＢ信号Ｅｏｕｔ′を色信号逆変換手段１５に出力する。
The OETF processing means 18 converts the gain-adjusted linear signal (fourth linear signal) E out into an RGB signal E out ′ which is a video signal.
The OETF processing means 18 converts a linear signal E out = (R out , G out , B out ) gain-adjusted by the gain adjusting means 13C by an optical transfer function (OETF) into an RGB signal E out , which is a video signal. ′ = (R out ′, G out ′, B out ′). This conversion process is a part of the inverse EOTF processing means 14 of FIG. 1, and is the same process as the above formula (15).
The OETF processing means 18 outputs the RGB signal E out ′ to the color signal inverse conversion means 15.
このように映像輝度変換装置１Ｃを構成することで、映像輝度変換装置１Ｃは、映像輝度変換装置１と同様に、映像信号に急激な輝度変化が発生しても、動的に輝度変化を検出し、フレーム間の輝度差を緩和した映像信号に変換することができる。
また、映像輝度変換装置１Ｃは、コンピュータを前記した手段として機能させるための映像輝度変換プログラムで動作させることができる。
また、映像輝度変換装置１Ｃのフレーム別ゲイン算出手段１２は、図５で説明した映像輝度変換装置１Ｂのフレーム別ゲイン算出手段１２Ｂに置き換えてもよい。
By configuring the video
Further, the video
Further, the frame-specific gain calculation means 12 of the video
また、ここでは、逆ＯＥＴＦ処理手段１６およびＯＥＴＦ処理手段１８において、光－電気伝達関数の逆関数（ＯＥＴＦ－１）および光－電気伝達関数（ＯＥＴＦ）を用いたが、必ずしも演算を行う必要はない。例えば、逆ＯＥＴＦ処理手段１６は、ＲＧＢ信号Ｅｉｎ′＝（Ｒｉｎ′，Ｇｉｎ′，Ｂｉｎ′）とリニア信号Ｅｉｎ＝（Ｒｓ，Ｇｓ，Ｂｓ）とを対応付けた変換テーブルを参照して変換することとしてもよい。この場合、前記式（２）に示すように、ＲＧＢ各色信号で変換内容が同じであるため、色信号ごとに変換テーブルを持つ必要はなく、１次元のルックアップテーブル（１Ｄ－ＬＵＴ）で変換テーブルを構成することができる。 Further, here, in the inverse OETF processing means 16 and the OETF processing means 18, the inverse function of the optical transfer function (OETF -1 ) and the optical transfer function (OETF) are used, but it is not always necessary to perform the calculation. do not have. For example, the inverse OETF processing means 16 converts the RGB signal E in ′ = (R in ′, G in ′, B in ′) and the linear signal E in = (R s , G s , B s ) in association with each other. It may be converted by referring to the table. In this case, as shown in the above equation (2), since the conversion contents are the same for each RGB color signal, it is not necessary to have a conversion table for each color signal, and conversion is performed by a one-dimensional lookup table (1D-LUT). You can configure the table.
また、ＯＥＴＦ処理手段１８は、リニア信号Ｅｏｕｔ＝（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）とＲＧＢ信号Ｅｏｕｔ′＝（Ｒｏｕｔ′，Ｇｏｕｔ′，Ｂｏｕｔ′）とを対応付けた変換テーブルを参照して変換することとしてもよい。この場合も、前記式（１５）に示すように、ＲＧＢ各色信号で変換内容が同じであるため、色信号ごとに変換テーブルを持つ必要はなく、１次元のルックアップテーブル（１Ｄ－ＬＵＴ）で変換テーブルを構成することができる。
このように、映像輝度変換装置１Ｃは、映像輝度変換装置１，１Ｂよりも容量の少ないルックアップテーブルで同様の処理を実現することができる。
Further, the OETF processing means 18 is a conversion table in which the linear signal E out = (R out , G out , B out ) and the RGB signal E out ′ = (R out ′, G out ′, B out ′) are associated with each other. It may be converted by referring to. Also in this case, as shown in the above equation (15), since the conversion contents are the same for each RGB color signal, it is not necessary to have a conversion table for each color signal, and a one-dimensional look-up table (1D-LUT) is used. You can configure a conversion table.
As described above, the video
なお、映像輝度変換装置１Ｃの動作は、図４で説明した映像輝度変換装置１の動作とほぼ同じである。映像輝度変換装置１Ｃの場合、ステップＳ２の電気－光伝達関数（ＥＯＴＦ）の処理を、光－電気伝達関数の逆関数（ＯＥＴＦ－１）と光－光伝達関数（ＯＯＴＦ）とに分離し、ステップＳ７において、ＯＥＴＦ－１で変換されたリニア信号にゲイン調整を行えばよい。
また、ステップＳ８の電気－光伝達関数の逆関数（ＥＯＴＦ－１）の処理を、光－電気伝達関数（ＯＥＴＦ）の処理に置き換えればよい。
The operation of the video
Further, the processing of the inverse function (EOTF -1 ) of the electric-optical transfer function in step S8 may be replaced with the processing of the optical-electric transfer function (OETF).
１，１Ｂ，１Ｃ 映像輝度変換装置
１０ 色信号変換手段
１１ ＥＯＴＦ処理手段
１２，１２Ｂ フレーム別ゲイン算出手段
１２０ 現在フレーム輝度算出手段
１２１，１２１Ｂ 過去フレーム輝度算出手段
１２２ 過去フレーム輝度記憶手段
１２３ 加算平均手段
１２４，１２４Ｂ ゲイン算出手段
１３，１３Ｃ ゲイン調整手段
１４ 逆ＥＯＴＦ処理手段
１５ 色信号逆変換手段
１６ 逆ＯＥＴＦ処理手段
１７ ＯＯＴＦ処理手段
１８ ＯＥＴＦ処理手段
1,1B, 1C
Claims (4)
前記ＨＬＧ方式の電気－光伝達関数により、前記映像信号を第１リニア信号に変換するＥＯＴＦ処理手段と、
前記第１リニア信号のフレームごとに、前記第１リニア信号の輝度平均を表示対象である現在フレームの輝度レベルとして算出する現在フレーム輝度算出手段と、
前記現在フレームの輝度レベルと、過去フレーム輝度記憶手段に記憶されている過去フレームの輝度レベルとのレベル差に応じてゲインを算出するゲイン算出手段と、
前記ゲインを用いて前記現在フレームの輝度レベルをゲイン調整し、前記過去フレームの輝度レベルとして前記過去フレーム輝度記憶手段に記憶する過去フレーム輝度算出手段と、
前記ゲインを用いて前記第１リニア信号をゲイン調整し、第２リニア信号に変換するゲイン調整手段と、
前記電気－光伝達関数の逆関数により、前記第２リニア信号を前記ＨＬＧ方式の映像信号に変換する逆ＥＯＴＦ処理手段と、を備え、
前記ゲイン算出手段は、
前記現在フレームの輝度レベルをＡＬＬ ｃｕｒｒｅｎｔ 、前記過去フレームの輝度レベルをＡＬＬ ｐａｓｔ 、予め定めた閾値をＡＬＬ ｔｈ 、ゲインを元に戻すためのフレーム数をｔ、前記レベル差が前記閾値を超えたタイミングで初期化されるフレームのカウンタをΔｔ、システムガンマをγとしたとき、前記ゲイン（Ｇａｉｎ）を、
An EOTF processing means that converts the video signal into a first linear signal by the electric-optical transfer function of the HLG method.
A current frame luminance calculation means for calculating the luminance average of the first linear signal as the luminance level of the current frame to be displayed for each frame of the first linear signal.
A gain calculation means for calculating a gain according to a level difference between the brightness level of the current frame and the brightness level of the past frame stored in the past frame brightness storage means.
A past frame luminance calculation means that adjusts the luminance level of the current frame using the gain and stores it in the past frame luminance storage means as the luminance level of the past frame.
A gain adjusting means for adjusting the gain of the first linear signal using the gain and converting it into a second linear signal.
It comprises an inverse EOTF processing means for converting the second linear signal into the HLG system video signal by the inverse function of the electric-optical transfer function .
The gain calculation means is
The brightness level of the current frame is ALL currant , the brightness level of the past frame is ALL past , the predetermined threshold value is ALL th , the number of frames for restoring the gain is t, and the timing at which the level difference exceeds the threshold value. When the counter of the frame initialized in is Δt and the system gamma is γ, the gain is set to
前記ＨＬＧ方式の光－電気伝達関数の逆関数により、前記映像信号を第３リニア信号に変換する逆ＯＥＴＦ処理手段と、
前記ＨＬＧ方式の光－光伝達関数により、前記第３リニア信号を第１リニア信号に変換するＯＯＴＦ処理手段と、
前記第１リニア信号のフレームごとに、前記第１リニア信号の輝度平均を表示対象である現在フレームの輝度レベルとして算出する現在フレーム輝度算出手段と、
前記現在フレームの輝度レベルと、過去フレーム輝度記憶手段に記憶されている過去フレームの輝度レベルとのレベル差に応じてゲインを算出するゲイン算出手段と、
前記ゲインを用いて前記現在フレームの輝度レベルをゲイン調整し、前記過去フレームの輝度レベルとして前記過去フレーム輝度記憶手段に記憶する過去フレーム輝度算出手段と、
前記ゲインを用いて前記第１リニア信号をゲイン調整し、第４リニア信号に変換するゲイン調整手段と、
前記光－電気伝達関数により、前記第４リニア信号を前記ＨＬＧ方式の映像信号に変換するＯＥＴＦ処理手段と、を備え、
前記ゲイン算出手段は、
前記現在フレームの輝度レベルをＡＬＬ ｃｕｒｒｅｎｔ 、前記過去フレームの輝度レベルをＡＬＬ ｐａｓｔ 、予め定めた閾値をＡＬＬ ｔｈ 、ゲインを元に戻すためのフレーム数をｔ、前記レベル差が前記閾値を超えたタイミングで初期化されるフレームのカウンタをΔｔ、システムガンマをγとしたとき、前記ゲイン（Ｇａｉｎ）を、
An inverse OETF processing means that converts the video signal into a third linear signal by the inverse function of the optical-electric transfer function of the HLG method.
An OOTF processing means for converting the third linear signal into a first linear signal by the HLG optical transfer function.
A current frame luminance calculation means for calculating the luminance average of the first linear signal as the luminance level of the current frame to be displayed for each frame of the first linear signal.
A gain calculation means for calculating a gain according to a level difference between the brightness level of the current frame and the brightness level of the past frame stored in the past frame brightness storage means.
A past frame luminance calculation means that adjusts the luminance level of the current frame using the gain and stores it in the past frame luminance storage means as the luminance level of the past frame.
A gain adjusting means for adjusting the gain of the first linear signal using the gain and converting it into a fourth linear signal.
The OETF processing means for converting the fourth linear signal into the HLG system video signal by the optical transfer function is provided .
The gain calculation means is
The brightness level of the current frame is ALL currant , the brightness level of the past frame is ALL past , the predetermined threshold value is ALL th , the number of frames for restoring the gain is t, and the timing at which the level difference exceeds the threshold value. When the counter of the frame initialized in is Δt and the system gamma is γ, the gain is set to
前記過去フレーム輝度記憶手段に記憶されている複数の過去フレームの輝度レベルを加算平均する加算平均手段をさらに備え、
前記ゲイン算出手段は、前記加算平均手段で加算平均された輝度レベルをＡＬＬ ｐａｓｔ として前記ゲイン（Ｇａｉｎ）を算出することを特徴とする請求項１または請求項２に記載の映像輝度変換装置。 The past frame luminance calculation means stores the past frame luminance storage means in the past frame luminance storage means up to a predetermined maximum number of frames, which stores the luminance level of the latest past frame.
Further, an addition averaging means for adding and averaging the brightness levels of a plurality of past frames stored in the past frame luminance storage means is further provided.
The image brightness conversion device according to claim 1 or 2 , wherein the gain calculating means calculates the gain by using the brightness level added and averaged by the addition averaging means as ALL past .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018081842A JP7045916B2 (en) | 2018-04-20 | 2018-04-20 | Video brightness converter and its program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018081842A JP7045916B2 (en) | 2018-04-20 | 2018-04-20 | Video brightness converter and its program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019193025A JP2019193025A (en) | 2019-10-31 |
| JP7045916B2 true JP7045916B2 (en) | 2022-04-01 |
Family
ID=68390073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018081842A Active JP7045916B2 (en) | 2018-04-20 | 2018-04-20 | Video brightness converter and its program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7045916B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022018276A (en) * | 2020-07-15 | 2022-01-27 | 株式会社Ｊｖｃケンウッド | Imaging control device, imaging control method, and program |
| CN114501023B (en) * | 2022-03-31 | 2022-07-26 | 深圳思谋信息科技有限公司 | Video processing method, device, computer equipment and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004266755A (en) | 2003-03-04 | 2004-09-24 | Sony Corp | Image processing apparatus, image display apparatus, and image processing method |
| WO2017051612A1 (en) | 2015-09-25 | 2017-03-30 | ソニー株式会社 | Image processing device and image processing method |
| WO2017086950A1 (en) | 2015-11-18 | 2017-05-26 | Technicolor Usa, Inc. | Luminance management for high dynamic range displays |
| JP2017120330A (en) | 2015-12-28 | 2017-07-06 | 日本放送協会 | Luminance adjusting device and luminance adjustment program |
| WO2018062022A1 (en) | 2016-09-28 | 2018-04-05 | パナソニックＩｐマネジメント株式会社 | Adjusting device, adjusting method, and program |
-
2018
- 2018-04-20 JP JP2018081842A patent/JP7045916B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004266755A (en) | 2003-03-04 | 2004-09-24 | Sony Corp | Image processing apparatus, image display apparatus, and image processing method |
| WO2017051612A1 (en) | 2015-09-25 | 2017-03-30 | ソニー株式会社 | Image processing device and image processing method |
| WO2017086950A1 (en) | 2015-11-18 | 2017-05-26 | Technicolor Usa, Inc. | Luminance management for high dynamic range displays |
| JP2017120330A (en) | 2015-12-28 | 2017-07-06 | 日本放送協会 | Luminance adjusting device and luminance adjustment program |
| WO2018062022A1 (en) | 2016-09-28 | 2018-04-05 | パナソニックＩｐマネジメント株式会社 | Adjusting device, adjusting method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019193025A (en) | 2019-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8131108B2 (en) | Method and system for dynamic contrast stretch | |
| US9672603B2 (en) | Image processing apparatus, image processing method, display apparatus, and control method for display apparatus for generating and displaying a combined image of a high-dynamic-range image and a low-dynamic-range image | |
| JPWO2006095576A1 (en) | Display device, contrast adjustment method, and contrast adjustment program | |
| JP2010257100A (en) | Image processing apparatus and image processing method | |
| WO2018159162A1 (en) | Image processing device, control method therefor, and program | |
| KR101648762B1 (en) | Method and Apparatus for converting dynamic ranges of input images | |
| JP5089783B2 (en) | Image processing apparatus and control method thereof | |
| JP7045916B2 (en) | Video brightness converter and its program | |
| KR20230003066A (en) | Dynamic range mapping method and apparatus | |
| US20160019705A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP4872508B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2016076069A (en) | Image processing apparatus, image processing method, and program | |
| JP2017098845A (en) | Image processing apparatus, image processing method, and program | |
| JP4137404B2 (en) | Liquid crystal display device and image display method in liquid crystal display device | |
| CN115393228B (en) | Image processing method and device and graphic processing equipment | |
| JP4453805B2 (en) | Image processing system, projector, program, information storage medium, and image processing method | |
| CN108337495B (en) | Video image dynamic contrast adjusting method and adjusting device thereof | |
| JP4819404B2 (en) | Liquid crystal display | |
| JP5365881B2 (en) | Image processing apparatus and image processing method | |
| JP2011228926A (en) | Image signal processing apparatus and image display apparatus | |
| JP6574682B2 (en) | Contrast correction apparatus and program | |
| JP2008139828A (en) | Image processing apparatus, image processing method, electro-optical device and electronic device | |
| KR100732676B1 (en) | Contrast enhancement apparatus and the contrast enhancement method thereof | |
| JP2008259097A (en) | Video signal processing circuit and video display device | |
| WO2015107880A1 (en) | Image processing device, image processing method, and recording medium containing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210312 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220322 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7045916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |