JP7145719B2 - 映像信号変換装置及びプログラム - Google Patents

映像信号変換装置及びプログラム Download PDF

Info

Publication number
JP7145719B2
JP7145719B2 JP2018191560A JP2018191560A JP7145719B2 JP 7145719 B2 JP7145719 B2 JP 7145719B2 JP 2018191560 A JP2018191560 A JP 2018191560A JP 2018191560 A JP2018191560 A JP 2018191560A JP 7145719 B2 JP7145719 B2 JP 7145719B2
Authority
JP
Japan
Prior art keywords
hlg
sdr
luminance
video
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018191560A
Other languages
English (en)
Other versions
JP2020025241A (ja
Inventor
光佑 野村
裕一 日下部
俊夫 安江
顕一郎 正岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Publication of JP2020025241A publication Critical patent/JP2020025241A/ja
Application granted granted Critical
Publication of JP7145719B2 publication Critical patent/JP7145719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Description

本発明は、HDR(High Dynamic Range:ハイダイナミックレンジ)映像のうちのHLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像とSDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像との間の階調変換を行う映像信号変換装置及びプログラムに関する。
従来、ハイビジョン放送のSDRにおける白レベルは、ビデオ信号の約100%となっている。このビデオ信号をピーク輝度が100cd/m2のSDRディスプレイで表示すると、約100cd/m2の輝度で表示される。
これに対し、HLGでは、基準となる白レベルをビデオ信号の75%と規定するレポートが策定された(例えば、非特許文献1,2,3を参照)。
放送事業者は、ダイナミックレンジの異なるHLG映像とSDR映像とを同時に制作する一体化制作の検討を始めている。HDR映像及びSDR映像の一体化制作においては、HDR対応のカメラで取得したシーン光のリニア信号に対し、あるゲイン処理を行うことで、SDR映像を生成する変換法が知られている(例えば、特許文献1を参照)。
また、HDR映像のみを制作し、制作系統の最終段階でHDR映像をSDR映像に一括変換する変換法も知られている。
前者の変換法は、カメラシステムで変換を行うものであり、最終的に得られるHDR映像及びSDR映像の色再現性が異なるという問題がある。これは、ビデオ信号からディスプレイ光に変換する際のEOTF(Electro Optical Transfer Function:電気-光伝達関数)の違いに起因する。
一方、後者の変換法は、HDR映像にテロップが合成された場合、そのテロップの白レベルが変化しないように、基準白レベルを考慮し、HDR映像をSDR映像に変換する必要がある。
一般的な映像信号変換装置では、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度88cd/m2~100cd/m2の間に対応させるためのゲイン処理を行うことで、基準白レベルを考慮したHLG映像からSDR映像への変換を実現している。これは、HLGビデオ信号の基準白レベル75%をSDRビデオ信号の白レベル約95%に対応させるためのゲイン処理に相当する。
一方で、映像信号に対し色補正処理及びダイナミックレンジ圧縮処理を行う際に、高彩度の階調を保つための手法も知られている(例えば、特許文献2を参照)。この手法は、映像信号に対し所定の行列を掛け合わせることで、1回目の色補正処理を行い、色補正後の映像信号に対しニー処理及びクリップ処理等のダイナミックレンジ圧縮処理を行う。そして、ダイナミックレンジ圧縮処理後の映像信号に対し所定の行列を掛け合わせることで、2回目の色補正処理を行う。尚、特許文献2は、本願の先の出願の出願日以降であって、かつ本願の出願日以前に公開された公開特許公報である。
特開2016-197854号公報 特開2018-142947号公報
しかしながら、前述の一般的な映像信号変換装置による基準白レベルを考慮した変換法は、映像を構成する上で重要な印象要因の一つである人物の肌の信号レベルを考慮したものではない。このため、人物の肌の信号レベルが、SDR映像の肌レベルよりも低くなり、暗く感じられるという問題があった。
また、HLGビデオ信号の約80%以上の部分が、SDRビデオ信号の上限値である109%でクリップされ、ハイライトが白飛びするという問題もあった(後述する図4の従来技術の特性を参照)。
このため、従来と同様に基準白レベルを考慮することに加え、人物の肌レベルを考慮すると共に、ハイライトの白つぶれを抑制する変換を行うことが所望されていた。
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、HLG映像とSDR映像との間で変換を行う際に、人物の肌の信号レベルが低くならず、かつテロップの白レベルが変化せず、さらにハイライトの白つぶれを抑制可能な映像信号変換装置及びプログラムを提供することにある。
前記課題を解決するために、請求項1の映像信号変換装置は、HLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像をSDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像に変換する映像信号変換装置において、前記HLG映像のビデオ信号を、前記HLG映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するHLGビデオ/光変換部と、前記HLGビデオ/光変換部により変換された前記第1ディスプレイ光信号に対し、前記HLG映像の肌レベルに対応する前記SDR映像の肌レベルの特性を得るためのゲイン処理を行い、第2ディスプレイ光信号を求めるゲイン処理部と、前記ゲイン処理部により求めた前記第2ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、前記HLG映像の基準白レベルに対応する前記SDR映像の白レベルの特性を得ると共に、前記SDR映像のビデオ信号の値が、前記HLG映像のビデオ信号の上限値に対応する前記SDR映像のビデオ信号の上限値まで増加する特性を得るための圧縮処理を行い、第2輝度を求める圧縮処理部と、前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記圧縮処理部により求めた前記第2輝度を、前記SDR映像の第3ディスプレイ光信号に変換するSDR輝度/光変換部と、前記SDR輝度/光変換部により変換された前記第3ディスプレイ光信号を、前記SDR映像の前記EOTFの逆関数により前記SDR映像のビデオ信号に変換するSDR光/ビデオ変換部と、を備えたことを特徴とする。
また、請求項2の映像信号変換装置は、請求項1に記載の映像信号変換装置において、前記ゲイン処理部が、前記第1ディスプレイ光信号に対し、所定のゲイン値を乗算することで前記ゲイン処理を行い、前記第2ディスプレイ光信号を求め、前記所定のゲイン値が、前記HLG映像の肌レベルの値、及び前記HLG映像の肌レベルに対応する前記SDR映像の肌レベルの値に基づいて、ユーザにより予め設定される、ことを特徴とする。
また、請求項3の映像信号変換装置は、請求項1または2に記載の映像信号変換装置において、前記圧縮処理部が、前記第1輝度に対し、前記HLG映像の前記基準白レベルに対応する前記SDR映像の前記白レベルの特性を得るための圧縮処理を行い、第3輝度を求める基準白レベル圧縮処理部と、前記基準白レベル圧縮処理部により求めた前記第3輝度に対し、前記SDR映像のビデオ信号の値が前記上限値まで増加する特性を得るための圧縮処理を行い、前記第2輝度を求めるハイライト色再現圧縮処理部と、を備えたことを特徴とする。
また、請求項4の映像信号変換装置は、HLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像をSDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像に変換する映像信号変換装置において、前記HLG映像のビデオ信号を、前記HLG映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するHLGビデオ/光変換部と、前記HLGビデオ/光変換部により変換された前記第1ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、所定のフィッティング関数により、前記HLG映像の肌レベルに対応する前記SDR映像の肌レベルの特性を得るための第1の演算を行うと共に、前記SDR映像のビデオ信号の値が、前記HLG映像のビデオ信号の上限値に対応する前記SDR映像のビデオ信号の上限値まで増加する特性を得るための第2の演算を行い、第2輝度を求める処理部と、前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記処理部により求めた前記第2輝度を、前記SDR映像の第2ディスプレイ光信号に変換するSDR輝度/光変換部と、前記SDR輝度/光変換部により変換された前記第2ディスプレイ光信号を、前記SDR映像の前記EOTFの逆関数により前記SDR映像のビデオ信号に変換するSDR光/ビデオ変換部と、を備えたことを特徴とする。
また、請求項5の映像信号変換装置は、HLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像をSDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像に変換する映像信号変換装置において、前記HLG映像のビデオ信号を、前記HLG映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するHLGビデオ/光変換部と、前記HLGビデオ/光変換部により変換された前記第1ディスプレイ光信号におけるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行い、第2ディスプレイ光信号を求めるクロストークマトリクス処理部と、前記クロストークマトリクス処理部により求めた前記第2ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、所定のフィッティング関数により、前記HLG映像の肌レベルに対応する前記SDR映像の肌レベルの特性を得るための第1の演算を行うと共に、前記SDR映像のビデオ信号の値が、前記HLG映像のビデオ信号の上限値に対応する前記SDR映像のビデオ信号の上限値まで増加する特性を得るための第2の演算を行い、第2輝度を求める処理部と、前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記処理部により求めた前記第2輝度を、前記SDR映像の第3ディスプレイ光信号に変換するSDR輝度/光変換部と、前記SDR輝度/光変換部により変換された前記第3ディスプレイ光信号におけるRGBの色成分毎の輝度のばらつきを元に戻すための、前記クロストークマトリクス処理に対する逆の処理である逆クロストークマトリクス処理を行い、第4ディスプレイ光信号を求める逆クロストークマトリクス処理部と、前記逆クロストークマトリクス処理部により求めた前記第4ディスプレイ光信号を、前記SDR映像の前記EOTFの逆関数により前記SDR映像のビデオ信号に変換するSDR光/ビデオ変換部と、を備えたことを特徴とする。
また、請求項6の映像信号変換装置は、請求項5に記載の映像信号変換装置において、前記三刺激値及び色度変換部の代わりに、HLG光/三刺激値変換部、クロマ処理部及びHLG色度変換部を備え、前記HLG光/三刺激値変換部が、前記クロストークマトリクス処理部により求めた前記第2ディスプレイ光信号を、三刺激値に変換し、前記クロマ処理部が、前記HLG光/三刺激値変換部により変換された前記三刺激値の三刺激値空間をCIELAB空間に変換し、基準白レベル以上の色が無彩色または白色に近づくように、前記CIELAB空間における色相角を保持しながら、前記CIELAB空間におけるクロマを小さくするクロマ補正処理を行い、クロマ補正処理後の三刺激値を求め、前記HLG色度変換部が、前記クロマ処理部により求めた前記三刺激値を、色度座標に変換し、前記処理部が、前記クロマ処理部により求めた前記三刺激値のうちの輝度値を前記第1輝度とし、前記第1の演算及び前記第2の演算を行い、前記第2輝度を求め、前記SDR輝度/光変換部が、前記HLG色度変換部により変換された前記色度座標を用いて、前記処理部により求めた前記第2輝度を、前記SDR映像の前記第3ディスプレイ光信号に変換する、ことを特徴とする。
また、請求項7の映像信号変換装置は、請求項6に記載の映像信号変換装置において、前記クロマ処理部が、前記HLG光/三刺激値変換部により変換された前記三刺激値の前記三刺激値空間を前記CIELAB空間に変換し、明度及び色座標を求める色空間変換部と、前記色空間変換部により求めた前記色座標に基づいて、クロマ補正処理前の前記クロマ及び前記色相角を求め、基準白レベル以上の色が無彩色または白色に近づくように、前記色相角を保持しながら、クロマ補正処理前の前記クロマを小さくしてクロマ補正処理後の前記色座標を求めるクロマ補正部と、前記色空間変換部により求めた前記明度、及び前記クロマ補正部により求めたクロマ補正後の前記色座標による前記CIELAB空間を、前記三刺激値空間に変換し、クロマ補正後の前記三刺激値を求める色空間逆変換部と、を備えたことを特徴とする。
また、請求項8の映像信号変換装置は、請求項4から7までのいずれか一項に記載の映像信号変換装置において、前記処理部における前記所定のフィッティング関数による前記第1の演算を、前記第1輝度に所定のゲイン値を乗算するゲイン処理の演算とし、前記所定のゲイン値が、前記HLG映像の肌レベルの値、及び当該HLG映像の肌レベルに対応する前記SDR映像の肌レベルの値に基づいて、ユーザにより予め設定される、ことを特徴とする。
また、請求項9の映像信号変換装置は、請求項4から8までのいずれか一項に記載の映像信号変換装置において、前記処理部における前記所定のフィッティング関数による前記第2の演算を、前記第1輝度を対数化する対数化処理の演算とする、ことを特徴とする。
また、請求項10の映像信号変換装置は、SDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像をHLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像に変換する映像信号変換装置において、前記SDR映像のビデオ信号を、前記SDR映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するSDRビデオ/光変換部と、前記SDRビデオ/光変換部により変換された前記第1ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、前記HLG映像のビデオ信号の値が、前記SDR映像のビデオ信号の上限値に対応する前記HLG映像のビデオ信号の上限値まで増加する特性を得ると共に、前記HLG映像の基準白レベルと前記SDR映像の白レベルとが対応する特性を得るための拡張処理を行い、第2輝度を求める拡張処理部と、前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記拡張処理部により求めた前記第2輝度を、前記HLG映像の第2ディスプレイ光信号に変換するHLG輝度/光変換部と、前記HLG輝度/光変換部により変換された前記第2ディスプレイ光信号に対し、前記HLG映像の肌レベルと前記SDR映像の肌レベルとが対応する特性を得るための逆ゲイン処理を行い、第3ディスプレイ光信号を求める逆ゲイン処理部と、前記逆ゲイン処理部により求めた前記第3ディスプレイ光信号を、前記HLG映像の前記EOTFの逆関数により前記HLG映像のビデオ信号に変換するHLG光/ビデオ変換部と、を備えたことを特徴とする。
また、請求項11の映像信号変換装置は、SDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像をHLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像に変換する映像信号変換装置において、前記SDR映像のビデオ信号を、前記SDR映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するSDRビデオ/光変換部と、前記SDRビデオ/光変換部により変換された前記第1ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、所定の逆フィッティング関数により、前記HLG映像のビデオ信号の値が、前記SDR映像のビデオ信号の上限値に対応する前記HLG映像のビデオ信号の上限値まで増加する特性を得るための第1の演算を行うと共に、前記HLG映像の基準白レベルと前記SDR映像の白レベルとが対応する特性を得るための演算を行い、さらに、前記HLG映像の肌レベルと前記SDR映像の肌レベルとが対応する特性を得るための第2の演算を行い、第2輝度を求める処理部と、前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記処理部により求めた前記第2輝度を、前記HLG映像の第2ディスプレイ光信号に変換するHLG輝度/光変換部と、前記HLG輝度/光変換部により変換された前記第2ディスプレイ光信号を、前記HLG映像の前記EOTFの逆関数により前記HLG映像のビデオ信号に変換するHLG光/ビデオ変換部と、を備えたことを特徴とする。
また、請求項12の映像信号変換装置は、SDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像をHLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像に変換する映像信号変換装置において、前記SDR映像のビデオ信号を、前記SDR映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するSDRビデオ/光変換部と、前記SDRビデオ/光変換部により変換された前記第1ディスプレイ光信号におけるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行い、第2ディスプレイ光信号を求めるクロストークマトリクス処理部と、前記クロストークマトリクス処理部により求めた前記第2ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、所定の逆フィッティング関数により、前記HLG映像のビデオ信号の値が、前記SDR映像のビデオ信号の上限値に対応する前記HLG映像のビデオ信号の上限値まで増加する特性を得るための第1の演算を行うと共に、前記HLG映像の基準白レベルと前記SDR映像の白レベルとが対応する特性を得るための演算を行い、さらに、前記HLG映像の肌レベルと前記SDR映像の肌レベルとが対応する特性を得るための第2の演算を行い、第2輝度を求める処理部と、前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記処理部により求めた前記第2輝度を、前記HLG映像の第3ディスプレイ光信号に変換するHLG輝度/光変換部と、前記HLG輝度/光変換部により変換された前記第3ディスプレイ光信号におけるRGBの色成分毎の輝度のばらつきを元に戻すための、前記クロストークマトリクス処理に対する逆の処理である逆クロストークマトリクス処理を行い、第4ディスプレイ光信号を求める逆クロストークマトリクス処理部と、前記逆クロストークマトリクス処理部により求めた前記第4ディスプレイ光信号を、前記HLG映像の前記EOTFの逆関数により前記HLG映像のビデオ信号に変換するHLG光/ビデオ変換部と、を備えたことを特徴とする。
また、請求項13の映像信号変換装置は、請求項12に記載の映像信号変換装置において、前記HLG輝度/光変換部の代わりに、HLG三刺激値変換部、クロマ処理部及びHLG三刺激値/光変換部を備え、前記HLG三刺激値変換部が、前記三刺激値及び色度変換部により変換された前記色度座標及び前記処理部により求めた前記第2輝度を、当該第2輝度を含む三刺激値に変換し、前記クロマ処理部が、前記HLG三刺激値変換部により変換された前記三刺激値の空間をCIELAB空間に変換し、基準白レベル以上の色が無彩色または白色に近づくように、前記CIELAB空間における色相角を保持しながら、前記CIELAB空間におけるクロマを小さくするクロマ補正処理を行い、クロマ補正処理後の三刺激値を求め、前記HLG三刺激値/光変換部が、前記クロマ処理部により求めたクロマ補正処理後の前記三刺激値を、第5ディスプレイ光信号に変換し、前記逆クロストークマトリクス処理部が、前記HLG三刺激値/光変換部により変換された前記第5ディスプレイ光信号におけるRGBの色成分毎の輝度のばらつきを元に戻すための前記逆クロストークマトリクス処理を行い、前記第4ディスプレイ光信号を求める、ことを特徴とする。
さらに、請求項14のプログラムは、コンピュータを、請求項1から9までのいずれか一項に記載の映像信号変換装置として機能させることを特徴とする。
また、請求項15のプログラムは、コンピュータを、請求項10から13までのいずれか一項に記載の映像信号変換装置として機能させることを特徴とする。
以上のように、本発明によれば、HLG映像とSDR映像との間で変換を行う際に、人物の肌の信号レベルが低くならず、かつテロップの白レベルが変化しない。さらに、ハイライトの白つぶれを抑制することができる。
実施例1の映像信号変換装置の構成例を示すブロック図である。 実施例1の映像信号変換装置の処理例を示すフローチャートである。 圧縮処理部の構成例を示すブロック図である。 HLGビデオ信号の肌レベルとSDRビデ信号の肌レベルとの間の対応関係、及び肌レベルを考慮したゲイン処理により得られた特性を説明する図である。 基準白レベルを考慮した圧縮処理により得られた特性を説明する図である。 ハイライトの色再現を考慮した圧縮処理により得られた特性を説明する図である。 ディスプレイ光のリニア信号である輝度の特性を示す図である。 実施例2の映像信号変換装置の構成例を示すブロック図である。 実施例2の映像信号変換装置の処理例を示すフローチャートである。 フィッティング関数を適用した処理により得られたディスプレイ輝度の特性を説明する図である。 <1>のパターンにおいて、ニーポイントを変更した場合のHLGディスプレイ輝度及びSDRディスプレイ輝度の対応関係を説明する図である。 <2>のパターンにおいて、ニーポイントを変更した場合のHLGディスプレイ輝度及びSDRディスプレイ輝度の対応関係を説明する図である。 フィッティング関数を適用した処理により得られたビデオ信号の特性を説明する図である。 実施例1の映像信号変換装置の逆変換を行う映像信号変換装置の構成例を示すブロック図である。 実施例2の映像信号変換装置の逆変換を行う映像信号変換装置の構成例を示すブロック図である。 実施例3の映像信号変換装置の構成例を示すブロック図である。 実施例3の映像信号変換装置の処理例を示すフローチャートである。 実施例4の映像信号変換装置の構成例を示すブロック図である。 実施例4の映像信号変換装置の処理例を示すフローチャートである。 クロマ処理部の構成例を示すブロック図である。 クロマ処理部の処理例を示すフローチャートである。 クロマ補正処理を説明する俯瞰図である。 パラメータσが小さい場合のクロマ補正処理を説明する図である。 パラメータσが大きい場合のクロマ補正処理を説明する図である。 所定のゲイン値k1等により設定されたフィッティング関数を適用した場合のディスプレイ輝度の特性を示す図である。 図25に示したディスプレイ輝度の特性に対応するビデオ信号の特性を示す図である。 所定のパラメータε,σ等が設定された場合のディスプレイ輝度の特性を示す図である。 図27に示したディスプレイ輝度の特性に対応するビデオ信号の特性を示す図である。 実施例4の映像信号変換装置の処理例をL***空間にて説明する図である。 図29のL***空間をL**平面で表した概略図である。 図29のL***空間をa**平面で表した概略図である。 実施例4の映像信号変換装置の処理例をL***空間にて説明する図である。 実施例3の映像信号変換装置の逆変換を行う映像信号変換装置の構成例を示すブロック図である。 実施例4の映像信号変換装置の逆変換を行う映像信号変換装置の構成例を示すブロック図である。
以下、本発明を実施するための形態について図面を用いて詳細に説明する。以下に説明する本発明の第1の実施形態(実施例1)は、HLG映像をSDR映像に変換する際に、人物の肌レベルを考慮したゲイン処理、基準白レベル及びハイライトの色再現を考慮した圧縮処理を行うことを特徴とする。これにより、人物の肌の信号レベルが低くならず、かつテロップの白レベルが変化せず、さらにハイライトの白つぶれを抑制することができる。
また、本発明の第2の実施形態(実施例2)は、HLG映像をSDR映像に変換する際に、人物の肌レベル、基準白レベル及びハイライトの色再現を考慮して演算するフィッティング関数を用いることを特徴とする。これにより、実施例1と同様の効果を奏することに加え、実施例1における信号の不連続性の問題を解決し、連続した特性を得ることができ、ハイライト領域のバンディングを改善することができる。
また、本発明の第3の実施形態(実施例3)は、HLG映像をSDR映像に変換する際に、実施例2と同様のフィッティング関数を用いると共に、RGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行うことを特徴とする。これにより、実施例2の効果に加え、ハイライトにおける特定の色成分のハードクリップによる色相変化を抑制し、ハイライトの色再現を十分に実現することができる。
また、本発明の第4の実施形態(実施例4)は、HLG映像をSDR映像に変換する際に、実施例2と同様のフィッティング関数を用いると共に、実施例3と同様のクロストークマトリクス処理を行い、さらに、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正処理を行うことを特徴とする。これにより、実施例3の効果に加え、無彩色または白色に近いハイライトの色再現を実現することができる。つまり、実施例4では、ハイライトの色再現を、実施例3よりも効果的に実現することができる。
〔実施例1:映像信号変換装置〕
まず、実施例1の映像信号変換装置の構成及び処理について説明する。前述のとおり、実施例1は、HLG映像をSDR映像に変換する際に、人物の肌レベルを考慮したゲイン処理、基準白レベル及びハイライトの色再現を考慮した圧縮処理を行う。これにより、人物の肌の信号レベルが低くならず、テロップの白レベルが変化しないで、さらに、ハイライトの白つぶれを抑制することができる。
図1は、実施例1の映像信号変換装置の構成例を示すブロック図であり、図2は、実施例1の映像信号変換装置の処理例を示すフローチャートである。この映像信号変換装置1は、HLGビデオ/光変換部10、ゲイン処理部11、三刺激値及び色度変換部12、圧縮処理部13、SDR輝度/光変換部14及びSDR光/ビデオ変換部15を備えている。
HLGビデオ/光変換部10は、HLG映像のビデオ信号であるHLGビデオ信号Eh’を入力する(ステップS201)。そして、HLGビデオ/光変換部10は、HLG映像のEOTFにより、HLGビデオ信号Eh’をディスプレイ光のリニア信号であるHLGのディスプレイ光信号Fdに変換する(ステップS202)。HLGビデオ/光変換部10は、HLGのディスプレイ光信号Fdをゲイン処理部11に出力する。
ゲイン処理部11は、HLGビデオ/光変換部10からHLGのディスプレイ光信号Fdを入力すると共に、予め設定されたゲイン値k1を入力する。そして、ゲイン処理部11は、ゲイン値k1に基づいて、ディスプレイ光信号Fdに対し肌レベルを考慮したゲイン処理を行うことにより、ディスプレイ光信号Fdgを求める(ステップS203)。そして、ゲイン処理部11は、ディスプレイ光信号Fdgを三刺激値及び色度変換部12に出力する。
三刺激値及び色度変換部12は、ゲイン処理部11からディスプレイ光信号Fdgを入力し、ディスプレイ光信号Fdgを、三刺激値XYZ及び色情報である色度座標x,yに変換する(ステップS204)。そして、三刺激値及び色度変換部12は、三刺激値XYZのうちの輝度Yを圧縮処理部13に出力すると共に、色度座標x,yをSDR輝度/光変換部14に出力する。
圧縮処理部13は、三刺激値及び色度変換部12から輝度Yを入力し、輝度Yに対し基準白レベルを考慮した圧縮処理を行うことにより、輝度Ycomp,1stを求める(ステップS205)。そして、圧縮処理部13は、輝度Ycomp,1stに対しハイライトの色再現を考慮した圧縮処理を行うことにより、輝度Ycomp,2ndを求める(ステップS206)。圧縮処理部13は、輝度Ycomp,2ndをSDR輝度/光変換部14に出力する。
SDR輝度/光変換部14は、圧縮処理部13から輝度Ycomp,2ndを入力すると共に、三刺激値及び色度変換部12から色度座標x,yを入力する。そして、SDR輝度/光変換部14は、色度座標x,yを用いて輝度Ycomp,2ndから三刺激値のXcomp,Zcompを求める(ステップS207)。
SDR輝度/光変換部14は、輝度Ycomp,2nd及び三刺激値のXcomp,ZcompからSDRのディスプレイ光信号Fdsを求める(ステップS208)。そして、SDR輝度/光変換部14は、SDRのディスプレイ光信号FdsをSDR光/ビデオ変換部15に出力する。
SDR光/ビデオ変換部15は、SDR輝度/光変換部14からSDRのディスプレイ光信号Fdsを入力する。そして、SDR光/ビデオ変換部15は、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDR映像のビデオ信号であるSDRビデオ信号Es’に変換する(ステップS209)。SDR光/ビデオ変換部15は、SDRビデオ信号Es’を出力する(ステップS210)。
実施例1では、HLGビデオ信号Eh’に対し、人物の肌の信号レベルが低くならず、テロップの白レベルが変化しないで、さらに、ハイライトの白つぶれが抑制されたSDRビデオ信号Es’を生成するための処理が行われる。実施例1は、ゲイン処理部11が、ディスプレイ光信号Fdに対し肌レベルを考慮したゲイン処理を行い、圧縮処理部13が、輝度Yに対し基準白レベルを考慮した圧縮処理、及びハイライトの色再現を考慮した圧縮処理を行うことを特徴とする。
(HLGビデオ/光変換部10)
次に、図1に示したHLGビデオ/光変換部10について詳細に説明する。前述のとおり、HLGビデオ/光変換部10は、HLG映像のEOTFにより、HLGビデオ信号Eh’をディスプレイ光のリニア信号であるディスプレイ光信号Fdに変換する。すなわち、HLGビデオ/光変換部10は、HLGビデオ信号Eh’であるRGB信号を、HLG映像のEOTFによりディスプレイ光のリニア信号であるディスプレイ光信号Fdに変換する。
HLGビデオ/光変換部10は、HLGビデオ信号Eh’を入力し、まず、HLG映像の光-電気伝達関数(OETF:Opto Electronic Transfer Function)の逆関数により、HLGビデオ信号Eh’をシーン光のリニア信号E={Rs,Gs,Bs}に変換する。シーン光のリニア信号Eは、以下の式で算出される。
Figure 0007145719000001
リニア信号Eに変換するのは、後段のディスプレイにおいて光信号として出力するためである。ここで、a=0.17883277,b=1-4a=0.28466892,c=0.5-a・ln(4a)=0.55991073である。なお、ln(x)はxの自然対数を示す。
HLGビデオ/光変換部10は、次に、HLG映像の光-光伝達関数(OOTF:Opto Optical Transfer Function)により、リニア信号Eをディスプレイ光信号Fd={Rd,Gd,Bd}に変換する。そして、HLGビデオ/光変換部10は、ディスプレイ光信号Fdをゲイン処理部11に出力する。
ディスプレイ光信号Fdは、以下の式で算出される。
Figure 0007145719000002
ここで、c1=0.2627,c2=0.6780,c3=0.0593,α=1000,β=0,γ=1.2とする。このα,βは、ディスプレイのピーク輝度LW及び黒の輝度LBとして、α=LW-LB、β=LBでそれぞれ求められる。γは、ディスプレイのピーク輝度LWに応じたシステムガンマである。
尚、システムガンマγは、以下の式で算出される。
Figure 0007145719000003
(ゲイン処理部11)
次に、図1に示したゲイン処理部11について詳細に説明する。前述のとおり、ゲイン処理部11は、予め設定されたゲイン値k1に基づいて、ディスプレイ光信号Fdに対し肌レベルを考慮したゲイン処理を行うことにより、ディスプレイ光信号Fdgを求める。
肌レベルを考慮したゲイン処理を行う際には、HLG映像の肌レベルとSDR映像の肌レベルとの間の対応関係が重要となる。図4は、HLGビデオ信号の肌レベルとSDRビデオ信号の肌レベルとの間の対応関係、及び肌レベルを考慮したゲイン処理により得られた特性を説明する図である。
この図には、個別に制作された同一コンテンツのHLG映像及びSDR映像において、同一人物の肌レベルの対応関係を分析した結果がプロットとして表されている(丸印を参照)。このHLG映像の番組は、HLGビデオ信号の基準白レベル75%を基準に制作されたコンテンツである。
横軸はHLGビデオ信号のレベルを示し、縦軸はSDRビデオ信号のレベルを示す。実線は従来技術の特性を示し、破線は、肌レベルを考慮した例の特性、すなわちゲイン処理部11による肌レベルを考慮したゲイン処理を行う場合の特性を示す。
実線で示した従来技術の特性は、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度約88cd/m2に対応させるためのゲイン処理を行う場合の特性を示す(後述する図7の点aを参照)。これは、前述のとおり、HLGビデオ信号の基準白レベル75%をSDRビデオ信号の白レベル約95%に対応させるためのゲイン処理を行う場合の特性に相当する(点eを参照)。
破線で示した肌レベルを考慮した例の特性は、ゲイン処理部11にて求めたディスプレイ光信号Fdgを、SDR映像のEOTFの逆関数によりSDRビデオ信号に変換したときの、HLGビデオ信号とSDRビデオ信号との間の対応関係を示している。
本発明者らによる肌レベルの分析によれば、肌レベルは、HLGビデオ信号の約45%~55%がSDRビデオ信号の約60%~85%に対応する関係になっていることがわかる。つまり、HLGビデオ信号の肌レベルVhskinは、HLGビデオ信号の約50%(点aを参照)であるのに対し、SDRビデオ信号の肌レベルVsskinは、SDRビデオ信号の約67%(点bを参照)であることが判明した。
実線で示した従来技術の特性において、HLGビデオ信号の肌レベルVhskinである約50%に対応するSDRビデオ信号の肌レベルは、約55%程度(点cを参照)である。したがって、従来技術におけるSDR映像の肌レベルは、肌レベルを考慮した例におけるSDR映像の肌レベルよりも低いことがわかる。
つまり、実施例1では、実線で示した肌レベルを考慮した例の特性、すなわちHLGビデオ信号の肌レベルVhskinに対応するSDRビデオ信号の肌レベルVsskinの特性(点fを参照)を得ることができるように、ゲイン処理を行う必要がある。そこで、ゲイン処理におけるゲイン値k1であるGainは、以下の2つの式のうちのいずれか一方にて得られた値が用いられる。
Figure 0007145719000004
Figure 0007145719000005
前述のとおり、LWは、ディスプレイのピーク輝度であり、EOTFは、電気-光伝達関数である。
前記式(4)のGainは、HLGビデオ/光変換部10において、輝度値[cd/m2]を基準としてディスプレイ光信号Fdが算出される場合に用いられる。また、前記式(5)のGainは、HLGビデオ/光変換部10において、正規化信号を基準としてディスプレイ光信号Fdが算出される場合に用いられる。
前記式(4)のGainが用いられる場合、輝度値[cd/m2]が基準となるため、前記式(2)及び(3)により得られる値と一致する。
また、前記式(5)のGainが用いられる場合、正規化信号が基準となるため、HLGビデオ/光変換部10によりディスプレイ光信号Fdが算出される前記式(2)において、α=1とする。
ここで、肌レベルを考慮したゲイン処理の例として、図4に示した肌レベルの対応関係を示すプロットの分析のとおり、HLGビデオ信号の肌レベルVhskin50%をSDRビデオ信号の肌レベルVsskin67%に対応させる(点fを参照)。この場合の前記式(4)及び前記式(5)により得られるGainは、HLG映像のディスプレイピーク輝度を1000cd/m2とすると、それぞれ7.5439,0.7544である。
つまり、ゲイン処理部11は、HLGビデオ/光変換部10からディスプレイ光信号Fdを入力し、ディスプレイ光信号Fdに対し、予め設定されたゲイン値k1であるGainを乗算することにより、ディスプレイ光信号Fdgを求める。このゲイン値k1は、HLGビデオ信号の肌レベルVhskinに対応するSDRビデオ信号の肌レベルVsskinの特性を得ることが可能な値である。そして、ゲイン処理部11は、ディスプレイ光信号Fdgを三刺激値及び色度変換部12に出力する。
ディスプレイ光信号Fdgは、以下の式で算出される。
Figure 0007145719000006
尚、ゲイン値k1であるGainは、ユーザにより、前記式(4)または(5)の演算にて予め設定されるようにしてもよいし、任意の値に予め設定されるようにしてもよい。要するに、ゲイン値k1は、映像調整可能な設定項目として、ユーザにより自由に変更できるようにしてもよい。
これにより、ゲイン処理部11において、HLGビデオ信号とSDRビデオ信号との間の関係が図4に示した破線の特性となるようにしたため、HLG映像の肌レベルをSDR映像の肌レベルに対応させることができる。したがって、従来技術よりも肌レベルを改善することができ、SDR映像における人物の肌の信号レベルは、HLG映像に比べて低くなることはない。
(三刺激値及び色度変換部12)
次に、図1に示した三刺激値及び色度変換部12について詳細に説明する。前述のとおり、三刺激値及び色度変換部12は、ディスプレイ光信号Fdgを三刺激値XYZ及び色度座標x,yに変換する。
三刺激値及び色度変換部12は、ゲイン処理部11からディスプレイ光信号Fdg={Rdg,Gdg,Bdg}を入力し、まず、ディスプレイ光信号Fdg={Rdg,Gdg,Bdg}を三刺激値XYZに変換する。三刺激値XYZは、以下の式で算出される。
Figure 0007145719000007
三刺激値及び色度変換部12は、次に、三刺激値XYZを色度座標x,yに変換する。色度座標x,yは、以下の式で算出される。
Figure 0007145719000008
三刺激値及び色度変換部12は、三刺激値XYZのうちの輝度Yを圧縮処理部13に出力すると共に、色度座標x,yをSDR輝度/光変換部14に出力する。輝度Yは、圧縮処理部13による圧縮処理に用いられ、色度座標x,yは、SDR輝度/光変換部14により輝度をディスプレイ光のリニア信号に戻す処理に用いられる。
(圧縮処理部13)
次に、図1に示した圧縮処理部13について詳細に説明する。前述のとおり、圧縮処理部13は、輝度Yに対し基準白レベルを考慮した圧縮処理を行うことにより輝度Ycomp,1stを求め、輝度Ycomp,1stに対しハイライトの色再現を考慮した圧縮処理を行うことにより輝度Ycomp,2ndを求める。
図3は、図1に示した圧縮処理部13の構成例を示すブロック図である。この圧縮処理部13は、基準白レベル圧縮処理部16及びハイライト色再現圧縮処理部17を備えている。
図4に示した肌レベルを考慮した例の特性では、SDRビデオ信号は、HLGビデオ信号の基準白レベル75%に対応する白レベルが従来技術に比べてずれている。また、SDRビデオ信号は、HLGビデオ信号の約70%以上の領域において、その上限値である109%でクリップされる(図4の領域dを参照)。そこで、圧縮処理部13の基準白レベル圧縮処理部16及びハイライト色再現圧縮処理部17により、基準白レベル及びハイライトの色再現を考慮した圧縮処理にて、このクリップが存在しない特性に修正する。
(基準白レベルを考慮した圧縮処理/基準白レベル圧縮処理部16)
次に、基準白レベル圧縮処理部16による基準白レベルを考慮した圧縮処理について詳細に説明する。この圧縮処理は、テロップの白レベルが変化しないようにするための処理である。
HLG映像及びSDR映像を同時に制作する一体化制作では、HLG映像をSDR映像に変換したときに、HLG映像に合成されたテロップの白レベルがSDR映像にて変化しないように、基準白レベルを考慮する必要がある。
実施例1では、従来技術と同様に、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度約88cd/m2~100cd/m2の間に対応させるためのゲイン処理を行うことで、基準白レベルを考慮したHLG映像からSDR映像への変換を実現している。このゲイン処理は、HLGビデオ信号の基準白レベル75%をSDRビデオ信号の白レベル約95%に対応させるためのゲイン処理に相当する。
基準白レベル圧縮処理部16は、これを実現するために、三刺激値及び色度変換部12から輝度Yを入力し、以下の式により、輝度Yに対し基準白レベルを考慮した圧縮処理を行うことで、輝度Ycomp,1stを求める。基準白レベル圧縮処理部16は、輝度Ycomp,1stをハイライト色再現圧縮処理部17に出力する。
Figure 0007145719000009
ここで、Yは、ゲイン処理部11によりゲイン処理され、三刺激値及び色度変換部12により変換された輝度を示す。Kpは圧縮処理の際のニーポイント、Wは、ニーポイント付近の信号変化を滑らかにするための変化開始点から変化終了点までの幅を示す。Y95%SDRは、SDRビデオ信号の白レベル約95%に対応するディスプレイ光の輝度を示す。Y75%HLGは、HLGビデオ信号の基準白レベル75%に対応するディスプレイ光の輝度を示す。ニーポイントKpは、後述する図7の点fに相当し、これは後述する図5の点eに対応する。
具体的には、基準白レベル圧縮処理部16は、輝度Yがニーポイントを基準とした所定値よりも低い領域において、輝度Yと同じ値を輝度Ycomp,1stとする(前記式(7)の上段の式)。また、基準白レベル圧縮処理部16は、輝度Yがニーポイントを基準とした幅Wの領域において、輝度Y95%SDR,Y75%HLG及び幅Wに基づいて、輝度Yの信号変化を滑らかにするための丸め処理を行い、輝度Ycomp,1stを算出する(前記式(7)の中段の式)。
基準白レベル圧縮処理部16は、輝度Yがニーポイントを基準とした所定値よりも高い領域において、輝度Y95%SDR,Y75%HLGに基づいた傾きを有する輝度Ycomp,1stを算出する(前記式(7)の下段の式)。
この圧縮処理により、ゲイン処理部11にてゲイン処理された輝度Yから、基準白レベルを考慮した輝度Ycomp,1stを得ることができる。
図5は、基準白レベルを考慮した圧縮処理により得られた特性を説明する図である。横軸はHLGビデオ信号のレベルを示し、縦軸はSDRビデオ信号のレベルを示す。図5には、図4に示した従来技術の特性(実線)及び肌レベルを考慮した例の特性(破線)に加え、基準白レベルを考慮した例の特性が示されている。一点鎖線は、基準白レベルを考慮した例の特性を示す。
ここで、基準白レベルを考慮した例の特性は、肌レベルを考慮した処理が行われ、その後、基準白レベルを考慮した処理が行われることで得られた特性である。後述する図6、図7、図10及び図13についても同様である。
一点鎖線に示した基準白レベルを考慮した例の特性は、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度約88cd/m2に対応させるゲイン処理を表した前記式(9)の圧縮処理の演算により得られた、HLGビデオ信号とSDRビデオ信号との間の対応関係を示している。
図5から、一点鎖線に示した基準白レベルを考慮した例の特性は、HLGビデオ信号の約60%に対応するSDRビデオ信号の約80%以下の領域(領域aを参照)において、肌レベルを考慮したゲイン処理により得られた特性に一致することがわかる。この領域の特性は、前記式(9)の上段の式により得られ、後述する図7の領域cに相当する。ニーポイントKpは、後述する図7の点fに相当し、これは図5の点eに対応する。
尚、ニーポイントKp(後述する図7の点f(図5の点eに対応))を中心とした前後W/2の領域においては、前記式(9)の中段の式により、丸め処理が行われる。これにより、急峻な特性を緩和して滑らかにすることができる。
また、基準白レベルを考慮した例の特性は、HLGビデオ信号の約60%から約85%までに対応するSDRビデオ信号の約80%から上限値である109%までの領域(領域bを参照)において、肌レベルを考慮したゲイン処理により得られた特性よりも低く、かつHLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の点(点dを参照)を含むことがわかる。
さらに、基準白レベルを考慮した例の特性は、HLGビデオ信号の約85%以上の領域(領域cを参照)において、SDRビデオ信号の上限値である109%でクリップされることがわかる。そこで、後述するハイライトの色再現を考慮した圧縮処理にて、このクリップが存在しない特性に修正する。領域b,cの特性は、前記式(9)の下段の式により得られ、後述する図7の領域gに相当する。
これにより、基準白レベル圧縮処理部16の基準白レベルを考慮した圧縮処理において、HLGビデオ信号とSDRビデオ信号との間の関係は、図5に示した基準白レベルを考慮した例の特性となる。
つまり、基準白レベル圧縮処理部16の基準白レベルを考慮した圧縮処理により、ニーポイントKp以上の領域において、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の特性を含むようにしたため、テロップの白レベルが変化することがない。この場合、ニーポイントKpよりも低い領域において、肌レベルを考慮した特性を維持するようにしたため、HLG映像の肌レベルをSDR映像の肌レベルに対応させることができる。
(ハイライトの色再現を考慮した圧縮処理/ハイライト色再現圧縮処理部17)
次に、ハイライト色再現圧縮処理部17によるハイライトの色再現を考慮した圧縮処理について詳細に説明する。この圧縮処理は、ハイライトの白つぶれを抑制するための処理である。
HLG映像のハイライトにおいてクリップを生じると、SDR映像では白飛びとして表現される。HDR映像をSDR映像に変換すると、ダイナミックレンジの違いにより白飛びが顕著に表れることがある。
ハイライト色再現圧縮処理部17は、これを防ぐために、基準白レベル圧縮処理部16から輝度Ycomp,1stを入力し、以下の式により、輝度Ycomp,1stに対しハイライトの色再現を考慮した圧縮処理を行うことで、輝度Ycomp,2ndを求める。ハイライト色再現圧縮処理部17は、輝度Ycomp,2ndをSDR輝度/光変換部14に出力する。この式は、HLGビデオ信号の100%をSDRビデオ信号の上限値である109%に対応させるものである。
Figure 0007145719000010
ここで、Ycomp,1stは基準白レベルを考慮した圧縮処理により得られた輝度、Wはニーポイント付近の信号変化を滑らかにするための変化開始点から変化終了点までの幅を示す。Y95%SDRは、SDRビデオ信号の白レベル約95%に対応するディスプレイ光の輝度を示す。Y109%SDRは、SDRビデオ信号の109%に対応するディスプレイ光の輝度を示す。Y100%HLGは、HLGビデオ信号の100%に対応するディスプレイ光の輝度をそれぞれ示す。ニーポイントはY95%SDRであり、後述する図7の点aに相当し、これは後述する図6の点cに対応する。
具体的には、ハイライト色再現圧縮処理部17は、輝度Ycomp,1stがニーポイントを基準とした所定値よりも低い領域において、輝度Ycomp,1stと同じ値を輝度Ycomp,2ndとする(前記式(10)の上段の式)。また、ハイライト色再現圧縮処理部17は、輝度Ycomp,1stがニーポイントを基準とした幅Wの領域において、Y95%SDR,Y109%SDR,Y100%HLG及び幅Wに基づいて、輝度Ycomp,1stの信号変化を滑らかにする丸め処理を行い、輝度Ycomp,2ndを算出する(前記式(10)の中段の式)。
ハイライト色再現圧縮処理部17は、Ycomp,1stがニーポイントを基準とした所定値よりも高い領域において、Y95%SDR,Y109%SDR,Y100%HLGに基づいた傾きを有する輝度Ycomp,2ndを算出する(前記式(10)の下段の式)。
この圧縮処理により、基準白レベルを考慮して得られた輝度Ycomp,1stから、ハイライトの色再現を考慮した輝度Ycomp,2ndを得ることができる。
図6は、ハイライトの色再現を考慮した圧縮処理により得られた特性を説明する図である。横軸はHLGビデオ信号のレベルを示し、縦軸はSDRビデオ信号のレベルを示す。図6には、図5に示した従来技術の特性(実線)、肌レベルを考慮した例の特性(破線)及び基準白レベルを考慮した例の特性(一点鎖線)に加え、ハイライトの色再現を考慮した例の特性が示されている。二点鎖線は、ハイライトの色再現を考慮した例の特性を示す。
ここで、二点鎖線に示したハイライトの色再現を考慮した例の特性は、肌レベルを考慮した処理及び基準白レベルを考慮した処理が行われ、その後、ハイライトの色再現を考慮した処理が行われることで得られた特性である。後述する図7、図10及び図13についても同様である。
二点鎖線に示したハイライトの色再現を考慮した例の特性は、HLGビデオ信号の100%をSDRビデオ信号の上限値である109%に対応させるための圧縮処理を表した前記式(10)の演算により得られた、HLGビデオ信号とSDRビデオ信号との間の対応関係を示している。
図6から、二点鎖線に示したハイライトの色再現を考慮した例の特性は、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%以下の領域(領域aを参照)において、基準白レベルを考慮した圧縮処理により得られた特性に一致することがわかる。この領域の特性は、前記式(10)の上段の式により得られ、後述する図7の領域bに相当する。ニーポイントはY95%SDRであり、後述する図7の点aに相当し、これは図6の点cに対応する。
尚、ニーポイント(後述する図7の点a(図5の点dに対応))を中心とした前後W/2の領域においては、前記式(10)の中段の式により、丸め処理が行われる。これにより、急峻な特性を緩和して滑らかにすることができる。
また、ハイライトの色再現を考慮した例の特性は、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%以上の領域(ハイライト領域、領域bを参照)において、SDRビデオ信号の上限値である109%でクリップされていないことがわかる。また、この領域においては、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の点(点cを参照)からHLGビデオ信号の100%に対応するSDRビデオ信号の上限値である109%の点(点dを参照)まで、増加する特性になっていることがわかる。領域bの特性は、前記式(10)の下段の式により得られ、後述する図7の領域dに相当する。
これにより、ハイライト色再現圧縮処理部17のハイライトの色再現を考慮した圧縮処理において、HLGビデオ信号とSDRビデオ信号との間の関係は、図6に示したハイライトの色再現を考慮した例の特性となる。
つまり、ハイライト色再現圧縮処理部17のハイライトの色再現を考慮した圧縮処理により、ニーポイント以上の領域において、SDRビデオ信号の上限値である109%でクリップされない特性となるようにしたため、ハイライトの白つぶれを抑制することができる。この場合、ニーポイントよりも低い領域において、基準白レベルを考慮した特性を維持するようにしたため、テロップの白レベルが変化することがないと共に、HLG映像の肌レベルをSDR映像の肌レベルに対応させることができる。
このように、ハイライト色再現圧縮処理部17は、輝度Ycomp,1stに対し、HLGビデオ信号に対応するSDRビデオ信号の値が、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の値(図6の点c)から上限値(図6の点d)までの間のハイライト領域(図6の領域b)について、増加する特性を得るための圧縮処理を行うことで、輝度Ycomp,2ndを求める。
したがって、圧縮処理部13の基準白レベル圧縮処理部16及びハイライト色再現圧縮処理部17は、輝度Yに対し、HLGビデオ信号に対応するSDRビデオ信号の値が、図5の点eから図6の点cを介して図6の点dまでの間について、増加する特性を得るための圧縮処理を行うことで、輝度Ycomp,2ndを求める。
図5の点eは、HLGビデオ信号の肌レベルVhskinに対応するSDRビデオ信号の肌レベルVsskinよりも大きく、かつHLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%よりも小さい輝度Yの所定値の点である。図6の点cは、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の値の点であり、図6の点dは上限値の点である。
(輝度の特性)
前述の図4は、ゲイン処理部11による肌レベルを考慮したビデオ信号の特性を示し、図5及び図6は、圧縮処理部13による基準白レベル及びハイライトの色再現を考慮したビデオ信号の特性をそれぞれ示している。しかし、ゲイン処理部11及び圧縮処理部13は、ビデオ信号に対して処理を行うのではなく、ディスプレイ光のリニア信号である輝度に対して処理を行う。
そこで、肌レベルを考慮したビデオ信号の特性、基準白レベルを考慮したビデオ信号の特性及びハイライトの色再現を考慮したビデオ信号の特性に対応する、ディスプレイ光のリニア信号である輝度の特性について説明する。
図7は、ディスプレイ光のリニア信号である輝度の特性を示す図である。横軸はHLGディスプレイ輝度[cd/m2]を示し、縦軸はSDRディスプレイ輝度[cd/m2]を示す。HLGディスプレイ輝度の上限値は1000cd/m2であり、これはHLGビデオ信号の上限値である100%に対応する。また、SDRディスプレイ輝度の上限値は123cd/m2であり、これはSDRビデオ信号の上限値である109%に対応する。
実線は、従来技術の特性を示す。すなわち、従来技術の特性は、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度約88cd/m2に対応させるためのゲイン処理を行う場合の特性を示す。
破線は、肌レベルを考慮した例の特性、すなわちゲイン処理部11による肌レベルを考慮したゲイン処理を行う場合の特性を示す。この特性は、ゲイン処理部11にて求めたディスプレイ光信号Fdgに対応する、三刺激値及び色度変換部12にて求めた輝度Yの対応関係を示している。
一点鎖線は、基準白レベルを考慮した例の特性、すなわち圧縮処理部13による基準白レベルを考慮した圧縮処理を行う場合の特性を示す。この特性は、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度約88cd/m2に対応させる従来のゲイン処理を表した前記式(9)の圧縮処理の演算により得られた輝度の対応関係を示している。
実線に示した従来技術の特性及び一点鎖線に示した基準白レベルを考慮した例の特性は、HLGディスプレイ輝度200cd/m2に対応するSDRディスプレイ輝度約88cd/m2の点(aを参照)を含む特性となっている。
二点鎖線は、ハイライトの色再現を考慮した例の特性、すなわち圧縮処理部13によるハイライトの色再現を考慮した圧縮処理を行う場合の特性を示す。この特性は、HLGビデオ信号の100%をSDRビデオ信号の上限値である109%に対応させるための圧縮処理、すなわちHLGビデオ信号の100%におけるディスプレイ光の輝度を、SDRビデオ信号の109%におけるディスプレイ光の輝度に対応させるための圧縮処理を表した前記式(10)の演算により得られた輝度の対応関係を示している。
二点鎖線に示したハイライトの色再現を考慮した例の特性は、HLGディスプレイ輝度200cd/m2及びSDRディスプレイ輝度約88cd/m2の点(点aを参照)を含むことがわかる。また、このハイライトの色再現を考慮した例の特性は、領域bにおいて一点鎖線に示した基準白レベルを考慮した例の特性に一致し、c領域において破線の肌レベルを考慮した例の特性に一致することがわかる。
さらに、二点鎖線のハイライトの色再現を考慮した例の特性は、領域dにおいて、SDRディスプレイ輝度の上限値である約123cd/m2でクリップされておらず、点aから、HLGディスプレイ輝度の上限値である1000cd/m2に対応するSDRディスプレイ輝度の上限値である123cd/m2の点eまで、増加する特性になっている。
(SDR輝度/光変換部14)
次に、図1に示したSDR輝度/光変換部14について詳細に説明する。SDR輝度/光変換部14の処理は、三刺激値及び色度変換部12に対して逆方向の処理となる。SDR輝度/光変換部14は、圧縮処理部13から輝度Ycomp,2ndを入力すると共に、三刺激値及び色度変換部12から色度座標x,yを入力する。
SDR輝度/光変換部14は、まず、以下の式にて、色度座標x,y及び輝度Ycomp,2ndから三刺激値のXcomp,Zcompを求める。
Figure 0007145719000011
SDR輝度/光変換部14は、次に、以下の式にて、輝度Ycomp,2nd及び三刺激値のXcomp,ZcompからSDRのディスプレイ光信号Fds={Rds,Gds,Bds}を求める。
Figure 0007145719000012
ここで、Fds<0となる信号があった場合は、Fds=0とする。この3行3列の行列は、前記式(7)に示した3行3列の行列の逆行列である。
SDR輝度/光変換部14は、ディスプレイ光信号Fds={Rds,Gds,Bds}をSDR光/ビデオ変換部15に出力する。
(SDR光/ビデオ変換部15)
次に、図1に示したSDR光/ビデオ変換部15について詳細に説明する。SDR光/ビデオ変換部15は、SDR輝度/光変換部14からSDRのディスプレイ光信号Fdsを入力し、以下の式にて、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDRビデオ信号Es’に変換する。
Figure 0007145719000013
以上のように、実施例1の映像信号変換装置1によれば、HLGビデオ/光変換部10は、HLG映像のEOTFにより、HLGビデオ信号Eh’をディスプレイ光信号Fdに変換する。
ゲイン処理部11は、ディスプレイ光信号Fdに対し肌レベルを考慮したゲイン処理、すなわちHLGビデオ信号の肌レベルVhskinに対応するSDRビデオ信号の肌レベルVsskinの特性を得るためのゲイン処理を行うことにより、ディスプレイ光信号Fdgを求める。
これにより、従来技術よりも肌レベルを改善することができ、SDR映像における人物の肌の信号レベルは、HLG映像に比べて低くなることはない。しかし、この肌レベルを考慮したゲイン処理により、SDRビデオ信号は、所定領域において上限値でクリップされてしまう。そこで、圧縮処理部13により圧縮処理が行われる。
三刺激値及び色度変換部12は、ディスプレイ光信号Fdgを三刺激値XYZ及び色度座標x,yに変換する。
圧縮処理部13は、輝度Yに対し基準白レベルを考慮した圧縮処理、すなわちHLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度88cd/m2~100cd/m2の間に対応させる従来のゲイン処理に相当するように、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の特性を得るための圧縮処理を行うことにより、輝度Ycomp,1stを求める。
これにより、従来技術と同様に、テロップの白レベルが変化することがない。しかし、この基準白レベルを考慮した圧縮処理により、SDRビデオ信号は、所定領域において上限値でクリップされてしまう。そこで、ハイライトの色再現を考慮した圧縮処理が行われる。
圧縮処理部13は、輝度Ycomp,1stに対しハイライトの色再現を考慮した圧縮処理、すなわちハイライト領域においてSDRビデオ信号が上限値である109%でクリップされないように、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の点からHLGビデオ信号の100%(HLGディスプレイ輝度1000cd/m2)に対応するSDRビデオ信号の上限値である109%(SDRディスプレイ輝度123cd/m2)の点まで増加する特性を得るための圧縮処理を行うことにより、輝度Ycomp,2ndを求める。
これにより、SDRビデオ信号が上限値でクリップされないため、ハイライトの白つぶれを抑制することができる。
SDR輝度/光変換部14は、色度座標x,yを用いて輝度Ycomp,2ndからSDRのディスプレイ光信号Fdsを求める。そして、SDR光/ビデオ変換部15は、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDRビデオ信号Es’に変換する。
このように、HLG映像をSDR映像に変換する際に、人物の肌レベルを考慮したゲイン処理、基準白レベル及びハイライトの色再現を考慮した圧縮処理を行うようにした。これにより、人物の肌の信号レベルが低くならず、テロップの白レベルが変化せず、さらにハイライトの白つぶれを抑制することができる。
例えば、HLG映像及びSDR映像を同時に制作する一体化制作において、HLGの番組制作を行った後、実施例1の映像信号変換装置1を用いるようにする。これにより、HLGで番組制作したような肌レベルであり、基準白レベルが考慮され、さらにハイライトの白つぶれも抑制されたSDR映像の生成が可能となる。
尚、図1に示した映像信号変換装置1のSDR輝度/光変換部14は、輝度Ycomp,2nd及び三刺激値のXcomp,ZcompからSDRのディスプレイ光信号Fdsを求める際に、前記式(12)に示したように、広い色域のRGBから三刺激値に変換するマトリクスの逆行列を用いるようにした。この広い色域のRGBから三刺激値に変換するマトリクスは、三刺激値及び色度変換部12がディスプレイ光信号Fdgを三刺激値XYZに変換する際に用いる前記式(7)の行列である。
これに対し、SDR輝度/光変換部14は、輝度Ycomp,2nd及び三刺激値のXcomp,ZcompからSDRのディスプレイ光信号Fdsを求める際に、以下の式を用いるようにしてもよい。
Figure 0007145719000014
この行列は、狭い色域のRGBから三刺激値に変換するマトリクスの逆行列である。
これにより、三刺激値及び色度変換部12において、広い色域のRGBから三刺激値に変換するマトリクスを使用し、SDR輝度/光変換部14において、狭い色域のRGBから三刺激値に変換するマトリクスの逆行列を使用し、三刺激値からRGBに戻すことで、広い色域から狭い色域への変換を行うことができる。
〔実施例2:映像信号変換装置〕
次に、実施例2の映像信号変換装置の構成及び処理について説明する。前述のとおり、実施例2は、HLG映像をSDR映像に変換する際に、人物の肌レベル、基準白レベル及びハイライトの色再現を考慮した演算を含むフィッティング関数を用いるものである。
これにより、人物の肌の信号レベルが低くならず、テロップの白レベルが変化しないで、さらに、ハイライトの白つぶれを抑制することができる。また、前述の実施例1により生じる信号の不連続性の問題を解決し、連続した特性を得ることができ、ハイライト領域のバンディングを改善することができる。
図8は、実施例2の映像信号変換装置の構成例を示すブロック図であり、図9は、実施例2の映像信号変換装置の処理例を示すフローチャートである。この映像信号変換装置2は、HLGビデオ/光変換部20、三刺激値及び色度変換部21、圧縮処理部22、SDR輝度/光変換部23及びSDR光/ビデオ変換部24を備えている。
HLGビデオ/光変換部20は、HLG映像のビデオ信号であるHLGビデオ信号Eh’を入力する(ステップS901)。そして、HLGビデオ/光変換部20は、HLG映像のEOTFにより、HLGビデオ信号Eh’をディスプレイ光のリニア信号であるHLGのディスプレイ光信号Fdに変換する(ステップS902)。HLGビデオ/光変換部20は、HLGのディスプレイ光信号Fdを三刺激値及び色度変換部21に出力する。
三刺激値及び色度変換部21は、HLGビデオ/光変換部20からディスプレイ光信号Fdを入力し、ディスプレイ光信号Fdを、三刺激値XYZ及び色情報である色度座標x,yに変換する(ステップS903)。そして、三刺激値及び色度変換部21は、輝度Yを圧縮処理部22に出力すると共に、色度座標x,yをSDR輝度/光変換部23に出力する。
圧縮処理部22は、三刺激値及び色度変換部21から輝度Yを入力し、予め設定されたゲイン値k1及びSDRニーポイントYSDRkp等に基づいて、輝度Yに対し所定のフィッティング関数による処理を行うことにより、輝度Ycompを求める(ステップS904)。そして、圧縮処理部22は、輝度YcompをSDR輝度/光変換部23に出力する。所定のフィッティング関数は、人肌レベル、基準白レベル及びハイライトの色再現を考慮した演算を含む関数である。SDRニーポイントYSDRkpは、SDRディスプレイ輝度信号のニーポイントである。
SDR輝度/光変換部23は、圧縮処理部22から輝度Ycompを入力すると共に、三刺激値及び色度変換部21から色度座標x,yを入力する。そして、SDR輝度/光変換部23は、色度座標x,yを用いて輝度Ycompから三刺激値のXcomp,Zcompを求める(ステップS905)。
SDR輝度/光変換部23は、輝度Ycomp及び三刺激値のXcomp,ZcompからSDRのディスプレイ光信号Fdsを求める(ステップS906)。そして、SDR輝度/光変換部23は、SDRのディスプレイ光信号FdsをSDR光/ビデオ変換部24に出力する。
SDR光/ビデオ変換部24は、SDR輝度/光変換部23からSDRのディスプレイ光信号Fdsを入力する。そして、SDR光/ビデオ変換部24は、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDR映像のビデオ信号であるSDRビデオ信号Es’に変換する(ステップS907)。SDR光/ビデオ変換部24は、SDRビデオ信号Es’を出力する(ステップS908)。
実施例2では、HLGビデオ信号Eh’に対し、人物の肌の信号レベルが低くならず、テロップの白レベルが変化しないで、さらに、ハイライトの白つぶれを抑制するSDRビデオ信号Es’が生成される。実施例2は、圧縮処理部22が、輝度Yに対し、人肌レベル、基準白レベル及びハイライトの色再現を考慮したフィッティング関数による処理を行うことを特徴とする。
(HLGビデオ/光変換部20)
次に、図8に示したHLGビデオ/光変換部20について詳細に説明する。前述のとおり、HLGビデオ/光変換部20は、HLG映像のEOTFにより、HLGビデオ信号Eh’をディスプレイ光のリニア信号であるディスプレイ光信号Fdに変換する。すなわち、HLGビデオ/光変換部20は、HLGビデオ信号Eh’であるRGB信号を、HLG映像のEOTFによりディスプレイ光のリニア信号であるディスプレイ光信号Fdに変換する。
HLGビデオ/光変換部20は、図1に示したHLGビデオ/光変換部10と同様の処理を行うため、ここでは詳細な説明を省略する。
(三刺激値及び色度変換部21)
次に、図8に示した三刺激値及び色度変換部21について詳細に説明する。前述のとおり、三刺激値及び色度変換部21は、ディスプレイ光信号Fdを三刺激値XYZ及び色度座標x,yに変換する。
三刺激値及び色度変換部21は、HLGビデオ/光変換部20からディスプレイ光信号Fd={Rd,Gd,Bd}を入力し、まず、ディスプレイ光信号Fd={Rd,Gd,Bd}を三刺激値XYZに変換する。三刺激値XYZは、以下の式で算出される。
Figure 0007145719000015
三刺激値及び色度変換部21は、次に、三刺激値XYZを色度座標x,yに変換する。色度座標x,yは、以下の式で算出される。
Figure 0007145719000016
三刺激値及び色度変換部21は、輝度Yを圧縮処理部22に出力すると共に、色度座標x,yをSDR輝度/光変換部23に出力する。輝度Yは、圧縮処理部22による処理に用いられ、色度座標x,yは、SDR輝度/光変換部23により輝度をディスプレイ光のリニア信号に戻す処理に用いられる。
(圧縮処理部22)
次に、図8に示した圧縮処理部22について詳細に説明する。前述のとおり、圧縮処理部22は、予め設定されたゲイン値k1及びSDRニーポイントYSDRkp等に基づいて、輝度Yに対し、人肌レベル、基準白レベル及びハイライトの色再現を考慮したフィッティング関数による処理を行うことにより輝度Ycompを求める。
図10は、フィッティング関数を適用した処理により得られたディスプレイ輝度の特性を説明する図である。横軸はHLGディスプレイ輝度[cd/m2]を示し、縦軸はSDRディスプレイ輝度[cd/m2]を示す。図10には、図7に示した従来技術の特性(実線)、肌レベルを考慮した例の特性(破線)、基準白レベルを考慮した例の特性(一点鎖線)及びハイライトの色再現を考慮した例の特性(二点鎖線)に加え、フィッティング関数を適用した例の特性が示されている。
点線は、フィッティング関数を適用した例の特性、すなわち入力データである輝度Yに対し、圧縮処理部22により、人肌レベル、基準白レベル及びハイライトの色再現を考慮したフィッティング関数を用いて処理を行う場合の特性を示す。これは、圧縮処理部22の出力データである輝度Ycompに相当する。実線に示した従来技術の特性は、入力データである輝度Yに対し、基準白レベルを考慮したゲイン処理のみを行う場合の特性を示す。
この点線に示したフィッティング関数を適用した例の特性には、実線に示した従来技術の特性に対する、以下の(A)(B)(C)の処理が反映されている。
(A)肌レベルを考慮したゲイン処理、すなわちHLGビデオ信号の肌レベルVhskinに対応するSDRビデオ信号の肌レベルVsskinを得るための処理。
(B)基準白レベルを考慮した圧縮処理(対数化処理)、すなわちHLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度88cd/m2~100cd/m2(点aを参照)に対応させる従来のゲイン処理に相当するように、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%(後述する図13の点aを参照)の特性を得るための処理。
(C)ハイライトの色再現を考慮した圧縮処理(対数化処理)、すなわちハイライト領域(領域bを参照、後述する図13の領域bを参照)においてSDRビデオ信号が上限値である109%でクリップされないように、HLGビデオ信号の100%(HLGディスプレイ輝度1000cd/m2)に対応するSDRビデオ信号の上限値である109%(SDRディスプレイ輝度123cd/m2)の点(点cを参照、後述する図13の点cを参照)まで増加するような処理。
圧縮処理部22は、図10に示した点線の特性を実現するフィッティング関数を用いて、以下の式により、輝度Yに対してゲイン処理及び圧縮処理(対数化処理)を行うことで輝度Ycompを求める。
Figure 0007145719000017
ここで、Yは、三刺激値及び色度変換部21により算出された輝度である。k1は、肌レベルを考慮したゲイン値である。k2は、変曲点Y=YHLGkpにおいて、線形信号と対数による非線形信号の接線の傾きを一致させるための補正値である。
3は、HLG100%(HLGビデオ信号の100%に対応するHLGディスプレイ輝度1000cd/m)のリニア信号を、SDR109%(SDRビデオ信号の109%に対応するSDRディスプレイ輝度123cd/m)のリニア信号に対応させるための補正値、またはHLG75%(HLGビデオ信号の75%に対応するHLGディスプレイ輝度)のリニア信号を、SDR100%(SDRビデオ信号の100%に対応するSDRディスプレイ輝度)のリニア信号に対応させるという、拘束条件により決定される補正値である。k4は、線形信号と対数による非線形信号の接点の値を一致させるための補正値である。YHLGkpは、SDRディスプレイ輝度信号のニーポイントであるSDRニーポイントYSDRkpに対応するHLGディスプレイ輝度信号のニーポイントである。
ゲイン値k1、SDRニーポイントYSDRkp、HLGニーポイントYHLGkp、SDR109%のビデオ信号Vs109(またはSDR100%のビデオ信号Vs100)、HLG100%のビデオ信号Vh100(またはHLG75%のビデオ信号Vh75)、SDR映像のEOTF及びHLG映像のEOTFは、ユーザにより予め設定される。
補正値k2は、後述する式(18)のとおり、ユーザにより予め設定されたゲイン値k1、HLGニーポイントYHLGkp、及び、圧縮処理部22により算出された補正値k3を用いて、圧縮処理部22により算出される。
補正値k3は、ユーザにより予め設定されたゲイン値k1、SDRニーポイントYSDRkp、HLGニーポイントYHLGkp、SDR109%のビデオ信号Vs109(またはSDR100%のビデオ信号Vs100)、HLG100%のビデオ信号Vh100(またはHLG75%のビデオ信号Vh75)、SDR映像のEOTF及びHLG映像のEOTFを用いて、圧縮処理部22により算出される。詳細については後述する。補正値k4は、後述する式(18)のとおり、SDRニーポイントYSDRkp、及び、圧縮処理部22により算出された補正値k2,k3を用いて、圧縮処理部22により算出される。詳細については後述する。
具体的には、圧縮処理部22は、輝度YがHLGニーポイントYHLGkpよりも低い領域において、輝度Yに対し、予め設定されたゲイン値k1を乗算するゲイン処理を行い、線形化した輝度Ycompを算出する(前記式(17)の上段の式)。
SDRニーポイントYSDRkp及びHLGニーポイントYHLGkpのニーポイントは、ユーザにより任意に設定される。このニーポイントは、図10の点dに相当し、これは後述する図13の点dに対応する。
前記式(17)の上段の式は、輝度YがHLGニーポイントYHLGkpよりも低い領域において(図10に示した原点からd点のニーポイントまでの領域において)、図10の実線に示した従来技術の特性を、点線に示した原点からd点までの直線の特性に持ち上げるゲイン処理を示している。これにより、線形化した輝度Ycompが得られる。
圧縮処理部22は、輝度YがHLGニーポイントYHLGkp以上の領域において、輝度Yに対し、補正値k2,k3,k4及びHLGニーポイントYHLGkpに基づいた対数の特性を有する輝度Ycompを算出する(前記式(17)の下段の式)。
前記式(17)の下段の式は、輝度YがHLGニーポイントYHLGkp以上の領域において(図10に示したd点のニーポイントからc点までの領域において)、図10の点線に示した特性のように、d点のニーポイント、a点(HLGディスプレイ輝度200cd/m2に対応するSDRディスプレイ輝度88cd/m2~100cd/m2のポイント、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%のポイント)及びc点を含む対数化処理を示している。これにより、対数化した輝度Ycompが得られる。
このゲイン処理及び対数化処理により、三刺激値及び色度変換部21にて算出された輝度Yから、人肌レベル、基準白レベル及びハイライトの色再現を考慮した輝度Ycompを得ることができる。
(ゲイン値k1
まず、フィッティング関数を示す前記式(17)のゲイン値k1について説明する。ゲイン値k1は、肌レベルを考慮した値であり、HLG映像の肌レベルとSDR映像の肌レベルとの間の対応関係から、ユーザにより予め設定される。
すなわち、図4にて説明したとおり、HLGビデオ信号の肌レベルVhskinは、HLGビデオ信号の約50%(点aを参照)であるのに対し、SDRビデオ信号の肌レベルVsskinは、SDRビデオ信号の約67%(点bを参照)である。
したがって、ゲイン値k1は、図4の破線に示した肌レベルを考慮した例の特性、すなわちHLGビデオ信号の肌レベルVhskinに対応するSDRビデオ信号の肌レベルVsskinを得ることが可能な特性を実現するように設定される必要がある。
そこで、ゲイン値k1は、前記式(4)または前記式(5)を用いてユーザにより算出された値が用いられる。前述のとおり、前記式(4)は、HLGビデオ/光変換部20において、輝度値[cd/m2]を基準としてディスプレイ光信号Fdが算出される場合に用いられる。また、前記式(5)は、HLGビデオ/光変換部20において、正規化信号を基準としてディスプレイ光信号Fdが算出される場合に用いられる。
前記式(4)及び前記式(5)により得られるゲイン値k1は、HLG映像のディスプレイピーク輝度を1000cd/m2とすると、それぞれ7.5439,0.7544である。
尚、ゲイン値k1は、ユーザにより、前記式(4)または(5)の演算にて予め設定されるようにしてもよいし、任意の値に予め設定されるようにしてもよい。要するに、ゲイン値k1は、映像調整可能な設定項目として、ユーザにより自由に変更できるようにしてもよい。
これにより、ゲイン値k1を用いることで、HLGビデオ信号とSDRビデオ信号との間の関係が図4に示した破線の特性となるようにしたため、HLG映像の肌レベルをSDR映像の肌レベルに対応させることができる。したがって、従来技術よりも肌レベルを改善することができ、SDRビデオ信号における人物の肌の信号レベルは、HLGビデオ信号に比べて低くなることはない。
(補正値k3
次に、フィッティング関数を示す前記式(17)の補正値k3について説明する。補正値k3は、HLG100%のリニア信号をSDR109%のリニア信号(またはHLG75%のリニア信号をSDR100%のリニア信号)に対応させるための値であり、圧縮処理部22により、ゲイン値k1を用いた以下の処理にて算出される。尚、補正値k3は、圧縮処理部22の処理により算出されるのではなく、ユーザにより予め設定されるようにしてもよい。
補正値k3は、フィッティング関数における拘束条件を定める値である。拘束条件の例としては以下の2パターンがあり、ユーザの設定により、いずれか一方が選択される。
<1>HLG100%をSDR109%に対応させるパターン
<2>HLG75%をSDR100%に対応させるパターン
<1>は、HLGビデオ信号の100%に対応するHLGディスプレイ輝度1000cd/m2を、SDRビデオ信号の109%に対応するSDRディスプレイ輝度123cd/m2に対応させるパターンである。<2>は、HLGビデオ信号の75%に対応するHLGディスプレイ輝度を、SDRビデオ信号の100%に対応するSDRディスプレイ輝度に対応させるパターンである。
(<1>のパターン)
まず、<1>のパターンとして、正規化信号を基準とした変換において、HLG100%のリニア信号をSDR109%のリニア信号に対応させるように拘束を与えた場合について説明する。
圧縮処理部22は、前記式(17)の対数関数部分の補正値k3を変化させたときに、変曲点であるYSDRkpからSDR109%のリニア信号の値までの増加分と対数関数による変曲点からHLG100%のリニア信号の値までの増加分が一致する値を算出し、その値をk3とする。
ここで、前記式(17)において、未知数である補正値k2,k4は、以下の式のとおり、予め設定されたゲイン値k1、算出対象の補正値k3等から算出することができる。SDRニーポイントYSDRkp及びHLGニーポイントYHLGkpは、ユーザにより予め設定される。
Figure 0007145719000018
つまり、補正値k3が算出されることで、必然的に補正値k2,k4も算出されることになる。
補正値k3の算出式は、以下のとおりとなる。
Figure 0007145719000019
ここで、Vs109はSDR109%のビデオ信号、Vh100はHLG100%のビデオ信号である。EOTFSDR()は、SDR映像のEOTFであり、EOTFHLG()は、HLG映像のEOTFである。
前記式(19)の右辺の第1項~第2項は、変曲点であるYSDRkpからSDR109%のリニア信号の値までの増加分に相当する。第3項は、前記式(17)の下段の式に対応しており、その対数関数による変曲点であるYHLGkpからHLG100%のリニア信号の値までの増加分に相当する。
例えば、SDRニーポイントYSDRkpをSDRのビデオ信号の80%とし、HLGビデオ/光変換部20において正規化信号を基準としてディスプレイ光信号Fdが算出される場合、HLGニーポイントYHLGkp=0.07759235、ゲイン値k1=7.54391909、補正値k2=0.17357417、補正値k3=0.70346967及び補正値k4=0.79634823となる。
尚、SDRニーポイントYSDRkpは、予め設定された固定値を用いるようにしてもよいし、映像調整可能な設定項目として、ユーザにより自由に変更できるようにしてもよい。また、圧縮処理部22は、ユーザにより予め設定されたゲイン値k1及びSDRニーポイントYSDRkpを入力し、予め設定されたHLG映像及びSDR映像のビデオ信号の対応関係に従って、SDRニーポイントYSDRkpに対応するHLGニーポイントYHLGkpを算出し、前述のとおり、変曲点から拘束条件の点までの信号の増加分が一致する値となる補正値k3を算出し、補正値k2,k4を算出するようにしてもよい。
また、HLG映像及びSDR映像を同時に制作する一体化制作では、HLG映像をSDR映像に変換したときに、HLG映像に合成されたテロップの白レベルがSDR映像にて変化しないように、基準白レベルを考慮する必要がある。
実施例2では、従来技術と同様に、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度88cd/m2~100cd/m2の間に対応させるようなゲイン処理を行うことで、基準白レベルを考慮したHLG映像からSDR映像への変換を実現している。
図11は、<1>のパターンにおいて、ニーポイントを変更した場合のHLGディスプレイ輝度及びSDRディスプレイ輝度の対応関係を説明する図である。横軸はHLGディスプレイ輝度[cd/m2]を示し、縦軸はSDRディスプレイ輝度[cd/m2]を示す。図11には、SDRニーポイントYSDRkp=80%,85%,90%,95%のときの特性が示されている。
これらの特性から、SDRニーポイントYSDRkpが80%,85%,90%,95%の範囲で変更されたとしても、HLGディスプレイ輝度200cd/m2は、SDRディスプレイ輝度約90cd/m2~105cd/m2の間に対応していることがわかる。
前述のとおり、従来技術では、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度88cd/m2~100cd/m2の間に対応させるようなゲイン処理を行うことで、基準白レベルを考慮したHLG映像からSDR映像への変換を実現している。
実施例2の映像信号変換装置2においても、<1>のパターンによる前記式(17)を用いた処理により、基準白レベルを考慮したHLG映像からSDR映像への変換を実現することができる。つまり、後述する図13に示すように、前記式(17)を用いた処理により、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の点を含む特性となるようにしたため、テロップの白レベルが変化することがない。
(<2>のパターン)
次に、<2>のパターンとして、正規化信号を基準とした変換において、HLG75%のリニア信号をSDR100%のリニア信号に対応させるように拘束を与えた場合について説明する。
圧縮処理部22は、<1>のパターンと同様に、変曲点であるYSDRkpからSDR100%のリニア信号の値までの増加分と対数関数による変曲点からHLG75%のリニア信号の値までの増加分が一致する値を算出し、その値をk3とする。
補正値k3の算出式は、以下のとおりとなる。
Figure 0007145719000020
ここで、Vs100はSDR100%のビデオ信号、Vh75は、HLG75%のビデオ信号である。
前記式(20)の右辺の第1項~第2項は、変曲点であるYSDRkpからSDR100%のリニア信号の値までの増加分に相当する。第3項は、前記式(17)の下段の式に対応しており、その対数関数による変曲点であるYHLGkpからHLG75%のリニア信号の値までの増加分に相当する。
例えば、SDRニーポイントYSDRkpをSDRのビデオ信号の80%とし、HLGビデオ/光変換部20において正規化信号を基準としてディスプレイ光信号Fdが算出される場合、HLGニーポイントYHLGkp=0.07759235、ゲイン値k1=7.54391909、補正値k2=0.28126377、補正値k3=0.51949509及び補正値k4=0.79149370となる。
尚、SDRニーポイントYSDRkpは、<1>のパターンと同様に、予め設定された固定値を用いるようにしてもよいし、映像調整可能な設定項目として、ユーザにより自由に変更できるようにしてもよい。また、圧縮処理部22は、<1>のパターンと同様に、ユーザにより予め設定されたゲイン値k1及びSDRニーポイントYSDRkpを入力し、予め設定されたHLG映像及びSDR映像のビデオ信号の対応関係に従って、SDRニーポイントYSDRkpに対応するHLGニーポイントYHLGkpを算出し、前述のとおり、変曲点から拘束条件の点までの信号の増加分が一致する値となる補正値k3を算出し、補正値k2,k4を算出するようにしてもよい。
図12は、<2>のパターンにおいて、ニーポイントを変更した場合のHLGディスプレイ輝度及びSDRディスプレイ輝度の対応関係を説明する図である。横軸はHLGディスプレイ輝度[cd/m2]を示し、縦軸はSDRディスプレイ輝度[cd/m2]を示す。図12には、SDRニーポイントYSDRkp=80%,85%,90%,95%のときの特性が示されている。
これらの特性から、SDRニーポイントYSDRkpが80%,85%,90%,95%の範囲で変更されたとしても、HLGディスプレイ輝度200cd/m2は、SDRディスプレイ輝度約100cd/m2に対応していることがわかる。
図11に示した<1>のパターンの場合、ニーポイントの設定によって、HLGディスプレイ輝度200cd/m2はSDRディスプレイ輝度約90cd/m2~105cd/m2の間に対応し、基準白レベルはこの範囲内で変動する。
これに対し、図12に示した<2>のパターンの場合、ハイライトの階調表現がニーポイントの設定で変化するが、HLGディスプレイ輝度200cd/m2はSDRディスプレイ輝度約100cd/m2に対応するため、基準白レベルは常に一定となる。
このように、実施例2の映像信号変換装置2において、<2>のパターンによる前記式(17)を用いた処理により、基準白レベルを考慮したHLG映像からSDR映像への変換を実現することができる。つまり、後述する図13に示すように、前記式(17)を用いた処理により、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の点を含む特性となるようにしたため、テロップの白レベルが変化することがない。
(補正値k2,k4
次に、フィッティング関数を示す前記式(17)の補正値k2,k4について説明する。補正値k2は、線形信号と対数による非線形信号の接線の傾きを一致させるための値であり、補正値k4は、線形信号と対数による非線形信号の接点の値を一致させるための値である。
圧縮処理部22は、予め設定されたゲイン値k1を用いて、前述の変曲点から拘束条件の点までの信号の増加分が一致する値となる補正値k3を算出した後、前記式(18)により、ゲイン値k1、補正値k3等から補正値k2,k4を算出する。
(SDR輝度/光変換部23)
次に、図8に示したSDR輝度/光変換部23について詳細に説明する。SDR輝度/光変換部23の処理は、三刺激値及び色度変換部21に対して逆方向の処理となる。SDR輝度/光変換部23は、圧縮処理部22から輝度Ycompを入力すると共に、三刺激値及び色度変換部21から色度座標x,yを入力する。
SDR輝度/光変換部23は、まず、以下の式にて、色度座標x,y及び輝度Ycompから三刺激値のXcomp,Zcompを求める。
Figure 0007145719000021
SDR輝度/光変換部23は、次に、以下の式にて、輝度Ycomp及び三刺激値のXcomp,ZcompからSDRのディスプレイ光信号Fds={Rds,Gds,Bds}を求める。
Figure 0007145719000022
ここで、Fds<0となる信号があった場合は、Fds=0とする。
SDR輝度/光変換部23は、ディスプレイ光信号Fds={Rds,Gds,Bds}をSDR光/ビデオ変換部24に出力する。
(SDR光/ビデオ変換部24)
次に、図8に示したSDR光/ビデオ変換部24について詳細に説明する。SDR光/ビデオ変換部24は、SDR輝度/光変換部23からSDRのディスプレイ光信号Fdsを入力し、以下の式にて、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDRビデオ信号Es’に変換する。
Figure 0007145719000023
(ビデオ信号)
次に、フィッティング関数を適用した処理により得られたビデオ信号の特性について説明する。前述の図10は、フィッティング関数を適用した処理により得られたディスプレイ輝度の特性を示している。ビデオ信号の特性は、このディスプレイ輝度の特性に対応するものである。
図13は、フィッティング関数を適用した処理により得られたビデオ信号の特性を説明する図である。横軸はHLGビデオ信号のレベルを示し、縦軸はSDRビデオ信号のレベルを示す。図13には、図6に示した従来技術の特性(実線)、肌レベルを考慮した例の特性(破線)、基準白レベルを考慮した例の特性(一点鎖線)及びハイライトの色再現を考慮した例の特性(二点鎖線)に加え、フィッティング関数を適用した例の特性が示されている。
点線は、フィッティング関数を適用した例の特性、すなわち圧縮処理部22による人肌レベル、基準白レベル及びハイライトの色再現を考慮したフィッティング関数を用いて処理を行う場合の特性を示す。
この点線に示したフィッティング関数を適用した例の特性には、実線に示した従来技術の特性に対する、前述の(A)の肌レベルを考慮したゲイン処理、(B)の基準白レベルを考慮した圧縮処理、及び(C)のハイライトの色再現を考慮した圧縮処理が反映されている。
二点鎖線に示したハイライトの色再現を考慮した例の特性では、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の点(点aを参照)の前後で、信号の連続性が失われている。
これに対し、点線に示したフィッティング関数を適用した例の特性では、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の点(点aを参照)の前後で、信号の連続性が保持され、ハイライト領域でのバンディング等も改善される。
このように、圧縮処理部22は、輝度Yに対し、フィッティング関数により、HLGビデオ信号の肌レベルVhskinに対応するSDRビデオ信号の肌レベルVsskinの特性を得るためのゲイン処理の演算を行うと共に、HLGビデオ信号に対応するSDRビデオ信号の値が、図13の点dから図13の点aを介して図13の点cまでの領域について、増加する特性を得るための対数化処理の演算を行うことで、輝度Ycompを求める。
図13の点dは、HLGビデオ信号の肌レベルVhskinに対応するSDRビデオ信号の肌レベルVsskinの値よりも大きく、かつHLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の値よりも小さい輝度Yの所定値の点である。図13の点aは、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の値の点であり、図13の点cは上限値の点である。
この場合、圧縮処理部22は、フィッティング関数による対数化処理の演算の際に、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の特性を得ると共に、HLGビデオ信号に対応するSDRビデオ信号の値が、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の値(図13の点a)から上限値(図13の点c)までの間のハイライト領域(図13の領域b)について、増加する特性を得るための演算を行う。
以上のように、実施例2の映像信号変換装置2によれば、HLGビデオ/光変換部20は、HLG映像のEOTFにより、HLGビデオ信号Eh’をディスプレイ光信号Fdに変換する。そして、三刺激値及び色度変換部21は、ディスプレイ光信号Fdを三刺激値XYZ及び色度座標x,yに変換する。
圧縮処理部22は、予め設定されたゲイン値k1及びSDRニーポイントYSDRkp等に基づいて、輝度Yに対し、人肌レベル、基準白レベル及びハイライトの色再現を考慮したフィッティング関数による処理を行うことにより、輝度Ycompを求める。
SDR輝度/光変換部23は、色度座標x,yを用いて輝度Ycompから三刺激値のXcomp,Zcompを求め、輝度Ycomp及び三刺激値のXcomp,ZcompからSDRのディスプレイ光信号Fdsを求める。そして、SDR光/ビデオ変換部24は、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDRビデオ信号Es’に変換する。
このように、HLG映像をSDR映像に変換する際に、人物の肌レベル、基準白レベル及びハイライトの色再現を考慮したフィッティング関数を用いて処理を行うようにした。
フィッティング関数には、人物の肌レベルを考慮したゲイン処理、すなわちHLGビデオ信号の肌レベルVhskinに対応するSDRビデオ信号の肌レベルVsskinの特性を得る演算が含まれる。
これにより、従来技術よりも肌レベルを改善することができ、SDR映像における人物の肌の信号レベルは、HLG映像に比べて低くなることはない。
また、フィッティング関数には、基準白レベルを考慮した圧縮処理、すなわち、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度88cd/m2~100cd/m2に対応させる従来のゲイン処理に相当するように、HLGビデオ信号の基準白レベル75%に対応するSDRビデオ信号の白レベル約95%の特性を得る演算が含まれる。これにより、従来技術と同様に、テロップの白レベルが変化することがない。
さらに、フィッティング関数には、ハイライトの色再現を考慮した圧縮処理、すなわちハイライト領域においてSDRビデオ信号が上限値である109%でクリップされないように、HLGビデオ信号の100%(HLGディスプレイ輝度1000cd/m2)に対応するSDRビデオ信号の上限値である109%(SDRディスプレイ輝度123cd/m2)の点まで増加する特性を得る演算が含まれる。
これにより、SDRビデオ信号が上限値でクリップされることがないため、ハイライトの白つぶれを抑制することができる。
したがって、実施例2では、人物の肌の信号レベルが低くならず、テロップの白レベルが変化せず、さらにハイライトの白つぶれを抑制することができる。また、前述の実施例1に比べ、信号の連続性が保持され、ハイライト領域において、滑らかなグラデーションの映像のバンディングが改善される。
例えば、HLG映像及びSDR映像を同時に制作する一体化制作において、HLGの番組制作を行った後、実施例2の映像信号変換装置2を用いるようにする。これにより、HLGで番組制作したような肌レベルであり、基準白レベルが考慮され、さらにハイライトの白つぶれも抑制されたSDR映像の生成が可能となる。
尚、図8に示した映像信号変換装置2のSDR輝度/光変換部23は、輝度Ycomp及び三刺激値のXcomp,ZcompからSDRのディスプレイ光信号Fdsを求める際に、前記式(22)に示したように、広い色域のRGBから三刺激値に変換するマトリクスの逆行列を用いるようにした。広い色域のRGBから三刺激値に変換するマトリクスは、三刺激値及び色度変換部21がディスプレイ光信号Fdを三刺激値XYZに変換する際に用いる前記式(15)の行列である。
これに対し、SDR輝度/光変換部23は、輝度Ycomp及び三刺激値のXcomp,ZcompからSDRのディスプレイ光信号Fdsを求める際に、以下の式を用いるようにしてもよい。
Figure 0007145719000024
この行列は、狭い色域のRGBから三刺激値に変換するマトリクスの逆行列である。
これにより、三刺激値及び色度変換部21において、広い色域のRGBから三刺激値に変換するマトリクスを使用し、SDR輝度/光変換部23において、狭い色域のRGBから三刺激値に変換するマトリクスの逆行列を使用し、三刺激値からRGBに戻すことで、広い色域から狭い色域への変換を行うことができる。
〔実施例1:逆変換を行う映像信号変換装置〕
次に、実施例1の映像信号変換装置1の逆変換を行う装置について説明する。この装置は、SDR映像をHLG映像に変換する際に、ハイライトの色再現及び基準白レベルを考慮した拡張処理、並びに人物の肌レベルを考慮した逆ゲイン処理を行う。これにより、人物の肌の信号レベルを保持し、テロップの白レベルが変化しないで、さらに、ハイライトの白つぶれを抑制することができる。
図14は、図1に示した実施例1の映像信号変換装置1の逆変換を行う映像信号変換装置の構成例を示すブロック図である。この映像信号変換装置3は、SDRビデオ/光変換部30、三刺激値及び色度変換部31、拡張処理部32、HLG輝度/光変換部33、逆ゲイン処理部34及びHLG光/ビデオ変換部35を備えている。
SDRビデオ/光変換部30は、SDRビデオ信号Es’を入力し、SDR映像のEOTFにより、SDRビデオ信号Es’をディスプレイ光のリニア信号であるSDRのディスプレイ光信号Fdsに変換する。そして、SDRビデオ/光変換部30は、SDRのディスプレイ光信号Fdsを三刺激値及び色度変換部31に出力する。SDRビデオ/光変換部30は、図1に示したSDR光/ビデオ変換部15に対応し、その逆の処理を行う。
三刺激値及び色度変換部31は、SDRビデオ/光変換部30からディスプレイ光信号Fdsを入力し、ディスプレイ光信号Fdsを、三刺激値XYZ及び色情報である色度座標x,yに変換する。そして、三刺激値及び色度変換部31は、三刺激値XYZのうちの輝度Yを拡張処理部32に出力すると共に、色度座標x,yをHLG輝度/光変換部33に出力する。三刺激値及び色度変換部31は、図1に示したSDR輝度/光変換部14に対応し、その逆の処理を行う。
拡張処理部32は、三刺激値及び色度変換部31から輝度Yを入力し、輝度Yに対しハイライトの色再現を考慮した拡張処理を行うことにより、輝度Yexp,1stを求める。そして、拡張処理部32は、輝度Yexp,1stに対し基準白レベルを考慮した拡張処理を行うことにより、輝度Yexp,2ndを求める。拡張処理部32は、輝度Yexp,2ndをHLG輝度/光変換部33に出力する。拡張処理部32は、図1に示した圧縮処理部13に対応し、その逆の処理を行う。
具体的には、拡張処理部32は、まず、ハイライトの色再現を考慮した拡張処理として、輝度Yに対し、図3に示したハイライト色再現圧縮処理部17の逆の処理(前記式(10)の逆の演算を行う式による処理)を行い、輝度Yexp,1stを求める。
拡張処理部32は、次に、基準白レベルを考慮した拡張処理として、輝度Yexp,1stに対し、図3に示した基準白レベル圧縮処理部16の逆の処理(前記式(9)の逆の演算を行う式による処理)を行い、輝度Yexp,2ndを求める。
つまり、拡張処理部32は、ハイライトの色再現及び基準白レベルを考慮した拡張処理において、輝度Yに対し、SDRビデオ信号に対応するHLGビデオ信号の値が、SDRビデオ信号の白レベル約95%に対応するHLGビデオ信号の基準白レベル75%の値よりも小さい所定値から、基準白レベル75%の値を介して上限値までの領域について、増加する特性を得ると共に、HLG映像の基準白レベルとSDR映像の白レベルとが対応する特性を得るための処理を行う。
HLG輝度/光変換部33は、拡張処理部32から輝度Yexp,2ndを入力すると共に、三刺激値及び色度変換部31から色度座標x,yを入力する。そして、HLG輝度/光変換部33は、色度座標x,yを用いて輝度Yexp,2ndから三刺激値のXexp,Zexpを求める。
HLG輝度/光変換部33は、輝度Yexp,2nd及び三刺激値のXexp,ZexpからHLGのディスプレイ光信号Fdgを求める。HLG輝度/光変換部33は、HLGのディスプレイ光信号Fdgを逆ゲイン処理部34に出力する。HLG輝度/光変換部33は、図1に示した三刺激値及び色度変換部12に対応し、その逆の処理を行う。
逆ゲイン処理部34は、HLG輝度/光変換部33からHLGのディスプレイ光信号Fdgを入力すると共に、予め設定されたゲイン値k1を入力する。そして、逆ゲイン処理部34は、ディスプレイ光信号Fdgに対してゲイン値k1の逆数を乗算することにより、肌レベルを考慮した逆ゲイン処理を行い、ディスプレイ光信号Fdを求める。ここで、肌レベルを考慮した逆ゲイン処理とは、HLGビデオ信号の肌レベルとSDRビデオ信号の肌レベルとが対応する特性を得るための処理である。逆ゲイン処理部34は、ディスプレイ光信号FdをHLG光/ビデオ変換部35に出力する。逆ゲイン処理部34は、図1に示したゲイン処理部11に対応し、その逆の処理を行う。
HLG光/ビデオ変換部35は、逆ゲイン処理部34からディスプレイ光信号Fdを入力し、HLG映像のEOTFの逆関数により、ディスプレイ光信号FdをHLGビデオ信号Eh’に変換する。そして、HLG光/ビデオ変換部35は、HLGビデオ信号Eh’を出力する。HLG光/ビデオ変換部35は、図1に示したHLGビデオ/光変換部10に対応し、その逆の処理を行う。
これにより、人物の肌の信号レベルを保持し、テロップの白レベルが変化しないで、さらに、ハイライトの白つぶれを抑制することができる。
〔実施例2:逆変換を行う映像信号変換装置〕
次に、実施例2の映像信号変換装置2の逆変換を行う装置について説明する。この装置は、SDR映像をHLG映像に変換する際に、ハイライトの色再現、基準白レベル及び人物の肌レベルを考慮した演算を含むフィッティング関数を用いるものである。
これにより、人物の肌の信号レベルを保持し、テロップの白レベルが変化しないで、さらに、ハイライトの白つぶれを抑制することができる。また、前述の映像信号変換装置3により生じる信号の不連続性の問題を解決し、連続した特性を得ることができ、ハイライト領域のバンディングを改善することができる。
図15は、実施例2の映像信号変換装置2の逆変換を行う映像信号変換装置の構成例を示すブロック図である。この映像信号変換装置4は、SDRビデオ/光変換部40、三刺激値及び色度変換部41、拡張処理部42、HLG輝度/光変換部43及びHLG光/ビデオ変換部44を備えている。
SDRビデオ/光変換部40は、SDRビデオ信号Es’を入力し、図14に示したSDRビデオ/光変換部30と同様の処理を行い、SDRのディスプレイ光信号Fdsを三刺激値及び色度変換部41に出力する。SDRビデオ/光変換部40は、図8に示したSDR光/ビデオ変換部24に対応し、その逆の処理を行う。
三刺激値及び色度変換部41は、SDRビデオ/光変換部40からディスプレイ光信号Fdsを入力し、図14に示した三刺激値及び色度変換部31と同様の処理を行う。そして、三刺激値及び色度変換部41は、輝度Yを拡張処理部42に出力すると共に、色度座標x,yをHLG輝度/光変換部43に出力する。三刺激値及び色度変換部41は、図8に示したSDR輝度/光変換部23に対応し、その逆の処理を行う。
拡張処理部42は、三刺激値及び色度変換部41から輝度Yを入力し、予め設定されたゲイン値k1及びSDRニーポイントYSDRkp等に基づいて、輝度Yに対し所定の逆フィッティング関数による処理を行うことにより、輝度Yexpを求める。そして、拡張処理部42は、輝度YexpをHLG輝度/光変換部43に出力する。所定の逆フィッティング関数は、ハイライトの色再現、基準白レベル及び人物の肌レベルを考慮した関数である。拡張処理部42は、図8に示した圧縮処理部22に対応し、その逆の処理を行う。
具体的には、拡張処理部42は、図10に示した点線の特性を実現する逆フィッティング関数を用いて、以下の式により、輝度Yに対して拡張処理(指数化処理)及び逆ゲイン処理を行うことで輝度Yexpを求める。
Figure 0007145719000025
図10に示した点線の特性を実現する逆フィッティング関数は、縦軸のSDRディスプレイ輝度に対して横軸のHLGディスプレイ輝度を得るための関数である。前記式(25)は、図8に示した圧縮処理部22が用いる前記式(17)に対し、逆の演算を行う式である。
拡張処理部42は、輝度YがSDRニーポイントYSDRkpよりも低い領域において、輝度Yに対し、予め設定されたゲイン値k1の逆数を乗算する逆ゲイン処理を行い、線形化した輝度Yexpを算出する(前記式(25)の上段の式)。
前記式(25)の上段の式は、輝度YがSDRニーポイントYSDRkpよりも低い領域において(図10に示した原点からd点のニーポイントまでの領域において)、図10の実線に示した従来技術の特性を、点線に示した原点からd点までの直線の特性に、縦軸のSDRディスプレイ輝度側へ下降させる逆ゲイン処理を示している。これにより、線形化した輝度Yexpが得られる。
拡張処理部42は、輝度YがSDRニーポイントYSDRkp以上の領域において、輝度Yに対し、補正値k2,k3,k4及びHLGニーポイントYHLGkpに基づいた指数の特性を有する輝度Yexpを算出する(前記式(25)の下段の式)。
前記式(25)の下段の式は、輝度YがSDRニーポイントYSDRkp以上の領域において(図10に示したd点のニーポイントからc点までの領域において)、図10の点線に示した特性のように、d点のニーポイント、a点及びc点を含む指数化処理を示している。これにより、指数化した輝度Yexpが得られる。
この指数化処理及び逆ゲイン処理により、三刺激値及び色度変換部41にて算出された輝度Yから、ハイライトの色再現、基準白レベル及び人物の肌レベルを考慮した輝度Yexpを得ることができる。
つまり、拡張処理部42は、逆フィッティング関数を用いた拡張処理(指数化処理)及び逆ゲイン処理において、輝度Yに対し、SDRビデオ信号に対応するHLGビデオ信号の値が、SDRビデオ信号の白レベル約95%に対応するHLGビデオ信号の基準白レベル75%よりも小さい所定値から、基準白レベル75%の値を介して上限値までの領域について、増加する特性を得るための指数化処理の演算を行うと共に、HLG映像の基準白レベルとSDR映像の白レベルとが対応する特性を得るための演算を行い、さらに、HLGビデオ信号の肌レベルVhskinとSDRビデオ信号の肌レベルVsskinとが対応する特性を得るための逆ゲイン処理の演算を行う。
HLG輝度/光変換部43は、拡張処理部42から輝度Yexpを入力すると共に、三刺激値及び色度変換部41から色度座標x,yを入力する。そして、HLG輝度/光変換部43は、色度座標x,yを用いて輝度Yexpから三刺激値のXexp,Zexpを求める。
HLG輝度/光変換部43は、輝度Yexp及び三刺激値のXexp,ZexpからHLGのディスプレイ光信号Fdを求める。HLG輝度/光変換部43は、HLGのディスプレイ光信号FdをHLG光/ビデオ変換部44に出力する。HLG輝度/光変換部43は、図8に示した三刺激値及び色度変換部21に対応し、その逆の処理を行う。
HLG光/ビデオ変換部44は、HLG輝度/光変換部43からディスプレイ光信号Fdを入力し、図14に示したHLG光/ビデオ変換部35と同様の処理を行い、HLGビデオ信号Eh’を出力する。HLG光/ビデオ変換部44は、図8に示したHLGビデオ/光変換部20に対応し、その逆の処理を行う。
これにより、人物の肌の信号レベルを保持し、テロップの白レベルが変化しないで、さらに、ハイライトの白つぶれを抑制することができる。また、HLGビデオ信号Eh’は連続した特性となり、映像信号変換装置3に比べてハイライト領域のバンディングを改善することができる。
〔実施例3:映像信号変換装置〕
次に、実施例3の映像信号変換装置の構成及び処理について説明する。前述のとおり、実施例3は、HLG映像をSDR映像に変換する際に、実施例2と同様のフィッティング関数を用いると共に、RGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行う。これにより、実施例2の効果に加え、ハイライトにおける特定の色成分のハードクリップによる色相変化を抑制し、ハイライトの色再現を十分に実現することができる。
図16は、実施例3の映像信号変換装置の構成例を示すブロック図であり、図17は、実施例3の映像信号変換装置の処理例を示すフローチャートである。この映像信号変換装置5は、HLGビデオ/光変換部50、クロストークマトリクス処理部51、三刺激値及び色度変換部52、圧縮処理部53、SDR輝度/光変換部54、逆クロストークマトリクス処理部55及びSDR光/ビデオ変換部56を備えている。
図8に示した実施例2の映像信号変換装置2とこの実施例3の映像信号変換装置5とを比較すると、両映像信号変換装置2,5は、HLGビデオ/光変換部20,50、三刺激値及び色度変換部21,52、圧縮処理部22,53、SDR輝度/光変換部23,54及びSDR光/ビデオ変換部24,56を備えている点で共通する。一方、映像信号変換装置5は、クロストークマトリクス処理部51及び逆クロストークマトリクス処理部55を備えている点で、これらの構成部を備えていない映像信号変換装置2と相違する。
HLGビデオ/光変換部20,50は、同様の処理を行う。三刺激値及び色度変換部21,52、圧縮処理部22,53、SDR輝度/光変換部23,54及びSDR光/ビデオ変換部24,56も、それぞれ同様の処理を行う。
HLGビデオ/光変換部50は、HLG映像のビデオ信号であるHLGビデオ信号Eh’を入力する(ステップS1701)。そして、HLGビデオ/光変換部50は、図1に示したHLGビデオ/光変換部10及び図8に示したHLGビデオ/光変換部20と同様に、HLG映像のEOTFにより、HLGビデオ信号Eh’をディスプレイ光のリニア信号であるHLGのディスプレイ光信号Fdに変換する(ステップS1702)。HLGビデオ/光変換部50は、HLGのディスプレイ光信号Fdをクロストークマトリクス処理部51に出力する。
クロストークマトリクス処理部51は、HLGビデオ/光変換部50からディスプレイ光信号Fdを入力する。そして、クロストークマトリクス処理部51は、予め設定されたパラメータεに基づいて、ディスプレイ光信号FdにおけるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行い、ディスプレイ光信号RGBxHLGを求める(ステップS1703)。クロストークマトリクス処理部51は、ディスプレイ光信号RGBxHLGを三刺激値及び色度変換部52に出力する。
三刺激値及び色度変換部52は、クロストークマトリクス処理部51からディスプレイ光信号RGBxHLGを入力する。そして、三刺激値及び色度変換部52は、図1に示した三刺激値及び色度変換部12及び図8に示した三刺激値及び色度変換部21と同様に、ディスプレイ光信号RGBxHLGを、三刺激値XHLGHLGHLG及び色情報である色度座標x,yに変換する(ステップS1704)。そして、三刺激値及び色度変換部52は、輝度YHLGを圧縮処理部53に出力すると共に、色度座標x,yをSDR輝度/光変換部54に出力する。
この場合、三刺激値及び色度変換部52は、ディスプレイ光信号RGBxHLG={RxHLG,GxHLG,BxHLG}を三刺激値XHLGHLGHLGに変換する際に、前記式(7)を用いる。具体的には、前記式(7)のX,Y,Z,Rdg,Gdg,Bdgを、XHLG,YHLG,ZHLG,RxHLG,GxHLG,BxHLGに置き替えた式を用いる。また、三刺激値及び色度変換部52は、三刺激値XHLGHLGHLGを色度座標x,yに変換する際に、前記式(8)を用いる。具体的には、前記式(8)のX,Y,Zを、XHLG,YHLG,ZHLGに置き替えた式を用いる。
圧縮処理部53は、三刺激値及び色度変換部52から輝度YHLGを入力する。そして、圧縮処理部53は、図8に示した圧縮処理部22と同様に、予め設定されたゲイン値k1等に基づいて、輝度YHLGに対し所定のフィッティング関数による圧縮処理を行い、輝度YSDRを求める(ステップS1705)。そして、圧縮処理部53は、輝度YSDRをSDR輝度/光変換部54に出力する。所定のフィッティング関数は、人肌レベル、基準白レベル及びハイライトの色再現を考慮した演算を含む関数である。
SDR輝度/光変換部54は、圧縮処理部53から輝度YSDRを入力すると共に、三刺激値及び色度変換部52から色度座標x,yを入力する。そして、SDR輝度/光変換部54は、図1に示したSDR輝度/光変換部14及び図8に示したSDR輝度/光変換部23と同様に、色度座標x,yを用いて輝度YSDRから三刺激値のXSDR,ZSDRを求める(ステップS1706)。
この場合、SDR輝度/光変換部54は、色度座標x,yを用いて輝度YSDRから三刺激値のXSDR,ZSDRを求める際に、前記式(21)を用いる。具体的には、前記式(21)のXcomp,Zcomp,YcompをXSDR,ZSDR,YSDRに置き替えた式を用いる。
SDR輝度/光変換部54は、図1に示したSDR輝度/光変換部14及び図8に示したSDR輝度/光変換部23と同様に、輝度YSDR及び三刺激値のXSDR,ZSDRからSDRのディスプレイ光信号RGBxSDR={RxSDR,GxSDR,BxSDR}を求める(ステップS1707)。そして、SDR輝度/光変換部54は、SDRのディスプレイ光信号RGBxSDRを逆クロストークマトリクス処理部55に出力する。
この場合、SDR輝度/光変換部54は、輝度YSDR及び三刺激値のXSDR,ZSDRからSDRのディスプレイ光信号RGBxSDR={RxSDR,GxSDR,BxSDR}を求める際に、前記式(22)を用いる。具体的には、前記式(22)のRds,Gds,Bds,Xcomp,Ycomp,ZcompをRxSDR,GxSDR,BxSDR,XSDR,YSDR,ZSDRに置き替えた式を用いる。
逆クロストークマトリクス処理部55は、SDR輝度/光変換部54からSDRのディスプレイ光信号RGBxSDRを入力する。そして、逆クロストークマトリクス処理部55は、予め設定されたパラメータεに基づいて、クロストークマトリクス処理部51によるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理の逆の処理を行う。つまり、逆クロストークマトリクス処理部55は、RGBの色成分毎の輝度のばらつきを元に戻すための逆クロストークマトリクス処理を行い、SDRのディスプレイ光信号Fdsを求める(ステップS1708)。パラメータεは、クロストークマトリクス処理部51にて用いたパラメータεと同じである。逆クロストークマトリクス処理部55は、SDRのディスプレイ光信号FdsをSDR光/ビデオ変換部56に出力する。
SDR光/ビデオ変換部56は、逆クロストークマトリクス処理部55からSDRのディスプレイ光信号Fdsを入力する。そして、SDR光/ビデオ変換部56は、図1に示したSDR光/ビデオ変換部15及び図8に示したSDR光/ビデオ変換部24と同様に、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDR映像のビデオ信号であるSDRビデオ信号Es’に変換する(ステップS1709)。SDR光/ビデオ変換部56は、SDRビデオ信号Es’を出力する(ステップS1710)。
(クロストークマトリクス処理部51)
次に、図16に示したクロストークマトリクス処理部51について詳細に説明する。前述のとおり、クロストークマトリクス処理部51は、ディスプレイ光信号FdにおけるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行い、ディスプレイ光信号RGBxHLGを求める。
クロストークマトリクス処理されたディスプレイ光信号RGBxHLG={RxHLG,GxHLG,BxHLG}は、ディスプレイ光信号Fd={Rd,Gd,Bd}及び予め設定されたパラメータεを用いて、以下の式で算出される。すなわち、ディスプレイ光信号RGBxHLG={RxHLG,GxHLG,BxHLG}は、クロストークマトリクスxMにディスプレイ光信号Fd={Rd,Gd,Bd}を乗算することで得られる。
Figure 0007145719000026
ここで、クロストークマトリクスxMは、以下の行列で表され、εは、0≦ε≦0.33の範囲の値を任意に調整可能なユーザパラメータであり、予め設定される。
Figure 0007145719000027
パラメータεが0に近いほど、RGBの色成分毎の輝度のばらつきを軽減する程度は低くなり、クロストークマトリクス処理部51が出力するディスプレイ光信号RGBxHLGは、クロストークマトリクス処理部51が入力するディスプレイ光信号Fdに近くなる。パラメータε=0の場合、クロストークマトリクス処理は行われず、クロストークマトリクス処理部51が出力するディスプレイ光信号RGBxHLGは、クロストークマトリクス処理部51が入力するディスプレイ光信号Fdと同じになる。一方、パラメータεが0.33に近いほど、RGBの色成分毎の輝度のばらつきを軽減する程度は高くなる。
このように、クロストークマトリクス処理により、ディスプレイ光信号Fd={Rd,Gd,Bd}の色成分のばらつきが軽減されたディスプレイ光信号RGBxHLG={RxHLG,GxHLG,BxHLG}が得られる。
尚、クロストークマトリクス処理により、後述するCIELAB空間(L***空間)の明度L*は変化しないが、クロマC* abが小さくなり、無彩色軸であるL*軸に近づくように色座標a*,b*が変化する。つまり、クロストークマトリクス処理により、RGB空間では色成分のばらつきを軽減し、L***空間では、明度L*は変化しないが、クロマC* abが小さくなるように色座標a*,b*が変化する。詳細については、後述する図29~図32にて説明する。
(逆クロストークマトリクス処理部55)
次に、図16に示した逆クロストークマトリクス処理部55について詳細に説明する。前述のとおり、逆クロストークマトリクス処理部55は、SDRのディスプレイ光信号RGBxSDRに対し、クロストークマトリクス処理部51によるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理の逆の処理を行い、SDRのディスプレイ光信号Fdsを求める。つまり、逆クロストークマトリクス処理部55は、RGBの色成分毎の輝度のばらつきを元に戻すための逆クロストークマトリクス処理を行う。
逆クロストークマトリクス処理されたディスプレイ光信号Fds={Rds,Gds,Bds}は、ディスプレイ光信号RGBxSDR={RxSDR,GxSDR,BxSDR}及び予め設定されたパラメータεを用いて、以下の式で算出される。すなわち、ディスプレイ光信号Fds={Rds,Gds,Bds}は、クロストークマトリクスxMの逆行列xM-1に、ディスプレイ光信号RGBxSDR={RxSDR,GxSDR,BxSDR}を乗算することで得られる。
Figure 0007145719000028
ここで、Fds<0となる信号は、Fds=0とする。
パラメータεが0に近いほど、RGBの色成分毎の輝度のばらつきを元に戻す程度は低くなり、逆クロストークマトリクス処理部55が出力するディスプレイ光信号Fdsは、逆クロストークマトリクス処理部55が入力するディスプレイ光信号RGBxSDRに近くなる。パラメータε=0の場合、逆クロストークマトリクス処理は行われず、逆クロストークマトリクス処理部55が出力するディスプレイ光信号Fdsは、逆クロストークマトリクス処理部55が入力するディスプレイ光信号RGBxSDRと同じになる。一方、パラメータεが0.33に近いほど、RGBの色成分毎の輝度のばらつきを元に戻す程度は高くなる。
このように、逆クロストークマトリクス処理により、クロストークマトリクス処理にて軽減されたばらつきが元に戻り、クロストークマトリクス処理が打ち消されたSDRのディスプレイ光信号Fds={Rds,Gds,Bds}を得ることができる。
尚、逆クロストークマトリクス処理の前後において、後述するL***空間の明度L*は変化しないが、色座標a*,b*が変化する。
(圧縮処理部53)
次に、図16に示した圧縮処理部53について詳細に説明する。前述のとおり、圧縮処理部53は、図8に示した圧縮処理部22と同様の処理を行う。すなわち、圧縮処理部53は、予め設定されたゲイン値k1等に基づいて、輝度YHLGに対し、人肌レベル、基準白レベル及びハイライトの色再現を考慮した対数関数であるフィッティング関数による圧縮処理を行い、輝度YSDRを求める。
圧縮処理部53は、フィッティング関数を用いて、以下の式により、輝度YHLGに対してゲイン処理及び圧縮処理(対数化処理)を行うことで輝度YSDRを求める。この式は、前記式(17)に相当する。
Figure 0007145719000029
ここで、パラメータであるk1,k2,k3,k4,YHLGkpは、前記式(17)にて説明したものと同じ意味合いのパラメータである。kは、前述のとおり、肌レベルを考慮したゲイン値、すなわちHLG及びSDRの肌レベルの対応にて算出されるパラメータである。k2は、前述のとおり、変曲点Y=YHLGkpにおいて、線形信号と対数による非線形信号の接線の傾きを一致させるための補正値、すなわちニーポイントにおける一次微分値の連続条件から算出されるパラメータである。
3は、前記式(17)の説明では、HLG100%のリニア信号をSDR109%のリニア信号に対応させ、またはHLG75%のリニア信号をSDR100%に対応させるという拘束条件により決定される補正値とした。ここでは、k3は、基準白レベルの拘束条件から求められる補正値とする。つまり、k3は、HLG75%の基準白レベルYHLG75%を、SDRの白レベルYSDRwpに対応させるという拘束条件から求められる補正値とする。
4は、線形信号と対数による非線形信号の接点の値を一致させるための補正値、すなわちニーポイントの値の連続条件から算出される補正値である。また、YHLGkpは、前述のとおり、SDRディスプレイ輝度信号のニーポイントであるSDRニーポイントYSDRkpに対応するHLGディスプレイ輝度信号のニーポイントである。これらの5つのパラメータは未知数であるが、これらの未知数を補正値k3の1つに削減することが可能である。
ここでは、ゲイン値k1及びSDRニーポイントYSDRkpは、ユーザにより予め設定され、補正値k2,k3,k4及びHLGニーポイントYHLGkpは、圧縮処理部53により後述の式にて算出されるものとする。尚、ゲイン値k1,補正値k2,k3,k4及びHLGニーポイントYHLGkpは、ユーザにより予め設定されるようにしてもよい。
(ゲイン値k1
ゲイン値k1は、実施例2にて説明したとおり、HLGの肌レベルとSDRの肌レベルとの間の対応関係から、ユーザにより予め設定されるパラメータである。
図4に示したとおり、HLGビデオ信号の肌レベルVhskinは、HLGビデオ信号の約50%であるのに対し、SDRビデオ信号の肌レベルVsskinは、SDRビデオ信号の約67%である。従来技術の特性では、HLGビデオ信号の肌レベルVhskinである約50%に対応するSDRビデオ信号の肌レベルは、約55%程度である。したがって、従来技術におけるSDR映像の肌レベルは、肌レベルを考慮した例におけるSDR映像の肌レベルよりも低い。
つまり、肌レベルを考慮するためには、肌レベルを一致させるためのゲイン処理を行う必要がある。そこで、ゲイン値k1は、前記式(4)または前記式(5)に示すGainの値が用いられる。
ここで、HLGニーポイントYHLGkpは、以下の式のとおり、HLGからSDRに変換する際のSDRニーポイントYSDRkp及びゲイン値k1から決定される。
Figure 0007145719000030
SDRニーポイントYSDRkpは、SDRビデオ信号におけるニーポイントをSDRディスプレイ輝度に変換した値である。このSDRニーポイントYSDRkpが高い値に設定された場合、HLG75%以上の信号が、SDRニーポイントYSDRkpのビデオ信号の上限値であるSDR109%に圧縮され易くなり、信号の丸め処理が生じやすくなる。このため、SDRニーポイントYSDRkpは、図4に示したSDRビデオ信号の肌レベルVsskinを基準として、この肌レベルよりも高いことが望ましい。そこで、SDRニーポイントYSDRkpの取り得る値の範囲は、SDR80%以上から95%までとして、ユーザにより任意に設定されるパラメータとしてもよい。
(補正値k2
次に、補正値k2について説明する。前述のとおり、補正値k2は、ニーポイントにおける一次微分値の連続条件から算出されるパラメータである。以下、実施例2にて説明した補正値k2の算出処理とは異なる処理について説明する。この処理は、実施例2にも適用され、実施例2の処理は実施例4にも適用される。
ニーポイントでは、SDR及びHLGの一次微分値が一致するため、前記式(29)の上段の式及び下段の式から、以下の式が導かれる。
Figure 0007145719000031
前記式(31)を未知の補正値k3及び既知のゲイン値k1、並びに前記式(30)で算出されたHLGニーポイントYHLGkpを用いて整理すると、以下の式が導かれる。
Figure 0007145719000032
この補正値k2は、補正値k3が決定されると、前記式(32)にて一意的に決定される。
(補正値k4
次に、補正値k4について説明する。前述のとおり、補正値k4は、ニーポイントの値の連続条件から算出されるパラメータである。以下、実施例2にて説明した補正値k4の算出処理とは異なる処理について説明する。この処理は、実施例2にも適用され、実施例2の処理は実施例4にも適用される。
前記式(29)の下段の式の特性であるトーンマッピングカーブにおいて、ユーザにより設定されたゲイン値k1及びSDRニーポイントYSDRkp、並びに前記式(30)で算出されたHLGニーポイントYHLGkpを用いて整理すると、以下の式が導かれる。
Figure 0007145719000033
補正値k2は、前述のとおり、補正値k3が決定されると一意的に決定されるため、補正値k4も、補正値k3が決定されると、前記式(33)にて一意的に決定される。つまり、補正値k2,k4は、補正値k3が決定されることで、一意的に決定される。
(補正値k3
次に、補正値k3について説明する。前述のとおり、補正値k3は、基準白レベルの拘束条件から求められるパラメータ、すなわち、HLG75%の基準白レベルYHLG75%を、SDRの白レベルYSDRwpに対応させるという拘束条件から求められるパラメータである。この処理は、実施例2にも適用され、実施例2の処理は実施例4にも適用される。
補正値k3は、ニーポイントであるHLGニーポイントYHLGkp及びSDRニーポイントYSDRkp(YHLGkp,YSDRkp)と、基準白レベルのポイントであるHLG75%の基準白レベルYHLG75%及びSDRの白レベルYSDRwp(YHLG75%,YSDRwp)の間において、SDRのリニア信号の変化量と、前記式(29)の下段の式により得られる変化量とが一致する以下の式により算出される。
Figure 0007145719000034
前記式(34)において、左辺がSDRのリニア信号の変化量を示し、右辺が前記式(29)の下段の式にて得られる変化量を示す。
このように、圧縮処理部53は、ユーザにより予め設定されたゲイン値k1及びSDRニーポイントYSDRkpを用いて、前記式(30)~(34)にて、補正値k2,k3,k4及びHLGニーポイントYHLGkpを算出する。これより、圧縮処理部53は、前記式(29)のフィッティング関数を設定することができ、当該フィッティング関数を用いて、輝度YHLGに対してゲイン処理及び圧縮処理(対数化処理)を行い、輝度YSDRを求める。
例えば、SDRニーポイントYSDRkp=80%とし、HLGビデオ信号の肌レベルVhskin=50%をSDRビデオ信号の肌レベルVsskin=67%に対応させ、基準白レベルの拘束条件として、HLG75%をSDR96%に対応させた場合を想定する。この場合、5つのパラメータはそれぞれ、HLGニーポイントYHLGkp=77.59235745、ゲイン値k1=0.75439191、補正値k2=17.1208962、補正値k3=0.70751034、補正値k4=79.58220851となる。
図25は、前述の例のゲイン値k1等により設定されたフィッティング関数を適用した場合のディスプレイ輝度の特性を示す図であり、図10に示した点線のフィッティング関数を適用した例に対応する。横軸は、HLGディスプレイ輝度[cd/m2]、すなわち圧縮処理部53の入力データであるHLGの輝度YHLGを示し、縦軸は、SDRディスプレイ輝度[cd/m2]、すなわち圧縮処理部53の出力データであるSDRの輝度YSDRを示す。
図25に示す特性は、入力データである輝度YHLGに対し、圧縮処理部53により、人肌レベル、基準白レベル及びハイライトの色再現を考慮したフィッティング関数を用いて処理を行う場合の、輝度YHLGと輝度YSDRの間の関係を示している。
図26は、図25に示したディスプレイ輝度の特性に対応するビデオ信号の特性を示す図であり、図13に示した点線のフィッティング関数を適用した例に対応する。横軸はHLGビデオ信号のレベル[%]を示し、縦軸はSDRビデオ信号のレベル[%]を示す。
図26に示す特性は、入力データである輝度YHLGに対し、圧縮処理部53によりフィッティング関数を用いて処理を行う場合の、輝度YHLGに対応するHLGビデオ信号と輝度YSDRに対応するSDRビデオ信号との間の関係を示している。
以上のように、実施例3の映像信号変換装置5によれば、HLGビデオ/光変換部50は、HLG映像のEOTFにより、HLGビデオ信号Eh’をディスプレイ光信号Fdに変換する。そして、クロストークマトリクス処理部51は、ディスプレイ光信号FdにおけるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行い、ディスプレイ光信号RGBxHLGを求める。
三刺激値及び色度変換部52は、ディスプレイ光信号RGBxHLGを三刺激値XYZ及び色度座標x,yに変換する。圧縮処理部53は、予め設定されたゲイン値k1等に基づいて、輝度YHLGに対し、人肌レベル、基準白レベル及びハイライトの色再現を考慮したフィッティング関数による処理を行うことにより、輝度YSDRを求める。
SDR輝度/光変換部54は、色度座標x,yを用いて輝度YSDRから三刺激値のXSDR,ZSDRを求め、輝度YSDR及び三刺激値のXSDR,ZSDRからSDRのディスプレイ光信号RGBxSDRを求める。
逆クロストークマトリクス処理部55は、クロストークマトリクス処理部51によるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理の逆の処理、すなわちRGBの色成分毎の輝度のばらつきを元に戻すための逆クロストークマトリクス処理を行い、SDRのディスプレイ光信号Fdsを求める。そして、SDR光/ビデオ変換部56は、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDRビデオ信号Es’に変換する。
これにより、人肌レベル、基準白レベル及びハイライトの色再現を考慮したフィッティング関数を用いて圧縮処理を行うようにしたため、人物の肌の信号レベルが低くならず、テロップの白レベルが変化せず、ハイライトの白つぶれを抑制することができる。
さらに、クロストークマトリクス処理を行うようにしたため、RGBの色成分毎の輝度のばらつきを軽減した状態で圧縮処理が行われ、ハイライトにおける特定の色成分(特に青色成分)のハードクリップの度合いを抑えることができる。
したがって、実施例2の効果に加え、ハイライトにおける特定の色成分のハードクリップによる色相変化を抑制し、ハイライトの色再現を十分に実現することができる。この場合、クロストークマトリクス処理部51及び逆クロストークマトリクス処理部55において、パラメータεの値により色成分毎の輝度のばらつきの軽減度合いを変更するようにしたため、ハイライトの色再現を制作意図に応じて調整することが可能となる。
尚、図16に示した映像信号変換装置5のSDR輝度/光変換部54は、輝度YSDR及び三刺激値のXSDR,ZSDRからSDRのディスプレイ光信号RGBxSDRを求める際に、前記式(22)のRds,Gds,Bds,Xcomp,Ycomp,ZcompをRxSDR,GxSDR,BxSDR,XSDR,YSDR,ZSDRに置き替えた式を用いるようにした。つまり、広い色域のRGBから三刺激値に変換するマトリクスの逆行列を用いるようにした。
これに対し、SDR輝度/光変換部54は、狭い色域のRGBから三刺激値に変換するマトリクスの逆行列を用いるようにしてもよい。この場合、SDR輝度/光変換部54は、輝度YSDR及び三刺激値のXSDR,ZSDRからSDRのディスプレイ光信号RGBxSDR={RxSDR,GxSDR,BxSDR}を求める際に、前記式(24)を用いる。具体的には、前記式(24)のRds,Gds,Bds,Xcomp,Ycomp,ZcompをRxSDR,GxSDR,BxSDR,XSDR,YSDR,ZSDRに置き替えた式を用いる。
これにより、三刺激値及び色度変換部52において、広い色域のRGBから三刺激値に変換するマトリクスを使用し、SDR輝度/光変換部54において、狭い色域のRGBから三刺激値に変換するマトリクスの逆行列を使用し、三刺激値からRGBに戻すことで、広い色域から狭い色域への変換を行うことができる。
〔実施例4:映像信号変換装置〕
次に、実施例4の映像信号変換装置の構成及び処理について説明する。前述のとおり、実施例4は、HLG映像をSDR映像に変換する際に、実施例2と同様のフィッティング関数を用いると共に、実施例3と同様のクロストークマトリクス処理を行い、さらに、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正処理を行うことを特徴とする。これにより、実施例3の効果に加え、無彩色または白色に近いハイライトの色再現を実現することができる。つまり、実施例4では、ハイライトの色再現を、実施例3よりも効果的に実現することができる。
従来、ハイライトの色再現においては、製作者が意図的に無彩色または白色に設定する場合があり、実施例3では、色味のある白色が残ってしまうことがあり得る。そこで、実施例4では、制作者の意図を従来と同様に反映するために、無彩色または白色に近いハイライトの色再現を実現するようにした。
図18は、実施例4の映像信号変換装置の構成例を示すブロック図であり、図19は、実施例4の映像信号変換装置の処理例を示すフローチャートである。この映像信号変換装置6は、HLGビデオ/光変換部60、クロストークマトリクス処理部61、HLG光/三刺激値変換部62、クロマ処理部63、HLG色度変換部64、圧縮処理部65、SDR輝度/光変換部66、逆クロストークマトリクス処理部67及びSDR光/ビデオ変換部68を備えている。
図16に示した実施例3の映像信号変換装置5とこの実施例4の映像信号変換装置6とを比較すると、両映像信号変換装置5,6は、HLGビデオ/光変換部50,60、クロストークマトリクス処理部51,61、圧縮処理部53,65、SDR輝度/光変換部54,66、逆クロストークマトリクス処理部55,67及びSDR光/ビデオ変換部56,68を備えている点で共通する。一方、映像信号変換装置6は、映像信号変換装置5の三刺激値及び色度変換部52の代わりに、HLG光/三刺激値変換部62及びHLG色度変換部64を備え、さらにクロマ処理部63を備えている点で、映像信号変換装置5と相違する。
HLGビデオ/光変換部50,60、クロストークマトリクス処理部51,61、圧縮処理部53,65、SDR輝度/光変換部54,66、逆クロストークマトリクス処理部55,67及びSDR光/ビデオ変換部56,68は、それぞれ同様の処理を行う。
HLGビデオ/光変換部60は、HLG映像のビデオ信号であるHLGビデオ信号Eh’を入力する(ステップS1901)。そして、HLGビデオ/光変換部60は、図16に示したHLGビデオ/光変換部50と同様に、HLG映像のEOTFにより、HLGビデオ信号Eh’をディスプレイ光のリニア信号であるHLGのディスプレイ光信号Fdに変換する(ステップS1902)。HLGビデオ/光変換部60は、HLGのディスプレイ光信号Fdをクロストークマトリクス処理部61に出力する。
クロストークマトリクス処理部61は、HLGビデオ/光変換部60からディスプレイ光信号Fdを入力する。そして、クロストークマトリクス処理部61は、図16に示したクロストークマトリクス処理部51と同様に、予め設定されたパラメータεに基づいて、ディスプレイ光信号FdにおけるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行い、ディスプレイ光信号RGBxHLGを求める(ステップS1903)。クロストークマトリクス処理部61は、ディスプレイ光信号RGBxHLGをHLG光/三刺激値変換部62に出力する。
HLG光/三刺激値変換部62は、クロストークマトリクス処理部61からディスプレイ光信号RGBxHLGを入力する。そして、HLG光/三刺激値変換部62は、図16に示した三刺激値及び色度変換部52と同様に、ディスプレイ光信号RGBxHLGを、三刺激値XHLGHLGHLGに変換する(ステップS1904)。HLG光/三刺激値変換部62は、三刺激値XHLGHLGHLGをクロマ処理部63に出力する。
クロマ処理部63は、HLG光/三刺激値変換部62から三刺激値XHLGHLGHLGを入力する。そして、クロマ処理部63は、予め設定されたパラメータσに基づいて、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正処理を行い、クロマ補正処理後の三刺激値XHLGHLGHLGを求める(ステップS1905)。そして、クロマ処理部63は、クロマ補正処理後の三刺激値XHLGHLGHLGをHLG色度変換部64に出力する。
HLG色度変換部64は、クロマ処理部63からクロマ補正処理後の三刺激値XHLGHLGHLGを入力する。そして、HLG色度変換部64は、クロマ補正処理後の三刺激値XHLGHLGHLGを色情報である色度座標x,yに変換する(ステップS1906)。そして、HLG色度変換部64は、輝度YHLGを圧縮処理部65に出力すると共に、色度座標x,yをSDR輝度/光変換部66に出力する。
圧縮処理部65は、HLG色度変換部64から輝度YHLGを入力する。そして、圧縮処理部65は、図16に示した圧縮処理部53と同様に、予め設定されたゲイン値k1等に基づいて、輝度YHLGに対し所定のフィッティング関数による圧縮処理を行い、輝度YSDRを求める(ステップS1907)。そして、圧縮処理部65は、輝度YSDRをSDR輝度/光変換部66に出力する。
SDR輝度/光変換部66は、圧縮処理部65から輝度YSDRを入力すると共に、HLG色度変換部64から色度座標x,yを入力する。そして、SDR輝度/光変換部66は、図16に示したSDR輝度/光変換部54と同様に、色度座標x,yを用いて輝度YSDRから三刺激値のXSDR,ZSDRを求める(ステップS1908)。
SDR輝度/光変換部66は、図16に示したSDR輝度/光変換部54と同様に、輝度YSDR及び三刺激値のXSDR,ZSDRからSDRのディスプレイ光信号RGBxSDR={RxSDR,GxSDR,BxSDR}を求める(ステップS1909)。そして、SDR輝度/光変換部66は、SDRのディスプレイ光信号RGBxSDRを逆クロストークマトリクス処理部67に出力する。
逆クロストークマトリクス処理部67は、SDR輝度/光変換部66からSDRのディスプレイ光信号RGBxSDRを入力する。そして、逆クロストークマトリクス処理部67は、図16に示した逆クロストークマトリクス処理部55と同様に、予め設定されたパラメータεに基づいて、クロストークマトリクス処理部61によるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理の逆の処理を行う。つまり、逆クロストークマトリクス処理部67は、RGBの色成分毎の輝度のばらつきを元に戻すための逆クロストークマトリクス処理を行い、SDRのディスプレイ光信号Fdsを求める(ステップS1910)。パラメータεは、クロストークマトリクス処理部61にて用いたパラメータεと同じである。逆クロストークマトリクス処理部67は、SDRのディスプレイ光信号FdsをSDR光/ビデオ変換部68に出力する。
SDR光/ビデオ変換部68は、逆クロストークマトリクス処理部67からSDRのディスプレイ光信号Fdsを入力する。そして、SDR光/ビデオ変換部68は、図16に示したSDR光/ビデオ変換部56と同様に、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDR映像のビデオ信号であるSDRビデオ信号Es’に変換する(ステップS1911)。SDR光/ビデオ変換部68は、SDRビデオ信号Es’を出力する(ステップS1912)。
(クロマ処理部63)
次に、図18に示したクロマ処理部63について詳細に説明する。前述のとおり、クロマ処理部63は、予め設定されたパラメータσに基づいて、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正処理を行い、クロマ補正処理後の三刺激値XHLGHLGHLGを求める。
図20は、クロマ処理部63の構成例を示すブロック図であり、図21は、クロマ処理部63の処理例を示すフローチャートである。このクロマ処理部63は、色空間変換部57、クロマ補正部58及び色空間逆変換部59を備えている。
色空間変換部57は、HLG光/三刺激値変換部62から三刺激値XHLGHLGHLGを入力する(ステップS2101)。そして、色空間変換部57は、三刺激値XHLGHLGHLGの空間(三刺激値空間)をCIELAB空間であるL***空間に変換し、以下の式にて、明度L*及び色座標a*,b*を求める(ステップS2102)。
Figure 0007145719000035
ここで、Xn,Yn,Znは、完全拡散反射面における三刺激値である。HLGの場合、HLG75%の輝度YがYnに相当するため、ピーク輝度を1000[cd/m2]とすると、Xn=192.9312,Yn=203,Zn=221.0467となる。また、前記式(35)における内部関数fは、以下の式で求められる。パラメータδは、δ=6/29の定数である。
Figure 0007145719000036
色空間変換部57は、明度L*を色空間逆変換部59に出力し、色座標a*,b*をクロマ補正部58に出力する。
クロマ補正部58は、色空間変換部57から色座標a*,b*を入力し、パラメータσに基づいて、基準白レベル以上の領域においてクロマ補正を行い、クロマ補正処理後の色座標a* cor,b* corを求める(ステップS2103)。
クロマ補正処理は、L***空間において、HLGの基準白レベルに対応する明度をL* wpとして、明度L* wp以上の明度L*におけるクロマC* abを、明度L*が高くなるにつれて無彩色軸に近づくように補正する処理である。
具体的には、クロマ補正部58は、以下の式にて、色座標a*,b*からクロマC* ab及び色相角habを算出する。
Figure 0007145719000037
そして、クロマ補正部58は、クロマC* abに対し、パラメータσに基づいた補正ファクターfcorを乗算し、基準白レベルに対応する明度以上のクロマが補正されたクロマC* ab,corを求める。クロマ補正部58は、色相変化を防ぐため、色相角habを同じ値に保持しながら、補正後のクロマC* ab,corに基づいて、クロマ補正処理後の色座標a* cor,b* corを算出する。
この場合、クロマ補正部58は、以下の式を用いて補正ファクターfcorを求め、補正後のクロマC* ab,corを求める。
Figure 0007145719000038
Figure 0007145719000039
* wpは、HLGの基準白レベルに対応する明度であり、L* maxは、HLGの映像信号の上限値に対応する明度である。HLGの基準白レベルに対応する明度L* wp=100であり、HLGのピーク輝度を1000[cd/m2]とすると、HLGの映像信号の上限値に対応する明度L* max=181.37522735となる。また、パラメータσは、σ≧0の実数を任意で調整可能なユーザパラメータであり、σ≧1かつfcor<0のとき、fcor=0とする。
補正ファクターfcorは、前記式(38)のとおり、パラメータσ、HLGの基準白レベルに対応する明度L* wp及びHLGの映像信号の上限値に対応する明度L* maxに基づいて算出される。
明度L*がHLGの基準白レベルに対応する明度L* wp以下の場合、補正ファクターfcorは1であり、補正後のクロマC* ab,corは、補正前のクロマC* abに等しい。一方、明度L*がHLGの基準白レベルに対応する明度L* wpを超える場合、補正ファクターfcorは、明度L*が高くなるにつれて1から0に近くなり、補正後のクロマC* ab,corは、補正前のクロマC* abよりも徐々に小さくなる。
補正後のクロマC* ab,corは、前記式(39)のとおり、補正ファクターfcor及び補正前のクロマC* abに基づいて算出される。また、パラメータσに基づいた補正ファクターfcorにクロマC* abを乗算してクロマC* ab,corを求めるのは、補正後のクロマC* ab,corを、補正前のクロマC* abよりも小さくし、クロマ補正処理後の色座標a* cor,b* corを無彩色軸または白色に近づけるためである。
また、クロマ補正部58は、前記式(37)にて算出した色相角hab及び前記式(39)にて算出したクロマ補正処理後のクロマC* ab,corに基づいて、以下の式にて、クロマ補正処理後の色座標a* cor,b* corを算出する。
Figure 0007145719000040
ここで、前記式(40)は、色相角habを同じ値に保持することを示しており、これは、色相変化を防ぐため、すなわちRGBの色成分のバランスを変化させないためである。
クロマ補正部58は、クロマ補正処理後の色座標a* cor,b* corを色空間逆変換部59に出力する。
図22は、クロマ補正処理を説明する俯瞰図である。横軸は色座標a*を示し、縦軸は色座標b*を示す。クロマ補正処理前の色座標a*,b*の位置を点αとする。
クロマ補正部58により、パラメータσに基づいてクロマC* abからクロマC* ab,corが算出され、色相角habを同じ値に保持しながら、クロマ補正処理前の色座標a*,b*からクロマ補正処理後の色座標a* cor,b* corが算出される。
パラメータσ=0の場合、クロマ補正処理後の色座標a* cor,b* corは、クロマ補正処理前の色座標a*,b*に等しくなる。つまり、クロマ補正処理後の色座標a* cor,b* corの位置は、クロマ補正処理前の色座標a*,b*の位置と同様に点αとなり、(a*,b*)=(a* cor,b* cor)である。
一方、パラメータσ>0の場合、クロマ補正処理後の色座標a* cor,b* corは、クロマ補正処理前の色座標a*,b*とは異なる値となる。パラメータσ=1の場合、クロマ補正処理後の色座標a* cor,b* corの位置は、点βとなる。
このように、色相角habが同じ値に保持されるため、クロマ補正処理後の色座標a* cor,b* corは、パラメータσに応じて、点αと点βとの間を直線で引いたときの当該直線上のいずれかの位置の値をとる。パラメータσが0に近いほど、クロマ補正処理後の色座標a* cor,b* corは点αに近くなる。一方、パラメータσが1に近いほど、クロマ補正処理後の色座標a* cor,b* corは点βに近くなり、無彩色軸であるL*軸に近くなる。
図23は、パラメータσが小さい場合のクロマ補正処理を説明する図であり、図24は、パラメータσが大きい場合のクロマ補正処理を説明する図である。横軸はクロマCabを示し、縦軸は明度L*を示す。
パラメータσが小さい場合、パラメータσが大きい場合に比べ、クロマCabの減少量(クロマ補正処理前のクロマC* abからクロマ補正処理後のクロマC* ab,corへの減少量)は小さい。また、パラメータσが小さい場合及び大きい場合のいずれにおいても、クロマ補正処理前のクロマC* abの値が大きい場合(Cab,2)、クロマ補正処理前のクロマC* abの値が小さい場合(Cab,1)に比べ、クロマCabの減少量は大きい。
ここで、パラメータσが0に近いほど、色座標a* cor,b* corが無彩色軸に近づく程度は低くなり、クロマ補正部58が出力する色座標a* cor,b* corは、クロマ補正部58が入力する色座標a*,b*に近くなる。パラメータσ=0の場合、クロマ補正処理は行われず、クロマ補正部58が出力する色座標a* cor,b* corは、クロマ補正部58が入力する色座標a*,b*と同じになる。パラメータσが大きくなるほど、色座標a* cor,b* corが無彩色軸に近づく程度は高くなる。
つまり、パラメータσが0に近いほど、基準白レベル以上の色が無彩色または白色に近づく程度は低くなり、クロマ処理部63が出力するクロマ補正処理後の三刺激値XHLGHLGHLGは、クロマ処理部63が入力する三刺激値XHLGHLGHLGに近くなる。パラメータσ=0の場合、クロマ補正処理は行われず、クロマ処理部63が入出力する三刺激値XHLGHLGHLGは同じになる。一方、パラメータσが大きいほど、基準白レベル以上の色が無彩色または白色に近づく程度は高くなる。また、無彩色または白色に近い状態の信号が後述する圧縮処理部65にて圧縮されるため、色味のある白色ではなく、無彩色または白色に近いハイライトの色再現を実現することができる。
図20及び図21に戻って、色空間逆変換部59は、色空間変換部57から明度L*を入力すると共に、クロマ補正部58からクロマ補正処理後の色座標a* cor,b* corを入力する。そして、色空間逆変換部59は、CIELAB空間であるL***空間を三刺激値XHLGHLGHLGの空間(三刺激値空間)に変換し、以下の式にて、三刺激値XHLGHLGHLGを求める(ステップS2104)。
Figure 0007145719000041
ここで、Xn,Yn,Znは、前記式(35)と同様に、完全拡散反射面における三刺激値である。HLGの場合、HLG75%の輝度YがYnに相当するため、ピーク輝度を1000[cd/m2]とすると、Xn=192.9312,Yn=203,Zn=221.0467となる。パラメータδは、前記式(35)と同様に、δ=6/29の定数である。
また、前記式(41)における内部関数fx,fy,fzは、以下の式で算出される。
Figure 0007145719000042
色空間逆変換部59は、クロマ補正処理後の三刺激値XHLGHLGHLGをHLG色度変換部64に出力する(ステップS2105)。
図18に示した映像信号変換装置6において、例えばクロストークマトリクス処理に用いるパラメータε=0.33、クロマ補正処理に用いるパラメータσ=1.0、SDRニーポイントYSDRkp=80%、HLGビデオ信号の肌レベルVhskin=50%をSDRビデオ信号の肌レベルVsskin=67%に対応させ、基準白レベルの拘束条件として、HLG75%をSDR96%に対応させた場合を想定する。
図27は、前述の例のパラメータε,σ等が設定された場合のディスプレイ輝度の特性を示す図であり、図25の例及び図10に示した点線のフィッティング関数を適用した例に対応する。横軸はHLGディスプレイ輝度[cd/m2]を示し、縦軸はSDRディスプレイ輝度[cd/m2]を示す。
図27に示す特性は、映像信号変換装置6の入力データであるHLGビデオ信号Eh’に対応する輝度YHLGと、映像信号変換装置6の出力データであるSDRビデオ信号Es’に対応する輝度YSDRの間の関係を示している。
図28は、図27に示したディスプレイ輝度の特性に対応するビデオ信号の特性を示す図であり、図26の例及び図13に示した点線のフィッティング関数を適用した例に対応する。横軸はHLGビデオ信号のレベル[%]を示し、縦軸はSDRビデオ信号のレベル[%]を示す。
図28に示す特性は、映像信号変換装置6の入力データであるHLGビデオ信号Eh’と、映像信号変換装置6の出力データであるSDRビデオ信号Es’との間の関係を示している。
次に、映像信号変換装置6の処理例について、L***空間を用いて説明する。図29及び図32は、映像信号変換装置6の処理例をL***空間にて説明する図である。図29及び図32において、横軸は色座標a*,b* を示し、縦軸は明度L*を示す。
図30は、図29のL***空間をL**平面で表した概略図である。図30において、横軸は色座標a*を示し、縦軸はL*を示す。
図29及び図30において、(1)は、映像信号変換装置6の入力信号(HLGビデオ信号Eh’)に対応するL***空間上の信号を示す(太い点線)。(2)は、クロストークマトリクス処理後の信号(クロストークマトリクス処理部61により出力されるディスプレイ光信号RGBxHLG)に対応するL***空間上の信号を示す(細い点線)。(3)は、クロマ処理後の信号(クロマ処理部63により出力される三刺激値XHLGHLGHLG)に対応するL***空間上の信号を示す(細い実線)。(4)は、圧縮処理後の信号(圧縮処理部65により出力される輝度YSDR)に対応するL***空間上の信号を示す(太い実線)。
(1)に示す入力信号及び(2)に示すクロストークマトリクス処理後の信号を参照して、明度L*を固定した色座標a*,b*の面で見ると、(2)に示すクロストークマトリクス処理後の信号は、(1)に示す入力信号に比べ、無彩色軸であるL*軸方向へ縮小している(矢印αを参照)。
つまり、図29及び図30から、明度L*を固定した色座標a*,b*の面で見ると、(2)の色座標a*,b*の値は、明度L*の軸を中心に、(1)の色座標a*,b*よりも小さくなっている(絶対値が小さくなっている)。
これは、クロストークマトリクス処理により、L***空間の明度L*は変化しないが、クロマC* abが小さくなり、無彩色軸であるL*軸に近づくように色座標a*,b*が変化することを示している。つまり、クロストークマトリクス処理は、RGB空間において、色成分のばらつきを軽減するように作用し、L***空間において、明度L*を変化させることなくクロマC* abが小さくなるように、すなわち色座標a*,b*が無彩色軸であるL*軸に近づくように作用する。
また、クロストークマトリクス処理後の信号が圧縮された場合を想定すると、色座標a*,b*が広がる(大きくなる)ことによるハードクリップが生じ難くなるように、クロストークマトリクス処理は、無彩色軸であるL*軸に近づけるべく色座標a*,b*を小さくしている。つまり、クロストークマトリクス処理は、クロストークマトリクス処理後の信号が圧縮されたときに生じる色座標a*,b*の広がりを抑えるように作用する。
図29及び図30に戻って、(2)に示すクロストークマトリクス処理後の信号及び(3)に示すクロマ処理後の信号を参照して、明度L*を固定した色座標a*,b*の面で見ると、(3)に示すクロマ処理後の信号は、(2)に示すクロストークマトリクス処理後の信号に比べ、基準白レベルに対応する明度L* wp以上の明度L*の領域において、無彩色軸であるL*軸方向へ縮小している(矢印βを参照)。
図31は、図29のL***空間をa**平面で表した概略図であり、基準白レベルに対応する明度L* wp以上の明度L*の領域について示している。横軸は色座標a*を示し、縦軸は色座標b*を示す。(3)に示すクロマ処理後の信号は、(2)に示すクロストークマトリクス処理後の信号に対し、相似形を保持しながら、a**平面の原点であるL*軸方向へ縮小している(矢印を参照)。
つまり、(3)の色座標a*,b*の値は、基準白レベルに対応する明度L* wp以上の明度L*の領域において、L*軸を中心に、(2)の色座標a*,b*よりも小さくなっている(絶対値が小さくなっている)。色座標a*,b*の値が小さく、かつL*軸に近いことは、その色相が無彩色または白色に近いことを意味する。
図29及び図30に戻って、(3)に示すクロマ処理後の信号及び(4)に示す圧縮処理後の信号を参照して、(4)の明度L*及び色座標a*,b*の値は、明度L*の軸の原点方向へ、(3)の明度L*及び色座標a*,b*に対して圧縮されている(矢印γを参照)。
このように、(3)に示すクロマ処理後の信号は、(2)に示すクロストークマトリクス処理後の信号よりも、無彩色または白色に近い状態で圧縮処理が行われる。
これにより、圧縮処理による色座標a*,b*の広がりは、(3)に示すクロマ処理後の信号の方が(2)に示すクロストークマトリクス処理後の信号よりも小さくて済み、(3)に示すクロマ処理後の信号の方が、無彩色軸であるL*軸に近くなる。つまり、(2)に示すクロストークマトリクス処理後の信号ではなく、(3)に示すクロマ処理後の信号を圧縮することにより、無彩色または白色に近いハイライトの色再現を実現することができる。
この場合、(3)に示すクロマ処理後の信号を圧縮すると、無彩色または白色に近い映像信号を得ることができる。一方で、(2)に示すクロストークマトリクス処理後の信号を圧縮すると、色味を含む白色に近い映像信号となってしまうことがあり得る。つまり、(3)に示すクロマ処理後の信号を圧縮する方が、(2)に示すクロストークマトリクス処理後の信号を圧縮するよりも、無彩色または白色に近い映像信号を得るという制作意図を反映したハイライトの色再現を実現することができる。
(3)に示すクロマ処理後の信号を圧縮することにより得られる無彩色または白色に近い映像信号の程度、つまり色味を含む白色を残す程度は、クロマ処理部63が用いるパラメータσの値により決定される。圧縮処理後の映像信号は、パラメータσが0に近いほど、色味を含む白色が残る程度が高くなり、パラメータσが大きいほど、無彩色または白色に近くなる。
図32において、(4)は、圧縮処理後の信号(圧縮処理部65により出力される輝度YSDR)に対応するL***空間上の信号を示し(太い実線)、図29の(4)に示した圧縮処理後の信号と同じである。(5)は、逆クロストークマトリクス処理後の信号(逆クロストークマトリクス処理部67により出力されるディスプレイ光信号Fds)に対応するL***空間上の信号を示す(細い実線)。(6)は映像信号変換装置6の出力信号(SDRビデオ信号Es’)に対応するL***空間上の信号を示す(太い点線)。
(4)に示す圧縮処理後の信号及び(5)に示す逆クロストークマトリクス処理後の信号を参照して、明度L*を固定した色座標a*,b*の面で見ると、(5)の色座標a*,b*の値は、明度L*の軸を中心に、(4)の色座標a*,b*よりも大きくなっている(絶対値が大きくなっている)。
これは、図29の(2)に示したクロストークマトリクス処理後の信号を得るためのクロストークマトリクス処理、すなわちRGBのばらつきを軽減するように、色座標a*,b*の値を小さくする処理に対応している。図32の(5)に示した逆クロストークマトリクス処理後の信号を得るための逆クロストークマトリクス処理は、RGBのばらつきを元に戻すように、色座標a*,b*の値を大きくする処理である。
以上のように、実施例4の映像信号変換装置6によれば、HLGビデオ/光変換部60は、HLG映像のEOTFにより、HLGビデオ信号Eh’をディスプレイ光信号Fdに変換する。そして、クロストークマトリクス処理部61は、ディスプレイ光信号FdにおけるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行い、ディスプレイ光信号RGBxHLGを求める。HLG光/三刺激値変換部62は、ディスプレイ光信号RGBxHLGを三刺激値XHLGHLGHLGに変換する。
クロマ処理部63は、予め設定されたパラメータσに基づいて、三刺激値XHLGHLGHLGに対し、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正処理を行い、クロマ補正処理後の三刺激値XHLGHLGHLGを求める。HLG色度変換部64は、クロマ補正処理後の三刺激値XHLGHLGHLGを色度座標x,yに変換する。
圧縮処理部65は、予め設定されたゲイン値k1等に基づいて、輝度YHLGに対し、人肌レベル、基準白レベル及びハイライトの色再現を考慮したフィッティング関数による処理を行うことにより、輝度YSDRを求める。
SDR輝度/光変換部66は、色度座標x,yを用いて輝度YSDRから三刺激値のXSDR,ZSDRを求め、輝度YSDR及び三刺激値のXSDR,ZSDRからSDRのディスプレイ光信号RGBxSDRを求める。
逆クロストークマトリクス処理部67は、クロストークマトリクス処理部61によるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理の逆の処理、すなわちRGBの色成分毎の輝度のばらつきを元に戻すための逆クロストークマトリクス処理を行い、SDRのディスプレイ光信号Fdsを求める。そして、SDR光/ビデオ変換部68は、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDRビデオ信号Es’に変換する。
これにより、実施例3の効果に加え、無彩色または白色に近いハイライトの色再現を実現することができる。
すなわち、フィッティング関数を用いて圧縮処理を行うようにしたため、人物の肌の信号レベルが低くならず、テロップの白レベルが変化せず、ハイライトの白つぶれを抑制することができる。
また、クロストークマトリクス処理を行うようにしたため、RGBの色成分毎の輝度のばらつきを軽減した状態で圧縮処理が行われ、ハイライトにおける特定の色成分のハードクリップの度合いを抑えて色相変化を抑制することができ、ハイライトの色再現を十分に実現することができる。この場合、ハイライトの色再現を制作意図に応じて、パラメータεに基づき調整することが可能となる。
さらに、色相角habを変えることなく、小さい値のクロマC* ab,corを得るためのクロマ補正処理を行い、クロマ補正後の三刺激値XHLGHLGHLGを得るようにしたため、無彩色または白色に近い状態で圧縮処理が行われる。これにより、ハイライトにおける特定の色成分のハードクリップの度合いを抑えて色相変化を抑制しながら、無彩色または白色に近いハイライトの色再現を実現することができる。
この場合、ハイライトの色再現を制作意図に応じて、パラメータσに基づき調整することが可能となる。つまり、制作者は、ハイライトにおける着色された色再現から白色に近づいた色再現まで、制作意図に応じて調整することができ、制作意図を一層反映したハイライトの色再現を実現することができる。
したがって、実施例3の効果に加え、無彩色または白色に近いハイライトの色再現を実現することができる。つまり、実施例4では、ハイライトの色再現を、実施例3よりも効果的に実現することができる。
尚、図18に示した映像信号変換装置6のSDR輝度/光変換部66は、図16に示した映像信号変換装置5のSDR輝度/光変換部54と同様に、狭い色域のRGBから三刺激値に変換するマトリクスの逆行列を用いて、輝度YSDR及び三刺激値のXSDR,ZSDRからSDRのディスプレイ光信号RGBxSDRを求めるようにしてもよい。
これにより、HLG光/三刺激値変換部62において、広い色域のRGBから三刺激値に変換するマトリクスを使用し、SDR輝度/光変換部66において、狭い色域のRGBから三刺激値に変換するマトリクスの逆行列を使用し、三刺激値からRGBに戻すことで、広い色域から狭い色域への変換を行うことができる。
〔実施例3:逆変換を行う映像信号変換装置〕
次に、実施例3の映像信号変換装置5の逆変換を行う装置について説明する。この装置は、SDR映像をHLG映像に変換する際に、実施例2と同様のフィッティング関数を用いると共に、RGBの色成分毎のばらつきを軽減するためのクロストークマトリクス処理を行う。これにより、実施例2の効果に加え、ハイライトにおける特定の色成分のハードクリップによる色相変化を抑制し、ハイライトの色再現を十分に実現することができる。
図33は、実施例3の映像信号変換装置5の逆変換を行う映像信号変換装置の構成例を示すブロック図である。この映像信号変換装置7は、SDRビデオ/光変換部70、クロストークマトリクス処理部71、三刺激値及び色度変換部72、拡張処理部73、HLG輝度/光変換部74、逆クロストークマトリクス処理部75及びHLG光/ビデオ変換部76を備えている。
SDRビデオ/光変換部70は、SDRビデオ信号Es’を入力し、図14に示したSDRビデオ/光変換部30及び図15に示したSDRビデオ/光変換部40と同様の処理を行う。そして、SDRビデオ/光変換部70は、SDRのディスプレイ光信号Fdsをクロストークマトリクス処理部71に出力する。SDRビデオ/光変換部70は、図16に示したSDR光/ビデオ変換部56に対応し、その逆の処理を行う。
クロストークマトリクス処理部71は、SDRビデオ/光変換部70からディスプレイ光信号Fdsを入力する。そして、クロストークマトリクス処理部71は、図16に示したクロストークマトリクス処理部51と同様に、予め設定されたパラメータεに基づいて、ディスプレイ光信号FdsにおけるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行い、ディスプレイ光信号RGBxSDRを求める。クロストークマトリクス処理部71は、ディスプレイ光信号RGBxSDRを三刺激値及び色度変換部72に出力する。
三刺激値及び色度変換部72は、クロストークマトリクス処理部71からディスプレイ光信号RGBxSDRを入力し、図14に示した三刺激値及び色度変換部31及び図15に示した三刺激値及び色度変換部41と同様の処理を行う。そして、三刺激値及び色度変換部72は、輝度YSDRを拡張処理部73に出力すると共に、色度座標x,yをHLG輝度/光変換部74に出力する。三刺激値及び色度変換部72は、図16に示したSDR輝度/光変換部54に対応し、その逆の処理を行う。
拡張処理部73は、三刺激値及び色度変換部72から輝度YSDRを入力し、図15に示した拡張処理部42と同様の処理を行う。つまり、拡張処理部73は、所定の逆フィッティング関数を用いた拡張処理(指数化処理)及び逆ゲイン処理を行い、輝度YSDRから、ハイライトの色再現、基準白レベル及び人物の肌レベルを考慮した輝度YHLGを算出する。そして、拡張処理部73は、輝度YHLGをHLG輝度/光変換部74に出力する。
HLG輝度/光変換部74は、拡張処理部73から輝度YHLGを入力すると共に、三刺激値及び色度変換部72から色度座標x,yを入力する。そして、HLG輝度/光変換部74は、図15に示したHLG輝度/光変換部43と同様の処理を行い、HLGのディスプレイ光信号RGBxHLGを逆クロストークマトリクス処理部75に出力する。HLG輝度/光変換部74は、図16に示した三刺激値及び色度変換部52に対応し、その逆の処理を行う。
逆クロストークマトリクス処理部75は、HLG輝度/光変換部74からディスプレイ光信号RGBxHLGを入力する。そして、逆クロストークマトリクス処理部75は、図16に示した逆クロストークマトリクス処理部55と同様に、予め設定されたパラメータεに基づいて、クロストークマトリクス処理部71によるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理の逆の処理を行う。つまり、逆クロストークマトリクス処理部75は、RGBの色成分毎の輝度のばらつきを元に戻すための逆クロストークマトリクス処理を行い、HLGのディスプレイ光信号Fdを求める。逆クロストークマトリクス処理部75は、ディスプレイ光信号FdをHLG光/ビデオ変換部76に出力する。
HLG光/ビデオ変換部76は、逆クロストークマトリクス処理部75からディスプレイ光信号Fdを入力し、図14に示したHLG光/ビデオ変換部35及び図15に示したHLG光/ビデオ変換部44と同様の処理を行い、HLGビデオ信号Eh’を出力する。HLG光/ビデオ変換部76は、図16に示したHLGビデオ/光変換部50に対応し、その逆の処理を行う。
これにより、人物の肌の信号レベルを保持し、テロップの白レベルが変化しないで、さらに、ハイライトの白つぶれを抑制することができる等の実施例2の効果を奏する。さらに、ハイライトにおける特定の色成分のハードクリップによる色相変化を抑制し、ハイライトの色再現を十分に実現することができる。
〔実施例4:逆変換を行う映像信号変換装置〕
次に、実施例4の映像信号変換装置6の逆変換を行う装置について説明する。この装置は、SDR映像をHLG映像に変換する際に、実施例2と同様のフィッティング関数を用いると共に、実施例3と同様のクロストークマトリクス処理を行い、さらに、クロマ補正処理を行うことを特徴とする。これにより、実施例3の効果に加え、無彩色または白色に近いハイライトの色再現を実現することができる。つまり、実施例4では、ハイライトの色再現を、実施例3よりも効果的に実現することができる。
図34は、実施例4の映像信号変換装置6の逆変換を行う映像信号変換装置の構成例を示すブロック図である。この映像信号変換装置8は、SDRビデオ/光変換部80、クロストークマトリクス処理部81、三刺激値及び色度変換部82、拡張処理部83、HLG三刺激値変換部84、クロマ処理部85、HLG三刺激値/光変換部86、逆クロストークマトリクス処理部87及びHLG光/ビデオ変換部88を備えている。
図33に示した実施例3の映像信号変換装置7とこの実施例4の映像信号変換装置8とを比較すると、両映像信号変換装置7,8は、SDRビデオ/光変換部70,80、クロストークマトリクス処理部71,81、三刺激値及び色度変換部72,82、拡張処理部73,83、逆クロストークマトリクス処理部75,87及びHLG光/ビデオ変換部76,88を備えている点で共通する。一方、映像信号変換装置8は、映像信号変換装置7のHLG輝度/光変換部74の代わりに、HLG三刺激値変換部84及びHLG三刺激値/光変換部86を備え、さらにクロマ処理部85を備えている点で、映像信号変換装置7と相違する。
SDRビデオ/光変換部70,80、クロストークマトリクス処理部71,81、三刺激値及び色度変換部72,82、拡張処理部73,83、逆クロストークマトリクス処理部75,87及びHLG光/ビデオ変換部76,88は、それぞれ同様の処理を行う。SDRビデオ/光変換部80、クロストークマトリクス処理部81、三刺激値及び色度変換部82、拡張処理部83、逆クロストークマトリクス処理部87及びHLG光/ビデオ変換部88の説明については省略する。
HLG三刺激値変換部84は、拡張処理部83から輝度YHLGを入力すると共に、三刺激値及び色度変換部82から色度座標x,yを入力する。そして、HLG三刺激値変換部84は、図33に示したHLG輝度/光変換部74と同様に、色度座標x,yを用いて輝度YHLGから三刺激値のXHLG,ZHLGを求め、三刺激値XHLGHLGHLGをクロマ処理部85に出力する。
クロマ処理部85は、HLG三刺激値変換部84から三刺激値XHLGHLGHLGを入力し、図18に示したクロマ処理部63と同様の処理を行う。つまり、クロマ処理部85は、予め設定されたパラメータσに基づいて、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正処理を行い、クロマ補正処理後の三刺激値XHLGHLGHLGを求め、クロマ補正処理後の三刺激値XHLGHLGHLGをHLG三刺激値/光変換部86に出力する。
HLG三刺激値/光変換部86は、クロマ処理部85からクロマ補正処理後の三刺激値XHLGHLGHLGを入力する。そして、HLG三刺激値/光変換部86は、図33に示したHLG輝度/光変換部74と同様に、三刺激値XHLGHLGHLGをHLGのディスプレイ光信号RGBxHLGに変換し、ディスプレイ光信号RGBxHLGを逆クロストークマトリクス処理部87に出力する。
これにより、実施例3の効果に加え、無彩色または白色に近いハイライトの色再現を実現することができる。つまり、実施例4では、ハイライトの色再現を、実施例3よりも効果的に実現することができる。
以上、実施例1~4を挙げて本発明を説明したが、本発明は前記実施例1~4に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記映像信号変換装置1~8では、色度座標x,yを用いて輝度を光信号に戻すようにしたが、色度座標x,yの代わりに、色度座標u’,v’を用いるようにしてもよい。
具体的には、三刺激値及び色度変換部12,21等は、三刺激値XYZまたは色度座標x,yを色度座標u’,v’に変換し、色度座標u’,v’をSDR輝度/光変換部14,23等に出力する。この場合、SDR輝度/光変換部14,23等は、色度座標u’,v’を用いて輝度Ycomp,2nd,Ycompから三刺激値のXcomp,Zcompを求める。
また、三刺激値及び色度変換部31,41等は、三刺激値XYZまたは色度座標x,yを色度座標u’,v’に変換し、色度座標u’,v’をHLG輝度/光変換部33,43等に出力する。この場合、HLG輝度/光変換部33,43等は、色度座標u’,v’を用いて輝度Yexp,2nd,Yexpから三刺激値のXexp,Zexpを求める。
尚、実施例1~4の映像信号変換装置1~8のハードウェア構成としては、通常のコンピュータを使用することができる。映像信号変換装置1~8は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
映像信号変換装置1に備えたHLGビデオ/光変換部10、ゲイン処理部11、三刺激値及び色度変換部12、圧縮処理部13、SDR輝度/光変換部14及びSDR光/ビデオ変換部15の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、映像信号変換装置2に備えたHLGビデオ/光変換部20、三刺激値及び色度変換部21、圧縮処理部22、SDR輝度/光変換部23及びSDR光/ビデオ変換部24の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
映像信号変換装置3に備えたSDRビデオ/光変換部30、三刺激値及び色度変換部31、拡張処理部32、HLG輝度/光変換部33、逆ゲイン処理部34及びHLG光/ビデオ変換部35の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、映像信号変換装置4に備えたSDRビデオ/光変換部40、三刺激値及び色度変換部41、拡張処理部42、HLG輝度/光変換部43及びHLG光/ビデオ変換部44の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
映像信号変換装置5に備えたHLGビデオ/光変換部50、クロストークマトリクス処理部51、三刺激値及び色度変換部52、圧縮処理部53、SDR輝度/光変換部54、逆クロストークマトリクス処理部55及びSDR光/ビデオ変換部56の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、映像信号変換装置6に備えたHLGビデオ/光変換部60、クロストークマトリクス処理部61、HLG光/三刺激値変換部62、クロマ処理部63、HLG色度変換部64、圧縮処理部65、SDR輝度/光変換部66、逆クロストークマトリクス処理部67及びSDR光/ビデオ変換部68の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
映像信号変換装置7に備えたSDRビデオ/光変換部70、クロストークマトリクス処理部71、三刺激値及び色度変換部72、拡張処理部73、HLG輝度/光変換部74、逆クロストークマトリクス処理部75及びHLG光/ビデオ変換部76の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、映像信号変換装置8に備えたSDRビデオ/光変換部80、クロストークマトリクス処理部81、三刺激値及び色度変換部82、拡張処理部83、HLG三刺激値変換部84、クロマ処理部85、HLG三刺激値/光変換部86、逆クロストークマトリクス処理部87及びHLG光/ビデオ変換部88の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
本発明の映像信号変換装置及びプログラムは、例えばHLG映像及びSDR映像を同時に制作する一体化制作において、ダイナミックレンジを変換する技術として有用である。
1,2,3,4,5,6,7,8 映像信号変換装置
10,20,50,60 HLGビデオ/光変換部
11 ゲイン処理部
12,21,31,41,52,72,82 三刺激値及び色度変換部
13,22,53,65 圧縮処理部
14,23,54,66 SDR輝度/光変換部
15,24,56,68 SDR光/ビデオ変換部
16 基準白レベル圧縮処理部
17 ハイライト色再現圧縮処理部
30,40,70,80 SDRビデオ/光変換部
32,42,73,83 拡張処理部
33,43,74 HLG輝度/光変換部
34 逆ゲイン処理部
35,44,76,88 HLG光/ビデオ変換部
51,61,71,81 クロストークマトリクス処理部
55,67,75,87 逆クロストークマトリクス処理部
57 色空間変換部
58 クロマ補正部
59 色空間逆変換部
62 HLG光/三刺激値変換部
63,85 クロマ処理部
64 HLG色度変換部
84 HLG三刺激値変換部
86 HLG三刺激値/光変換部

Claims (15)

  1. HLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像をSDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像に変換する映像信号変換装置において、
    前記HLG映像のビデオ信号を、前記HLG映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するHLGビデオ/光変換部と、
    前記HLGビデオ/光変換部により変換された前記第1ディスプレイ光信号に対し、前記HLG映像の肌レベルに対応する前記SDR映像の肌レベルの特性を得るためのゲイン処理を行い、第2ディスプレイ光信号を求めるゲイン処理部と、
    前記ゲイン処理部により求めた前記第2ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、
    前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、前記HLG映像の基準白レベルに対応する前記SDR映像の白レベルの特性を得ると共に、前記SDR映像のビデオ信号の値が、前記HLG映像のビデオ信号の上限値に対応する前記SDR映像のビデオ信号の上限値まで増加する特性を得るための圧縮処理を行い、第2輝度を求める圧縮処理部と、
    前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記圧縮処理部により求めた前記第2輝度を、前記SDR映像の第3ディスプレイ光信号に変換するSDR輝度/光変換部と、
    前記SDR輝度/光変換部により変換された前記第3ディスプレイ光信号を、前記SDR映像の前記EOTFの逆関数により前記SDR映像のビデオ信号に変換するSDR光/ビデオ変換部と、
    を備えたことを特徴とする映像信号変換装置。
  2. 請求項1に記載の映像信号変換装置において、
    前記ゲイン処理部は、
    前記第1ディスプレイ光信号に対し、所定のゲイン値を乗算することで前記ゲイン処理を行い、前記第2ディスプレイ光信号を求め、
    前記所定のゲイン値は、
    前記HLG映像の肌レベルの値、及び前記HLG映像の肌レベルに対応する前記SDR映像の肌レベルの値に基づいて、ユーザにより予め設定される、ことを特徴とする映像信号変換装置。
  3. 請求項1または2に記載の映像信号変換装置において、
    前記圧縮処理部は、
    前記第1輝度に対し、前記HLG映像の前記基準白レベルに対応する前記SDR映像の前記白レベルの特性を得るための圧縮処理を行い、第3輝度を求める基準白レベル圧縮処理部と、
    前記基準白レベル圧縮処理部により求めた前記第3輝度に対し、前記SDR映像のビデオ信号の値が前記上限値まで増加する特性を得るための圧縮処理を行い、前記第2輝度を求めるハイライト色再現圧縮処理部と、
    を備えたことを特徴とする映像信号変換装置。
  4. HLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像をSDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像に変換する映像信号変換装置において、
    前記HLG映像のビデオ信号を、前記HLG映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するHLGビデオ/光変換部と、
    前記HLGビデオ/光変換部により変換された前記第1ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、
    前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、所定のフィッティング関数により、前記HLG映像の肌レベルに対応する前記SDR映像の肌レベルの特性を得るための第1の演算を行うと共に、前記SDR映像のビデオ信号の値が、前記HLG映像のビデオ信号の上限値に対応する前記SDR映像のビデオ信号の上限値まで増加する特性を得るための第2の演算を行い、第2輝度を求める処理部と、
    前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記処理部により求めた前記第2輝度を、前記SDR映像の第2ディスプレイ光信号に変換するSDR輝度/光変換部と、
    前記SDR輝度/光変換部により変換された前記第2ディスプレイ光信号を、前記SDR映像の前記EOTFの逆関数により前記SDR映像のビデオ信号に変換するSDR光/ビデオ変換部と、
    を備えたことを特徴とする映像信号変換装置。
  5. HLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像をSDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像に変換する映像信号変換装置において、
    前記HLG映像のビデオ信号を、前記HLG映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するHLGビデオ/光変換部と、
    前記HLGビデオ/光変換部により変換された前記第1ディスプレイ光信号におけるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行い、第2ディスプレイ光信号を求めるクロストークマトリクス処理部と、
    前記クロストークマトリクス処理部により求めた前記第2ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、
    前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、所定のフィッティング関数により、前記HLG映像の肌レベルに対応する前記SDR映像の肌レベルの特性を得るための第1の演算を行うと共に、前記SDR映像のビデオ信号の値が、前記HLG映像のビデオ信号の上限値に対応する前記SDR映像のビデオ信号の上限値まで増加する特性を得るための第2の演算を行い、第2輝度を求める処理部と、
    前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記処理部により求めた前記第2輝度を、前記SDR映像の第3ディスプレイ光信号に変換するSDR輝度/光変換部と、
    前記SDR輝度/光変換部により変換された前記第3ディスプレイ光信号におけるRGBの色成分毎の輝度のばらつきを元に戻すための、前記クロストークマトリクス処理に対する逆の処理である逆クロストークマトリクス処理を行い、第4ディスプレイ光信号を求める逆クロストークマトリクス処理部と、
    前記逆クロストークマトリクス処理部により求めた前記第4ディスプレイ光信号を、前記SDR映像の前記EOTFの逆関数により前記SDR映像のビデオ信号に変換するSDR光/ビデオ変換部と、
    を備えたことを特徴とする映像信号変換装置。
  6. 請求項5に記載の映像信号変換装置において、
    前記三刺激値及び色度変換部の代わりに、HLG光/三刺激値変換部、クロマ処理部及びHLG色度変換部を備え、
    前記HLG光/三刺激値変換部は、
    前記クロストークマトリクス処理部により求めた前記第2ディスプレイ光信号を、三刺激値に変換し、
    前記クロマ処理部は、
    前記HLG光/三刺激値変換部により変換された前記三刺激値の三刺激値空間をCIELAB空間に変換し、基準白レベル以上の色が無彩色または白色に近づくように、前記CIELAB空間における色相角を保持しながら、前記CIELAB空間におけるクロマを小さくするクロマ補正処理を行い、クロマ補正処理後の三刺激値を求め、
    前記HLG色度変換部は、
    前記クロマ処理部により求めた前記三刺激値を、色度座標に変換し、
    前記処理部は、
    前記クロマ処理部により求めた前記三刺激値のうちの輝度値を前記第1輝度とし、前記第1の演算及び前記第2の演算を行い、前記第2輝度を求め、
    前記SDR輝度/光変換部は、
    前記HLG色度変換部により変換された前記色度座標を用いて、前記処理部により求めた前記第2輝度を、前記SDR映像の前記第3ディスプレイ光信号に変換する、ことを特徴とする映像信号変換装置。
  7. 請求項6に記載の映像信号変換装置において、
    前記クロマ処理部は、
    前記HLG光/三刺激値変換部により変換された前記三刺激値の前記三刺激値空間を前記CIELAB空間に変換し、明度及び色座標を求める色空間変換部と、
    前記色空間変換部により求めた前記色座標に基づいて、クロマ補正処理前の前記クロマ及び前記色相角を求め、基準白レベル以上の色が無彩色または白色に近づくように、前記色相角を保持しながら、クロマ補正処理前の前記クロマを小さくしてクロマ補正処理後の前記色座標を求めるクロマ補正部と、
    前記色空間変換部により求めた前記明度、及び前記クロマ補正部により求めたクロマ補正後の前記色座標による前記CIELAB空間を、前記三刺激値空間に変換し、クロマ補正後の前記三刺激値を求める色空間逆変換部と、
    を備えたことを特徴とする映像信号変換装置。
  8. 請求項4から7までのいずれか一項に記載の映像信号変換装置において、
    前記処理部における前記所定のフィッティング関数による前記第1の演算を、前記第1輝度に所定のゲイン値を乗算するゲイン処理の演算とし、
    前記所定のゲイン値は、
    前記HLG映像の肌レベルの値、及び当該HLG映像の肌レベルに対応する前記SDR映像の肌レベルの値に基づいて、ユーザにより予め設定される、ことを特徴とする映像信号変換装置。
  9. 請求項4から8までのいずれか一項に記載の映像信号変換装置において、
    前記処理部における前記所定のフィッティング関数による前記第2の演算を、前記第1輝度を対数化する対数化処理の演算とする、ことを特徴とする映像信号変換装置。
  10. SDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像をHLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像に変換する映像信号変換装置において、
    前記SDR映像のビデオ信号を、前記SDR映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するSDRビデオ/光変換部と、
    前記SDRビデオ/光変換部により変換された前記第1ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、
    前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、前記HLG映像のビデオ信号の値が、前記SDR映像のビデオ信号の上限値に対応する前記HLG映像のビデオ信号の上限値まで増加する特性を得ると共に、前記HLG映像の基準白レベルと前記SDR映像の白レベルとが対応する特性を得るための拡張処理を行い、第2輝度を求める拡張処理部と、
    前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記拡張処理部により求めた前記第2輝度を、前記HLG映像の第2ディスプレイ光信号に変換するHLG輝度/光変換部と、
    前記HLG輝度/光変換部により変換された前記第2ディスプレイ光信号に対し、前記HLG映像の肌レベルと前記SDR映像の肌レベルとが対応する特性を得るための逆ゲイン処理を行い、第3ディスプレイ光信号を求める逆ゲイン処理部と、
    前記逆ゲイン処理部により求めた前記第3ディスプレイ光信号を、前記HLG映像の前記EOTFの逆関数により前記HLG映像のビデオ信号に変換するHLG光/ビデオ変換部と、
    を備えたことを特徴とする映像信号変換装置。
  11. SDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像をHLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像に変換する映像信号変換装置において、
    前記SDR映像のビデオ信号を、前記SDR映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するSDRビデオ/光変換部と、
    前記SDRビデオ/光変換部により変換された前記第1ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、
    前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、所定の逆フィッティング関数により、前記HLG映像のビデオ信号の値が、前記SDR映像のビデオ信号の上限値に対応する前記HLG映像のビデオ信号の上限値まで増加する特性を得るための第1の演算を行うと共に、前記HLG映像の基準白レベルと前記SDR映像の白レベルとが対応する特性を得るための演算を行い、さらに、前記HLG映像の肌レベルと前記SDR映像の肌レベルとが対応する特性を得るための第2の演算を行い、第2輝度を求める処理部と、
    前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記処理部により求めた前記第2輝度を、前記HLG映像の第2ディスプレイ光信号に変換するHLG輝度/光変換部と、
    前記HLG輝度/光変換部により変換された前記第2ディスプレイ光信号を、前記HLG映像の前記EOTFの逆関数により前記HLG映像のビデオ信号に変換するHLG光/ビデオ変換部と、
    を備えたことを特徴とする映像信号変換装置。
  12. SDR(Standard Dynamic Range:スタンダードダイナミックレンジ)映像をHLG(Hybrid Log Gamma:ハイブリッドログガンマ)映像に変換する映像信号変換装置において、
    前記SDR映像のビデオ信号を、前記SDR映像のEOTF(Electro Optical Transfer Function:電気-光伝達関数)により第1ディスプレイ光信号に変換するSDRビデオ/光変換部と、
    前記SDRビデオ/光変換部により変換された前記第1ディスプレイ光信号におけるRGBの色成分毎の輝度のばらつきを軽減するためのクロストークマトリクス処理を行い、第2ディスプレイ光信号を求めるクロストークマトリクス処理部と、
    前記クロストークマトリクス処理部により求めた前記第2ディスプレイ光信号を、三刺激値及び色度座標に変換する三刺激値及び色度変換部と、
    前記三刺激値及び色度変換部により変換された前記三刺激値のうちの輝度値を第1輝度とし、当該第1輝度に対し、所定の逆フィッティング関数により、前記HLG映像のビデオ信号の値が、前記SDR映像のビデオ信号の上限値に対応する前記HLG映像のビデオ信号の上限値まで増加する特性を得るための第1の演算を行うと共に、前記HLG映像の基準白レベルと前記SDR映像の白レベルとが対応する特性を得るための演算を行い、さらに、前記HLG映像の肌レベルと前記SDR映像の肌レベルとが対応する特性を得るための第2の演算を行い、第2輝度を求める処理部と、
    前記三刺激値及び色度変換部により変換された前記色度座標を用いて、前記処理部により求めた前記第2輝度を、前記HLG映像の第3ディスプレイ光信号に変換するHLG輝度/光変換部と、
    前記HLG輝度/光変換部により変換された前記第3ディスプレイ光信号におけるRGBの色成分毎の輝度のばらつきを元に戻すための、前記クロストークマトリクス処理に対する逆の処理である逆クロストークマトリクス処理を行い、第4ディスプレイ光信号を求める逆クロストークマトリクス処理部と、
    前記逆クロストークマトリクス処理部により求めた前記第4ディスプレイ光信号を、前記HLG映像の前記EOTFの逆関数により前記HLG映像のビデオ信号に変換するHLG光/ビデオ変換部と、
    を備えたことを特徴とする映像信号変換装置。
  13. 請求項12に記載の映像信号変換装置において、
    前記HLG輝度/光変換部の代わりに、HLG三刺激値変換部、クロマ処理部及びHLG三刺激値/光変換部を備え、
    前記HLG三刺激値変換部は、
    前記三刺激値及び色度変換部により変換された前記色度座標及び前記処理部により求めた前記第2輝度を、当該第2輝度を含む三刺激値に変換し、
    前記クロマ処理部は、
    前記HLG三刺激値変換部により変換された前記三刺激値の空間をCIELAB空間に変換し、基準白レベル以上の色が無彩色または白色に近づくように、前記CIELAB空間における色相角を保持しながら、前記CIELAB空間におけるクロマを小さくするクロマ補正処理を行い、クロマ補正処理後の三刺激値を求め、
    前記HLG三刺激値/光変換部は、
    前記クロマ処理部により求めたクロマ補正処理後の前記三刺激値を、第5ディスプレイ光信号に変換し、
    前記逆クロストークマトリクス処理部は、
    前記HLG三刺激値/光変換部により変換された前記第5ディスプレイ光信号におけるRGBの色成分毎の輝度のばらつきを元に戻すための前記逆クロストークマトリクス処理を行い、前記第4ディスプレイ光信号を求める、ことを特徴とする映像信号変換装置。
  14. コンピュータを、請求項1から9までのいずれか一項に記載の映像信号変換装置として機能させるためのプログラム。
  15. コンピュータを、請求項10から13までのいずれか一項に記載の映像信号変換装置として機能させるためのプログラム。
JP2018191560A 2018-07-28 2018-10-10 映像信号変換装置及びプログラム Active JP7145719B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018141917 2018-07-28
JP2018141917 2018-07-28

Publications (2)

Publication Number Publication Date
JP2020025241A JP2020025241A (ja) 2020-02-13
JP7145719B2 true JP7145719B2 (ja) 2022-10-03

Family

ID=69619005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018191560A Active JP7145719B2 (ja) 2018-07-28 2018-10-10 映像信号変換装置及びプログラム

Country Status (1)

Country Link
JP (1) JP7145719B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7498586B2 (ja) 2020-04-01 2024-06-12 シャープ株式会社 映像処理装置、テレビ受信機、及びプログラム
JP7434064B2 (ja) 2020-05-28 2024-02-20 日本放送協会 彩度補正装置、映像信号変換装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017092920A (ja) 2015-11-17 2017-05-25 株式会社朋栄 最適色域マッピング処理方法
JP2017523621A (ja) 2014-05-28 2017-08-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置
US20170256039A1 (en) 2016-03-07 2017-09-07 Novatek Microelectronics Corp. Method of Processing High Dynamic Range Images Using Dynamic Metadata

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017523621A (ja) 2014-05-28 2017-08-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置
JP2017092920A (ja) 2015-11-17 2017-05-25 株式会社朋栄 最適色域マッピング処理方法
US20170256039A1 (en) 2016-03-07 2017-09-07 Novatek Microelectronics Corp. Method of Processing High Dynamic Range Images Using Dynamic Metadata

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
日下部裕一,HDR-TV方式の概要と関連規格,放送技術,第71巻 第7号,日本,兼六館出版株式会社,2018年,154~158
村上昌孝・丸谷 良・齋 哲也,HDR/SDR同時制作に向けた効率的な制作手法,放送技術,第71巻 第7号,日本,兼六館出版株式会社,2018年,148~153
高ダイナミックレンジ映像を用いた番組制作の運用ガイドラインARIB TR-B43,標準規格(通信分野、放送分野)及び技術資料(通信分野、放送分野、共通分野),1.0版,日本,一般社団法人電波産業会,2018年01月22日

Also Published As

Publication number Publication date
JP2020025241A (ja) 2020-02-13

Similar Documents

Publication Publication Date Title
US10535125B2 (en) Dynamic global tone mapping with integrated 3D color look-up table
RU2659485C1 (ru) Управление отображением видеоизображения с расширенным динамическим диапазоном
US9842385B2 (en) Display management for images with enhanced dynamic range
US9747674B2 (en) Method and device for converting an image sequence whose luminance values belong to a high dynamic range
KR101348369B1 (ko) 디스플레이 장치의 색 변환 방법 및 장치
US9961236B2 (en) 3D color mapping and tuning in an image processing pipeline
Šikudová et al. A gamut-mapping framework for color-accurate reproduction of HDR images
KR101080846B1 (ko) 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법
JP7145719B2 (ja) 映像信号変換装置及びプログラム
US20110110588A1 (en) Colour image enhancement
Artusi et al. Automatic saturation correction for dynamic range management algorithms
US8861850B2 (en) Digital image color correction
JP5410378B2 (ja) 映像信号補正装置および映像信号補正プログラム
KR101329133B1 (ko) 임장감 향상을 위한 질감 재현 시스템 및 방법 그리고 채도보정 시스템 및 방법
KR20130060110A (ko) 이미지 톤 매핑 장치 및 방법
JP7390849B2 (ja) 映像信号変換装置及びプログラム
KR100997159B1 (ko) 콘트라스트 개선장치 및 방법
KR101585187B1 (ko) Cielab 색 공간에서의 통합된 멀티 스케일 레티넥스를 수행하는 이미지 처리 방법 및 장치
JP7220593B2 (ja) 映像信号変換装置及びプログラム
Yun et al. Color correction for high dynamic range images using a chromatic adaptation method
JP6484244B2 (ja) カラー/グレーの小さい差異を保持する画像処理方法
Zolliker et al. Continuity of gamut mapping algorithms
JP7434064B2 (ja) 彩度補正装置、映像信号変換装置及びプログラム
Pouli et al. Color management in HDR imaging
CN109417616A (zh) 用于图像处理的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220920

R150 Certificate of patent or registration of utility model

Ref document number: 7145719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150