JP5410378B2 - 映像信号補正装置および映像信号補正プログラム - Google Patents
映像信号補正装置および映像信号補正プログラム Download PDFInfo
- Publication number
- JP5410378B2 JP5410378B2 JP2010164177A JP2010164177A JP5410378B2 JP 5410378 B2 JP5410378 B2 JP 5410378B2 JP 2010164177 A JP2010164177 A JP 2010164177A JP 2010164177 A JP2010164177 A JP 2010164177A JP 5410378 B2 JP5410378 B2 JP 5410378B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- luminance
- luminance value
- value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
このような問題を解決するために手法(トーンリプロダクション手法)として、種々の提案がなされている(例えば、非特許文献1)。
従来手法では、Lw(x,y)を、画像中の画素(x,y)に対応する実世界の放射輝度としたとき、以下の式(1)に示す放射輝度の対数平均Lw′を算出する。この対数平均Lw′は、画像内の基準となる明るさであって、写真光学で知られるゾーンシステムの中間グレーゾーン(中間輝度域)を決めるための指標となる。
また、従来手法は、以下の式(2)に示すスケーリングされた輝度L(x,y)を定義する。
そして、従来手法は、以下の式(3)により、画像全体の表示範囲をスケーリングすることで、映像信号(ディスプレイ)上の仮の輝度値Ld(x,y)を特定する。
すなわち、従来手法は、複数の空間スケールsiで定義された円形のガウシアンカーネルによって、前記式(2)で演算したスケーリングされた輝度値L(x,y)で特定される輝度画像を畳み込んだ結果の輝度値V(x,y,si)を用いて、以下の式(4)に示すアクティビティ(コントラスト判定の尺度)(Activity(x,y,si))を演算する。
また、従来手法では、コントラスト補正を行うための演算の性質上、低輝度部分のコントラスト補正の効果を十分に得ることができないという問題がある。すなわち、従来手法は、前記式(5)において、コントラスト補正の演算を行うため、低輝度においては、分母の値“1”が大きく影響し、低輝度部分の変化を適切に表現できないという問題がある。
そして、映像信号補正装置は、色空間逆変換手段によって、映像画素値変換手段で生成された補正後の映像信号を、YCbCr色空間の映像信号に逆変換する。これによって、コントラスト補正を行った映像信号を放送用の映像信号として使用することができる。
そして、映像信号補正プログラムは、フィルタ手段によって、仮想放射輝度算出手段で算出された放射輝度成分に対して、画素ごとに、予め定めた複数の大きさのガウシアンカーネルにより畳み込み演算を行う。
そして、映像信号補正プログラムは、カーネル決定手段によって、変化量算出手段で算出された変化量が予め定めた閾値よりも大きくなる最小のガウシアンカーネルを、当該画素に適用するガウシアンカーネルとして決定する。
そして、映像信号補正プログラムは、映像画素値変換手段によって、低輝度値補正手段によって補正された輝度画像の各画素の輝度値に対して、カメラ特性による演算を行うことで、カメラによる信号処理後の輝度値を算出し、補正後の映像信号を生成する。
請求項1,6に記載の発明によれば、カメラによる映像調整前の仮想的な輝度成分に対して画像全体にコントラスト補正を行うとともに、低輝度成分についてさらに部分的にコントラスト補正を行い、映像調整に応じた映像信号を生成し直すことができる。このため、本発明は、カメラ撮影された映像信号に対して、映像調整による映像全体のトーンに影響を与えずに、低輝度部分を局所的にコントラスト補正することができ、高輝度域と低輝度域の双方の細部の画質を高めることができる。
請求項5に記載の発明によれば、部分的に低輝度部分のコントラスト補正を行うことができ、従来のトーンリプロダクション手法よりも、低輝度部分の画質を向上させることができる。
[映像信号補正装置の構成]
まず、図1を参照して、本発明の実施形態に係る映像信号補正装置の構成について説明する。
なお、前記式(6)〜(8)は、各色空間の変換を分かり易く示すため、個々の変換式で表したが、前記式(6)〜(8)を1つの変換式として変換することとしてもよい。
ここでは、仮想放射輝度算出手段20は、パラメータ設定手段60のカメラ特性パラメータ設定手段61を介して入力される、映像信号を事前に調整(ガンマ、ニーなどの信号処理)したカメラのパラメータ(カメラ特性パラメータp,q)から、逆特性の演算を行うことで、信号処理される前の映像信号の輝度成分(仮想放射輝度成分)を求める。
すると、カメラの事前の補正によって、輝度成分Ld(x,y)は、仮想放射輝度成分L*(x,y)を以下の式(9)によってスケーリングされたものと仮定することができる。
そこで、仮想放射輝度算出手段20は、前記式(9)の逆変換式である以下の式(10)により、仮想放射輝度成分L*(x,y)を算出する。
図1に戻って、映像信号補正装置1の構成について説明を続ける。
このフィルタ手段311,312,…,31nは、それぞれ、仮想放射輝度成分L*(x,y)に対して、以下の式(13)に示すように、ガウシアンカーネルRを用いた畳み込み演算により、平滑化した輝度値(フィルタ済輝度値)V*(x,y,si)を算出する。
ここでは、フィルタ手段311は係数s1を用いたガウシアンカーネルR1、フィルタ手段312は係数s2を用いたガウシアンカーネルR2、…、フィルタ手段31nは係数snを用いたガウシアンカーネルRnによって、それぞれ(フィルタ済)輝度値V*(x,y,si)を算出する。
ここでは、例えば、φ=8.0、a=0.18とする。なお、この先鋭度パラメータφ,キー値aは、ここでは、予め定めた値とするが、外部からパラメータとして設定されるように構成してもよい。
また、前記式(14)は、輝度値の変化の度合いであるため、分母の“2φasi −2”の項は必ずしも必要ではない。
このアクティビティ算出手段321,322,…,32n−1で算出された輝度値の変化の度合い(Activity(x,y,si))は、カーネル決定手段33に出力される。
すなわち、カーネル決定手段33は、以下の式(15)を満たすsmを(m=1,2,…,n)を決定する。
これによって、カーネル決定手段33は、ガウシアンカーネルのスケールを変えることで、コントラストの変化をより大きくするガウシアンカーネルを特定することができる。
このように選択された輝度値、すなわち、輝度画像全体(グローバル)にコントラストが補正された輝度値V*(x,y,sm)は、低輝度値補正手段35に出力される。
しかし、前記式(9)において、コントラスト補正された輝度値V*(x,y,sm)では、「発明が解決しようとする課題」で説明した従来手法の式(5)と同様に、低輝度部分のコントラスト補正の効果が十分でない場合がある。
具体的には、低輝度値補正手段35は、以下の式(16)により、低輝度部分にコントラスト補正を行った補正輝度値Vs *(x,y,α,β)を算出する。
この補正量調整パラメータαは、低輝度の基準となる閾値であって、操作者がどの低輝度成分以下の輝度値を調整したいかを示す値である。ここでは、輝度値V*(x,y,sm)が、設定された補正量調整パラメータαより値が小さい場合は、補正が行われることになる。
なお、この補正量調整パラメータはα,βは、予め設定しておくことも可能であるが、操作者が、補正された映像をリアルタイムで視覚的に確認しながら、調整を行うことも可能である。
図1に戻って、映像信号補正装置1の構成について説明を続ける。
具体的には、映像画素値変換手段40は、以下の式(17)により、コントラスト補正された映像信号の輝度成分Ld *(x,y,α,β)を生成する。
ここで、前記式(17)の分母にコントラスト補正後の補正輝度値Vs *(x,y,α,β)を用い、分子にコントラスト補正前の仮想放射輝度成分L*(x,y)を用いる理由について簡単に説明しておく。
この色空間逆変換手段50は、色空間変換手段10の逆変換を行うものである。そこで、色空間変換手段10において、異なる色空間変換を行うのであれば、色空間逆変換手段50は、その変換に対応した逆変換を行うものとして構成することはいうまでもない。
なお、カメラ特性パラメータp,qについては、仮想放射輝度算出手段20において説明したため、ここでは説明を省略する。
なお、補正量調整パラメータα,βについては、仮想放射輝度補正手段30の低輝度値補正手段35(図2参照)において説明したため、ここでは説明を省略する。
ここでは、補正対象の映像信号をYCbCr色空間の映像信号としたが、それ以外の色空間の映像信号であっても、輝度成分を抽出できれば、本発明に適用することができる。例えば、YUV色空間の映像信号、RGB色空間の映像信号など、一般的な映像信号を用いることができる。その場合、色空間変換手段10や、色空間逆変換手段50は、それぞれの色空間に対応するように変換・逆変換すればよい。
次に、図4を参照(構成については適宜図1参照)して、本発明の実施形態に係る映像信号補正装置の動作について説明する。
次に、図5を参照(構成については適宜図2参照)して、仮想放射輝度補正手段30の動作について説明する。この動作は、図4のステップS3の動作に相当する。
同様に、Activity(x,y,s2)から、Activity(x,y,sn−1)まで、順次、閾値εよりも大きい値か否かを判定し、大きくなった段階で、そのスケールのガウシアンカーネルを適用することを決定する。
そして、仮想放射輝度補正手段30は、コントラスト補正画素選択手段34によって、ステップS341〜S34nのいずれかで決定されたガウシアンカーネルを適用した輝度値を、ステップS31で演算された輝度値V*(x,y,si)の中から選択する(ステップS35)。
以上説明したように、映像信号補正装置1は、カメラ撮影された映像信号に対して、映像全体のトーンに影響を与えずに、コントラスト補正を行うことができ、さらに、低輝度部分を局所的にコントラスト補正することができる。
10 色空間変換手段
20 仮想放射輝度算出手段
30 仮想放射輝度補正手段
31 フィルタ手段
32 アクティビティ算出手段(変化量算出手段)
33 カーネル決定手段
34 コントラスト補正画素選択手段(輝度値選択手段)
35 低輝度値補正手段
40 映像画素値変換手段
50 色空間逆変換手段
60 パラメータ設定手段
61 カメラ特性パラメータ設定手段
62 補正量調整パラメータ設定手段
Claims (6)
- 映像信号のコントラストを補正する映像信号補正装置であって、
カメラにおける信号処理された前記映像信号の特性を示すカメラ特性に基づいて、前記映像信号の輝度成分に対して前記カメラ特性の逆特性による演算を行うことで、前記信号処理前の仮想的な放射輝度成分を算出する仮想放射輝度算出手段と、
この仮想放射輝度算出手段で算出された放射輝度成分に対して、画素ごとに、予め定めた複数の大きさのガウシアンカーネルにより畳み込み演算を行うことでフィルタ済輝度値を算出するフィルタ手段と、
このフィルタ手段で算出された同一画素における複数のフィルタ済輝度値において、前記ガウシアンカーネルの大きさの順番が隣り合うガウシアンカーネルにより算出した2組のフィルタ済輝度値ごとに変化量を算出する変化量算出手段と、
この変化量算出手段で算出された変化量が予め定めた閾値よりも大きくなる最小のガウシアンカーネルを、当該画素に適用するガウシアンカーネルとして決定するカーネル決定手段と、
前記フィルタ手段で算出された同一画素における複数のフィルタ済輝度値から、前記カーネル決定手段で決定されたガウシアンカーネルを適用して算出されたフィルタ済輝度値を当該画素における輝度値として選択することで輝度画像を生成する輝度値選択手段と、
輝度値が低輝度であるか否かを示す予め定めた閾値に基づいて、前記輝度値選択手段で生成された輝度画像において、輝度値が低輝度である画素の輝度値を予め定めた係数により補正する低輝度値補正手段と、
この低輝度値補正手段で補正された輝度画像の各画素の輝度値に対して、前記カメラ特性による演算を行うことで、前記信号処理後の輝度値を算出し、補正後の映像信号を生成する映像画素値変換手段と、
を備えることを特徴とする映像信号補正装置。 - 前記映像信号は、放送用映像信号であるYCbCr色空間で表現される映像信号であって、
入力された前記映像信号をxyY色空間の映像信号に変換する色空間変換手段と、
前記映像画素値変換手段で生成された補正後の映像信号を、YCbCr色空間の映像信号に逆変換する色空間逆変換手段と、
をさらに備えることを特徴とする請求項1に記載の映像信号補正装置。 - 前記仮想放射輝度算出手段は、
前記カメラ特性を、前記放射輝度成分L*をqL*/(1+pL*)の輝度成分となる特性として近似したカメラ特性パラメータp,qを外部から入力し、前記映像信号の輝度成分Ldについて、Ld/(q−pLd)を演算することで、前記信号処理前の仮想的な放射輝度成分L*を算出することを特徴とする請求項1または請求項2に記載の映像信号補正装置。 - 前記映像画素値変換手段は、
前記低輝度値補正手段で補正された輝度画像の各画素の輝度値をVs *、前記仮想的な放射輝度成分をL*としたとき、前記カメラ特性パラメータp,qを用いて、qL*/(1+pVs *)を演算することで、補正後の輝度値を算出することを特徴とする請求項3に記載の映像信号補正装置。 - 前記低輝度値補正手段は、
補正前の輝度値をV*としたとき、前記輝度値が低輝度であるか否かを示す予め定めた閾値であるαと、前記係数であるβとを外部から入力し、前記補正前の輝度値V*が前記閾値αを基準として小さい場合に、V*−β(1−V*/α)の演算により補正後の輝度値を算出することを特徴とする請求項1から請求項4のいずれか一項に記載の映像信号補正装置。 - 映像信号のコントラストを補正するために、コンピュータを、
カメラにおける信号処理された前記映像信号の特性を示すカメラ特性に基づいて、前記映像信号の輝度成分に対して前記カメラ特性の逆特性による演算を行うことで、前記信号処理前の仮想的な放射輝度成分を算出する仮想放射輝度算出手段、
この仮想放射輝度算出手段で算出された放射輝度成分に対して、画素ごとに、予め定めた複数の大きさのガウシアンカーネルにより畳み込み演算を行うことでフィルタ済輝度値を算出するフィルタ手段、
このフィルタ手段で算出された同一画素における複数のフィルタ済輝度値において、前記ガウシアンカーネルの大きさの順番が隣り合うガウシアンカーネルにより算出した2組のフィルタ済輝度値ごとに変化量を算出する変化量算出手段、
この変化量算出手段で算出された変化量が予め定めた閾値よりも大きくなる最小のガウシアンカーネルを、当該画素に適用するガウシアンカーネルとして決定するカーネル決定手段、
前記フィルタ手段で算出された同一画素における複数のフィルタ済輝度値から、前記カーネル決定手段で決定されたガウシアンカーネルを適用して算出されたフィルタ済輝度値を当該画素における輝度値として選択することで輝度画像を生成する輝度値選択手段、
輝度値が低輝度であるか否かを示す予め定めた閾値に基づいて、前記輝度値選択手段で生成された輝度画像において、輝度値が低輝度である画素の輝度値を予め定めた係数により補正する低輝度値補正手段、
この低輝度値補正手段で補正された輝度画像の各画素の輝度値に対して、前記カメラ特性による演算を行うことで、前記信号処理後の輝度値を算出し、補正後の映像信号を生成する映像画素値変換手段、
として機能させることを特徴とする映像信号補正プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010164177A JP5410378B2 (ja) | 2010-07-21 | 2010-07-21 | 映像信号補正装置および映像信号補正プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010164177A JP5410378B2 (ja) | 2010-07-21 | 2010-07-21 | 映像信号補正装置および映像信号補正プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012028937A JP2012028937A (ja) | 2012-02-09 |
JP5410378B2 true JP5410378B2 (ja) | 2014-02-05 |
Family
ID=45781374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010164177A Expired - Fee Related JP5410378B2 (ja) | 2010-07-21 | 2010-07-21 | 映像信号補正装置および映像信号補正プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5410378B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7249154B2 (ja) * | 2019-01-11 | 2023-03-30 | 日本テレビ放送網株式会社 | 変換装置、変換方法及びプログラム |
CN110120021B (zh) * | 2019-05-05 | 2021-04-09 | 腾讯科技(深圳)有限公司 | 图像亮度的调整方法、装置、存储介质及电子装置 |
CN111476848B (zh) * | 2020-03-31 | 2023-04-18 | 北京经纬恒润科技股份有限公司 | 一种视频流仿真方法及装置 |
US11978181B1 (en) | 2020-12-11 | 2024-05-07 | Nvidia Corporation | Training a neural network using luminance |
US11637998B1 (en) * | 2020-12-11 | 2023-04-25 | Nvidia Corporation | Determination of luminance values using image signal processing pipeline |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4043574B2 (ja) * | 1997-12-26 | 2008-02-06 | 富士フイルム株式会社 | デジタルカメラ並びにデジタルカメラの記録再生方法 |
JP4131348B2 (ja) * | 1998-11-18 | 2008-08-13 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP3791586B2 (ja) * | 2000-05-25 | 2006-06-28 | セイコーエプソン株式会社 | 画像表示システム、画像処理方法および情報記憶媒体 |
JP4006347B2 (ja) * | 2002-03-15 | 2007-11-14 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム |
US7426312B2 (en) * | 2005-07-05 | 2008-09-16 | Xerox Corporation | Contrast enhancement of images |
JP2009207011A (ja) * | 2008-02-28 | 2009-09-10 | Canon Inc | ガンマ補正装置及び方法、及び撮像装置 |
-
2010
- 2010-07-21 JP JP2010164177A patent/JP5410378B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012028937A (ja) | 2012-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4894595B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
JP5105209B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
EP2833317B1 (en) | Image display device and/or method therefor | |
KR102157032B1 (ko) | 고 동적 범위 비디오에 대한 디스플레이 관리 | |
JP4481333B2 (ja) | 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、情報携帯端末、カメラおよびプロセッサ | |
EP2624204B1 (en) | Image processing apparatus and method of controlling the same | |
US8391598B2 (en) | Methods for performing local tone mapping | |
US7409083B2 (en) | Image processing method and apparatus | |
US20020171852A1 (en) | System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines | |
JP5392560B2 (ja) | 画像処理装置および画像処理方法 | |
JP2008159069A5 (ja) | ||
KR101648762B1 (ko) | 입력 영상의 동적 범위를 변환하는 방법 및 장치 | |
CN111480177A (zh) | 改进的逆色调映射方法和对应装置 | |
CN110599418B (zh) | 一种变换域融合的全局色调映射方法 | |
JP5410378B2 (ja) | 映像信号補正装置および映像信号補正プログラム | |
CN109478316B (zh) | 实时自适应阴影和高光增强 | |
JP2006114005A (ja) | 階調変換装置、プログラム、電子カメラ、およびその方法 | |
JP2015154102A (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
JP2002281312A (ja) | 画像処理のための装置、方法及びプログラム | |
KR101642034B1 (ko) | 입력 영상의 동적 범위를 변환하는 방법 및 장치 | |
KR101585187B1 (ko) | Cielab 색 공간에서의 통합된 멀티 스케일 레티넥스를 수행하는 이미지 처리 방법 및 장치 | |
JP4664938B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011120299A (ja) | 階調変換装置、プログラム、電子カメラ、及びその方法 | |
US11647298B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP4769332B2 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5410378 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |