JP4207259B2

JP4207259B2 - 映像信号処理装置

Info

Publication number: JP4207259B2
Application number: JP24664098A
Authority: JP
Inventors: 斉中村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-01
Filing date: 1998-09-01
Publication date: 2009-01-14
Anticipated expiration: 2018-09-01
Also published as: JP2000078437A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号処理装置に関し、特に高輝度部分での階調表現を改善した映像信号処理装置に関する。
【０００２】
【従来の技術】
カメラ一体型ビデオテープレコーダやスチルビデオカメラなどのビデオカメラ部として、撮像装置が広く用いられている。撮像装置としては撮像管や固体撮像装置が一般的に用いられているが、これらの撮像装置は従来の銀塩写真装置のダイナミックレンジに比べてダイナミックレンジが狭いという問題がある。さらに、ビデオ信号のＮＴＳＣやＰＡＬといった映像信号規格では、黒レベルと白レベルが決まっており、規格上の最大白レベルより明るい部分を表示することはできない。
したがってダイナミックレンジの広い映像信号を処理するためには、高輝度部分を映像信号規格内に収めるための通常ニー（ｋｎｅｅ）と呼ばれる輝度圧縮を行っている。一般的には、白レベルを１００％とすると、最大白レベルは１０５〜１１０％と決まっているので、例えばＣＣＤなどの固体撮像装置から得られた２００％の信号を１１０％に収めるために、９５％〜２００％の信号をレベル方向に圧縮して１１０％に収めるようにしていた。
【０００３】
白黒の映像信号を扱う場合の撮像装置の内部構成の例を図１に示す。図１で、１はレンズ、３は撮像素子、５は輪郭強調回路、６は輝度圧縮回路、７はガンマ補正回路、８はホワイトクリップおよびブラッククリップ回路、１０は加算器である。
被写体からの反射光は、レンズ１を通って撮像素子３に結像する。この撮像画像は電気信号に変換され、変換された電気信号は輪郭強調回路５、輝度圧縮回路６、ガンマ補正回路７、ホワイトクリップおよびブラッククリップ回路８でそれぞれ処理され、加算器１０で同期信号が付加されて、映像信号規格に適った信号に変換される。
【０００４】
輝度圧縮回路６で、輝度圧縮前の信号をＹ、輝度圧縮後の信号をＹ´、圧縮率（傾き）をＫｓ、圧縮点（ｋｎｅｅｐｏｉｎｔ）をＫｐとすると、輝度圧縮回路６の動作は以下の式で表される。
【０００５】
Ｙ≦Ｋｐの時、
Ｙ´＝Ｙ …（１）
Ｙ＞Ｋｐの時、
Ｙ´＝Ｋｓ（Ｙ−Ｋｐ）＋Ｋｐ …（２）
【０００６】
この圧縮率Ｋｓや圧縮点Ｋｐの定数を絵柄によって最適化する方法が従来から知られており、自動ニー（ａｕｔｏｋｎｅｅ）と呼ばれている。これは入力映像信号のピークレベルがある一定値Ｙ´ｐを越えたとき、回路出力の映像信号のピーク値がＹ´ｐになるように、ＫｓもしくはＫｐを制御するものである。例えば、Ｋｐを変数、Ｋｓを固定値として自動ニーを動作させる方式では、自動ニー回路の入力映像信号のピーク値をＹｐとすると、図８に示すように、ＫｐはＹｐの値から以下の式で表される。
【０００７】
式（２）より、
Ｙ´ｐ＝Ｋｓ（Ｙｐ−Ｋｐ）＋Ｋｐ …（３）
これから
Ｋｐ＝（Ｙ´ｐ−Ｙｐ・Ｋｓ）／（１−Ｋｓ） …（４）
【０００８】
このような一折れ線のニー（ｓｉｎｇｌｅｌｉｎｅｋｎｅｅ）に対して、出現頻度の高い映像レベルにより多くの出力ダイナミックレンジが割りあたるように複数の折れ線で表現する適応型自動ニー（ａｄａｐｔｉｖｅａｕｔｏｋｎｅｅ）という方式が特開平８−１８１８８７号公報で提案されている。
この方法では、圧縮点Ｋｐ以上の傾きを適応的に制御して限られた出力ダイナミックレンジを有効利用できるようにする。
【０００９】
この方法での折れ線の設定方法を簡単に説明する。ここでは、圧縮点Ｋｐ以上を入力映像信号のピーク値Ｙｐ迄をｋ等分し、各等分のポイントをＫｐ１、Ｋｐ２、Ｋｐ３、……、Ｋｐ（ｋ＋１）とする。図９にこの設定方法による折れ線のｋ＝８の場合の例を示す。ここで、各折れ線の傾きをａ１、ａ２、ａ３、……、ａｋとする。このとき原点から圧縮点Ｋｐ迄の傾きａ０＝１とすると、出力映像信号のダイナミックレンジすなわち回路出力の映像信号ピーク値Ｙ´ｐに対して、
【００１０】
【数１】
…（５）

【００１１】
が得られる。そうしてこの式（５）を変形すれば傾きの合計値をΣａｉを式（６）のように既知の値で表すことができる。
【００１２】
【数２】
…（６）

【００１３】
圧縮点Ｋｐ以上の各部に割り当てられる傾きを、各傾きに相当する部分のヒストグラム値に比例するように割り振る。すなわち、ｉ番目の傾きａｉに相当する部分のヒストグラムの値をｈｉとすると、各傾きａｉは式（７）で表される。
【００１４】
【数３】
…（７）

【００１５】
式（７）を式（６）に代入すれば式（８）のように傾きａｉを設定することができる。
【００１６】
【数４】
…（８）

【００１７】
また、各折れ線のｙ切片ｂｉは式（９）によって再帰的に求まる。
ｂ０＝０
ｂｉ＝Ｋｐｉ・（ａ（ｉ−１）−ａｉ）＋ｂ（ｉ−１） …（９）
【００１８】
しかし、このような方式では、入力映像信号のピーク値Ｙｐがホワイトクリップ以下かつ折れ線よりも大きい時が考慮されていないので、このような場合には効果をオフにする必要があるが、ＹｐがＹ´ｐ付近の値を前後すると効果のオン／オフの変わり目で映像信号が急激に変化してしまうことがある。また、効果を十分に得ようとすると、一番下のＫｐ１は通常用いられる圧縮点Ｋｐより低く設定する必要が有るが逆にさほど入力映像信号のピーク値Ｙｐが高くないときにも動作してしまうという欠点があって余り好ましくない。
【００１９】
図５にカラー信号を扱う撮像装置の内部構成の一例を示す。
図５において、１ははレンズ、２は分光プリズム、３−１、３−２、３−３は分光プリズムでＲＧＢに分光された光をそれぞれ結像して電気信号に変換する撮像素子、４はホワイトバランス回路、５−１、５−２、５−３は輪郭強調回路、６は輝度圧縮回路、７−１、７−２、７−３はガンマ補正回路、８−１、８−２、８−３はホワイトクリップおよびブラッククリップ回路、９はエンコーダ回路である。
【００２０】
本回路が先にあげた図１の白黒撮像装置との相違点は、像を光の３原色であるＲＧＢに分けるための色分解プリズム２がレンズ１の後に置かれ、各色に対応した撮像素子３−１、３−２、３−３とそれぞれの回路が用意されている点および、被写体の色温度補整用のホワイトバランス回路４、及びカラー映像信号を得るためのエンコーダー回路９が用意されている点である。
【００２１】
図１０に、図５の輝度圧縮回路６に相当する部分の詳細図を示す。図１０において、ＲＧＢの各入力から、ＮＴＳＣ等の規格に乗っ取りＹマトリックス１１を組むことにより、次の式（１０）に基づいて輝度信号Ｙを算出する。
【００２２】
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ …（１０）
【００２３】
こうして求めたＹのピーク値をピーク検出回路１２で検出して得られたＹｐとあらかじめ設定値１３−２として決められた輝度圧縮後のピーク値Ｙ´ｐと圧縮率（傾き）Ｋｓから、処理回路１３の計算回路１３−１で、式（４）によりＫｐを求めることができる。このＫｐとＫｓからＲＧＢの各入力に演算処理部１５−１〜１５−３にて式（１）および式（２）の処理を加えることにより入力映像信号を圧縮することができる。処理回路１３の演算は主にソフトウェアによる制御である。
【００２４】
【発明が解決しようとする課題】
上述のごとく、従来の輝度圧縮用の映像信号処理装置では、入力映像信号のピーク値Ｙｐが所定値Ｙ´ｐの付近で変動した場合などに映像信号が急激に変化してしまうという欠点があった。
【００２５】
本発明はこの点を解決して、比較的簡単な方法で、入力映像信号のピーク値の変動が映像信号に影響することなく、限られた出力ダイナミックレンジを有効を利用することができ、優れた階調表現を示す輝度圧縮用の映像信号処理装置の実現を課題とする。
【００２６】
【課題を解決するための手段】
上記課題を達成するため、本発明は、入力映像信号の高輝度部分のダイナミックレンジを適応的に圧縮して出力する映像信号処理装置であって、（１）入力映像信号の輝度レベルのピーク値を検出するピーク値検出手段と、（２）出力輝度レベルの最大値を指定する最大出力輝度レベル設定手段と、（３）ダイナミックレンジの圧縮率を指定する圧縮率設定手段と、（４）入力映像信号の輝度レベルのピーク値、出力輝度レベルの最大値及びダイナミックレンジの圧縮率に基づいて、ダイナミックレンジの圧縮を開始する輝度レベルを算出する圧縮開始輝度レベル算出手段と、（５）圧縮開始輝度レベル以上の高輝度部分について、入力映像信号の輝度分布に対するヒストグラムを検出するヒストグラム検出手段と、（６）ヒストグラム検出手段の検出結果に基づいて、出現頻度の高い輝度レベルに多くの出力ダイナミックレンジを割り当てる変換グラフ生成手段と、（７）生成された変換グラフを用い、入力映像信号の高輝度部分を圧縮する階調変換手段とを有することを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明にかかる映像信号処理装置を添付図面を参照にして詳細に説明する。
本発明が実施される白黒の撮像装置の内部構成を図１に示す。図１で、１はレンズ、３は撮像素子、５は輪郭強調回路、６は輝度圧縮回路、７はガンマ補正回路、８はホワイトクリップおよびブラッククリップ回路、１０は加算器である。
被写体からの反射光は、レンズ１を通って撮像素子３に結像する。この撮像画像は電気信号に変換され、変換された電気信号は輪郭強調回路５、輝度圧縮回路６、ガンマ補正回路７、ホワイトクリップおよびブラッククリップ回路８でそれぞれ処理され、加算器１０で同期信号が付加されて、映像信号規格に適った信号に変換される。
【００２８】
本発明で述べる映像信号処理装置は、この回路の輝度圧縮回路６にあたる。
本発明の、輝度圧縮回路６は入出力応答特性の改善を目的にしている。
【００２９】
図９の一番下のニーポイントＫｐ１を決める際に、あらかじめ圧縮率（傾き）Ｋｓをある１より小さい傾きに設定し、式（４）を用いて求めたＫｐをＫｐ１にする。このようにすると、入力映像信号のピークレベルＹｐがＹ´ｐを越えなければニーがかからないので、ＹｐがＹ´ｐ付近の値を前後しても輝度圧縮がスムーズに移り、映像信号が急激に変化してしまうということがない。
【００３０】
図２に、本発明の映像信号処理装置の一実施の形態である白黒映像信号に対する輝度圧縮回路６の詳細図を示す。
入力映像信号からピーク検出回路１２で入力映像信号のピーク値Ｙｐが検出される。このピーク値Ｙｐは処理回路１３に入力され、処理回路１３内のＫｐ算出回路１３−ｂで設定値１３−ａの出力映像信号のピーク値Ｙ´ｐおよび圧縮率Ｋｓから式（４）によって圧縮点Ｋｐが算出される。このＫｐとＹｐの間を高輝度部分の分割数ｎでｎ等分してＫｐ２〜Ｋｐｋ算出回路１３−ｃでＫｐ２、Ｋｐ３、……、Ｋｐｋが求められる。
【００３１】
一方、ヒストグラム検出回路１４はＫｐ２〜Ｋｐｋ算出回路１３−ｃからＫｐ１〜Ｋｐ（ｋ＋１）の値と入力映像信号Ｙから輝度分布に対するヒストグラムｈ１〜ｈｋを求める。そうしてこのヒストグラムｈ１〜ｈｋをもとに各部傾き演算回路１３−ｄで式（７）に基づいて各部の傾きａ１〜ａｋを演算する。さらに、式（９）に基づいて、ｙ切片算出回路１３−ｅでｙ切片ｂ１〜ｂｋを演算する。
このようにして、図９に示したような折れ線の変換グラフを構成し、演算処理分でこの折れ線の変換グラフに基づいた変換を入力映像信号に働かせて出力映像信号Ｙ´を求める。
【００３２】
しかし、このようにニーポイントＫｐ１を決めると、入力映像信号のピークレベルＹｐや圧縮率（傾き）ＫｓによってはＫｐ１が０やマイナスの値になるおそれがある。
この輝度圧縮回路６の目的は高輝度部分を圧縮することであり、Ｋｐ１が０やマイナスの値になるとこの目的を離れて単にレンズの絞りを絞ったと同じ効果になってしまう。
これを防ぐために、本発明の他の実施の形態では、以上の方法で式（４）で決めたＫｐがあらかじめ決められたＫｐの最小値Ｋｐｍｉｎよりも小さい時には、図３に示すように、式（４）でＫｐをその決められた値ＫｐｍｉｎとおいてＫｐを固定値、Ｋｓを変数としてＫｓを求め、その値にＫｓの傾きを下げれば（圧縮率を上げれば）、ニーポイントＫｐ１が必要以上に下がることはない。
【００３３】
式（４）を書き直した圧縮率（傾き）Ｋｓを固定値Ｋｐｍｉｎから求める式を式（１１）に示す。
Ｋｓ´＝（Ｙ´ｐ−Ｋｐｍｉｎ）／（Ｙｐ−Ｋｐｍｉｎ） …（１１）
【００３４】
図４に、本実施の形態での白黒映像信号に対する輝度圧縮回路６の詳細図を示す。この回路が図２と異なる点は、Ｋｐ、Ｋｓ補正回路１３−ｆが設けられたことである。Ｋｐ、Ｋｓ補正回路１３−ｆはＫｐ算出回路１３−ｂで算出されたＫｐとＫｐｍｉｎを比較し、Ｋｐ＜Ｋｐｍｉｎの場合には、ＫｐをＫｐｍｉｎに置き換え、また、Ｋｓを式（１１）で示されるＫｓ´に置き換えて以後の処理を行うようにする。
これにより必要以上に最初のニーポイントＫｐ１が下がって高輝度部分だけを圧縮するという目的から外れるおそれがなくなる。
【００３５】
図５にカラー信号を扱う撮像装置の内部構成の一例を示す。
図５において、１ははレンズ、２は分光プリズム、３−１、３−２、３−３は分光プリズムでＲＧＢに分光された光をそれぞれ結像して電気信号に変換する撮像素子、４はホワイトバランス回路、５−１、５−２、５−３は輪郭強調回路、６は輝度圧縮回路、７−１、７−２、７−３はガンマ補正回路、８−１、８−２、８−３はホワイトクリップおよびブラッククリップ回路、９はエンコーダ回路である。
本回路が先にあげた図１の白黒撮像装置との相違点は、像を光の３原色であるＲＧＢに分けるための色分解プリズム２がレンズ１の後に置かれ、各色に対応した撮像素子３−１、３−２、３−３とそれぞれの回路が用意されている点および、被写体の色温度補整用のホワイトバランス回路４、及びカラー映像信号を得るためのエンコーダー回路９が用意されている点である。
【００３６】
図６に、本発明によるカラー信号の輝度圧縮回路６の一実施の形態のブロック図を示す。ＲＧＢの各入力からＮＴＳＣ等の規格に乗っ取りＹマトリックス１１を組むことにより、式（１０）に基づいて輝度信号Ｙを算出する。
こうして求めたＹのピーク値としてピーク検出回路１２で検出して得られたＹｐとあらかじめ設定値１３−２として決められた輝度圧縮後のピーク値Ｙ´ｐと圧縮率（傾き）Ｋｓから、処理回路１３のＫｐ算出回路１３−ｂで、式（３）によりＫｐを求めることができる。
【００３７】
一方、各Ｋｐ算出回路１３−ｃでＫｐとＹｐの間を高輝度部分の分割数ｎでｎ等分してＫｐ２、Ｋｐ３、……、Ｋｐｎが求められ、ヒストグラム検出部１４では信号が各Ｋｐｉの間の各部にどれだけ出現するかを検出する。このヒストグラムの値をｈ１〜ｈｎとする。
傾き算出部１３−ｄでは式（８）によりそれぞれのヒストグラムｈ１〜ｈｎに応じてそれぞれの傾きａ１〜ａｎを決める。ヒストグラムの大きな所は傾きが小さく（圧縮率が大きく）、ヒストグラムの少ないところでは傾きが大きく（圧縮率が大きく）なる。
【００３８】
このＫｐ１〜Ｋｐｎとａ１〜ａｎから先に図９の様なグラフを得ることができる。各折れ線はＹ´＝ａｉ・Ｙ＋ｂｉの形で示すことができる。ａ１〜ａｎはすでに求められているのでＹ切片算出部１３−ｅにてｂ１〜ｂｎを求める。このｂ１〜ｂｎとａ１〜ａｎから演算処理部１５−１〜１５−３にてＲＧＢのそれぞれについて図９に示したような折れ線変換を行い各信号が圧縮される。
【００３９】
図７に、本発明によるカラー信号の輝度圧縮回路６の他の実施の形態を示す。この回路は白黒の場合の図４に対応するもので、図６と異なる点は、Ｋｐ、Ｋｓ補正回路１３−ｆが設けられたことである。Ｋｐ、Ｋｓ補正回路１３−ｆはＫｐ算出回路１３−ｂで算出されたＫｐとＫｐｍｉｎを比較し、Ｋｐ＜Ｋｐｍｉｎの場合には、ＫｐをＫｐｍｉｎに置き換え、また、Ｋｓを式（１１）で示されるＫｓ´に置き換えて以後の処理を行うようにする。
これにより、必要以上に最初のニーポイントＫｐ１が下がって高輝度部分だけを圧縮するという目的から外れるおそれがなくなる。
【００４０】
【発明の効果】
以上説明したように本発明の請求項１の発明は、入力映像信号の高輝度部分のダイナミックレンジを適応的に圧縮して出力する映像信号処理装置であって、入力映像信号の輝度レベルのピーク値を検出するピーク値検出手段と、出力輝度レベルの最大値を指定する最大出力輝度レベル設定手段と、ダイナミックレンジの圧縮率を指定する圧縮率設定手段と、入力映像信号の輝度レベルのピーク値、出力輝度レベルの最大値及びダイナミックレンジの圧縮率に基づいて、ダイナミックレンジの圧縮を開始する輝度レベルを算出する圧縮開始輝度レベル算出手段と、圧縮開始輝度レベル以上の高輝度部分について、入力映像信号の輝度分布に対するヒストグラムを検出するヒストグラム検出手段と、ヒストグラム検出手段の検出結果に基づいて、出現頻度の高い輝度レベルに多くの出力ダイナミックレンジを割り当てる変換グラフ生成手段と、生成された変換グラフを用い、入力映像信号の高輝度部分を圧縮する階調変換手段とを有することを特徴とする。
これにより、比較的簡単な方法で、入力映像信号のピーク値の変動が映像信号に影響することなく、限られた出力ダイナミックレンジを有効を利用することができ、優れた階調表現を示す輝度圧縮用の映像信号処理装置を実現することができ、かつ変換設定の処理を自動的に行うことができる。
【００４１】
本発明の請求項２の発明は、前記圧縮開始輝度レベルの最小値を指定する最小圧縮開始輝度レベル設定手段を有し、圧縮開始輝度レベル算出手段で算出された圧縮開始輝度レベルが、最小圧縮開始輝度レベル設定手段で指定される最小値よりも低い場合、圧縮開始輝度レベル算出手段は、圧縮開始輝度レベルを最小値に置換すると共に、置換後の条件を満たすように前記ダイナミックレンジの圧縮率を補正することを特徴とする。
これにより、必要以上に圧縮点が下がって高輝度部分だけを圧縮するという目的から外れ、輝度を全体に下げてしまうような虞を防止することができる。
【図面の簡単な説明】
【図１】白黒の映像信号を扱う場合の撮像装置の内部構成を示すブロック図。
【図２】本発明の映像信号処理装置の一実施の形態である白黒映像信号に対する輝度圧縮回路の詳細ブロック図。
【図３】本発明による圧縮点の設定方法を示す説明図。
【図４】本発明の映像信号処理装置の他の実施の形態である白黒映像信号に対する輝度圧縮回路の詳細ブロック図。
【図５】カラー信号を扱う撮像装置の内部構成を示すブロック図。
【図６】本発明によるカラー信号の輝度圧縮回路の一実施の形態のブロック図。
【図７】本発明によるカラー信号の輝度圧縮回路の他の実施の形態のブロック図。
【図８】従来の圧縮点の設定方法を示す説明図。
【図９】複数の折れ線による入出力応答特性図。
【図１０】従来のカラー信号の輝度圧縮回路のブロック図。
【符号の説明】
１…レンズ、２…分光プリズム、３、３−１、３−２、３−３…撮像素子、４…ホワイトバランス回路、５、５−１、５−２、５−３…輪郭強調回路、６…輝度圧縮回路、７、７−１、７−２、７−３…ガンマ補正回路、８、８−１、８−２、８−３…ホワイトクリップおよびブラッククリップ回路、９…エンコーダ回路、１０…加算器、１１…Ｙマトリックス、１２…ピーク検出回路、１３…処理回路、１３−ａ…設定値、１３−ｂ…Ｋｐ算出回路、１３−ｃ…各Ｋｐ算出回路、１３−ｄ…各部傾き算出回路、１３−ｅ…ｙ切片算出回路、１３−ｆ…Ｋｐ、Ｋｓ補正回路、１４…ヒストグラム検出回路、１５、１５−１、１５−２、１５−３…演算処理部。

Claims

入力映像信号の高輝度部分のダイナミックレンジを適応的に圧縮して出力する映像信号処理装置であって、
前記入力映像信号の輝度レベルのピーク値を検出するピーク値検出手段と、
出力輝度レベルの最大値を指定する最大出力輝度レベル設定手段と、
圧縮開始輝度レベルの最小値を指定する最小圧縮開始輝度レベル設定手段と、
ダイナミックレンジの圧縮率を指定する圧縮率設定手段と、
入力映像信号の輝度レベルのピーク値、前記出力輝度レベルの最大値及び前記ダイナミックレンジの圧縮率に基づいて、ダイナミックレンジの圧縮を開始する輝度レベルを算出する圧縮開始輝度レベル算出手段であって、算出された圧縮開始輝度レベルが、前記最小圧縮開始輝度レベル設定手段で指定される最小値よりも低い場合、前記圧縮開始輝度レベルを前記最小値に置換すると共に、置換後の条件を満たすように前記ダイナミックレンジの圧縮率を補正する圧縮開始輝度レベル算出手段と、
前記圧縮開始輝度レベルより大きい輝度レベルを有する映像信号を、補正後の圧縮率に基づいて圧縮する階調変換手段と
を有することを特徴とする映像信号処理装置。
請求項１に記載の映像信号処理装置は、
圧縮開始輝度レベル以上の高輝度部分について、入力映像信号の輝度分布に対するヒストグラムを検出するヒストグラム検出手段と、
ヒストグラム検出手段の検出結果に基づいて、出現頻度の高い輝度レベルに多くの出力ダイナミックレンジを割り当てる変換グラフ生成手段と
を更に有し、
前記階調変換手段は、前記変換グラフ生成手段で生成された変換グラフを用い、前記入力映像信号の高輝度部分を圧縮する
ことを特徴とする映像信号処理装置。