JP4062329B2

JP4062329B2 - 信号処理装置および方法

Info

Publication number: JP4062329B2
Application number: JP2005318069A
Authority: JP
Inventors: 哲二郎近藤; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-11-01
Filing date: 2005-11-01
Publication date: 2008-03-19
Anticipated expiration: 2016-02-29
Also published as: JP2006134327A

Description

この発明は、画像信号の輝度値をクラス分類適応処理を用いて補正するようにした輝度補正装置に記憶される最適な係数データを獲得するための信号処理装置および方法に関する。

通常、輝度補正装置において、輝度補正は、画面内の輝度値の積分値（全受光量に相当する）を求め、これに応じてアンプのゲインを変化させることで輝度補正を行っていた。従って、空間内で見るとどの画素にも一定のゲインが掛かっており、暗い部分のみを明るくしたり、明るい部分のみを暗くしたり、という細かい補正を行うことができなかった。

そこで、クラス分類適応処理を導入して輝度補正の改善を図ることを提案した（特願平７−３２８３５８号参照）。しかしながら、輝度補正のための係数学習において、種々の明るさの画像、種々の被写体の画像等を用いているため、膨大なデータ量を扱う必要があった。その結果、係数データの学習が非常に繁雑でしかも時間がかかるという問題があった。また、輝度補正においてノイズ等の影響でクラスの連続性が補償できないために、輝度補正に不連続が生じたりすることがあった。

従って、この発明の目的は、輝度分布のパターン分類に応じた輝度補正と、空間内のパターン分類および輝度値の平均値に応じた部分的な輝度補正とを行うことによりきめの細かい輝度補正を行うことができる輝度補正装置に記憶される最適な係数データを獲得するための信号処理装置および方法を提供することにある。

上述した課題を達成するために、この発明は、第１の入力画像信号を輝度補正された第２の画像信号に変換する信号処理装置において、
１フィールドまたは１フレームの輝度値の平均値と標準偏差に基づき第１のクラス分類情報を生成する第１のクラス分類情報生成手段と、
入力画像信号の注目画素周辺の適当な領域内の複数の画素の輝度値の平均値に基づき、領域毎の第２のクラス分類情報を生成する第２のクラス分類情報生成手段と、
第１及び第２のクラス分類情報を縮退し、縮退したクラス分類情報を生成する縮退手段と、
予め輝度値に基づいて学習された輝度補正をするための係数をクラス毎に記憶する記憶手段と、
入力画像信号の注目画素周辺の複数の画素を抽出する画素抽出手段と、
抽出された画素と、縮退したクラス分類情報に基づき記憶手段から読み出された係数との積和演算に基づき輝度補正された第２の画像信号に変換する予測演算手段と
を備えることを特徴とする信号処理装置である。

また、この発明は、第１の入力画像信号を輝度補正された第２の画像信号に変換する信号処理方法において、
１フィールドまたは１フレームの輝度値の平均値と標準偏差に基づき第１のクラス分類情報を生成する第１のクラス分類情報生成ステップと、
入力画像信号の注目画素周辺の適当な領域内の複数の画素の輝度値の平均値に基づき、領域毎の第２のクラス分類情報を生成する第２のクラス分類情報生成ステップと、
第１及び第２のクラス分類情報を縮退し、縮退したクラス分類情報を生成する縮退ステップと、
予め輝度値に基づいて学習された輝度補正をするための係数を記憶手段にクラス毎に記憶する記憶ステップと、
入力画像信号の注目画素周辺の複数の画素を抽出する画素抽出ステップと、
抽出された画素と、縮退したクラス分類情報に基づき記憶手段から読み出された係数との積和演算に基づき輝度補正された第２の画像信号に変換する予測演算ステップと
を備えることを特徴とする信号処理方法である。

この発明に依れば、輝度分布のパターン分類から全体の輝度補正を行う効果と、空間内のパターン分類および輝度値の平均値から部分的な輝度補正を行う効果を持ち合わせており、よりきめの細かい輝度補正を行うことが可能となる。

さらに、この発明に依れば、係数データの学習において、簡単でしかも効率よく学習を行うことができる。また、補正対象となる画像信号に対してフィルタ処理を施した後に学習を行うことで、輝度補正時に輝度補正のみでなく、解像度を上げることも可能となる。

以下、この発明の一実施例について図面を参照して説明する。この発明の理解を容易とするため、先に本願発明者の提案にかかる輝度補正装置のいくつかの例について説明する。この発明が適用できる輝度補正装置の第１の例を図１に示す。１で示す入力端子から供給される画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。このＡ／Ｄ変換器２では、例えば１３．５ＭHzのクロックでサンプリングが行われた場合、画像のサイズは、１フレームあたり、横７２０画素×縦４８０ライン程度となる。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から平均値／標準偏差回路３および遅延回路５へ供給される。

平均値／標準偏差回路３では、後述するように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が求められる。平均値／標準偏差回路３において、輝度値毎の度数分布を求めるためのテーブルを持ち、１フィールド期間または１フレーム期間に乗算した度数分布から、図２に示すように輝度の平均値が算出されると共に、標準偏差も算出される。また、式（１）には、輝度の平均値を算出する計算式を示し、式（２）には、標準偏差を算出する計算式を示す。

平均値＝Σ（輝度値×度数）／全度数（１）
標準偏差＝√（Σ（（輝度値−平均値）²×度数）／全度数）（２）
ただし、√（）は、（）内の演算結果を平方根とする。

量子化回路４では、算出された平均値および標準偏差がそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生される。このｎビットのコードが量子化回路４から縮退ＲＯＭ８へ供給される。さらに、このｎビットのコードは、いわゆる輝度分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうか、また、輝度分布が平坦か急峻かを判定することができる。

一方、遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および遅延回路９へ供給される。ブロック化回路６では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、平均化回路７へ供給される。平均化回路７では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。

このように、ブロック化された各画素の輝度の平均値が算出され、すなわち輝度レベルをクラス分類の１つとすることで、レベル方向での補正の仕方に変化を持たせることができる。例えば、明るい部分や暗い部分のみを補正したり、γ特性を考慮した補正を行うことが可能となる。また、輝度レベルの平均化による作用は、輝度補正が過敏に利くのを防止する役割も果たす。

以上の説明で、２種類のクラス分類コードが生成されたが、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで量子化回路４からのｎビットおよび平均化回路７からのｐビットは、縮退ＲＯＭ８へ供給され、縮退ＲＯＭ８において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。

なお、縮退の方法について、ここでは詳細を述べないが、（ｎ＋ｐ）ビットで学習した全クラスに対応する係数組から、ベクトル量子化的手法として、係数間ノルムの小さいものをまとめて縮退させる方法などを使用するものとする。すなわち、２つの係数組の間で、対応する係数の距離（係数間ノルム）を求め、これに基づいて、係数の組をまとめる。

このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、係数ＲＯＭ１１₁〜１１_Nへ供給される。係数ＲＯＭ１１₁〜１１_Nでは、供給されたクラスコードでアドレッシングされ、係数データが読み出される。読み出された係数データは、それぞれ乗算器１２₁〜１２_Nへ供給される。

遅延合わせが行われる遅延回路９の出力がブロック化回路１０へ供給され、そのブロック化回路１０では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、乗算器１２₁〜１２_Nへ供給される。乗算器１２₁〜１２_Nでは、係数ＲＯＭ１１₁〜１１_Nからの係数データと、ブロック化された各画素値が乗算され、その乗算出力は、加算器１３へ供給される。加算器１３では、乗算器１２₁〜１２_Nからの乗算出力が加算される。

すなわち、乗算器１２₁〜１２_Nおよび加算器１３によって、積和演算することで、輝度補正値の予測が行われる。この予測値は、Ｄ／Ａ変換回路１４において、Ｄ／Ａ変換され、補正後の輝度値Ｙ'として出力端子１５から取り出される。

ここで、平均値／標準偏差回路３の一例を図３に示し説明する。入力端子２１から輝度値が供給される。供給された輝度値は、輝度度数分布テーブル２２へ供給され、輝度度数分布テーブル２２において、例えば１フィールドまたは１フレーム内の輝度レベルの度数分布のテーブルが生成される。生成されたテーブルに基づいて、平均値算出回路２３では、平均値が式（１）により算出され、算出された平均値は、標準偏差算出回路２４へ供給されると共に、出力端子２５から取り出される。標準偏差算出回路２４では、度数分布のテーブルと平均値から標準偏差が式（２）により算出され、算出された標準偏差は、出力端子２６から取り出される。取り出された標準偏差が小さいときは、度数分布の幅は狭く、標準偏差が大きいときは、度数分布の幅は広くなる。

次に、この発明が適用できる輝度補正装置の第２の例を図４に示す。入力端子１から供給される画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から平均値／標準偏差回路３および遅延回路５へ供給される。平均値／標準偏差回路３では、供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が式（１）および式（２）を用いて求められる。求められた平均値および標準偏差は、平均値／標準偏差回路３から量子化回路４へ供給される。量子化回路４では、算出された平均値および標準偏差がそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生される。このｎビットのコードが量子化回路４から縮退ＲＯＭ８へ供給される。

一方、遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および３１、さらに遅延回路９へ供給される。ブロック化回路３１では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路３２へ供給される。ＡＤＲＣ回路３２では、後述するようにブロック化された画素から最大値および最小値が選択され、各画素が再量子化されｍビットのコードが発生され、縮退ＲＯＭ８へ供給される。このコードは、いわゆる空間の輝度の変化の様子をパターン化したものである。このコードによるクラス分類は、輝度補正そのものより、Ｓ／Ｎ比の改善、解像度の改善等に効果をもたらす。

ブロック化回路６において、補正しようとする注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。このブロック化回路６において実行されるブロック化と、ブロック化回路３１において実行されるブロック化とは、異なっても良い。すなわち、ブロック化回路３１において選択される画素と、ブロック化回路６において選択される画素とは異なっても良い。ブロック化された画素は、ブロック化回路６から平均化回路７へ供給される。平均化回路７では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。

以上の説明で、３種類のクラス分類コードが生成されたが、上述したように、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで量子化回路４からのｎビット、ＡＤＲＣ回路３２からのｍビットおよび平均化回路７からのｐビットは、縮退ＲＯＭ８へ供給され、縮退ＲＯＭ８において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。

以後、上述した図１に示される輝度補正装置と同様に、クラスコードに対応した係数データが係数ＲＯＭ１１₁〜１１_Nから読み出される。読み出された係数データは、乗算器１２₁〜１２_Nおよび加算器１３によって、ブロック化された各画素値との積和演算がなされ、輝度補正値の予測が行われる。この予測値は、Ｄ／Ａ変換回路１４において、Ｄ／Ａ変換され、補正後の輝度値Ｙ'として、出力端子１５から取り出される。

ここで、ＡＤＲＣ回路３２の構成の一例を図５に示し説明する。入力端子４１からブロック化されたデータが供給される。供給されたデータは、最大値検出回路４２、最小値検出回路４３および遅延回路４５へ供給される。最大値検出回路４２において、ブロック内の画素値の最大となる値が検出され、最小値検出回路４３において、ブロック内の画素値の最小となる値が検出される。減算器４４では、最大値から最小値が減算され、そのブロックのダイナミックレンジＤＲが算出される。算出されたダイナミックレンジＤＲは、適応再量子化回路４７へ供給される。

遅延回路４５では、最大値検出回路４２および最小値検出回路４３がそれぞれ検出にかかる時間遅延が行われ、１画素ずつ出力される。減算器４６では、ブロック化された各画素から最小値が減算され、その減算値は、適応再量子化回路４７へ供給される。適応再量子化回路４７では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値の量子化を画素毎に行う。並列化回路４８では、量子化された画素がブロック単位で並列化され、出力端子４９からコード化データとして出力される。

次に、この発明が適用できる輝度補正装置の第３の例を図６に示す。入力端子１からの画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から変換ＲＯＭ３４および遅延回路５へ供給される。変換ＲＯＭ３４では、供給された輝度値と領域の対応付けが行われる。具体的には、８ビット（０〜２５５）からなる輝度値が入力され、この輝度値をある複数の領域、例えばｓ個の領域に分ける働きが変換ＲＯＭ３４では行われる。また、この変換ＲＯＭ３４によって分けられた複数の領域毎に、領域別輝度分布回路３５では、例えば１フィールドまたは１フレーム内の度数の積算が行われる。その積算値は、ＡＤＲＣ回路３６へ供給される。ＡＤＲＣ回路３６では、上述したように領域毎に、例えばａビットの量子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生する。このｎビットのコードは、ＡＤＲＣ回路３６から縮退ＲＯＭ８へ供給される。

ここで、変換ＲＯＭ３４、領域別輝度分布回路３５およびＡＤＲＣ回路３６の動作を図７を用いて説明する。図７Ａに示すように、例えば１フィールドまたは１フレーム内の輝度値の度数分布を計数しようとする場合、本来ならば２５６レベル毎の度数分布を計数する。しかしながら、図７Ｂに示すように、輝度レベルを、例えば適当なしきい値でもってｓ個の領域に分割し、その領域番号と入力輝度値を対応付けるＲＯＭを挿入することで任意の領域分けを行う。この領域分けは、単純に均等分割するか、不均等分割するか、間引くかあるいは領域のオーバーラップを認めるか等、種々のバリエーションを試すことができる。

図７Ｃは、ＡＤＲＣ回路３６が１ビットのＡＤＲＣを行い、このＡＤＲＣ回路３６が６ビットのコードを出力する一例である。このコードは、いわゆる輝度の度数分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうかを判定することができる。以後、上述の図４と同様にＡＤＲＣ回路３２からのｍビットおよび平均値回路７からのｐビットが縮退ＲＯＭ８に供給される。

以上の説明のように、ＡＤＲＣ回路３６からのｎビット、ＡＤＲＣ回路３２からのｍビットおよび平均値回路７からのｐビットが発生する。この３種類のクラス分類コードが生成されたが、上述したように、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで縮退ＲＯＭ８において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。

上述した図１の輝度補正装置と同様に、クラスコードに対応した係数データが係数ＲＯＭ１１₁〜１１_Nから読み出される。読み出された係数データは、乗算器１２₁〜１２_Nおよび加算器１３によって、ブロック化された各画素値との積和演算がなされ、輝度補正値の予測が行われる。この予測値は、Ｄ／Ａ変換回路１４において、Ｄ／Ａ変換され、補正後の輝度値Ｙ'として、出力端子１５から取り出される。

次に、図１に示す輝度補正装置の第１の例に適用される係数データの学習について図８を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、平均値／標準偏差算出回路３および遅延回路５へ出力される。平均値／標準偏差算出回路３では、上述したように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が式（１）および式（２）を用いて求められる。

量子化回路４では、算出された平均値および標準偏差に対してそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードを発生する。このｎビットのコードは、量子化回路４から縮退ＲＯＭ８へ供給される。遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および遅延回路９へ供給される。ブロック化回路６では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、平均化回路７へ供給される。平均化回路７では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。

縮退ＲＯＭ８では、上述するように、クラスを縮退させるために、（ｎ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路５３へ供給される。

遅延合わせが行われる遅延回路９の出力がブロック化回路１０へ供給され、そのブロック化回路１０では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、学習回路５３へ供給される。

そして、入力端子５１から教師用の画像信号の対応する画素の輝度信号Ｙが入力される。入力された教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、アナログ信号からディジタル信号へ変換され、学習回路５３に供給される。学習回路５３では、ｎタップの線形一時結合モデルを形成し、その各係数データを学習回路５３で算出する。算出された各係数データは、出力端子５４から取り出され、係数ＲＯＭへ格納される。また、学習回路５３は、後述する最小自乗法にてクラス毎に係数データを学習するものである。学習により得られた係数データは、出力端子５４を介して出力され、ＲＯＭなどの記憶媒体にクラス毎に格納される。また、学習回路５３は、以下に述べる最小自乗法にてクラス毎に係数データ学習するものである。

学習の方法として、多数の補正対象用の入力信号の画素の値と教師用の画像信号の画素の値との関係を求める最小自乗法を採用した。まず、上述した値の間に線形１次結合の関係があると仮定し、以下に線形一次結合モデルを示す。

線形一次結合モデル：（観測方程式）
ＸＷ＝Ｙ（３）

最小自乗法による解法：（残差方程式）

式（５）から、各ｗ_iの最確値を見いだすには、

を最小にする条件、すなわち

なる、Ｎ個の条件を入れてこれを満足するｗ₁、ｗ₂、・・・、ｗ_Nを見いだせばよい。式（５）より、

となり、式（６）条件をｉ＝１，２，・・・，Ｎについて立てればそれぞれ、

が得られる。ここで、式（５）および式（８）から次式の正規方程式が得られる。

これは、ちょうど未知数の数Ｎ個だけある連立方程式であるから、これより最確値たる各ｗ_iを求めることができる。

正確には、式（９）でｗ_iにかかる

のマトリクスが正則であれば解くことができる。（ただし、ｋ＝１，２，・・・，Ｎ、ｌ＝１，２，・・・，Ｎ）実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解くことになる。

次に、最小自乗法の演算を行うハードウェアのブロック図を図９に示す。図８の学習のブロック図において、補正対象の画素を中心とするブロックの画素値ｘ₁〜ｘ_Nと、その画素に対応する教師用の画素値δｙが入力されると共に、クラスコード（インデックス）が入力される。最小自乗法の回路は、大きく分けて正規方程式生成回路６１とＣＰＵ６２からなり、その正規方程式生成回路６１は、乗算器アレイ６３、加算メモリ６４およびデコード部６５からなる。ＣＰＵ６２は、係数データを求めるため、例えば掃き出し法の演算を行うＣＰＵからなる。乗算器アレイ６３には、注目画素位置に対して１組のメモリ（またはレジスタ）が存在し、加算メモリ６４には、クラスの数だけ組のメモリ（またはレジスタ）が存在する。また、デコード部６５では、供給されるクラスコード（インデックス）がデコードされる。

ここで、乗算器アレイ６３について、図１０を用いて説明する。補正対象の画素を中心としてブロックの画素値と対応する教師用の画素値δｙは、正規方程式回路６１の乗算器アレイ６３において、図１０に示すように各要素どうしの乗算が行われ、その結果が加算メモリ６４へ供給される。

そして、加算メモリ６４は、図１１に示すように加算器アレイ７１およびメモリ（またはレジスタ）アレイ７２₁〜７２_Nから構成される。加算器アレイ７１には、乗算器アレイ６３からの結果とメモリ（またはレジスタ）アレイ７２₁〜７２_Nからの出力が供給される。その加算結果は、加算器アレイ７１からメモリ（またはレジスタ）アレイ７２₁〜７２_Nに出力される。このとき、どのメモリ（またはレジスタ）アレイ７２₁〜７２_Nが選択されるかは、デコード部６５に供給されたクラスコード（インデックス）がデコードされることで一意に決定される。つまり、インデックスによって決定されるクラス毎にメモリ（またはレジスタ）アレイ７２が選択される。この選択されたメモリ（またはレジスタ）アレイ７２には、積和演算の結果が更新され、記憶される。

なお、各々のアレイの位置は、正規方程式（９）のｗ_iにかかる

の位置に対応する。正規方程式（９）を見てわかるように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。

以上のようにして、ある一定期間の間にクラス毎に積和演算が行われて画素位置毎のさらにクラス毎の正規方程式が生成される。クラス毎の正規方程式の各項の結果は、それぞれのクラスに対応するメモリ（またはレジスタ）アレイに記憶されており、次にそれらのクラス毎の正規方程式の各項が掃き出し法の計算回路に供給される。この計算はＣＰＵ６２によって行われる。計算された係数データの組は、係数ＲＯＭで構成される係数テーブルに書き込まれて使用される。

次に、図４に示す輝度補正装置の第２の例に適用される係数データの学習について図１２を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、平均値／標準偏差算出回路３および遅延回路５へ出力される。平均値／標準偏差算出回路３では、上述したように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が式（１）および式（２）を用いて求められる。

量子化回路４では、算出された平均値および標準偏差に対してそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードを発生する。このｎビットのコードは、量子化回路４から縮退ＲＯＭ８へ供給される。遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および３１、さらに遅延回路５へ供給される。ブロック化回路３１では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路３２へ供給される。ＡＤＲＣ回路３２では、ブロック化された画素からｍビットのコードが発生され、縮退ＲＯＭ８へ供給される。

ブロック化回路６では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。上述したように、ブロック化回路３１とブロック化回路６とのブロック化とは異なっても良い。平均化回路７では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。

縮退ＲＯＭ８では、上述するように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路５３へ供給される。

以後、上述した図８に示される輝度補正装置の学習回路と同様に、入力端子５１からの教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換され、学習回路５３に供給される。学習回路５３では、縮退ＲＯＭ８からのクラスコード、ブロック化回路１０からの注目画素周辺の複数の画素およびＡ／Ｄ変換回路５２からの教師用の輝度信号Ｙから上述した最小自乗法にて、クラス毎の係数データが学習される。学習により獲得された係数データは、出力端子５４を介して、ＲＯＭなどの記憶媒体にクラス毎に格納される。

次に、図６に示す輝度補正装置の第３の例に適用される係数データの学習について図１３を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、変換ＲＯＭ３４および遅延回路５へ出力される。変換ＲＯＭ３４では、上述したように供給された輝度値がある複数の領域、例えばｓ個の領域に分けられる。そして、領域別輝度分布回路３５では、分けられたｓ個の領域毎に、例えば１フィールドまたは１フレーム内の度数の乗算が行われる。ＡＤＲＣ回路３６では、例えばａビットの量子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生する。このｎビットのコードは、ＡＤＲＣ回路３６から縮退ＲＯＭ８へ供給される。

縮退ＲＯＭ８では、ＡＤＲＣ回路３６からのｎビット、さらに上述の図１２と同様にＡＤＲＣ回路３２からのｍビットおよび平均化回路７からのｐビットが供給され、上述したように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路５３へ供給される。

以後、上述した図８および図１２に示される輝度補正装置の学習回路と同様に、入力端子５１からの教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換され、学習回路５３に供給される。学習回路５３では、縮退ＲＯＭ８からのクラスコード、ブロック化回路１０からの注目画素周辺の複数の画素およびＡ／Ｄ変換回路５２からの教師用の輝度信号Ｙから上述した最小自乗法にて、クラス毎の係数データが学習される。学習により獲得された係数データは、出力端子５４を介して、ＲＯＭなどの記憶媒体にクラス毎に格納される。

そして、この発明は、上述した学習時の処理において、最適な教師用の画像信号と、この教師用の画像信号に対応する補正対象入力信号の画素の値とを用いて最適な係数データを獲得するものである。この学習方法の第１の実施例をより詳細に説明すると、図１４に示すように被写体８１にあてる照明を、暗から明（または、明から暗）へ手動または自動で連続的に変化させる。具体的には、学習回路の制御に用いられているＣＵＰ８２によって、電子ボリューム８３をコントロールすることにより、ライト８４が制御される。このように制御された照明により得られた画像信号がカメラ８５によって、撮影される。

例えば、暗から明へ自動で連続的に照明を変化させ、あるカットで６０フレーム程度の撮影を行った場合、図１５に示すように、撮影画像の輝度値が最適であると思われる中央付近のフレーム、すなわち６０フレームのほぼ中ほどのフレームを教師用の画像信号として用いる。この教師用の画像信号は、学習対象および補正対象として不感帯を設定する。この最適であると思われるフレームに対して、始めの方のフレームは、ライトレベルが低いため、輝度値が最適と思われるフレームより暗く、後の方のフレームは、ライトレベルが高いため、輝度値が最適と思われるフレームより明るくなっている。この最適と思われるフレーム以外の画像信号を補正対象の画像信号とし、上述した学習回路５３により最適な係数データを獲得することができる。

また、図１６を参照して、この発明による学習方法の第２の実施例を説明する。輝度値が最適であると思われる中央付近のフレームの第１の教師用の画像信号と補正対象の画像信号として注目されるフレームとの間に位置するフレームを第２の教師用の画像信号として設定する。そして、第１の教師用の画像信号は、輝度補正を施す必要がないため、第１の教師用の画像信号を中心として所定幅の不感帯を設定する。この不感帯とは、上述したように、学習対象および補正対象としない画像信号である。しかしながら、第２の教師用の画像信号は、輝度補正が必要な画像信号であるので、不感帯を設定しない。

そして、補正対象の画像信号と第２の教師用の画像信号を使用して上述したように学習を行って係数データが獲得される。この獲得された係数データを用いて輝度補正を行い、補正対象の輝度値から第２教師用の画像信号へ補正され、さらに第２教師用の画像信号から第１教師用の画像信号へ補正される。こうして、第１の実施例により獲得された係数データを用いて補正された画像信号と、第２の実施例により獲得された係数データを用いて補正された画像信号とを比較すると、第１の実施例では、学習時の画像信号間の輝度値のゲインが大きいため、ノイズ等の影響によって生じる明るさのふらつきが第２の実施例では、学習時の画像信号間の輝度値のゲインが過大とならないので抑えることができる。

次に、係数ＲＯＭに記憶される係数データを生成する学習回路の他の実施例を図１７に示す。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、ＬＰＦ（ローパスフィルタ）５６へ供給される。ＬＰＦ５６では、ディジタル化された画像信号に対してフィルタ処理が施される。ＬＰＦ５６の出力信号は、平均値／標準偏差算出回路３および遅延回路５へ出力される。このように、Ａ／Ｄ変換回路２の出力信号に対してフィルタ処理を施して、学習対象の画像信号の解像度を教師用の画像信号の解像度に比して意識的に低くすることによって、輝度補正時に輝度補正のみでなく、解像度を上げることができる。

以後、上述した図１２に示される輝度補正装置の学習回路と同様に量子化回路４からのｎビット、ＡＤＲＣ回路３２からのｍビットおよび平均化回路７からのｐビットが縮退ＲＯＭ８へ供給される。縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコードが発生される。このクラスコードは、学習回路５３へ供給される。

そして、入力端子５１からの教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換され、学習回路５３に供給される。学習回路５３では、縮退ＲＯＭ８からのクラスコード、ブロック化回路１０からの注目画素周辺の複数の画素およびＡ／Ｄ変換回路５２からの教師用の輝度信号Ｙから上述した最小自乗法にて、クラス毎の係数データが学習される。学習により獲得された係数データは、出力端子５４を介して、ＲＯＭなどの記憶媒体にクラス毎に格納される。

この発明は、上述した以外のクラス分類適応処理を使用した構成に使用することも可能である。

この実施例では、すべてハードウェアで実現する方法を記載したが、ディジタル化されたデータを計算機に取り込むことでソフトウェアで計算しても良い。

また、この実施例では、教師用の画像信号に静止画を使用したが、プロのカメラマンが撮影した画像信号、または照明条件の良い画像信号を使用することも可能である。

この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

この発明が適用できる輝度補正装置の第１の例である。この発明が適用できる第１の例の説明に用いる一例の度数分布図である。この発明が適用された輝度補正装置に用いられている平均値／標準偏差回路の一例である。この発明が適用できる輝度補正装置の第２の例である。この発明が適用された輝度補正装置に用いられているＡＤＲＣ回路の一例である。この発明が適用できる輝度補正装置の第３の例である。この発明が適用された輝度補正装置に用いられている領域別輝度分布回路の一例である。この発明が適用できる輝度補正装置の第１の例に対応する学習回路の一例である。この発明に係る学習回路の一例を説明するためのブロック図である。この発明に係る乗算器アレイの説明に用いる一例の略線図である。この発明に係る加算メモリの説明に用いる一例の略線図である。この発明が適用できる輝度補正装置の第２の例に対応する学習回路の一例である。この発明が適用できる輝度補正装置の第３の例に対応する学習回路の一例である。この発明を説明するための略線図である。この発明の学習方法の第１の実施例を説明するための略線図である。この発明の学習方法の第２の実施例を説明するための略線図である。この発明の学習回路の他の実施例を示すブロック図である。

符号の説明

２、５２・・・Ａ／Ｄ変換回路
３・・・平均値／標準偏差回路
４・・・量子化回路
５、９・・・遅延回路
６、１０・・・ブロック化回路
７・・・平均化回路
８・・・縮退ＲＯＭ
５３・・・学習回路

Claims

第１の入力画像信号を輝度補正された第２の画像信号に変換する信号処理装置において、
１フィールドまたは１フレームの輝度値の平均値と標準偏差に基づき第１のクラス分類情報を生成する第１のクラス分類情報生成手段と、
上記入力画像信号の注目画素周辺の適当な領域内の複数の画素の輝度値の平均値に基づき、上記領域毎の第２のクラス分類情報を生成する第２のクラス分類情報生成手段と、
上記第１及び第２のクラス分類情報を縮退し、縮退したクラス分類情報を生成する縮退手段と、
予め輝度値に基づいて学習された輝度補正をするための係数をクラス毎に記憶する記憶手段と、
上記入力画像信号の注目画素周辺の複数の画素を抽出する画素抽出手段と、
上記抽出された画素と、上記縮退したクラス分類情報に基づき上記記憶手段から読み出された係数との積和演算に基づき輝度補正された上記第２の画像信号に変換する予測演算手段と
を備えることを特徴とする信号処理装置。
上記入力画像信号の注目画素周辺の適当な領域内の複数の画素の輝度値にＡＤＲＣを施すことにより求めた第３のクラス分類情報を生成する第３のクラス分類情報生成手段を更に有し、
上記縮退手段は、上記第１、第２及び第３のクラス分類情報を縮退し、縮退したクラス分類情報を生成する
ことを特徴とする請求項１に記載の信号処理装置。
第１の入力画像信号を輝度補正された第２の画像信号に変換する信号処理方法において、
１フィールドまたは１フレームの輝度値の平均値と標準偏差に基づき第１のクラス分類情報を生成する第１のクラス分類情報生成ステップと、
上記入力画像信号の注目画素周辺の適当な領域内の複数の画素の輝度値の平均値に基づき、上記領域毎の第２のクラス分類情報を生成する第２のクラス分類情報生成ステップと、
上記第１及び第２のクラス分類情報を縮退し、縮退したクラス分類情報を生成する縮退ステップと、
予め輝度値に基づいて学習された輝度補正をするための係数を記憶手段にクラス毎に記憶する記憶ステップと、
上記入力画像信号の注目画素周辺の複数の画素を抽出する画素抽出ステップと、
上記抽出された画素と、上記縮退したクラス分類情報に基づき上記記憶手段から読み出された係数との積和演算に基づき輝度補正された上記第２の画像信号に変換する予測演算ステップと
を備えることを特徴とする信号処理方法。