JP3758228B2

JP3758228B2 - クラス分類適応処理における学習方法および学習装置

Info

Publication number: JP3758228B2
Application number: JP06912696A
Authority: JP
Inventors: 哲二郎近藤; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-02-29
Filing date: 1996-02-29
Publication date: 2006-03-22
Anticipated expiration: 2016-02-29
Also published as: JPH09237345A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像信号の輝度値をクラス分類適応処理を用いて補正するようにした輝度補正装置に記憶される最適な係数データを獲得するためのクラス分類適応処理における学習方法および学習装置に関する。
【０００２】
【従来の技術】
通常、輝度補正装置において、輝度補正は、画面内の輝度値の積分値（全受光量に相当する）を求め、これに応じてアンプのゲインを変化させることで輝度補正を行っていた。従って、空間内で見るとどの画素にも一定のゲインが掛かっており、暗い部分のみを明るくしたり、明るい部分のみを暗くしたり、という細かい補正を行うことができなかった。
【０００３】
【発明が解決しようとする課題】
そこで、クラス分類適応処理を導入して輝度補正の改善を図ることを提案した（特願平７−３２８３５８号参照）。しかしながら、輝度補正のための係数学習において、種々の明るさの画像、種々の被写体の画像等を用いているため、膨大なデータ量を扱う必要があった。その結果、係数データの学習が非常に繁雑でしかも時間がかかるという問題があった。また、輝度補正においてノイズ等の影響でクラスの連続性が補償できないために、輝度補正に不連続が生じたりすることがあった。
【０００４】
従って、この発明の目的は、輝度分布のパターン分類に応じた輝度補正と、空間内のパターン分類および輝度値の平均値に応じた部分的な輝度補正とを行うことによりきめの細かい輝度補正を行うことができる輝度補正装置に記憶される最適な係数データを獲得するためのクラス分類適応処理における学習方法および学習装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、入力画像信号の複数の画素と演算されることによって、入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習方法において、入力画像信号を適当な領域に分割して領域内の輝度値に基づくパターンを用いて、領域毎の第１のクラス分類情報を生成し、入力画像信号の注目画素に関するクラス分類情報として、少なくとも、注目画素が含まれる領域の第１のクラス分類情報を縮退させた第２のクラス分類情報を生成し、照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択し、教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、教師用の画像信号と複数の補正対象用の画像信号とを第２のクラス分類情報に基づきクラス毎に分類し、クラス毎に輝度を補正するための係数を学習することを特徴とするクラス分類適応処理における学習方法である。
そして、請求項１１に記載の発明は、入力画像信号の複数の画素と演算されることによって、入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習装置において、入力画像信号を適当な領域に分割して領域内の輝度値に基づくパターンを用いて、領域毎の第１のクラス分類情報を生成する第１のクラス分類情報生成手段と、入力画像信号の注目画素に関するクラス分類情報として、少なくとも、注目画素が含まれる領域の第１のクラス分類情報を縮退させた第２のクラス分類情報を生成する第２のクラス分類情報生成手段と、照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択する選択手段と、教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、教師用の画像信号と複数の補正対象用の画像信号とを第２のクラス分類情報に基づきクラス毎に分類するクラス分類手段と、クラス毎に輝度を補正するための係数を学習する学習手段とを有することを特徴とするクラス分類適応処理における学習装置である。
【０００６】
１フィールドまた１フレーム内の輝度値の平均値および標準偏差に対して量子化を行うことにより、ｎビットのコードが発生し、注目画素の周辺の空間内の複数の画素、すなわちブロック化された画素に対してＡＤＲＣ符号化（適応的ダイナミックレンジ符号化）を行うことにより、ｍビットのコードが発生し、ブロック化された画素の輝度値の平均値をシフトすることによって、ｐ（＜８）ビットのコードが発生し、縮退ＲＯＭによって、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコードが発生し、このクラスコードに応じた係数データが読み出され、その係数データを用いた線形１次結合式によって、補正された輝度値が生成される。この係数データを獲得する学習において、教師用の画像信号として照明の強度のみ変化させた６０フレーム程度のフレームの中から最適と思われるフレームを使用し、この教師用の画像信号以外の画像信号を補正対象の画像信号とすることにより学習を行い、最適な係数データを獲得することができる。
【０００７】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。この発明の理解を容易とするため、先に本願発明者の提案にかかる輝度補正装置のいくつかの例について説明する。この発明が適用できる輝度補正装置の第１の例を図１に示す。１で示す入力端子から供給される画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。このＡ／Ｄ変換器２では、例えば１３．５ＭHzのクロックでサンプリングが行われた場合、画像のサイズは、１フレームあたり、横７２０画素×縦４８０ライン程度となる。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から平均値／標準偏差回路３および遅延回路５へ供給される。
【０００８】
平均値／標準偏差回路３では、後述するように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が求められる。平均値／標準偏差回路３において、輝度値毎の度数分布を求めるためのテーブルを持ち、１フィールド期間または１フレーム期間に乗算した度数分布から、図２に示すように輝度の平均値が算出されると共に、標準偏差も算出される。また、式（１）には、輝度の平均値を算出する計算式を示し、式（２）には、標準偏差を算出する計算式を示す。
【０００９】
平均値＝Σ（輝度値×度数）／全度数（１）
標準偏差＝√（Σ（（輝度値−平均値）² ×度数）／全度数）（２）
ただし、√（）は、（）内の演算結果を平方根とする。
【００１０】
量子化回路４では、算出された平均値および標準偏差がそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生される。このｎビットのコードが量子化回路４から縮退ＲＯＭ８へ供給される。さらに、このｎビットのコードは、いわゆる輝度分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうか、また、輝度分布が平坦か急峻かを判定することができる。
【００１１】
一方、遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および遅延回路９へ供給される。ブロック化回路６では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、平均化回路７へ供給される。平均化回路７では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。
【００１２】
このように、ブロック化された各画素の輝度の平均値が算出され、すなわち輝度レベルをクラス分類の１つとすることで、レベル方向での補正の仕方に変化を持たせることができる。例えば、明るい部分や暗い部分のみを補正したり、γ特性を考慮した補正を行うことが可能となる。また、輝度レベルの平均化による作用は、輝度補正が過敏に利くのを防止する役割も果たす。
【００１３】
以上の説明で、２種類のクラス分類コードが生成されたが、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで量子化回路４からのｎビットおよび平均化回路７からのｐビットは、縮退ＲＯＭ８へ供給され、縮退ＲＯＭ８において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。
【００１４】
なお、縮退の方法について、ここでは詳細を述べないが、（ｎ＋ｐ）ビットで学習した全クラスに対応する係数組から、ベクトル量子化的手法として、係数間ノルムの小さいものをまとめて縮退させる方法などを使用するものとする。すなわち、２つの係数組の間で、対応する係数の距離（係数間ノルム）を求め、これに基づいて、係数の組をまとめる。
【００１５】
このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、係数ＲＯＭ１１₁ 〜１１_Nへ供給される。係数ＲＯＭ１１₁ 〜１１_Nでは、供給されたクラスコードでアドレッシングされ、係数データが読み出される。読み出された係数データは、それぞれ乗算器１２₁ 〜１２_Nへ供給される。
【００１６】
遅延合わせが行われる遅延回路９の出力がブロック化回路１０へ供給され、そのブロック化回路１０では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、乗算器１１₁ 〜１１_Nへ供給される。乗算器１２₁ 〜１２_Nでは、係数ＲＯＭ１１₁ 〜１１_Nからの係数データと、ブロック化された各画素値が乗算され、その乗算出力は、加算器１３へ供給される。加算器１３では、乗算器１２₁ 〜１２_Nからの乗算出力が加算される。
【００１７】
すなわち、乗算器１２₁ 〜１２_Nおよび加算器１３によって、積和演算することで、輝度補正値の予測が行われる。この予測値は、Ｄ／Ａ変換回路１４において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として出力端子１５から取り出される。
【００１８】
ここで、平均値／標準偏差回路３の一例を図３に示し説明する。入力端子２１から輝度値が供給される。供給された輝度値は、輝度度数分布テーブル２２へ供給され、輝度度数分布テーブル２２において、例えば１フィールドまたは１フレーム内の輝度レベルの度数分布のテーブルが生成される。生成されたテーブルに基づいて、平均値算出回路２３では、平均値が式（１）により算出され、算出された平均値は、標準偏差算出回路２４へ供給されると共に、出力端子２５から取り出される。標準偏差算出回路２４では、度数分布のテーブルと平均値から標準偏差が式（２）により算出され、算出された標準偏差は、出力端子２６から取り出される。取り出された標準偏差が小さいときは、度数分布の幅は狭く、標準偏差が大きいときは、度数分布の幅は広くなる。
【００１９】
次に、この発明が適用できる輝度補正装置の第２の例を図４に示す。入力端子１から供給される画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から平均値／標準偏差回路３および遅延回路５へ供給される。平均値／標準偏差回路３では、供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が式（１）および式（２）を用いて求められる。求められた平均値および標準偏差は、平均値／標準偏差回路３から量子化回路４へ供給される。量子化回路４では、算出された平均値および標準偏差がそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードが発生される。このｎビットのコードが量子化回路４から縮退ＲＯＭ８へ供給される。
【００２０】
一方、遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および３１、さらに遅延回路９へ供給される。ブロック化回路３１では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路３２へ供給される。ＡＤＲＣ回路３２では、後述するようにブロック化された画素から最大値および最小値が選択され、各画素が再量子化されｍビットのコードが発生され、縮退ＲＯＭ８へ供給される。このコードは、いわゆる空間の輝度の変化の様子をパターン化したものである。このコードによるクラス分類は、輝度補正そのものより、Ｓ／Ｎ比の改善、解像度の改善等に効果をもたらす。
【００２１】
ブロック化回路６において、補正しようとする注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。このブロック化回路６において実行されるブロック化と、ブロック化回路３１において実行されるブロック化とは、異なっても良い。すなわち、ブロック化回路３１において選択される画素と、ブロック化回路６において選択される画素とは異なっても良い。ブロック化された画素は、ブロック化回路６から平均化回路７へ供給される。平均化回路７では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。
【００２２】
以上の説明で、３種類のクラス分類コードが生成されたが、上述したように、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで量子化回路４からのｎビット、ＡＤＲＣ回路３２からのｍビットおよび平均化回路７からのｐビットは、縮退ＲＯＭ８へ供給され、縮退ＲＯＭ８において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。
【００２３】
以後、上述した図１に示される輝度補正装置と同様に、クラスコードに対応した係数データが係数ＲＯＭ１１₁〜１１_Nから読み出される。読み出された係数データは、乗算器１２₁〜１２_Nおよび加算器１３によって、ブロック化された各画素値との積和演算がなされ、輝度補正値の予測が行われる。この予測値は、Ｄ／Ａ変換回路１４において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として、出力端子１５から取り出される。
【００２４】
ここで、ＡＤＲＣ回路３２の構成の一例を図５に示し説明する。入力端子４１からブロック化されたデータが供給される。供給されたデータは、最大値検出回路４２、最小値検出回路４３および遅延回路４５へ供給される。最大値検出回路４２において、ブロック内の画素値の最大となる値が検出され、最小値検出回路４３において、ブロック内の画素値の最小となる値が検出される。減算器４４では、最大値から最小値が減算され、そのブロックのダイナミックレンジＤＲが算出される。算出されたダイナミックレンジＤＲは、適応再量子化回路４７へ供給される。
【００２５】
遅延回路４５では、最大値検出回路４２および最小値検出回路４３がそれぞれ検出にかかる時間遅延が行われ、１画素ずつ出力される。減算器４６では、ブロック化された各画素から最小値が減算され、その減算値は、適応再量子化回路４７へ供給される。適応再量子化回路４７では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値の量子化を画素毎に行う。並列化回路４８では、量子化された画素がブロック単位で並列化され、出力端子４９からコード化データとして出力される。
【００２６】
次に、この発明が適用できる輝度補正装置の第３の例を図６に示す。入力端子１からの画像信号の内、輝度信号ＹがＡ／Ｄ変換器２によってアナログ信号からディジタル信号に変換される。ディジタル信号に変換された輝度信号は、Ａ／Ｄ変換器２から変換ＲＯＭ３４および遅延回路５へ供給される。変換ＲＯＭ３４では、供給された輝度値と領域の対応付けが行われる。具体的には、８ビット（０〜２５５）からなる輝度値が入力され、この輝度値をある複数の領域、例えばｓ個の領域に分ける働きが変換ＲＯＭ３４では行われる。また、この変換ＲＯＭ３４によって分けられた複数の領域毎に、領域別輝度分布回路３５では、例えば１フィールドまたは１フレーム内の度数の積算が行われる。その積算値は、ＡＤＲＣ回路３６へ供給される。ＡＤＲＣ回路３６では、上述したように領域毎に、例えばａビットの量子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生する。このｎビットのコードは、ＡＤＲＣ回路３６から縮退ＲＯＭ８へ供給される。
【００２７】
ここで、変換ＲＯＭ３４、領域別輝度分布回路３５およびＡＤＲＣ回路３６の動作を図７を用いて説明する。図７Ａに示すように、例えば１フィールドまたは１フレーム内の輝度値の度数分布を計数しようとする場合、本来ならば２５６レベル毎の度数分布を計数する。しかしながら、図７Ｂに示すように、輝度レベルを、例えば適当なしきい値でもってｓ個の領域に分割し、その領域番号と入力輝度値を対応付けるＲＯＭを挿入することで任意の領域分けを行う。この領域分けは、単純に均等分割するか、不均等分割するか、間引くかあるいは領域のオーバーラップを認めるか等、種々のバリエーションを試すことができる。
【００２８】
図７Ｃは、ＡＤＲＣ回路３６が１ビットのＡＤＲＣを行い、このＡＤＲＣ回路３６が６ビットのコードを出力する一例である。このコードは、いわゆる輝度の度数分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうかを判定することができる。以後、上述の図４と同様にＡＤＲＣ回路３２からのｍビットおよび平均値回路７からのｐビットが縮退ＲＯＭ８に供給される。
【００２９】
以上の説明のように、ＡＤＲＣ回路３６からのｎビット、ＡＤＲＣ回路３２からのｍビットおよび平均値回路７からのｐビットが発生する。この３種類のクラス分類コードが生成されたが、上述したように、これを単純に組み合わると分類数が膨大になり、後述する係数ＲＯＭの容量が膨大になる。そこで縮退ＲＯＭ８において、供給された各ビット数を縮退させる。具体的には、縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。
【００３０】
上述した図１の輝度補正装置と同様に、クラスコードに対応した係数データが係数ＲＯＭ１１₁〜１１_Nから読み出される。読み出された係数データは、乗算器１２₁〜１２_Nおよび加算器１３によって、ブロック化された各画素値との積和演算がなされ、輝度補正値の予測が行われる。この予測値は、Ｄ／Ａ変換回路１４において、Ｄ／Ａ変換され、補正後の輝度値Ｙ´として、出力端子１５から取り出される。
【００３１】
次に、図１に示す輝度補正装置の第１の例に適用される係数データの学習について図８を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、平均値／標準偏差算出回路３および遅延回路５へ出力される。平均値／標準偏差算出回路３では、上述したように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が式（１）および式（２）を用いて求められる。
【００３２】
量子化回路４では、算出された平均値および標準偏差に対してそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードを発生する。このｎビットのコードは、量子化回路４から縮退ＲＯＭ８へ供給される。遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および遅延回路９へ供給される。ブロック化回路６では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、平均化回路７へ供給される。平均化回路９では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。
【００３３】
縮退ＲＯＭ８では、上述するように、クラスを縮退させるために、（ｎ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路５３へ供給される。
【００３４】
遅延合わせが行われる遅延回路９の出力がブロック化回路１０へ供給され、そのブロック化回路１０では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、学習回路５３へ供給される。
【００３５】
そして、入力端子５１から教師用の画像信号の対応する画素の輝度信号Ｙが入力される。入力された教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、アナログ信号からディジタル信号へ変換され、学習回路５３に供給される。学習回路５３では、ｎタップの線形一時結合モデルを形成し、その各係数データを学習回路５３で算出する。算出された各係数データは、出力端子５４から取り出され、係数ＲＯＭへ格納される。また、学習回路５３は、後述する最小自乗法にてクラス毎に係数データを学習するものである。学習により得られた係数データは、出力端子５４を介して出力され、ＲＯＭなどの記憶媒体にクラス毎に格納される。また、学習回路５３は、以下に述べる最小自乗法にてクラス毎に係数データ学習するものである。
【００３６】
学習の方法として、多数の補正対象用の入力信号の画素の値と教師用の画像信号の画素の値との関係を求める最小自乗法を採用した。まず、上述した値の間に線形１次結合の関係があると仮定し、以下に線形一次結合モデルを示す。
【００３７】
線形一次結合モデル：（観測方程式）
ＸＷ＝Ｙ（３）
【数１】

【００３８】
最小自乗法による解法：（残差方程式）
【数２】

【００３９】
式（５）から、各ｗ_iの最確値を見いだすには、
【数３】

を最小にする条件、すなわち
【００４０】
【数４】

なる、Ｎ個の条件を入れてこれを満足するｗ₁ 、ｗ₂ 、・・・、ｗ_Nを見いだせばよい。式（５）より、
【００４１】
【数５】

となり、式（６）条件をｉ＝１，２，・・・，Ｎについて立てればそれぞれ、
【００４２】
【数６】

が得られる。ここで、式（５）および式（８）から次式の正規方程式が得られる。
【００４３】
【数７】

これは、ちょうど未知数の数Ｎ個だけある連立方程式であるから、これより最確値たる各ｗ_iを求めることができる。
【００４４】
正確には、式（９）でｗ_iにかかる
【数８】

のマトリクスが正則であれば解くことができる。（ただし、ｋ＝１，２，・・・，Ｎ、ｌ＝１，２，・・・，Ｎ）実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解くことになる。
【００４５】
次に、最小自乗法の演算を行うハードウェアのブロック図を図９に示す。図８の学習のブロック図において、補正対象の画素を中心とするブロックの画素値ｘ₁〜ｘ_Nと、その画素に対応する教師用の画素値δｙが入力されると共に、クラスコード（インデックス）が入力される。最小自乗法の回路は、大きく分けて正規方程式生成回路６１とＣＰＵ６２からなり、その正規方程式生成回路６１は、乗算器アレイ６３、加算メモリ６４およびデコード部６５からなる。ＣＰＵ６２は、係数データを求めるため、例えば掃き出し法の演算を行うＣＰＵからなる。乗算器アレイ６３には、注目画素位置に対して１組のメモリ（またはレジスタ）が存在し、加算メモリ６４には、クラスの数だけ組のメモリ（またはレジスタ）が存在する。また、デコード部６５では、供給されるクラスコード（インデックス）がデコードされる。
【００４６】
ここで、乗算器アレイ６３について、図１０を用いて説明する。補正対象の画素を中心としてブロックの画素値と対応する教師用の画素値δｙは、正規方程式回路６１の乗算器アレイ６３において、図１０に示すように各要素どうしの乗算が行われ、その結果が加算メモリ６４へ供給される。
【００４７】
そして、加算メモリ６４は、図１１に示すように加算器アレイ７１およびメモリ（またはレジスタ）アレイ７２₁ 〜７２_Nから構成される。加算器アレイ７１には、乗算器アレイ６３からの結果とメモリ（またはレジスタ）アレイ７２₁ 〜７２_Nからの出力が供給される。その加算結果は、加算器アレイ７１からメモリ（またはレジスタ）アレイ７２₁ 〜７２_Nに出力される。このとき、どのメモリ（またはレジスタ）アレイ７２₁ 〜７２_Nが選択されるかは、デコード部６５に供給されたクラスコード（インデックス）がデコードされることで一意に決定される。つまり、インデックスによって決定されるクラス毎にメモリ（またはレジスタ）アレイ７２が選択される。この選択されたメモリ（またはレジスタ）アレイ７２には、積和演算の結果が更新され、記憶される。
【００４８】
なお、各々のアレイの位置は、正規方程式（９）のｗ_iにかかる
【数９】

の位置に対応する。正規方程式（９）を見てわかるように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【００４９】
以上のようにして、ある一定期間の間にクラス毎に積和演算が行われて画素位置毎のさらにクラス毎の正規方程式が生成される。クラス毎の正規方程式の各項の結果は、それぞれのクラスに対応するメモリ（またはレジスタ）アレイに記憶されており、次にそれらのクラス毎の正規方程式の各項が掃き出し法の計算回路に供給される。この計算はＣＰＵ６２によって行われる。計算された係数データの組は、係数ＲＯＭで構成される係数テーブルに書き込まれて使用される。
【００５０】
次に、図４に示す輝度補正装置の第２の例に適用される係数データの学習について図１２を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、平均値／標準偏差算出回路３および遅延回路５へ出力される。平均値／標準偏差算出回路３では、上述したように供給された輝度値の例えば１フィールドまたは１フレーム当りの平均値および標準偏差が式（１）および式（２）を用いて求められる。
【００５１】
量子化回路４では、算出された平均値および標準偏差に対してそれぞれａビット、ｂビットで量子化されて、トータルｎビット（ｎ＝ａ＋ｂ）のコードを発生する。このｎビットのコードは、量子化回路４から縮退ＲＯＭ８へ供給される。遅延回路５では、ｎビットのコードが生成されるまでの時間（１フィールドまたは１フレーム＋α）だけ、遅延が行われ、その出力は、ブロック化回路６および３１、さらに遅延回路５へ供給される。ブロック化回路３１では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ＡＤＲＣ回路３２へ供給される。ＡＤＲＣ回路３２では、ブロック化された画素からｍビットのコードが発生され、縮退ＲＯＭ８へ供給される。
【００５２】
ブロック化回路６では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。上述したように、ブロック化回路３１とブロック化回路６とのブロック化とは異なっても良い。平均化回路７では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、ｐ（＜８）ビットに量子化され、縮退ＲＯＭ８へ供給される。
【００５３】
縮退ＲＯＭ８では、上述するように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路５３へ供給される。
【００５４】
以後、上述した図８に示される輝度補正装置の学習回路と同様に、入力端子５１からの教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換され、学習回路５３に供給される。学習回路５３では、縮退ＲＯＭ８からのクラスコード、ブロック化回路１０からの注目画素周辺の複数の画素およびＡ／Ｄ変換回路５２からの教師用の輝度信号Ｙから上述した最小自乗法にて、クラス毎の係数データが学習される。学習により獲得された係数データは、出力端子５４を介して、ＲＯＭなどの記憶媒体にクラス毎に格納される。
【００５５】
次に、図６に示す輝度補正装置の第３の例に適用される係数データの学習について図１３を用いて説明する。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、変換ＲＯＭ３４および遅延回路５へ出力される。変換ＲＯＭ３４では、上述したように供給された輝度値がある複数の領域、例えばｓ個の領域に分けられる。そして、領域別輝度分布回路３５では、分けられたｓ個の領域毎に、例えば１フィールドまたは１フレーム内の度数の乗算が行われる。ＡＤＲＣ回路３６では、例えばａビットの量子化が行われ、トータルｎビット（ｎ＝ｓ×ａ）のコードが発生する。このｎビットのコードは、ＡＤＲＣ回路３６から縮退ＲＯＭ８へ供給される。
【００５６】
縮退ＲＯＭ８では、ＡＤＲＣ回路３６からのｎビット、さらに上述の図１２と同様にＡＤＲＣ回路３２からのｍビットおよび平均化回路７からのｐビットが供給され、上述したように、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコード（インデックス）が発生される。このように、縮退ＲＯＭ８から最終的にｑビットのクラスコードが発生し、そのｑビットのクラスコードは、学習回路５３へ供給される。
【００５７】
以後、上述した図８および図１２に示される輝度補正装置の学習回路と同様に、入力端子５１からの教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換され、学習回路５３に供給される。学習回路５３では、縮退ＲＯＭ８からのクラスコード、ブロック化回路１０からの注目画素周辺の複数の画素およびＡ／Ｄ変換回路５２からの教師用の輝度信号Ｙから上述した最小自乗法にて、クラス毎の係数データが学習される。学習により獲得された係数データは、出力端子５４を介して、ＲＯＭなどの記憶媒体にクラス毎に格納される。
【００５８】
そして、この発明は、上述した学習時の処理において、最適な教師用の画像信号と、この教師用の画像信号に対応する補正対象入力信号の画素の値とを用いて最適な係数データを獲得するものである。この学習方法の第１の実施例をより詳細に説明すると、図１４に示すように被写体８１にあてる照明を、暗から明（または、明から暗）へ手動または自動で連続的に変化させる。具体的には、学習回路の制御に用いられているＣＵＰ８２によって、電子ボリューム８３をコントロールすることにより、ライト８４が制御される。このように制御された照明により得られた画像信号がカメラ８５によって、撮影される。
【００５９】
例えば、暗から明へ自動で連続的に照明を変化させ、あるカットで６０フレーム程度の撮影を行った場合、図１５に示すように、撮影画像の輝度値が最適であると思われる中央付近のフレーム、すなわち６０フレームのほぼ中ほどのフレームを教師用の画像信号として用いる。この教師用の画像信号は、学習対象および補正対象として不感帯を設定する。この最適であると思われるフレームに対して、始めの方のフレームは、ライトレベルが低いため、輝度値が最適と思われるフレームより暗く、後の方のフレームは、ライトレベルが高いため、輝度値が最適と思われるフレームより明るくなっている。この最適と思われるフレーム以外の画像信号を補正対象の画像信号とし、上述した学習回路５３により最適な係数データを獲得することができる。
【００６０】
また、図１６を参照して、この発明による学習方法の第２の実施例を説明する。輝度値が最適であると思われる中央付近のフレームの第１の教師用の画像信号と補正対象の画像信号として注目されるフレームとの間に位置するフレームを第２の教師用の画像信号として設定する。そして、第１の教師用の画像信号は、輝度補正を施す必要がないため、第１の教師用の画像信号を中心として所定幅の不感帯を設定する。この不感帯とは、上述したように、学習対象および補正対象としない画像信号である。しかしながら、第２の教師用の画像信号は、輝度補正が必要な画像信号であるので、不感帯を設定しない。
【００６１】
そして、補正対象の画像信号と第２の教師用の画像信号を使用して上述したように学習を行って係数データが獲得される。この獲得された係数データを用いて輝度補正を行い、補正対象の輝度値から第２教師用の画像信号へ補正され、さらに第２教師用の画像信号から第１教師用の画像信号へ補正される。こうして、第１の実施例により獲得された係数データを用いて補正された画像信号と、第２の実施例により獲得された係数データを用いて補正された画像信号とを比較すると、第１の実施例では、学習時の画像信号間の輝度値のゲインが大きいため、ノイズ等の影響によって生じる明るさのふらつきが第２の実施例では、学習時の画像信号間の輝度値のゲインが過大とならないので抑えることができる。
【００６２】
次に、係数ＲＯＭに記憶される係数データを生成する学習回路の他の実施例を図１７に示す。入力端子１から供給された輝度信号Ｙは、Ａ／Ｄ変換回路２へ供給され、Ａ／Ｄ変換回路２では、例えば１３．５ＭHzでサンプリングされ、ＬＰＦ（ローパスフィルタ）５６へ供給される。ＬＰＦ５６では、ディジタル化された画像信号に対してフィルタ処理が施される。ＬＰＦ５６の出力信号は、平均値／標準偏差算出回路３および遅延回路５へ出力される。このように、Ａ／Ｄ変換回路２の出力信号に対してフィルタ処理を施して、学習対象の画像信号の解像度を教師用の画像信号の解像度に比して意識的に低くすることによって、輝度補正時に輝度補正のみでなく、解像度を上げることができる。
【００６３】
以後、上述した図１２に示される輝度補正装置の学習回路と同様に量子化回路４からのｎビット、ＡＤＲＣ回路３２からのｍビットおよび平均化回路７からのｐビットが縮退ＲＯＭ８へ供給される。縮退ＲＯＭ８では、クラスを縮退させるために、（ｎ＋ｍ＋ｐ）ビットからｑビットに減少させたクラスコードが発生される。このクラスコードは、学習回路５３へ供給される。
【００６４】
そして、入力端子５１からの教師用の輝度信号Ｙは、Ａ／Ｄ変換回路５２において、Ａ／Ｄ変換され、学習回路５３に供給される。学習回路５３では、縮退ＲＯＭ８からのクラスコード、ブロック化回路１０からの注目画素周辺の複数の画素およびＡ／Ｄ変換回路５２からの教師用の輝度信号Ｙから上述した最小自乗法にて、クラス毎の係数データが学習される。学習により獲得された係数データは、出力端子５４を介して、ＲＯＭなどの記憶媒体にクラス毎に格納される。
【００６５】
この発明は、上述した以外のクラス分類適応処理を使用した構成に使用することも可能である。
【００６６】
この実施例では、すべてハードウェアで実現する方法を記載したが、ディジタル化されたデータを計算機に取り込むことでソフトウェアで計算しても良い。
【００６７】
また、この実施例では、教師用の画像信号に静止画を使用したが、プロのカメラマンが撮影した画像信号、または照明条件の良い画像信号を使用することも可能である。
【００６８】
【発明の効果】
この発明に依れば、輝度分布のパターン分類から全体の輝度補正を行う効果と、空間内のパターン分類および輝度値の平均値から部分的な輝度補正を行う効果を待ち合わせており、よりきめの細かい輝度補正を行うことが可能となる。
【００６９】
さらに、この発明に依れば、係数データの学習において、簡単でしかも効率よく学習を行うことができる。また、補正対象となる画像信号に対してフィルタ処理を施した後に学習を行うことで、輝度補正時に輝度補正のみでなく、解像度を上げることも可能となる。
【図面の簡単な説明】
【図１】この発明が適用できる輝度補正装置の第１の例である。
【図２】この発明が適用できる第１の例の説明に用いる一例の度数分布図である。
【図３】この発明が適用された輝度補正装置に用いられている平均値／標準偏差回路の一例である。
【図４】この発明が適用できる輝度補正装置の第２の例である。
【図５】この発明が適用された輝度補正装置に用いられているＡＤＲＣ回路の一例である。
【図６】この発明が適用できる輝度補正装置の第３の例である。
【図７】この発明が適用された輝度補正装置に用いられている領域別輝度分布回路の一例である。
【図８】この発明が適用できる輝度補正装置の第１の例に対応する学習回路の一例である。
【図９】この発明に係る学習回路の一例を説明するためのブロック図である。
【図１０】この発明に係る乗算器アレイの説明に用いる一例の略線図である。
【図１１】この発明に係る加算メモリの説明に用いる一例の略線図である。
【図１２】この発明が適用できる輝度補正装置の第２の例に対応する学習回路の一例である。
【図１３】この発明が適用できる輝度補正装置の第３の例に対応する学習回路の一例である。
【図１４】この発明を説明するための略線図である。
【図１５】この発明の学習方法の第１の実施例を説明するための略線図である。
【図１６】この発明の学習方法の第２の実施例を説明するための略線図である。
【図１７】この発明の学習回路の他の実施例を示すブロック図である。
【符号の説明】
２、５２・・・Ａ／Ｄ変換回路、３・・・平均値／標準偏差回路、４・・・量子化回路、５、９・・・遅延回路、６、１０・・・ブロック化回路、７・・・平均化回路、８・・・縮退ＲＯＭ、５３・・・学習回路

Claims

入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習方法において、
上記入力画像信号を適当な領域に分割して上記領域内の輝度値に基づくパターンを用いて、上記領域毎の第１のクラス分類情報を生成し、
上記入力画像信号の注目画素に関するクラス分類情報として、少なくとも、上記注目画素が含まれる上記領域の上記第１のクラス分類情報を縮退させた第２のクラス分類情報を生成し、
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、
上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択し、
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、
上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第２のクラス分類情報に基づきクラス毎に分類し、
上記クラス毎に輝度を補正するための係数を学習することを特徴とするクラス分類適応処理における学習方法。
入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習方法において、
上記入力画像信号を適当な領域に分割して上記領域内の輝度値を平均化して、上記領域毎の第１のクラス分類情報を生成し、
上記入力画像信号の注目画素に関するクラス分類情報として、少なくとも、上記注目画素が含まれる上記領域の上記第１のクラス分類情報を縮退させた第２のクラス分類情報を生成し、
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、
上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択し、
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、
上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第２のクラス分類情報に基づきクラス毎に分類し、
上記クラス毎に輝度を補正するための係数を学習することを特徴とするクラス分類適応処理における学習方法。
入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習方法において、
上記入力画像信号を適当な領域に分割して上記領域内の輝度値に基づくパターンを用いて、上記領域毎の第１のクラス分類情報を生成し、
上記入力画像信号の輝度分布をパターン化して、第２のクラス分類情報を生成し、
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、
上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択し、
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、
上記教師用の画像信号と上記複数の補正対象用の画像信号とを少なくとも上記第１および第２のクラス分類情報に基づきクラス毎に分類し、
上記クラス毎に輝度を補正するための係数を学習することを特徴とするクラス分類適応処理における学習方法。
請求項１、請求項２または請求項３に記載のクラス分類適応処理における学習方法において、
上記教師用の画像信号と補正対象用の画像信号との間に位置する画像信号を第２の教師用の画像信号として設定することを特徴とするクラス分類適応処理における学習方法。
請求項１、請求項２または請求項３に記載のクラス分類適応処理における学習方法において、
上記教師用の画像信号に近い輝度値の画像信号を学習するための対象並びに輝度を補正するための対象から除外することを特徴とするクラス分類適応処理における学習方法。
請求項１、請求項２または請求項３に記載のクラス分類適応処理における学習方法において、
上記入力画像信号に対して低域通過フィルタを施した信号を補正対象用の画像信号として、学習を行うことを特徴とするクラス分類適応処理における学習方法。
上記領域は、上記注目画素の周辺画素を含む複数個の画素を第１のブロックにブロック化したものであり、
上記第１のクラス分類情報は、上記第１のブロック毎に空間の輝度変化のパターンで分類を行うことで生成され、
さらに、上記注目画素の周辺画素を含む複数個の画素を第２のブロックにブロック化し、上記ブロック内の輝度値の平均値に基づき分類を行うことで、上記注目画素に関する第３のクラス分類情報を生成し、
上記第１及び第３のクラス分類情報を縮退させて、上記第２のクラス分類情報を生成することを特徴とする請求項１に記載のクラス分類適応処理における学習方法。
さらに、上記入力画像信号の輝度分布をパターン化して、上記領域毎の第４のクラス分類情報を生成し、
上記第１及び第４のクラス分類情報を縮退させて、上記第２のクラス分類情報を生成することを特徴とする請求項１又は請求項２に記載のクラス分類適応処理における学習方法。
さらに、上記注目画素の周辺画素を含む複数個の画素にブロック化し、上記ブロック内の輝度値の平均値に基づき分類を行うことで、第３のクラス分類情報を生成し、
上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第１、第２および第３のクラス分類情報に基づきクラス毎に分類することを特徴とする請求項３に記載の学習方法。
上記輝度分布のパターンとは、上記入力画像信号の１フィールドまたは１フレームの輝度に基づき得られることを特徴とする請求項３または請求項８に記載の学習方法。
入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習装置において、
上記入力画像信号を適当な領域に分割して上記領域内の輝度値に基づくパターンを用いて、上記領域毎の第１のクラス分類情報を生成する第１のクラス分類情報生成手段と、
上記入力画像信号の注目画素に関するクラス分類情報として、少なくとも、上記注目画素が含まれる上記領域の上記第１のクラス分類情報を縮退させた第２のクラス分類情報を生成する第２のクラス分類情報生成手段と、
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択する選択手段と、
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第２のクラス分類情報に基づきクラス毎に分類するクラス分類手段と、
上記クラス毎に輝度を補正するための係数を学習する学習手段とを有することを特徴とするクラス分類適応処理における学習装置。
入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習装置において、
上記入力画像信号を適当な領域に分割して上記領域内の輝度値を平均化して、上記領域毎の第１のクラス分類情報を生成する第１のクラス分類情報生成手段と、
上記入力画像信号の注目画素に関するクラス分類情報として、少なくとも、上記注目画素が含まれる上記領域の上記第１のクラス分類情報を縮退させた第２のクラス分類情報を生成する第２のクラス分類情報生成手段と、
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択する選択手段と、
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第２のクラス分類情報に基づきクラス毎に分類するクラス分類手段と、
上記クラス毎に輝度を補正するための係数を学習する学習手段とを有することを特徴とするクラス分類適応処理における学習装置。
入力画像信号の複数の画素と演算されることによって、上記入力画像信号の輝度を補正するために使用される係数を予め学習によりクラス毎に求めるようにしたクラス分類適応処理における学習装置において、
上記入力画像信号を適当な領域に分割して上記領域内の輝度値に基づくパターンを用いて、上記領域毎の第１のクラス分類情報を生成する第１のクラス分類情報生成手段と、
上記入力画像信号の輝度分布をパターン化して、第２のクラス分類情報を生成する第２のクラス分類情報生成手段と、
照明を暗から明または明から暗に徐々に変化させて撮影した複数の画像を学習用の画像信号として使用し、
上記照明を徐々に変化させて撮影された複数の画像の中から中央付近で撮影された画像信号を教師用の画像信号として選択する選択手段と、
上記教師用の画像信号以外の画像信号を補正対象用の画像信号として使用し、
上記教師用の画像信号と上記複数の補正対象用の画像信号とを少なくとも上記第１および第２のクラス分類情報に基づきクラス毎に分類するクラス分類手段と、
上記クラス毎に輝度を補正するための係数を学習する学習手段とを特徴とするクラス分類適応処理における学習装置。
請求項１１、請求項１２、または請求項１３に記載のクラス分類適応処理における学習装置において、
上記教師用の画像信号と補正対象用の画像信号との間に位置する画像信号を第２の教師用の画像信号として設定することを特徴とするクラス分類適応処理における学習装置。
請求項１１、請求項１２、または請求項１３に記載のクラス分類適応処理における学習装置において、
上記教師用の画像信号に近い輝度値の画像信号を学習するための対象並びに輝度を補正するための対象から除外することを特徴とするクラス分類適応処理における学習装置。
請求項１１、請求項１２、または請求項１３に記載のクラス分類適応処理における学習装置において、
上記入力画像信号に対して低域通過フィルタを施した信号を補正対象用の画像信号として、学習を行うことを特徴とするクラス分類適応処理における学習装置。
上記領域は、上記注目画素の周辺画素を含む複数個の画素を第１のブロックにブロック化したものであり、
上記第１のクラス分類情報は、上記第１のブロック毎に空間の輝度変化のパターンで分類を行うことで生成され、
さらに、上記注目画素の周辺画素を含む複数個の画素を第２のブロックにブロック化し、上記ブロック内の輝度値の平均値に基づき分類を行うことで、上記注目画素に関する第３のクラス分類情報を生成する第３のクラス分類手段を備え、
上記第２のクラス分類手段では、上記第１及び第３のクラス分類情報を縮退させて、上記第２のクラス分類情報を生成することを特徴とする請求項１１に記載のクラス分類適応処理における学習装置。
さらに、上記入力画像信号の輝度分布をパターン化して、上記領域毎の第４のクラス分類情報を生成する第４のクラス分類手段を備え、
上記第２のクラス分類手段では、上記第１及び第４のクラス分類情報を縮退させて、上記第２のクラス分類情報を生成することを特徴とする請求項１１又は請求項１２に記載のクラス分類適応処理における学習装置。
さらに、上記注目画素の周辺画素を含む複数個の画素にブロック化し、上記ブロック内の輝度値の平均値に基づき分類を行うことで、第３のクラス分類情報を生成する第３のクラス分類手段を備え、
上記教師用の画像信号と上記複数の補正対象用の画像信号とを上記第１、第２および第３のクラス分類情報に基づきクラス毎に分類することを特徴とする請求項１３に記載の学習装置。
上記輝度分布のパターンとは、上記入力画像信号の１フィールドまたは１フレームの輝度に基づき得られることを特徴とする請求項１３または請求項１８に記載の学習装置。