JP3621304B2

JP3621304B2 - 画像の輝度補正方法

Info

Publication number: JP3621304B2
Application number: JP24679399A
Authority: JP
Inventors: 登久保; 小▲忙▼ 張; 宏之奥畑; 章雅丹羽
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-08-31
Filing date: 1999-08-31
Publication date: 2005-02-16
Anticipated expiration: 2019-08-31
Also published as: JP2001078025A; US6947176B1

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ、監視カメラ等にて撮像されるデジタルカラー静止画像を、要求される最適なダイナミックレンジとすることができる画像の輝度補正方法および補正装置に関する。
【０００２】
【従来の技術】
デジタルカラーの静止画像の輝度情報、色情報等を補正する方法として、眼球の網膜をモデル化して、画像の局所的な情報によって、ダイナミックレンジ（動的特性）に偏りのある画像の輝度値を補正する網膜法が提案されている。このような網膜法では、画像における輝度値が低くて暗い部分では輝度値を高くし、輝度値が高くて明るい部分では、輝度値を低くすることによって、画像を見やすくしている。
【０００３】
このような網膜法としては、シングルスケール網膜法（ＤａｎｉｅｌＪ．Ｊｏｂｓｏｎｅｔａｌ，”ＰｒｏｐｅｒｔｉｅｓａｎｄＰｅｒｆｏｒｍａｎｃｅｏｆａＣｅｎｔｅｒ／ＳｕｒｒｏｕｎｄＲｅｔｉｎｅｘ，”ＩＥＥＥＴｒａｎｓ．ｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇｖｏｌ．６，ｐｐ．４５１−４６２，Ｍａｒｃｈ１９９７．）、および、マルチスケール網膜法（ＤａｎｉｅｌＪ．Ｊｏｂｓｏｎｅｔａｌ，”ＡＭｕｌｔｉｓｃａｌｅＲｅｔｉｎｅｘｆｏｒＢｒｉｄｇｉｎｇｔｈｅＧａｐＢｅｔｗｅｅｎＣｏｌｏｒＩｍａｇｅａｎｄｔｈｅＨｕｍａｎＯｂｓｅｒｖａｔｉｏｎｏｆＳｃｅｎｅｓ，”ＩＥＥＥＴｒａｎｓ．ｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇｖｏｌ．６，ｐｐ．９５６−９７６，Ｊｕｌｙ１９９７．）が提案されている。
【０００４】
シングルスケール網膜法では、原画像における注目画素Ｉ（ｘ，ｙ）のスペクトル成分Ｉｉ（ｘ，ｙ）（ただし、ｉ＝１，２，…）を、周辺画素の情報に基づいて得られる周辺関数Ｆ（ｘ，ｙ）によって補正するものであり、網膜処理結果は、次の（１）式によって表される。
【０００５】
【数１】

【０００６】
この場合、周辺関数Ｆ（ｘ，ｙ）は、注目画素Ｉ（ｘ，ｙ）に対する周辺画素の画像情報に基づく関数であり、次の（２）式によって表される。
【０００７】
【数２】

【０００８】
ただし、ｒは、注目画素と周辺画素との距離（ｒ^２＝ｘ^２＋ｙ^２）であり、ｃはスケール変数である。また、Ｋは平坦化係数であり、∬Ｆ（ｘ，ｙ）ｄｘｄｙ＝１、すなわち、周辺関数の総合計が１となるように定められる。また、「＊」は、畳み込み演算を示す。
【０００９】
（１）式および（２）式によって、シングルスケール網膜処理結果Ｒｉ（ｘ，ｙ）が求められると、次の（３）式によって、シングルスケール網膜処理結果Ｒｉ（ｘ，ｙ）が、補正値ＧａｉｎおよびＯｆｆｓｅｔによって補正されて、適当なダイナミックレンジに引き伸ばされる。補正網膜処理結果Ｉ_Ｒｉは次の（３）式によって表される。
【００１０】
【数３】

【００１１】
このように、シングルスケール網膜法では、注目画素のスペクトルバンド成分が、周辺関数に基づいて網膜処理されるが、マルチスケール網膜法（ＭｕｌｔｉＳｃａｌｅＲｅｔｉｎｅｘ：ＭＳＲ）では、注目画素の各スペクトルバンド成分Ｉｉに対して、Ｎ種類のスケールにて網膜処理を行うようになっている。この場合、各スケールに対するシングル網膜処理結果に対して、各スケールに対する重みｗ_ｎが付けられて、全てのスケールに対する網膜処理結果が加算される。マルチスケール網膜法による網膜処理結果Ｒ_ＭＳＲｉは、次の（４）式によって表される。
【００１２】
【数４】

【００１３】
そして、（４）式によって求められたマルチスケール網膜処理結果Ｒ_ＭＳＲｉが、シングルスケール網膜法と同様に、補正パラメータＧａｉｎおよびＯｆｆｓｅｔによって補正されて、適当なダイナミックレンジに引き伸ばされる。補正マルチスケール網膜処理結果Ｉ_ＭＳＲｉは、次の（５）式によって表される。
【００１４】
【数５】

【００１５】
【発明が解決しようとする課題】
このようなマルチスケール網膜法では、注目画素に対する周辺画素の情報である周辺関数の演算を、スケールの周辺画素の数（Ｎ）だけ実施して、注目画素の補正を行っている。従って、スケールサイズが大きい場合には、１つの注目画素をマルチスケール網膜法にて処理するために、全画像領域における半分程度の画素を、周辺画素として参照する必要がある。参照とする画素数は、画像サイズおよびスケールサイズの長さの二乗にそれぞれ比例して増加する。
【００１６】
マルチスケール網膜法では、ｌｏｇ演算、ベキ乗演算、さらには、畳み込み演算に要する積和演算が必要であるために、参照すべき周辺画素数が増加すると、膨大な計算量が必要になる。しかも、演算値を記憶したメモリに対するアクセス回数も増加する。しかも、２次元の周辺画素情報の保持、中間処理結果の保持等のために、容量の大きなメモリが必要になり、経済性が損なわれるおそれもある。また、メモリに対するアクセス回数も増加することになり、これによっても、処理時間が増加するおそれがある。
【００１７】
特に、最近では、対象画素数が、メガピクセル、２メガピクセルという高画質のデジタルカメラも開発されており、このようなデジタルカメラでは、マルチスケール網膜処理に要する時間がさらに増加することになる。
【００１８】
本発明は、このような問題を解決するものであり、その目的は、マルチスケール網膜法による計算量を低減することができて、処理に要する時間を著しく短縮することができ、しかも、演算値を保持するためのメモリ容量も小さくすることができるために低コストの装置を実現することができる画像の輝度補正方法を提供することにある。
【００１９】
【課題を解決するための手段】
本発明の画像の輝度補正方法は、原画像における所定のスケールサイズに対する注目画素の画像情報と、その注目画素に対して該スケールサイズに対応する複数の周辺画素の画像情報のそれぞれに基づいて得られる各周辺関数との畳み込み演算を、複数のスケールサイズ毎に実施して、前記注目画素の輝度を補正するマルチスケール網膜法によって画像の輝度を補正する方法であって、前記各スケールサイズにおける各周辺画素の画像情報が、直交するｘ軸およびｙ軸に沿って配置された各周辺画素毎に段階的に変化するとともに前記注目画素に対して同心状態で配置されたそれぞれの周辺画素の画像情報が同レベルになるように簡略化されたモデルにおいて、前記注目画素に対してｘ軸方向またはｙ軸方向に沿って配置された周辺画素の周辺関数を演算する工程と、演算された前記周辺関数と前記注目画素との畳み込み演算を実施して、その演算結果を、前記注目画素との畳み込み演算がされない他の周辺画素と該注目画素との畳み込み演算の結果として使用する工程と、を包含する。
【００２０】
好ましくは、前記周辺画素の画像情報が、前記スケールサイズにおける前記ｘ軸方向に沿った複数の周辺画素の画素情報である水平ベクトル成分と、前記ｙ軸方向に沿った複数の周辺画素の画素情報である垂直ベクトル成分とを合成することによって得られる。
【００２１】
好ましくは、座標（ｘ，ｙ）の前記注目画素に対する周辺画素の前記周辺関数をＦ（ｘ，ｙ）とすると、該周辺関数Ｆ（ｘ，ｙ）は、次式（２）によって求められ、この場合、ｒは注目画素と周辺画素との距離、ｃはスケール変数、Ｋは平坦化係数であり、
【数２】

該式（２）の平坦化係数Ｋは、スケールサイズが画像フレームの外部にはみ出した状態になっている場合に更新される。
【００２２】
好ましくは、前記周辺関数が、前記スケールサイズの全ての周辺画素よりも少ない個数の周辺画素に対して演算される。
【００２３】
好ましくは、前記畳み込み演算が、前記ｘ軸方向またはｙ軸方向に沿って配置された全ての周辺画素よりも少ない個数の周辺画素に対して実施される。
【００２７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態を説明する。
【００２８】
本発明の輝度補正方法では、原画像における注目画素のスペクトルバンド成分をマルチスケール網膜法によって網膜処理して、注目画素の輝度が補正される。マルチスケール網膜法では、スケールサイズに基づいて得られる周辺関数が使用される。この周辺関数は、注目画素に対する周辺画素の距離および画像情報に基づいて得られるものであり、通常のマルチスケール網膜法では、図１（ａ）に示すような周辺関数を、図１（ｂ）に示すように、各画素をそれぞれ方形領域とみなして、各画素における画像情報（輝度）がそれぞれデジタル処理されている。
【００２９】
これに対して、本発明の輝度補正方法では、マルチスケール網膜法に採用される周辺関数が、図１（ｃ）に示すように、注目画素に対して、直交する２軸（ｘ軸およびｙ軸）にそれぞれ沿って配置された各周辺画素の画像情報が段階的に変化するように簡略化された単純なモデルとされ、図１（ｄ）に示すように、アドレッシングが容易になるように、各画素をそれぞれ方形領域とみなして、各画素における画像情報（輝度）がそれぞれデジタル処理される。本発明の輝度補正方法では、このように画像情報が簡略化された周辺関数が採用される。
【００３０】
図１（ｄ）に示す簡略化された周辺関数では、注目画素に対する周辺画素の画像情報は、直交する２方向（x軸方向およびｙ軸方向）に沿って注目画素から離れるにつれて、順次、画像情報のレベルが減少するように、段階的に変化している。例えば、図２に示すように、画素数がａ個×ａ個のサイズのスケールにおいて、中心の注目画素１１からｘ軸方向およびｙ軸方向にそれぞれ沿って配置された各周辺画素の画像情報は、中心の注目画素１１から離れるにつれて、それぞれ同様に段階的に減少しており、注目画素１１に対してｘ軸方向にそれぞれ隣接しているｙ軸方向に沿った各周辺画素の画像情報のレベル、および、注目画素１１に対してｙ軸方向にそれぞれ隣接しているｘ軸方向に沿った各周辺画素の画像情報のレベルは、それぞれ等しく、また、それらの周辺画素に対してｘ軸方向に隣接しているｙ軸方向に沿った各周辺画素の画像情報のレベルおよびｙ軸方向に隣接しているｘ軸方向に沿った各周辺画素の画像情報のレベルもそれぞれ等しくなっている。
【００３１】
その結果、画素数がａ個×ａ個のサイズのスケールにおいて、注目画素と周辺関数との畳み込み演算を実施する際に、周辺関数が同レベルである周辺画素の畳み込み演算結果を使用することによって、２次元領域の畳み込み演算を１次元領域の畳み込み演算に置き換えることができる。
【００３２】
従って、画素数がａ個×ａ個のサイズのスケールにおいて、２次元の領域全体にわたる周辺画素に対して畳み込み演算を実施する場合には、積和回数が（ａ * ａ）−１であるが、本発明では、畳み込み演算に際しての積和回数は、（ａ−１）／２に減少することになる。その結果、演算処理に要する時間が著しく短縮される。しかも、この場合には、中間データーを保持するためのメモリも、１次元の領域の周辺画素の積和等を保持することができればよく、その容量は著しく軽減される。
【００３３】
このように、簡略化された周辺関数のモデルを利用することによって、図３に示すように、スケール毎に周辺画素の画像情報を持つ必要がない。この場合、大きいスケールサイズ（ｌａｒｇｅ）の周辺画素の画像情報には、小さいスケールサイズ（ｓｍａｌｌまたはｍｉｄｄｌｅ）における周辺画素の画像情報も含まれるために、使用される最大のスケールサイズにおける周辺画素の画像情報のみを保持することによって、スケールサイズが変更されても対応することができる。その結果、スケールサイズ毎に、周辺画像の画像情報を重複して保持する必要がなく、必要とするメモリ容量が著しく軽減される。
【００３４】
このように、簡略化した周辺関数のモデルを利用してマルチスケール網膜処理することにより、畳み込み演算の計算量およびメモリ容量は、スケールサイズ、スケール数に依存せず、シングルスケール網膜法と同程度にまで削減することができる。
【００３５】
さらには、このように簡略化された周辺関数のモデルでは、１つのスケールにおける畳み込み演算に際して、その前段階における注目画素にて採用される周辺画素の画像情報の一部が重複して採用される。例えば、図４に示すように、ｘ軸方向およびｙ軸方向にそれぞれ等しい間隔をあけてｙ軸方向およびｘ軸方向に沿ってそれぞれ配置された各周辺画素１２（図４において、黒べたで示す）の画像情報が採用されると、次のスケールにおける畳み込み演算に際して、注目画素１３が、前スケールの注目画素１１に対してｘ軸方向に隣接している場合には、この注目画素１３に対して黒枠にて囲まれた周辺画素１４が、画像情報として採用されることになる。この場合、前段階における畳み込み演算に際して、採用された周辺画素の画像情報に対して、ｘ軸に沿ってそれぞれ配置された各４個の周辺画素の画像情報が、重複して採用されることになる。
【００３６】
その結果、相互に隣接する注目画素１１および１３に対するそれぞれ１６個の周辺画素１２および１４の画像情報が、８個（５０％）にわたって重複して採用されており、従って、注目画素１３に対する畳み込み演算に際して、その前段階においてすでに演算に使用された周辺画素１２の画像情報の５０％を、重複して使用することができる。その結果、メモリアクセス回数を大幅に減少させることができる。
【００３７】
周辺画素の画像情報は、ｘ軸方向に沿った走査によって得られる水平ベクトル成分と、ｙ軸方向に沿った垂直ベクトル成分とを合成することによって得るようにしてもよい。例えば、図５（ａ）に示すように、画素数が７個×７個のスケールサイズにおいて、ｘ方向に沿った走査によって、図５（ｂ）に示す範囲の周辺画素の画像情報を水平ベクトル成分１０ａとして読み込んで、ｙ方向に沿った走査によって、図５（ｃ）に示す範囲の周辺画素の画像情報を垂直ベクトル成分１０ｂとして読み込み、水平ベクトル成分と垂直ベクトル成分とを合成することによって、新しい注目画素における全ての周辺画素の画像情報とされる。
【００３８】
この場合、水平ベクトル成分１０ａは、中心の注目画素１１と、この注目画素１１に対して、ｙ軸方向の両側にそれぞれ隣接するｘ軸に沿った３つの周辺画素と、これら３つの周辺画素に対してｙ軸方向の外側にそれぞれ隣接するｘ軸に沿った５つの周辺画素と、これら５つの周辺画素に対してｙ軸方向の外側にそれぞれ隣接するｘ軸に沿った７つの周辺画素とによって構成されている。
【００３９】
これに対して、垂直ベクトル成分１０ｂは、画素数が７個×７個の周辺画素の画像情報から水平ベクトル成分を構成する周辺画素および注目画素１１を除いた１８個の周辺画素によって構成されている。
【００４０】
このように、新しい注目画素における周辺画素の画像情報を、水平ベクトル成分１０ａと垂直ベクトル成分１０ｂとに分割して読み込む場合には、前の注目画素と新しい注目画素とがｘ軸方向に相互に隣接していると、図６（ａ）に示すように、周辺関数の各レベルにおける水平ベクトル成分をそれぞれ構成する周辺画素の重複率が大きくなり（図６（ａ）の黒ベタにて示す周辺画素と、黒枠にて囲まれた周辺画素との重複部分を参照）、また、前の注目画素と新しい注目画素がｙ軸方向に相互に隣接していると、図６（ｂ）に示すように、周辺関数の各レベルにおける垂直ベクトル成分をそれぞれ構成する周辺画素同士の重複率が大きくなる（図６（ｂ）の黒ベタの周辺画素と、黒枠にて囲まれた周辺画素との重複部分を参照）。なお、周辺画素の画像情報は、周辺関数の各レベル毎に、全画素の和として保持されている。
【００４１】
このために、図７に示すように、周辺関数の各レベルにおける水平ベクトル成分として、ｘ軸方向における走査方向上流側（左側）に１画素分だけずれた注目画素の周辺関数の各レベルにおける水平ベクトル成分と重複する周辺画素の画像情報を採用して更新される。同様に、周辺関数の各レベルにおける垂直ベクトル成分として、ｙ軸方向における走査方向上流側（上側）に１画素分だけずれた注目画素の周辺関数の各レベルにおける垂直ベクトル成分と重複する周辺画素の画像情報が採用して更新される。そして、前の注目画素と新しい注目画素との間で、周辺関数の各レベルにおいて、水平ベクトル成分、垂直ベクトル成分の重複していない画素の画像情報が、それぞれ読み込まれて加算される。これにより、新しい注目画素の周辺関数の各レベルにおける全ての周辺画素の１次元画像情報が生成される。
【００４２】
これにより、周辺画素の画像情報を得る際のメモリに対するアクセス回数を著しく低減させることができ、しかも、画像情報を得るための処理時間も著しく短縮させることができる。
【００４３】
なお、この場合、注目画素が、ｘ軸方向に沿って１画素ずつ、順次、移動した後に、ｙ軸方向に１画素だけ移動する構成では、周辺関数の各レベルにおける画像情報の重複率が最も効率的であるが、この場合には、ｘ軸方向に沿って注目画素が移動する間に読み込まれる周辺画素の画像情報の垂直ベクトル成分を保持するためのバッファが必要になる。
【００４４】
新しい注目画素の周辺関数の各レベルにおける周辺画素の画像情報が得られると、周辺関数Ｆ（ｘ，ｙ）が、前述した（２）式に基づいて演算される。周辺関数Ｆ（ｘ，ｙ）を求める際の平坦化係数Ｋは、∬Ｆ（ｘ，ｙ）ｄｘｄｙ＝１となるように設定されるが、この平坦化係数Ｋを高速にて演算するために、その直前にて演算された周辺関数のＫ値を利用して、高速にて演算処理される。この場合、直前に演算された周辺関数の平坦化係数Ｋと、現段階における周辺関数の平坦化係数Ｋとのデータ依存性に基づいて、平坦化係数Ｋが更新される。
【００４５】
図８（ａ）に示すように、注目画素１１が、画像フレーム１５のコーナー部に近接しており、その注目画素１１に対する平坦化係数Ｋを算出するために必要とされる周辺画素の画像情報と畳み込み演算を行う周辺関数の領域１６の一部が、画像フレーム１５からはみ出しているような場合には、画像フレーム１５内に位置する領域１６内の周辺関数に基づいて平坦化係数Ｋが補正される。このために、図８（ｂ）に示すように、その注目画素１１に対してｘ軸方向に隣接する注目画素１３に対して平坦化係数Ｋを演算する際には、注目画素１３に対する周辺関数の領域１７における画像フレーム１５内に位置する周辺画素の画像情報が利用される。
【００４６】
従って、このような場合には、注目画素１３に対する平坦化係数Ｋを算出する際には、注目画素１１に対する平坦化係数Ｋを算出するために使用される周辺関数の画像情報に対して、図８（ｂ）に示すように、画像フレーム１５のｙ軸方向に沿った周辺関数１８の画像情報が追加されているにすぎない。このようなデータ依存性から、注目画素１１に対する平坦化係数Ｋを利用して、注目画素１３に対する平坦化係数Ｋが更新される。
【００４７】
平坦化係数Ｋは、具体的には、図９に示すように、前段階の注目画素に対する周辺関数が１次元の関数としてテーブル化されており、その周辺関数から、画像フレームに対する注目画素の位置およびスケールサイズの関係に基づいて、その周辺関数の平坦化係数Ｋが更新される。
【００４８】
図１０は、平坦化係数Ｋを更新する際のフローチャートである。まず、平坦化係数Ｋの更新が必要であるかが、注目画素の座標（ｘ，ｙ）およびスケールサイズに基づいて判定される（図１０のステップＳ１参照、以下同様）。すなわち、画像における注目画素の位置に基づいて、その注目画素に対するスケールサイズが検出され、スケールサイズが、画像フレームの外部にはみ出した状態になっている場合には、平坦化係数Ｋが更新される。平坦化係数Ｋを更新する場合には、注目画素の座標（ｘ，ｙ）に基づいて、周辺関数が算出され（ステップＳ２）、算出された周辺関数に基づいて、平坦化係数Ｋが更新される。（ステップＳ３）。
【００４９】
この場合、前述したように、周辺画素の水平ベクトル成分および垂直ベクトル成分を読み込む際の走査と同様の走査によって、平坦化係数Ｋを算出するようにすれば、注目画素に対する周辺関数を保持するためのバッファを設けるだけでよい。
【００５０】
さらには、画像の画質が劣化しない程度に、周辺画素の画像情報のサンプリング回数を低減することにより、計算量を大幅に削減することができる。すなわち、（１）式におけるF(x,y)を算出する際の周辺画素の情報を、図１１に示すように、適当に間引くことにより、周辺画素の情報のサンプリング回数が低減されるとともに、計算量を大幅に削減することができる。具体的には、１６（＝４×４）の周辺画素に対して、いずれか１つの周辺画素の画像情報がサンプリングされる。
【００５１】
また、周辺画素の画像情報のサンプリング回数の低減と同様に、画質が劣化しない程度に、畳み込み演算を省略して、計算量を低減させることもできる。畳み込み見込み演算を低減させる際には、図１２に示すように、画素数が１６（＝４×４）の画素が集まった方形の画素群に対しては、いずれか１つの注目画素に対して網膜処理（式（１）の第２項）を行い、他の１５個の周辺画素に対しては、網膜処理された周辺画素の値を使用する。これにより、畳み込み演算の計算量が大幅に低減することができる。
【００５２】
さらには、ｌｏｇの演算の計算量を低減させるために、積和演算による近似値が採用される。この場合、図１３（ａ）に示すように、ｙ＝ｌｏｇｘの演算に際して、ｘ座標の異なる範囲に基づいて、異なる傾きのｌｏｇ直線がそれぞれ割り当てられる。そして、図１３（ｂ）に示すように、ｘの値に対応したｌｏｇ直線の傾きと切片とが演算され、求められた傾きが乗数、切片が加数とされる。これにより、適切な表示のダイナミックレンジに適合させるために、膨大な数のインデックスを準備する必要がない。
【００５３】
このような輝度補正方法の実施に使用される輝度補正システムの一例を図１４に示す。この輝度補正システムは、原画像の情報を記憶するメモリ２１と、高速マルチスケール網膜（ＭＳＲ）処理装置２２と、中間結果を一時的に記憶する中間結果用メモリ２３とを有している。
【００５４】
原画像メモリ２１は、原画像の画像サイズ（ｘ，ｙ）、各画素におけるスペクトルバンド数、各画素の成分表示精度等がそれぞれ記憶される。また、中間結果用メモリ２３には、スケール数分の平坦化係数Ｋが記憶されるとともに、最大スケール長にわたる周辺画素の画像情報におけるｘ成分、最大スケール長×画像の横サイズ分の周辺画素の画像情報におけるｙ成分等がそれぞれ記憶される。
【００５５】
高速ＭＳＲ処理装置２２は、スケール数分の周辺関数に基づいて、マルチスケール網膜処理が高速で実施されるようになっており、前述したように、各周辺関数の近似計算、周辺関数の情報のメモリアクセスの低減、平坦化係数Ｋの算出高速化、周辺画素の画像情報のサンプリング回数の低減、畳み込み演算の間引き、ｌｏｇ演算の簡略化等が実施される。
【００５６】
図１５は、このような補正システムの動作説明のためのフローチャートである。このような補正システムでは、まず、４×４＝１６個の画素が集まった方形の画素群において、この画素群内で１画素に対してのみ、網膜処理を行う。
（図１５のステップＳ１１参照、以下同様）。このようにして１つの注目画素が決定されると、その画素に対する平坦化係数Ｋが算出される。平坦化係数Ｋは、画像上における注目画素の位置に基づいて演算される。この場合、注目画素が、すでに平坦化係数Ｋが算出された注目画素に対して、画像の中心対称になっていれば、それぞれの平坦化係数Ｋが等しくなることが利用される。平坦化係数Ｋの保持するためのバッファとしては、注目画素の位置に依存して平坦化係数Ｋが算出されることにより、最大ラージスケールサイズの平坦化係数Ｋを保持し得るバッファであればよい。
【００５７】
平坦化係数Ｋが算出されると、周辺画素の情報が更新される（ステップＳ１３）。この場合、注目画素の左側および上側に位置する注目画素に対する周辺画素の画像情報をそれぞれ利用して、周辺画素の画像情報が更新される。そして、更新された周辺画素の情報に基づいて、１次元の畳み込み演算が実施される（ステップＳ１４）。
【００５８】
このようにして、１次元の畳み込み演算処理が実施されると、式（１）に基づく演算処理が、注目画素を含む１６の画素に関して実施される（ステップＳ１５）。この場合のｌｏｇ演算は、前述したように簡略化されたものである。その後、網膜処理結果に対する補正値が算出されて（ステップＳ１６）、網膜処理結果が、その補正値にて補正される。このようにして、全画素に関して、マルチスケール網膜処理に基づく輝度の補正が実施される（ステップＳ１７）。
【００５９】
【発明の効果】
本発明の画像の輝度補正方法は、このように、マルチスケール網膜法によって、各画素の輝度を補正する際の計算量が著しく低減され、しかも、メモリアクセス回数も著しく低減されるために、処理時間が著しく短縮される。しかも、メモリ容量も低減されるために、容量の小さなメモリを使用することができ、低コストの補正装置を実現することができる。
【図面の簡単な説明】
【図１】（ａ）〜（ｄ）は、それぞれ周辺関数を簡略化したモデルである。
【図２】簡略化された周辺関数のモデルにおける周辺関数の１次元化の説明図である。
【図３】簡略化された周辺関数のモデルにおけるマルチスケール畳み込み演算の説明図である。
【図４】簡略化された周辺関数のモデルにおける周辺画素の重複状態の説明図である。
【図５】（ａ）は、簡略化された周辺関数のモデルにおけるスケールを水平ベクトル成分と垂直ベクトル成分に分割することの説明図、（ｂ）は、その水平ベクトル成分の説明図、（ｃ）は、その垂直ベクトル成分の説明図である。
【図６】（ａ）は、水平ベクトル成分における周辺画素の重複状態の説明図、（ｂ）は、垂直ベクトル成分における周辺画素の重複状態の説明図である。
【図７】水平ベクトル成分および垂直ベクトル成分からの周辺画素の画像情報の生成を説明するための概略図である。
【図８】（ａ）および（ｂ）は、それぞれ、平坦化係数Ｋを算出する際の画像情報の依存関係の説明図である。
【図９】平坦化係数Ｋの更新を説明するための概略ブロック図である。
【図１０】平坦化係数の更新方法を説明するためのフローチャートである。
【図１１】画像情報のサンプリング回数の軽減する方法の説明図である。
【図１２】畳み込み演算の回数を軽減する方法の説明図である。
【図１３】（ａ）は、ｌｏｇ演算の簡略化するために使用されるグラフ、（ｂ）は、そのグラフを使用したｌｏｇ演算の制御図である。
【図１４】本発明の画像の輝度補正方法の実施に使用される補正システムの一例を示すブロック図である。
【図１５】その動作説明のためのフローチャートである。
【符号の説明】
１０ａ水平ベクトル成分
１０ｂ垂直ベクトル成分
１１注目画素
１２周辺画素
１３注目画素
１４周辺画素
１５画像フレーム
１６領域
１７領域
１８周辺画素

Claims

原画像における所定のスケールサイズに対する注目画素の画像情報と、その注目画素に対して該スケールサイズに対応する複数の周辺画素の画像情報のそれぞれに基づいて得られる各周辺関数との畳み込み演算を、複数のスケールサイズ毎に実施して、前記注目画素の輝度を補正するマルチスケール網膜法によって画像の輝度を補正する方法であって、
前記各スケールサイズにおける各周辺画素の画像情報が、直交するｘ軸およびｙ軸に沿って配置された各周辺画素毎に段階的に変化するとともに前記注目画素に対して同心状態で配置されたそれぞれの周辺画素の画像情報が同レベルになるように簡略化されたモデルにおいて、前記注目画素に対してｘ軸方向またはｙ軸方向に沿って配置された周辺画素の周辺関数を演算する工程と、
演算された前記周辺関数と前記注目画素との畳み込み演算を実施して、その演算結果を、前記注目画素との畳み込み演算がされない他の周辺画素と該注目画素との畳み込み演算の結果として使用する工程と、
を包含する画像の輝度補正方法。
前記周辺画素の画像情報が、前記スケールサイズにおける前記ｘ軸方向に沿った複数の周辺画素の画素情報である水平ベクトル成分と、前記ｙ軸方向に沿った複数の周辺画素の画素情報である垂直ベクトル成分とを合成することによって得られる、請求項１に記載の画像の輝度補正方法。
座標（ｘ，ｙ）の前記注目画素に対する周辺画素の前記周辺関数をＦ（ｘ，ｙ）とすると、該周辺関数Ｆ（ｘ，ｙ）は、次式（２）によって求められ、この場合、ｒは注目画素と周辺画素との距離、ｃはスケール変数、Ｋは平坦化係数であり、

該式（２）の平坦化係数Ｋは、スケールサイズが画像フレームの外部にはみ出した状態になっている場合に更新される、請求項１に記載の画像の輝度補正方法。
前記周辺関数が、前記スケールサイズの全ての周辺画素よりも少ない個数の周辺画素に対して演算される、請求項１に記載の画像の輝度補正方法。
前記畳み込み演算が、前記ｘ軸方向またはｙ軸方向に沿って配置された全ての周辺画素よりも少ない個数の周辺画素に対して実施される、請求項１に記載の画像の輝度補正方法。