JP3621304B2 - 画像の輝度補正方法 - Google Patents
画像の輝度補正方法 Download PDFInfo
- Publication number
- JP3621304B2 JP3621304B2 JP24679399A JP24679399A JP3621304B2 JP 3621304 B2 JP3621304 B2 JP 3621304B2 JP 24679399 A JP24679399 A JP 24679399A JP 24679399 A JP24679399 A JP 24679399A JP 3621304 B2 JP3621304 B2 JP 3621304B2
- Authority
- JP
- Japan
- Prior art keywords
- peripheral
- pixel
- image
- target pixel
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 47
- 230000002093 peripheral effect Effects 0.000 claims description 163
- 210000001525 retina Anatomy 0.000 claims description 13
- 230000006870 function Effects 0.000 description 58
- 230000002207 retinal effect Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 15
- 238000005070 sampling Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- QVRVXSZKCXFBTE-UHFFFAOYSA-N n-[4-(6,7-dimethoxy-3,4-dihydro-1h-isoquinolin-2-yl)butyl]-2-(2-fluoroethoxy)-5-methylbenzamide Chemical compound C1C=2C=C(OC)C(OC)=CC=2CCN1CCCCNC(=O)C1=CC(C)=CC=C1OCCF QVRVXSZKCXFBTE-UHFFFAOYSA-N 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、デジタルカメラ、監視カメラ等にて撮像されるデジタルカラー静止画像を、要求される最適なダイナミックレンジとすることができる画像の輝度補正方法および補正装置に関する。
【0002】
【従来の技術】
デジタルカラーの静止画像の輝度情報、色情報等を補正する方法として、眼球の網膜をモデル化して、画像の局所的な情報によって、ダイナミックレンジ(動的特性)に偏りのある画像の輝度値を補正する網膜法が提案されている。このような網膜法では、画像における輝度値が低くて暗い部分では輝度値を高くし、輝度値が高くて明るい部分では、輝度値を低くすることによって、画像を見やすくしている。
【0003】
このような網膜法としては、シングルスケール網膜法(Daniel J.Jobson et al,”Properties and Performance of a Center/Surround Retinex,”IEEE Trans.on Image Processing vol.6,pp.451−462,March 1997.)、および、マルチスケール網膜法(Daniel J.Jobson et al,”A Multiscale Retinex for Bridging the Gap Between Color Image and the Human Observation of Scenes,”IEEE Trans.on Image Processing vol.6,pp.956−976,July 1997.)が提案されている。
【0004】
シングルスケール網膜法では、原画像における注目画素I(x,y)のスペクトル成分Ii(x,y)(ただし、i=1,2,…)を、周辺画素の情報に基づいて得られる周辺関数F(x,y)によって補正するものであり、網膜処理結果は、次の(1)式によって表される。
【0005】
【数1】
【0006】
この場合、周辺関数F(x,y)は、注目画素I(x,y)に対する周辺画素の画像情報に基づく関数であり、次の(2)式によって表される。
【0007】
【数2】
【0008】
ただし、rは、注目画素と周辺画素との距離(r2=x2+y2)であり、cはスケール変数である。また、Kは平坦化係数であり、∬F(x,y)dxdy=1、すなわち、周辺関数の総合計が1となるように定められる。また、「*」は、畳み込み演算を示す。
【0009】
(1)式および(2)式によって、シングルスケール網膜処理結果Ri(x,y)が求められると、次の(3)式によって、シングルスケール網膜処理結果Ri(x,y)が、補正値GainおよびOffsetによって補正されて、適当なダイナミックレンジに引き伸ばされる。補正網膜処理結果IRiは次の(3)式によって表される。
【0010】
【数3】
【0011】
このように、シングルスケール網膜法では、注目画素のスペクトルバンド成分が、周辺関数に基づいて網膜処理されるが、マルチスケール網膜法(Multi Scale Retinex:MSR)では、注目画素の各スペクトルバンド成分Iiに対して、N種類のスケールにて網膜処理を行うようになっている。この場合、各スケールに対するシングル網膜処理結果に対して、各スケールに対する重みwnが付けられて、全てのスケールに対する網膜処理結果が加算される。マルチスケール網膜法による網膜処理結果RMSRiは、次の(4)式によって表される。
【0012】
【数4】
【0013】
そして、(4)式によって求められたマルチスケール網膜処理結果RMSRiが、シングルスケール網膜法と同様に、補正パラメータGainおよびOffsetによって補正されて、適当なダイナミックレンジに引き伸ばされる。補正マルチスケール網膜処理結果IMSRiは、次の(5)式によって表される。
【0014】
【数5】
【0015】
【発明が解決しようとする課題】
このようなマルチスケール網膜法では、注目画素に対する周辺画素の情報である周辺関数の演算を、スケールの周辺画素の数(N)だけ実施して、注目画素の補正を行っている。従って、スケールサイズが大きい場合には、1つの注目画素をマルチスケール網膜法にて処理するために、全画像領域における半分程度の画素を、周辺画素として参照する必要がある。参照とする画素数は、画像サイズおよびスケールサイズの長さの二乗にそれぞれ比例して増加する。
【0016】
マルチスケール網膜法では、log演算、ベキ乗演算、さらには、畳み込み演算に要する積和演算が必要であるために、参照すべき周辺画素数が増加すると、膨大な計算量が必要になる。しかも、演算値を記憶したメモリに対するアクセス回数も増加する。しかも、2次元の周辺画素情報の保持、中間処理結果の保持等のために、容量の大きなメモリが必要になり、経済性が損なわれるおそれもある。また、メモリに対するアクセス回数も増加することになり、これによっても、処理時間が増加するおそれがある。
【0017】
特に、最近では、対象画素数が、メガピクセル、2メガピクセルという高画質のデジタルカメラも開発されており、このようなデジタルカメラでは、マルチスケール網膜処理に要する時間がさらに増加することになる。
【0018】
本発明は、このような問題を解決するものであり、その目的は、マルチスケール網膜法による計算量を低減することができて、処理に要する時間を著しく短縮することができ、しかも、演算値を保持するためのメモリ容量も小さくすることができるために低コストの装置を実現することができる画像の輝度補正方法を提供することにある。
【0019】
【課題を解決するための手段】
本発明の画像の輝度補正方法は、原画像における所定のスケールサイズに対する注目画素の画像情報と、その注目画素に対して該スケールサイズに対応する複数の周辺画素の画像情報のそれぞれに基づいて得られる各周辺関数との畳み込み演算を、複数のスケールサイズ毎に実施して、前記注目画素の輝度を補正するマルチスケール網膜法によって画像の輝度を補正する方法であって、前記各スケールサイズにおける各周辺画素の画像情報が、直交するx軸およびy軸に沿って配置された各周辺画素毎に段階的に変化するとともに前記注目画素に対して同心状態で配置されたそれぞれの周辺画素の画像情報が同レベルになるように簡略化されたモデルにおいて、前記注目画素に対してx軸方向またはy軸方向に沿って配置された周辺画素の周辺関数を演算する工程と、演算された前記周辺関数と前記注目画素との畳み込み演算を実施して、その演算結果を、前記注目画素との畳み込み演算がされない他の周辺画素と該注目画素との畳み込み演算の結果として使用する工程と、を包含する。
【0020】
好ましくは、前記周辺画素の画像情報が、前記スケールサイズにおける前記x軸方向に沿った複数の周辺画素の画素情報である水平ベクトル成分と、前記y軸方向に沿った複数の周辺画素の画素情報である垂直ベクトル成分とを合成することによって得られる。
【0021】
好ましくは、座標(x,y)の前記注目画素に対する周辺画素の前記周辺関数をF(x,y)とすると、該周辺関数F(x,y)は、次式(2)によって求められ、この場合、rは注目画素と周辺画素との距離、cはスケール変数、Kは平坦化係数であり、
【数2】
該式(2)の平坦化係数Kは、スケールサイズが画像フレームの外部にはみ出した状態になっている場合に更新される。
【0022】
好ましくは、前記周辺関数が、前記スケールサイズの全ての周辺画素よりも少ない個数の周辺画素に対して演算される。
【0023】
好ましくは、前記畳み込み演算が、前記x軸方向またはy軸方向に沿って配置された全ての周辺画素よりも少ない個数の周辺画素に対して実施される。
【0027】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態を説明する。
【0028】
本発明の輝度補正方法では、原画像における注目画素のスペクトルバンド成分をマルチスケール網膜法によって網膜処理して、注目画素の輝度が補正される。マルチスケール網膜法では、スケールサイズに基づいて得られる周辺関数が使用される。この周辺関数は、注目画素に対する周辺画素の距離および画像情報に基づいて得られるものであり、通常のマルチスケール網膜法では、図1(a)に示すような周辺関数を、図1(b)に示すように、各画素をそれぞれ方形領域とみなして、各画素における画像情報(輝度)がそれぞれデジタル処理されている。
【0029】
これに対して、本発明の輝度補正方法では、マルチスケール網膜法に採用される周辺関数が、図1(c)に示すように、注目画素に対して、直交する2軸(x軸およびy軸)にそれぞれ沿って配置された各周辺画素の画像情報が段階的に変化するように簡略化された単純なモデルとされ、図1(d)に示すように、アドレッシングが容易になるように、各画素をそれぞれ方形領域とみなして、各画素における画像情報(輝度)がそれぞれデジタル処理される。本発明の輝度補正方法では、このように画像情報が簡略化された周辺関数が採用される。
【0030】
図1(d)に示す簡略化された周辺関数では、注目画素に対する周辺画素の画像情報は、直交する2方向(x軸方向およびy軸方向)に沿って注目画素から離れるにつれて、順次、画像情報のレベルが減少するように、段階的に変化している。例えば、図2に示すように、画素数がa個×a個のサイズのスケールにおいて、中心の注目画素11からx軸方向およびy軸方向にそれぞれ沿って配置された各周辺画素の画像情報は、中心の注目画素11から離れるにつれて、それぞれ同様に段階的に減少しており、注目画素11に対してx軸方向にそれぞれ隣接しているy軸方向に沿った各周辺画素の画像情報のレベル、および、注目画素11に対してy軸方向にそれぞれ隣接しているx軸方向に沿った各周辺画素の画像情報のレベルは、それぞれ等しく、また、それらの周辺画素に対してx軸方向に隣接しているy軸方向に沿った各周辺画素の画像情報のレベルおよびy軸方向に隣接しているx軸方向に沿った各周辺画素の画像情報のレベルもそれぞれ等しくなっている。
【0031】
その結果、画素数がa個×a個のサイズのスケールにおいて、注目画素と周辺関数との畳み込み演算を実施する際に、周辺関数が同レベルである周辺画素の畳み込み演算結果を使用することによって、2次元領域の畳み込み演算を1次元領域の畳み込み演算に置き換えることができる。
【0032】
従って、画素数がa個×a個のサイズのスケールにおいて、2次元の領域全体にわたる周辺画素に対して畳み込み演算を実施する場合には、積和回数が(a * a)−1であるが、本発明では、畳み込み演算に際しての積和回数は、(a−1)/2に減少することになる。その結果、演算処理に要する時間が著しく短縮される。しかも、この場合には、中間データーを保持するためのメモリも、1次元の領域の周辺画素の積和等を保持することができればよく、その容量は著しく軽減される。
【0033】
このように、簡略化された周辺関数のモデルを利用することによって、図3に示すように、スケール毎に周辺画素の画像情報を持つ必要がない。この場合、大きいスケールサイズ(large)の周辺画素の画像情報には、小さいスケールサイズ(smallまたはmiddle)における周辺画素の画像情報も含まれるために、使用される最大のスケールサイズにおける周辺画素の画像情報のみを保持することによって、スケールサイズが変更されても対応することができる。その結果、スケールサイズ毎に、周辺画像の画像情報を重複して保持する必要がなく、必要とするメモリ容量が著しく軽減される。
【0034】
このように、簡略化した周辺関数のモデルを利用してマルチスケール網膜処理することにより、畳み込み演算の計算量およびメモリ容量は、スケールサイズ、スケール数に依存せず、シングルスケール網膜法と同程度にまで削減することができる。
【0035】
さらには、このように簡略化された周辺関数のモデルでは、1つのスケールにおける畳み込み演算に際して、その前段階における注目画素にて採用される周辺画素の画像情報の一部が重複して採用される。例えば、図4に示すように、x軸方向およびy軸方向にそれぞれ等しい間隔をあけてy軸方向およびx軸方向に沿ってそれぞれ配置された各周辺画素12(図4において、黒べたで示す)の画像情報が採用されると、次のスケールにおける畳み込み演算に際して、注目画素13が、前スケールの注目画素11に対してx軸方向に隣接している場合には、この注目画素13に対して黒枠にて囲まれた周辺画素14が、画像情報として採用されることになる。この場合、前段階における畳み込み演算に際して、採用された周辺画素の画像情報に対して、x軸に沿ってそれぞれ配置された各4個の周辺画素の画像情報が、重複して採用されることになる。
【0036】
その結果、相互に隣接する注目画素11および13に対するそれぞれ16個の周辺画素12および14の画像情報が、8個(50%)にわたって重複して採用されており、従って、注目画素13に対する畳み込み演算に際して、その前段階においてすでに演算に使用された周辺画素12の画像情報の50%を、重複して使用することができる。その結果、メモリアクセス回数を大幅に減少させることができる。
【0037】
周辺画素の画像情報は、x軸方向に沿った走査によって得られる水平ベクトル成分と、y軸方向に沿った垂直ベクトル成分とを合成することによって得るようにしてもよい。例えば、図5(a)に示すように、画素数が7個×7個のスケールサイズにおいて、x方向に沿った走査によって、図5(b)に示す範囲の周辺画素の画像情報を水平ベクトル成分10aとして読み込んで、y方向に沿った走査によって、図5(c)に示す範囲の周辺画素の画像情報を垂直ベクトル成分10bとして読み込み、水平ベクトル成分と垂直ベクトル成分とを合成することによって、新しい注目画素における全ての周辺画素の画像情報とされる。
【0038】
この場合、水平ベクトル成分10aは、中心の注目画素11と、この注目画素11に対して、y軸方向の両側にそれぞれ隣接するx軸に沿った3つの周辺画素と、これら3つの周辺画素に対してy軸方向の外側にそれぞれ隣接するx軸に沿った5つの周辺画素と、これら5つの周辺画素に対してy軸方向の外側にそれぞれ隣接するx軸に沿った7つの周辺画素とによって構成されている。
【0039】
これに対して、垂直ベクトル成分10bは、画素数が7個×7個の周辺画素の画像情報から水平ベクトル成分を構成する周辺画素および注目画素11を除いた18個の周辺画素によって構成されている。
【0040】
このように、新しい注目画素における周辺画素の画像情報を、水平ベクトル成分10aと垂直ベクトル成分10bとに分割して読み込む場合には、前の注目画素と新しい注目画素とがx軸方向に相互に隣接していると、図6(a)に示すように、周辺関数の各レベルにおける水平ベクトル成分をそれぞれ構成する周辺画素の重複率が大きくなり(図6(a)の黒ベタにて示す周辺画素と、黒枠にて囲まれた周辺画素との重複部分を参照)、また、前の注目画素と新しい注目画素がy軸方向に相互に隣接していると、図6(b)に示すように、周辺関数の各レベルにおける垂直ベクトル成分をそれぞれ構成する周辺画素同士の重複率が大きくなる(図6(b)の黒ベタの周辺画素と、黒枠にて囲まれた周辺画素との重複部分を参照)。なお、周辺画素の画像情報は、周辺関数の各レベル毎に、全画素の和として保持されている。
【0041】
このために、図7に示すように、周辺関数の各レベルにおける水平ベクトル成分として、x軸方向における走査方向上流側(左側)に1画素分だけずれた注目画素の周辺関数の各レベルにおける水平ベクトル成分と重複する周辺画素の画像情報を採用して更新される。同様に、周辺関数の各レベルにおける垂直ベクトル成分として、y軸方向における走査方向上流側(上側)に1画素分だけずれた注目画素の周辺関数の各レベルにおける垂直ベクトル成分と重複する周辺画素の画像情報が採用して更新される。そして、前の注目画素と新しい注目画素との間で、周辺関数の各レベルにおいて、水平ベクトル成分、垂直ベクトル成分の重複していない画素の画像情報が、それぞれ読み込まれて加算される。これにより、新しい注目画素の周辺関数の各レベルにおける全ての周辺画素の1次元画像情報が生成される。
【0042】
これにより、周辺画素の画像情報を得る際のメモリに対するアクセス回数を著しく低減させることができ、しかも、画像情報を得るための処理時間も著しく短縮させることができる。
【0043】
なお、この場合、注目画素が、x軸方向に沿って1画素ずつ、順次、移動した後に、y軸方向に1画素だけ移動する構成では、周辺関数の各レベルにおける画像情報の重複率が最も効率的であるが、この場合には、x軸方向に沿って注目画素が移動する間に読み込まれる周辺画素の画像情報の垂直ベクトル成分を保持するためのバッファが必要になる。
【0044】
新しい注目画素の周辺関数の各レベルにおける周辺画素の画像情報が得られると、周辺関数F(x,y)が、前述した(2)式に基づいて演算される。周辺関数F(x,y)を求める際の平坦化係数Kは、∬F(x,y)dxdy=1となるように設定されるが、この平坦化係数Kを高速にて演算するために、その直前にて演算された周辺関数のK値を利用して、高速にて演算処理される。この場合、直前に演算された周辺関数の平坦化係数Kと、現段階における周辺関数の平坦化係数Kとのデータ依存性に基づいて、平坦化係数Kが更新される。
【0045】
図8(a)に示すように、注目画素11が、画像フレーム15のコーナー部に近接しており、その注目画素11に対する平坦化係数Kを算出するために必要とされる周辺画素の画像情報と畳み込み演算を行う周辺関数の領域16の一部が、画像フレーム15からはみ出しているような場合には、画像フレーム15内に位置する領域16内の周辺関数に基づいて平坦化係数Kが補正される。このために、図8(b)に示すように、その注目画素11に対してx軸方向に隣接する注目画素13に対して平坦化係数Kを演算する際には、注目画素13に対する周辺関数の領域17における画像フレーム15内に位置する周辺画素の画像情報が利用される。
【0046】
従って、このような場合には、注目画素13に対する平坦化係数Kを算出する際には、注目画素11に対する平坦化係数Kを算出するために使用される周辺関数の画像情報に対して、図8(b)に示すように、画像フレーム15のy軸方向に沿った周辺関数18の画像情報が追加されているにすぎない。このようなデータ依存性から、注目画素11に対する平坦化係数Kを利用して、注目画素13に対する平坦化係数Kが更新される。
【0047】
平坦化係数Kは、具体的には、図9に示すように、前段階の注目画素に対する周辺関数が1次元の関数としてテーブル化されており、その周辺関数から、画像フレームに対する注目画素の位置およびスケールサイズの関係に基づいて、その周辺関数の平坦化係数Kが更新される。
【0048】
図10は、平坦化係数Kを更新する際のフローチャートである。まず、平坦化係数Kの更新が必要であるかが、注目画素の座標(x,y)およびスケールサイズに基づいて判定される(図10のステップS1参照、以下同様)。すなわち、画像における注目画素の位置に基づいて、その注目画素に対するスケールサイズが検出され、スケールサイズが、画像フレームの外部にはみ出した状態になっている場合には、平坦化係数Kが更新される。平坦化係数Kを更新する場合には、注目画素の座標(x,y)に基づいて、周辺関数が算出され(ステップS2)、算出された周辺関数に基づいて、平坦化係数Kが更新される。(ステップS3)。
【0049】
この場合、前述したように、周辺画素の水平ベクトル成分および垂直ベクトル成分を読み込む際の走査と同様の走査によって、平坦化係数Kを算出するようにすれば、注目画素に対する周辺関数を保持するためのバッファを設けるだけでよい。
【0050】
さらには、画像の画質が劣化しない程度に、周辺画素の画像情報のサンプリング回数を低減することにより、計算量を大幅に削減することができる。すなわち、(1)式におけるF(x,y)を算出する際の周辺画素の情報を、図11に示すように、適当に間引くことにより、周辺画素の情報のサンプリング回数が低減されるとともに、計算量を大幅に削減することができる。具体的には、16(=4×4)の周辺画素に対して、いずれか1つの周辺画素の画像情報がサンプリングされる。
【0051】
また、周辺画素の画像情報のサンプリング回数の低減と同様に、画質が劣化しない程度に、畳み込み演算を省略して、計算量を低減させることもできる。畳み込み見込み演算を低減させる際には、図12に示すように、画素数が16(=4×4)の画素が集まった方形の画素群に対しては、いずれか1つの注目画素に対して網膜処理(式(1)の第2項)を行い、他の15個の周辺画素に対しては、網膜処理された周辺画素の値を使用する。これにより、畳み込み演算の計算量が大幅に低減することができる。
【0052】
さらには、logの演算の計算量を低減させるために、積和演算による近似値が採用される。この場合、図13(a)に示すように、y=logxの演算に際して、x座標の異なる範囲に基づいて、異なる傾きのlog直線がそれぞれ割り当てられる。そして、図13(b)に示すように、xの値に対応したlog直線の傾きと切片とが演算され、求められた傾きが乗数、切片が加数とされる。これにより、適切な表示のダイナミックレンジに適合させるために、膨大な数のインデックスを準備する必要がない。
【0053】
このような輝度補正方法の実施に使用される輝度補正システムの一例を図14に示す。この輝度補正システムは、原画像の情報を記憶するメモリ21と、高速マルチスケール網膜(MSR)処理装置22と、中間結果を一時的に記憶する中間結果用メモリ23とを有している。
【0054】
原画像メモリ21は、原画像の画像サイズ(x,y)、各画素におけるスペクトルバンド数、各画素の成分表示精度等がそれぞれ記憶される。また、中間結果用メモリ23には、スケール数分の平坦化係数Kが記憶されるとともに、最大スケール長にわたる周辺画素の画像情報におけるx成分、最大スケール長×画像の横サイズ分の周辺画素の画像情報におけるy成分等がそれぞれ記憶される。
【0055】
高速MSR処理装置22は、スケール数分の周辺関数に基づいて、マルチスケール網膜処理が高速で実施されるようになっており、前述したように、各周辺関数の近似計算、周辺関数の情報のメモリアクセスの低減、平坦化係数Kの算出高速化、周辺画素の画像情報のサンプリング回数の低減、畳み込み演算の間引き、log演算の簡略化等が実施される。
【0056】
図15は、このような補正システムの動作説明のためのフローチャートである。このような補正システムでは、まず、4×4=16個の画素が集まった方形の画素群において、この画素群内で1画素に対してのみ、網膜処理を行う。
(図15のステップS11参照、以下同様)。このようにして1つの注目画素が決定されると、その画素に対する平坦化係数Kが算出される。平坦化係数Kは、画像上における注目画素の位置に基づいて演算される。この場合、注目画素が、すでに平坦化係数Kが算出された注目画素に対して、画像の中心対称になっていれば、それぞれの平坦化係数Kが等しくなることが利用される。平坦化係数Kの保持するためのバッファとしては、注目画素の位置に依存して平坦化係数Kが算出されることにより、最大ラージスケールサイズの平坦化係数Kを保持し得るバッファであればよい。
【0057】
平坦化係数Kが算出されると、周辺画素の情報が更新される(ステップS13)。この場合、注目画素の左側および上側に位置する注目画素に対する周辺画素の画像情報をそれぞれ利用して、周辺画素の画像情報が更新される。そして、更新された周辺画素の情報に基づいて、1次元の畳み込み演算が実施される(ステップS14)。
【0058】
このようにして、1次元の畳み込み演算処理が実施されると、式(1)に基づく演算処理が、注目画素を含む16の画素に関して実施される(ステップS15)。この場合のlog演算は、前述したように簡略化されたものである。その後、網膜処理結果に対する補正値が算出されて(ステップS16)、網膜処理結果が、その補正値にて補正される。このようにして、全画素に関して、マルチスケール網膜処理に基づく輝度の補正が実施される(ステップS17)。
【0059】
【発明の効果】
本発明の画像の輝度補正方法は、このように、マルチスケール網膜法によって、各画素の輝度を補正する際の計算量が著しく低減され、しかも、メモリアクセス回数も著しく低減されるために、処理時間が著しく短縮される。しかも、メモリ容量も低減されるために、容量の小さなメモリを使用することができ、低コストの補正装置を実現することができる。
【図面の簡単な説明】
【図1】(a)〜(d)は、それぞれ周辺関数を簡略化したモデルである。
【図2】簡略化された周辺関数のモデルにおける周辺関数の1次元化の説明図である。
【図3】簡略化された周辺関数のモデルにおけるマルチスケール畳み込み演算の説明図である。
【図4】簡略化された周辺関数のモデルにおける周辺画素の重複状態の説明図である。
【図5】(a)は、簡略化された周辺関数のモデルにおけるスケールを水平ベクトル成分と垂直ベクトル成分に分割することの説明図、(b)は、その水平ベクトル成分の説明図、(c)は、その垂直ベクトル成分の説明図である。
【図6】(a)は、水平ベクトル成分における周辺画素の重複状態の説明図、(b)は、垂直ベクトル成分における周辺画素の重複状態の説明図である。
【図7】水平ベクトル成分および垂直ベクトル成分からの周辺画素の画像情報の生成を説明するための概略図である。
【図8】(a)および(b)は、それぞれ、平坦化係数Kを算出する際の画像情報の依存関係の説明図である。
【図9】平坦化係数Kの更新を説明するための概略ブロック図である。
【図10】平坦化係数の更新方法を説明するためのフローチャートである。
【図11】画像情報のサンプリング回数の軽減する方法の説明図である。
【図12】畳み込み演算の回数を軽減する方法の説明図である。
【図13】(a)は、log演算の簡略化するために使用されるグラフ、(b)は、そのグラフを使用したlog演算の制御図である。
【図14】本発明の画像の輝度補正方法の実施に使用される補正システムの一例を示すブロック図である。
【図15】その動作説明のためのフローチャートである。
【符号の説明】
10a 水平ベクトル成分
10b 垂直ベクトル成分
11 注目画素
12 周辺画素
13 注目画素
14 周辺画素
15 画像フレーム
16 領域
17 領域
18 周辺画素
Claims (5)
- 原画像における所定のスケールサイズに対する注目画素の画像情報と、その注目画素に対して該スケールサイズに対応する複数の周辺画素の画像情報のそれぞれに基づいて得られる各周辺関数との畳み込み演算を、複数のスケールサイズ毎に実施して、前記注目画素の輝度を補正するマルチスケール網膜法によって画像の輝度を補正する方法であって、
前記各スケールサイズにおける各周辺画素の画像情報が、直交するx軸およびy軸に沿って配置された各周辺画素毎に段階的に変化するとともに前記注目画素に対して同心状態で配置されたそれぞれの周辺画素の画像情報が同レベルになるように簡略化されたモデルにおいて、前記注目画素に対してx軸方向またはy軸方向に沿って配置された周辺画素の周辺関数を演算する工程と、
演算された前記周辺関数と前記注目画素との畳み込み演算を実施して、その演算結果を、前記注目画素との畳み込み演算がされない他の周辺画素と該注目画素との畳み込み演算の結果として使用する工程と、
を包含する画像の輝度補正方法。 - 前記周辺画素の画像情報が、前記スケールサイズにおける前記x軸方向に沿った複数の周辺画素の画素情報である水平ベクトル成分と、前記y軸方向に沿った複数の周辺画素の画素情報である垂直ベクトル成分とを合成することによって得られる、請求項1に記載の画像の輝度補正方法。
- 前記周辺関数が、前記スケールサイズの全ての周辺画素よりも少ない個数の周辺画素に対して演算される、請求項1に記載の画像の輝度補正方法。
- 前記畳み込み演算が、前記x軸方向またはy軸方向に沿って配置された全ての周辺画素よりも少ない個数の周辺画素に対して実施される、請求項1に記載の画像の輝度補正方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24679399A JP3621304B2 (ja) | 1999-08-31 | 1999-08-31 | 画像の輝度補正方法 |
US09/652,154 US6947176B1 (en) | 1999-08-31 | 2000-08-31 | Method for correcting lightness of image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24679399A JP3621304B2 (ja) | 1999-08-31 | 1999-08-31 | 画像の輝度補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001078025A JP2001078025A (ja) | 2001-03-23 |
JP3621304B2 true JP3621304B2 (ja) | 2005-02-16 |
Family
ID=17153763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24679399A Expired - Fee Related JP3621304B2 (ja) | 1999-08-31 | 1999-08-31 | 画像の輝度補正方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6947176B1 (ja) |
JP (1) | JP3621304B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7068813B2 (en) | 2001-03-28 | 2006-06-27 | Koninklijke Philips Electronics N.V. | Method and apparatus for eye gazing smart display |
US7298917B2 (en) | 2002-11-11 | 2007-11-20 | Minolta Co., Ltd. | Image processing program product and device for executing Retinex processing |
US7760943B2 (en) * | 2003-10-02 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | Method to speed-up Retinex-type algorithms |
JP4765667B2 (ja) | 2006-02-27 | 2011-09-07 | ブラザー工業株式会社 | 画像処理プログラムおよび画像処理装置 |
JP4997846B2 (ja) * | 2006-06-30 | 2012-08-08 | ブラザー工業株式会社 | 画像処理プログラムおよび画像処理装置 |
US7920752B2 (en) | 2006-08-17 | 2011-04-05 | Brother Kogyo Kabushiki Kaisha | Image processing device that quickly performs retinex process |
JP4862554B2 (ja) | 2006-08-18 | 2012-01-25 | ブラザー工業株式会社 | 画像処理プログラムおよび画像処理装置 |
JP4867529B2 (ja) | 2006-08-30 | 2012-02-01 | ブラザー工業株式会社 | 画像処理プログラムおよび画像処理装置 |
US8081839B2 (en) | 2006-08-31 | 2011-12-20 | Brother Kogyo Kabushiki Kaisha | Image processor |
JP2008059287A (ja) | 2006-08-31 | 2008-03-13 | Brother Ind Ltd | 画像処理装置および画像処理プログラム |
US8437031B2 (en) | 2006-08-31 | 2013-05-07 | Brother Kogyo Kabushiki Kaisha | Image processing device and method for reducing an original image |
JP4735499B2 (ja) * | 2006-09-28 | 2011-07-27 | ブラザー工業株式会社 | 画像処理プログラムおよび画像処理装置 |
US7876474B2 (en) | 2006-10-31 | 2011-01-25 | Brother Kogyo Kabushiki Kaisha | Image processing device capable of suppressing over-correction in Retinex process |
US8165418B2 (en) | 2007-03-30 | 2012-04-24 | Brother Kogyo Kabushiki Kaisha | Image processor |
US8897524B2 (en) * | 2007-10-29 | 2014-11-25 | Ramot At Tel-Aviv University Ltd. | Method and device for processing computerized tomography images |
US8648942B2 (en) * | 2007-12-20 | 2014-02-11 | Ramot At Tel-Aviv University Ltd. | Method of and apparatus for processing images using saturation functions |
WO2012017440A1 (en) | 2010-08-05 | 2012-02-09 | Ramot At Tel-Aviv University Ltd. | Method and system for processing an image featuring multiple scales |
WO2013100926A1 (en) * | 2011-12-28 | 2013-07-04 | Intel Corporation | Memory cell array with dedicated nanoprocessors |
US20170018062A1 (en) * | 2014-03-31 | 2017-01-19 | Agency For Science, Technology And Research | Image processing devices and image processing methods |
US11887731B1 (en) * | 2019-04-22 | 2024-01-30 | Select Rehabilitation, Inc. | Systems and methods for extracting patient diagnostics from disparate |
CN110727223A (zh) * | 2019-10-22 | 2020-01-24 | 西安科技大学 | 基于井下采煤工作面的环式轨道智能巡检机器人及其应用 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4384336A (en) * | 1980-08-29 | 1983-05-17 | Polaroid Corporation | Method and apparatus for lightness imaging |
US6834125B2 (en) * | 2001-06-25 | 2004-12-21 | Science And Technology Corp. | Method of improving a digital image as a function of its dynamic range |
US7116836B2 (en) * | 2002-01-23 | 2006-10-03 | Sony Corporation | Method and apparatus for enhancing an image using a wavelet-based retinex algorithm |
-
1999
- 1999-08-31 JP JP24679399A patent/JP3621304B2/ja not_active Expired - Fee Related
-
2000
- 2000-08-31 US US09/652,154 patent/US6947176B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001078025A (ja) | 2001-03-23 |
US6947176B1 (en) | 2005-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3621304B2 (ja) | 画像の輝度補正方法 | |
US6754398B1 (en) | Method of and system for image processing and recording medium for carrying out the method | |
JP4076302B2 (ja) | 画像の輝度補正方法 | |
EP2574216B1 (en) | Method and device for recovering a digital image from a sequence of observed digital images | |
CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
JP3995854B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
EP1751708B1 (en) | Super-resolution image processing | |
JP3731577B2 (ja) | 画像処理プログラム | |
JP2001313844A (ja) | 局所的な色補正を実行する方法および装置 | |
JP2012018669A (ja) | デジタル入力画像を処理する方法 | |
GB2547842A (en) | Image processing device and method, image pickup device, program, and recording medium | |
CN108604302A (zh) | 用于计算机视觉的自适应双边(bl)滤波 | |
Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
CN110430403A (zh) | 一种图像处理方法和装置 | |
Paranjape | Fundamental enhancement techniques | |
CN117437118A (zh) | 图像处理方法、装置及电子设备 | |
CN111222446B (zh) | 人脸识别方法、人脸识别装置及移动终端 | |
JPH0991421A (ja) | 画像処理方法および装置 | |
Kimmel et al. | Variational famework for Retinex | |
US20120155784A1 (en) | Image processing apparatus and image processing method | |
CN111383171B (zh) | 一种图片处理方法、***及终端设备 | |
JPH08272960A (ja) | 画像のフィルタリング処理方法 | |
JP3249956B2 (ja) | 補間方法 | |
CN117710250B (zh) | 一种消除纤维镜成像蜂窝状结构的方法 | |
RU2367019C2 (ru) | Способ интерполяции цифрового изображения |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041117 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |