JP2017146766A - Image processing device, image processing method, and image processing program - Google Patents

Image processing device, image processing method, and image processing program Download PDF

Info

Publication number
JP2017146766A
JP2017146766A JP2016027820A JP2016027820A JP2017146766A JP 2017146766 A JP2017146766 A JP 2017146766A JP 2016027820 A JP2016027820 A JP 2016027820A JP 2016027820 A JP2016027820 A JP 2016027820A JP 2017146766 A JP2017146766 A JP 2017146766A
Authority
JP
Japan
Prior art keywords
pixel data
light component
data
component estimation
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016027820A
Other languages
Japanese (ja)
Inventor
啓太 林
Keita Hayashi
啓太 林
拓郎 内田
Takuro Uchida
拓郎 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2016027820A priority Critical patent/JP2017146766A/en
Publication of JP2017146766A publication Critical patent/JP2017146766A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device which can improve contrast.SOLUTION: A storage unit 10 stores each pixel data of a frame constituted by a luminance signal. An illumination light component estimation unit 20 performs the convolutional arithmetic operation of a filter coefficient constituting a low-pass filter with respect to the plurality of pieces of pixel data in a filtering region with each target pixel data Pi as the center that are read from the storage unit 10 and generates an illumination light component estimation signal L in a pixel unit. A reflection light component estimation unit 30 divides the target pixel data Pi by the illumination light component estimation signal L and generates the first correction pixel data APi in the pixel unit. A gain adjustment unit 50 adjusts the gain of the first correction pixel data APi to generate the second correction pixel data AP. The second correction pixel data AP is supplied to the storage unit 10 and each target pixel data Pi is overwritten with the second correction pixel data AP.SELECTED DRAWING: Figure 1

Description

本発明は、画像のコントラストを改善する画像処理装置、画像処理方法、画像処理プログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and an image processing program for improving the contrast of an image.

特許文献1に記載されているように、画像にレティネックス(Retinex)処理を施してコントラストを改善する画像処理装置が知られている。   As described in Patent Document 1, there is known an image processing apparatus for improving contrast by performing Retinex processing on an image.

特開2012−108898号公報JP 2012-108898 A

画像にレティネックス処理を施す従来の画像処理装置によれば、物体の輪郭部にハロと称される画質を劣化させる現象が発生することがある。ハロの発生が少なく、コントラストを改善することが求められている。   According to a conventional image processing apparatus that performs Retinex processing on an image, a phenomenon called “halo” that degrades image quality may occur in the contour portion of an object. There is a demand for improving the contrast with less generation of halo.

本発明は、ハロの発生が少なく、コントラストを改善することができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。   An object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program that can improve the contrast with less occurrence of halo.

本発明は、上述した従来の技術の課題を解決するため、所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶する記憶部と、前記記憶部より読み出された、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成する照明光成分推定部と、前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第1の補正画素データを生成する反射光成分推定部と、前記第1の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第2の補正画素データを生成するゲイン調整部とを備え、前記第2の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第2の補正画素データを上書きして、前記それぞれの注目画素データを前記第2の補正画素データに置換するように構成されていることを特徴とする画像処理装置を提供する。   In order to solve the above-described problems of the related art, the present invention has a storage unit that stores each pixel data of a frame having a predetermined number of bits and configured by a luminance signal, and is read from the storage unit , A plurality of pixel data in a filtering area centered on each pixel of interest data in the frame is subjected to a convolution operation with a filter coefficient constituting a low-pass filter to generate an illumination light component estimation signal for each pixel. An illumination light component estimation unit; and a reflected light component estimation unit that divides the pixel-of-interest data by the illumination light component estimation signal to generate first corrected pixel data in units of pixels corresponding to the reflected light component estimation signal; A gain adjustment unit that adjusts the gain of the first correction pixel data and generates second correction pixel data in units of pixels having the predetermined number of bits, The correction pixel data is supplied to the storage unit, the second correction pixel data is overwritten on the respective target pixel data, and the respective target pixel data is replaced with the second correction pixel data. An image processing apparatus is provided.

本発明は、上述した従来の技術の課題を解決するため、所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶部に記憶し、前記記憶部より読み出された、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成し、前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第1の補正画素データを生成し、前記第1の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第2の補正画素データを生成し、前記第2の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第2の補正画素データを上書きして、前記それぞれの注目画素データを前記第2の補正画素データに置換することを特徴とする画像処理方法を提供する。   In order to solve the above-described problems of the related art, the present invention stores each pixel data of a frame having a predetermined number of bits and configured by a luminance signal in a storage unit, and is read from the storage unit Then, a plurality of pixel data in the filtering region centered on each pixel-of-interest pixel data in the frame is subjected to a convolution operation with a filter coefficient constituting a low-pass filter to generate an illumination light component estimation signal in pixel units. The pixel-of-interest data is divided by the illumination light component estimation signal to generate first correction pixel data in pixel units corresponding to the reflected light component estimation signal, and the gain of the first correction pixel data is adjusted. Generating second correction pixel data in units of pixels having the predetermined number of bits, supplying the second correction pixel data to the storage unit, and The second override the corrected pixel data, to provide an image processing method characterized by replacing each of the target pixel data and the said second correction pixel data.

本発明は、上述した従来の技術の課題を解決するため、コンピュータに、所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶している記憶部より、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データを読み出すステップと、前記複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成するステップと、前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第1の補正画素データを生成するステップと、前記第1の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第2の補正画素データを生成するステップと、前記第2の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第2の補正画素データを上書きして、前記それぞれの注目画素データを前記第2の補正画素データに置換するステップとを実行させることを特徴とする画像処理プログラムを提供する。   In order to solve the above-described problems of the prior art, the present invention provides a computer having a predetermined number of bits and a storage unit storing each pixel data of a frame configured by a luminance signal. A step of reading out a plurality of pixel data in a filtering region centered on each of the target pixel data and a convolution calculation of a filter coefficient constituting a low-pass filter with respect to the plurality of pixel data, thereby providing illumination light in pixel units Generating a component estimation signal; dividing the pixel-of-interest data by the illumination light component estimation signal to generate first corrected pixel data in pixel units corresponding to the reflected light component estimation signal; Adjusting the gain of one correction pixel data to generate second correction pixel data in pixel units having the predetermined number of bits; Supplying the second correction pixel data to the storage unit, overwriting the second correction pixel data on the respective pixel-of-interest data, and replacing the respective pixel-of-interest data with the second correction pixel data; An image processing program is provided for executing the steps of:

本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、ハロの発生が少なく、高画質にコントラストを改善することができる。   According to the image processing apparatus, the image processing method, and the image processing program of the present invention, the occurrence of halo is small, and the contrast can be improved with high image quality.

一実施形態の画像処理装置を示すブロック図である。It is a block diagram which shows the image processing apparatus of one Embodiment. 画像データのフレームを構成する画素データを概念的に示す図である。It is a figure which shows notionally the pixel data which comprise the flame | frame of image data. フィルタリング領域を25画素としたときのガウシアンフィルタを構成するフィルタ係数を示す図である。It is a figure which shows the filter coefficient which comprises a Gaussian filter when a filtering area | region is 25 pixels. フィルタリング領域を9画素としたときのガウシアンフィルタを構成するフィルタ係数を示す図である。It is a figure which shows the filter coefficient which comprises a Gaussian filter when a filtering area | region is 9 pixels. 図1における非線形処理部40及びゲイン調整部50の動作を説明するための特性図である。It is a characteristic view for demonstrating operation | movement of the nonlinear process part 40 and the gain adjustment part 50 in FIG. 画素データP(1,1)が注目画素データPiであるときの、図1における記憶部10及び照明光成分推定部20の動作を説明するための図である。It is a figure for demonstrating operation | movement of the memory | storage part 10 and the illumination light component estimation part 20 in FIG. 1 when pixel data P (1, 1) is attention pixel data Pi. フィルタリング領域にフィルタ係数を畳み込み演算する際に、画素データが存在しない画素位置に画素データを補間する補間方法の一例を示す図である。It is a figure which shows an example of the interpolation method which interpolates pixel data in the pixel position where pixel data does not exist, when convolving a filter coefficient to a filtering area | region. 画素データP(1,2)が注目画素データPiであるときの、記憶部10及び照明光成分推定部20の動作を説明するための図である。It is a figure for demonstrating operation | movement of the memory | storage part 10 and the illumination light component estimation part 20 when pixel data P (1, 2) is attention pixel data Pi. 画素データP(4,5)が注目画素データPiであるときの、フィルタ係数が畳み込み演算されるフィルタリング領域の状態を示す図である。It is a figure which shows the state of the filtering area | region where a filter coefficient is convolved when pixel data P (4, 5) is attention pixel data Pi. 一実施形態の画像処理装置の動作及び一実施形態の画像処理方法を示すフローチャートである。3 is a flowchart illustrating an operation of an image processing apparatus according to an embodiment and an image processing method according to an embodiment. 一実施形態の画像処理プログラムを実行するコンピュータの構成例を示すブロック図である。It is a block diagram which shows the structural example of the computer which performs the image processing program of one Embodiment. 一実施形態の画像処理装置の応用例を示すブロック図である。It is a block diagram which shows the application example of the image processing apparatus of one Embodiment.

以下、一実施形態の画像処理装置、画像処理方法、画像処理プログラムについて、添付図面を参照して説明する。   Hereinafter, an image processing apparatus, an image processing method, and an image processing program according to an embodiment will be described with reference to the accompanying drawings.

図1において、一実施形態の画像処理装置100は、記憶部10と、照明光成分推定部20と、反射光成分推定部30と、非線形処理部40と、ゲイン調整部50とを備える。画像処理装置100は、レティネックス処理を応用した構成である。   In FIG. 1, an image processing apparatus 100 according to an embodiment includes a storage unit 10, an illumination light component estimation unit 20, a reflected light component estimation unit 30, a nonlinear processing unit 40, and a gain adjustment unit 50. The image processing apparatus 100 is configured by applying Retinex processing.

記憶部10はフレームメモリであり、例えばRAMによって構成することができる。記憶部10には、デジタル信号である画像データDinを構成する画素データが順次入力されて記憶される。画像データDinは例えば8ビットである。画像データDinは、遠赤外線カメラによって被写体を撮像した遠赤外線画像の輝度信号であってもよいし、カラー画像データより分離した輝度信号であってもよい。   The storage unit 10 is a frame memory, and can be configured by a RAM, for example. Pixel data constituting image data Din, which is a digital signal, is sequentially input and stored in the storage unit 10. The image data Din is, for example, 8 bits. The image data Din may be a luminance signal of a far infrared image obtained by imaging a subject with a far infrared camera, or may be a luminance signal separated from color image data.

図2に示すように、画像データDinのフレームFは、垂直方向にnライン、水平方向にm画素で構成されている。n及びmは任意の整数である。それぞれの画素データを垂直方向のライン番号と水平方向の画素番号とで、P(1,1),P(1,2),P(1,3)…のように表すこととする。フレームFは、n×mの画素データP(1,1)〜P(n,m)によって構成されている。   As shown in FIG. 2, the frame F of the image data Din is composed of n lines in the vertical direction and m pixels in the horizontal direction. n and m are arbitrary integers. Each pixel data is expressed as P (1,1), P (1,2), P (1,3),... By a vertical line number and a horizontal pixel number. The frame F is composed of n × m pixel data P (1, 1) to P (n, m).

記憶部10からは、画素データP(1,1)から画素データP(n,m)までの画素データが1つずつ順に注目画素データPiとして読み出される。注目画素データPiは、反射光成分推定部30に供給される。また、記憶部10からは、それぞれの注目画素データPiを中心とした例えば垂直方向5画素、水平方向5画素の25画素分の画素データPfが読み出される。画素データPfは照明光成分推定部20に供給される。   From the storage unit 10, pixel data from pixel data P (1,1) to pixel data P (n, m) are sequentially read out as target pixel data Pi one by one. The pixel-of-interest data Pi is supplied to the reflected light component estimation unit 30. Further, from the storage unit 10, pixel data Pf for 25 pixels, for example, 5 pixels in the vertical direction and 5 pixels in the horizontal direction, with each pixel-of-interest data Pi as the center is read. Pixel data Pf is supplied to the illumination light component estimation unit 20.

記憶部10から注目画素データPiを中心とした垂直方向3画素、水平方向3画素の9画素分の画素データPfが読み出されて、照明光成分推定部20に供給されてもよい。25画素分の画素データPfまたは9画素分の画素データPfをフィルタリング領域の画素データPfと称することとする。フィルタリング領域は、25画素または9画素の領域に限定されない。   The pixel data Pf for 9 pixels of 3 pixels in the vertical direction and 3 pixels in the horizontal direction centered on the target pixel data Pi from the storage unit 10 may be read and supplied to the illumination light component estimation unit 20. The pixel data Pf for 25 pixels or the pixel data Pf for 9 pixels will be referred to as pixel data Pf in the filtering area. The filtering area is not limited to an area of 25 pixels or 9 pixels.

照明光成分推定部20は、入力されたフィルタリング領域の画素データPfにフィルタ係数を畳み込み演算して、照明光成分推定信号Lを出力する。照明光成分推定部20は、画素データPfに対してローパスフィルタを構成するフィルタ係数を畳み込み演算する。好ましくは、照明光成分推定部20は、画素データPfに対してガウシアンフィルタを構成するフィルタ係数を畳み込み演算する。   The illumination light component estimation unit 20 performs a convolution operation with the filter coefficient on the pixel data Pf of the input filtering region, and outputs an illumination light component estimation signal L. The illumination light component estimation unit 20 performs a convolution operation on the filter coefficients constituting the low-pass filter with respect to the pixel data Pf. Preferably, the illumination light component estimation unit 20 performs a convolution operation on the filter coefficients constituting the Gaussian filter with respect to the pixel data Pf.

図3は、フィルタリング領域が25画素であり、ガウシアンフィルタを構成するフィルタ係数Co25を示している。図4は、フィルタリング領域が9画素であり、ガウシアンフィルタを構成するフィルタ係数Co9を示している。以下、照明光成分推定部20の動作を、フィルタリング領域を25画素として、フィルタ係数Co25を用いる場合を例として説明する。   FIG. 3 shows a filter coefficient Co25 that has a filtering area of 25 pixels and constitutes a Gaussian filter. FIG. 4 shows a filter coefficient Co9 that has a filtering area of 9 pixels and constitutes a Gaussian filter. Hereinafter, the operation of the illumination light component estimation unit 20 will be described as an example in which the filtering region is 25 pixels and the filter coefficient Co25 is used.

照明光成分推定部20は、それぞれの注目画素データPiを中心としたフィルタリング領域にフィルタ係数Co25を畳み込み演算して、画素単位の照明光成分推定信号Lを出力する。照明光成分推定信号Lは、反射光成分推定部30に供給される。   The illumination light component estimation unit 20 performs a convolution operation on the filter coefficient Co25 in the filtering region centered on each pixel of interest data Pi, and outputs an illumination light component estimation signal L for each pixel. The illumination light component estimation signal L is supplied to the reflected light component estimation unit 30.

反射光成分推定部30は、注目画素データPiを照明光成分推定信号Lで除算することによって、画素単位の補正画素データAPiを生成する。補正画素データAPiは、第1の補正画素データである。補正画素データAPiは、反射光成分推定信号に相当する。補正画素データAPiは、非線形処理部40に供給される。   The reflected light component estimation unit 30 divides the pixel-of-interest data Pi by the illumination light component estimation signal L to generate corrected pixel data APi for each pixel. The correction pixel data APi is first correction pixel data. The corrected pixel data APi corresponds to a reflected light component estimation signal. The corrected pixel data APi is supplied to the nonlinear processing unit 40.

非線形処理部40は、入力された補正画素データAPiを非線形処理して出力する。非線形処理部40を照明光成分推定部20と反射光成分推定部30との間に設けて、照明光成分推定信号Lを非線形処理してもよい。非線形処理部40を設けることは必須ではなく、削除してもよい。   The non-linear processing unit 40 performs non-linear processing on the input corrected pixel data APi and outputs it. A nonlinear processing unit 40 may be provided between the illumination light component estimation unit 20 and the reflected light component estimation unit 30 to perform nonlinear processing on the illumination light component estimation signal L. The provision of the non-linear processing unit 40 is not essential and may be deleted.

ゲイン調整部50は、非線形処理された補正画素データAPiのゲインを調整して、8ビットの0〜255のいずれかの値をとる補正画像データDoutを出力する。補正画像データDoutを構成する画素単位の補正画素データAPは、記憶部10にフィードバックされるように構成されている。補正画素データAPは、第2の補正画素データである。   The gain adjusting unit 50 adjusts the gain of the corrected pixel data APi that has been subjected to nonlinear processing, and outputs corrected image data Dout that takes any value of 0 to 255 of 8 bits. The corrected pixel data AP for each pixel constituting the corrected image data Dout is configured to be fed back to the storage unit 10. The correction pixel data AP is second correction pixel data.

図5において、横軸は反射光成分推定部30より出力された補正画素データAPi、縦軸はゲイン調整部50より出力された補正画像データDoutを示している。横軸の補正画素データAPiがとる数値は単なる一例である。   In FIG. 5, the horizontal axis represents the corrected pixel data APi output from the reflected light component estimation unit 30, and the vertical axis represents the corrected image data Dout output from the gain adjustment unit 50. The numerical value taken by the correction pixel data APi on the horizontal axis is merely an example.

図5において、実線で示す直線DOは、非線形処理部40によって補正画素データAPiを非線形処理しない場合のリニアな特性の補正画像データDoutを示している。一点鎖線で示す曲線D1は、非線形処理部40によって補正画素データAPiを2乗する非線形処理を施した場合の補正画像データDoutを示している。曲線D1で示す特性は、直線DOで示すリニアな特性と比較してダイナミックレンジが狭くなる。   In FIG. 5, a straight line DO indicated by a solid line indicates the corrected image data Dout having a linear characteristic when the nonlinear processing unit 40 does not nonlinearly process the corrected pixel data APi. A curved line D1 indicated by a one-dot chain line indicates the corrected image data Dout when the nonlinear processing unit 40 performs nonlinear processing for squaring the corrected pixel data APi. The characteristic indicated by the curve D1 has a narrower dynamic range than the linear characteristic indicated by the straight line DO.

破線で示す曲線D2は、曲線D1で示す特性のダイナミックレンジを拡大するよう、ニー補正開始点Pknよりニー補正処理を施した場合の補正画像データDoutを示している。曲線D1及びD2で示す特性は、非線形処理の例であり、非線形処理部40がどのように補正画素データAPiを非線形処理するかは限定されない。   A curved line D2 indicated by a broken line indicates corrected image data Dout when knee correction processing is performed from the knee correction starting point Pkn so as to expand the dynamic range of the characteristic indicated by the curved line D1. The characteristics indicated by the curves D1 and D2 are examples of nonlinear processing, and how the nonlinear processing unit 40 nonlinearly processes the correction pixel data APi is not limited.

図6〜図9を用いて、記憶部10及び照明光成分推定部20の動作をさらに詳細に説明する。   The operations of the storage unit 10 and the illumination light component estimation unit 20 will be described in more detail with reference to FIGS.

図6の(a)に示すように、画素データP(1,1)が注目画素データPiであるとき、照明光成分推定部20は、画素データP(1,1)を中心とするフィルタリング領域にフィルタ係数Co25を畳み込み演算する。図6〜図9においては、フィルタ係数Co25の数値を省略して図示している。   As shown in FIG. 6A, when the pixel data P (1,1) is the pixel-of-interest data Pi, the illumination light component estimation unit 20 performs a filtering region centered on the pixel data P (1,1). And the filter coefficient Co25 is convolved. 6 to 9, the numerical value of the filter coefficient Co25 is omitted.

このとき、フィルタリング領域のうち、画素データP(1,1)〜P(1,3),P(2,1)〜P(2,3),P(3,1)〜P(3,3)以外の部分は画素データが存在しない。照明光成分推定部20は、画素データが存在しない場合には、画素データが存在しない画素位置に例えば画素データP(1,1)〜P(1,3),P(2,1),P(3,1)を補間して、フィルタ係数Co25を畳み込み演算する。   At this time, pixel data P (1,1) to P (1,3), P (2,1) to P (2,3), P (3,1) to P (3,3) in the filtering area. Pixel data does not exist in any part other than). When the pixel data does not exist, the illumination light component estimation unit 20 has, for example, pixel data P (1,1) to P (1,3), P (2,1), P at pixel positions where the pixel data does not exist. (3,1) is interpolated and the filter coefficient Co25 is convolved.

具体的には、照明光成分推定部20は、例えば図7に示すように画素データを補間すればよい。照明光成分推定部20は、画素データP(1,1)の上方、左方、及び斜め方向に位置する画素データが存在しない画素位置には画素データP(1,1)を補間する。   Specifically, the illumination light component estimation unit 20 may interpolate pixel data as shown in FIG. 7, for example. The illumination light component estimation unit 20 interpolates the pixel data P (1,1) at pixel positions where pixel data located in the upper, left, and diagonal directions of the pixel data P (1,1) does not exist.

照明光成分推定部20は、画素データP(1,2)及びP(1,3)の上方に位置する画素データが存在しない画素位置にはそれぞれ画素データP(1,2)及びP(1,3)を補間する。画素データP(2,1)及びP(3,1)の左方に位置する画素データが存在しない画素位置にはそれぞれ画素データP(2,1)及びP(3,1)を補間する。   The illumination light component estimation unit 20 has pixel data P (1,2) and P (1) at pixel positions where pixel data located above the pixel data P (1,2) and P (1,3) does not exist. , 3) is interpolated. Pixel data P (2,1) and P (3,1) are interpolated at pixel positions where pixel data located to the left of the pixel data P (2,1) and P (3,1) does not exist.

画素データP(1,1)が注目画素データPiであるときに反射光成分推定部30によって生成された補正画素データAPiは、非線形処理部40によって非線形処理され、ゲイン調整部50によってゲインが調整されて、補正画像データDoutの1画素分である補正画素データAP(1,1)として記憶部10にフィードバックされる。   The corrected pixel data APi generated by the reflected light component estimation unit 30 when the pixel data P (1,1) is the target pixel data Pi is nonlinearly processed by the nonlinear processing unit 40, and the gain is adjusted by the gain adjusting unit 50. Then, the corrected pixel data AP (1, 1) corresponding to one pixel of the corrected image data Dout is fed back to the storage unit 10.

図6の(b)に示すように、記憶部10は、画素データP(1,1)に補正画素データAP(1,1)を上書きする。   As shown in FIG. 6B, the storage unit 10 overwrites the pixel data P (1,1) with the corrected pixel data AP (1,1).

次に、図8の(a)に示すように、画素データP(1,2)が注目画素データPiであるとき、照明光成分推定部20は、画素データP(1,2)を中心とするフィルタリング領域にフィルタ係数Co25を畳み込み演算する。図7と同様に、照明光成分推定部20は、画素データが存在しない場合には、画素データが存在しない画素位置に画素データを補間して、フィルタ係数Co25を畳み込み演算する。   Next, as shown in FIG. 8A, when the pixel data P (1,2) is the target pixel data Pi, the illumination light component estimation unit 20 centers on the pixel data P (1,2). The filter coefficient Co25 is convolved with the filtering region to be performed. Similarly to FIG. 7, when the pixel data does not exist, the illumination light component estimation unit 20 interpolates the pixel data at the pixel position where the pixel data does not exist, and performs a convolution operation on the filter coefficient Co25.

画素データP(1,2)が注目画素データPiであるとき、記憶部10の画素データP(1,1)は補正画素データAP(1,1)に置換されている。そこで、照明光成分推定部20は、補正画素データAP(1,1)の上方、左方、及び斜め方向に位置する画素データが存在しない画素位置には補正画素データAP(1,1)を補間する。   When the pixel data P (1,2) is the target pixel data Pi, the pixel data P (1,1) in the storage unit 10 is replaced with the corrected pixel data AP (1,1). Therefore, the illumination light component estimation unit 20 applies the correction pixel data AP (1,1) to pixel positions where pixel data located in the upper, left, and diagonal directions of the correction pixel data AP (1,1) does not exist. Interpolate.

画素データP(1,2)が注目画素データPiであるときに反射光成分推定部30によって生成された補正画素データAPiは、非線形処理部40によって非線形処理され、ゲイン調整部50によってゲインが調整されて、補正画像データDoutの1画素分である補正画素データAP(1,2)として記憶部10にフィードバックされる。   The corrected pixel data APi generated by the reflected light component estimation unit 30 when the pixel data P (1,2) is the target pixel data Pi is nonlinearly processed by the nonlinear processing unit 40, and the gain is adjusted by the gain adjusting unit 50. Then, it is fed back to the storage unit 10 as corrected pixel data AP (1, 2) that is one pixel of the corrected image data Dout.

図8の(b)に示すように、記憶部10は、画素データP(1,2)に補正画素データAP(1,2)を上書きする。   As shown in FIG. 8B, the storage unit 10 overwrites the pixel data P (1,2) with the corrected pixel data AP (1,2).

画像処理装置100は以上の動作を画素単位で繰り返すので、例えば画素データP(4,5)が注目画素データPiであるとき、図9に示すように、画素データP(4,5)より前の全ての画素データは、補正画素データAP(1,1)〜AP(1,m),AP(2,1)〜AP(2,m),AP(3,1)〜AP(3,m),AP(4,1)〜AP(4,4)に置換されている。   Since the image processing apparatus 100 repeats the above operation in units of pixels, for example, when the pixel data P (4, 5) is the target pixel data Pi, as shown in FIG. All pixel data of the corrected pixel data AP (1,1) to AP (1, m), AP (2,1) to AP (2, m), AP (3,1) to AP (3, m ), AP (4, 1) to AP (4, 4).

図9に示すように画素データP(4,5)が注目画素データPiであるとき、照明光成分推定部20は、画素データP(4,5)を中心とするフィルタリング領域にフィルタ係数Co25を畳み込み演算する。このとき、フィルタリング領域内の画素データP(4,5)より前の全ての画素データは、補正画素データAPiに基づいて生成された補正画素データAP(2,3)〜AP(2,7),AP(3,3)〜AP(3,7),AP(4,3)〜AP(4,4)である。   As shown in FIG. 9, when the pixel data P (4, 5) is the target pixel data Pi, the illumination light component estimation unit 20 applies the filter coefficient Co25 to the filtering region centered on the pixel data P (4, 5). Convolution operation. At this time, all the pixel data before the pixel data P (4, 5) in the filtering area are corrected pixel data AP (2, 3) to AP (2, 7) generated based on the corrected pixel data APi. , AP (3, 3) to AP (3, 7), AP (4, 3) to AP (4, 4).

このように、画像処理装置100は、注目画素データPiが画素データP(1,2)以降、フィルタリング領域内に既に反射光成分推定部30によって反射光成分推定信号とされた補正画素データAPiに基づく補正画素データAPを含む。   In this way, the image processing apparatus 100 converts the pixel data Pi of interest into the corrected pixel data APi that has already been set as the reflected light component estimation signal by the reflected light component estimation unit 30 within the filtering area after the pixel data P (1, 2). Based correction pixel data AP.

従って、画像処理装置100によれば、画像にレティネックス処理を施す従来の画像処理装置と比較して、ハロの発生が少なく高画質であり、より効果的にコントラストを改善することができる。特に、画像処理装置100によれば、低輝度部におけるコントラストを改善することができる。画像処理装置100によれば、解像感も向上させることができる。   Therefore, according to the image processing apparatus 100, compared with a conventional image processing apparatus that performs Retinex processing on an image, the generation of halos is low, the image quality is high, and the contrast can be improved more effectively. In particular, according to the image processing apparatus 100, it is possible to improve the contrast in the low luminance part. According to the image processing apparatus 100, the sense of resolution can also be improved.

図10に示すフローチャートを用いて、画像処理装置100の動作及び一実施形態の画像処理方法を説明する。図10において、ステップS1にて、記憶部10は画像データDinを記憶し、注目画素データPiを中心とするフィルタリング領域の画素データPfを出力する。   The operation of the image processing apparatus 100 and the image processing method according to an embodiment will be described with reference to the flowchart shown in FIG. In FIG. 10, in step S <b> 1, the storage unit 10 stores the image data Din and outputs pixel data Pf of a filtering region centered on the target pixel data Pi.

照明光成分推定部20は、ステップS2にて、画素データPfにフィルタ係数Co25(またはCo9)を畳み込み演算して、照明光成分推定信号Lを生成する。反射光成分推定部30は、ステップS3にて、注目画素データPiを照明光成分推定信号Lで除算して、補正画素データAPiを生成する。   In step S2, the illumination light component estimation unit 20 performs a convolution operation on the pixel data Pf with the filter coefficient Co25 (or Co9) to generate an illumination light component estimation signal L. In step S <b> 3, the reflected light component estimation unit 30 divides the target pixel data Pi by the illumination light component estimation signal L to generate corrected pixel data APi.

非線形処理部40は、ステップS4にて、補正画素データAPiを非線形処理する。ゲイン調整部50は、ステップS5にて、補正画素データAPiのゲインを調整し、ステップS6にて、補正画像データDoutを出力する。   In step S4, the nonlinear processing unit 40 performs nonlinear processing on the corrected pixel data APi. The gain adjusting unit 50 adjusts the gain of the corrected pixel data APi in step S5, and outputs the corrected image data Dout in step S6.

記憶部10は、ステップS7にて、注目画素データPiに補正画像データDoutを構成する補正画素データAPを上書きして、注目画素データPiを補正画素データAPに置換する。   In step S7, the storage unit 10 overwrites the target pixel data Pi with the correction pixel data AP constituting the corrected image data Dout, and replaces the target pixel data Pi with the correction pixel data AP.

画像処理装置100は、ステップS8にて、画像データDinのフレームFの全画素データに対してステップS2〜S7の処理が終了したか否かを判定する。全画素データに対して処理が終了していなければ(NO)、画像処理装置100は処理をステップS1に戻してステップS1〜S8の処理を繰り返す。全画素データに対して処理が終了していれば(YES)、画像処理装置100は画像データDinのフレームFに対する処理を終了させる。   In step S8, the image processing apparatus 100 determines whether or not the processing of steps S2 to S7 has been completed for all the pixel data of the frame F of the image data Din. If the process has not been completed for all the pixel data (NO), the image processing apparatus 100 returns the process to step S1 and repeats the processes of steps S1 to S8. If the processing has been completed for all the pixel data (YES), the image processing apparatus 100 ends the processing for the frame F of the image data Din.

図1に示す画像処理装置100における照明光成分推定部20と、反射光成分推定部30と、非線形処理部40と、ゲイン調整部50の部分を、コンピュータプログラム(画像処理プログラム)で構成してもよい。   The illumination light component estimation unit 20, the reflected light component estimation unit 30, the nonlinear processing unit 40, and the gain adjustment unit 50 in the image processing apparatus 100 shown in FIG. 1 are configured by a computer program (image processing program). Also good.

図11において、コンピュータ200は、演算処理装置(CPU)201と、記憶部202とを備える。記憶部202は、一実施形態の画像処理プログラムを記憶している。画像処理プログラムは、図10で説明した処理をCPU201に実行させる。記憶部202は、図1における記憶部10と共用されていてもよく、記憶部10とは別体であってもよい。   In FIG. 11, a computer 200 includes an arithmetic processing unit (CPU) 201 and a storage unit 202. The storage unit 202 stores an image processing program according to an embodiment. The image processing program causes the CPU 201 to execute the processing described with reference to FIG. The storage unit 202 may be shared with the storage unit 10 in FIG. 1 or may be separate from the storage unit 10.

画像処理プログラムは、CPU201に以下の各ステップを実行させればよい。記憶部10は、所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶している。   The image processing program may cause the CPU 201 to execute the following steps. The storage unit 10 has a predetermined number of bits and stores each pixel data of a frame configured by a luminance signal.

画像処理プログラムは、CPU201に、記憶部10より、フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データを読み出すステップを実行させる。   The image processing program causes the CPU 201 to execute, from the storage unit 10, a step of reading a plurality of pixel data in the filtering region centered on each target pixel data in the frame.

画像処理プログラムは、CPU201に、複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成するステップを実行させる。   The image processing program causes the CPU 201 to perform a step of generating a illuminating light component estimation signal for each pixel by convolving a filter coefficient constituting a low-pass filter with respect to a plurality of pixel data.

画像処理プログラムは、CPU201に、注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第1の補正画素データを生成するステップを実行させる。   The image processing program causes the CPU 201 to execute the step of dividing the pixel-of-interest data by the illumination light component estimation signal to generate first corrected pixel data in pixel units corresponding to the reflected light component estimation signal.

画像処理プログラムは、CPU201に、第1の補正画素データのゲインを調整して、上記の所定のビット数を有する画素単位の第2の補正画素データを生成するステップを実行させる。   The image processing program causes the CPU 201 to adjust the gain of the first correction pixel data and generate the second correction pixel data in units of pixels having the predetermined number of bits.

画像処理プログラムは、CPU201に、第2の補正画素データを記憶部10に供給し、それぞれの注目画素データに第2の補正画素データを上書きして、それぞれの注目画素データを第2の補正画素データに置換するステップを実行させる。   The image processing program supplies the CPU 201 with the second correction pixel data to the storage unit 10, overwrites the respective target pixel data with the second correction pixel data, and sets each target pixel data as the second correction pixel. The step of replacing with data is executed.

画像処理装置100は、図11に示すように、RGB信号を処理する装置の一部として構成されていてもよい。図12において、輝度・色差変換部60は、RGB信号RGBinを輝度信号Yinと2つの色差信号Pb,Prに変換する。色差信号Pb,Prの代わりに色差信号Cb,Crであってもよく、2つの色差信号はUV,URと称されてもよい。   As shown in FIG. 11, the image processing apparatus 100 may be configured as a part of an apparatus that processes RGB signals. In FIG. 12, a luminance / color difference conversion unit 60 converts an RGB signal RGBin into a luminance signal Yin and two color difference signals Pb and Pr. The color difference signals Cb and Cr may be used instead of the color difference signals Pb and Pr, and the two color difference signals may be referred to as UV and UR.

画像処理装置100は、輝度信号Yinを上述のように処理して輝度信号Youtを出力する。RGB変換部70は、輝度信号Youtと色差信号Pb,Prとに基づいて、RGB信号RGBoutを生成して出力する。   The image processing apparatus 100 processes the luminance signal Yin as described above and outputs the luminance signal Yout. The RGB converter 70 generates and outputs an RGB signal RGBout based on the luminance signal Yout and the color difference signals Pb and Pr.

RGB信号RGBinではなく予め輝度信号Yinと2つの色差信号Pb,Prに分離されていれば、輝度・色差変換部60は不要である。RGB信号RGBoutを生成する必要がなければ、RGB変換部70は不要であり、輝度信号Youtと色差信号Pb,Prとを別々に出力すればよい。   If the luminance signal Yin and the two color difference signals Pb and Pr are separated in advance instead of the RGB signal RGBin, the luminance / color difference conversion unit 60 is unnecessary. If it is not necessary to generate the RGB signal RGBout, the RGB conversion unit 70 is unnecessary, and the luminance signal Yout and the color difference signals Pb and Pr may be output separately.

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。   The present invention is not limited to the embodiment described above, and various modifications can be made without departing from the scope of the present invention.

10,202 記憶部
20 照明光成分推定部
30 反射光成分推定部
40 非線形処理部
50 ゲイン調整部
100 画像処理装置
200 コンピュータ
201 演算処理装置(CPU)
DESCRIPTION OF SYMBOLS 10,202 Storage part 20 Illumination light component estimation part 30 Reflected light component estimation part 40 Nonlinear processing part 50 Gain adjustment part 100 Image processing apparatus 200 Computer 201 Arithmetic processing apparatus (CPU)

Claims (4)

所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶する記憶部と、
前記記憶部より読み出された、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成する照明光成分推定部と、
前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第1の補正画素データを生成する反射光成分推定部と、
前記第1の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第2の補正画素データを生成するゲイン調整部と、
を備え、
前記第2の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第2の補正画素データを上書きして、前記それぞれの注目画素データを前記第2の補正画素データに置換するように構成されている
ことを特徴とする画像処理装置。
A storage unit for storing each pixel data of a frame having a predetermined number of bits and configured by a luminance signal;
The filter coefficient constituting the low-pass filter is convolved with the plurality of pixel data in the filtering region centered on each target pixel data in the frame read from the storage unit, An illumination light component estimation unit for generating an illumination light component estimation signal;
A reflected light component estimation unit that divides the pixel-of-interest data by the illumination light component estimation signal and generates first corrected pixel data in units of pixels corresponding to the reflected light component estimation signal;
A gain adjustment unit that adjusts the gain of the first correction pixel data to generate second correction pixel data in units of pixels having the predetermined number of bits;
With
Supplying the second correction pixel data to the storage unit, overwriting the second correction pixel data on the respective pixel-of-interest data, and replacing the respective pixel-of-interest data with the second correction pixel data; An image processing apparatus characterized by being configured to do so.
前記照明光成分推定部は、前記フィルタリング領域内の複数の画素データに対して、ガウシアンフィルタを構成するフィルタ係数を畳み込み演算することを特徴とする請求項1に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the illumination light component estimation unit performs a convolution operation on a plurality of pixel data in the filtering region with filter coefficients constituting a Gaussian filter. 所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶部に記憶し、
前記記憶部より読み出された、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成し、
前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第1の補正画素データを生成し、
前記第1の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第2の補正画素データを生成し、
前記第2の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第2の補正画素データを上書きして、前記それぞれの注目画素データを前記第2の補正画素データに置換する
ことを特徴とする画像処理方法。
Each pixel data of a frame having a predetermined number of bits and configured by a luminance signal is stored in the storage unit,
The filter coefficient constituting the low-pass filter is convolved with the plurality of pixel data in the filtering region centered on each target pixel data in the frame read from the storage unit, Generate an illumination light component estimation signal,
Dividing the target pixel data by the illumination light component estimation signal to generate first corrected pixel data in pixel units corresponding to the reflected light component estimation signal;
Adjusting the gain of the first correction pixel data to generate second correction pixel data in pixel units having the predetermined number of bits;
Supplying the second correction pixel data to the storage unit, overwriting the second correction pixel data on the respective pixel-of-interest data, and replacing the respective pixel-of-interest data with the second correction pixel data; An image processing method characterized by:
コンピュータに、
所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶している記憶部より、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データを読み出すステップと、
前記複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成するステップと、
前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第1の補正画素データを生成するステップと、
前記第1の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第2の補正画素データを生成するステップと、
前記第2の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第2の補正画素データを上書きして、前記それぞれの注目画素データを前記第2の補正画素データに置換するステップと、
を実行させることを特徴とする画像処理プログラム。
On the computer,
A plurality of pixel data in a filtering area centered on each pixel-of-interest data in the frame is stored from a storage unit having a predetermined number of bits and storing each pixel data of a frame configured by a luminance signal. A reading step;
A step of convolving a filter coefficient constituting a low-pass filter with respect to the plurality of pixel data to generate an illumination light component estimation signal in units of pixels;
Dividing the pixel-of-interest data by the illumination light component estimation signal to generate first corrected pixel data in pixel units corresponding to the reflected light component estimation signal;
Adjusting the gain of the first correction pixel data to generate second correction pixel data in units of pixels having the predetermined number of bits;
Supplying the second correction pixel data to the storage unit, overwriting the second correction pixel data on the respective pixel-of-interest data, and replacing the respective pixel-of-interest data with the second correction pixel data; And steps to
An image processing program for executing
JP2016027820A 2016-02-17 2016-02-17 Image processing device, image processing method, and image processing program Pending JP2017146766A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016027820A JP2017146766A (en) 2016-02-17 2016-02-17 Image processing device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016027820A JP2017146766A (en) 2016-02-17 2016-02-17 Image processing device, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
JP2017146766A true JP2017146766A (en) 2017-08-24

Family

ID=59682360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016027820A Pending JP2017146766A (en) 2016-02-17 2016-02-17 Image processing device, image processing method, and image processing program

Country Status (1)

Country Link
JP (1) JP2017146766A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022125295A (en) * 2018-06-29 2022-08-26 キヤノン株式会社 Image processing apparatus, image processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022125295A (en) * 2018-06-29 2022-08-26 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP7417674B2 (en) 2018-06-29 2024-01-18 キヤノン株式会社 Image processing device, image processing method, and program

Similar Documents

Publication Publication Date Title
JP4290193B2 (en) Image processing device
JP2007148500A (en) Image processor and image processing method
JP6485068B2 (en) Image processing method and image processing apparatus
JP6552228B2 (en) Image display apparatus and control method thereof
US8896729B2 (en) Image processing apparatus and image processing method
JP2007180851A (en) Gray scale transformation device, program and method for raw image, and electronic camera
JP2017146766A (en) Image processing device, image processing method, and image processing program
JP5961149B2 (en) Image processing apparatus and control method thereof
US10628928B2 (en) Image processing apparatus, image processing method, and storage medium for gain adjustment
JP5482589B2 (en) Image processing apparatus, image processing method, and image processing program
JP6559011B2 (en) Image processing apparatus and image processing method
JP6135937B2 (en) Image processing method and image processing apparatus
JP2017017609A (en) Image processing device
JP2019028537A (en) Image processing apparatus and image processing method
US9245331B2 (en) Video contrast enhancement with sub-segments
WO2016002260A1 (en) Image processing device, image processing method, and image processing program
JP6273881B2 (en) Image processing apparatus, image processing method, and program
JP6575742B2 (en) Image processing method and image processing apparatus
JP6491445B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2015149656A (en) Motion detection processing apparatus, image processing apparatus, imaging device, and motion detection processing method
US9330445B2 (en) Local contrast enhancement method and apparatus
JP5141871B2 (en) Image processing method and image display apparatus
JP2009159404A (en) Image processing method, image processing device, and image formation device
JP2008304800A (en) Image processing method, image display device and program
JP2017041763A (en) Image processing system and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200526