JP7262032B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP7262032B2 JP7262032B2 JP2021124044A JP2021124044A JP7262032B2 JP 7262032 B2 JP7262032 B2 JP 7262032B2 JP 2021124044 A JP2021124044 A JP 2021124044A JP 2021124044 A JP2021124044 A JP 2021124044A JP 7262032 B2 JP7262032 B2 JP 7262032B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- histogram
- area
- processing
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 120
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Receiver Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置に係り、さらに詳しくは、入力画像の輝度情報を変換して出力画像を生成する画像処理装置の改良に関する。 The present invention relates to an image processing apparatus, and more particularly, to improvement of an image processing apparatus that converts luminance information of an input image to generate an output image.
画像のコントラストを補正する方法には、トーンカーブを用いて各画素の輝度情報を変換するトーンカーブ調整法がある。トーンカーブは、輝度の入力値を出力値に対応づける対応関係を表し、トーンカーブの形状を調整することによって補正の度合いが変化する。例えば、コントラストを高くすると、明暗の差が大きくなり、中間調の画像を鮮明化することができるが、低階調の画像や高階調の画像は不鮮明になる。また、中間調の画像であっても、コントラストを高くし過ぎると明部や暗部の階調変化が失われる。この様に画像の鮮明化に適したトーンカーブを得ることは容易ではない。 As a method of correcting the contrast of an image, there is a tone curve adjustment method of converting luminance information of each pixel using a tone curve. A tone curve represents a correspondence relationship that associates an input value of luminance with an output value, and the degree of correction changes by adjusting the shape of the tone curve. For example, if the contrast is increased, the difference between light and dark becomes large, and a halftone image can be sharpened, but a low gradation image and a high gradation image become unclear. Also, even in a halftone image, if the contrast is made too high, gradation changes in bright and dark areas are lost. Thus, it is not easy to obtain a tone curve suitable for image sharpening.
一方、画像の輝度分布を表すヒストグラムからトーンカーブを定めるヒストグラム平坦化の方法が従来から知られている。ヒストグラム平坦化の方法は、画像を解析して輝度ご
との画素数からなるヒストグラムを求め、ヒストグラムの累積度数からトーンカーブが決定される。このヒストグラム平坦化の方法によれば、どの様な画像であっても、ダイナミックレンジの広い画像を得ることができる。
On the other hand, a histogram flattening method that determines a tone curve from a histogram that represents the luminance distribution of an image is conventionally known. In the histogram equalization method, an image is analyzed to obtain a histogram consisting of the number of pixels for each luminance, and a tone curve is determined from the cumulative frequency of the histogram. According to this histogram equalization method, an image with a wide dynamic range can be obtained for any image.
しかしながら、上述した様な画像処理では、1枚の画像において、比較的に低輝度の画素が多い領域と高輝度の画素が多い領域とがある場合に、これらの領域を同時に鮮明化することが難しいという問題があった。例えば、明暗の差が大きい被写体が撮影された画像や逆光で撮影された画像に対し、十分に鮮明な画像を得ることができなかった。 However, in the image processing as described above, when an image has an area with relatively many low-luminance pixels and an area with many high-luminance pixels, it is possible to sharpen these areas at the same time. I had a difficult problem. For example, a sufficiently clear image cannot be obtained for an image of a subject with a large difference in brightness or an image of a backlight.
本発明は、上記事情に鑑みてなされたものであり、1枚の画像において、低輝度領域と高輝度領域とが存在する場合であっても、十分に鮮明な画像を得ることができる画像処理装置を提供することを目的とする。特に、低輝度の画素が多い領域と高輝度の画素が多い領域とを同時に鮮明化することができる画像処理装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and image processing capable of obtaining a sufficiently clear image even when a single image includes a low-luminance region and a high-luminance region. The purpose is to provide an apparatus. In particular, it is an object of the present invention to provide an image processing apparatus capable of simultaneously sharpening an area with many low-luminance pixels and an area with many high-luminance pixels.
本発明の第1の態様による画像処理装置は、入力画像を2以上の処理領域に分割する領域分割手段と、上記処理領域内の画素の輝度情報に基づいて、輝度階級ごとの画素数分布を表すヒストグラムを生成するヒストグラム生成手段と、上記ヒストグラムの画素数を最小輝度階級から順に積算して積算ヒストグラムを求める積算ヒストグラム算出手段と、上記処理領域内の全画素数に基づいて、最大輝度階級の積算値が輝度の上限値と一致するように上記積算ヒストグラムを正規化する正規化手段と、正規化された上記積算ヒストグラムに基づいて、上記処理領域ごとに上記入力画像の輝度情報を変換し、出力画像を生成する輝度変換手段とを備える。 An image processing apparatus according to a first aspect of the present invention comprises area dividing means for dividing an input image into two or more processing areas, and pixel number distribution for each luminance class based on luminance information of pixels in the processing areas. histogram generating means for generating a histogram representing the histogram, integrated histogram calculating means for obtaining an integrated histogram by accumulating the number of pixels of the histogram in order from the minimum luminance class, and based on the total number of pixels in the processing area, the maximum luminance class normalizing means for normalizing the integrated histogram so that the integrated value matches the upper limit value of luminance; and converting the luminance information of the input image for each processing region based on the normalized integrated histogram, luminance conversion means for generating an output image.
この様な構成によれば、入力画像を複数の処理領域に分割し、正規化された積算ヒストグラムを用いて処理領域ごとに入力画像の輝度情報を変換するため、低輝度の画素が多い領域と高輝度の画素が多い領域とを同時に鮮明化することができる。 According to such a configuration, the input image is divided into a plurality of processing regions, and the luminance information of the input image is converted for each processing region using the normalized integrated histogram. It is possible to sharpen an area with many high-brightness pixels at the same time.
本発明の第2の態様による画像処理装置は、上記構成に加え、上記輝度階級が、n個(nは2以上の整数)の連続する輝度値からなり、上記輝度階級内の各輝度値に対応する度数を上記積算ヒストグラムの線形補間によって求める度数補間手段を更に備え、上記ヒストグラム生成手段が、輝度レンジを2以上の上記輝度階級に分割して上記ヒストグラムを求め、上記輝度変換手段が、上記度数補間手段により線形補間された上記積算ヒストグラムを上記処理領域ごとのトーンカーブとして用いて上記入力画像の輝度情報を変換するように構成される。 In the image processing device according to the second aspect of the present invention, in addition to the above configuration, the brightness class consists of n consecutive brightness values (n is an integer equal to or greater than 2), and each brightness value in the brightness class has The histogram generation means divides the luminance range into two or more luminance classes to obtain the histogram, and the luminance conversion means obtains the The luminance information of the input image is converted using the integrated histogram linearly interpolated by the frequency interpolation means as a tone curve for each processing area.
この様な構成によれば、輝度階級に幅を持たせ、輝度階級内の各輝度値に対応する度数が線形補間によって求められるため、過度の補正を抑制することができる。例えば、特定の輝度値に画素が集中し、度数が突出しているような場合に、輝度変化が強調され過ぎるのを抑制することができる。 According to such a configuration, since the luminance class has a range and the frequency corresponding to each luminance value in the luminance class is obtained by linear interpolation, excessive correction can be suppressed. For example, when pixels are concentrated at a specific luminance value and the frequency is prominent, it is possible to prevent the luminance change from being overemphasized.
本発明の第3の態様による画像処理装置は、上記構成に加え、注目画素を含む矩形領域であって、横方向及び縦方向に互いに隣接する4つの上記処理領域の中心を頂点とする矩形領域を補間領域とし、上記注目画素の上記補間領域内における横方向及び縦方向の位置に応じて異なる2次元の重みを求める重み算出手段を更に備え、上記輝度変換手段が、上記2次元の重みを用いて上記4つの処理領域のトーンカーブを加重平均することにより、上記注目画素のトーンカーブを求め、輝度情報を変換するように構成される。 An image processing apparatus according to a third aspect of the present invention, in addition to the above configuration, is a rectangular area including a pixel of interest and having the centers of the above four processing areas adjacent to each other in the horizontal direction and the vertical direction as vertices. is an interpolation area, further comprising weight calculation means for obtaining different two-dimensional weights according to the horizontal and vertical positions of the target pixel in the interpolation area, wherein the luminance conversion means converts the two-dimensional weights to The tone curve of the pixel of interest is obtained by taking a weighted average of the tone curves of the four processing regions using the above-mentioned four processing regions, and the luminance information is converted.
この様な構成によれば、補間領域内の注目画素について、注目画素の位置に応じた重み付けがされるため、隣接する処理領域間でトーンカーブが異なることに起因して処理領域の境界が目立つのを抑制することができる。 According to such a configuration, the pixels of interest in the interpolation region are weighted according to the position of the pixels of interest. Therefore, the boundaries of the processing regions are conspicuous due to the difference in tone curves between adjacent processing regions. can be suppressed.
本発明の第4の態様による画像処理装置は、上記構成に加え、上記領域分割手段が、2のm乗個(mは1以上の整数)の画素からなる矩形領域を上記処理領域として上記入力画像を分割するように構成される。この様な構成によれば、積算ヒストグラムを正規化するための除算処理をビットシフトによって行うことができる。 In the image processing apparatus according to the fourth aspect of the present invention, in addition to the above configuration, the area dividing means inputs a rectangular area consisting of 2 to the power of m (m is an integer equal to or greater than 1) pixels as the processing area. configured to segment an image; According to such a configuration, division processing for normalizing the integrated histogram can be performed by bit shifting.
本発明によれば、低輝度の画素が多い領域と高輝度の画素が多い領域とを同時に鮮明化することができる。従って、1枚の画像において、低輝度領域と高輝度領域とが存在する場合であっても、十分に鮮明な画像を得ることができる。 According to the present invention, it is possible to sharpen an area with many low-luminance pixels and an area with many high-luminance pixels at the same time. Therefore, even when a single image includes a low-luminance area and a high-luminance area, a sufficiently clear image can be obtained.
<画像処理装置1>
図1は、本発明の実施の形態による画像処理装置1の一構成例を示したブロック図である。この画像処理装置1は、入力画像のコントラストを補正して出力画像を生成する装置であり、領域分割部11、ヒストグラム生成部12、積算ヒストグラム算出部13、正規化部14、度数補間部15、トーンカーブ記憶部16、輝度変換部17及び重み算出部18により構成される。
<Image processing device 1>
FIG. 1 is a block diagram showing one configuration example of an image processing apparatus 1 according to an embodiment of the present invention. This image processing apparatus 1 is an apparatus for correcting the contrast of an input image and generating an output image, and includes an area division section 11, a
画像処理装置1は、例えば、料金所ゲート等の通過車両を監視するシステムや、工業製品の生産ラインを監視するシステムに用いることができる。通過車両の監視システムでは、監視カメラにより撮影された画像が入力画像として入力され、出力画像を解析して車種や車両番号が識別される。 The image processing apparatus 1 can be used, for example, in a system for monitoring passing vehicles such as a toll gate or a system for monitoring a production line of industrial products. In a monitoring system for passing vehicles, an image captured by a monitoring camera is input as an input image, and the output image is analyzed to identify the vehicle type and vehicle number.
領域分割部11は、入力画像を2以上の処理領域に分割し、画素の輝度情報を処理領域ごとにヒストグラム生成部12及び輝度変換部17へ出力する。入力画像は、例えば、横方向の画素数がW、縦方向の画素数がH、総画素数がNa=W×Hの画像であり、画素ごとの輝度情報からなる。
The region division unit 11 divides the input image into two or more processing regions, and outputs luminance information of pixels to the
処理領域は、コントラスト補正処理の処理単位であり、横方向の画素数がw1、縦方向の画素数がh1、全画素数がn1=w1×h1の矩形領域からなる。処理領域は、例えば、2のm乗個(mは1以上の整数)の画素からなり、n1=2mである。 The processing area is a processing unit of the contrast correction process, and consists of a rectangular area having the number of pixels in the horizontal direction of w1, the number of pixels in the vertical direction of h1, and the total number of pixels of n1=w1×h1. The processing area consists of, for example, 2 to the mth power (m is an integer equal to or greater than 1) pixels, where n1= 2m .
ヒストグラム生成部12は、処理領域内の画素の輝度情報に基づいて、輝度階級ごとの画素数分布を表すヒストグラムを生成する。輝度階級は、輝度分布を求める際の処理単位であり、n個(nは2以上の整数)の連続する輝度値からなる。輝度階級は、各処理領域に共通である。
The
輝度情報が8ビット(256階調)の輝度値からなる場合、階級幅nは、例えば、n=8であり、予め指定される。このとき、階級数は、256/8=32である。ヒストグラム生成部12は、輝度レンジを32個の輝度階級に分割してヒストグラムを求める。
When the luminance information consists of luminance values of 8 bits (256 gradations), the class width n is, for example, n=8 and is specified in advance. At this time, the number of classes is 256/8=32. The
ヒストグラムは、輝度値が0以上255以下の整数であることから、輝度階級ごとに、輝度値が輝度階級に属している画素の数を計数することによって作成される。なお、階級幅nには、例えば、24=16又は25=32を用いても良い。また、任意の階級幅nをユーザに指定させるような構成であってもよい。 Since the luminance value is an integer from 0 to 255, the histogram is created by counting the number of pixels whose luminance value belongs to the luminance class for each luminance class. Note that, for the class width n, 2 4 =16 or 2 5 =32, for example, may be used. Moreover, the configuration may be such that the user is allowed to specify an arbitrary class width n.
積算ヒストグラム算出部13は、ヒストグラムの画素数を最小輝度階級から順に積算して積算ヒストグラムを求める。積算ヒストグラムは、ヒストグラム生成部12により生成されたヒストグラムをベースとし、ある輝度階級の画素数又は積算値を次の輝度階級の画素数に加算することにより、当該輝度階級の積算値が得られる。
The integrated
正規化部14は、処理領域内の全画素数n1に基づいて、最大輝度階級の積算値が輝度の上限値と一致するように積算ヒストグラムを正規化する。積算ヒストグラム算出部13によって求められた積算ヒストグラムにおける最大輝度階級の積算値は、全画素数n1と一致する。輝度レンジが0以上255以下である場合、輝度の上限値は、255になる。従って、正規化処理は、積算ヒストグラムの各積算値に対し、255/n1を乗算することによって行われる。
The
度数補間部15は、輝度階級内の各輝度値に対応する度数を積算ヒストグラムの線形補間によって求める。この度数補間部15は、正規化部14により正規化された積算ヒストグラムをベースとし、注目する輝度階級の度数と1つ前の輝度階級の度数とを加重平均することにより、注目する輝度階級内の輝度値に対応する度数が求められる。
The
例えば、最小輝度階級(輝度値0~7)の度数は、最小輝度階級から2番目の輝度階級(輝度値8~15)における最初の輝度値8に対応づけ、最小輝度階級から2番目の輝度階級(輝度値8~15)の度数は、最小輝度階級から3番目の輝度階級(輝度値16~23)における最初の輝度値16に対応づける。また、輝度値0には、度数0が対応づけられる。
For example, the frequency of the minimum luminance class (
このとき、最小輝度階級から(k-1)番目(k=2~32)の輝度階級の度数をfk-1とし、k番目の輝度階級の度数をfkとすると、当該k番目の輝度階級内におけるx番目(x=1~n)の輝度値の度数f(x)は、次式(1)により表される。
トーンカーブ記憶部16には、正規化部14により正規化された後、度数補間部15により線形補間された積算ヒストグラムが、コントラストを補正するためのトーンカーブとして保持される。なお、積算ヒストグラムを正規化してから線形補間によって輝度階級内の各輝度値の度数を求めるのに代えて、線形補間によって輝度階級内の各輝度値の度数を求めた後に、積算ヒストグラムを正規化するような構成であってもよい。
The integrated histogram normalized by the
輝度変換部17は、正規化部14により正規化された積算ヒストグラムに基づいて、処理領域ごとに入力画像の輝度情報を変換し、出力画像を生成する。この輝度変換部17は、度数補間部15により線形補間された積算ヒストグラムを処理領域ごとのトーンカーブとして用いて入力画像の輝度情報を変換する。
The luminance conversion unit 17 converts the luminance information of the input image for each processing area based on the integrated histogram normalized by the
重み算出部18は、横方向及び縦方向に互いに隣接する4つの処理領域のトーンカーブを重み付けするために、補間領域内の注目画素について、注目画素の補間領域内における横方向及び縦方向の位置に応じて異なる2次元の重みを求める。補間領域は、注目画素を含む矩形領域であり、横方向及び縦方向に互いに隣接する4つの処理領域の中心を頂点とする。
In order to weight the tone curves of four processing regions adjacent to each other in the horizontal direction and the vertical direction, the
輝度変換部17は、重み算出部18によって求められた2次元の重みを用いて互いに隣接する4つの処理領域のトーンカーブを加重平均することにより、注目画素のトーンカーブを求め、輝度情報を変換する。
The luminance conversion unit 17 uses the two-dimensional weight obtained by the
図2は、図1の画像処理装置1におけるコントラスト補正時の動作の一例を模式的に示した説明図であり、入力画像2及びヒストグラムが示されている。図中の(a)には、多数の処理領域3に分割された入力画像2が示され、(b)には、処理領域3内の画素の輝度情報から作成されたヒストグラムが示されている。
FIG. 2 is an explanatory diagram schematically showing an example of the operation during contrast correction in the image processing apparatus 1 of FIG. 1, showing an
入力画像2は、例えば、横方向の画素数WがW=1920、縦方向の画素数HがH=1080の画像である。一方、処理領域3は、例えば、横方向の画素数w1がw1=128、縦方向の画素数h1がh1=8、全画素数n1が2の10乗個の矩形領域である。
The
この様に2のm乗個(mは1以上の整数)の画素からなる矩形領域を処理領域3として入力画像2を分割することにより、積算ヒストグラムを正規化するための除算処理をビットシフトによって行うことができる。この入力画像2は、多数の処理領域3に均等に分割されている。
In this way, by dividing the
ヒストグラムは、輝度レンジを複数の輝度階級に分割し、輝度階級ごとに画素数を計数することによって作成される。この例では、輝度レンジが7つの輝度階級に均等に分割され、画素数がそれぞれ求められている。 A histogram is created by dividing the luminance range into a plurality of luminance classes and counting the number of pixels in each luminance class. In this example, the luminance range is evenly divided into seven luminance classes, and the number of pixels is obtained for each.
階級幅nがn=8、階級数=32である場合、例えば、最小輝度階級には、輝度値=0~7が属し、次の輝度階級には、輝度値=8~15が属している。また、最大輝度階級には、輝度値=248~255が属している。 When the class width n is 8 and the number of classes is 32, for example, luminance values of 0 to 7 belong to the minimum luminance class, and luminance values of 8 to 15 belong to the next luminance class. . Also, luminance values of 248 to 255 belong to the maximum luminance class.
図3は、図1の画像処理装置1におけるコントラスト補正時の動作の一例を模式的に示した説明図であり、積算ヒストグラムが示されている。図中の(a)には、ヒストグラムの画素数を最小輝度階級から順に積算した積算ヒストグラムが示されている。積算ヒストグラムの最小輝度階級には、元のヒストグラムの最小輝度階級の画素数が対応づけられる。 FIG. 3 is an explanatory diagram schematically showing an example of the operation during contrast correction in the image processing apparatus 1 of FIG. 1, showing an integrated histogram. (a) in the figure shows an integrated histogram obtained by integrating the number of pixels of the histogram in order from the minimum luminance class. The number of pixels in the minimum luminance class of the original histogram is associated with the minimum luminance class of the integrated histogram.
最小輝度階級の次の輝度階級には、最小輝度階級の画素数を元のヒストグラムにおける次の輝度階級の画素数に加算した値が積算値として対応づけられる。同様に、最小輝度階級から3番目の輝度階級には、最小輝度階級から2番目の輝度階級の画素数を元のヒストグラムにおける3番目の輝度階級の画素数に加算した値が積算値として対応づけられる。 A value obtained by adding the number of pixels in the minimum luminance class to the number of pixels in the next luminance class in the original histogram is associated with the luminance class next to the minimum luminance class as an integrated value. Similarly, the third luminance class from the minimum luminance class is associated as an integrated value by adding the number of pixels in the second luminance class from the minimum luminance class to the number of pixels in the third luminance class in the original histogram. be done.
図中の(b)には、最大輝度階級の積算値が輝度の上限値と一致するように正規化した積算ヒストグラムが示されている。最大輝度階級の積算値は、処理領域3の全画素数n1と一致することから、各輝度階級の積算値に対し、255/n1を乗算することにより、正規化された積算ヒストグラムが得られる。 (b) in the figure shows an integrated histogram normalized so that the integrated value of the maximum brightness class matches the upper limit value of the brightness. Since the integrated value of the maximum brightness class matches the total number of pixels n1 in the processing area 3, a normalized integrated histogram is obtained by multiplying the integrated value of each brightness class by 255/n1.
図4は、積算ヒストグラムの線形補間によって得られるトーンカーブの一例を示した図である。図中の(a)には、高輝度の画素が多い処理領域3のトーンカーブが示され、(b)には、低輝度の画素が多い処理領域3のトーンカーブが示されている。トーンカーブは、輝度の入力値を出力値に対応づける。 FIG. 4 is a diagram showing an example of a tone curve obtained by linear interpolation of integrated histograms. In the drawing, (a) shows the tone curve of the processing area 3 with many high-luminance pixels, and (b) shows the tone curve of the processing area 3 with many low-luminance pixels. The tone curve maps luminance input values to output values.
高輝度の画素が多い処理領域3のヒストグラムから作成されるトーンカーブは、原点を通って傾きが1の直線に対し、下に凸の曲線であり、低輝度側でコントラストが縮小される一方、高輝度側でコントラストが拡大される。 The tone curve created from the histogram of the processing area 3, which has many high-brightness pixels, is a downward convex curve with respect to a straight line passing through the origin and having a slope of 1. While the contrast is reduced on the low-brightness side, Contrast is expanded on the high brightness side.
低輝度の画素が多い処理領域3のヒストグラムから作成されるトーンカーブは、原点を通って傾きが1の直線に対し、上に凸の曲線であり、低輝度側でコントラストが拡大される一方、高輝度側でコントラストが縮小される。 The tone curve created from the histogram of the processing area 3, which has many low-brightness pixels, is an upward convex curve with respect to a straight line passing through the origin and having a slope of 1. While the contrast is expanded on the low-brightness side, Contrast is reduced on the high brightness side.
この様に処理領域3の輝度分布に応じてトーンカーブが自動調整されるため、逆光で撮影された画像等、低輝度の画素が多い領域と高輝度の画素が多い領域とがともに存在する画像であっても、それらの領域を同時に鮮明化することができる。 In this way, since the tone curve is automatically adjusted according to the luminance distribution of the processing area 3, an image in which both an area with many low-luminance pixels and an area with many high-luminance pixels exist, such as an image shot against backlight. However, these areas can be sharpened simultaneously.
図5は、図1の画像処理装置1におけるコントラスト補正時の動作の一例を模式的に示した説明図であり、注目画素4を含む補間領域5が示されている。注目画素4は、入力画像2内の任意の画素である。
FIG. 5 is an explanatory diagram schematically showing an example of operations during contrast correction in the image processing apparatus 1 of FIG. The pixel of
補間領域5は、処理領域3間でトーンカーブが異なることに起因して処理領域3の境界が目立つのを防止するために、トーンカーブを隣接する処理領域3間で補間する際の処理単位である。この補間領域5は、注目画素4の近傍の処理領域3のうち、横方向及び縦方向に互いに隣接する4つの処理領域3a~3dの中心を頂点とする矩形領域からなる。
The
補間領域5内における注目画素4の位置は、処理領域3aの中心を原点とし、原点と処理領域3cの中心とを通る縦方向の直線をs軸、原点と処理領域3bの中心とを通る横方向の直線をt軸とする座標(s,t)を用いて表すことができる(0≦s≦1,0≦t≦1)。
The position of the pixel of
トーンカーブを補間するための2次元の重みw(s,t)は、s及びtを用いて表される。注目画素4の度数g(x)は、処理領域3a~3dから得られるトーンカーブの度数をそれぞれfi,j(x),fi,j+1(x),fi+1,j(x),fi+1,j+1(x)とすると、これらのトーンカーブから双一次曲面を形成することによって求められ、次式(2)により表される。
上式(2)において、度数fi,j(x),fi,j+1(x),fi+1,j(x),fi+1,j+1(x)の各係数が2次元の重みw(s,t)である。また、入力画像2が1920×1080画素の画像であり、処理領域3が128×8画素の領域であれば、処理領域3の位置は、135行15列の行列を用いて表すことができる(1≦i≦135,1≦j≦15)。
In the above equation (2), each coefficient of frequencies f i,j (x), f i,j+1 (x), f i+1,j (x), f i+1,j+1 (x) is a two-dimensional weight w(s , t). If the
補間領域5内の注目画素4について、注目画素4の位置座標(s,t)に応じた重み付けがされるため、隣接する処理領域3間でトーンカーブが異なることに起因して処理領域3の境界が目立つのを抑制することができる。
Since the
図6は、コントラスト補正処理によって得られた出力画像の一例を示した図である。図中の(a)には、入力画像が示され、(b)には、階級幅nがn=1である場合の出力画像が示され、(c)には、階級幅nがn=8である場合の出力画像が示されている。図中には、走行中の車両を被写体として撮影した画像が示されている。 FIG. 6 is a diagram showing an example of an output image obtained by contrast correction processing. In the figure, (a) shows the input image, (b) shows the output image when the class width n is n=1, and (c) shows the class width n=n= 8, the output image is shown. In the figure, an image of a vehicle in motion is shown.
この入力画像は、全体的に輝度が低く、黒ずんでいて被写体の様子が判然としない。これに対し、(b)及び(c)の出力画像は、コントラスト補正処理によって鮮明化され、被写体の様子を容易に確認することができる。 This input image has low brightness as a whole and is darkened, making it difficult to make out the state of the subject. On the other hand, the output images of (b) and (c) are sharpened by the contrast correction processing, and the state of the subject can be easily confirmed.
特に、(c)の出力画像では、輝度階級に幅を持たせたことにより、ヒストグラムの急激な変化が線形補間によって平滑化されるため、過度な補正が軽減され、自然な階調変化の画像が得られている。一方、(b)の出力画像では、過度な補正により、カメラのホワイトノイズ等の影響による画質の粗さが強調されている。 In particular, in the output image of (c), the sharp changes in the histogram are smoothed out by linear interpolation due to the width of the luminance class, so excessive correction is reduced and the image has natural gradation changes. is obtained. On the other hand, in the output image of (b), due to excessive correction, the coarseness of image quality due to the influence of camera white noise or the like is emphasized.
図7のステップS101~S111は、図1の画像処理装置1におけるコントラスト補正時の動作の一例を示したフローチャートである。まず、画像処理装置1は、入力画像2を多数の処理領域3に分割し(ステップS101)、処理領域3内の画素の輝度情報に基づいて、輝度階級ごとの画素数からなるヒストグラムを生成する(ステップS102)。
Steps S101 to S111 in FIG. 7 are a flow chart showing an example of operations during contrast correction in the image processing apparatus 1 in FIG. First, the image processing apparatus 1 divides the
次に、画像処理装置1は、ヒストグラムの画素数を最小輝度階級から順に積算して積算ヒストグラムを求め(ステップS103)、処理領域3内の全画素数n1に基づいて、積算ヒストグラムを正規化する(ステップS104)。そして、画像処理装置1は、輝度階級内の各輝度値に対応する度数を積算ヒストグラムの線形補間によって求めることにより、トーンカーブを生成する(ステップS105)。 Next, the image processing apparatus 1 obtains an integrated histogram by accumulating the number of pixels in the histogram in order from the minimum luminance class (step S103), and normalizes the integrated histogram based on the total number of pixels n1 in the processing area 3. (Step S104). Then, the image processing apparatus 1 generates a tone curve by obtaining the frequency corresponding to each luminance value in the luminance class by linear interpolation of the integrated histogram (step S105).
画像処理装置1は、入力画像2における全ての処理領域3についてトーンカーブが得られるまで、ステップS102からステップS105までの処理手順を繰り返す(ステップS106)。 The image processing apparatus 1 repeats the processing procedure from step S102 to step S105 until tone curves are obtained for all processing regions 3 in the input image 2 (step S106).
次に、画像処理装置1は、補間領域5内の注目画素4について、注目画素4の補間領域5内における横方向及び縦方向の位置に応じて異なる2次元の重みw(s,t)を求め(ステップS107)、4つの処理領域3a~3dのトーンカーブの度数fi,j(x),fi,j+1(x),fi+1,j(x),fi+1,j+1(x)を加重平均することにより、トーンカーブを合成して注目画素4の度数g(x)を求める(ステップS108)。
Next, the image processing apparatus 1 assigns different two-dimensional weights w(s, t) to the pixel of
画像処理装置1は、度数g(x)を用いて入力画像2における注目画素4の輝度情報を変換することにより、出力画像を生成する(ステップS109)。画像処理装置1は、補間領域5内の全ての画素について度数g(x)が得られるまで、ステップS107からステップS109までの処理手順を繰り返す(ステップS110)。また、画像処理装置1は、入力画像2における全ての補間領域5について度数g(x)が得られるまで、ステッ
プS107からステップS110までの処理手順を繰り返す(ステップS111)。
The image processing apparatus 1 generates an output image by converting the luminance information of the
本実施の形態によれば、入力画像2を複数の処理領域3に分割し、正規化された積算ヒストグラムを用いて処理領域3ごとに入力画像2の輝度情報を変換するため、低輝度の画素が多い領域と高輝度の画素が多い領域とを同時に鮮明化することができる。また、輝度階級に幅を持たせ、輝度階級内の各輝度値に対応する度数が線形補間によって求められるため、過度の補正を抑制することができる。
According to the present embodiment, the
さらに、補間領域5内の注目画素4について、注目画素4の位置座標(s,t)に応じた重み付けがされるため、隣接する処理領域3間でトーンカーブが異なることに起因して処理領域3の境界が目立つのを抑制することができる。また、2のm乗個の画素からなる矩形領域を処理領域3として入力画像を分割するため、積算ヒストグラムを正規化するための除算処理をビットシフトによって行うことができる。
Furthermore, since the pixel of
なお、本実施の形態では、積算ヒストグラムを正規化した後に、2次元の重みw(s,t)を用いて処理領域3間の補間処理を行う場合の例について説明したが、本発明は、これに限定するものではない。例えば、2次元の重みw(s,t)を用いて4つの処理領域3の度数を加重平均する際に、度数を正規化する処理をまとめて行うような構成であってもよい。 In the present embodiment, an example of performing interpolation processing between the processing regions 3 using the two-dimensional weight w(s, t) after normalizing the integrated histogram has been described. It is not limited to this. For example, when weighted averaging the frequencies of the four processing regions 3 using the two-dimensional weight w(s, t), the processing for normalizing the frequencies may be collectively performed.
1 画像処理装置
11 領域分割部
12 ヒストグラム生成部
13 積算ヒストグラム算出部
14 正規化部
15 度数補間部
16 トーンカーブ記憶部
17 輝度変換部
18 重み算出部
2 入力画像
3 処理領域
4 注目画素
5 補間領域
1 image processing device 11
Claims (4)
上記処理領域内の画素の輝度情報に基づいて、輝度階級ごとの画素数分布を表すヒストグラムを生成するヒストグラム生成手段と、
上記ヒストグラムの画素数を最小輝度階級から順に積算して積算ヒストグラムを求める積算ヒストグラム算出手段と、
注目画素を含む矩形領域であって、横方向及び縦方向に互いに隣接する4つの上記処理領域の中心を頂点とする矩形領域を補間領域とし、上記注目画素の上記補間領域内における横方向及び縦方向の位置に応じて異なる2次元の重みを求める重み算出手段と、
上記積算ヒストグラムを上記処理領域ごとのトーンカーブとし、上記2次元の重みを用いて上記4つの処理領域のトーンカーブを加重平均することにより、上記注目画素のトーンカーブを求める際に、度数を正規化し、上記注目画素のトーンカーブを用いて輝度情報を変換し、出力画像を生成する輝度変換手段とを備えることを特徴とする画像処理装置。 an area dividing means for dividing an input image into two or more processing areas;
Histogram generating means for generating a histogram representing pixel number distribution for each luminance class based on the luminance information of pixels in the processing area;
integrated histogram calculation means for calculating an integrated histogram by integrating the number of pixels of the histogram in order from the minimum luminance class ;
A rectangular area including a pixel of interest and having vertexes at the centers of the four processing areas adjacent to each other in the horizontal direction and the vertical direction is defined as an interpolation area, and the pixel of interest in the horizontal direction and the interpolation area in the interpolation area is defined as an interpolation area. weight calculation means for obtaining different two-dimensional weights according to vertical positions;
Using the integrated histogram as the tone curve for each of the processing regions, and weighted averaging the tone curves of the four processing regions using the two-dimensional weight, when obtaining the tone curve of the target pixel, the frequency is normalized, and the tone curve of the pixel of interest is used to convert the luminance information to generate an output image .
上記輝度階級内の各輝度値に対応する度数を上記積算ヒストグラムの線形補間によって求める度数補間手段を更に備え、
上記ヒストグラム生成手段は、輝度レンジを2以上の上記輝度階級に分割して上記ヒストグラムを求め、
上記輝度変換手段は、上記度数補間手段により線形補間された上記積算ヒストグラムを上記処理領域ごとのトーンカーブとして用いることを特徴とする請求項1に記載の画像処理装置。 The luminance class consists of n consecutive luminance values (where n is an integer of 2 or more),
further comprising frequency interpolation means for obtaining a frequency corresponding to each luminance value in the luminance class by linear interpolation of the integrated histogram;
The histogram generating means obtains the histogram by dividing the luminance range into two or more luminance classes,
2. The image processing apparatus according to claim 1, wherein said luminance conversion means uses said integrated histogram linearly interpolated by said frequency interpolation means as a tone curve for each processing area.
上記処理領域内の全画素の輝度情報に基づいて、輝度階級ごとの画素数分布を表すヒストグラムを生成するヒストグラム生成手段と、
上記ヒストグラムの画素数を最小輝度階級から順に積算して積算ヒストグラムを求める積算ヒストグラム算出手段と、
上記輝度階級内の各輝度値に対応する度数を上記積算ヒストグラムの線形補間によって求める度数補間手段と、
上記処理領域内の全画素数に基づいて、最大輝度階級の積算値が輝度の上限値と一致するように上記度数補間手段により線形補間された上記積算ヒストグラムを正規化する正規化手段と、
正規化された上記積算ヒストグラムに基づいて、上記処理領域ごとに上記入力画像の輝度情報を変換し、出力画像を生成する輝度変換手段とを備え、
上記輝度階級は、n個(nは2以上の整数)の連続する輝度値からなり、
上記ヒストグラム生成手段は、輝度レンジを2以上の上記輝度階級に分割して上記ヒストグラムを求め、
上記輝度変換手段は、上記度数補間手段により線形補間され、上記正規化手段によって正規化された上記積算ヒストグラムを上記処理領域ごとのトーンカーブとして用いて上記入力画像の輝度情報を変換することを特徴とする画像処理装置。 an area dividing means for dividing an input image into two or more processing areas;
Histogram generating means for generating a histogram representing pixel number distribution for each luminance class based on the luminance information of all pixels in the processing area;
integrated histogram calculation means for calculating an integrated histogram by integrating the number of pixels of the histogram in order from the minimum luminance class;
a frequency interpolation means for obtaining a frequency corresponding to each luminance value in the luminance class by linear interpolation of the integrated histogram;
normalization means for normalizing the integrated histogram linearly interpolated by the frequency interpolation means so that the integrated value of the maximum brightness class matches the upper limit value of brightness based on the total number of pixels in the processing area;
brightness conversion means for converting the brightness information of the input image for each processing area based on the normalized integrated histogram to generate an output image;
The luminance class consists of n consecutive luminance values (where n is an integer of 2 or more),
The histogram generating means obtains the histogram by dividing the luminance range into two or more luminance classes,
The luminance conversion means converts the luminance information of the input image using the integrated histogram linearly interpolated by the frequency interpolation means and normalized by the normalization means as a tone curve for each processing area. image processing device.
4. The area dividing means according to claim 1, wherein the input image is divided into rectangular areas composed of 2@m pixels (m is an integer equal to or greater than 1) as the processing areas. 10. The image processing device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021124044A JP7262032B2 (en) | 2016-12-01 | 2021-07-29 | Image processing device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016234020A JP6931475B2 (en) | 2016-12-01 | 2016-12-01 | Image processing device |
JP2021124044A JP7262032B2 (en) | 2016-12-01 | 2021-07-29 | Image processing device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016234020A Division JP6931475B2 (en) | 2016-12-01 | 2016-12-01 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021177423A JP2021177423A (en) | 2021-11-11 |
JP7262032B2 true JP7262032B2 (en) | 2023-04-21 |
Family
ID=62565618
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016234020A Active JP6931475B2 (en) | 2016-12-01 | 2016-12-01 | Image processing device |
JP2021124044A Active JP7262032B2 (en) | 2016-12-01 | 2021-07-29 | Image processing device |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016234020A Active JP6931475B2 (en) | 2016-12-01 | 2016-12-01 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6931475B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006352431A (en) | 2005-06-15 | 2006-12-28 | Olympus Corp | Imaging apparatus |
JP2008092052A (en) | 2006-09-29 | 2008-04-17 | Matsushita Electric Ind Co Ltd | Gradation correcting device and imaging apparatus |
JP2008108286A (en) | 2003-09-11 | 2008-05-08 | Matsushita Electric Ind Co Ltd | Visual processing device, visual processing method, visual processing program, and semiconductor device |
JP2011188391A (en) | 2010-03-10 | 2011-09-22 | Sony Corp | Image processing apparatus, method and program |
JP2014048995A (en) | 2012-09-03 | 2014-03-17 | Masahiro Kobayashi | Image processing method |
JP2014109978A (en) | 2012-12-04 | 2014-06-12 | Panasonic Corp | Image processing device and image processing method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5121675B2 (en) * | 2008-11-13 | 2013-01-16 | キヤノン株式会社 | Image processing apparatus, video display apparatus, imaging apparatus, and image processing method |
JP2010252002A (en) * | 2009-04-15 | 2010-11-04 | Panasonic Corp | Gradation correcting device, and imaging apparatus |
JP5031877B2 (en) * | 2010-01-06 | 2012-09-26 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP2011166522A (en) * | 2010-02-10 | 2011-08-25 | Sony Corp | Image processing device, image processing method and program |
-
2016
- 2016-12-01 JP JP2016234020A patent/JP6931475B2/en active Active
-
2021
- 2021-07-29 JP JP2021124044A patent/JP7262032B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008108286A (en) | 2003-09-11 | 2008-05-08 | Matsushita Electric Ind Co Ltd | Visual processing device, visual processing method, visual processing program, and semiconductor device |
JP2006352431A (en) | 2005-06-15 | 2006-12-28 | Olympus Corp | Imaging apparatus |
JP2008092052A (en) | 2006-09-29 | 2008-04-17 | Matsushita Electric Ind Co Ltd | Gradation correcting device and imaging apparatus |
JP2011188391A (en) | 2010-03-10 | 2011-09-22 | Sony Corp | Image processing apparatus, method and program |
JP2014048995A (en) | 2012-09-03 | 2014-03-17 | Masahiro Kobayashi | Image processing method |
JP2014109978A (en) | 2012-12-04 | 2014-06-12 | Panasonic Corp | Image processing device and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2018092307A (en) | 2018-06-14 |
JP2021177423A (en) | 2021-11-11 |
JP6931475B2 (en) | 2021-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110046673B (en) | No-reference tone mapping image quality evaluation method based on multi-feature fusion | |
CN103530847B (en) | A kind of infrared image enhancing method | |
CN103353982B (en) | A kind of tone mapping method based on histogram equalization | |
WO2018133609A1 (en) | Method for producing high dynamic range image from low dynamic range image | |
CN104021532B (en) | A kind of image detail enhancement method of infrared image | |
JP4460839B2 (en) | Digital image sharpening device | |
JP6097588B2 (en) | Image processing apparatus and image processing method | |
CN107993189B (en) | Image tone dynamic adjustment method and device based on local blocking | |
CN108022223B (en) | Tone mapping method based on logarithm mapping function blocking processing fusion | |
RU2009123903A (en) | DEVICE AND METHODS FOR INCREASING DYNAMIC RANGE IN DIGITAL IMAGES | |
US11663707B2 (en) | Method and system for image enhancement | |
US8422815B2 (en) | Image processing apparatus, image processing method and image processing program | |
CN111612725B (en) | Image fusion method based on contrast enhancement of visible light image | |
JP2017010092A (en) | Image processing apparatus, imaging device, image processing method, image processing program, and recording medium | |
CN111105376B (en) | Single-exposure high-dynamic-range image generation method based on double-branch neural network | |
JP2019016117A (en) | Image adjusting device, local contrast quantity calculating device, method, and program | |
JP2012023455A (en) | Image processing device, image processing method, and program | |
WO2020107308A1 (en) | Low-light-level image rapid enhancement method and apparatus based on retinex | |
CN110111280A (en) | A kind of enhancement algorithm for low-illumination image of multi-scale gradient domain guiding filtering | |
WO2016051716A1 (en) | Image processing method, image processing device, and recording medium for storing image processing program | |
JP5410378B2 (en) | Video signal correction apparatus and video signal correction program | |
JP6957665B2 (en) | Image processing equipment, image processing methods and programs | |
JP7262032B2 (en) | Image processing device | |
JP2019207603A (en) | Tone mapping processing method by maximizing edge intensity, and hdr video conversion device | |
Venkatesh et al. | Image Enhancement and Implementation of CLAHE Algorithm and Bilinear Interpolation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7262032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |