JP2008148296A - Image processing circuit, semiconductor device, and image processing apparatus - Google Patents
Image processing circuit, semiconductor device, and image processing apparatus Download PDFInfo
- Publication number
- JP2008148296A JP2008148296A JP2007298129A JP2007298129A JP2008148296A JP 2008148296 A JP2008148296 A JP 2008148296A JP 2007298129 A JP2007298129 A JP 2007298129A JP 2007298129 A JP2007298129 A JP 2007298129A JP 2008148296 A JP2008148296 A JP 2008148296A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- conversion coefficient
- luminance conversion
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000004065 semiconductor Substances 0.000 title claims description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 206
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。 The present invention relates to an image processing circuit that generates a desired output image by performing luminance conversion processing (luminance dynamic range correction processing) on an input image, a semiconductor device formed by integrating the image processing circuit, and an image processing device using the image processing circuit. Is.
従来より、入力画像をより美しく見せるための画像処理の一つとして、輝度変換処理が一般に用いられている。この輝度変換処理は、例えば、画像全体における輝度ヒストグラムに基づいて、画像領域全体に共通の輝度変換係数を算出し、各画素にこの輝度変換係数を乗じることで輝度変換を行うものである。 Conventionally, luminance conversion processing is generally used as one of image processing for making an input image look more beautiful. In this luminance conversion process, for example, a luminance conversion coefficient common to the entire image region is calculated based on a luminance histogram in the entire image, and the luminance conversion is performed by multiplying each pixel by the luminance conversion coefficient.
より具体的には、まず入力画像の全体を対象とした輝度ヒストグラム（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求める。そして、この輝度ヒストグラムに基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出するものである。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。 More specifically, first, a luminance histogram (frequency of each luminance range, that is, distribution of the number of pixels belonging to each predetermined luminance range) for the entire input image is obtained. Based on this luminance histogram, for each luminance range in the input image, a higher luminance frequency is assigned to the output image, while a lower luminance frequency is assigned to the output image. As described above, the luminance conversion coefficient is calculated. Therefore, the luminance conversion coefficient is a separate value for each luminance or for each predetermined luminance range.
これにより、入力画像において頻度の低い輝度範囲の部分については、よりコントラスト（輝度差）が曖昧となってしまうものの、逆に、入力画像において頻度の高い輝度範囲の部分については、よりコントラストが明瞭となる。そのため、画像全体として見てみると、入力時よりもコントラストを明瞭とすることが可能となる。 As a result, the contrast (brightness difference) becomes more ambiguous in the part of the luminance range that is less frequent in the input image, but the contrast is clearer in the part of the luminance range that is frequent in the input image. It becomes. Therefore, when viewed as an entire image, the contrast can be made clearer than at the time of input.
なお、上記に関連する従来技術としては、特許文献１〜４などを挙げることができる。 In addition, patent documents 1-4 etc. can be mentioned as a prior art relevant to the above.
また、特許文献５には、画像の輝度成分を抽出する手段と、前記輝度成分に基づきぼけ画像を作成する作成手段と、前記ぼけ画像に応じて前記画像の明暗差を補正する補正手段と、前記明暗差の補正量に応じて、前記補正された画像にノイズ除去を施す除去手段と、を有することを特徴とする画像処理装置が開示・提案されている。
確かに、上記従来の画像処理装置であれば、画像全体として見てみると、入力画像よりも出力画像のコントラストを明瞭とすることができるので、その画質や視認性を高めることが可能となる。 Certainly, with the above-described conventional image processing apparatus, when viewed as an entire image, the contrast of the output image can be made clearer than the input image, so that the image quality and visibility can be improved. .
しかしながら、上記従来の画像処理装置では、輝度ダイナミックレンジ補正処理によって、出力画像のコントラストを明瞭とし得る反面、低輝度画素の頻度が高い入力画像（すなわち、暗い入力画像）については、低輝度部分（暗い部分）のコントラストが高められることに伴って、暗所で発生しやすい撮像素子（特に、ＣＭＯＳ［Complementary Metal-Oxide Semiconductor］センサやＣＣＤ［Charge Coupled Devices］センサ）のノイズまで明るく強調されるおそれがあった。 However, in the conventional image processing apparatus, the contrast of the output image can be clarified by the luminance dynamic range correction process, but the input image with a high frequency of low luminance pixels (that is, a dark input image) As the contrast in dark areas is increased, the noise of image sensors (especially CMOS [Complementary Metal-Oxide Semiconductor] sensors and CCD [Charge Coupled Devices] sensors) that are likely to occur in the dark may be emphasized brightly. was there.
なお、従来より、上記ノイズを除去するための技術は種々開示・提案されているが、出力画像に対してノイズフィルタ処理を一律に施してしまうと、暗い部分のノイズを除去し得る反面、明るい部分の鮮明度を損なうおそれがあった。 Conventionally, various techniques for removing the noise have been disclosed and proposed, but if noise filter processing is uniformly performed on the output image, the noise in the dark portion can be removed, but it is bright. There was a risk of losing the clarity of the part.
本発明は、上記の問題点に鑑み、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。 In view of the above problems, the present invention appropriately removes noise without impairing the sharpness of an output image when generating a desired output image by performing luminance conversion processing (luminance dynamic range correction processing) on the input image. An object of the present invention is to provide an image processing circuit capable of improving the image quality and visibility of an output image, a semiconductor device in which the image processing circuit is integrated, and an image processing device using the same.
上記目的を達成するために、本発明に係る画像処理回路は、入力画像の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；前記輝度変換処理部の出力画像を構成する各画素に対して、所定のノイズフィルタ処理を施すノイズフィルタ処理部と；前記輝度変換係数算出部で得られる各画素毎の輝度値に基づいて、前記ノイズフィルタ処理の実施／不実施を切り替える、或いは、前記ノイズフィルタ処理の特性を調整するノイズフィルタ制御部と；を有して成る構成（第１の構成）とされている。 In order to achieve the above object, an image processing circuit according to the present invention obtains a luminance histogram of an input image and calculates a luminance conversion coefficient based on the histogram, and each pixel constituting the input image A luminance conversion processing unit that performs a luminance conversion process according to the luminance conversion coefficient; and a noise filter processing unit that performs a predetermined noise filter process on each pixel constituting the output image of the luminance conversion processing unit And a noise filter control unit that switches execution / non-execution of the noise filter processing or adjusts characteristics of the noise filter processing based on a luminance value for each pixel obtained by the luminance conversion coefficient calculation unit; It is set as the structure (1st structure) which has this.
このような構成とすることにより、入力画像の各画素毎に、ノイズフィルタ処理の要否を切り替えることができ、或いは、最適なノイズフィルタ処理を施すことができるので、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。 By adopting such a configuration, it is possible to switch the necessity of noise filter processing for each pixel of the input image or to perform optimal noise filter processing. When a desired output image is generated by performing (luminance dynamic range correction processing), noise can be appropriately removed without impairing the sharpness of the output image, and the image quality and visibility of the output image can be improved.
なお、上記第１の構成から成る画像処理回路において、前記ノイズフィルタ制御部は、所定の閾値よりも低い輝度値を有する画素にのみ、ノイズフィルタ処理を施すように、前記ノイズフィルタ処理部に指示を送る構成（第２の構成）にするとよい。 In the image processing circuit having the first configuration, the noise filter control unit instructs the noise filter processing unit to perform noise filter processing only on pixels having a luminance value lower than a predetermined threshold value. (Second configuration).
このような構成であれば、ノイズが強調されているおそれのある暗い部分については、ノイズフィルタ処理を施す一方、明るい部分については、ノイズが目立ちにくいことに鑑みて、ノイズフィルタ処理を施すことなく、その鮮明度を優先することが可能となる。従って、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、暗い部分のノイズが強調された場合でも、明るい部分の鮮明度を損なうことなく、暗い部分のノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。 With such a configuration, the noise filter processing is performed on a dark portion where noise may be emphasized, while the noise filtering processing is not performed on a bright portion in view of the fact that noise is not noticeable. It is possible to prioritize the sharpness. Accordingly, when a luminance conversion process (luminance dynamic range correction process) is performed on an input image to generate a desired output image, a dark portion is obtained without impairing the sharpness of a bright portion even when noise in the dark portion is emphasized. It is possible to appropriately remove the noise and improve the image quality and visibility of the output image.
また、上記第１または第２の構成から成る画像処理回路において、前記輝度変換係数算出部は、前記入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する構成（第３の構成）にするとよい。 Further, in the image processing circuit having the first or second configuration, the luminance conversion coefficient calculation unit obtains a luminance histogram for each area after dividing the input image into a plurality of areas. It is preferable to adopt a configuration (third configuration) for calculating a luminance conversion coefficient based thereon.
このような構成とすることにより、画像全体からみると頻度の低い輝度（若しくは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることできる上、暗い部分のノイズが強調された場合でも、これを適切に除去することができるので、出力画像の画質や視認性を高めることが可能となる。 With such a configuration, even if there is a portion related to luminance (or luminance range) that is infrequent when viewed from the entire image, good contrast can be obtained including that portion, and noise in dark portions can be obtained. Even when emphasis is emphasized, it can be appropriately removed, so that the image quality and visibility of the output image can be improved.
また、本発明に係る半導体装置は、上記第１〜第３いずれかの構成から成る画像処理回路を集積化して成る構成（第４の構成）とされている。 The semiconductor device according to the present invention has a configuration (fourth configuration) in which the image processing circuits having any one of the first to third configurations are integrated.
また、本発明に係る画像処理装置は、上記第４の構成から成る半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段と、を有して成り、前記入力画像は、該撮像により得られた画像である構成（第５の構成）にするとよい。このような構成とすれば、上記いずれかの構成により得られる利益を享受しつつ、被写体の撮像を行うことが可能となる。 An image processing apparatus according to the present invention includes the semiconductor device having the fourth configuration described above, and an imaging unit that forms an optical image of a subject and images the subject, and the input image Is a configuration (fifth configuration) that is an image obtained by the imaging. With such a configuration, it is possible to take an image of a subject while enjoying the benefits obtained by any of the above configurations.
また、上記第３の構成から成る画像処理回路において、前記輝度変換係数算出部は、前記入力画像の領域を複数のエリアに分割する分割手段と、前記エリア毎の輝度ヒストグラムを算出するヒストグラム算出手段と、を有して成り、前記輝度変換係数は、前記輝度ヒストグラムに基づいて定められる構成（第６の構成）にするとよい。 In the image processing circuit having the third configuration, the luminance conversion coefficient calculation unit includes a dividing unit that divides the area of the input image into a plurality of areas, and a histogram calculating unit that calculates a luminance histogram for each area. The luminance conversion coefficient may be configured based on the luminance histogram (sixth configuration).
また、上記した第６の構成から成る画像処理回路は、前記ヒストグラム算出手段の算出結果に基づいて、前記エリア毎に定まるエリア別変換係数を算出する第１算出手段を有して成り、前記輝度変換係数は、前記エリア別変換係数に基づいて定められる構成（第７の構成）にするとよい。 The image processing circuit having the sixth configuration includes first calculation means for calculating a conversion coefficient for each area determined for each area based on a calculation result of the histogram calculation means. The conversion coefficient may be configured based on the area-specific conversion coefficient (seventh configuration).
本構成によれば、エリア毎に算出された輝度ヒストグラムに基づいて、輝度変換係数が定められる。そのため、仮に画像全体に比べて輝度差の大きい箇所が部分的に存在していても、その部分は、その部分が属するエリアのヒストグラムに基づいて定められた輝度変換係数に応じて、輝度変換がなされることとなる。その結果、例えば、画像全体の輝度ヒストグラムに基づいて輝度変換係数が定められるもの等に比べて、当該部分についても良好なコントラストを得ることができる。 According to this configuration, the luminance conversion coefficient is determined based on the luminance histogram calculated for each area. Therefore, even if there is a part with a large luminance difference compared to the whole image, the part is subjected to the luminance conversion according to the luminance conversion coefficient determined based on the histogram of the area to which the part belongs. Will be made. As a result, for example, a better contrast can be obtained for the portion as compared with the case where the luminance conversion coefficient is determined based on the luminance histogram of the entire image.
なお「輝度変換係数」および「エリア別変換係数」は、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これには限定されない。 The “brightness conversion coefficient” and “area-specific conversion coefficient” define the relationship between the luminance of the input pixel and the luminance of the output pixel. For example, the luminance of the output pixel and the input pixel determined for each luminance at the time of input However, the present invention is not limited to this.
また、上記第７の構成から成る画像処理回路は、前記エリア別変換係数について、画像空間におけるローパスフィルタを施すフィルタ手段を有して成る構成（第８の構成）にするとよい。 The image processing circuit having the seventh configuration may have a configuration (eighth configuration) including filter means for applying a low-pass filter in the image space for the area-specific conversion coefficients.
エリア別変換係数は、該エリア内の輝度ヒストグラムに基づいて算出され、他のエリアに係る輝度情報は基本的には考慮されないため、エリア同士の境界部分において、輝度の差が目立つ場合がある。そこで、本構成のように、エリア別変換係数について画像空間におけるローパスフィルタを施すようにすることにより、かかる輝度の差を軽減させることが可能となる。 The conversion coefficient for each area is calculated based on the luminance histogram in the area, and the luminance information related to the other areas is not basically considered, so that the difference in luminance may be conspicuous at the boundary between the areas. Therefore, as in this configuration, the difference in luminance can be reduced by applying a low-pass filter in the image space to the conversion coefficients for each area.
また、上記第８の構成から成る画像処理回路において、前記フィルタ手段は、ある注目エリアについて前記フィルタを施すときには、該注目エリア周辺の所定範囲に存在するエリアの前記エリア別変換係数を用いるものである一方、該所定範囲の少なくとも一部が前記画像の領域からはみ出すときは、該はみ出す部分に所定の仮想係数を割り当て、該仮想係数を前記エリア別変換係数と仮定して前記ローパスフィルタを施す構成（第９の構成）にするとよい。 In the image processing circuit having the eighth configuration, the filter means uses the area-specific conversion coefficient of an area existing in a predetermined range around the area of interest when the filter is applied to the area of interest. On the other hand, when at least a part of the predetermined range protrudes from the image area, a predetermined virtual coefficient is assigned to the protruding part, and the low-pass filter is applied assuming that the virtual coefficient is the area-specific conversion coefficient. (Ninth configuration) is preferable.
本構成によれば、画像領域の外縁付近に位置するエリアについてフィルタ処理を施すときであっても、画像領域をはみ出した部分に割り当てた仮想係数をエリア別変換係数と仮定することにより、通常通りのフィルタ処理を行うことが可能となる。なお「仮想係数」はかかる目的を達成できるように、エリア別変換係数と同様の形式をとるものである。 According to this configuration, even when filtering is performed on an area located near the outer edge of the image area, the virtual coefficient assigned to the portion that protrudes from the image area is assumed to be a conversion coefficient for each area, as usual. It is possible to perform the filtering process. The “virtual coefficient” takes the same form as the area-specific conversion coefficient so as to achieve this purpose.
また、上記第７〜第９いずれかの構成から成る画像処理回路は、前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を有して成り、該第２算出手段は、前記エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数を算出するものであり、前記輝度変換係数は、該画素別変換係数に基づいて定められる構成（第１０の構成）にするとよい。 The image processing circuit having any one of the seventh to ninth configurations includes second calculation means for calculating a pixel-specific conversion coefficient determined for each pixel based on the area-specific conversion coefficient. The second calculation means calculates a pixel-specific conversion coefficient so that a luminance difference at the boundary between the areas becomes smaller, and the luminance conversion coefficient is determined based on the pixel-specific conversion coefficient. A configuration (tenth configuration) is preferable.
エリア別変換係数は、エリア毎に一律に定められる（エリア内の画素同士では共通である）ため、依然としてエリア同士の境界における輝度の差が目立ってしまうことが考えられる。そこで、本構成では、エリア別変換係数に基づいて、エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数が算出される。そして、輝度変換係数がこの画素別変換係数に基づいて定められるので、エリア同士の境界における輝度の差がより抑制された画素を出力することが容易となる。 Since the conversion coefficient for each area is uniformly determined for each area (common to pixels in the area), it is conceivable that the luminance difference at the boundary between the areas is still conspicuous. Therefore, in this configuration, the pixel-by-pixel conversion coefficient is calculated based on the area-by-area conversion coefficient so that the luminance difference at the boundary between the areas becomes smaller. Since the luminance conversion coefficient is determined based on the pixel-specific conversion coefficient, it becomes easy to output a pixel in which the difference in luminance at the boundary between areas is further suppressed.
なお、「画素別変換係数」も、「輝度変換係数」や「エリア別変換係数」と同様に、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これに限定されるものではない。 The “pixel conversion coefficient” also defines the relationship between the luminance of the input pixel and the luminance of the output pixel, like the “brightness conversion coefficient” and the “area conversion coefficient”. Although it is given as a ratio between the luminance of the output pixel and the luminance of the input pixel determined for each, it is not limited to this.
また、上記した第７〜第１０いずれかの構成から成る画像処理回路は、前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を有して成り、前記輝度変換係数は、該画素別変換係数に基づいて定められるものであって、該第２算出手段は、ある注目画素の画素別変換係数を算出するにあたり、該注目画素近傍の４エリアを選出し、これらのエリアの各々における略中心の４点に着目したバイリニア演算処理を行う構成（第１１の構成）にするとよい。 The image processing circuit having any one of the seventh to tenth configurations includes second calculation means for calculating a pixel-specific conversion coefficient determined for each pixel based on the area-specific conversion coefficient. The luminance conversion coefficient is determined on the basis of the pixel-specific conversion coefficient, and the second calculating means calculates four areas in the vicinity of the target pixel when calculating the pixel-specific conversion coefficient of a certain target pixel. It is preferable to adopt a configuration (eleventh configuration) in which bilinear calculation processing is performed by paying attention to four points at approximately the center in each of these areas.
本構成によれば、エリア別変換係数に基づいて、エリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。これにより、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。 According to this configuration, the pixel-by-pixel conversion coefficient is calculated based on the area-by-area conversion coefficient so that the change in luminance is smooth including the boundary portion between the areas. As a result, it is possible to avoid the occurrence of a discontinuous portion of the luminance change as much as possible, and it becomes easy to output a more beautiful image.
なお、ここでの「注目画素近傍の４エリア」とは、図７に示すように、ある頂点を共有する４個のエリアであって、各エリアの略中心同士を結んでできる四辺形の内部に、注目画素が位置する関係となるものを指す。 As used herein, “four areas near the target pixel” are four areas that share a certain vertex, as shown in FIG. In addition, this indicates a relationship in which the target pixel is located.
また、上記した第１〜第３、及び、第６〜第１１いずれかの構成から成る画像処理回路は、動画における各フレームを前記入力画像とするものであり、第ｎ番目のフレームに対する前記輝度変換処理は、第（ｎ−１）番目のフレームの内容に基づいて定められた前記輝度変換係数に応じてなされる構成（第１２の構成）にするとよい。 In addition, the image processing circuit having any one of the first to third and sixth to eleventh configurations described above uses each frame in a moving image as the input image, and the luminance with respect to the nth frame. The conversion process may be configured (the twelfth configuration) according to the luminance conversion coefficient determined based on the content of the (n−1) th frame.
本構成では、第ｎ番目のフレームに対して、第（ｎ−１）番目のフレームに対応した輝度変換係数を用いた輝度変換処理を行うようにしているから、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実現することが可能となる。その結果、入力画像に輝度変換処理を施したものをより早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。 In this configuration, since the luminance conversion processing using the luminance conversion coefficient corresponding to the (n−1) th frame is performed on the nth frame, the nth luminance conversion coefficient The nth luminance conversion process and image output can be realized without waiting for the calculation. As a result, it is possible to output an input image that has been subjected to luminance conversion processing at an earlier time, and it is possible to output an image close to real time.
上記したように、本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、入力画像の各画素毎に、ノイズフィルタ処理の要否を切り替えることができ、或いは、最適なノイズフィルタ処理を施すことができるので、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。 As described above, if the image processing circuit according to the present invention, the semiconductor device integrated with the image processing circuit, and the image processing device using the image processing circuit, the necessity of noise filter processing is determined for each pixel of the input image. Since it can be switched, or optimal noise filter processing can be performed, when the input image is subjected to luminance conversion processing (luminance dynamic range correction processing) to generate a desired output image, the sharpness of the output image is set. Noise can be appropriately removed without loss, and the quality and visibility of the output image can be improved.
以下では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて、詳細な説明を行う。 In the following, a detailed description will be given by taking as an example a case where the present invention is applied to an image processing apparatus that performs luminance conversion processing on an image of each frame obtained by moving image capturing.
まず、本発明に係る画像処理装置の第１実施形態について詳細に説明する。 First, a first embodiment of an image processing apparatus according to the present invention will be described in detail.
図１は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。 FIG. 1 is a block diagram showing a first embodiment of an image processing apparatus according to the present invention.
本図に示すように、本実施形態の画像処理装置１は、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１２と、輝度変換係数記憶部１３と、出力部１４と、を有して成る。
As shown in the figure, the
撮像部１０は、所定のレンズや撮像素子（ＣＭＯＳセンサやＣＣＤセンサ）等を備えており、被写体の光学像を結像させることで被写体の撮像処理（例えば３０フレーム毎秒の動画撮像）を行う。なお、各フレームに係る画像データは、輝度変換処理部１１及び輝度変換係数算出部１２に逐次出力される。
The
輝度変換処理部１１は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に対し、輝度変換処理を施して出力する。なお、この輝度変換処理は、入力画像における各画素の輝度を、輝度変換係数記憶部１３に記憶されている輝度変換係数に応じて変換することにより行われる。
The luminance
輝度変換係数算出部１２は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に基づいて、輝度変換処理に用いられる輝度変換係数を算出する。なお、輝度変換係数の内容及び輝度変換係数の算出方法については、後に改めて説明する。
The luminance conversion
輝度変換係数記憶部１３は、輝度変換係数算出部１２によって算出された輝度変換係数を、少なくとも次のフレームに係る輝度変換処理が実行されるまで記憶する。なお、この記憶内容は、輝度変換処理部１１における輝度変換処理において用いられることとなる。
The luminance conversion
出力部１４は、ＬＣＤ［Liquid Crystal Display］等のディスプレイ（例えば車載モニタ）を備えており、輝度変換処理部１１によって輝度変換処理のなされた出力画像を逐次表示する。
The
上記構成から成る画像処理装置１は、動画撮像により得られた入力画像に輝度変換係数に基づいた輝度変換処理を施して、これをディスプレイ表示する。
The
なお、上記構成要素のうち、輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３については、半導体装置に集積化するとよい。
Of the above-described components, the luminance
次に、画像処理装置１における画像処理の全体的な流れについて、図２を参照しながら説明する。
Next, the overall flow of image processing in the
図２は、画像処理装置１における画像処理の全体的な流れを説明するための図である。
FIG. 2 is a diagram for explaining the overall flow of image processing in the
本図に示すように、第ｎ番目のフレームに係る入力画像が到来すると、輝度変換係数算出部１２は、入力画像に基づいて、輝度変換係数の算出を行う。これにより、第ｎ番目のフレームに基づいて定められる輝度変換係数が得られ、これが輝度変換係数記憶部１３に一旦格納される。
As shown in this figure, when an input image related to the nth frame arrives, the luminance conversion
一方、輝度変換処理部１１は、到来した第ｎ番目のフレームに係る入力画像に対し、既に輝度変換係数記憶部１３に格納されている第（ｎ−１）番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を施す。
On the other hand, the luminance
より具体的には、ｎ番目のフレームにおける座標（ｉ，ｊ）の画素について、輝度変換処理前の輝度をＩｉｊ（ｎ）、輝度変換処理後の輝度をＯｉｊ（ｎ）とし、（ｎ−１）番目のフレームに基づいて、座標（ｉ，ｊ）の画素に対して定められた輝度変換係数をＴｉｊ（ｎ−１）とすると、各フレームの各画素に係る輝度は、下記の（１）式に基づいて、変換処理される。そして、輝度変換処理部１１にて輝度変換処理のなされた出力画像は、出力部１４を通じて出力される。
More specifically, for a pixel at coordinates (i, j) in the nth frame, the luminance before luminance conversion processing is Iij (n), the luminance after luminance conversion processing is Oij (n), and (n−1) ) If the luminance conversion coefficient determined for the pixel at coordinates (i, j) based on the first frame is Tij (n−1), the luminance related to each pixel in each frame is (1) Conversion processing is performed based on the expression. Then, the output image that has been subjected to the luminance conversion processing by the luminance
Ｏｉｊ（ｎ）＝Ｔｉｊ（ｎ−１）×Ｉｉｊ（ｎ） ・・・（１）
このように、本実施形態の画像処理装置１は、第ｎ番目のフレームに係る入力画像に対しては、第（ｎ−１）番目のフレームに基づいて定められる輝度変換係数を用いて輝度変換処理を行う構成とされている。そのため、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実行することが可能となる。その結果、入力画像に輝度変換処理を施したものを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。
Oij (n) = Tij (n−1) × Iij (n) (1)
As described above, the
なお、第ｎ番目のフレームに係る入力画像に対して、第（ｎ−２）番目以前のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うことも可能ではあるが、あまり古いフレームに基づいた輝度変換係数を用いた場合、変換処理の精度が問題となることに注意を要する。この問題は、特に、動きの大きい動画である場合に顕著となる。また、例えば、入力画像として静止画を扱う場合等においては、第ｎ番目のフレームに係る入力画像に対して、第ｎ番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うようにしても良い。 Note that although it is possible to perform the luminance conversion process on the input image related to the nth frame using the luminance conversion coefficient determined based on the (n−2) th and previous frames, It should be noted that the accuracy of the conversion process becomes a problem when the luminance conversion coefficient based on the old frame is used. This problem is particularly noticeable when the moving image has a large movement. For example, when a still image is handled as an input image, the luminance conversion process is performed on the input image related to the nth frame using a luminance conversion coefficient determined based on the nth frame. You may make it do.
次に、輝度変換係数の算出処理の内容について、図３のフローチャートを参照しながら説明する。 Next, the content of the luminance conversion coefficient calculation process will be described with reference to the flowchart of FIG.
図３は、画像処理装置１における輝度変換係数の算出処理を説明するためのフローチャートである。
FIG. 3 is a flowchart for explaining the luminance conversion coefficient calculation processing in the
まず、１フレーム分の入力画像に対して、エリア分割を行う（ステップＳ１１）。 First, area division is performed on an input image for one frame (step S11).
図４は、画像処理装置１におけるエリア分割の態様を説明するための図である。
FIG. 4 is a diagram for explaining a mode of area division in the
なお、図４の例では、１フレームが縦４０×横６４（＝２５６０）の画素から構成されているものとし、１エリアは８×８画素分の大きさとする。従って、エリアの総数は、縦５エリア×横８エリア＝４０エリアとなる。また、各エリアについては、左上から順に、Ａ０、Ａ１、・・・、Ａｎ、・・・、Ａ３９と称することにする。 In the example of FIG. 4, it is assumed that one frame is composed of 40 × 64 pixels (= 2560), and one area is 8 × 8 pixels in size. Accordingly, the total number of areas is 5 vertical areas × 8 horizontal areas = 40 areas. Each area will be referred to as A0, A1,..., An,.
エリア分割が完了したら、次に、エリア別変換係数の算出を行う（図３のステップＳ１２）。このエリア別変換係数は、エリア毎に決定されるものであり、エリア内の各画素に共通となる。 When the area division is completed, the area-specific conversion coefficient is calculated (step S12 in FIG. 3). This area-specific conversion coefficient is determined for each area, and is common to each pixel in the area.
なお、エリア別変換係数の算出方法については、フレーム全体を対象とする変換係数の算出方法と同様であるため、ここでは詳細な説明を割愛するが、フレーム全体の輝度ヒストグラムではなく、エリア毎の輝度ヒストグラム（各輝度または各輝度範囲に属する画素の出現頻度）が算出された後、当該エリア毎の輝度ヒストグラムに基づいて変換係数が算出される、という点で従来構成とは異なっている。このようにして算出されたエリア別変換係数によれば、分割された各エリアにつき、入力画像において高頻度な輝度範囲であるほど、出力画像において広い輝度範囲が割り当てられることになる。 Note that the method for calculating the conversion coefficient for each area is the same as the method for calculating the conversion coefficient for the entire frame, and a detailed description thereof is omitted here. This is different from the conventional configuration in that after a luminance histogram (appearance frequency of pixels belonging to each luminance or each luminance range) is calculated, a conversion coefficient is calculated based on the luminance histogram for each area. According to the area-specific conversion coefficients calculated in this way, for each divided area, the wider the luminance range in the input image, the wider the luminance range in the output image.
図３のステップＳ１２では、画像領域内の全エリアについて、エリア別変換係数が算出される。すなわち、各々のエリア毎に、固有のエリア別変換係数が定まることとなる。そして、エリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するものとしても良い。これにより、画像全体に比べて輝度差の大きい箇所が部分的に存在していても、当該部分を含めた良好なコントラストを得ることが可能となる。 In step S12 of FIG. 3, area-specific conversion coefficients are calculated for all areas in the image area. That is, a unique area-specific conversion coefficient is determined for each area. Then, the area-specific conversion coefficient may be adopted as the luminance conversion coefficient as it is, and the luminance conversion process of the input image may be executed. As a result, even when a portion having a large luminance difference as compared with the entire image partially exists, it is possible to obtain a good contrast including the portion.
ただし、エリア別変換係数は、そのエリアの外、すなわち、他のエリアに係る輝度情報は基本的に考慮されない。そのため、エリア同士の境界部分では、輝度の差が目立ち（輝度の分布が高周波となり）、滑らかさの点において良好とはいえない画像が出力されるおそれがある。そこで、本実施形態では、各エリアについて算出されたエリア別変換係数に対し、フィルタ処理等を行うこととする。この処理の内容について具体的に説明する。 However, the area-specific conversion coefficient does not basically consider luminance information outside the area, that is, other areas. For this reason, the difference in luminance is conspicuous (brightness distribution has a high frequency) at the boundary between areas, and an image that is not good in terms of smoothness may be output. Therefore, in this embodiment, filter processing or the like is performed on the area-specific conversion coefficients calculated for each area. The contents of this process will be specifically described.
まず、フィルタ処理等の実行に先立ち、画像領域の外部に上述したエリアと同規模の仮想エリアを設定する。 First, prior to execution of filter processing or the like, a virtual area having the same scale as the above-described area is set outside the image area.
図５は、仮想エリア（図中のＡ４０〜Ａ６９）が設定された状態を説明するための図である。 FIG. 5 is a diagram for explaining a state in which virtual areas (A40 to A69 in the figure) are set.
そして、これらの仮想エリアＡ４０〜Ａ６９に対して、仮想のエリア別変換係数（以下では、仮想係数と呼ぶ）を設定する（図３のステップＳ１３）。なお、この仮想係数は、後述する通り、画像領域の外縁付近のエリアに対しても、通常通りフィルタ処理を実行し得るようにするためのものである。 Then, virtual area-specific conversion coefficients (hereinafter referred to as virtual coefficients) are set for these virtual areas A40 to A69 (step S13 in FIG. 3). Note that this virtual coefficient is used so that filter processing can be executed as usual even in an area near the outer edge of the image region, as will be described later.
上記の仮想係数は、仮想エリアに隣り合う各エリア（画像領域の外縁に位置する各エリア）を基準として、当該仮想エリアと対称位置に存在するエリアのエリア別変換係数を参照して設定される。例えば、Ａ４１はＡ０に対してＡ８と対称であるから、Ａ４１の仮想係数は、Ａ８のエリア別変換係数と同値とする。同様に、Ａ４２はＡ１に対してＡ９と対称であるから、Ａ４２の仮想係数は、Ａ９のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０はＡ０に対してＡ９と対称であるから、Ａ４０の仮想係数は、Ａ９のエリア別変換係数と同値とする。 The virtual coefficient is set with reference to each area adjacent to the virtual area (each area located at the outer edge of the image area) with reference to the area-specific conversion coefficient of the area existing at a symmetric position with the virtual area. . For example, since A41 is symmetric with A8 with respect to A0, the virtual coefficient of A41 has the same value as the area-specific conversion coefficient of A8. Similarly, since A42 is symmetric with A9 with respect to A1, the virtual coefficient of A42 is set to the same value as the area-specific conversion coefficient of A9. On the other hand, since A40 located at the four corners is symmetrical with A9 with respect to A0, the virtual coefficient of A40 has the same value as the area-specific conversion coefficient of A9.
なお、仮想係数の設定方法は、上述の他、例えば、画像領域の外縁（図５中の太線）に対して対称となるように設定しても良い。この場合、Ａ４１は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。同様に、Ａ４２は画像領域の外縁に対してＡ１と対称であるから、Ａ４２の仮想係数は、Ａ１のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。 In addition to the above, the setting method of the virtual coefficient may be set to be symmetric with respect to the outer edge of the image area (thick line in FIG. 5), for example. In this case, since A41 is symmetrical with A0 with respect to the outer edge of the image area, the virtual coefficient of A40 is set to the same value as the area-specific conversion coefficient of A0. Similarly, since A42 is symmetric with A1 with respect to the outer edge of the image area, the virtual coefficient of A42 is set to the same value as the area-specific conversion coefficient of A1. On the other hand, A40 located at the four corners is symmetric with A0 with respect to the outer edge of the image area, so the virtual coefficient of A40 is the same value as the area-specific conversion coefficient of A0.
このように、各仮想エリアに対して仮想係数を設定したら、次に、画像領域内の各エリアにおけるエリア別変換係数について、画像空間的にローパスフィルタをかける処理（フィルタ処理）を実行する（図３のステップＳ１４）。 After setting the virtual coefficient for each virtual area in this way, next, a process (filter process) for applying a low-pass filter in the image space is performed on the area-specific conversion coefficient in each area in the image area (FIG. 5). 3 step S14).
図６は、ローパスフィルタの態様を説明するための図である。 FIG. 6 is a diagram for explaining an aspect of the low-pass filter.
これによれば、ある注目エリアについてフィルタを施す場合に、注目エリア周辺の所定範囲（この場合は上下左右の４エリア）に存在するエリアのエリア別変換係数が用いられることになる。ただし、この所定範囲の一部が画像領域からはみ出す場合、そのはみ出した部分については、その位置の仮想エリアに割り当てられた仮想係数をエリア別変換係数と仮定する。 According to this, when a filter is applied to a certain area of interest, the area-specific conversion coefficients of areas existing in a predetermined range around the area of interest (in this case, the four areas on the top, bottom, left, and right) are used. However, when a part of the predetermined range protrudes from the image area, the virtual coefficient assigned to the virtual area at that position is assumed to be the area-specific conversion coefficient.
例えば、エリアＡ０におけるフィルタ処理後のエリア別変換係数ａ’（０）は、以下のようになる。なお、ａ（ｎ）は、エリアＡｎ（ｎ＝０，１，８，４１，５０）における当該フィルタ処理前のエリア別変換係数を示している。また、ａ（４１）とａ（５０）は、それぞれ仮想エリアＡ４１とＡ５０における仮想係数である。 For example, the area-specific conversion coefficient a ′ (0) after the filter processing in the area A0 is as follows. Note that a (n) represents the area-specific conversion coefficient in the area An (n = 0, 1, 8, 41, 50) before the filter processing. Further, a (41) and a (50) are virtual coefficients in the virtual areas A41 and A50, respectively.
ａ´（０）＝ａ（０）／２＋[ａ（１）＋ａ（８）＋ａ（４１）＋ａ（５０）]／８
このようなフィルタ処理により、エリア同士の境界部分において輝度の差が目立っていた場合であっても、かかる輝度の差を軽減させることが可能となる。また、本実施形態では、ローパスフィルタとして図６に示すものを挙げたが、どの範囲までのエリアに係るエリア別変換係数を考慮するか、また、フィルタにおける各エリア毎の重み付けをどのようにするか等については、種々の態様とすることが可能である。
a ′ (0) = a (0) / 2 + [a (1) + a (8) + a (41) + a (50)] / 8
Such a filtering process can reduce the difference in luminance even when the difference in luminance is conspicuous in the boundary portion between the areas. In the present embodiment, the low-pass filter shown in FIG. 6 has been described. However, the area-specific conversion coefficient related to the area up to which range is considered, and the weighting for each area in the filter is performed. Various aspects can be adopted.
上記したフィルタ処理がなされたエリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するようにしても良い。しかし、本実施形態では、さらに出力画像の滑らかさを得るため、画素ごとに決定される（同一エリア内でも、各画素に共通とは限らない）画素別変換係数を算出し（図３のステップＳ１５）、これを輝度変換係数として適用する（図３のステップＳ１６）。 The area-specific conversion coefficient that has been subjected to the above-described filter processing may be directly used as the luminance conversion coefficient, and the luminance conversion process of the input image may be executed. However, in this embodiment, in order to further obtain the smoothness of the output image, a pixel-specific conversion coefficient determined for each pixel (not necessarily common to each pixel even in the same area) is calculated (step of FIG. 3). S15), and this is applied as a luminance conversion coefficient (step S16 in FIG. 3).
ここで、この画素別変換係数の算出方法（バイリニア演算）について、図７を参照しながら説明する。 Here, a calculation method (bilinear calculation) of the conversion coefficient for each pixel will be described with reference to FIG.
図７は、バイリニア演算について説明するための図である。 FIG. 7 is a diagram for explaining bilinear calculation.
ある注目画素についての画素別変換係数を定めるにあたっては、当該画素の近傍に係る４個のエリアに着目する。例えば、図７における画素Ｐが注目画素であるときは、Ａ０、Ａ１、Ａ８、及び、Ａ９のエリアに着目することとなる。つまり、各エリアが一つの頂点を共有するとともに、各エリアの中心同士を結んでできる四辺形の内部に注目画素が位置する関係となるように、４個のエリアを選ぶこととする。 In determining the pixel-specific conversion coefficient for a certain target pixel, attention is paid to four areas related to the vicinity of the pixel. For example, when the pixel P in FIG. 7 is the target pixel, attention is paid to the areas A0, A1, A8, and A9. In other words, four areas are selected so that each area shares one vertex and the pixel of interest is located inside a quadrilateral formed by connecting the centers of the areas.
そして、注目画素Ｐの画素別変換係数は、これら４個のエリアの各々におけるフィルタ処理後のエリア別変換係数[ａ´（０）、ａ´（１）、ａ´（８）、ａ´（９）]と、注目画素Ｐの位置と、当該４個のエリアの各々における中心位置と、に係るバイリニア演算により算出される。 The pixel-specific conversion coefficients of the pixel of interest P are the area-specific conversion coefficients [a ′ (0), a ′ (1), a ′ (8), a ′ ( 9)], the position of the target pixel P, and the center position in each of the four areas.
より具体的には、図７に示すように、横方向のエリア間距離をＸ、縦方向のエリア間距離をＹ、エリアＡ０の中心と注目画素Ｐとの横方向の距離をａ、同じく縦方向の距離をｂとした場合、注目画素Ｐの画素別変換係数ｐ（Ｐ）は、次のように求められる。 More specifically, as shown in FIG. 7, the horizontal distance between the areas is X, the vertical distance between the areas is Y, the horizontal distance between the center of the area A0 and the target pixel P is a, and the vertical distance is the same. When the distance in the direction is b, the pixel-by-pixel conversion coefficient p (P) of the target pixel P is obtained as follows.
ｐ（Ｐ）＝｛ ａ´（０）×（Ｘ−ａ）×（Ｙ−ｂ）
＋ａ´（１）×ａ×（Ｙ−ｂ）
＋ａ´（８）×（Ｘ−ａ）×ｂ
＋ａ´（９）×ａ×ｂ ] ／（Ｘ×Ｙ）
なお、当該バイリニア演算においても、注目画素が画像領域の外縁付近にある場合は、着目する４個のエリアのうちの一部が画像領域からはみ出してしまうことが考えられる。このような場合でも、先述したフィルタ処理の場合と同様、仮想エリアおよび仮想係数を設定しておくこと等により、通常のバイリニア演算が実行可能である。
p (P) = {a ′ (0) × (X−a) × (Y−b)
+ A ′ (1) × a × (Y−b)
+ A ′ (8) × (X−a) × b
+ A ′ (9) × a × b] / (X × Y)
Even in the bilinear calculation, if the target pixel is in the vicinity of the outer edge of the image area, it is conceivable that a part of the four areas of interest protrudes from the image area. Even in such a case, a normal bilinear calculation can be performed by setting a virtual area and a virtual coefficient as in the case of the filter processing described above.
かかる方法によって、画像領域内の全ての画素について画素別変換係数を算出し、これを各々対応する画素に関する輝度変換係数とする。これにより、エリア別変換係数に基づいてエリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。その結果、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。 With this method, pixel-specific conversion coefficients are calculated for all pixels in the image area, and these are used as luminance conversion coefficients for the corresponding pixels. Accordingly, the pixel-specific conversion coefficient is calculated based on the area-specific conversion coefficient so that the luminance change is smooth including the boundary portion between the areas. As a result, it is possible to avoid the occurrence of a discontinuous portion of luminance change as much as possible, and it becomes easy to output a more beautiful image.
なお、上述のようにバイリニア演算を用いた場合、通常、エリア同士の境界における輝度の差がより小さくなるように画素別変換係数が算出されることになる。しかし、エリア同士の境界における輝度の差を確実に小さくさせるため、上記バイリニア演算に代えて、またはバイリニア演算に加えて、別の演算手段を適用することとしても良い。 When bilinear calculation is used as described above, the pixel-specific conversion coefficient is usually calculated so that the difference in luminance at the boundary between areas becomes smaller. However, another calculation means may be applied instead of the bilinear calculation or in addition to the bilinear calculation in order to surely reduce the luminance difference at the boundary between the areas.
また、先述の輝度変換係数記憶部１３には、エリア別変換係数（エリア毎の係数）のみを格納しておき、最終的に輝度変換係数として採用する画素別変換係数（画素毎の係数）については、輝度変換処理が実行される時に算出されるものとしてもよい。このようにすれば、画素別変換係数を格納するものに比べて、輝度変換係数記憶部１３のメモリ容量が少なくて済むようになる。
In addition, the above-described luminance conversion
また、上述した「画素」については、文字通り単一の画素を「画素」とする他、例えばＲＧＢ（赤・緑・青）の各画素からなる画素群を一体として考え、「画素」として取り扱うようにしてもよい。この場合「画素の輝度」は、当該画素群における輝度の平均値等と考えることができる。 As for the above-mentioned “pixel”, literally a single pixel is regarded as a “pixel”, and for example, a pixel group composed of RGB (red, green, and blue) pixels is considered as a unit and treated as a “pixel”. It may be. In this case, the “pixel luminance” can be considered as an average value of luminance in the pixel group.
上記したように、本実施形態の画像処理装置１であれば、画像全体からみると頻度の低い輝度（或いは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることが可能となる。
As described above, with the
ただし、本実施形態の画像処理装置１では、エリア毎の輝度ヒストグラムに基づいて、輝度変換係数が算出されるため、輝度値の小さい画素が多数を占めるエリア（すなわち、暗いエリア）については、低輝度部分（暗い部分）のコントラストが高められることに伴って、暗所で発生しやすい撮像素子のノイズが目立ちやすくなるが、出力画像に対してノイズフィルタ処理を一律に施してしまうと、暗い部分のノイズを除去し得る反面、明るい部分の鮮明度を損なうおそれがある。
However, in the
そこで、以下では、上記の不具合を解消するための手段として、本発明に係る画像処理装置の第２実施形態を提案し、その構成及び動作について詳細な説明を行う。 Therefore, in the following, a second embodiment of the image processing apparatus according to the present invention is proposed as means for solving the above problems, and the configuration and operation thereof will be described in detail.
図８は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。 FIG. 8 is a block diagram showing a second embodiment of the image processing apparatus according to the present invention.
本図に示すように、本実施形態の画像処理装置１’は、先述の第１実施形態とほぼ同様の構成から成り、低輝度画素にのみノイズフィルタ処理を施す点に特徴を有している。そこで、第１実施形態と同様の部分については、図１と同一の符号を付すことで説明を省略し、以下では、本実施形態の特徴部分について、重点的な説明を行うことにする。
As shown in the figure, the
本実施形態の画像処理装置１’は、上記のノイズフィルタ処理を実現する手段として、ノイズフィルタ処理部１５と、ノイズフィルタ制御部１６と、を有して成る。
The
なお、画像処理装置１’を構成する回路要素のうち、先述した輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３のほか、ノイズフィルタ処理部１５、及び、ノイズフィルタ制御部１６についても、半導体装置に集積化するとよい。
Of the circuit elements constituting the
ノイズフィルタ処理部１５は、輝度変換処理部１１の出力画像を構成する各画素に対して、所定のノイズフィルタ処理を施す手段である。なお、ノイズフィルタ処理の一例としては、ある注目画素（ノイズフィルタ処理の対象となる画素）の輝度値と、その周辺画素（例えば上下左右の４画素）の輝度値を参照して、先述のローパスフィルタ処理と同様の重み付け演算を施すことが考えられる。
The noise
ノイズフィルタ制御部１６は、輝度変換係数算出部１２で得られる各画素毎の輝度値に基づいて、ノイズフィルタ処理の実施／不実施を切り替える手段である。なお、本実施形態のノイズフィルタ制御部１６は、輝度ダイナミックレンジ補正処理（より具体的には輝度ヒストグラムの取得処理）に際して、輝度変換係数算出部１２で得られる各画素毎の輝度値を入力順にバッファしておき、所定の閾値よりも低い輝度値を有する画素にのみ、ノイズフィルタ処理を施すように、ノイズフィルタ処理部に指示を送る構成とされている。
The noise
このような構成とすることにより、入力画像の各画素毎に、ノイズフィルタ処理の要否を判断して、その実施／不実施を切り替えることができるので、ノイズが強調されているおそれのある暗い部分については、ノイズフィルタ処理を施す一方、明るい部分については、ノイズが目立ちにくいことに鑑みて、ノイズフィルタ処理を施すことなく、その鮮明度を優先することが可能となる。 By adopting such a configuration, it is possible to determine whether or not noise filter processing is necessary for each pixel of the input image, and to switch between implementation / non-execution, so that the noise may be emphasized. While the noise filter processing is performed on the portion, it is possible to give priority to the sharpness of the bright portion without performing the noise filter processing in view of the fact that noise is not noticeable.
従って、本実施形態の画像処理装置１’であれば、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、暗い部分のノイズが強調された場合でも、明るい部分の鮮明度を損なうことなく、暗い部分のノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。
Therefore, in the case of the
なお、上記実施形態では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、本発明の適用対象はこれに限定されるものではなく、静止画像に対して輝度変換処理を施す画像処理装置など、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置全般に適用することが可能である。 In the above embodiment, the case where the present invention is applied to an image processing apparatus that performs luminance conversion processing on each frame image obtained by moving image capturing has been described as an example. The object is not limited to this, and an image processing circuit that performs luminance conversion processing on an input image to generate a desired output image, such as an image processing device that performs luminance conversion processing on a still image, is integrated. The present invention can be applied to all semiconductor devices and image processing apparatuses using the same.
また、上記実施形態では、入力画像を複数エリアに分割し、各エリア毎の輝度ヒストグラムに基づいて輝度変換係数を算出する画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、低輝度画素にのみノイズフィルタ処理を施す本願発明の適用対象に関して言えば、何ら上記実施形態に限定されるものではなく、入力画像全体の輝度ヒストグラムに基づいて輝度変換係数を算出し、入力画像を構成する各画素に対して、輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置全般に広く適用することが可能である。 In the above embodiment, the case where the present invention is applied to an image processing apparatus that divides an input image into a plurality of areas and calculates a luminance conversion coefficient based on a luminance histogram for each area has been described as an example. However, as far as the application target of the present invention that applies noise filter processing only to low-luminance pixels, the present invention is not limited to the above-described embodiment, and a luminance conversion coefficient is calculated based on a luminance histogram of the entire input image, and input An image processing circuit for generating a desired output image by performing luminance conversion processing corresponding to the luminance conversion coefficient on each pixel constituting the image, a semiconductor device formed by integrating the image processing circuit, and the same The present invention can be widely applied to all image processing apparatuses.
また、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。 The configuration of the present invention can be variously modified within the scope of the present invention in addition to the above embodiment.
例えば、上記実施形態では、ノイズフィルタ制御部１６を用いてノイズフィルタ処理の実施／不実施を切り替える構成を例に挙げて説明を行ったが、本発明の構成はこれに限定されるものではなく、例えば、輝度変換係数算出部１２で得られる各画素毎の輝度値に基づいて、ノイズフィルタ処理の特性を調整する構成（例えば、先述した重み付け演算の係数を可変制御する構成）としてもよい。このような構成とすることにより、ノイズフィルタ処理の実施／不実施を切り替える構成に比べて、さらに柔軟なノイズフィルタ制御を実現することが可能となる。
For example, in the above embodiment, the description has been given by taking as an example the configuration for switching between implementation / non-implementation of the noise filter processing using the noise
本発明は、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、出力画像の画質や視認性を高める上で有用な技術である。 The present invention relates to an image processing circuit that performs luminance conversion processing on an input image to generate a desired output image, a semiconductor device integrated with the image processing circuit, and an image processing device using the image processing circuit. This is a useful technique for improving the performance.
１、１’ 画像処理装置
１０ 撮像部（撮像手段）
１１ 輝度変換処理部
１２ 輝度変換係数算出部
１３ 輝度変換係数記憶部
１４ 出力部
１５ ノイズフィルタ処理部
１６ ノイズフィルタ制御部
1, 1 ′
DESCRIPTION OF
Claims (5)
前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；
前記輝度変換処理部の出力画像を構成する各画素に対して、所定のノイズフィルタ処理を施すノイズフィルタ処理部と；
前記輝度変換係数算出部で得られる各画素毎の輝度値に基づいて、前記ノイズフィルタ処理の実施／不実施を切り替える、或いは、前記ノイズフィルタ処理の特性を調整するノイズフィルタ制御部と；
を有して成ることを特徴とする画像処理回路。 A luminance conversion coefficient calculation unit that acquires a luminance histogram of the input image and calculates a luminance conversion coefficient based on the histogram;
A luminance conversion processing unit that performs a luminance conversion process according to the luminance conversion coefficient on each pixel constituting the input image;
A noise filter processing unit that performs predetermined noise filter processing on each pixel constituting the output image of the luminance conversion processing unit;
A noise filter control unit that switches execution / non-execution of the noise filter processing or adjusts characteristics of the noise filter processing based on a luminance value for each pixel obtained by the luminance conversion coefficient calculation unit;
An image processing circuit comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007298129A JP2008148296A (en) | 2006-11-17 | 2007-11-16 | Image processing circuit, semiconductor device, and image processing apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006310976 | 2006-11-17 | ||
| JP2007298129A JP2008148296A (en) | 2006-11-17 | 2007-11-16 | Image processing circuit, semiconductor device, and image processing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008148296A true JP2008148296A (en) | 2008-06-26 |
Family
ID=39607913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007298129A Pending JP2008148296A (en) | 2006-11-17 | 2007-11-16 | Image processing circuit, semiconductor device, and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008148296A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021052433A (en) * | 2019-10-21 | 2021-04-01 | 日本電気株式会社 | Reception device, reception method, and reception program |
| US11438671B2 (en) | 2015-12-24 | 2022-09-06 | Nec Corporation | Signal configuration device, signal configuration system, signal configuration method, and storage medium storing signal configuration program |
-
2007
- 2007-11-16 JP JP2007298129A patent/JP2008148296A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11438671B2 (en) | 2015-12-24 | 2022-09-06 | Nec Corporation | Signal configuration device, signal configuration system, signal configuration method, and storage medium storing signal configuration program |
| JP2021052433A (en) * | 2019-10-21 | 2021-04-01 | 日本電気株式会社 | Reception device, reception method, and reception program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3949684B2 (en) | Gradation correction apparatus, gradation correction program, portable terminal device, and personal computer | |
| JP3532781B2 (en) | Image processing circuit of image input device | |
| TWI416940B (en) | Image processing apparatus and image processing program | |
| JP5257108B2 (en) | Projector, projection system, image display method, and image display program | |
| TWI519151B (en) | Image processing method and image processing apparatus | |
| JP5020615B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP4963598B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP4997237B2 (en) | Image processing circuit, semiconductor device, and image processing device | |
| US20090027519A1 (en) | Noise reduction device, noise reduction method and video camera | |
| JP2004221644A (en) | Image processing apparatus and method therefor, recording medium, and program | |
| JP6087612B2 (en) | Image processing apparatus and image processing method | |
| JP2008125049A (en) | Image processing ic, image processing apparatus and back light driving device | |
| JP5589660B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP2014010776A (en) | Image processing apparatus, image processing method, and program | |
| JP2008148296A (en) | Image processing circuit, semiconductor device, and image processing apparatus | |
| JP2006165828A (en) | Gradation correcting device | |
| US9374526B2 (en) | Providing frame delay using a temporal filter | |
| JP2003069859A (en) | Moving image processing adapting to motion | |
| JPWO2017187508A1 (en) | Display processing apparatus and imaging apparatus | |
| JP4990007B2 (en) | Image processing circuit, semiconductor device, and image processing device | |
| JP2008171059A (en) | Image processing circuit, semiconductor device, and image processor | |
| JP5535443B2 (en) | Image processing device | |
| JP2009027608A (en) | Noise reducer, and noise reducing method | |
| JP2012221208A (en) | Image processing circuit, semiconductor device, and image processor | |
| JP5462912B2 (en) | Backlight drive device, image display device, and image processing device |