JP4696812B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4696812B2 JP4696812B2 JP2005276299A JP2005276299A JP4696812B2 JP 4696812 B2 JP4696812 B2 JP 4696812B2 JP 2005276299 A JP2005276299 A JP 2005276299A JP 2005276299 A JP2005276299 A JP 2005276299A JP 4696812 B2 JP4696812 B2 JP 4696812B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coring
- unit
- noise
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、複数の異なる光電変換特性を有する固体撮像素子を用いた撮像装置であって、特に、この固体撮像素子により得られた撮影画像に対するノイズ除去が可能な撮像装置に関するものである。 The present invention relates to an imaging apparatus using a solid-state imaging element having a plurality of different photoelectric conversion characteristics, and more particularly to an imaging apparatus capable of removing noise from a captured image obtained by the solid-state imaging element.
従来、デジタルカメラ等の撮像装置は、所定の固体撮像素子(撮像センサ)を備え、この固体撮像素子による撮像によって撮影画像を取得する。一般的に、撮影画像(画像信号)にはノイズ成分が含まれるが、近年における更なる高画質化の要請にも伴い、このノイズ成分を好適に除去することが求められる。ところで、固体撮像素子には、該固体撮像素子の光電変換特性が複数の異なる光電変換特性からなるものがある。例えば、入射光量に対して電気信号が線形的に変換されて出力される線形の光電変換特性(線形特性という)と、入射光量に対して電気信号が対数的に変換されて出力される対数の光電変換特性(対数特性という)とからなる光電変換特性を有する固体撮像素子(リニアログセンサという)が知られている。なお、この線形特性及び対数特性(線形/対数特性という)を有するリニアログセンサによる撮影画像のことを線形/対数画像という。 2. Description of the Related Art Conventionally, an imaging apparatus such as a digital camera includes a predetermined solid-state imaging device (imaging sensor), and acquires a captured image by imaging using the solid-state imaging device. In general, a captured image (image signal) includes a noise component. However, with the recent demand for higher image quality, it is required to suitably remove the noise component. By the way, some solid-state image sensors are composed of a plurality of different photoelectric conversion characteristics. For example, a linear photoelectric conversion characteristic (linear characteristic) in which an electric signal is linearly converted with respect to an incident light amount and output, and a logarithm of an electric signal that is converted logarithmically with respect to the incident light amount and output. A solid-state imaging device (referred to as a linear log sensor) having a photoelectric conversion property composed of a photoelectric conversion property (referred to as a logarithmic property) is known. A photographed image by a linear log sensor having the linear characteristic and logarithmic characteristic (referred to as linear / logarithmic characteristic) is referred to as a linear / logarithmic image.
このように複数の異なる光電変換特性を有する固体撮像素子を備える撮像装置に対し、上記ノイズ除去を行う方法として、例えば特許文献1には、光電変換特性が異なる領域ではパラメータ(コアリング係数等)を変化させ、この異なるパラメータを用いてノイズ除去を行うという技術が開示されている。また、例えば特許文献2には、撮影画像の階調変換処理の前にノイズ除去を行い、このノイズ除去後の画像から照明成分と反射率成分とを抽出して階調変換(照明成分を圧縮することによって局所的なコントラストを保存したまま全体のダイナミックレンジ(DR)を圧縮するDR圧縮)を行うという技術が開示されている。
上記固体撮像素子のように複数の光電変換特性を有する撮像素子を用いた撮像によって得られる画像を階調変換すると、この階調変換による画像データの伸張度合い(データ圧縮度合い)が大きな画素においては、コントラスト成分だけでなくノイズ成分も伸張されてしまい、一律のノイズ除去を行うだけでは伸張度合いの大きな領域でのノイズが目立ってしまっていた。 When tone conversion is performed on an image obtained by imaging using an imaging device having a plurality of photoelectric conversion characteristics such as the above-described solid-state imaging device, in a pixel in which the degree of image data expansion (data compression) by the tone conversion is large Not only the contrast component but also the noise component is expanded, and noise in a region with a large expansion degree becomes conspicuous only by performing uniform noise removal.
特許文献1においては、上述したように光電変換特性が異なる領域ではパラメータを変化させ、この異なるパラメータを用いてノイズ除去を行うことにより、一律のノイズ除去の場合と比べてノイズは軽減されるものの、階調変換による伸張度合いの違いで目立つノイズ成分は除去しきれていなかった。また、特許文献2においては、階調変換処理のために照明成分及び反射率成分は抽出しているものの、階調変換前に一律のノイズ除去を行っているだけで、それぞれの成分に対して異なるノイズ除去処理を行うことはなく、また、階調変換による伸張度合いの違いで目立つノイズ成分は除去しきれていなかった。
In
本発明は、上記事情に鑑みてなされたもので、階調変換による伸張度合いの違いによってノイズが目立つということのないようにすることができ、ひいては高画質な撮影画像を得ることができる撮像装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and it is possible to prevent noise from being noticeable due to a difference in the degree of expansion due to gradation conversion, and thus to obtain a high-quality captured image. The purpose is to provide.
本発明の請求項1に係る撮像装置は、複数の異なる光電変換特性を有する固体撮像素子と、前記固体撮像素子による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去を行うノイズ除去手段とを備え、前記ノイズ除去手段は、前記撮影画像の前記伸張度合いに相当する輝度レベルに応じて前記ノイズ除去量に関するパラメータとしてのコアリング係数を算出する係数算出手段と、前記係数算出手段により算出したコアリング係数に基づいて、前記撮影画像からノイズ成分を除去するコアリング処理を行うコアリング処理手段とを備え、前記複数の異なる光電変換特性において、前記係数算出手段は、高輝度側特性と低輝度側特性とで異なるコアリング係数を算出し、高輝度側のコアリング係数を前記撮影画像の階調変換における伸張度合いに基づいて算出することを特徴とする。
According to a first aspect of the present invention, there is provided an imaging apparatus having a plurality of solid-state imaging elements having different photoelectric conversion characteristics and a noise removal amount of the captured image according to a degree of expansion in gradation conversion of the captured image by the solid-state imaging element. A noise removing unit that removes noise from the captured image by changing a parameter related to the captured image , the noise removing unit serving as a parameter related to the noise removal amount according to a luminance level corresponding to the degree of expansion of the captured image. Coefficient calculating means for calculating a coring coefficient; and coring processing means for performing a coring process for removing a noise component from the photographed image based on the coring coefficient calculated by the coefficient calculating means. In the different photoelectric conversion characteristics, the coefficient calculation means is capable of coring differently between the high luminance side characteristic and the low luminance side characteristic. Calculating a number, and calculates, based coring coefficients of the high-luminance side to the decompression degree in the grayscale conversion of the captured image.
上記構成によれば、ノイズ除去手段によって、固体撮像素子による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去が行われる。 According to the above configuration, the noise removal unit performs noise removal on the photographed image by changing the parameter relating to the noise removal amount of the photographed image in accordance with the degree of expansion in gradation conversion of the photographed image by the solid-state imaging device. .
これによれば、撮影画像の輝度レベルに応じて階調変換時の伸張度合いが変化するので、係数算出手段によって撮影画像の輝度レベルに応じて、すなわち例えば低輝度部の画像であるか高輝度部の画像であるかに応じてノイズ除去量に関するパラメータとしてのコアリング係数が算出され、コアリング処理手段によって係数算出手段により算出したコアリング係数に基づいて、撮影画像からノイズ成分が除去されるコアリング処理が行われる。 According to this, since the degree of expansion at the time of gradation conversion changes according to the luminance level of the photographed image, the coefficient calculation means according to the luminance level of the photographed image, that is, for example, an image of a low luminance part or a high luminance The coring coefficient as a parameter relating to the amount of noise removal is calculated according to whether the image is a part image, and the noise component is removed from the captured image based on the coring coefficient calculated by the coefficient calculating means by the coring processing means. Coring processing is performed.
また、上記構成において、前記ノイズ除去手段は、前記撮影画像から低周波成分を抽出する低周波成分抽出手段と、前記撮影画像から高周波成分を抽出する高周波成分抽出手段とをさらに備え、前記係数算出手段は、前記輝度レベルに相当する前記低周波成分のレベルに応じて前記コアリング係数を算出し、前記コアリング処理手段は、前記低周波成分のレベルに応じて算出されたコアリング係数に基づいて前記高周波成分に対するコアリング処理を行うことが好ましい。 In the above configuration, the noise removing unit further includes a low-frequency component extracting unit that extracts a low-frequency component from the captured image, and a high-frequency component extracting unit that extracts a high-frequency component from the captured image, and the coefficient calculation The means calculates the coring coefficient according to the level of the low frequency component corresponding to the luminance level, and the coring processing means is based on the coring coefficient calculated according to the level of the low frequency component. It is preferable to perform a coring process on the high-frequency component.
これによれば、低周波成分抽出手段によって撮影画像から低周波成分が抽出され、高周波成分抽出手段によって撮影画像から高周波成分が抽出される。そして、係数算出手段によって輝度レベルに相当する低周波成分のレベルに応じてコアリング係数が算出され、コアリング処理手段によって低周波成分のレベルに応じて算出されたコアリング係数に基づいて高周波成分に対するコアリング処理が行われる。 According to this, the low frequency component is extracted from the photographed image by the low frequency component extracting means, and the high frequency component is extracted from the photographed image by the high frequency component extracting means. Then, the coring coefficient is calculated according to the level of the low frequency component corresponding to the luminance level by the coefficient calculating means, and the high frequency component based on the coring coefficient calculated according to the level of the low frequency component by the coring processing means. A coring process is performed on.
また、上記構成において、前記撮影画像から照明成分を抽出する照明成分抽出手段と、前記撮影画像から反射率成分を抽出する反射率成分抽出手段とをさらに備え、前記係数算出手段は、前記輝度レベルに相当する前記照明成分のレベルに応じて前記コアリング係数を算出し、前記コアリング処理手段は、前記照明成分のレベルに応じて算出されたコアリング係数に基づいて前記反射率成分に対するコアリング処理を行うことが好ましい。 Further, in the above configuration, the apparatus further includes an illumination component extraction unit that extracts an illumination component from the captured image, and a reflectance component extraction unit that extracts a reflectance component from the captured image, and the coefficient calculation unit includes the luminance level. The coring coefficient is calculated according to the level of the illumination component corresponding to the coring coefficient, and the coring processing means coring the reflectance component based on the coring coefficient calculated according to the level of the illumination component. It is preferable to carry out the treatment.
これによれば、照明成分抽出手段によって撮影画像から照明成分が抽出され、反射率成分抽出手段によって撮影画像から反射率成分が抽出される。そして、係数算出手段によって、輝度レベルに相当する照明成分のレベルに応じてコアリング係数が算出され、コアリング処理手段によって、照明成分のレベルに応じて算出されたコアリング係数に基づいて反射率成分に対するコアリング処理が行われる。 According to this, the illumination component is extracted from the photographed image by the illumination component extracting means, and the reflectance component is extracted from the photographed image by the reflectance component extracting means. Then, the coefficient calculating means calculates a coring coefficient according to the level of the illumination component corresponding to the luminance level, and the coring processing means calculates the reflectance based on the coring coefficient calculated according to the level of the illumination component. A coring process is performed on the components.
また、上記構成において、前記複数の異なる光電変換特性において、前記係数算出手段は、高輝度側特性に対する前記コアリング係数として、前記階調変換後のノイズ量が該高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数を算出することが好ましい。 In the above-described configuration, in the plurality of different photoelectric conversion characteristics, the coefficient calculation means may use the coring coefficient for the high luminance side characteristic as the coring coefficient so that the noise amount after the gradation conversion is a low luminance part in the high luminance side characteristic. It is preferable to calculate a coring coefficient that is equal between the high luminance portion and the high luminance portion.
これによれば、係数算出手段によって、階調変換後のノイズ量が高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数が算出される。 According to this, the coring coefficient is calculated by the coefficient calculating means so that the noise amount after gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic.
また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものとすることができる。 In the above configuration, the solid-state imaging device has a linear photoelectric conversion characteristic in which an electric signal is linearly converted with respect to an incident light amount and is output, and an electric signal is logarithmically converted with respect to the incident light amount. It can have a photoelectric conversion characteristic composed of an output logarithmic photoelectric conversion characteristic.
また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される第1の線形光電変換特性と、該第1の線形光電変換特性とグラフ上の傾きが異なる第2の線形光電変換特性とからなる光電変換特性を有するものとすることができる。 Further, in the above configuration, the solid-state imaging device has a first linear photoelectric conversion characteristic that is output by linearly converting an electrical signal with respect to an incident light amount, the first linear photoelectric conversion characteristic, and a graph. It can have a photoelectric conversion characteristic composed of a second linear photoelectric conversion characteristic having a different inclination.
また、上記構成において、所定のデータ授受手段を用いて撮像装置本体と撮影画像データの授受が可能に構成された所定の情報処理装置をさらに備え、当該情報処理装置によって前記撮影画像に対する前記ノイズ除去を行うことができる。 The above configuration further includes a predetermined information processing device configured to be able to exchange captured image data with the imaging device main body using a predetermined data transfer unit, and the information processing device removes the noise from the captured image. It can be performed.
これによれば、所定のデータ授受手段を用いて撮像装置本体と撮影画像データの授受が可能に構成された所定の情報処理装置によって、撮影画像に対するノイズ除去が行われる。 According to this, noise removal is performed on the photographed image by the predetermined information processing apparatus configured to be able to exchange the captured image data with the imaging apparatus main body using the predetermined data transmission / reception means.
請求項1に係る撮像装置によれば、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる(伸張度合いに応じて異なるノイズ除去量を設定する)ことが可能となるので、例えば伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つといったように、伸張度合いの違いによってノイズ(ノイズ成分)が目立つことのないようにすることができ、ひいては高画質な撮影画像を得ることができる。 According to the imaging device of the first aspect, in noise removal, it is possible to change the amount of noise removal according to the degree of expansion in gradation conversion (set different noise removal amount according to the degree of expansion). For example, the noise (noise component) should not be noticeable due to the difference in the degree of expansion, for example, the noise is conspicuous in the image of the high luminance part with a high degree of expansion compared to the image of the low luminance part with a low degree of expansion. As a result, a high-quality captured image can be obtained.
請求項1に係る撮像装置によれば、係数算出手段により算出したコアリング係数に基づいてコアリング処理手段によりコアリング処理を行うという一般的なノイズ除去手法を利用して、すなわち簡易な構成によって、当該伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになる。
According to the imaging apparatus of the first aspect , the general noise removal technique of performing the coring process by the coring processing unit based on the coring coefficient calculated by the coefficient calculating unit is used, that is, by a simple configuration. Therefore, it is possible to easily perform noise removal in which the amount of noise removal is changed according to the degree of expansion.
請求項2に係る撮像装置によれば、一般的なローパスフィルタ等の低周波成分抽出手段を用いて撮影画像から抽出された低周波成分の情報(レベル情報)を利用して、コアリング係数の算出を容易に行うことができるとともに、当該算出されたコアリング係数に基づくノイズ除去を、撮影画像から抽出された高周波成分に対するコアリング処理を行うことで容易に行うことができる。
According to the imaging device of the second aspect of the present invention, the coring coefficient is calculated using the information (level information) of the low frequency component extracted from the photographed image using the low frequency component extraction means such as a general low pass filter. The calculation can be easily performed, and the noise removal based on the calculated coring coefficient can be easily performed by performing the coring process on the high-frequency component extracted from the photographed image.
請求項3に係る撮像装置によれば、ノイズ除去に際して、照明成分及び反射率成分の情報を用いる、すなわち本願発明の如く、複数の光電変換特性を持つセンサを用いて広ダイナミックレンジ画像を撮像する撮像装置に好適に用いられる階調変換処理であるDR圧縮処理の過程で生成される照明成分及び反射率成分を用いる構成であるので、階調変換処理手段内(階調変換処理)に、ノイズ除去手段(ノイズ除去処理)を含めることが可能となり、ノイズ除去専用の処理装置を別途設けることなく、処理構成を簡略化することができる。また、ノイズ除去処理における演算量(計算量)が少なくなり、処理時間を短縮することができる。
According to the imaging device of the third aspect , information on the illumination component and the reflectance component is used for noise removal, that is, a wide dynamic range image is captured using a sensor having a plurality of photoelectric conversion characteristics as in the present invention. Since the illumination component and the reflectance component generated in the process of the DR compression process, which is a gradation conversion process suitably used for the imaging apparatus, are used, noise is included in the gradation conversion processing means (gradation conversion process). Removal means (noise removal processing) can be included, and the processing configuration can be simplified without separately providing a processing device dedicated to noise removal. In addition, the amount of calculation (calculation amount) in the noise removal processing is reduced, and the processing time can be shortened.
請求項4に係る撮像装置によれば、高輝度側特性における低輝度部と高輝度部とのノイズ量が等しくなるようなコアリング係数を算出するので、階調変換による伸張度合いが異なる高輝度側特性に対するコアリング係数を容易に(より簡易な演算方法で)求めることができるとともに、この算出したコアリング係数に基づいて、低輝度部及び高輝度部でノイズ量に違いが生じないようにする、すなわち、高輝度部のノイズ量が低輝度部のノイズ量よりも大きくなって高輝度部のノイズが目立つといったことのないようにすることができる。
According to the imaging device of the fourth aspect , the coring coefficient is calculated so that the noise amounts of the low luminance portion and the high luminance portion in the high luminance side characteristic are equal. The coring coefficient for the side characteristics can be obtained easily (with a simpler calculation method), and based on this calculated coring coefficient, the noise amount does not differ between the low luminance part and the high luminance part. That is, it is possible to prevent the noise amount in the high luminance part from being noticeable because the noise amount in the high luminance part is larger than the noise amount in the low luminance part.
請求項5に係る撮像装置によれば、線形光電変換特性及び対数光電変換特性を有する固体撮像素子によって得られる撮影画像(線形/対数画像)に対し、階調変換における伸張度合いに応じて、すなわち対数光電変換特性画像の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。
According to the imaging apparatus according to
請求項6に係る撮像装置によれば、第1の線形光電変換特性及び第2の線形光電変換特性を有する固体撮像素子によって得られる撮影画像(線形/線形画像)に対し、階調変換における伸張度合いに応じて、すなわち第2の線形光電変換特性の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。
According to the imaging device according to
請求項7に係る撮像装置によれば、撮像装置本体と撮影画像データの授受が可能に構成された情報処理装置において当該ノイズ除去を行うことができ、ノイズ除去を行う場所に関する自由度が大きくなるとともに、PC等の情報処理装置を用いて、より高速な演算処理(ノイズ除去処理)が行える構成を容易に実現することができる。 According to the imaging apparatus of the seventh aspect , the noise removal can be performed in the information processing apparatus configured to be able to exchange the captured image data with the imaging apparatus body, and the degree of freedom regarding the place where the noise removal is performed increases. In addition, a configuration capable of performing higher-speed arithmetic processing (noise removal processing) using an information processing apparatus such as a PC can be easily realized.
(実施形態1)
図1は、第1の実施形態に係る撮像装置の一例であるデジタルカメラ1を示し、このデジタルカメラ1の主に撮像処理に関するブロック構成図を示している。図1に示すようにデジタルカメラ1は、レンズ部2、固体撮像素子3、アンプ4、A/D変換部5、ノイズ除去部6、階調変換部7、画像メモリ8、全体制御部9、モニタ部10及び操作部11を備えている。
(Embodiment 1)
FIG. 1 shows a
レンズ部2は、被写体光(光像)を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている固体撮像素子3へ導くための光学レンズ系を構成するものであり、例えば被写体光の光軸Lに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロックからなるレンズ群である。レンズ部2は、当該レンズの透過光量を調節するための絞り(図略)やシャッタ(図略)を備えており、全体制御部9によってこの絞りやシャッタの駆動制御がなされる構成となっている。
The
固体撮像素子3は、レンズ部2により結像された被写体光像の光量に応じ、R、G、Bの各色成分の画像信号に光電変換して後段のアンプ4へ出力する撮像センサである。本実施形態においては、固体撮像素子3として、図4に示すような入力輝度(センサ入射輝度)が低い場合(暗時)に出力画素信号(光電変換により発生する出力電気信号)が線形的に変換されて出力される線形特性と、輝度が高い場合(明時)に出力画素信号が対数的に変換されて出力される対数特性とからなる光電変換特性、換言すれば、低輝度側が線形の光電変換特性、高輝度側が対数特性の光電変換特性を有するものが用いられる。ただし、固体撮像素子3は、上記線形/対数特性からなる光電変換特性だけでなく、線形特性のみ、或いは対数特性のみからなる光電変換特性に任意に切り替えることが可能である。また、線形特性と対数特性との切り替わり点(以降、この切り替わり点のことを「変曲点」という)は、固体撮像素子3の各画素回路に対する所定の制御信号に基づいて任意に変化させることが可能である。なお、光電変換特性における上記線形特性に示すような低輝度側の特性を「低輝度側特性」、対数特性に示すような高輝度側の特性を「高輝度側特性」と表現するものとする。
The solid-
図2は、固体撮像素子3の一例である二次元のMOS型固体撮像装置(CMOSイメージセンサ)の概略構成図である。同図において、G11〜Gmnは、行列(マトリクス)配列された画素を示している。この画素G11〜Gmnからなる画素部の外周縁部近傍には、垂直走査回路301と水平走査回路302とが配設されている。垂直走査回路301は、行のライン(信号線)304−1、304−2、・・・304−n(これらを纏めて行ライン304という)を順次走査する。水平走査回路302は、各画素から出力信号線306−1、306−2、・・・306−m(これらを纏めて出力信号線306という)に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン305により電力供給がなされている。各画素には、上記各ラインや出力信号線だけでなく、他のライン(例えばクロックライン)も接続されているが、図2では図示を省略している。
FIG. 2 is a schematic configuration diagram of a two-dimensional MOS solid-state imaging device (CMOS image sensor) which is an example of the solid-
出力信号線306−1、306−2、・・・306−mには、それぞれ、後述のトランジスタT12と対になって増幅回路を構成する定電流源307−1、307−2、・・・307−m(これらを纏めて定電流源307という)が設けられている。ただし、この増幅回路として、定電流源307に代えて抵抗やトランジスタを設けてもよい。この出力信号線306を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路(サンプルホールド回路)308−1、308−2、・・・308−m(これらを纏めて選択回路308という)に出力される。この選択回路308に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路309に出力され、補正回路309において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路309から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
The output signal lines 306-1, 306-2,... 306-m are constant current sources 307-1, 307-2,. 307-m (these are collectively referred to as a constant current source 307) is provided. However, a resistor or a transistor may be provided as the amplifier circuit instead of the constant
図3は、図2に示す各画素G11〜Gmnの構成例を示す回路図である。同図に示すように、固体撮像素子3の各画素は、フォトダイオードPD1、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT10〜T13、及びFD(Floating Diffusion)から構成されている。トランジスタT10〜T13は、ここではNチャンネルMOSFETが採用されている。VDD、φRSB、φRST、φTX及びφVは、各トランジスタに対する信号(電圧)を示し、GNDは接地を示している。
FIG. 3 is a circuit diagram illustrating a configuration example of each of the pixels G11 to Gmn illustrated in FIG. As shown in the figure, each pixel of the solid-
フォトダイオードPD1は、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD1)を出力する。トランジスタT12は、図2に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧V1OUTに対する増幅(電流増幅)を行う。トランジスタT13は、ゲートに印加する電圧(信号φV)に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタ(行選択トランジスタ)である。トランジスタT13のソースは、図2に示す出力信号線306に接続されており、トランジスタT13がオンした場合、トランジスタT12で増幅された電流を出力電流として出力信号線306へ導出する。
The photodiode PD1 is a photosensitive portion (photoelectric conversion portion), and outputs an electrical signal (photocurrent IPD1) corresponding to the amount of incident light from the subject. The transistor T12 is paired with the constant
トランジスタT10は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードPD1で発生した光電流IPD1(電荷)のFDに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードPD1で発生した光電流IPD1はフォトダイオードPD1の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタT10がオン状態であれば、この寄生容量に蓄積された電荷(負電荷)がFDへ向けて移動する。FDは、電荷(信号電荷)を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える(電荷電圧変換を行う)所謂キャパシタの役割を担うものである。 The transistor T10 operates as a switch that is turned on and off in accordance with a voltage applied to the gate of the transistor, and is generated in the photodiode PD1 in response to on / off switching depending on the level of the gate potential. This is a so-called transfer gate that switches between transfer and non-transfer of the photocurrent IPD1 (charge) to the FD. The photocurrent IPD1 generated in the photodiode PD1 flows through the parasitic capacitance of the photodiode PD1, the charge is accumulated, and a voltage corresponding to the amount of accumulated charge is generated. At this time, if the transistor T10 is in an on state, the charge (negative charge) accumulated in the parasitic capacitance moves toward the FD. The FD is a charge holding unit that temporarily holds a charge (signal charge), and plays a role of a so-called capacitor that changes the held charge into a voltage (performs charge-voltage conversion).
トランジスタT11(リセットゲートトランジスタ)は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてFDに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに(例えばトランジスタT11がオン状態の場合、トランジスタT10もオン状態となっており、トランジスタT11、FD、トランジスタT10及びフォトダイオードPD1を挟んだφRSB及びGND間にリセットバイアスがかけられた状態となる)、ゲート電圧をMid電位(中間レベル)とすることで、フォトダイオードPD1からFDに移動する電荷(FDを流れる電流)のFD及びトランジスタT11による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。 The transistor T11 (reset gate transistor) switches between application and non-application of a reset bias to the FD according to on / off switching depending on the gate voltage of the transistor (for example, when the transistor T11 is in an on state) The transistor T10 is also turned on, and a reset bias is applied between φRSB and GND across the transistors T11, FD, transistor T10, and the photodiode PD1), and the gate voltage is set to the Mid potential (intermediate level). By doing so, linear conversion and logarithmic conversion are performed by FD of the charge (current flowing through the FD) moving from the photodiode PD1 to the FD and charge-voltage conversion by the transistor T11, respectively.
この場合、トランジスタT11には上記Mid電位に応じた電流(リセット電流)が流れ、トランジスタT11のソースがこのリセット電流に応じた電位となる。そして、フォトダイオードPD1から移動してくる電荷による電位が、Mid電位に応じたトランジスタT11のソース電位より小さい場合には、すなわち撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードPD1に入射される入射光量が少ない場合には、FDにおいて線形変換としての電荷電圧変換が行われ、一方、ソース電位を超える場合には、すなわち撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードPD1に入射される入射光量が多い場合には、トランジスタT11において対数変換としての電荷電圧変換が行われる。 In this case, a current (reset current) corresponding to the Mid potential flows through the transistor T11, and the source of the transistor T11 becomes a potential corresponding to the reset current. When the potential due to the charge moving from the photodiode PD1 is smaller than the source potential of the transistor T11 corresponding to the Mid potential, that is, the luminance of the subject to be imaged is low, that is, the subject is dark and incident on the photodiode PD1. When the amount of incident light is small, charge-voltage conversion as linear conversion is performed in the FD. On the other hand, when the source potential is exceeded, that is, the luminance of the subject to be imaged is high, that is, the subject is bright, and the photodiode PD1. When the amount of incident light incident on is large, charge-voltage conversion as logarithmic conversion is performed in the transistor T11.
これにより、FDとトランジスタT12との接続ノード(出力V1OUT)には、FDにおける光電流IPD1の積分値による線形出力としての電圧、或いはトランジスタT11における光電流IPD1に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値はFDにおける光電流IPD1の積分値となるが、対数特性領域については、FD部に蓄えられた電荷による電位がトランジスタT11(リセットゲート)のソース電流を超えた領域において、光電流IPD1と等しい電流がトランジスタT11に流れ、トランジスタT11において光電流IPD1が電流−電圧変換された値(電圧)が当該出力値としてFD部に現れる(信号電荷を対数圧縮した電荷が上記寄生容量に蓄積される)。このトランジスタT11での電流−電圧変換が上記対数変換に相当する。そして、トランジスタT13がオンされると、これら各電圧に応じたトランジスタT12による増幅電流が、トランジスタT13を介して出力電流として出力信号線306に導出される。このように固体撮像素子3により、被写体輝度(センサ入射輝度)に応じて線形変換又は対数変換された出力信号が得られる。
Thus, a voltage as a linear output based on an integral value of the photocurrent IPD1 in the FD or a logarithmic output by current-voltage conversion corresponding to the photocurrent IPD1 in the transistor T11 is applied to a connection node (output V1OUT) between the FD and the transistor T12. Appears as a voltage. That is, the output value in the linear characteristic region in the photoelectric conversion characteristic is an integral value of the photocurrent IPD1 in the FD, but in the logarithmic characteristic region, the potential due to the charge stored in the FD portion is the source of the transistor T11 (reset gate). In a region exceeding the current, a current equal to the photocurrent IPD1 flows to the transistor T11, and a value (voltage) obtained by current-voltage conversion of the photocurrent IPD1 in the transistor T11 appears in the FD section as the output value (signal charge is logarithmically). Compressed charge is accumulated in the parasitic capacitance). The current-voltage conversion in the transistor T11 corresponds to the logarithmic conversion. When the transistor T13 is turned on, the amplified current by the transistor T12 corresponding to these voltages is led to the
なお、ここでは、固体撮像素子3の各画素において上記NチャンネルMOSFETを採用しているが、PチャンネルMOSFETを採用してもよい。また、固体撮像素子3として、上述のようにFDを用いて線形変換及び対数変換を行うCMOSイメージセンサに限らず、例えばMOSFET(P型又はN型)の所謂サブスレッショルド特性(ゲート電圧が閾値以下の時にサブスレッショルド電流と呼ばれる微小電流が流れる特性)を利用することで当該線形変換及び対数変換を行うCMOSイメージセンサを採用してもよい。ただし、CMOSイメージセンサに限らず、VMISイメージセンサやCCDイメージセンサ等であってもよい。
Here, the N-channel MOSFET is used in each pixel of the solid-
アンプ4は、例えばAGC(オートゲインコントロール)回路を備え、固体撮像素子3から入力されるアナログ画像信号がA/D変換部5の入力電圧範囲に合うように、適切な増幅率で増幅するものである。アンプ4は、AGC回路の他、画像信号のサンプリングノイズの低減を行うCDS(相関二重サンプリング)回路等を備えていてもよい。なお、AGC回路に対するゲイン値は全体制御部9によって設定される。
The amplifier 4 includes, for example, an AGC (auto gain control) circuit, and amplifies the analog image signal input from the solid-
A/D変換部5は、アンプ4にて増幅(ゲイン調整)されたアナログ画像信号をデジタル画像信号に変換するものであり、固体撮像素子3の各画素で受光して得られる画素信号をそれぞれ例えば12ビットの画素データに変換する。
The A /
ノイズ除去部6は、A/D変換部5から入力される画像信号のノイズを除去するものである。このノイズ除去の詳細については後述する。
The
階調変換部7は、ノイズ除去部6から入力される画像信号が適切な出力レベルとなるように、画像信号に対して所定の階調変換処理を行い、該画像信号の階調特性を変化させるものである。
The
画像メモリ8は、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリからなり、ノイズ除去部6や階調変換部7においてデータ処理される前のRAW画像データ、或いはノイズ除去部6、階調変換部7又は全体制御部9での各種データ処理時又は処理後の画像データ等を格納するものである。
The
全体制御部9は、各制御プログラム等を記憶するROM、一時的に各種データを格納するRAM、及び制御プログラム等をROMから読み出して実行する中央演算処理装置(CPU)等からなり、デジタルカメラ1全体の動作制御を司るものである。全体制御部9は、固体撮像素子3や操作部11等の各処理部から送信されてくる情報(信号)と装置の動作状態とに基づき、各処理部が必要とするパラメータ等の動作情報を算出し、これを送信することで各処理部の動作を制御する。
The
モニタ部10は、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器(LCD;Liquid Crystal Display)等からなり、固体撮像素子3による撮影画像、すなわちノイズ除去部6や階調変換部7で処理された画像や画像メモリ8に格納されている画像等を表示するものである。モニタ部10は、後述のノイズ除去処理(コアリング処理)等の各種処理結果が反映された画像を表示してもよい。
The
操作部11は、デジタルカメラ1に対するユーザによる操作指示(指示入力)を行うものであり、例えば電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ等の各種の操作スイッチ群(操作ボタン群)からなる。例えば、上記レリーズスイッチが押下(オン)されることで、撮像動作すなわち固体撮像素子3により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ8等に記録されるといった一連の撮影動作が実行される。
The
ここで、上記ノイズ除去部6について詳述する。ノイズ除去部6は、画像信号からノイズ成分を除去するためのコアリング処理を行うことで、画像のシャープネスを良好な状態に補正する。この際、ノイズ除去部6は、コアリング係数(上記画像信号のノイズ成分を除去するための係数)を変化させることで適正なノイズ除去を行う。ここでは、特に、高輝度側特性、つまり入力輝度レベルに応じて対数圧縮によるデータ圧縮度合いが異なる対数特性領域での画像(対数画像)に対するコアリング処理において、ローパスフィルタ(LPF)を用いて画像から抽出した低周波成分のレベルに応じて(適応的に)コアリング係数を変化させることで、当該対数画像の階調変換による伸張度合い(局所的な伸張度合いの違い;対数圧縮によるデータ圧縮度合い)に応じた、換言すれば、この対数画像の伸張に伴うノイズ成分の伸張度合いに応じたノイズ除去量を設定してからノイズ除去を行う。
Here, the
図5は、ノイズ除去部6のブロック構成図である。同図に示すようにノイズ除去部6は、領域判定部61、LPF部62、コアリング処理部63及び係数算出部64を備えている。領域判定部61は、A/D変換部5から入力された画像(この入力画像を基画像Iと表現する)の低輝度側特性及び高輝度側特性、すなわち線形特性領域の画像であるか対数特性領域の画像であるかを判定するものである。領域判定部61は、入力画像の各画素値から撮像時の光電変換特性、つまり後述の(1-1)式又は(1-2)式に示す特性であるかを判定し、当該判定結果(領域判定情報)を係数算出部64に出力する。
FIG. 5 is a block configuration diagram of the
LPF部62は、基画像Iに対してガウシアンフィルタ等の線形のLPFによるフィルタ処理を行い、基画像Iから低周波成分を抽出(生成)するとともに、当該低周波成分の情報(低周波成分情報)を係数算出部64に出力するものである。ただし、このLPFは上記線形フィルタに限らず、メディアンフィルタ等の非線形フィルタであってもよい。
The
コアリング処理部63は、後述する係数算出部64からのコアリング係数情報に基づいてコアリング処理を行うものである。コアリング処理部63は、LPF部62により抽出された低周波成分を基画像Iから減算して得た高周波成分に対して、図6に示す入出力関係を有する特性(以降、コアリング特性630という)に基づくコアリング処理を行う。コアリング特性630における「th」は、係数算出部64において算出されるコアリング係数thを示す。このコアリング処理では、入力が−thより大きくthより小さいときは出力がゼロ(0)となり、入力が−th以下であるときには出力が、入力に対してthを加えた値となり、入力がth以上であるときには出力が、入力に対してthを減じた値となるように変換処理を行う。なお、上記基画像Iからの低周波成分の減算、すなわち基画像Iからの高周波成分の抽出は、減算部651による減算処理によって行われる。また、コアリング処理後の高周波数成分と、上記LPF部62からの低周波成分は加算部652による加算処理によって合成され、合成画像Oとして後段の処理部へ出力される。
The
係数算出部64は、領域判定部61からの領域判定情報及びLPF部62からの低周波成分情報に基づいて、コアリング処理部63のコアリング処理におけるコアリング係数(th)を算出(設定)するものである。係数算出部64は、最終的な出力画像、ここでは階調変換部7における階調変換処理後に出力される画像において、当該画像の高輝度部が低輝度部と同等のノイズ量となるようにコアリング係数を算出する。具体的には、係数算出部64は、領域判定部61により低輝度側特性の画像であると判定された場合、この低輝度側特性の画像に対して一律のノイズ除去処理を行うべく、低輝度側特性のコアリング係数(このコアリング係数値を「th0」とする)を出力する。ただし、コアリング係数th0は、低輝度側特性の画像全体に対して一律に与えられた或る1つの値(例えば固定値)である。なお、このコアリング係数th0は、コアリング処理部63内に予め記憶(設定)されたものが用いられてもよい。係数算出部64によって算出されたコアリング係数の情報(コアリング係数情報)は、コアリング処理部63に出力される。
The
また、領域判定部61により高輝度側特性の画像であると判定された場合には、係数算出部64は、画像の伸張度合いに応じたコアリング係数の算出を行う。ところで、階調変換部7で階調変換される前のノイズ量は、高輝度側特性領域の中でもその高輝度部及び低輝度部で同じレベルとなっている。しかしながら、階調変換において線形特性に戻された場合には、この高輝度側特性領域において、高輝度部のノイズ量が低輝度部のノイズ量に比べて大きくなり高輝度部のノイズ(ノイズ成分)が目立つようになる。そこで、階調変換後において、低輝度部及び高輝度部でノイズ量が異なったものとならないよう高輝度部のノイズレベルを低輝度部のノイズレベルと同等にするべく、コアリング係数(ノイズ除去量)を輝度レベルに適応(対応)させて制御し、高輝度部のノイズ量が低輝度部のノイズ量と等しくなる(高輝度ノイズ量=低輝度ノイズ量)ようにする。具体的には、階調変換後(DR圧縮後)において、ノイズ除去部6によるノイズ除去後のノイズ量が高輝度側特性領域において一定となるようにしたいので、該高輝度側特性領域の低輝度部及び高輝度部に注目して、それぞれのノイズ量が同じ(一定)になるようなコアリング係数を算出する。
When the
(コアリング係数算出の考え方)
ここで、上記コアリング係数の算出の考え方について具体的に説明する。
固体撮像素子3による線形/対数画像の光電変換特性は、以下の(1-1)、(1-2)式に示す入力輝度X(対数値ではない)に対する画素値Y(出力)の関係式で表される。
Y=a*X+b(0≦X≦Xth) …(1-1)
Y=α*Ln(X)+β(X>Xth) …(1-2)
但し、記号「a、b、α及びβ」は係数を示し、記号「*」は乗算を示す(以降も同じ)。また、Xth(及びこのXthに対応するYth)は、上記変曲点のX座標(及びY座標)を示す。このような光電変換特性を有する撮影画像は、0≦X≦Xth及びX>Xthの各場合でコアリング係数の算出方法が異なる。
(Concept of coring coefficient calculation)
Here, the concept of calculating the coring coefficient will be specifically described.
The photoelectric conversion characteristic of the linear / logarithmic image by the solid-
Y = a * X + b (0 ≦ X ≦ Xth) (1-1)
Y = α * Ln (X) + β (X> Xth) (1-2)
However, the symbols “a, b, α, and β” indicate coefficients, and the symbol “*” indicates multiplication (the same applies hereinafter). Xth (and Yth corresponding to Xth) indicates the X coordinate (and Y coordinate) of the inflection point. A captured image having such a photoelectric conversion characteristic has a different coring coefficient calculation method in each case of 0 ≦ X ≦ Xth and X> Xth.
[0≦X≦Xthの場合]
低輝度側特性領域におけるコアリング係数の算出となる。ここでは、低輝度側特性領域でのコアリング係数thは、上述したように低輝度側特性領域に対して一律に設定した値th0を用いる(以下(1-3)式参照)。
th=th0 …(1-3)
[When 0 ≦ X ≦ Xth]
The coring coefficient is calculated in the low luminance side characteristic region. Here, as described above, the value th0 uniformly set for the low luminance side characteristic region is used as the coring coefficient th in the low luminance side characteristic region (refer to equation (1-3) below).
th = th0 (1-3)
[X>Xthの場合]
高輝度側特性領域におけるコアリング係数の算出となる。ここでは、階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(1-2)式より、以下の(1-4)式となる。
Y=α*Ln(X)+β+N …(1-4)
但し、N:画像信号に含まれているノイズ(高輝度部、低輝度部共に同じ)
[When X> Xth]
The coring coefficient is calculated in the high luminance side characteristic region. Here, a condition is derived in which the amount of noise after gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic area. Considering the case where noise is added to the image signal during imaging, the following equation (1-4) is obtained from the above equation (1-2).
Y = α * Ln (X) + β + N (1-4)
However, N: Noise included in the image signal (same for both high-luminance part and low-luminance part)
上記(1-4)式を線形特性(Y=X)に変換すると、以下の(1-5)式となる。但し、記号「/」は除算を示す(以降も同じ)。
Y_LIN=exp((Y−β)/α)
=exp((α*Ln(X)+β+N−β)/α)
=exp(Ln(X)+N/α)
=exp(Ln(X))*exp(N/α)
=X*exp(N/α) …(1-5)
低周波成分をLとすると、ノイズ除去処理を行うための高周波成分Hは、上記(1-5)式より、以下の(1-6)式となる。
H=Y_LIN−L
=X*exp(N/α)−L …(1-6)
When the above equation (1-4) is converted into a linear characteristic (Y = X), the following equation (1-5) is obtained. However, the symbol “/” indicates division (and so on).
Y_LIN = exp ((Y−β) / α)
= Exp ((α * Ln (X) + β + N−β) / α)
= Exp (Ln (X) + N / α)
= Exp (Ln (X)) * exp (N / α)
= X * exp (N / α) (1-5)
Assuming that the low frequency component is L, the high frequency component H for performing noise removal processing is expressed by the following equation (1-6) from the above equation (1-5).
H = Y_LIN-L
= X * exp (N / α) −L (1-6)
高周波成分に対してノイズ除去量ΔNのノイズ除去を行うと、ノイズ除去後の高周波成分H’は、上記(1-6)式より、以下の(1-7)式となる。
H’=X*exp(N/α)−L−ΔN …(1-7)
この高周波成分H’に低周波成分Lを加えることで、ノイズ除去後の線形特性出力Y’_LINを算出する。すなわち、Y’_LINは以下の(1-8)式で与えられる。
Y’_LIN=L+H’
=L+X*exp(N/α)−L−ΔN
=X*exp(N/α)−ΔN …(1-8)
When the noise removal amount ΔN is removed from the high frequency component, the high frequency component H ′ after noise removal is expressed by the following equation (1-7) from the above equation (1-6).
H ′ = X * exp (N / α) −L−ΔN (1-7)
By adding the low frequency component L to the high frequency component H ′, the linear characteristic output Y′_LIN after noise removal is calculated. That is, Y′_LIN is given by the following equation (1-8).
Y'_LIN = L + H '
= L + X * exp (N / α) −L−ΔN
= X * exp (N / α) −ΔN (1-8)
上記線形特性出力Y’_LINを照明成分Bと反射率成分Dとに分割して階調変換出力Y’_drcを算出する。
Y’_LIN=B*D
よって、D=Y’_LIN/B
また、照明成分Bを圧縮して階調変換を行う。階調変換後の照明成分をB’とすると、
Y’_drc=B’*D
=B’*Y’_LIN/B(この式に上記(1-8)式を代入)
=B’*(X*exp(N/α)−ΔN)/B
したがって、階調変換後のノイズ量N’は、以下の(1-9)式で与えられる。
N’=Y’_drc−B’*X/B
=B’*(X*exp(N/α)−ΔN)/B−B’*X/B
=B’/B*(X*exp(N/α)−ΔN−X)
=B’/B*(X*(exp(N/α)−1)−ΔN) …(1-9)
The linear characteristic output Y′_LIN is divided into an illumination component B and a reflectance component D to calculate a gradation conversion output Y′_drc.
Y'_LIN = B * D
Therefore, D = Y′_LIN / B
Further, gradation conversion is performed by compressing the illumination component B. If the illumination component after gradation conversion is B ′,
Y'_drc = B '* D
= B '* Y'_LIN / B (Substituting the above equation (1-8) into this equation)
= B ′ * (X * exp (N / α) −ΔN) / B
Therefore, the noise amount N ′ after gradation conversion is given by the following equation (1-9).
N ′ = Y′_drc−B ′ * X / B
= B ′ * (X * exp (N / α) −ΔN) / B−B ′ * X / B
= B ′ / B * (X * exp (N / α) −ΔN−X)
= B ′ / B * (X * (exp (N / α) −1) −ΔN) (1-9)
ここで、階調変換後の低輝度部及び高輝度部のノイズをそれぞれN1’、N2’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれL1、L2とし、これら照明成分L1、L2に対する階調変換後(DR圧縮後)の照明成分をL1’、L2’とし、コアリング処理による当該低輝度部及び高輝度部のノイズ除去量をΔN1、ΔN2とすると、上記(1-9)式より、以下の(1-10-1)式及び(1-10-2)式が得られる。
N1’=L1’/L1*((exp(N/α)−1)−ΔN1) …(1-10-1)
N2’=L2’/L2*((exp(N/α)−1)−ΔN2) …(1-10-2)
Here, the noises of the low luminance part and the high luminance part after gradation conversion are respectively N1 ′ and N2 ′, and the illumination components of the low luminance part and the high luminance part in the linear characteristic output are L1 and L2, respectively. Assuming that the illumination components after gradation conversion (after DR compression) for the components L1 and L2 are L1 ′ and L2 ′, and the noise removal amounts of the low luminance portion and the high luminance portion by coring processing are ΔN1 and ΔN2, respectively ( From the formula (1-9), the following formulas (1-10-1) and (1-10-2) are obtained.
N1 ′ = L1 ′ / L1 * ((exp (N / α) −1) −ΔN1) (1-10-1)
N2 ′ = L2 ′ / L2 * ((exp (N / α) −1) −ΔN2) (1-10-2)
これらから、N1’=N2’となるΔN1、ΔN2の関係を導き出す。すなわち、(1-10-1)式及び(1-10-2)式とN1’=N2’の関係とより、以下の(1-11)式が得られる。
L1’/L1*((exp(N/α)−1)−ΔN1)=L2’/L2*((exp(N/α)−1)−ΔN2) …(1-11)
これを変形すると、
(L1’/L1)/(L2’/L2)*((exp(N/α)−1)−ΔN1)=(exp(N/α)−1)−ΔN2となり、
さらにΔN2について整理すると、以下の(1-12)式となる。
ΔN2=(exp(N/α)−1)/((L1’/L1)/(L2’/L2)*((exp(N/α)−1)−ΔN1)) …(1-12)
From these, the relationship of ΔN1 and ΔN2 that leads to N1 ′ = N2 ′ is derived. That is, the following expression (1-11) is obtained from the relations (1-10-1) and (1-10-2) and N1 ′ = N2 ′.
L1 ′ / L1 * ((exp (N / α) −1) −ΔN1) = L2 ′ / L2 * ((exp (N / α) −1) −ΔN2) (1-11)
If this is transformed,
(L1 ′ / L1) / (L2 ′ / L2) * ((exp (N / α) −1) −ΔN1) = (exp (N / α) −1) −ΔN2
Further, when ΔN2 is arranged, the following equation (1-12) is obtained.
ΔN2 = (exp (N / α) −1) / ((L1 ′ / L1) / (L2 ′ / L2) * ((exp (N / α) −1) −ΔN1)) (1-12)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(1-12)式により、高輝度側特性領域におけるコアリング係数thは、以下の(1-13)式で与えられるものとなる。
th=(exp(N/α)−1)/((L1’/L1)/(L2’/L2)*((exp(N/α)−1)−th0)) …(1-13)
Therefore, when this concept is applied to the calculation of the coring coefficient of this embodiment, the coring coefficient th in the high luminance side characteristic region is given by the following expression (1-13) according to the above expression (1-12). It will be a thing.
th = (exp (N / α) −1) / ((L1 ′ / L1) / (L2 ′ / L2) * ((exp (N / α) −1) −th0)) (1-13)
このように、デジタルカメラ1は、ノイズ除去部6によって、撮影画像(高輝度側特性の画像)の階調変換における伸張度合いに応じてノイズ除去量に関するパラメータ(コアリング係数)を変化させて、すなわち上記(1-13)式に示すように伸張度合いの違いに対応する例えば低輝度部及び高輝度部の情報(上記低輝度部及び高輝度部の照明成分L1、L2やL1’、L2’)に応じて決定されるコアリング係数thを用いて、撮影画像に対するノイズ除去を行う。これにより、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる(伸張度合いに応じて異なるノイズ除去量を設定し、詳しくは伸張度合いが大きいほど大きく、伸張度合いが小さいほど小さくなるようにノイズ除去量を設定する)ことが可能となるので、伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つというように、伸張度合いの違いによってノイズ(ノイズ成分)が目立つことのないようにすることができる。
In this way, the
図8は、第1の実施形態におけるデジタルカメラ1の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子3による撮像によって撮影画像が得られる(ステップS1)。この撮影画像(基画像I)がノイズ除去部6に入力される(ステップS2)。領域判定部61によって、この入力された基画像Iに対する低輝度側特性領域(線形特性領域)であるか高輝度側特性領域(対数特性領域)であるかの領域判定が行われる(ステップS3)。次に、LPF部62によるLPF処理によって基画像Iから低周波成分が抽出され(ステップS4)、係数算出部64によって、領域判定部61からの領域判定情報及びLPF部62からの低周波成分情報に基づいて、対数画像の階調変換における伸張度合いに応じたコアリング係数が算出さる(ステップS5)。この算出されたコアリング係数に基づいて、上記低周波成分が基画像Iから減算されてなる高周波成分に対するコアリング処理がコアリング処理部63によって行われる(ステップS6)。このコアリング処理が施された高周波成分と上記LPF部62からの低周波成分が加算部652によって合成され、合成画像Oとして後段の階調変換部7へ出力される(ステップS7)。そして、階調変換部7によってこの合成画像Oに対する所定の階調変換処理が行われる(ステップS8)。
FIG. 8 is a flowchart showing an example of an operation mainly related to noise removal of the
(実施形態2)
上記第1の実施形態におけるノイズ除去部6は、図7に示すノイズ除去部6aの機能ブロック図の構成であってもよい。すなわち、第2の実施形態に係るノイズ除去部6aは、上記領域判定部61を領域分割抽出部66に変更して、低輝度側特性及び高輝度側特性(線形特性及び対数特性)の光電変換特性毎に異なる処理を行うようにしたものである。ノイズ除去部6aは、領域分割抽出部66、高輝度側特性処理部610m、低輝度側特性処理部610n及び画像合成部67を備えている。領域分割抽出部66は、基画像Iから対数画像(画像I1とする)と線形画像(画像I2とする)とを分割抽出するものである。この分割抽出された画像I1、I2はそれぞれ高輝度側特性処理部610m及び低輝度側特性処理部610nに入力される。
(Embodiment 2)
The
高輝度側特性処理部610mは、LPF部62m、コアリング処理部63m及び係数算出部64mを備えている。LPF部62mは、入力された画像I1に対してLPF処理を施して低周波成分を生成する。係数算出部64mは、LPF部62mからの低周波成分情報に基づいて、上述したように高輝度側特性(画像I1)において高輝度部が低輝度部と同等のノイズ量となるコアリング係数thを算出する。コアリング処理部63mは、係数算出部64mにより算出されたコアリング係数情報(高輝度側特性におけるコアリング係数th(高輝度側特性の低輝度部でのコアリング係数th0の情報も含む))に基づいて、減算部651mによって画像I1から低周波成分を減算して得た高周波成分に対するコアリング処理を行う。当該コアリング処理が施された画像は、加算部652mによる加算処理によってLPF部62mからの低周波成分と合成された後、画像I1’(ノイズ除去画像I1’)として画像合成部67に入力される。
The high luminance side
一方、低輝度側特性処理部610nは、LPF部62n及びコアリング処理部63nを備えている。LPF部62nは、入力された画像I2に対してLPF処理を施して低周波成分を生成する。コアリング処理部63nは、減算部651nによって画像I2から低周波成分を減算して得た高周波成分に対するコアリング処理を行う。ただし、この場合、コアリング処理に用いるコアリング係数情報(低輝度側特性に対して一律に設定されたコアリング係数th0)は、例えばコアリング処理部63n内に記憶されている。当該コアリング処理が施された画像は、加算部652nによる加算処理によってLPF部62nからの低周波成分と合成された後、画像I2’(ノイズ除去画像I2’)として画像合成部67に入力される。画像合成部67は、高輝度側特性処理部610m及び低輝度側特性処理部610nから入力されたノイズ除去画像I1’及びI2’を合成(加算処理)して合成画像Oとして後段の処理部へ出力する。
On the other hand, the low luminance side
このように、入力されてきた基画像Iを最初に領域分割しておいて、分割したそれぞれの画像に対して処理を行う構成のノイズ除去部6aとすることで、係数算出部64mでのコアリング係数算出において、都度、各画素に対して光電変換特性(低輝度側特性及び高輝度側特性)の違いによる場合分けの処理を行うことなく(都度、場合分けを行う手間が省けて)、そのまま高輝度側特性の全ての画素に対してのコアリング係数を算出することができるようになり、より高速な演算(ノイズ除去処理)が可能となる。
As described above, the input base image I is first divided into regions, and the
図9は、第2の実施形態におけるデジタルカメラ1の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子3による撮像によって撮影画像が得られる(ステップS21)。この撮影画像(基画像I)がノイズ除去部6aに入力される(ステップS22)。この入力された基画像Iから高輝度側特性領域(画像I1;対数画像)と低輝度側特性領域(画像I2;線形画像)とが領域分割抽出部66によって分割抽出される(ステップS23)。この分割抽出された画像が高輝度側特性領域の画像である場合には(ステップS24のYES)、LPF部62mによるLPF処理によって画像I1から低周波成分が抽出され(ステップS25)、LPF部62mからの低周波成分情報に基づいて、係数算出部64mによって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される(ステップS26)。この算出されたコアリング係数に基づいて、上記低周波成分が画像I1から減算されてなる高周波成分に対するコアリング処理がコアリング処理部63mによって行われ(ステップS27)、このコアリング処理が施された高周波成分と上記LPF部62mからの低周波成分が加算部652mによって合成されて画像I1’が得られる(ステップS28)。
FIG. 9 is a flowchart illustrating an example of an operation mainly related to noise removal of the
上記ステップS24において、分割抽出された画像が低輝度側特性領域の画像である場合には(ステップS24のNO)、LPF部62nによるLPF処理によって画像I2から低周波成分が抽出され(ステップS29)、この低周波成分が画像I2から減算されてなる高周波成分に対するコアリング処理がコアリング処理部63nによって行われる(ステップS30)。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部63n内に固定値として予め記憶されている値(上述のth0)が用いられる。このコアリング処理が施された高周波成分と上記LPF部62nからの低周波成分が加算部652nによって合成されて画像I2’が得られる(ステップS31)。そして、この低輝度側特性領域の画像I2’と上記高輝度側特性領域の画像I1’とが画像合成部67によって合成されて合成画像Oとして後段の階調変換部7へ出力される(ステップS32)。そして、階調変換部7によってこの合成画像Oに対する所定の階調変換処理が行われる(ステップS33)。
If the divided and extracted image is an image of the low luminance side characteristic area in step S24 (NO in step S24), a low frequency component is extracted from the image I2 by the LPF process by the LPF unit 62n (step S29). The
(実施形態3)
図10は、第3の実施形態に係る撮像装置の一例であるデジタルカメラ1aの主に撮像処理に関するブロック構成図である。デジタルカメラ1aは、第1の実施形態におけるデジタルカメラ1と比べて、先の実施形態で説明したノイズ除去部6を備えずに、当該ノイズ除去の機能を兼ね備えた階調変換部7aを備える点が異なる。その他の構成については第1の実施形態と同じであり、その説明を省略する。
(Embodiment 3)
FIG. 10 is a block configuration diagram mainly relating to an imaging process of a
階調変換部7aは、所定の変換特性に基づいて撮影画像(線形/対数画像)に対する階調変換処理を行うものである。階調変換部7aは、この階調変換処理において、撮影画像全体のコントラスト性は保存したまま局所的にコントラスト改善が図られるように、具体的には、線形/対数画像における線形特性領域でのコントラストを維持しつつ(線形特性領域でのコントラストが強調され過ぎたり失われてしまわないようにして)、対数特性領域におけるコントラストを改善(向上)するようにDR圧縮を行う機能を備えている。階調変換部7aは、入力された線形/対数画像を線形画像と対数画像との画像データに分割し、この線形画像及び対数画像から照明成分及び反射率成分を取り出した後、照明成分を圧縮することで上記DR圧縮を行う。このDR圧縮技術は、人間の視覚特性すなわち明るさに対する色恒常性に着目したRetinex理論(Multi-scale Retinex)に基づくものである。階調変換部7aは、このDR圧縮処理の過程で得られる反射率成分に対してノイズ除去を行う。このような階調変換部7aについて以下、詳述する。
The
図11は、階調変換部7aにおけるDR圧縮及びノイズ除去に関する機能ブロック図である。同図に示すように階調変換部7aは、領域分割抽出部71、高輝度側特性変換部72m、低輝度側特性変換部72n及び画像合成部73を備えている。領域分割抽出部71は、階調変換部7aに入力された基画像I(線形/対数画像)から対数画像(画像I1)と線形画像(画像I2)とを分割抽出(分離)するものである。具体的には、基画像Iが上記(1-1)式及び(1-2)式で表されるとすると、領域分割抽出部71は、以下の(2-0)式に示す関係式に基づいて基画像Iの画素値を判別することで画像I1と画像I2とに分ける。なお、この画像I1、I2はそれぞれ高輝度側特性変換部72m及び低輝度側特性変換部2nに入力される。
if(I≧Yth)
I1=(I−β)/α、I2=0 (高輝度側特性)
else
I1=0、I2=(I−b)/a (低輝度側特性) …(2-0)
FIG. 11 is a functional block diagram relating to DR compression and noise removal in the
if (I ≧ Yth)
I1 = (I−β) / α, I2 = 0 (high luminance side characteristic)
else
I1 = 0, I2 = (Ib) / a (low luminance side characteristic) (2-0)
高輝度側特性変換部72mは、高輝度側特性領域の画像の階調変換(DR圧縮)を行うものであり、第1照明成分抽出部74m、第1照明成分圧縮部75m、第1ノイズ除去部76m及び加算・線形変換部77mを備えている。
The high luminance side
ところで上記Retinex理論によると、基画像Iは照明成分を照明成分L、反射率成分を反射率成分Rとすると、以下の(2-1)式で表される。
I=L*R …(2-1)
ただし、(2-1)式は、線形画像としての基画像Iに対するものであり、対数画像としての基画像Iに対しては、以下の(2-2)式に示す変形式で表される。
Log(I)=Log(L)+Log(R) …(2-2)
By the way, according to the Retinex theory, the base image I is represented by the following equation (2-1), where the illumination component is the illumination component L and the reflectance component is the reflectance component R.
I = L * R (2-1)
However, the formula (2-1) is for the base image I as a linear image, and the base image I as a logarithmic image is expressed by a modified formula shown in the following formula (2-2). .
Log (I) = Log (L) + Log (R) (2-2)
第1照明成分抽出部74mは、画像I1から該画像I1の照明成分L1の対数値であるLog(L1)を抽出する。このLog(L1)の抽出は、以下の(2-3)式に示す変換によって行われる。
Log(L1)=Log(F(I1)) …(2-3)
なお、Log(F(I1))を近似的にF(Log(I1))としてもよい(以下の(2-3)’式参照)。
Log(L1)=F(Log(I1)) …(2-3)’
但し、上記各式中の“F”は、照明成分抽出用の変換を示している。照明成分は画像の低周波成分で近似できるため、当該変換においてローパスフィルタ(LPF;線形フィルタ)やメディアンフィルタ(非線形フィルタ)等の低周波抽出用のフィルタを用いる。
The first illumination
Log (L1) = Log (F (I1)) (2-3)
Log (F (I1)) may be approximately set to F (Log (I1)) (see the following formula (2-3) ′).
Log (L1) = F (Log (I1)) (2-3) '
However, “F” in each of the above formulas indicates conversion for extracting the illumination component. Since the illumination component can be approximated by a low-frequency component of the image, a low-frequency extraction filter such as a low-pass filter (LPF; linear filter) or a median filter (non-linear filter) is used in the conversion.
第1照明成分圧縮部75mは、第1照明成分抽出部74mにより抽出された照明成分Log(L1)に対する圧縮処理を行い、照明成分L1を圧縮してなる照明成分L1’の対数値Log(L1’)を出力する。DR圧縮における所定の圧縮率(DR圧縮率)を「c1」とすると、Log(L1’)は以下の(2-4)式で示される。
Log(L1’)=Log(L1)*c1 …(2-4)
The first illumination
Log (L1 ′) = Log (L1) * c1 (2-4)
第1ノイズ除去部76mは、第1照明成分抽出部74mからの照明成分の情報(照明成分情報)に基づいて、画像I1の反射率成分R1の対数値Log(R1)に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分R1’(ノイズ除去反射率成分画像R1’)の対数値Log(R1’)を出力する。なお、このLog(R1)は、減算部781mによって画像I1からLog(L1)を減算することで得られる。このノイズ除去処理の詳細については後述する。
The first
加算・線形変換部77mは、第1照明成分圧縮部75mから入力されたLog(L1’)と、第1ノイズ除去部76mから入力されたLog(R1’)とを加算処理により合成するとともに、当該合成してなる対数画像を線形画像に変換して出力する。すなわち、画像I1に対する階調変換(DR圧縮及びノイズ除去)後の画像を画像I1’(ノイズ除去画像I1’)とすると、加算・線形変換部77mは、以下(2-5)式の関係から求められる以下(2-6)式で示す画像I1’を出力する。なお、この画像I1’は画像合成部73へ出力される。
Log(I1’)=Log(L1’)+Log(R1’) …(2-5)
I1’=exp(Log(L1’)+Log(R1)) …(2-6)
The addition /
Log (I1 ′) = Log (L1 ′) + Log (R1 ′) (2-5)
I1 ′ = exp (Log (L1 ′) + Log (R1)) (2-6)
一方、低輝度側特性変換部72nは、低輝度側特性領域の画像の階調変換(DR圧縮)を行うものであり、第2照明成分抽出部74n、第2照明成分圧縮部75n及び第2ノイズ除去部76nを備えている。第2照明成分抽出部74nは、画像I2から照明成分L2を抽出する。この画像I2からの照明成分L2の抽出処理は以下の(2-7)式で示される。
L2=F(I2) …(2-7)
但し、上記式中の“F”は、照明成分抽出用の変換を示しており、上述と同様、この変換にはローパスフィルタやメディアンフィルタ等の低周波抽出用のフィルタが用いられる。なお、画像I2の反射率成分R2は、上記(2-1)式からR2=I2/L2で求められる。
On the other hand, the low luminance side
L2 = F (I2) (2-7)
However, “F” in the above expression indicates a conversion for extracting an illumination component, and a filter for low frequency extraction such as a low-pass filter or a median filter is used for this conversion as described above. It should be noted that the reflectance component R2 of the image I2 is obtained from the above equation (2-1) by R2 = I2 / L2.
第2照明成分圧縮部75nは、第2照明成分抽出部74nにより抽出された上記照明成分L2の対数値に対する圧縮処理を行い、照明成分L2を圧縮してなる照明成分L2’を出力する。この場合のDR圧縮において上記第1照明成分圧縮部75mと同じ圧縮率「c1」を用いると、照明成分L2’は、以下(2-8)式で与えられる。
L2’=exp(Log(L2)*c1) …(2-8)
The second illumination
L2 ′ = exp (Log (L2) * c1) (2-8)
第2ノイズ除去部76nは、第2照明成分抽出部74nからの照明成分情報に基づいて、画像I2の反射率成分R2に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分R2’(ノイズ除去反射率成分画像R2’)を出力する。なお、この反射率成分R2は、除算部781nによって画像I2からL2を除算することで得られる。このノイズ除去処理の詳細については後述する。
The second
第2ノイズ除去部76nにおいてノイズ除去処理が施された画像は、乗算部782nによる乗算処理によって第2照明成分圧縮部75nからの照明成分L2’と合成された後、画像I2’(ノイズ除去画像I2’)として画像合成部73に入力される。画像合成部73は、高輝度側特性変換部72m及び低輝度側特性変換部72nから入力されたノイズ除去画像I1’及びI2’を合成(加算処理)して合成画像Oとして後段の処理部へ出力する。
The image subjected to the noise removal process in the second
ここで、上記第1及び第2ノイズ除去部76m、76nについて詳述する。本実施形態では、階調変換処理においてノイズ除去を行うが、コアリング処理に必要な高周波成分が反射率成分として既に抽出されているので、その反射率成分に対してノイズ除去を行えばよい。したがって、第1及び第2ノイズ除去部76m、76nは、それぞれ図12、13のブロック図に示すように、コアリング処理によってノイズ除去を行う機能部分だけで構成されるものとなる。この第1及び第2ノイズ除去部76m、76nでは、入力された反射率成分に対し、それぞれコアリング処理部762m、762nによって図6に示すコアリング特性630に基づくコアリング処理を行う。ただし、第1及び第2ノイズ除去部76m、76nでは、それぞれコアリング処理におけるコアリング係数の設定方法が異なっており、第1ノイズ除去部76mでは、係数算出部761mを備え、該係数算出部761mによって階調変換の伸張度合いに応じて算出されるコアリング係数(th)を使用するが、第2ノイズ除去部76nでは当該階調変換の伸張度合いに応じた算出処理を行うことなく低輝度側特性のコアリング係数(th0)を使用する。
Here, the first and second
また、第1の実施形態におけるノイズ除去部6の係数算出部64(第2の実施形態におけるノイズ除去部6aの係数算出部64m)では、LPFを用いて抽出した低周波成分を入力としてコアリング係数を算出する構成としているが、第1ノイズ除去部76mの係数算出部761mでは、照明成分L1の対数値Log(L1)が低周波成分に相当するので、このLog(L1)を入力としてコアリング係数を算出する構成となっている。
Further, in the
(コアリング係数算出の考え方)
ここで、第3の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。固体撮像素子3による線形/対数画像の光電変換特性は、第1の実施形態と同様、以下の(3-1)、(3-2)式で表され、上記と同様、0≦X≦Xth及びX>Xthの各場合でコアリング係数の算出方法が異なる。
Y=a*X+b(0≦X≦Xth) …(3-1)
Y=α*Ln(X)+β(X>Xth)…(3-2)
但し、座標(Xth、Yth)はこの光電変換特性の変曲点である。
(Concept of coring coefficient calculation)
Here, the concept of calculating the coring coefficient in the third embodiment will be specifically described. The photoelectric conversion characteristics of the linear / logarithmic image by the solid-
Y = a * X + b (0 ≦ X ≦ Xth) (3-1)
Y = α * Ln (X) + β (X> Xth) (3-2)
However, the coordinates (Xth, Yth) are inflection points of this photoelectric conversion characteristic.
[0≦X≦Xthの場合]
低輝度側特性領域におけるコアリング係数の算出となる。ここでは、低輝度側特性領域でのコアリング係数thは、第1の実施形態と同様、低輝度側特性領域に対して一律に設定した値th0を用いる(以下(3-3)式参照)。
th=th0 …(3-3)
[When 0 ≦ X ≦ Xth]
The coring coefficient is calculated in the low luminance side characteristic region. Here, as the coring coefficient th in the low luminance side characteristic region, a value th0 that is uniformly set for the low luminance side characteristic region is used as in the first embodiment (refer to equation (3-3) below). .
th = th0 (3-3)
[X>Xthの場合]
高輝度側特性領域におけるコアリング係数の算出となる。ここでは、階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(3-2)式より、以下の(3-4)式となる。
Y=α*Ln(X)+β+N …(3-4)
但し、N:画像信号に含まれているノイズ(高輝度部、低輝度部共に同じ)
[When X> Xth]
The coring coefficient is calculated in the high luminance side characteristic region. Here, a condition is derived in which the amount of noise after gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic area. Considering the case where noise is added to the image signal during imaging, the following equation (3-4) is obtained from the above equation (3-2).
Y = α * Ln (X) + β + N (3-4)
However, N: Noise included in the image signal (same for both high-luminance part and low-luminance part)
上記(3-4)式を線形特性(Y=X)に変換すると、以下の(3-5)となる。
Y_LIN=exp((Y−β)/α)
=exp((α*Ln(X)+β+N−β)/α)
=exp(Ln(X)+N/α)
=exp(Ln(X))*exp(N/α)
=X*exp(N/α) …(3-5)
低周波成分をLとすると、ノイズ除去処理を行うための反射率成分Rは、上記(3-5)式より、以下の(3-6)式で与えられる。
R=Y_LIN/L
=X/L*exp(N/α) …(3-6)
When the above equation (3-4) is converted into a linear characteristic (Y = X), the following (3-5) is obtained.
Y_LIN = exp ((Y−β) / α)
= Exp ((α * Ln (X) + β + N−β) / α)
= Exp (Ln (X) + N / α)
= Exp (Ln (X)) * exp (N / α)
= X * exp (N / α) (3-5)
When the low frequency component is L, the reflectance component R for performing noise removal processing is given by the following equation (3-6) from the above equation (3-5).
R = Y_LIN / L
= X / L * exp (N / α) (3-6)
ここでのノイズ除去処理においては、対数画像に対してノイズ除去を行うので、上記(3-6)式を対数特性に変換すると、以下の(3-7)式となる。
Ln(R)=Ln(X/L*exp(N/α))
=Ln(X/L)+Ln(exp(N/α))
=Ln(X/L)+N/α …(3-7)
また、ノイズ除去量ΔNによってノイズ除去を行い、当該ノイズ除去後の反射率成分R’を求める。ノイズ除去後の反射率成分R’は、上記(3-7)より、以下の(3-8)式で与えられる。
Ln(R’)=Ln(X/L)+N/α−ΔN …(3-8)
In the noise removal processing here, noise removal is performed on the logarithmic image. Therefore, when the above equation (3-6) is converted into logarithmic characteristics, the following equation (3-7) is obtained.
Ln (R) = Ln (X / L * exp (N / α))
= Ln (X / L) + Ln (exp (N / α))
= Ln (X / L) + N / α (3-7)
Further, noise removal is performed with the noise removal amount ΔN, and the reflectance component R ′ after the noise removal is obtained. The reflectance component R ′ after noise removal is given by the following equation (3-8) from the above (3-7).
Ln (R ′) = Ln (X / L) + N / α−ΔN (3-8)
上記(3-8)式を線形特性に変換すると、以下の(3-9)式となる。
R’=exp(Ln(X/L)+N/α−ΔN)
=exp(Ln(X/L)*exp(N/α−ΔN)
=(X/L)*exp(N/α−ΔN) …(3-9)
この反射率成分R’と、照明成分Lが圧縮された照明成分L’とを合成して、階調変換後の出力Y’を算出する。出力Y’は、上記(3-9)式より、以下の(3-10)式で与えられる。
Y’=L’*R’
=L’*(X/L)*exp(N/α−ΔN) …(3-10)
したがって、階調変換後のノイズ量N’は、上記(3-10)式より、以下の(3-11)式で与えられる。
N’=Y’−L’*(X/L)
=L’*(X/L)*exp(N/α−ΔN)−L’*(X/L)
=L’*(X/L)*(exp(N/α−ΔN)−1) …(3-11)
When the above equation (3-8) is converted into linear characteristics, the following equation (3-9) is obtained.
R ′ = exp (Ln (X / L) + N / α−ΔN)
= Exp (Ln (X / L) * exp (N / α-ΔN)
= (X / L) * exp (N / α-ΔN) (3-9)
The reflectance component R ′ and the illumination component L ′ obtained by compressing the illumination component L are combined to calculate an output Y ′ after gradation conversion. The output Y ′ is given by the following equation (3-10) from the above equation (3-9).
Y '= L' * R '
= L ′ * (X / L) * exp (N / α−ΔN) (3-10)
Therefore, the noise amount N ′ after gradation conversion is given by the following equation (3-11) from the above equation (3-10).
N ′ = Y′−L ′ * (X / L)
= L ′ * (X / L) * exp (N / α−ΔN) −L ′ * (X / L)
= L ′ * (X / L) * (exp (N / α−ΔN) −1) (3-11)
ここで、ノイズ成分だけを考えるためにノイズ以外の反射率成分が「1」であるとすると、上記(3-11)式においてノイズ以外の反射率成分に該当する項のX/Lに値「1」を代入して、以下の(3-12)式となる。
N’=L’*(exp(N/α−ΔN)−1) …(3-12)
Here, in order to consider only the noise component, if the reflectance component other than noise is “1”, the value “X / L” of the term corresponding to the reflectance component other than noise in the above equation (3-11) is “ Substituting “1”, the following equation (3-12) is obtained.
N ′ = L ′ * (exp (N / α−ΔN) −1) (3-12)
コアリング処理による低輝度部及び高輝度部のノイズ除去量をΔN1、ΔN2として、これらの値でノイズ除去を行った場合のノイズ量を考える。階調変換後(DR圧縮後)の低輝度部及び高輝度部のノイズをそれぞれN1’、N2’とし、また、階調変換後(DR圧縮後)の低輝度部及び高輝度部の照明成分をそれぞれL1、L2とすると、上記(3-12)式より、以下の(3-13-1)式及び(3-13-2)式が得られる。
N1’=L1*(exp(N/α−ΔN1)−1) …(3-13-1)
N2’=L2*(exp(N/α−ΔN2)−1) …(3-13-2)
Assume that the noise removal amounts of the low luminance portion and the high luminance portion by coring processing are ΔN1 and ΔN2, and the noise amount when noise removal is performed with these values. The noises of the low luminance part and the high luminance part after gradation conversion (after DR compression) are N1 ′ and N2 ′, respectively, and the illumination components of the low luminance part and the high luminance part after gradation conversion (after DR compression) Are L1 and L2, respectively, the following equations (3-13-1) and (3-13-2) are obtained from the above equation (3-12).
N1 ′ = L1 * (exp (N / α−ΔN1) −1) (3-13-1)
N2 ′ = L2 * (exp (N / α−ΔN2) −1) (3-13-2)
これらから、N1’=N2’となるΔN1、ΔN2の関係を導き出す。すなわち、(3-13-1)式及び(3-13-2)式とN1’=N2’の関係とより、以下の(3-14)式が得られる。
L1*(exp(N/α−ΔN1)−1)=L2*(exp(N/α−ΔN2)−1) …(3-14)
この(3-14)式を変形してゆくと、
L1/L2*(exp(N/α−ΔN1)−1)=exp(N/α−ΔN2)−1
L1/L2*(exp(N/α−ΔN1)−1)+1=exp(N/α)/exp(ΔN2)
exp(ΔN2)=exp(N/α)/(L1/L2*(exp(N/α−ΔN1)−1)+1)となり、
ΔN2について整理すると、以下の(3-15)式が得られる。
ΔN2=Ln(exp(ΔN2))
=Ln(exp(N/α)/(L1/L2*(exp(N/α−ΔN1)−1)+1))…(3-15)
From these, the relationship of ΔN1 and ΔN2 that leads to N1 ′ = N2 ′ is derived. That is, the following expression (3-14) is obtained from the relations (3-13-1) and (3-13-2) and N1 ′ = N2 ′.
L1 * (exp (N / α−ΔN1) −1) = L2 * (exp (N / α−ΔN2) −1) (3-14)
If this equation (3-14) is transformed,
L1 / L2 * (exp (N / α−ΔN1) −1) = exp (N / α−ΔN2) −1
L1 / L2 * (exp (N / α−ΔN1) −1) + 1 = exp (N / α) / exp (ΔN2)
exp (ΔN2) = exp (N / α) / (L1 / L2 * (exp (N / α−ΔN1) −1) +1)
By arranging ΔN2, the following equation (3-15) is obtained.
ΔN2 = Ln (exp (ΔN2))
= Ln (exp (N / α) / (L1 / L2 * (exp (N / α−ΔN1) −1) +1)) (3-15)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(3-15)式により、高輝度側特性領域におけるコアリング係数thは、以下の(3-16)式で与えられるものとなる。
th=Ln(exp(N/α)/(L1/L2*(exp(N/α−th0)−1)+1)) …(3-16)
Therefore, when this concept is applied to the calculation of the coring coefficient of this embodiment, the coring coefficient th in the high luminance side characteristic region is given by the following expression (3-16) according to the above expression (3-15). It will be a thing.
th = Ln (exp (N / α) / (L1 / L2 * (exp (N / α−th0) −1) +1)) (3-16)
図14は、第3の実施形態におけるデジタルカメラ1aの主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子3による撮像によって撮影画像が得られる(ステップS41)。この撮影画像(基画像I)が階調変換部7aに入力される(ステップS42)。この入力された基画像Iから高輝度側特性領域(画像I1;対数画像)と低輝度側特性領域(画像I2;線形画像)とが領域分割抽出部71によって分割抽出される(ステップS43)。この分割抽出された画像が高輝度側特性領域の画像である場合には(ステップS44のYES)、第1照明成分抽出部74mによって画像I1から照明成分(Log(L1))が抽出され(ステップS45)、第1照明成分抽出部74mからの照明成分情報に基づいて、第1ノイズ除去部76mにおける係数算出部761mによって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される(ステップS46)。この算出されたコアリング係数に基づいて、上記照明成分が画像I1から減算されてなる反射率成分(Log(R1))に対するコアリング処理がコアリング処理部762mによって行われ(ステップS47)、このコアリング処理が施された反射率成分(Log(R1’))と、上記第1照明成分抽出部74mにより抽出された照明成分が第1照明成分圧縮部75mによって圧縮されてなる照明成分(Log(L1’))とが、加算・線形変換部77mによって合成されるとともに対数画像が線形変換されて線形画像としての画像I1’が得られる(ステップS48、S49)。ただし、ステップS48及びS49の動作は、どちらが先に行われてもよい。
FIG. 14 is a flowchart illustrating an example of an operation mainly related to noise removal of the
上記ステップS44において、分割抽出された画像が低輝度側特性領域の画像である場合には(ステップS44のNO)、第2照明成分抽出部74nによって画像I2から照明成分(L2)が抽出され(ステップS50)、この照明成分が画像I2から除算されてなる反射率成分(R2)に対するコアリング処理が第2ノイズ除去部76nにおけるコアリング処理部762nによって行われる(ステップS51)。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部762n内に固定値として予め記憶されている値(上述のth0)が用いられる。このコアリング処理が施された反射率成分(R2’)と、上記第2照明成分抽出部74nにより抽出された照明成分が第2照明成分圧縮部75nによって圧縮されてなる照明成分(L2’)とが、乗算部782nによって合成されて画像I2’が得られる(ステップS52)。そして、この低輝度側特性領域の画像I2’と上記高輝度側特性領域の画像I1’とが画像合成部73によって合成され、階調変換部7aから合成画像Oとして出力される(ステップS53)。
In step S44, when the divided and extracted image is an image of the low luminance side characteristic region (NO in step S44), the illumination component (L2) is extracted from the image I2 by the second illumination
(実施形態4)
上記デジタルカメラ1やデジタルカメラ1aにおいては、ノイズ除去や階調変換(DR圧縮)などの各種信号処理を該デジタルカメラ内で行う構成としているが、これら信号処理をデジタルカメラ内でなく、デジタルカメラにより得られた撮像データが与えられるPC(パーソナルコンピュータ)やPDA(携帯情報端末)等の情報処理装置(デジタルカメラに対する外部装置)内で行う構成としてもよい。このような構成を備えた撮像システムについて説明する。図15に示すように、撮像システム100は、デジタルカメラ1bと情報処理装置200とを備えている。
(Embodiment 4)
The
デジタルカメラ1bは、デジタルカメラ1と比べて、ノイズ除去部6がなく、入出力I/F部12を備えたものとなっている。その他の構成は同じでありその説明は省略する。入出力I/F部12は、有線或いは無線による所定のネットワーク(例えばLAN)を介して接続された情報処理装置200との間における種々のデータのやり取り(授受;送受信)を行うものである。入出力I/F部12は、情報処理装置200との回線確保処理を行うとともに、画像メモリ8に格納された画像信号を読み出して情報処理装置200(後述の入出力I/F部260)へ送信する。なお、画像メモリ8は、固体撮像素子3によって得られた撮像データ(A/D変換部5からの画像信号)を、情報処理装置200に対する送信前に一時的に格納する場所として使用される。
Compared to the
情報処理装置200は、CPU等からなり情報処理装置200全体の動作制御(データの演算処理)を司る全体制御部210と、デジタルカメラ1bから送信されてきた撮像データ等のデータを一時的に格納する画像メモリ220と、所定のアプリケーションや各種データが格納されるHDD(ハードディスク)230と、画像(映像)等を表示するディスプレイ240と、操作指示入力(データの入力)を行うキーボードやマウスからなる操作部250と、外部すなわちデジタルカメラ1b(入出力I/F部12)とのデータのやり取りを行う入出力I/F部260とを備えている。このような情報処理装置200は、全体制御部210(例えばこの全体制御部210内に備えたノイズ除去部や階調変換部)によって、デジタルカメラ1bから送信されてきた撮像データに対し、上記各実施形態と同様にノイズ除去処理(コアリング処理)や階調変換処理(DR圧縮)を行う。この処理結果の情報(画像)はHDD230等に記録されるとともに、ディスプレイ240上に表示される。なお、撮像データをディスプレイ240に表示させて逐次その処理内容を確認しながらノイズ除去処理や階調変換処理を行う構成としてもよい。また、デジタルカメラ1b及び情報処理装置200間のデータのやり取りを行う構成は、上記構成に限らず、例えばメモリカード等の記録媒体(ストレージメディア)を介して行う構成であってもよい。
The
図16は、第4の実施形態における撮像システム100の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、情報処理装置200からデジタルカメラ1bに対して画像取得の指示信号が送信される(逆に、デジタルカメラ1bから情報処理装置200に当該指示信号が送信されてもよい)と(ステップS61)、情報処理装置200及びデジタルカメラ1b(各入出力I/F部)により、相互の回線を確保するための処理が開始される(ステップS62)。回線が確保されなければ(ステップS63のNO)、ディスプレイ240(又はモニタ部10)にエラー表示がなされ(ステップS64)、ステップS62に戻って引き続き回線確保処理が行われる。回線が確保されると(ステップS63のYES)、情報処理装置200からデジタルカメラ1bに対して撮影画像の信号出力を要求する信号が送信され(この逆でもよい)(ステップS65)、デジタルカメラ1bから情報処理装置200へ画像データが送信される(ステップS66)。情報処理装置200では、この画像データを受けて、コアリング係数等の各種パラメータの設定処理が行われ(ステップS67)、このパラメータに基づいて、上記ノイズ除去処理(コアリング処理)や階調変換処理(DR圧縮)等の各種信号処理が行われる(ステップS68)。そして、この処理結果がディスプレイ240(又はモニタ部10)に表示されるとともに、処理後の画像データがHDD230に格納される(ステップS69)。上記コアリング係数等の各種パラメータが変更される場合には(ステップS70のYES)、パラメータの再設定処理がなされ(ステップS71)、上記ステップS68に戻ってこの再設定されたパラメータに基づいて上記信号処理が行われる。パラメータが変更されない場合には(ステップS70のNO)、フロー終了となる。
FIG. 16 is a flowchart illustrating an example of operations mainly related to noise removal of the
ところで、上記各実施形態では、複数の異なる光電変換特性を有する固体撮像素子3として、低輝度側が線形特性であり高輝度側が対数特性である(線形/対数特性の)光電変換特性を有するイメージセンサを用いているが、これに限らず、例えば、可変蓄積時間型撮像センサや可変蓄積容量型撮像センサ(以降、これら撮像センサのことを、適応型撮像センサという)を用いてもよい。すなわち、この適応型撮像センサは、図17に示すように低輝度側及び高輝度側共に線形の光電変換特性(第1線形特性171、第2線形特性172)を有しており(座標(Xth、Yth)は変曲点である)、輝度レベルに応じて各線形特性のグラフ上の傾きが変化する。この変化は所定の出力レベルにおいて行われ、上記線形/対数特性の撮像センサと同様、複数の異なる光電変換特性となる。この適応型撮像センサにおいても、上記各実施形態と同様のノイズ除去処理が可能であるものの、高輝度側特性が対数特性ではなく線形特性となっているので、これに伴い第1の実施形態(第2の実施形態を含む)、及び第3の実施形態について以下に示す変更が必要となる。この変更について、以下、実施形態5及び実施形態6において説明する。第4の実施形態については当該変更点が同様に適用されるので、その説明を省略する。
By the way, in each of the above-described embodiments, as the solid-
(実施形態5)
まず、第1の実施形態に対する変更点について説明する。ここでは、高輝度側特性が対数特性から線形特性に変更されるのに伴い、ノイズ除去部6(6a)におけるコアリング係数の算出の考え方の変更が必要となる。ただし、このノイズ除去部における構成(機能ブロック構成)については変更不要である。
(Embodiment 5)
First, changes to the first embodiment will be described. Here, as the high luminance side characteristic is changed from the logarithmic characteristic to the linear characteristic, it is necessary to change the way of thinking of the coring coefficient calculation in the noise removing unit 6 (6a). However, it is not necessary to change the configuration (functional block configuration) in the noise removing unit.
(係数の算出の考え方)
ここで、第5の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。第1の実施形態の場合と異なり、本実施形態の適応型撮像センサの光電変換特性は、以下の(4-1)、(4-2)式に示す入力輝度Xに対する画素値Y(出力)の関係式で表される(基画像Iの光電変換特性に相当)。
Y=a1*X+b1(0≦X≦Xth) …(4-1)
Y=a2*X+b2(X>Xth) …(4-2)
但し、座標(Xth、Yth)がこの光電変換特性の変曲点である。なお、この(4-1)式及び(4-2)式の光電変換特性を有する固体撮像素子3によって得られる撮影画像のことを線形/線形画像という。
(Concept of coefficient calculation)
Here, the concept of calculating the coring coefficient in the fifth embodiment will be specifically described. Unlike the case of the first embodiment, the photoelectric conversion characteristic of the adaptive image sensor of this embodiment is a pixel value Y (output) with respect to the input luminance X shown in the following equations (4-1) and (4-2). (Corresponding to the photoelectric conversion characteristics of the base image I).
Y = a1 * X + b1 (0 ≦ X ≦ Xth) (4-1)
Y = a2 * X + b2 (X> Xth) (4-2)
However, the coordinates (Xth, Yth) are the inflection points of the photoelectric conversion characteristics. A photographed image obtained by the solid-
[0≦X≦Xthの場合]
低輝度側特性領域におけるコアリング係数の算出となり、第1の実施形態と同様、コアリング係数thは、値th0となる(以下(4-3)式参照)。
th=th0 …(4-3)
[When 0 ≦ X ≦ Xth]
The coring coefficient in the low luminance side characteristic region is calculated, and the coring coefficient th is the value th0 as in the first embodiment (refer to equation (4-3) below).
th = th0 (4-3)
[X>Xthの場合]
高輝度側特性領域におけるコアリング係数の算出となる。この場合も階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(4-2)式より、(4-4)式となる。
Y=a2*X+b2+N …(4-4)
但し、N:画像信号に含まれているノイズ(高輝度部、低輝度部共に同じ)
[When X> Xth]
The coring coefficient is calculated in the high luminance side characteristic region. Also in this case, a condition is derived so that the amount of noise after gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic area. Considering the case where noise is added to the image signal at the time of imaging, Equation (4-4) is obtained from Equation (4-2).
Y = a2 * X + b2 + N (4-4)
However, N: Noise included in the image signal (same for both high-luminance part and low-luminance part)
上記(4-4)式を線形特性(Y=X)に変換し、線形特性出力Y_LINを算出すると、以下の(4-5)式となる。
Y_LIN=(Y−b2)/a2
=(a2*X+b2+N−b2)/a2
=X+N/a2 …(4-5)
低周波成分をLとすると、ノイズ除去処理を行うための高周波成分Hは、上記(4-5)式より、以下の(4-6)式で与えられる。
H=Y_LIN−L
=X+N/a2−L …(4-6)
When the above equation (4-4) is converted into a linear characteristic (Y = X) and the linear characteristic output Y_LIN is calculated, the following equation (4-5) is obtained.
Y_LIN = (Y−b2) / a2
= (A2 * X + b2 + N−b2) / a2
= X + N / a2 (4-5)
When the low frequency component is L, the high frequency component H for performing noise removal processing is given by the following equation (4-6) from the above equation (4-5).
H = Y_LIN-L
= X + N / a2-L (4-6)
高周波成分に対してノイズ除去量ΔNのノイズ除去を行うと、ノイズ除去後の高周波成分H’は、上記(4-6)式より、以下の(4-7)式となる。
H’=X+N/a2−L−ΔN …(4-7)
この高周波成分H’に低周波成分Lを加えることで、ノイズ除去後の線形特性出力Y’_LINを算出する。すなわち、Y’_LINは以下の(4-8)式で与えられる。
Y’_LIN=L+H’
=L+X+N/a2−L−ΔN
=X+N/a2−ΔN …(4-8)
When the noise removal amount ΔN is removed from the high frequency component, the high frequency component H ′ after the noise removal is expressed by the following equation (4-7) from the above equation (4-6).
H ′ = X + N / a2−L−ΔN (4-7)
By adding the low frequency component L to the high frequency component H ′, the linear characteristic output Y′_LIN after noise removal is calculated. That is, Y′_LIN is given by the following equation (4-8).
Y'_LIN = L + H '
= L + X + N / a2-L-ΔN
= X + N / a2-ΔN (4-8)
上記線形特性出力Y’_LINを照明成分Bと反射率成分Dとに分割して階調変換出力Y’_drcを算出する。
Y’_LIN=B*D
よって、D=Y’_LIN/B
また、照明成分Bを圧縮して階調変換を行う。階調変換後の照明成分をB’とすると、
Y’_drc=B’*D
=B’*Y’_LIN/B
したがって、階調変換後のノイズ量N’は、以下の(4-9)式で与えられる。
N’=Y’_drc−B’*X/B
=B’*Y’_LIN/B−B’*X/B
=B’/B*(Y’_LIN−X)
=B’/B*(X+N/a2−ΔN−X)
=B’/B*(N/a2−ΔN) …(4-9)
The linear characteristic output Y′_LIN is divided into an illumination component B and a reflectance component D to calculate a gradation conversion output Y′_drc.
Y'_LIN = B * D
Therefore, D = Y′_LIN / B
Further, gradation conversion is performed by compressing the illumination component B. If the illumination component after gradation conversion is B ′,
Y'_drc = B '* D
= B '* Y'_LIN / B
Therefore, the noise amount N ′ after gradation conversion is given by the following equation (4-9).
N ′ = Y′_drc−B ′ * X / B
= B '* Y'_LIN / B-B' * X / B
= B '/ B * (Y'_LIN-X)
= B ′ / B * (X + N / a2−ΔN−X)
= B '/ B * (N / a2-ΔN) (4-9)
ここで、階調変換後(DR圧縮後)の低輝度部及び高輝度部のノイズをそれぞれN1’、N2’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれL1、L2とし、これら照明成分L1、L2に対する階調変換後(DR圧縮後)の照明成分をそれぞれL1’、L2’とし、コアリング処理による当該低輝度部及び高輝度部のノイズ除去量をΔN1、ΔN2とすると、上記(4-9)式より、以下の(4-10-1)式及び(4-10-2)式が得られる。
N1’=L1’/L1*(N/a2−ΔN1) …(4-10-1)
N2’=L2’/L2*(N/a2−ΔN2) …(4-10-2)
Here, the noises of the low luminance part and the high luminance part after gradation conversion (after DR compression) are N1 ′ and N2 ′, respectively, and the illumination components of the low luminance part and the high luminance part in the linear characteristic output are L1, respectively. L2, L1 ′ and L2 ′ are the illumination components after gradation conversion (after DR compression) for these illumination components L1 and L2, respectively, and ΔN1 is the noise removal amount of the low luminance part and the high luminance part by coring processing. Assuming ΔN2, the following equations (4-10-1) and (4-10-2) are obtained from the above equation (4-9).
N1 ′ = L1 ′ / L1 * (N / a2−ΔN1) (4-10-1)
N2 ′ = L2 ′ / L2 * (N / a2−ΔN2) (4-10-2)
これらから、N1’=N2’となるΔN1、ΔN2の関係を導き出す。すなわち、(4-10-1)式及び(4-10-2)式とN1’=N2’の関係とより、以下の(4-11)式が得られる。
L1’/L1*(N/a2−ΔN1)=L2’/L2*(N/a2−ΔN2) …(4-11)
この(4-11)式を変形してゆくと、
(L1’/L1)/(L2’/L2)*(N/a2−ΔN1)=N/a2−ΔN2となり、ΔN2について整理すると、以下の(4-12)式が得られる。
ΔN2=N/a2−(L1’/L1)/(L2’/L2)*(N/a2−ΔN1) …(4-12)
From these, the relationship of ΔN1 and ΔN2 that leads to N1 ′ = N2 ′ is derived. That is, the following expression (4-11) is obtained from the relations (4-10-1) and (4-10-2) and N1 ′ = N2 ′.
L1 ′ / L1 * (N / a2−ΔN1) = L2 ′ / L2 * (N / a2−ΔN2) (4-11)
If this equation (4-11) is transformed,
(L1 ′ / L1) / (L2 ′ / L2) * (N / a2−ΔN1) = N / a2−ΔN2, and when ΔN2 is arranged, the following equation (4-12) is obtained.
ΔN2 = N / a2− (L1 ′ / L1) / (L2 ′ / L2) * (N / a2−ΔN1) (4-12)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(4-12)式により、高輝度側特性領域におけるコアリング係数thは、以下の(4-13)式で与えられるものとなる。
th=N/a2−(L1’/L1)/(L2’/L2)*(N/a2−th0) …(4-13)
Therefore, when this concept is applied to the calculation of the coring coefficient of this embodiment, the coring coefficient th in the high luminance side characteristic region is given by the following expression (4-13) according to the above expression (4-12). It will be a thing.
th = N / a2- (L1 ′ / L1) / (L2 ′ / L2) * (N / a2-th0) (4-13)
なお、本第5の実施形態におけるノイズ除去に関する動作のフローは、上記図8に示すフローと同様であり、その説明を省略する。 Note that the flow of operations related to noise removal in the fifth embodiment is the same as the flow shown in FIG. 8, and a description thereof will be omitted.
(実施形態6)
次に、第3の実施形態に対する変更点について説明する。ここでは、高輝度側特性が対数特性から線形特性に変更されるのに伴い、階調変換部7aにおける構成の変更及び第1ノイズ除去部76mにおけるコアリング係数の算出の考え方の変更が必要となる。まず階調変換部7aの構成が変更された階調変換部7bについて説明する。
(Embodiment 6)
Next, changes to the third embodiment will be described. Here, as the high luminance side characteristic is changed from the logarithmic characteristic to the linear characteristic, it is necessary to change the configuration of the
図18は、第3の実施形態において適応型撮像センサを用いる場合の階調変換部7bの機能ブロック図である。同図に示すように階調変換部7bは、第3の実施形態における階調変換部7aと比べて、領域分割抽出部71’、高輝度側特性変換部72m’及び画像合成部73’が異なる。その他の構成については同じであり、その説明を省略する。
FIG. 18 is a functional block diagram of the
ここでの階調変換部7bに入力される基画像Iは、第5の実施形態と同様、(4-1)式及び(4-2)式の関係の光電変換特性を有する画像(線形/線形画像)である。領域分割抽出部71’は、この基画像Iから高輝度側特性の線形画像(画像I1)と、低輝度側特性の線形画像(画像I2)とを分割抽出(分離)する。領域分割抽出部71’は、以下の(5-1)式に示す関係式に基づいて基画像Iの画素値を判別することで画像I1と画像I2とに分ける。なお、この画像I1、I2はそれぞれ高輝度側特性変換部72m’及び低輝度側特性変換部2nに入力される。
if(I≧Yth)
I1=(I−b2)/a2、I2=0 (高輝度側特性)
else
I1=0、I2=(I−b1)/a1 (低輝度側特性) …(5-1)
The base image I input to the
if (I ≧ Yth)
I1 = (I−b2) / a2, I2 = 0 (high luminance side characteristic)
else
I1 = 0, I2 = (I−b1) / a1 (low luminance side characteristic) (5-1)
高輝度側特性変換部72m’は、第1照明成分抽出部74m’、第1照明成分圧縮部75m’及び第1ノイズ除去部76m’を備えている。第1照明成分抽出部74m’は、線形画像としての画像I1から照明成分L1を抽出する。この画像I1からの照明成分L1の抽出処理は以下の(5-2)式で示される。
L1=F(I1) …(5-2)
但し、上記式中の“F”は、第3の実施形態と同様、照明成分抽出用の変換であり、低周波抽出用のフィルタが用いられる。
The high luminance side
L1 = F (I1) (5-2)
However, “F” in the above expression is a conversion for extracting an illumination component as in the third embodiment, and a filter for low frequency extraction is used.
第1照明成分圧縮部75m’は、第1照明成分抽出部74m’により抽出された照明成分L1に対する圧縮処理を行い、照明成分L1を圧縮してなる照明成分L1’を出力する。この場合のDR圧縮における所定の圧縮率を「c3」で表すと、照明成分L1’は以下(5-3)式で与えられる。
L1’=exp(Log(L1)*c3) …(5-3)
The first illumination
L1 ′ = exp (Log (L1) * c3) (5-3)
第1ノイズ除去部76m’は、第1照明成分抽出部74m’からの照明成分情報に基づいて、画像I1の反射率成分R1に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分R1’(ノイズ除去反射率成分画像R1’)を出力する。なお、この反射率成分R1は、除算部781m’によって画像I1からL1を除算することで得られる。このノイズ除去処理の詳細については後述する。
The first
第1ノイズ除去部76m’においてノイズ除去処理が施された画像は、乗算部77m’による乗算処理によって第1照明成分圧縮部75m’からの照明成分L1’と合成された後、画像I1’(ノイズ除去画像I1’)として画像合成部73’に入力される。画像合成部73’は、高輝度側特性変換部72m’及び低輝度側特性変換部72nから入力された、いずれも線形画像としてのノイズ除去画像I1’及びI2’を合成(加算処理)して合成画像Oとして後段の処理部へ出力する。
The image subjected to the noise removal process in the first
ここで、上記第1ノイズ除去部76m’について詳述する。ノイズ除去処理の考え方は、第3の実施形態における第1ノイズ除去部76mと同じであるが、反射率成分とコアリング係数算出用の入力が線形特性となる。すなわち、第1ノイズ除去部76m’は、図19に示す構成となっており、照明成分L1の情報に基づいて係数算出部761m’で算出されたコアリング係数を用いて、コアリング処理部762m’によって反射率成分R1に対するコアリング処理を行う構成となっている。
Here, the first
(係数の算出の考え方)
ここで、第6の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。本実施形態の適応型撮像センサの光電変換特性は、上記第5の実施形態と同様、以下の(6-1)、(6-2)式に示す入力輝度Xに対する画素値Y(出力)の関係式で表される。
Y=a1*X+b1(0≦X≦Xth) …(6-1)
Y=a2*X+b2(X>Xth) …(6-2)
(Concept of coefficient calculation)
Here, the concept of calculating the coring coefficient in the sixth embodiment will be specifically described. The photoelectric conversion characteristic of the adaptive image sensor of this embodiment is similar to that of the fifth embodiment in that the pixel value Y (output) with respect to the input luminance X shown in the following equations (6-1) and (6-2) It is expressed by a relational expression.
Y = a1 * X + b1 (0 ≦ X ≦ Xth) (6-1)
Y = a2 * X + b2 (X> Xth) (6-2)
[0≦X≦Xthの場合]
低輝度側特性領域におけるコアリング係数の算出となり、第5の実施形態と同様、コアリング係数thは、値th0となる(以下(6-3)式参照)。
th=th0 …(6-3)
[When 0 ≦ X ≦ Xth]
The coring coefficient in the low luminance side characteristic area is calculated, and the coring coefficient th is the value th0 as in the fifth embodiment (refer to equation (6-3) below).
th = th0 (6-3)
[X>Xthの場合]
高輝度側特性領域におけるコアリング係数の算出となる。この場合も階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(6-2)式より、(6-4)式となる。
Y=a2*X+b2+N …(6-4)
但し、N:画像信号に含まれているノイズ(高輝度部、低輝度部共に同じ)
[When X> Xth]
The coring coefficient is calculated in the high luminance side characteristic region. Also in this case, a condition is derived so that the amount of noise after gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic area. Considering the case where noise is added to the image signal at the time of imaging, Equation (6-4) is obtained from Equation (6-2).
Y = a2 * X + b2 + N (6-4)
However, N: Noise included in the image signal (same for both high-luminance part and low-luminance part)
上記(6-4)式を線形特性(Y=X)に変換し、線形特性出力Y_LINを算出すると、以下の(6-5)式となる。
Y_LIN=(Y−b2)/a2
=(a2*X+b2+N−b2)/a2
=X+N/a2 …(6-5)
低周波成分をLとすると、ノイズ除去処理を行うための反射率成分Rは、上記(6-5)式より、以下の(6-6)式で与えられる。
R=Y_LIN/L
=(X+N/a2)/L …(6-6)
ノイズ除去量ΔNによってノイズ除去を行うと、ノイズ除去後の反射率成分R’は、上記(6-6)より、以下の(6-7)式で与えられる。
R’=(X+N/a2)/L−ΔN …(6-7)
When the above equation (6-4) is converted into a linear characteristic (Y = X) and the linear characteristic output Y_LIN is calculated, the following equation (6-5) is obtained.
Y_LIN = (Y−b2) / a2
= (A2 * X + b2 + N−b2) / a2
= X + N / a2 (6-5)
When the low frequency component is L, the reflectance component R for performing noise removal processing is given by the following equation (6-6) from the above equation (6-5).
R = Y_LIN / L
= (X + N / a2) / L (6-6)
When noise removal is performed with the noise removal amount ΔN, the reflectance component R ′ after noise removal is given by the following equation (6-7) from the above (6-6).
R ′ = (X + N / a2) / L−ΔN (6-7)
この反射率成分R’と、照明成分Lが圧縮された照明成分L’とを合成して、階調変換後の出力Y’を算出する。出力Y’は、上記(6-7)式より、以下の(6-8)式で与えられる。
Y’=L’*R’
=L’*((X+N/a2)/L−ΔN) …(6-8)
したがって、階調変換後のノイズ量N’は、上記(6-8)式より、以下の(6-9)式で与えられる。
N’=Y’−L’*(X/L)
=L’*((X+N/a2)/L−ΔN)−L’*(X/L)
=L’*(X/L)+L’*(N/a2)/L−L’*ΔN−L’*(X/L)
=L’*((N/a2)/L−ΔN) …(6-9)
The reflectance component R ′ and the illumination component L ′ obtained by compressing the illumination component L are combined to calculate an output Y ′ after gradation conversion. The output Y ′ is given by the following equation (6-8) from the above equation (6-7).
Y '= L' * R '
= L ′ * ((X + N / a2) / L−ΔN) (6-8)
Therefore, the noise amount N ′ after gradation conversion is given by the following equation (6-9) from the above equation (6-8).
N ′ = Y′−L ′ * (X / L)
= L ′ * ((X + N / a2) / L−ΔN) −L ′ * (X / L)
= L ′ * (X / L) + L ′ * (N / a2) / L−L ′ * ΔN−L ′ * (X / L)
= L ′ * ((N / a2) / L−ΔN) (6-9)
コアリング処理による低輝度部及び高輝度部のノイズ除去量をΔN1、ΔN2として、これらの値でノイズ除去を行った場合のノイズ量を考える。階調変換後(DR圧縮後)の低輝度部及び高輝度部のノイズをそれぞれN1’、N2’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれL1、L2とし、これら照明成分L1、L2に対する階調変換後(DR圧縮後)の照明成分をそれぞれL1’、L2’とすると、上記(6-9)式より、以下の(6-10-1)式及び(6-10-2)式が得られる。
N1’=L1’*((N/a2)/L1−ΔN1) …(6-10-1)
N2’=L2’*((N/a2)/L2−ΔN2) …(6-10-2)
Assume that the noise removal amounts of the low luminance portion and the high luminance portion by coring processing are ΔN1 and ΔN2, and the noise amount when noise removal is performed with these values. The low luminance portion and high luminance portion noise after gradation conversion (after DR compression) are N1 ′ and N2 ′, respectively, and the illumination components of the low luminance portion and high luminance portion in the linear characteristic output are L1 and L2, respectively. Assuming that the illumination components after gradation conversion (after DR compression) for these illumination components L1 and L2 are L1 ′ and L2 ′, respectively, from the above equation (6-9), the following equations (6-10-1) and ( 6-10-2) is obtained.
N1 ′ = L1 ′ * ((N / a2) / L1−ΔN1) (6-10-1)
N2 ′ = L2 ′ * ((N / a2) / L2−ΔN2) (6-10-2)
これらから、N1’=N2’となるΔN1、ΔN2の関係を導き出す。すなわち、(6-10-1)式及び(6-10-2)式とN1’=N2’の関係とより、以下の(6-11)式が得られる。
L1’*((N/a2)/L1−ΔN1)=L2’*((N/a2)/L2−ΔN2) …(6-11)
この(6-11)式を変形すると、
L1’/L2’*((N/a2)/L1−ΔN1)= (N/a2)/L2−ΔN2となり、ΔN2について整理すると、以下の(6-12)式が得られる。
ΔN2=(N/a2)/(L2*(L1’/ L2’)*((N/a2)/L1−ΔN1)) …(6-12)
From these, the relationship of ΔN1 and ΔN2 that leads to N1 ′ = N2 ′ is derived. That is, the following formula (6-11) is obtained from the relations (6-10-1) and (6-10-2) and N1 ′ = N2 ′.
L1 ′ * ((N / a2) / L1−ΔN1) = L2 ′ * ((N / a2) / L2−ΔN2) (6-11)
If this equation (6-11) is transformed,
L1 ′ / L2 ′ * ((N / a2) / L1−ΔN1) = (N / a2) / L2−ΔN2, and when ΔN2 is arranged, the following equation (6-12) is obtained.
ΔN2 = (N / a2) / (L2 * (L1 ′ / L2 ′) * ((N / a2) / L1-ΔN1)) (6-12)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(6-12)式により、高輝度側特性領域におけるコアリング係数thは、以下の(6-13)式で与えられるものとなる。
th=(N/a2)/(L2*(L1’/ L2’)*((N/a2)/L1−th0)) …(6-13)
Therefore, when this concept is applied to the calculation of the coring coefficient of this embodiment, the coring coefficient th in the high luminance side characteristic region is given by the following expression (6-13) according to the above expression (6-12). It will be a thing.
th = (N / a2) / (L2 * (L1 ′ / L2 ′) * ((N / a2) / L1-th0)) (6-13)
図20は、第6の実施形態におけるデジタルカメラ1aの主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子3による撮像によって撮影画像が得られる(ステップS81)。この撮影画像(基画像I)が階調変換部7bに入力される(ステップS82)。この入力された基画像Iから高輝度側特性領域(画像I1;線形画像)と低輝度側特性領域(画像I2;線形画像)とが領域分割抽出部71’によって分割抽出される(ステップS83)。この分割抽出された画像が高輝度側特性領域の画像である場合には(ステップS84のYES)、第1照明成分抽出部74m’によって画像I1から照明成分(L1)が抽出され(ステップS85)、第1照明成分抽出部74m’からの照明成分情報に基づいて、第1ノイズ除去部76m’における係数算出部761m’によって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される(ステップS86)。この算出されたコアリング係数に基づいて、上記照明成分が画像I1から除算されてなる反射率成分(R1)に対するコアリング処理がコアリング処理部762m’によって行われ(ステップS87)、このコアリング処理が施された反射率成分(R1’)と、上記第1照明成分抽出部74m’により抽出された照明成分が第1照明成分圧縮部75m’によって圧縮されてなる照明成分(L1’)とが、乗算部77m’によって合成されて画像I1’が得られる(ステップS88)。
FIG. 20 is a flowchart illustrating an example of operations mainly related to noise removal of the
上記ステップS84において、分割抽出された画像が低輝度側特性領域の画像である場合には(ステップS84のNO)、第2照明成分抽出部74nによって画像I2から照明成分(L2)が抽出され(ステップS89)、この照明成分が画像I2から除算されてなる反射率成分(R2)に対するコアリング処理が第2ノイズ除去部76nにおけるコアリング処理部762nによって行われる(ステップS90)。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部762n内に固定値として予め記憶されている値(上述のth0)が用いられる。このコアリング処理が施された反射率成分(R2’)と、上記第2照明成分抽出部74nにより抽出された照明成分が第2照明成分圧縮部75nによって圧縮されてなる照明成分(L2’)とが、乗算部782nによって合成されて画像I2’が得られる(ステップS91)。そして、この低輝度側特性領域の画像I2’と上記高輝度側特性領域の画像I1’とが画像合成部73’によって合成され、階調変換部7bから合成画像Oとして出力される(ステップS92)。
In the above step S84, when the divided and extracted image is an image of the low luminance side characteristic region (NO in step S84), the illumination component (L2) is extracted from the image I2 by the second illumination
以上のように、上記各実施形態の撮像装置(デジタルカメラ1、1a)(撮像システム100)によれば、ノイズ除去部6、6a(第1ノイズ除去部76m、76m’)によって、複数の異なる光電変換特性を有する固体撮像素子3による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去が行われる。これにより、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる(伸張度合いに応じて異なるノイズ除去量を設定する)ことが可能となるので、例えば伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つといったように、伸張度合いの違いによってノイズ(ノイズ成分)が目立つことのないようにすることができ、ひいては高画質な撮影画像を得ることができる。
As described above, according to the imaging device (
また、ノイズ除去部6、6a(第1ノイズ除去部76m、76m’)は、係数算出部64、64m、761m、761m’と、コアリング処理部63、63m、762m、762m’とを備えており、また、撮影画像の輝度レベルに応じて階調変換時の伸張度合いが変化することから、係数算出部64、64m、761m、761m’によって、撮影画像の伸張度合いに相当する輝度レベルに応じて、すなわち例えば低輝度部の画像であるか高輝度部の画像であるかに応じてノイズ除去量に関するパラメータとしてのコアリング係数(th)が算出され、コアリング処理部63、63m、762m、762m’によって、当該係数算出部により算出したコアリング係数に基づいて、撮影画像からノイズ成分が除去されるコアリング処理が行われるので、係数算出部64、64m、761m、761m’により算出したコアリング係数に基づいてコアリング処理部63、63m、762m、762m’によりコアリング処理を行うという一般的なノイズ除去手法を利用して、すなわち簡易な構成によって、当該伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになる。
The
また、ノイズ除去部6、6aは、LPF部62、62m(低周波成分抽出手段)と、減算部651、651m(高周波成分抽出手段)とを備えており、LPF部62、62mによって撮影画像から低周波成分が抽出され、減算部651、651mによって撮影画像から高周波成分が抽出される。そして、係数算出部64、64mによって輝度レベルに相当する低周波成分のレベルに応じてコアリング係数(th)が算出され、コアリング処理部63、63mによって低周波成分のレベルに応じて算出されたコアリング係数に基づいて高周波成分に対するコアリング処理が行われるので、一般的なLPF等の低周波成分抽出手段を用いて撮影画像から抽出された低周波成分の情報(レベル情報)を利用して、コアリング係数の算出を容易に行うことができるとともに、当該算出されたコアリング係数に基づくノイズ除去を、撮影画像から抽出された高周波成分に対するコアリング処理を行うことで容易に行うことができる。
The
また、撮像装置は、撮影画像から照明成分を抽出する第1照明成分抽出部74m、74m’(照明成分抽出手段)と、撮影画像から反射率成分を抽出する減算部781m、除算部781m’(反射率成分抽出手段)とを備えており、第1ノイズ除去部76m、76m’が備える係数算出部761m、761m’によって、輝度レベルに相当する照明成分のレベルに応じてコアリング係数(th)が算出され、同じく第1ノイズ除去部76m、76m’が備えるコアリング処理部762m、762m’によって、照明成分のレベルに応じて算出されたコアリング係数に基づいて反射率成分に対するコアリング処理が行われるので、ノイズ除去に際して、照明成分及び反射率成分の情報を用いる、すなわち本願発明の如く、複数の光電変換特性を持つ撮像センサを用いて広ダイナミックレンジ画像を撮像する撮像装置に好適に用いられる階調変換処理であるDR圧縮処理の過程で生成される照明成分及び反射率成分を用いる構成であるので、階調変換部7a、7b内(階調変換処理)に、第1ノイズ除去部76m、76m’(ノイズ除去処理)を含めることが可能となり、ノイズ除去専用の処理装置を別途設けることなく、処理構成を簡略化することができる。また、ノイズ除去処理における演算量(計算量)が少なくなり、処理時間を短縮することができる。
The imaging apparatus also includes first illumination
また、固体撮像素子3における複数の異なる光電変換特性において、係数算出部64、64m、761m、761m’は、高輝度側特性に対するコアリング係数として、階調変換後のノイズ量が該高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数(th)を算出する。このように、高輝度側特性における低輝度部と高輝度部とのノイズ量が等しくなるようなコアリング係数を算出するので、階調変換による伸張度合いが異なる高輝度側特性に対するコアリング係数を容易に(より簡易な演算方法で)求めることができるとともに、この算出したコアリング係数に基づいて、低輝度部及び高輝度部でノイズ量に違いが生じないようにする、すなわち、高輝度部のノイズ量が低輝度部のノイズ量よりも大きくなって高輝度部のノイズが目立つといったことのないようにすることができる。
Further, in a plurality of different photoelectric conversion characteristics in the solid-
また、固体撮像素子3は、入射光量に対して電気信号が線形的に変換されて出力される線形特性(線形光電変換特性)と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性(対数光電変換特性)とからなる光電変換特性を有するものであるので、当該線形特性及び対数特性を有する固体撮像素子3によって得られる撮影画像(線形/対数画像)に対し、階調変換における伸張度合いに応じて、すなわち対数画像の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。
Further, the solid-
また、固体撮像素子3は、入射光量に対して電気信号が線形的に変換されて出力される第1線形特性171(第1の線形光電変換特性)と、該第1線形特性171とグラフ上の傾きが異なる第2線形特性172(第2の線形光電変換特性)とからなる光電変換特性を有するものであるので、当該第1線形特性171及び第2線形特性172を有する固体撮像素子3によって得られる撮影画像(線形/線形画像)に対し、階調変換における伸張度合いに応じて、すなわち第2線形特性172の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。
In addition, the solid-
さらに、撮像システム100において、データ授受手段(入出力I/F部12、260)を用いてデジタルカメラ1bと撮影画像データの授受が可能に構成された情報処理装置200によって、撮影画像に対する上記ノイズ除去処理を行うことができるので、ノイズ除去を行う場所に関する自由度が大きくなるとともに、PC等の情報処理装置200を用いて、より高速な演算処理(ノイズ除去処理)が行える構成を容易に実現することが可能となる。
Furthermore, in the
なお、本発明は、以下の態様をとることができる。
(A)上記第1の実施形態においては、ノイズ除去部6によるノイズ除去処理、階調変換部7による階調変換処理の順で処理を行っているが、この順序を逆にして階調変換処理、ノイズ除去処理の順で処理を行ってもよい。ただしこの場合、ノイズ除去部6に入力される画像に含まれるノイズ成分は階調変換処理に応じて変動する(階調変換による伸張度合いの違いによってノイズ量が異なってくる)ので、ノイズ除去の際には、この階調変換による変動を考慮したノイズ除去量を設定して処理を行う必要がある。
In addition, this invention can take the following aspects.
(A) In the first embodiment, the noise removal processing by the
(B)上記各実施形態においては、撮影画像を異なる光電変換特性に対応させて低輝度側特性領域と高輝度側特性領域との画像に分けておき、高輝度側特性領域における低輝度及び高輝度の輝度レベルの画像(部分画像)それぞれの伸張度合いに応じてコアリング係数を算出し、当該低輝度部及び高輝度部でのノイズ量に差が生じないようにしているが、これに限らず、高輝度側特性領域を上記2つより多い輝度部、例えば低輝度部、中輝度部及び高輝度部の3つの輝度レベルの画像において当該3つの輝度部全てにおける、或いは中輝度部及び高輝度部におけるノイズ量に差が生じないようにコアリング係数を算出するような構成としてもよい。また、低輝度側特性領域においても、例えば階調変換により伸張度合いの違いによりノイズが目立つような場合、上記高輝度側特性領域と同様のノイズ除去手法を適用することができる(高輝度側特性領域及び低輝度側特性領域の両方に対して適用してもよい)。 (B) In each of the above embodiments, the captured image is divided into images of the low luminance side characteristic region and the high luminance side characteristic region corresponding to different photoelectric conversion characteristics, and the low luminance and high luminance in the high luminance side characteristic region are divided. The coring coefficient is calculated according to the degree of expansion of each image (partial image) at the luminance level of the luminance so that no difference occurs in the amount of noise between the low luminance portion and the high luminance portion. First, the high luminance side characteristic area is set to an image having three luminance levels of more than the above two luminance portions, for example, the low luminance portion, the middle luminance portion, and the high luminance portion, or in all three luminance portions or the middle luminance portion and the high luminance portion. The coring coefficient may be calculated so as not to cause a difference in the amount of noise in the luminance part. Also, in the low luminance side characteristic area, for example, when noise is conspicuous due to the difference in the degree of expansion due to gradation conversion, the same noise removal method as the above high luminance side characteristic area can be applied (high luminance side characteristic This may be applied to both the area and the low luminance side characteristic area).
(C)上記各実施形態においては、固体撮像素子3の光電変換特性は、2つの異なる光電変換特性(線形特性及び対数特性、或いは第1線形特性及び第2線形特性)からなるが、3つ以上の異なる光電変換特性からなっていてもよい。この場合、各光電変換特性(例えば各光電変換特性のうちの、階調変換による伸張度合いの違いによりノイズが目立つ光電変換特性)に対しても上記と同様のノイズ除去手法が適用される。
(C) In each of the above embodiments, the photoelectric conversion characteristics of the solid-
(D)上記各実施形態においては、伸張度合いの大きい高輝度部のノイズ量を、この高輝度部よりも伸張度合いが小さい低輝度部のノイズ量と等しくするといったように、伸張度合いに応じてコアリング係数(ノイズ除去量)を変化させる(設定する)構成としているが、これに限らず、各部つまり局所的な伸張度合い(例えば伸張率;伸張量)に対応するノイズ量(ノイズ除去量)を設定するといったように、伸張度合いに対応させて(応じて)コアリング係数を謂わば段階的に変化させる構成としてもよい。 (D) In each of the above embodiments, the amount of noise in the high luminance part having a high degree of expansion is made equal to the amount of noise in the low luminance part having a lower degree of expansion than that of the high luminance part. Although the configuration is such that the coring coefficient (noise removal amount) is changed (set), the present invention is not limited to this, and the noise amount (noise removal amount) corresponding to each part, that is, the local expansion degree (for example, the expansion rate; expansion amount). In other words, the coring coefficient may be changed in a so-called stepwise manner in accordance with the degree of expansion.
1、1a デジタルカメラ(撮像装置)
1b デジタルカメラ
3 固体撮像素子
6、6a ノイズ除去部(ノイズ除去手段)
62、62m LPF部(低周波成分抽出手段)
63、63m、762m、762m’ コアリング処理部(コアリング処理手段)
64、64m、761m、761m’ 係数算出部(係数算出手段)
651、651m 減算部(高周波成分抽出手段)
7、7a、7b 階調変換部
74m、74m’ 第1照明成分抽出部(照明成分抽出手段)
76m、76m’ 第1ノイズ除去部(ノイズ除去手段)
781m 減算部(反射率成分抽出手段)
781m’除算部(反射率成分抽出手段)
12、260 入出力I/F部(データ授受手段)
171 第1線形特性(第1の線形光電変換特性)
172 第2線形特性(第2の線形光電変換特性)
100 撮像システム(撮像装置)
200 情報処理装置
630 コアリング特性
1, 1a Digital camera (imaging device)
62, 62m LPF (low frequency component extraction means)
63, 63m, 762m, 762m ′ coring processing unit (coring processing means)
64, 64 m, 761 m, 761 m ′ coefficient calculation unit (coefficient calculation means)
651, 651m subtraction unit (high frequency component extraction means)
7, 7a, 7b
76m, 76m ′ first noise removing unit (noise removing means)
781m subtraction unit (reflectance component extraction means)
781m 'division unit (reflectance component extraction means)
12, 260 Input / output I / F section (data exchange means)
171 First linear characteristic (first linear photoelectric conversion characteristic)
172 Second linear characteristic (second linear photoelectric conversion characteristic)
100 Imaging system (imaging device)
200 Information processing device 630 Coring characteristic
Claims (7)
前記固体撮像素子による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去を行うノイズ除去手段とを備え、
前記ノイズ除去手段は、
前記撮影画像の前記伸張度合いに相当する輝度レベルに応じて前記ノイズ除去量に関するパラメータとしてのコアリング係数を算出する係数算出手段と、
前記係数算出手段により算出したコアリング係数に基づいて、前記撮影画像からノイズ成分を除去するコアリング処理を行うコアリング処理手段とを備え、
前記複数の異なる光電変換特性において、
前記係数算出手段は、高輝度側特性と低輝度側特性とで異なるコアリング係数を算出し、高輝度側のコアリング係数を前記撮影画像の階調変換における伸張度合いに基づいて算出することを特徴とする撮像装置。 A solid-state imaging device having a plurality of different photoelectric conversion characteristics;
A noise removing unit that performs noise removal on the photographed image by changing a parameter relating to a noise removal amount of the photographed image according to a degree of expansion in gradation conversion of the photographed image by the solid-state imaging device ;
The noise removing means is
Coefficient calculating means for calculating a coring coefficient as a parameter relating to the amount of noise removal according to a luminance level corresponding to the degree of expansion of the captured image;
Coring processing means for performing coring processing for removing noise components from the captured image based on the coring coefficient calculated by the coefficient calculating means;
In the plurality of different photoelectric conversion characteristics,
The coefficient calculating means calculates different coring coefficients for the high luminance side characteristic and the low luminance side characteristic, and calculates the high luminance side coring coefficient based on a degree of expansion in gradation conversion of the captured image. An imaging device that is characterized.
前記撮影画像から低周波成分を抽出する低周波成分抽出手段と、
前記撮影画像から高周波成分を抽出する高周波成分抽出手段とをさらに備え、
前記係数算出手段は、前記輝度レベルに相当する前記低周波成分のレベルに応じて前記コアリング係数を算出し、
前記コアリング処理手段は、前記低周波成分のレベルに応じて算出されたコアリング係数に基づいて前記高周波成分に対するコアリング処理を行うことを特徴とする請求項1記載の撮像装置。 The noise removing means is
Low frequency component extraction means for extracting a low frequency component from the captured image;
A high frequency component extracting means for extracting a high frequency component from the photographed image;
The coefficient calculating means calculates the coring coefficient according to a level of the low frequency component corresponding to the luminance level,
The coring processing unit, the image pickup apparatus according to claim 1, characterized in that the coring processing for the high frequency component based on the coring coefficient calculated according to the level of the low frequency components.
前記撮影画像から反射率成分を抽出する反射率成分抽出手段とをさらに備え、
前記係数算出手段は、前記輝度レベルに相当する前記照明成分のレベルに応じて前記コアリング係数を算出し、
前記コアリング処理手段は、前記照明成分のレベルに応じて算出されたコアリング係数に基づいて前記反射率成分に対するコアリング処理を行うことを特徴とする請求項1記載の撮像装置。 Illumination component extraction means for extracting an illumination component from the captured image;
A reflectance component extracting means for extracting a reflectance component from the photographed image;
The coefficient calculating means calculates the coring coefficient according to a level of the illumination component corresponding to the luminance level,
The coring processing unit, an imaging apparatus according to claim 1, characterized in that the coring processing for the reflectance component based on the coring coefficient calculated in accordance with the level of the illumination component.
前記係数算出手段は、高輝度側特性に対する前記コアリング係数として、前記階調変換後のノイズ量が該高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数を算出することを特徴とする請求項1〜3のいずれかに記載の撮像装置。 In the plurality of different photoelectric conversion characteristics,
The coefficient calculating means calculates a coring coefficient as the coring coefficient for the high luminance side characteristic so that the noise amount after the gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic. The imaging device according to any one of claims 1 to 3 , wherein
当該情報処理装置によって前記撮影画像に対する前記ノイズ除去を行うことを特徴とする請求項1〜6のいずれかに記載の撮像装置。
A predetermined information processing apparatus configured to be able to exchange image data with the imaging apparatus main body using predetermined data transfer means;
The imaging apparatus according to any one of claims 1 to 6, characterized in that the noise removal with respect to the photographed image by the information processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005276299A JP4696812B2 (en) | 2005-09-22 | 2005-09-22 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005276299A JP4696812B2 (en) | 2005-09-22 | 2005-09-22 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007088913A JP2007088913A (en) | 2007-04-05 |
JP4696812B2 true JP4696812B2 (en) | 2011-06-08 |
Family
ID=37975441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005276299A Expired - Fee Related JP4696812B2 (en) | 2005-09-22 | 2005-09-22 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4696812B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5034003B2 (en) * | 2007-06-25 | 2012-09-26 | オリンパス株式会社 | Image processing device |
EP2187620B1 (en) * | 2007-07-26 | 2014-12-24 | Omron Corporation | Digital image processing and enhancing system and method with function of removing noise |
WO2009050841A1 (en) * | 2007-10-17 | 2009-04-23 | Nikon Corporation | Focusing measurement device, focusing measurement method, and program |
JP5003406B2 (en) * | 2007-10-17 | 2012-08-15 | 株式会社ニコン | Focus measurement device, focus measurement method and program |
JP5682346B2 (en) * | 2011-02-02 | 2015-03-11 | 日産自動車株式会社 | Camera device |
JP6303816B2 (en) * | 2014-05-28 | 2018-04-04 | 富士ゼロックス株式会社 | Image processing apparatus and program |
EP3319013A1 (en) * | 2016-11-03 | 2018-05-09 | Thomson Licensing | Method and device for estimating cast shadow regions and/or highlight regions in images |
JP7329932B2 (en) * | 2019-02-27 | 2023-08-21 | キヤノン株式会社 | Image processing device, image processing method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04364679A (en) * | 1991-06-12 | 1992-12-17 | Hitachi Ltd | Solid-state image pickup device |
JP2002300476A (en) * | 2001-03-29 | 2002-10-11 | Minolta Co Ltd | Imaging device |
JP2004048562A (en) * | 2002-07-15 | 2004-02-12 | Fuji Photo Film Co Ltd | Noise reduction circuit and imaging apparatus |
JP2004287794A (en) * | 2003-03-20 | 2004-10-14 | Minolta Co Ltd | Image processor |
-
2005
- 2005-09-22 JP JP2005276299A patent/JP4696812B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04364679A (en) * | 1991-06-12 | 1992-12-17 | Hitachi Ltd | Solid-state image pickup device |
JP2002300476A (en) * | 2001-03-29 | 2002-10-11 | Minolta Co Ltd | Imaging device |
JP2004048562A (en) * | 2002-07-15 | 2004-02-12 | Fuji Photo Film Co Ltd | Noise reduction circuit and imaging apparatus |
JP2004287794A (en) * | 2003-03-20 | 2004-10-14 | Minolta Co Ltd | Image processor |
Also Published As
Publication number | Publication date |
---|---|
JP2007088913A (en) | 2007-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7898583B2 (en) | Image processing device, image processing method, and image sensing apparatus | |
JP4696812B2 (en) | Imaging device | |
US7444075B2 (en) | Imaging device, camera, and imaging method | |
JP4893042B2 (en) | Imaging device | |
JP2005175517A (en) | Control method and signal processing method of semiconductor device, and semiconductor device and electronic apparatus | |
WO2013039061A1 (en) | Imaging device, imaging method and recording medium | |
WO2008056565A1 (en) | Image picking-up system and image processing program | |
JP2008165312A (en) | Image processor and image processing method | |
US10368017B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP2004297546A (en) | Imaging unit | |
JP2008113337A (en) | Imaging apparatus | |
JP2019110430A (en) | Control apparatus, imaging apparatus, control method, and program | |
US20060268127A1 (en) | Image pickup apparatus | |
JP5115602B2 (en) | Semiconductor device and control method thereof | |
JP4736792B2 (en) | Imaging apparatus and image processing method used therefor | |
JP2006050541A (en) | Imaging apparatus | |
JP5115601B2 (en) | Semiconductor device and control method thereof | |
US10425602B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP2007180718A (en) | Imaging device, imaging system, and imaging method | |
JP2008219230A (en) | Imaging apparatus, and image processing method | |
JP2009290795A (en) | Image processor, image processing method, image processing program, recording medium, and electronic information device | |
KR101408359B1 (en) | Imaging apparatus and imaging method | |
JP2016192707A (en) | Imaging element, imaging method and program | |
JP2015109502A (en) | Image sensor and operation method of image sensor, imaging apparatus, electronic apparatus and program | |
JP2006020279A (en) | Image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100811 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110214 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |