JP4696812B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4696812B2 JP4696812B2 JP2005276299A JP2005276299A JP4696812B2 JP 4696812 B2 JP4696812 B2 JP 4696812B2 JP 2005276299 A JP2005276299 A JP 2005276299A JP 2005276299 A JP2005276299 A JP 2005276299A JP 4696812 B2 JP4696812 B2 JP 4696812B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coring
- unit
- noise
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、複数の異なる光電変換特性を有する固体撮像素子を用いた撮像装置であって、特に、この固体撮像素子により得られた撮影画像に対するノイズ除去が可能な撮像装置に関するものである。 The present invention relates to an imaging apparatus using a solid-state imaging element having a plurality of different photoelectric conversion characteristics, and more particularly to an imaging apparatus capable of removing noise from a captured image obtained by the solid-state imaging element.
従来、デジタルカメラ等の撮像装置は、所定の固体撮像素子（撮像センサ）を備え、この固体撮像素子による撮像によって撮影画像を取得する。一般的に、撮影画像（画像信号）にはノイズ成分が含まれるが、近年における更なる高画質化の要請にも伴い、このノイズ成分を好適に除去することが求められる。ところで、固体撮像素子には、該固体撮像素子の光電変換特性が複数の異なる光電変換特性からなるものがある。例えば、入射光量に対して電気信号が線形的に変換されて出力される線形の光電変換特性（線形特性という）と、入射光量に対して電気信号が対数的に変換されて出力される対数の光電変換特性（対数特性という）とからなる光電変換特性を有する固体撮像素子（リニアログセンサという）が知られている。なお、この線形特性及び対数特性（線形／対数特性という）を有するリニアログセンサによる撮影画像のことを線形／対数画像という。 2. Description of the Related Art Conventionally, an imaging apparatus such as a digital camera includes a predetermined solid-state imaging device (imaging sensor), and acquires a captured image by imaging using the solid-state imaging device. In general, a captured image (image signal) includes a noise component. However, with the recent demand for higher image quality, it is required to suitably remove the noise component. By the way, some solid-state image sensors are composed of a plurality of different photoelectric conversion characteristics. For example, a linear photoelectric conversion characteristic (linear characteristic) in which an electric signal is linearly converted with respect to an incident light amount and output, and a logarithm of an electric signal that is converted logarithmically with respect to the incident light amount and output. A solid-state imaging device (referred to as a linear log sensor) having a photoelectric conversion property composed of a photoelectric conversion property (referred to as a logarithmic property) is known. A photographed image by a linear log sensor having the linear characteristic and logarithmic characteristic (referred to as linear / logarithmic characteristic) is referred to as a linear / logarithmic image.
このように複数の異なる光電変換特性を有する固体撮像素子を備える撮像装置に対し、上記ノイズ除去を行う方法として、例えば特許文献１には、光電変換特性が異なる領域ではパラメータ（コアリング係数等）を変化させ、この異なるパラメータを用いてノイズ除去を行うという技術が開示されている。また、例えば特許文献２には、撮影画像の階調変換処理の前にノイズ除去を行い、このノイズ除去後の画像から照明成分と反射率成分とを抽出して階調変換（照明成分を圧縮することによって局所的なコントラストを保存したまま全体のダイナミックレンジ（ＤＲ）を圧縮するＤＲ圧縮）を行うという技術が開示されている。
上記固体撮像素子のように複数の光電変換特性を有する撮像素子を用いた撮像によって得られる画像を階調変換すると、この階調変換による画像データの伸張度合い（データ圧縮度合い）が大きな画素においては、コントラスト成分だけでなくノイズ成分も伸張されてしまい、一律のノイズ除去を行うだけでは伸張度合いの大きな領域でのノイズが目立ってしまっていた。 When tone conversion is performed on an image obtained by imaging using an imaging device having a plurality of photoelectric conversion characteristics such as the above-described solid-state imaging device, in a pixel in which the degree of image data expansion (data compression) by the tone conversion is large Not only the contrast component but also the noise component is expanded, and noise in a region with a large expansion degree becomes conspicuous only by performing uniform noise removal.
特許文献１においては、上述したように光電変換特性が異なる領域ではパラメータを変化させ、この異なるパラメータを用いてノイズ除去を行うことにより、一律のノイズ除去の場合と比べてノイズは軽減されるものの、階調変換による伸張度合いの違いで目立つノイズ成分は除去しきれていなかった。また、特許文献２においては、階調変換処理のために照明成分及び反射率成分は抽出しているものの、階調変換前に一律のノイズ除去を行っているだけで、それぞれの成分に対して異なるノイズ除去処理を行うことはなく、また、階調変換による伸張度合いの違いで目立つノイズ成分は除去しきれていなかった。
In
本発明は、上記事情に鑑みてなされたもので、階調変換による伸張度合いの違いによってノイズが目立つということのないようにすることができ、ひいては高画質な撮影画像を得ることができる撮像装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and it is possible to prevent noise from being noticeable due to a difference in the degree of expansion due to gradation conversion, and thus to obtain a high-quality captured image. The purpose is to provide.
本発明の請求項１に係る撮像装置は、複数の異なる光電変換特性を有する固体撮像素子と、前記固体撮像素子による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去を行うノイズ除去手段とを備え、前記ノイズ除去手段は、前記撮影画像の前記伸張度合いに相当する輝度レベルに応じて前記ノイズ除去量に関するパラメータとしてのコアリング係数を算出する係数算出手段と、前記係数算出手段により算出したコアリング係数に基づいて、前記撮影画像からノイズ成分を除去するコアリング処理を行うコアリング処理手段とを備え、前記複数の異なる光電変換特性において、前記係数算出手段は、高輝度側特性と低輝度側特性とで異なるコアリング係数を算出し、高輝度側のコアリング係数を前記撮影画像の階調変換における伸張度合いに基づいて算出することを特徴とする。
According to a first aspect of the present invention, there is provided an imaging apparatus having a plurality of solid-state imaging elements having different photoelectric conversion characteristics and a noise removal amount of the captured image according to a degree of expansion in gradation conversion of the captured image by the solid-state imaging element. A noise removing unit that removes noise from the captured image by changing a parameter related to the captured image , the noise removing unit serving as a parameter related to the noise removal amount according to a luminance level corresponding to the degree of expansion of the captured image. Coefficient calculating means for calculating a coring coefficient; and coring processing means for performing a coring process for removing a noise component from the photographed image based on the coring coefficient calculated by the coefficient calculating means. In the different photoelectric conversion characteristics, the coefficient calculation means is capable of coring differently between the high luminance side characteristic and the low luminance side characteristic. Calculating a number, and calculates, based coring coefficients of the high-luminance side to the decompression degree in the grayscale conversion of the captured image.
上記構成によれば、ノイズ除去手段によって、固体撮像素子による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去が行われる。 According to the above configuration, the noise removal unit performs noise removal on the photographed image by changing the parameter relating to the noise removal amount of the photographed image in accordance with the degree of expansion in gradation conversion of the photographed image by the solid-state imaging device. .
これによれば、撮影画像の輝度レベルに応じて階調変換時の伸張度合いが変化するので、係数算出手段によって撮影画像の輝度レベルに応じて、すなわち例えば低輝度部の画像であるか高輝度部の画像であるかに応じてノイズ除去量に関するパラメータとしてのコアリング係数が算出され、コアリング処理手段によって係数算出手段により算出したコアリング係数に基づいて、撮影画像からノイズ成分が除去されるコアリング処理が行われる。 According to this, since the degree of expansion at the time of gradation conversion changes according to the luminance level of the photographed image, the coefficient calculation means according to the luminance level of the photographed image, that is, for example, an image of a low luminance part or a high luminance The coring coefficient as a parameter relating to the amount of noise removal is calculated according to whether the image is a part image, and the noise component is removed from the captured image based on the coring coefficient calculated by the coefficient calculating means by the coring processing means. Coring processing is performed.
また、上記構成において、前記ノイズ除去手段は、前記撮影画像から低周波成分を抽出する低周波成分抽出手段と、前記撮影画像から高周波成分を抽出する高周波成分抽出手段とをさらに備え、前記係数算出手段は、前記輝度レベルに相当する前記低周波成分のレベルに応じて前記コアリング係数を算出し、前記コアリング処理手段は、前記低周波成分のレベルに応じて算出されたコアリング係数に基づいて前記高周波成分に対するコアリング処理を行うことが好ましい。 In the above configuration, the noise removing unit further includes a low-frequency component extracting unit that extracts a low-frequency component from the captured image, and a high-frequency component extracting unit that extracts a high-frequency component from the captured image, and the coefficient calculation The means calculates the coring coefficient according to the level of the low frequency component corresponding to the luminance level, and the coring processing means is based on the coring coefficient calculated according to the level of the low frequency component. It is preferable to perform a coring process on the high-frequency component.
これによれば、低周波成分抽出手段によって撮影画像から低周波成分が抽出され、高周波成分抽出手段によって撮影画像から高周波成分が抽出される。そして、係数算出手段によって輝度レベルに相当する低周波成分のレベルに応じてコアリング係数が算出され、コアリング処理手段によって低周波成分のレベルに応じて算出されたコアリング係数に基づいて高周波成分に対するコアリング処理が行われる。 According to this, the low frequency component is extracted from the photographed image by the low frequency component extracting means, and the high frequency component is extracted from the photographed image by the high frequency component extracting means. Then, the coring coefficient is calculated according to the level of the low frequency component corresponding to the luminance level by the coefficient calculating means, and the high frequency component based on the coring coefficient calculated according to the level of the low frequency component by the coring processing means. A coring process is performed on.
また、上記構成において、前記撮影画像から照明成分を抽出する照明成分抽出手段と、前記撮影画像から反射率成分を抽出する反射率成分抽出手段とをさらに備え、前記係数算出手段は、前記輝度レベルに相当する前記照明成分のレベルに応じて前記コアリング係数を算出し、前記コアリング処理手段は、前記照明成分のレベルに応じて算出されたコアリング係数に基づいて前記反射率成分に対するコアリング処理を行うことが好ましい。 Further, in the above configuration, the apparatus further includes an illumination component extraction unit that extracts an illumination component from the captured image, and a reflectance component extraction unit that extracts a reflectance component from the captured image, and the coefficient calculation unit includes the luminance level. The coring coefficient is calculated according to the level of the illumination component corresponding to the coring coefficient, and the coring processing means coring the reflectance component based on the coring coefficient calculated according to the level of the illumination component. It is preferable to carry out the treatment.
これによれば、照明成分抽出手段によって撮影画像から照明成分が抽出され、反射率成分抽出手段によって撮影画像から反射率成分が抽出される。そして、係数算出手段によって、輝度レベルに相当する照明成分のレベルに応じてコアリング係数が算出され、コアリング処理手段によって、照明成分のレベルに応じて算出されたコアリング係数に基づいて反射率成分に対するコアリング処理が行われる。 According to this, the illumination component is extracted from the photographed image by the illumination component extracting means, and the reflectance component is extracted from the photographed image by the reflectance component extracting means. Then, the coefficient calculating means calculates a coring coefficient according to the level of the illumination component corresponding to the luminance level, and the coring processing means calculates the reflectance based on the coring coefficient calculated according to the level of the illumination component. A coring process is performed on the components.
また、上記構成において、前記複数の異なる光電変換特性において、前記係数算出手段は、高輝度側特性に対する前記コアリング係数として、前記階調変換後のノイズ量が該高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数を算出することが好ましい。 In the above-described configuration, in the plurality of different photoelectric conversion characteristics, the coefficient calculation means may use the coring coefficient for the high luminance side characteristic as the coring coefficient so that the noise amount after the gradation conversion is a low luminance part in the high luminance side characteristic. It is preferable to calculate a coring coefficient that is equal between the high luminance portion and the high luminance portion.
これによれば、係数算出手段によって、階調変換後のノイズ量が高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数が算出される。 According to this, the coring coefficient is calculated by the coefficient calculating means so that the noise amount after gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic.
また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものとすることができる。 In the above configuration, the solid-state imaging device has a linear photoelectric conversion characteristic in which an electric signal is linearly converted with respect to an incident light amount and is output, and an electric signal is logarithmically converted with respect to the incident light amount. It can have a photoelectric conversion characteristic composed of an output logarithmic photoelectric conversion characteristic.
また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものとすることができる。 Further, in the above configuration, the solid-state imaging device has a first linear photoelectric conversion characteristic that is output by linearly converting an electrical signal with respect to an incident light amount, the first linear photoelectric conversion characteristic, and a graph. It can have a photoelectric conversion characteristic composed of a second linear photoelectric conversion characteristic having a different inclination.
また、上記構成において、所定のデータ授受手段を用いて撮像装置本体と撮影画像データの授受が可能に構成された所定の情報処理装置をさらに備え、当該情報処理装置によって前記撮影画像に対する前記ノイズ除去を行うことができる。 The above configuration further includes a predetermined information processing device configured to be able to exchange captured image data with the imaging device main body using a predetermined data transfer unit, and the information processing device removes the noise from the captured image. It can be performed.
これによれば、所定のデータ授受手段を用いて撮像装置本体と撮影画像データの授受が可能に構成された所定の情報処理装置によって、撮影画像に対するノイズ除去が行われる。 According to this, noise removal is performed on the photographed image by the predetermined information processing apparatus configured to be able to exchange the captured image data with the imaging apparatus main body using the predetermined data transmission / reception means.
請求項１に係る撮像装置によれば、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる（伸張度合いに応じて異なるノイズ除去量を設定する）ことが可能となるので、例えば伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つといったように、伸張度合いの違いによってノイズ（ノイズ成分）が目立つことのないようにすることができ、ひいては高画質な撮影画像を得ることができる。 According to the imaging device of the first aspect, in noise removal, it is possible to change the amount of noise removal according to the degree of expansion in gradation conversion (set different noise removal amount according to the degree of expansion). For example, the noise (noise component) should not be noticeable due to the difference in the degree of expansion, for example, the noise is conspicuous in the image of the high luminance part with a high degree of expansion compared to the image of the low luminance part with a low degree of expansion. As a result, a high-quality captured image can be obtained.
請求項１に係る撮像装置によれば、係数算出手段により算出したコアリング係数に基づいてコアリング処理手段によりコアリング処理を行うという一般的なノイズ除去手法を利用して、すなわち簡易な構成によって、当該伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになる。
According to the imaging apparatus of the first aspect , the general noise removal technique of performing the coring process by the coring processing unit based on the coring coefficient calculated by the coefficient calculating unit is used, that is, by a simple configuration. Therefore, it is possible to easily perform noise removal in which the amount of noise removal is changed according to the degree of expansion.
請求項２に係る撮像装置によれば、一般的なローパスフィルタ等の低周波成分抽出手段を用いて撮影画像から抽出された低周波成分の情報（レベル情報）を利用して、コアリング係数の算出を容易に行うことができるとともに、当該算出されたコアリング係数に基づくノイズ除去を、撮影画像から抽出された高周波成分に対するコアリング処理を行うことで容易に行うことができる。
According to the imaging device of the second aspect of the present invention, the coring coefficient is calculated using the information (level information) of the low frequency component extracted from the photographed image using the low frequency component extraction means such as a general low pass filter. The calculation can be easily performed, and the noise removal based on the calculated coring coefficient can be easily performed by performing the coring process on the high-frequency component extracted from the photographed image.
請求項３に係る撮像装置によれば、ノイズ除去に際して、照明成分及び反射率成分の情報を用いる、すなわち本願発明の如く、複数の光電変換特性を持つセンサを用いて広ダイナミックレンジ画像を撮像する撮像装置に好適に用いられる階調変換処理であるＤＲ圧縮処理の過程で生成される照明成分及び反射率成分を用いる構成であるので、階調変換処理手段内（階調変換処理）に、ノイズ除去手段（ノイズ除去処理）を含めることが可能となり、ノイズ除去専用の処理装置を別途設けることなく、処理構成を簡略化することができる。また、ノイズ除去処理における演算量（計算量）が少なくなり、処理時間を短縮することができる。
According to the imaging device of the third aspect , information on the illumination component and the reflectance component is used for noise removal, that is, a wide dynamic range image is captured using a sensor having a plurality of photoelectric conversion characteristics as in the present invention. Since the illumination component and the reflectance component generated in the process of the DR compression process, which is a gradation conversion process suitably used for the imaging apparatus, are used, noise is included in the gradation conversion processing means (gradation conversion process). Removal means (noise removal processing) can be included, and the processing configuration can be simplified without separately providing a processing device dedicated to noise removal. In addition, the amount of calculation (calculation amount) in the noise removal processing is reduced, and the processing time can be shortened.
請求項４に係る撮像装置によれば、高輝度側特性における低輝度部と高輝度部とのノイズ量が等しくなるようなコアリング係数を算出するので、階調変換による伸張度合いが異なる高輝度側特性に対するコアリング係数を容易に（より簡易な演算方法で）求めることができるとともに、この算出したコアリング係数に基づいて、低輝度部及び高輝度部でノイズ量に違いが生じないようにする、すなわち、高輝度部のノイズ量が低輝度部のノイズ量よりも大きくなって高輝度部のノイズが目立つといったことのないようにすることができる。
According to the imaging device of the fourth aspect , the coring coefficient is calculated so that the noise amounts of the low luminance portion and the high luminance portion in the high luminance side characteristic are equal. The coring coefficient for the side characteristics can be obtained easily (with a simpler calculation method), and based on this calculated coring coefficient, the noise amount does not differ between the low luminance part and the high luminance part. That is, it is possible to prevent the noise amount in the high luminance part from being noticeable because the noise amount in the high luminance part is larger than the noise amount in the low luminance part.
請求項５に係る撮像装置によれば、線形光電変換特性及び対数光電変換特性を有する固体撮像素子によって得られる撮影画像（線形／対数画像）に対し、階調変換における伸張度合いに応じて、すなわち対数光電変換特性画像の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。
According to the imaging apparatus according to
請求項６に係る撮像装置によれば、第１の線形光電変換特性及び第２の線形光電変換特性を有する固体撮像素子によって得られる撮影画像（線形／線形画像）に対し、階調変換における伸張度合いに応じて、すなわち第２の線形光電変換特性の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。
According to the imaging device according to
請求項７に係る撮像装置によれば、撮像装置本体と撮影画像データの授受が可能に構成された情報処理装置において当該ノイズ除去を行うことができ、ノイズ除去を行う場所に関する自由度が大きくなるとともに、ＰＣ等の情報処理装置を用いて、より高速な演算処理（ノイズ除去処理）が行える構成を容易に実現することができる。 According to the imaging apparatus of the seventh aspect , the noise removal can be performed in the information processing apparatus configured to be able to exchange the captured image data with the imaging apparatus body, and the degree of freedom regarding the place where the noise removal is performed increases. In addition, a configuration capable of performing higher-speed arithmetic processing (noise removal processing) using an information processing apparatus such as a PC can be easily realized.
（実施形態１）
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラ１を示し、このデジタルカメラ１の主に撮像処理に関するブロック構成図を示している。図１に示すようにデジタルカメラ１は、レンズ部２、固体撮像素子３、アンプ４、Ａ／Ｄ変換部５、ノイズ除去部６、階調変換部７、画像メモリ８、全体制御部９、モニタ部１０及び操作部１１を備えている。
(Embodiment 1)
FIG. 1 shows a
レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている固体撮像素子３へ導くための光学レンズ系を構成するものであり、例えば被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロックからなるレンズ群である。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、全体制御部９によってこの絞りやシャッタの駆動制御がなされる構成となっている。
The
固体撮像素子３は、レンズ部２により結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂの各色成分の画像信号に光電変換して後段のアンプ４へ出力する撮像センサである。本実施形態においては、固体撮像素子３として、図４に示すような入力輝度（センサ入射輝度）が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性と、輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性とからなる光電変換特性、換言すれば、低輝度側が線形の光電変換特性、高輝度側が対数特性の光電変換特性を有するものが用いられる。ただし、固体撮像素子３は、上記線形／対数特性からなる光電変換特性だけでなく、線形特性のみ、或いは対数特性のみからなる光電変換特性に任意に切り替えることが可能である。また、線形特性と対数特性との切り替わり点（以降、この切り替わり点のことを「変曲点」という）は、固体撮像素子３の各画素回路に対する所定の制御信号に基づいて任意に変化させることが可能である。なお、光電変換特性における上記線形特性に示すような低輝度側の特性を「低輝度側特性」、対数特性に示すような高輝度側の特性を「高輝度側特性」と表現するものとする。
The solid-
図２は、固体撮像素子３の一例である二次元のＭＯＳ型固体撮像装置（ＣＭＯＳイメージセンサ）の概略構成図である。同図において、Ｇ１１〜Ｇｍｎは、行列（マトリクス）配列された画素を示している。この画素Ｇ１１〜Ｇｍｎからなる画素部の外周縁部近傍には、垂直走査回路３０１と水平走査回路３０２とが配設されている。垂直走査回路３０１は、行のライン（信号線）３０４−１、３０４−２、・・・３０４−ｎ（これらを纏めて行ライン３０４という）を順次走査する。水平走査回路３０２は、各画素から出力信号線３０６−１、３０６−２、・・・３０６−ｍ（これらを纏めて出力信号線３０６という）に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン３０５により電力供給がなされている。各画素には、上記各ラインや出力信号線だけでなく、他のライン（例えばクロックライン）も接続されているが、図２では図示を省略している。
FIG. 2 is a schematic configuration diagram of a two-dimensional MOS solid-state imaging device (CMOS image sensor) which is an example of the solid-
出力信号線３０６−１、３０６−２、・・・３０６−ｍには、それぞれ、後述のトランジスタＴ１２と対になって増幅回路を構成する定電流源３０７−１、３０７−２、・・・３０７−ｍ（これらを纏めて定電流源３０７という）が設けられている。ただし、この増幅回路として、定電流源３０７に代えて抵抗やトランジスタを設けてもよい。この出力信号線３０６を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路（サンプルホールド回路）３０８−１、３０８−２、・・・３０８−ｍ（これらを纏めて選択回路３０８という）に出力される。この選択回路３０８に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路３０９に出力され、補正回路３０９において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路３０９から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
The output signal lines 306-1, 306-2,... 306-m are constant current sources 307-1, 307-2,. 307-m (these are collectively referred to as a constant current source 307) is provided. However, a resistor or a transistor may be provided as the amplifier circuit instead of the constant
図３は、図２に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。同図に示すように、固体撮像素子３の各画素は、フォトダイオードＰＤ１、ＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）としてのトランジスタＴ１０〜Ｔ１３、及びＦＤ（Floating Diffusion）から構成されている。トランジスタＴ１０〜Ｔ１３は、ここではＮチャンネルＭＯＳＦＥＴが採用されている。ＶＤＤ、φＲＳＢ、φＲＳＴ、φＴＸ及びφＶは、各トランジスタに対する信号（電圧）を示し、ＧＮＤは接地を示している。
FIG. 3 is a circuit diagram illustrating a configuration example of each of the pixels G11 to Gmn illustrated in FIG. As shown in the figure, each pixel of the solid-
フォトダイオードＰＤ１は、感光部（光電変換部）であり、被写体からの入射光量に応じた電気信号（光電流ＩＰＤ１）を出力する。トランジスタＴ１２は、図２に示す定電流源３０７と対になってソースフォロワ増幅用の増幅回路（ソースフォロワアンプ）を構成するものであり、後述する電圧Ｖ１ＯＵＴに対する増幅（電流増幅）を行う。トランジスタＴ１３は、ゲートに印加する電圧（信号φＶ）に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタ（行選択トランジスタ）である。トランジスタＴ１３のソースは、図２に示す出力信号線３０６に接続されており、トランジスタＴ１３がオンした場合、トランジスタＴ１２で増幅された電流を出力電流として出力信号線３０６へ導出する。
The photodiode PD1 is a photosensitive portion (photoelectric conversion portion), and outputs an electrical signal (photocurrent IPD1) corresponding to the amount of incident light from the subject. The transistor T12 is paired with the constant
トランジスタＴ１０は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードＰＤ１で発生した光電流ＩＰＤ１（電荷）のＦＤに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードＰＤ１で発生した光電流ＩＰＤ１はフォトダイオードＰＤ１の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタＴ１０がオン状態であれば、この寄生容量に蓄積された電荷（負電荷）がＦＤへ向けて移動する。ＦＤは、電荷（信号電荷）を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える（電荷電圧変換を行う）所謂キャパシタの役割を担うものである。 The transistor T10 operates as a switch that is turned on and off in accordance with a voltage applied to the gate of the transistor, and is generated in the photodiode PD1 in response to on / off switching depending on the level of the gate potential. This is a so-called transfer gate that switches between transfer and non-transfer of the photocurrent IPD1 (charge) to the FD. The photocurrent IPD1 generated in the photodiode PD1 flows through the parasitic capacitance of the photodiode PD1, the charge is accumulated, and a voltage corresponding to the amount of accumulated charge is generated. At this time, if the transistor T10 is in an on state, the charge (negative charge) accumulated in the parasitic capacitance moves toward the FD. The FD is a charge holding unit that temporarily holds a charge (signal charge), and plays a role of a so-called capacitor that changes the held charge into a voltage (performs charge-voltage conversion).
トランジスタＴ１１（リセットゲートトランジスタ）は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてＦＤに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに（例えばトランジスタＴ１１がオン状態の場合、トランジスタＴ１０もオン状態となっており、トランジスタＴ１１、ＦＤ、トランジスタＴ１０及びフォトダイオードＰＤ１を挟んだφＲＳＢ及びＧＮＤ間にリセットバイアスがかけられた状態となる）、ゲート電圧をＭｉｄ電位（中間レベル）とすることで、フォトダイオードＰＤ１からＦＤに移動する電荷（ＦＤを流れる電流）のＦＤ及びトランジスタＴ１１による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。 The transistor T11 (reset gate transistor) switches between application and non-application of a reset bias to the FD according to on / off switching depending on the gate voltage of the transistor (for example, when the transistor T11 is in an on state) The transistor T10 is also turned on, and a reset bias is applied between φRSB and GND across the transistors T11, FD, transistor T10, and the photodiode PD1), and the gate voltage is set to the Mid potential (intermediate level). By doing so, linear conversion and logarithmic conversion are performed by FD of the charge (current flowing through the FD) moving from the photodiode PD1 to the FD and charge-voltage conversion by the transistor T11, respectively.
この場合、トランジスタＴ１１には上記Ｍｉｄ電位に応じた電流（リセット電流）が流れ、トランジスタＴ１１のソースがこのリセット電流に応じた電位となる。そして、フォトダイオードＰＤ１から移動してくる電荷による電位が、Ｍｉｄ電位に応じたトランジスタＴ１１のソース電位より小さい場合には、すなわち撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードＰＤ１に入射される入射光量が少ない場合には、ＦＤにおいて線形変換としての電荷電圧変換が行われ、一方、ソース電位を超える場合には、すなわち撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードＰＤ１に入射される入射光量が多い場合には、トランジスタＴ１１において対数変換としての電荷電圧変換が行われる。 In this case, a current (reset current) corresponding to the Mid potential flows through the transistor T11, and the source of the transistor T11 becomes a potential corresponding to the reset current. When the potential due to the charge moving from the photodiode PD1 is smaller than the source potential of the transistor T11 corresponding to the Mid potential, that is, the luminance of the subject to be imaged is low, that is, the subject is dark and incident on the photodiode PD1. When the amount of incident light is small, charge-voltage conversion as linear conversion is performed in the FD. On the other hand, when the source potential is exceeded, that is, the luminance of the subject to be imaged is high, that is, the subject is bright, and the photodiode PD1. When the amount of incident light incident on is large, charge-voltage conversion as logarithmic conversion is performed in the transistor T11.
これにより、ＦＤとトランジスタＴ１２との接続ノード（出力Ｖ１ＯＵＴ）には、ＦＤにおける光電流ＩＰＤ１の積分値による線形出力としての電圧、或いはトランジスタＴ１１における光電流ＩＰＤ１に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値はＦＤにおける光電流ＩＰＤ１の積分値となるが、対数特性領域については、ＦＤ部に蓄えられた電荷による電位がトランジスタＴ１１（リセットゲート）のソース電流を超えた領域において、光電流ＩＰＤ１と等しい電流がトランジスタＴ１１に流れ、トランジスタＴ１１において光電流ＩＰＤ１が電流−電圧変換された値（電圧）が当該出力値としてＦＤ部に現れる（信号電荷を対数圧縮した電荷が上記寄生容量に蓄積される）。このトランジスタＴ１１での電流−電圧変換が上記対数変換に相当する。そして、トランジスタＴ１３がオンされると、これら各電圧に応じたトランジスタＴ１２による増幅電流が、トランジスタＴ１３を介して出力電流として出力信号線３０６に導出される。このように固体撮像素子３により、被写体輝度（センサ入射輝度）に応じて線形変換又は対数変換された出力信号が得られる。
Thus, a voltage as a linear output based on an integral value of the photocurrent IPD1 in the FD or a logarithmic output by current-voltage conversion corresponding to the photocurrent IPD1 in the transistor T11 is applied to a connection node (output V1OUT) between the FD and the transistor T12. Appears as a voltage. That is, the output value in the linear characteristic region in the photoelectric conversion characteristic is an integral value of the photocurrent IPD1 in the FD, but in the logarithmic characteristic region, the potential due to the charge stored in the FD portion is the source of the transistor T11 (reset gate). In a region exceeding the current, a current equal to the photocurrent IPD1 flows to the transistor T11, and a value (voltage) obtained by current-voltage conversion of the photocurrent IPD1 in the transistor T11 appears in the FD section as the output value (signal charge is logarithmically). Compressed charge is accumulated in the parasitic capacitance). The current-voltage conversion in the transistor T11 corresponds to the logarithmic conversion. When the transistor T13 is turned on, the amplified current by the transistor T12 corresponding to these voltages is led to the
なお、ここでは、固体撮像素子３の各画素において上記ＮチャンネルＭＯＳＦＥＴを採用しているが、ＰチャンネルＭＯＳＦＥＴを採用してもよい。また、固体撮像素子３として、上述のようにＦＤを用いて線形変換及び対数変換を行うＣＭＯＳイメージセンサに限らず、例えばＭＯＳＦＥＴ（Ｐ型又はＮ型）の所謂サブスレッショルド特性（ゲート電圧が閾値以下の時にサブスレッショルド電流と呼ばれる微小電流が流れる特性）を利用することで当該線形変換及び対数変換を行うＣＭＯＳイメージセンサを採用してもよい。ただし、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。
Here, the N-channel MOSFET is used in each pixel of the solid-
アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路を備え、固体撮像素子３から入力されるアナログ画像信号がＡ／Ｄ変換部５の入力電圧範囲に合うように、適切な増幅率で増幅するものである。アンプ４は、ＡＧＣ回路の他、画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路等を備えていてもよい。なお、ＡＧＣ回路に対するゲイン値は全体制御部９によって設定される。
The amplifier 4 includes, for example, an AGC (auto gain control) circuit, and amplifies the analog image signal input from the solid-
Ａ／Ｄ変換部５は、アンプ４にて増幅（ゲイン調整）されたアナログ画像信号をデジタル画像信号に変換するものであり、固体撮像素子３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。
The A /
ノイズ除去部６は、Ａ／Ｄ変換部５から入力される画像信号のノイズを除去するものである。このノイズ除去の詳細については後述する。
The
階調変換部７は、ノイズ除去部６から入力される画像信号が適切な出力レベルとなるように、画像信号に対して所定の階調変換処理を行い、該画像信号の階調特性を変化させるものである。
The
画像メモリ８は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、ノイズ除去部６や階調変換部７においてデータ処理される前のＲＡＷ画像データ、或いはノイズ除去部６、階調変換部７又は全体制御部９での各種データ処理時又は処理後の画像データ等を格納するものである。
The
全体制御部９は、各制御プログラム等を記憶するＲＯＭ、一時的に各種データを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。全体制御部９は、固体撮像素子３や操作部１１等の各処理部から送信されてくる情報（信号）と装置の動作状態とに基づき、各処理部が必要とするパラメータ等の動作情報を算出し、これを送信することで各処理部の動作を制御する。
The
モニタ部１０は、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなり、固体撮像素子３による撮影画像、すなわちノイズ除去部６や階調変換部７で処理された画像や画像メモリ８に格納されている画像等を表示するものである。モニタ部１０は、後述のノイズ除去処理（コアリング処理）等の各種処理結果が反映された画像を表示してもよい。
The
操作部１１は、デジタルカメラ１に対するユーザによる操作指示（指示入力）を行うものであり、例えば電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ等の各種の操作スイッチ群（操作ボタン群）からなる。例えば、上記レリーズスイッチが押下（オン）されることで、撮像動作すなわち固体撮像素子３により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ８等に記録されるといった一連の撮影動作が実行される。
The
ここで、上記ノイズ除去部６について詳述する。ノイズ除去部６は、画像信号からノイズ成分を除去するためのコアリング処理を行うことで、画像のシャープネスを良好な状態に補正する。この際、ノイズ除去部６は、コアリング係数（上記画像信号のノイズ成分を除去するための係数）を変化させることで適正なノイズ除去を行う。ここでは、特に、高輝度側特性、つまり入力輝度レベルに応じて対数圧縮によるデータ圧縮度合いが異なる対数特性領域での画像（対数画像）に対するコアリング処理において、ローパスフィルタ（ＬＰＦ）を用いて画像から抽出した低周波成分のレベルに応じて（適応的に）コアリング係数を変化させることで、当該対数画像の階調変換による伸張度合い（局所的な伸張度合いの違い；対数圧縮によるデータ圧縮度合い）に応じた、換言すれば、この対数画像の伸張に伴うノイズ成分の伸張度合いに応じたノイズ除去量を設定してからノイズ除去を行う。
Here, the
図５は、ノイズ除去部６のブロック構成図である。同図に示すようにノイズ除去部６は、領域判定部６１、ＬＰＦ部６２、コアリング処理部６３及び係数算出部６４を備えている。領域判定部６１は、Ａ／Ｄ変換部５から入力された画像（この入力画像を基画像Ｉと表現する）の低輝度側特性及び高輝度側特性、すなわち線形特性領域の画像であるか対数特性領域の画像であるかを判定するものである。領域判定部６１は、入力画像の各画素値から撮像時の光電変換特性、つまり後述の(1-1)式又は(1-2)式に示す特性であるかを判定し、当該判定結果（領域判定情報）を係数算出部６４に出力する。
FIG. 5 is a block configuration diagram of the
ＬＰＦ部６２は、基画像Ｉに対してガウシアンフィルタ等の線形のＬＰＦによるフィルタ処理を行い、基画像Ｉから低周波成分を抽出（生成）するとともに、当該低周波成分の情報（低周波成分情報）を係数算出部６４に出力するものである。ただし、このＬＰＦは上記線形フィルタに限らず、メディアンフィルタ等の非線形フィルタであってもよい。
The
コアリング処理部６３は、後述する係数算出部６４からのコアリング係数情報に基づいてコアリング処理を行うものである。コアリング処理部６３は、ＬＰＦ部６２により抽出された低周波成分を基画像Ｉから減算して得た高周波成分に対して、図６に示す入出力関係を有する特性（以降、コアリング特性６３０という）に基づくコアリング処理を行う。コアリング特性６３０における「ｔｈ」は、係数算出部６４において算出されるコアリング係数ｔｈを示す。このコアリング処理では、入力が−ｔｈより大きくｔｈより小さいときは出力がゼロ（０）となり、入力が−ｔｈ以下であるときには出力が、入力に対してｔｈを加えた値となり、入力がｔｈ以上であるときには出力が、入力に対してｔｈを減じた値となるように変換処理を行う。なお、上記基画像Ｉからの低周波成分の減算、すなわち基画像Ｉからの高周波成分の抽出は、減算部６５１による減算処理によって行われる。また、コアリング処理後の高周波数成分と、上記ＬＰＦ部６２からの低周波成分は加算部６５２による加算処理によって合成され、合成画像Ｏとして後段の処理部へ出力される。
The
係数算出部６４は、領域判定部６１からの領域判定情報及びＬＰＦ部６２からの低周波成分情報に基づいて、コアリング処理部６３のコアリング処理におけるコアリング係数（ｔｈ）を算出（設定）するものである。係数算出部６４は、最終的な出力画像、ここでは階調変換部７における階調変換処理後に出力される画像において、当該画像の高輝度部が低輝度部と同等のノイズ量となるようにコアリング係数を算出する。具体的には、係数算出部６４は、領域判定部６１により低輝度側特性の画像であると判定された場合、この低輝度側特性の画像に対して一律のノイズ除去処理を行うべく、低輝度側特性のコアリング係数（このコアリング係数値を「ｔｈ０」とする）を出力する。ただし、コアリング係数ｔｈ０は、低輝度側特性の画像全体に対して一律に与えられた或る１つの値（例えば固定値）である。なお、このコアリング係数ｔｈ０は、コアリング処理部６３内に予め記憶（設定）されたものが用いられてもよい。係数算出部６４によって算出されたコアリング係数の情報（コアリング係数情報）は、コアリング処理部６３に出力される。
The
また、領域判定部６１により高輝度側特性の画像であると判定された場合には、係数算出部６４は、画像の伸張度合いに応じたコアリング係数の算出を行う。ところで、階調変換部７で階調変換される前のノイズ量は、高輝度側特性領域の中でもその高輝度部及び低輝度部で同じレベルとなっている。しかしながら、階調変換において線形特性に戻された場合には、この高輝度側特性領域において、高輝度部のノイズ量が低輝度部のノイズ量に比べて大きくなり高輝度部のノイズ（ノイズ成分）が目立つようになる。そこで、階調変換後において、低輝度部及び高輝度部でノイズ量が異なったものとならないよう高輝度部のノイズレベルを低輝度部のノイズレベルと同等にするべく、コアリング係数（ノイズ除去量）を輝度レベルに適応（対応）させて制御し、高輝度部のノイズ量が低輝度部のノイズ量と等しくなる（高輝度ノイズ量＝低輝度ノイズ量）ようにする。具体的には、階調変換後（ＤＲ圧縮後）において、ノイズ除去部６によるノイズ除去後のノイズ量が高輝度側特性領域において一定となるようにしたいので、該高輝度側特性領域の低輝度部及び高輝度部に注目して、それぞれのノイズ量が同じ（一定）になるようなコアリング係数を算出する。
When the
（コアリング係数算出の考え方）
ここで、上記コアリング係数の算出の考え方について具体的に説明する。
固体撮像素子３による線形／対数画像の光電変換特性は、以下の(1-1)、(1-2)式に示す入力輝度Ｘ（対数値ではない）に対する画素値Ｙ（出力）の関係式で表される。
Ｙ＝ａ＊Ｘ＋ｂ（０≦Ｘ≦Ｘｔｈ） …(1-1)
Ｙ＝α＊Ｌｎ（Ｘ）＋β（Ｘ＞Ｘｔｈ） …(1-2)
但し、記号「ａ、ｂ、α及びβ」は係数を示し、記号「＊」は乗算を示す（以降も同じ）。また、Ｘｔｈ（及びこのＸｔｈに対応するＹｔｈ）は、上記変曲点のＸ座標（及びＹ座標）を示す。このような光電変換特性を有する撮影画像は、０≦Ｘ≦Ｘｔｈ及びＸ＞Ｘｔｈの各場合でコアリング係数の算出方法が異なる。
(Concept of coring coefficient calculation)
Here, the concept of calculating the coring coefficient will be specifically described.
The photoelectric conversion characteristic of the linear / logarithmic image by the solid-
Y = a * X + b (0 ≦ X ≦ Xth) (1-1)
Y = α * Ln (X) + β (X> Xth) (1-2)
However, the symbols “a, b, α, and β” indicate coefficients, and the symbol “*” indicates multiplication (the same applies hereinafter). Xth (and Yth corresponding to Xth) indicates the X coordinate (and Y coordinate) of the inflection point. A captured image having such a photoelectric conversion characteristic has a different coring coefficient calculation method in each case of 0 ≦ X ≦ Xth and X> Xth.
［０≦Ｘ≦Ｘｔｈの場合］
低輝度側特性領域におけるコアリング係数の算出となる。ここでは、低輝度側特性領域でのコアリング係数ｔｈは、上述したように低輝度側特性領域に対して一律に設定した値ｔｈ０を用いる（以下(1-3)式参照）。
ｔｈ＝ｔｈ０ …(1-3)
[When 0 ≦ X ≦ Xth]
The coring coefficient is calculated in the low luminance side characteristic region. Here, as described above, the value th0 uniformly set for the low luminance side characteristic region is used as the coring coefficient th in the low luminance side characteristic region (refer to equation (1-3) below).
th = th0 (1-3)
［Ｘ＞Ｘｔｈの場合］
高輝度側特性領域におけるコアリング係数の算出となる。ここでは、階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(1-2)式より、以下の(1-4)式となる。
Ｙ＝α＊Ｌｎ（Ｘ）＋β＋Ｎ …(1-4)
但し、Ｎ：画像信号に含まれているノイズ（高輝度部、低輝度部共に同じ）
[When X> Xth]
The coring coefficient is calculated in the high luminance side characteristic region. Here, a condition is derived in which the amount of noise after gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic area. Considering the case where noise is added to the image signal during imaging, the following equation (1-4) is obtained from the above equation (1-2).
Y = α * Ln (X) + β + N (1-4)
However, N: Noise included in the image signal (same for both high-luminance part and low-luminance part)
上記(1-4)式を線形特性（Ｙ＝Ｘ）に変換すると、以下の(1-5)式となる。但し、記号「／」は除算を示す（以降も同じ）。
Ｙ＿ＬＩＮ＝ｅｘｐ（（Ｙ−β）／α）
＝ｅｘｐ（（α＊Ｌｎ（Ｘ）＋β＋Ｎ−β）／α）
＝ｅｘｐ（Ｌｎ（Ｘ）＋Ｎ／α）
＝ｅｘｐ（Ｌｎ（Ｘ））＊ｅｘｐ（Ｎ／α）
＝Ｘ＊ｅｘｐ（Ｎ／α） …(1-5)
低周波成分をＬとすると、ノイズ除去処理を行うための高周波成分Ｈは、上記(1-5)式より、以下の(1-6)式となる。
Ｈ＝Ｙ＿ＬＩＮ−Ｌ
＝Ｘ＊ｅｘｐ（Ｎ／α）−Ｌ …(1-6)
When the above equation (1-4) is converted into a linear characteristic (Y = X), the following equation (1-5) is obtained. However, the symbol “/” indicates division (and so on).
Y_LIN = exp ((Y−β) / α)
= Exp ((α * Ln (X) + β + N−β) / α)
= Exp (Ln (X) + N / α)
= Exp (Ln (X)) * exp (N / α)
= X * exp (N / α) (1-5)
Assuming that the low frequency component is L, the high frequency component H for performing noise removal processing is expressed by the following equation (1-6) from the above equation (1-5).
H = Y_LIN-L
= X * exp (N / α) −L (1-6)
高周波成分に対してノイズ除去量ΔＮのノイズ除去を行うと、ノイズ除去後の高周波成分Ｈ’は、上記(1-6)式より、以下の(1-7)式となる。
Ｈ’＝Ｘ＊ｅｘｐ（Ｎ／α）−Ｌ−ΔＮ …(1-7)
この高周波成分Ｈ’に低周波成分Ｌを加えることで、ノイズ除去後の線形特性出力Ｙ’＿ＬＩＮを算出する。すなわち、Ｙ’＿ＬＩＮは以下の(1-8)式で与えられる。
Ｙ’＿ＬＩＮ＝Ｌ＋Ｈ’
＝Ｌ＋Ｘ＊ｅｘｐ（Ｎ／α）−Ｌ−ΔＮ
＝Ｘ＊ｅｘｐ（Ｎ／α）−ΔＮ …(1-8)
When the noise removal amount ΔN is removed from the high frequency component, the high frequency component H ′ after noise removal is expressed by the following equation (1-7) from the above equation (1-6).
H ′ = X * exp (N / α) −L−ΔN (1-7)
By adding the low frequency component L to the high frequency component H ′, the linear characteristic output Y′_LIN after noise removal is calculated. That is, Y′_LIN is given by the following equation (1-8).
Y'_LIN = L + H '
= L + X * exp (N / α) −L−ΔN
= X * exp (N / α) −ΔN (1-8)
上記線形特性出力Ｙ’＿ＬＩＮを照明成分Ｂと反射率成分Ｄとに分割して階調変換出力Ｙ’＿ｄｒｃを算出する。
Ｙ’＿ＬＩＮ＝Ｂ＊Ｄ
よって、Ｄ＝Ｙ’＿ＬＩＮ／Ｂ
また、照明成分Ｂを圧縮して階調変換を行う。階調変換後の照明成分をＢ’とすると、
Ｙ’＿ｄｒｃ＝Ｂ’＊Ｄ
＝Ｂ’＊Ｙ’＿ＬＩＮ／Ｂ（この式に上記(1-8)式を代入）
＝Ｂ’＊（Ｘ＊ｅｘｐ（Ｎ／α）−ΔＮ）／Ｂ
したがって、階調変換後のノイズ量Ｎ’は、以下の(1-9)式で与えられる。
Ｎ’＝Ｙ’＿ｄｒｃ−Ｂ’＊Ｘ／Ｂ
＝Ｂ’＊（Ｘ＊ｅｘｐ（Ｎ／α）−ΔＮ）／Ｂ−Ｂ’＊Ｘ／Ｂ
＝Ｂ’／Ｂ＊（Ｘ＊ｅｘｐ（Ｎ／α）−ΔＮ−Ｘ）
＝Ｂ’／Ｂ＊（Ｘ＊（ｅｘｐ（Ｎ／α）−１）−ΔＮ） …(1-9)
The linear characteristic output Y′_LIN is divided into an illumination component B and a reflectance component D to calculate a gradation conversion output Y′_drc.
Y'_LIN = B * D
Therefore, D = Y′_LIN / B
Further, gradation conversion is performed by compressing the illumination component B. If the illumination component after gradation conversion is B ′,
Y'_drc = B '* D
= B '* Y'_LIN / B (Substituting the above equation (1-8) into this equation)
= B ′ * (X * exp (N / α) −ΔN) / B
Therefore, the noise amount N ′ after gradation conversion is given by the following equation (1-9).
N ′ = Y′_drc−B ′ * X / B
= B ′ * (X * exp (N / α) −ΔN) / B−B ′ * X / B
= B ′ / B * (X * exp (N / α) −ΔN−X)
= B ′ / B * (X * (exp (N / α) −1) −ΔN) (1-9)
ここで、階調変換後の低輝度部及び高輝度部のノイズをそれぞれＮ１’、Ｎ２’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれＬ１、Ｌ２とし、これら照明成分Ｌ１、Ｌ２に対する階調変換後（ＤＲ圧縮後）の照明成分をＬ１’、Ｌ２’とし、コアリング処理による当該低輝度部及び高輝度部のノイズ除去量をΔＮ１、ΔＮ２とすると、上記(1-9)式より、以下の(1-10-1)式及び(1-10-2)式が得られる。
Ｎ１’＝Ｌ１’／Ｌ１＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ１） …(1-10-1)
Ｎ２’＝Ｌ２’／Ｌ２＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ２） …(1-10-2)
Here, the noises of the low luminance part and the high luminance part after gradation conversion are respectively N1 ′ and N2 ′, and the illumination components of the low luminance part and the high luminance part in the linear characteristic output are L1 and L2, respectively. Assuming that the illumination components after gradation conversion (after DR compression) for the components L1 and L2 are L1 ′ and L2 ′, and the noise removal amounts of the low luminance portion and the high luminance portion by coring processing are ΔN1 and ΔN2, respectively ( From the formula (1-9), the following formulas (1-10-1) and (1-10-2) are obtained.
N1 ′ = L1 ′ / L1 * ((exp (N / α) −1) −ΔN1) (1-10-1)
N2 ′ = L2 ′ / L2 * ((exp (N / α) −1) −ΔN2) (1-10-2)
これらから、Ｎ１’＝Ｎ２’となるΔＮ１、ΔＮ２の関係を導き出す。すなわち、(1-10-1)式及び(1-10-2)式とＮ１’＝Ｎ２’の関係とより、以下の(1-11)式が得られる。
Ｌ１’／Ｌ１＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ１）＝Ｌ２’／Ｌ２＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ２） …(1-11)
これを変形すると、
（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ１）＝（ｅｘｐ（Ｎ／α）−１）−ΔＮ２となり、
さらにΔＮ２について整理すると、以下の(1-12)式となる。
ΔＮ２＝（ｅｘｐ（Ｎ／α）−１）／（（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ１）） …(1-12)
From these, the relationship of ΔN1 and ΔN2 that leads to N1 ′ = N2 ′ is derived. That is, the following expression (1-11) is obtained from the relations (1-10-1) and (1-10-2) and N1 ′ = N2 ′.
L1 ′ / L1 * ((exp (N / α) −1) −ΔN1) = L2 ′ / L2 * ((exp (N / α) −1) −ΔN2) (1-11)
If this is transformed,
(L1 ′ / L1) / (L2 ′ / L2) * ((exp (N / α) −1) −ΔN1) = (exp (N / α) −1) −ΔN2
Further, when ΔN2 is arranged, the following equation (1-12) is obtained.
ΔN2 = (exp (N / α) −1) / ((L1 ′ / L1) / (L2 ′ / L2) * ((exp (N / α) −1) −ΔN1)) (1-12)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(1-12)式により、高輝度側特性領域におけるコアリング係数ｔｈは、以下の(1-13)式で与えられるものとなる。
ｔｈ＝（ｅｘｐ（Ｎ／α）−１）／（（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（（ｅｘｐ（Ｎ／α）−１）−ｔｈ０）） …(1-13)
Therefore, when this concept is applied to the calculation of the coring coefficient of this embodiment, the coring coefficient th in the high luminance side characteristic region is given by the following expression (1-13) according to the above expression (1-12). It will be a thing.
th = (exp (N / α) −1) / ((L1 ′ / L1) / (L2 ′ / L2) * ((exp (N / α) −1) −th0)) (1-13)
このように、デジタルカメラ１は、ノイズ除去部６によって、撮影画像（高輝度側特性の画像）の階調変換における伸張度合いに応じてノイズ除去量に関するパラメータ（コアリング係数）を変化させて、すなわち上記（1-13)式に示すように伸張度合いの違いに対応する例えば低輝度部及び高輝度部の情報（上記低輝度部及び高輝度部の照明成分Ｌ１、Ｌ２やＬ１’、Ｌ２’）に応じて決定されるコアリング係数ｔｈを用いて、撮影画像に対するノイズ除去を行う。これにより、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる（伸張度合いに応じて異なるノイズ除去量を設定し、詳しくは伸張度合いが大きいほど大きく、伸張度合いが小さいほど小さくなるようにノイズ除去量を設定する）ことが可能となるので、伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つというように、伸張度合いの違いによってノイズ（ノイズ成分）が目立つことのないようにすることができる。
In this way, the
図８は、第１の実施形態におけるデジタルカメラ１の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子３による撮像によって撮影画像が得られる（ステップＳ１）。この撮影画像（基画像Ｉ）がノイズ除去部６に入力される（ステップＳ２）。領域判定部６１によって、この入力された基画像Ｉに対する低輝度側特性領域（線形特性領域）であるか高輝度側特性領域（対数特性領域）であるかの領域判定が行われる（ステップＳ３）。次に、ＬＰＦ部６２によるＬＰＦ処理によって基画像Ｉから低周波成分が抽出され（ステップＳ４）、係数算出部６４によって、領域判定部６１からの領域判定情報及びＬＰＦ部６２からの低周波成分情報に基づいて、対数画像の階調変換における伸張度合いに応じたコアリング係数が算出さる（ステップＳ５）。この算出されたコアリング係数に基づいて、上記低周波成分が基画像Ｉから減算されてなる高周波成分に対するコアリング処理がコアリング処理部６３によって行われる（ステップＳ６）。このコアリング処理が施された高周波成分と上記ＬＰＦ部６２からの低周波成分が加算部６５２によって合成され、合成画像Ｏとして後段の階調変換部７へ出力される（ステップＳ７）。そして、階調変換部７によってこの合成画像Ｏに対する所定の階調変換処理が行われる（ステップＳ８）。
FIG. 8 is a flowchart showing an example of an operation mainly related to noise removal of the
（実施形態２）
上記第１の実施形態におけるノイズ除去部６は、図７に示すノイズ除去部６ａの機能ブロック図の構成であってもよい。すなわち、第２の実施形態に係るノイズ除去部６ａは、上記領域判定部６１を領域分割抽出部６６に変更して、低輝度側特性及び高輝度側特性（線形特性及び対数特性）の光電変換特性毎に異なる処理を行うようにしたものである。ノイズ除去部６ａは、領域分割抽出部６６、高輝度側特性処理部６１０ｍ、低輝度側特性処理部６１０ｎ及び画像合成部６７を備えている。領域分割抽出部６６は、基画像Ｉから対数画像（画像Ｉ１とする）と線形画像（画像Ｉ２とする）とを分割抽出するものである。この分割抽出された画像Ｉ１、Ｉ２はそれぞれ高輝度側特性処理部６１０ｍ及び低輝度側特性処理部６１０ｎに入力される。
(Embodiment 2)
The
高輝度側特性処理部６１０ｍは、ＬＰＦ部６２ｍ、コアリング処理部６３ｍ及び係数算出部６４ｍを備えている。ＬＰＦ部６２ｍは、入力された画像Ｉ１に対してＬＰＦ処理を施して低周波成分を生成する。係数算出部６４ｍは、ＬＰＦ部６２ｍからの低周波成分情報に基づいて、上述したように高輝度側特性（画像Ｉ１）において高輝度部が低輝度部と同等のノイズ量となるコアリング係数ｔｈを算出する。コアリング処理部６３ｍは、係数算出部６４ｍにより算出されたコアリング係数情報（高輝度側特性におけるコアリング係数ｔｈ（高輝度側特性の低輝度部でのコアリング係数ｔｈ０の情報も含む））に基づいて、減算部６５１ｍによって画像Ｉ１から低周波成分を減算して得た高周波成分に対するコアリング処理を行う。当該コアリング処理が施された画像は、加算部６５２ｍによる加算処理によってＬＰＦ部６２ｍからの低周波成分と合成された後、画像Ｉ１’（ノイズ除去画像Ｉ１’）として画像合成部６７に入力される。
The high luminance side
一方、低輝度側特性処理部６１０ｎは、ＬＰＦ部６２ｎ及びコアリング処理部６３ｎを備えている。ＬＰＦ部６２ｎは、入力された画像Ｉ２に対してＬＰＦ処理を施して低周波成分を生成する。コアリング処理部６３ｎは、減算部６５１ｎによって画像Ｉ２から低周波成分を減算して得た高周波成分に対するコアリング処理を行う。ただし、この場合、コアリング処理に用いるコアリング係数情報（低輝度側特性に対して一律に設定されたコアリング係数ｔｈ０）は、例えばコアリング処理部６３ｎ内に記憶されている。当該コアリング処理が施された画像は、加算部６５２ｎによる加算処理によってＬＰＦ部６２ｎからの低周波成分と合成された後、画像Ｉ２’（ノイズ除去画像Ｉ２’）として画像合成部６７に入力される。画像合成部６７は、高輝度側特性処理部６１０ｍ及び低輝度側特性処理部６１０ｎから入力されたノイズ除去画像Ｉ１’及びＩ２’を合成（加算処理）して合成画像Ｏとして後段の処理部へ出力する。
On the other hand, the low luminance side
このように、入力されてきた基画像Ｉを最初に領域分割しておいて、分割したそれぞれの画像に対して処理を行う構成のノイズ除去部６ａとすることで、係数算出部６４ｍでのコアリング係数算出において、都度、各画素に対して光電変換特性（低輝度側特性及び高輝度側特性）の違いによる場合分けの処理を行うことなく（都度、場合分けを行う手間が省けて）、そのまま高輝度側特性の全ての画素に対してのコアリング係数を算出することができるようになり、より高速な演算（ノイズ除去処理）が可能となる。
As described above, the input base image I is first divided into regions, and the
図９は、第２の実施形態におけるデジタルカメラ１の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子３による撮像によって撮影画像が得られる（ステップＳ２１）。この撮影画像（基画像Ｉ）がノイズ除去部６ａに入力される（ステップＳ２２）。この入力された基画像Ｉから高輝度側特性領域（画像Ｉ１；対数画像）と低輝度側特性領域（画像Ｉ２；線形画像）とが領域分割抽出部６６によって分割抽出される（ステップＳ２３）。この分割抽出された画像が高輝度側特性領域の画像である場合には（ステップＳ２４のＹＥＳ）、ＬＰＦ部６２ｍによるＬＰＦ処理によって画像Ｉ１から低周波成分が抽出され（ステップＳ２５）、ＬＰＦ部６２ｍからの低周波成分情報に基づいて、係数算出部６４ｍによって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される（ステップＳ２６）。この算出されたコアリング係数に基づいて、上記低周波成分が画像Ｉ１から減算されてなる高周波成分に対するコアリング処理がコアリング処理部６３ｍによって行われ（ステップＳ２７）、このコアリング処理が施された高周波成分と上記ＬＰＦ部６２ｍからの低周波成分が加算部６５２ｍによって合成されて画像Ｉ１’が得られる（ステップＳ２８）。
FIG. 9 is a flowchart illustrating an example of an operation mainly related to noise removal of the
上記ステップＳ２４において、分割抽出された画像が低輝度側特性領域の画像である場合には（ステップＳ２４のＮＯ）、ＬＰＦ部６２ｎによるＬＰＦ処理によって画像Ｉ２から低周波成分が抽出され（ステップＳ２９）、この低周波成分が画像Ｉ２から減算されてなる高周波成分に対するコアリング処理がコアリング処理部６３ｎによって行われる（ステップＳ３０）。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部６３ｎ内に固定値として予め記憶されている値（上述のｔｈ０）が用いられる。このコアリング処理が施された高周波成分と上記ＬＰＦ部６２ｎからの低周波成分が加算部６５２ｎによって合成されて画像Ｉ２’が得られる（ステップＳ３１）。そして、この低輝度側特性領域の画像Ｉ２’と上記高輝度側特性領域の画像Ｉ１’とが画像合成部６７によって合成されて合成画像Ｏとして後段の階調変換部７へ出力される（ステップＳ３２）。そして、階調変換部７によってこの合成画像Ｏに対する所定の階調変換処理が行われる（ステップＳ３３）。
If the divided and extracted image is an image of the low luminance side characteristic area in step S24 (NO in step S24), a low frequency component is extracted from the image I2 by the LPF process by the LPF unit 62n (step S29). The
（実施形態３）
図１０は、第３の実施形態に係る撮像装置の一例であるデジタルカメラ１ａの主に撮像処理に関するブロック構成図である。デジタルカメラ１ａは、第１の実施形態におけるデジタルカメラ１と比べて、先の実施形態で説明したノイズ除去部６を備えずに、当該ノイズ除去の機能を兼ね備えた階調変換部７ａを備える点が異なる。その他の構成については第１の実施形態と同じであり、その説明を省略する。
(Embodiment 3)
FIG. 10 is a block configuration diagram mainly relating to an imaging process of a
階調変換部７ａは、所定の変換特性に基づいて撮影画像（線形／対数画像）に対する階調変換処理を行うものである。階調変換部７ａは、この階調変換処理において、撮影画像全体のコントラスト性は保存したまま局所的にコントラスト改善が図られるように、具体的には、線形／対数画像における線形特性領域でのコントラストを維持しつつ（線形特性領域でのコントラストが強調され過ぎたり失われてしまわないようにして）、対数特性領域におけるコントラストを改善（向上）するようにＤＲ圧縮を行う機能を備えている。階調変換部７ａは、入力された線形／対数画像を線形画像と対数画像との画像データに分割し、この線形画像及び対数画像から照明成分及び反射率成分を取り出した後、照明成分を圧縮することで上記ＤＲ圧縮を行う。このＤＲ圧縮技術は、人間の視覚特性すなわち明るさに対する色恒常性に着目したＲｅｔｉｎｅｘ理論（Multi-scale Retinex）に基づくものである。階調変換部７ａは、このＤＲ圧縮処理の過程で得られる反射率成分に対してノイズ除去を行う。このような階調変換部７ａについて以下、詳述する。
The
図１１は、階調変換部７ａにおけるＤＲ圧縮及びノイズ除去に関する機能ブロック図である。同図に示すように階調変換部７ａは、領域分割抽出部７１、高輝度側特性変換部７２ｍ、低輝度側特性変換部７２ｎ及び画像合成部７３を備えている。領域分割抽出部７１は、階調変換部７ａに入力された基画像Ｉ（線形／対数画像）から対数画像（画像Ｉ１）と線形画像（画像Ｉ２）とを分割抽出（分離）するものである。具体的には、基画像Ｉが上記(1-1)式及び(1-2)式で表されるとすると、領域分割抽出部７１は、以下の(2-0)式に示す関係式に基づいて基画像Ｉの画素値を判別することで画像Ｉ１と画像Ｉ２とに分ける。なお、この画像Ｉ１、Ｉ２はそれぞれ高輝度側特性変換部７２ｍ及び低輝度側特性変換部２ｎに入力される。
ｉｆ（Ｉ≧Ｙｔｈ）
Ｉ１＝（Ｉ−β）／α、Ｉ２＝０ （高輝度側特性）
ｅｌｓｅ
Ｉ１＝０、Ｉ２＝（Ｉ−ｂ）／ａ （低輝度側特性） …(2-0)
FIG. 11 is a functional block diagram relating to DR compression and noise removal in the
if (I ≧ Yth)
I1 = (I−β) / α, I2 = 0 (high luminance side characteristic)
else
I1 = 0, I2 = (Ib) / a (low luminance side characteristic) (2-0)
高輝度側特性変換部７２ｍは、高輝度側特性領域の画像の階調変換（ＤＲ圧縮）を行うものであり、第１照明成分抽出部７４ｍ、第１照明成分圧縮部７５ｍ、第１ノイズ除去部７６ｍ及び加算・線形変換部７７ｍを備えている。
The high luminance side
ところで上記Ｒｅｔｉｎｅｘ理論によると、基画像Ｉは照明成分を照明成分Ｌ、反射率成分を反射率成分Ｒとすると、以下の(2-1)式で表される。
Ｉ＝Ｌ＊Ｒ …(2-1)
ただし、(2-1)式は、線形画像としての基画像Ｉに対するものであり、対数画像としての基画像Ｉに対しては、以下の(2-2)式に示す変形式で表される。
Ｌｏｇ（Ｉ）＝Ｌｏｇ（Ｌ）＋Ｌｏｇ（Ｒ） …(2-2)
By the way, according to the Retinex theory, the base image I is represented by the following equation (2-1), where the illumination component is the illumination component L and the reflectance component is the reflectance component R.
I = L * R (2-1)
However, the formula (2-1) is for the base image I as a linear image, and the base image I as a logarithmic image is expressed by a modified formula shown in the following formula (2-2). .
Log (I) = Log (L) + Log (R) (2-2)
第１照明成分抽出部７４ｍは、画像Ｉ１から該画像Ｉ１の照明成分Ｌ１の対数値であるＬｏｇ（Ｌ１）を抽出する。このＬｏｇ（Ｌ１）の抽出は、以下の(2-3)式に示す変換によって行われる。
Ｌｏｇ（Ｌ１）＝Ｌｏｇ（Ｆ（Ｉ１）） …(2-3)
なお、Ｌｏｇ（Ｆ（Ｉ１））を近似的にＦ（Ｌｏｇ（Ｉ１））としてもよい（以下の(2-3)’式参照）。
Ｌｏｇ（Ｌ１）＝Ｆ（Ｌｏｇ（Ｉ１）） …(2-3)’
但し、上記各式中の“Ｆ”は、照明成分抽出用の変換を示している。照明成分は画像の低周波成分で近似できるため、当該変換においてローパスフィルタ（ＬＰＦ；線形フィルタ）やメディアンフィルタ（非線形フィルタ）等の低周波抽出用のフィルタを用いる。
The first illumination
Log (L1) = Log (F (I1)) (2-3)
Log (F (I1)) may be approximately set to F (Log (I1)) (see the following formula (2-3) ′).
Log (L1) = F (Log (I1)) (2-3) '
However, “F” in each of the above formulas indicates conversion for extracting the illumination component. Since the illumination component can be approximated by a low-frequency component of the image, a low-frequency extraction filter such as a low-pass filter (LPF; linear filter) or a median filter (non-linear filter) is used in the conversion.
第１照明成分圧縮部７５ｍは、第１照明成分抽出部７４ｍにより抽出された照明成分Ｌｏｇ（Ｌ１）に対する圧縮処理を行い、照明成分Ｌ１を圧縮してなる照明成分Ｌ１’の対数値Ｌｏｇ（Ｌ１’）を出力する。ＤＲ圧縮における所定の圧縮率（ＤＲ圧縮率）を「ｃ１」とすると、Ｌｏｇ（Ｌ１’）は以下の(2-4)式で示される。
Ｌｏｇ（Ｌ１’）＝Ｌｏｇ（Ｌ１）＊ｃ１ …(2-4)
The first illumination
Log (L1 ′) = Log (L1) * c1 (2-4)
第１ノイズ除去部７６ｍは、第１照明成分抽出部７４ｍからの照明成分の情報（照明成分情報）に基づいて、画像Ｉ１の反射率成分Ｒ１の対数値Ｌｏｇ（Ｒ１）に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分Ｒ１’（ノイズ除去反射率成分画像Ｒ１’）の対数値Ｌｏｇ（Ｒ１’）を出力する。なお、このＬｏｇ（Ｒ１）は、減算部７８１ｍによって画像Ｉ１からＬｏｇ（Ｌ１）を減算することで得られる。このノイズ除去処理の詳細については後述する。
The first
加算・線形変換部７７ｍは、第１照明成分圧縮部７５ｍから入力されたＬｏｇ（Ｌ１’）と、第１ノイズ除去部７６ｍから入力されたＬｏｇ（Ｒ１’）とを加算処理により合成するとともに、当該合成してなる対数画像を線形画像に変換して出力する。すなわち、画像Ｉ１に対する階調変換（ＤＲ圧縮及びノイズ除去）後の画像を画像Ｉ１’（ノイズ除去画像Ｉ１’）とすると、加算・線形変換部７７ｍは、以下(2-5)式の関係から求められる以下(2-6)式で示す画像Ｉ１’を出力する。なお、この画像Ｉ１’は画像合成部７３へ出力される。
Ｌｏｇ（Ｉ１’）＝Ｌｏｇ（Ｌ１’）＋Ｌｏｇ（Ｒ１’） …(2-5)
Ｉ１’＝ｅｘｐ（Ｌｏｇ（Ｌ１’）＋Ｌｏｇ（Ｒ１）） …(2-6)
The addition /
Log (I1 ′) = Log (L1 ′) + Log (R1 ′) (2-5)
I1 ′ = exp (Log (L1 ′) + Log (R1)) (2-6)
一方、低輝度側特性変換部７２ｎは、低輝度側特性領域の画像の階調変換（ＤＲ圧縮）を行うものであり、第２照明成分抽出部７４ｎ、第２照明成分圧縮部７５ｎ及び第２ノイズ除去部７６ｎを備えている。第２照明成分抽出部７４ｎは、画像Ｉ２から照明成分Ｌ２を抽出する。この画像Ｉ２からの照明成分Ｌ２の抽出処理は以下の(2-7)式で示される。
Ｌ２＝Ｆ（Ｉ２） …(2-7)
但し、上記式中の“Ｆ”は、照明成分抽出用の変換を示しており、上述と同様、この変換にはローパスフィルタやメディアンフィルタ等の低周波抽出用のフィルタが用いられる。なお、画像Ｉ２の反射率成分Ｒ２は、上記(2-1)式からＲ２＝Ｉ２／Ｌ２で求められる。
On the other hand, the low luminance side
L2 = F (I2) (2-7)
However, “F” in the above expression indicates a conversion for extracting an illumination component, and a filter for low frequency extraction such as a low-pass filter or a median filter is used for this conversion as described above. It should be noted that the reflectance component R2 of the image I2 is obtained from the above equation (2-1) by R2 = I2 / L2.
第２照明成分圧縮部７５ｎは、第２照明成分抽出部７４ｎにより抽出された上記照明成分Ｌ２の対数値に対する圧縮処理を行い、照明成分Ｌ２を圧縮してなる照明成分Ｌ２’を出力する。この場合のＤＲ圧縮において上記第１照明成分圧縮部７５ｍと同じ圧縮率「ｃ１」を用いると、照明成分Ｌ２’は、以下(2-8)式で与えられる。
Ｌ２’＝ｅｘｐ（Ｌｏｇ（Ｌ２）＊ｃ１） …(2-8)
The second illumination
L2 ′ = exp (Log (L2) * c1) (2-8)
第２ノイズ除去部７６ｎは、第２照明成分抽出部７４ｎからの照明成分情報に基づいて、画像Ｉ２の反射率成分Ｒ２に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分Ｒ２’（ノイズ除去反射率成分画像Ｒ２’）を出力する。なお、この反射率成分Ｒ２は、除算部７８１ｎによって画像Ｉ２からＬ２を除算することで得られる。このノイズ除去処理の詳細については後述する。
The second
第２ノイズ除去部７６ｎにおいてノイズ除去処理が施された画像は、乗算部７８２ｎによる乗算処理によって第２照明成分圧縮部７５ｎからの照明成分Ｌ２’と合成された後、画像Ｉ２’（ノイズ除去画像Ｉ２’）として画像合成部７３に入力される。画像合成部７３は、高輝度側特性変換部７２ｍ及び低輝度側特性変換部７２ｎから入力されたノイズ除去画像Ｉ１’及びＩ２’を合成（加算処理）して合成画像Ｏとして後段の処理部へ出力する。
The image subjected to the noise removal process in the second
ここで、上記第１及び第２ノイズ除去部７６ｍ、７６ｎについて詳述する。本実施形態では、階調変換処理においてノイズ除去を行うが、コアリング処理に必要な高周波成分が反射率成分として既に抽出されているので、その反射率成分に対してノイズ除去を行えばよい。したがって、第１及び第２ノイズ除去部７６ｍ、７６ｎは、それぞれ図１２、１３のブロック図に示すように、コアリング処理によってノイズ除去を行う機能部分だけで構成されるものとなる。この第１及び第２ノイズ除去部７６ｍ、７６ｎでは、入力された反射率成分に対し、それぞれコアリング処理部７６２ｍ、７６２ｎによって図６に示すコアリング特性６３０に基づくコアリング処理を行う。ただし、第１及び第２ノイズ除去部７６ｍ、７６ｎでは、それぞれコアリング処理におけるコアリング係数の設定方法が異なっており、第１ノイズ除去部７６ｍでは、係数算出部７６１ｍを備え、該係数算出部７６１ｍによって階調変換の伸張度合いに応じて算出されるコアリング係数（ｔｈ）を使用するが、第２ノイズ除去部７６ｎでは当該階調変換の伸張度合いに応じた算出処理を行うことなく低輝度側特性のコアリング係数（ｔｈ０）を使用する。
Here, the first and second
また、第１の実施形態におけるノイズ除去部６の係数算出部６４（第２の実施形態におけるノイズ除去部６ａの係数算出部６４ｍ）では、ＬＰＦを用いて抽出した低周波成分を入力としてコアリング係数を算出する構成としているが、第１ノイズ除去部７６ｍの係数算出部７６１ｍでは、照明成分Ｌ１の対数値Ｌｏｇ（Ｌ１）が低周波成分に相当するので、このＬｏｇ（Ｌ１）を入力としてコアリング係数を算出する構成となっている。
Further, in the
（コアリング係数算出の考え方）
ここで、第３の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。固体撮像素子３による線形／対数画像の光電変換特性は、第１の実施形態と同様、以下の(3-1)、(3-2)式で表され、上記と同様、０≦Ｘ≦Ｘｔｈ及びＸ＞Ｘｔｈの各場合でコアリング係数の算出方法が異なる。
Ｙ＝ａ＊Ｘ＋ｂ（０≦Ｘ≦Ｘｔｈ） …(3-1)
Ｙ＝α＊Ｌｎ（Ｘ）＋β（Ｘ＞Ｘｔｈ）…(3-2)
但し、座標（Ｘｔｈ、Ｙｔｈ）はこの光電変換特性の変曲点である。
(Concept of coring coefficient calculation)
Here, the concept of calculating the coring coefficient in the third embodiment will be specifically described. The photoelectric conversion characteristics of the linear / logarithmic image by the solid-
Y = a * X + b (0 ≦ X ≦ Xth) (3-1)
Y = α * Ln (X) + β (X> Xth) (3-2)
However, the coordinates (Xth, Yth) are inflection points of this photoelectric conversion characteristic.
［０≦Ｘ≦Ｘｔｈの場合］
低輝度側特性領域におけるコアリング係数の算出となる。ここでは、低輝度側特性領域でのコアリング係数ｔｈは、第１の実施形態と同様、低輝度側特性領域に対して一律に設定した値ｔｈ０を用いる（以下(3-3)式参照）。
ｔｈ＝ｔｈ０ …(3-3)
[When 0 ≦ X ≦ Xth]
The coring coefficient is calculated in the low luminance side characteristic region. Here, as the coring coefficient th in the low luminance side characteristic region, a value th0 that is uniformly set for the low luminance side characteristic region is used as in the first embodiment (refer to equation (3-3) below). .
th = th0 (3-3)
［Ｘ＞Ｘｔｈの場合］
高輝度側特性領域におけるコアリング係数の算出となる。ここでは、階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(3-2)式より、以下の(3-4)式となる。
Ｙ＝α＊Ｌｎ（Ｘ）＋β＋Ｎ …(3-4)
但し、Ｎ：画像信号に含まれているノイズ（高輝度部、低輝度部共に同じ）
[When X> Xth]
The coring coefficient is calculated in the high luminance side characteristic region. Here, a condition is derived in which the amount of noise after gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic area. Considering the case where noise is added to the image signal during imaging, the following equation (3-4) is obtained from the above equation (3-2).
Y = α * Ln (X) + β + N (3-4)
However, N: Noise included in the image signal (same for both high-luminance part and low-luminance part)
上記(3-4)式を線形特性（Ｙ＝Ｘ）に変換すると、以下の(3-5)となる。
Ｙ＿ＬＩＮ＝ｅｘｐ（（Ｙ−β）／α）
＝ｅｘｐ（（α＊Ｌｎ（Ｘ）＋β＋Ｎ−β）／α）
＝ｅｘｐ（Ｌｎ（Ｘ）＋Ｎ／α）
＝ｅｘｐ（Ｌｎ（Ｘ））＊ｅｘｐ（Ｎ／α）
＝Ｘ＊ｅｘｐ（Ｎ／α） …(3-5)
低周波成分をＬとすると、ノイズ除去処理を行うための反射率成分Ｒは、上記(3-5)式より、以下の(3-6)式で与えられる。
Ｒ＝Ｙ＿ＬＩＮ／Ｌ
＝Ｘ／Ｌ＊ｅｘｐ（Ｎ／α） …(3-6)
When the above equation (3-4) is converted into a linear characteristic (Y = X), the following (3-5) is obtained.
Y_LIN = exp ((Y−β) / α)
= Exp ((α * Ln (X) + β + N−β) / α)
= Exp (Ln (X) + N / α)
= Exp (Ln (X)) * exp (N / α)
= X * exp (N / α) (3-5)
When the low frequency component is L, the reflectance component R for performing noise removal processing is given by the following equation (3-6) from the above equation (3-5).
R = Y_LIN / L
= X / L * exp (N / α) (3-6)
ここでのノイズ除去処理においては、対数画像に対してノイズ除去を行うので、上記(3-6)式を対数特性に変換すると、以下の(3-7)式となる。
Ｌｎ（Ｒ）＝Ｌｎ（Ｘ／Ｌ＊ｅｘｐ（Ｎ／α））
＝Ｌｎ（Ｘ／Ｌ）＋Ｌｎ（ｅｘｐ（Ｎ／α））
＝Ｌｎ（Ｘ／Ｌ）＋Ｎ／α …(3-7)
また、ノイズ除去量ΔＮによってノイズ除去を行い、当該ノイズ除去後の反射率成分Ｒ’を求める。ノイズ除去後の反射率成分Ｒ’は、上記(3-7)より、以下の(3-8)式で与えられる。
Ｌｎ（Ｒ’）＝Ｌｎ（Ｘ／Ｌ）＋Ｎ／α−ΔＮ …(3-8)
In the noise removal processing here, noise removal is performed on the logarithmic image. Therefore, when the above equation (3-6) is converted into logarithmic characteristics, the following equation (3-7) is obtained.
Ln (R) = Ln (X / L * exp (N / α))
= Ln (X / L) + Ln (exp (N / α))
= Ln (X / L) + N / α (3-7)
Further, noise removal is performed with the noise removal amount ΔN, and the reflectance component R ′ after the noise removal is obtained. The reflectance component R ′ after noise removal is given by the following equation (3-8) from the above (3-7).
Ln (R ′) = Ln (X / L) + N / α−ΔN (3-8)
上記(3-8)式を線形特性に変換すると、以下の(3-9)式となる。
Ｒ’＝ｅｘｐ（Ｌｎ（Ｘ／Ｌ）＋Ｎ／α−ΔＮ）
＝ｅｘｐ（Ｌｎ（Ｘ／Ｌ）＊ｅｘｐ（Ｎ／α−ΔＮ）
＝（Ｘ／Ｌ）＊ｅｘｐ（Ｎ／α−ΔＮ） …(3-9)
この反射率成分Ｒ’と、照明成分Ｌが圧縮された照明成分Ｌ’とを合成して、階調変換後の出力Ｙ’を算出する。出力Ｙ’は、上記(3-9)式より、以下の(3-10)式で与えられる。
Ｙ’＝Ｌ’＊Ｒ’
＝Ｌ’＊（Ｘ／Ｌ）＊ｅｘｐ（Ｎ／α−ΔＮ） …(3-10)
したがって、階調変換後のノイズ量Ｎ’は、上記(3-10)式より、以下の(3-11)式で与えられる。
Ｎ’＝Ｙ’−Ｌ’＊（Ｘ／Ｌ）
＝Ｌ’＊（Ｘ／Ｌ）＊ｅｘｐ（Ｎ／α−ΔＮ）−Ｌ’＊（Ｘ／Ｌ）
＝Ｌ’＊（Ｘ／Ｌ）＊（ｅｘｐ（Ｎ／α−ΔＮ）−１） …(3-11)
When the above equation (3-8) is converted into linear characteristics, the following equation (3-9) is obtained.
R ′ = exp (Ln (X / L) + N / α−ΔN)
= Exp (Ln (X / L) * exp (N / α-ΔN)
= (X / L) * exp (N / α-ΔN) (3-9)
The reflectance component R ′ and the illumination component L ′ obtained by compressing the illumination component L are combined to calculate an output Y ′ after gradation conversion. The output Y ′ is given by the following equation (3-10) from the above equation (3-9).
Y '= L' * R '
= L ′ * (X / L) * exp (N / α−ΔN) (3-10)
Therefore, the noise amount N ′ after gradation conversion is given by the following equation (3-11) from the above equation (3-10).
N ′ = Y′−L ′ * (X / L)
= L ′ * (X / L) * exp (N / α−ΔN) −L ′ * (X / L)
= L ′ * (X / L) * (exp (N / α−ΔN) −1) (3-11)
ここで、ノイズ成分だけを考えるためにノイズ以外の反射率成分が「１」であるとすると、上記(3-11)式においてノイズ以外の反射率成分に該当する項のＸ／Ｌに値「１」を代入して、以下の(3-12)式となる。
Ｎ’＝Ｌ’＊（ｅｘｐ（Ｎ／α−ΔＮ）−１） …(3-12)
Here, in order to consider only the noise component, if the reflectance component other than noise is “1”, the value “X / L” of the term corresponding to the reflectance component other than noise in the above equation (3-11) is “ Substituting “1”, the following equation (3-12) is obtained.
N ′ = L ′ * (exp (N / α−ΔN) −1) (3-12)
コアリング処理による低輝度部及び高輝度部のノイズ除去量をΔＮ１、ΔＮ２として、これらの値でノイズ除去を行った場合のノイズ量を考える。階調変換後（ＤＲ圧縮後）の低輝度部及び高輝度部のノイズをそれぞれＮ１’、Ｎ２’とし、また、階調変換後（ＤＲ圧縮後）の低輝度部及び高輝度部の照明成分をそれぞれＬ１、Ｌ２とすると、上記(3-12)式より、以下の(3-13-1)式及び(3-13-2)式が得られる。
Ｎ１’＝Ｌ１＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１） …(3-13-1)
Ｎ２’＝Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ２）−１） …(3-13-2)
Assume that the noise removal amounts of the low luminance portion and the high luminance portion by coring processing are ΔN1 and ΔN2, and the noise amount when noise removal is performed with these values. The noises of the low luminance part and the high luminance part after gradation conversion (after DR compression) are N1 ′ and N2 ′, respectively, and the illumination components of the low luminance part and the high luminance part after gradation conversion (after DR compression) Are L1 and L2, respectively, the following equations (3-13-1) and (3-13-2) are obtained from the above equation (3-12).
N1 ′ = L1 * (exp (N / α−ΔN1) −1) (3-13-1)
N2 ′ = L2 * (exp (N / α−ΔN2) −1) (3-13-2)
これらから、Ｎ１’＝Ｎ２’となるΔＮ１、ΔＮ２の関係を導き出す。すなわち、(3-13-1)式及び(3-13-2)式とＮ１’＝Ｎ２’の関係とより、以下の(3-14)式が得られる。
Ｌ１＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１）＝Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ２）−１） …(3-14)
この(3-14)式を変形してゆくと、
Ｌ１／Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１）＝ｅｘｐ（Ｎ／α−ΔＮ２）−１
Ｌ１／Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１）＋１＝ｅｘｐ（Ｎ／α）／ｅｘｐ（ΔＮ２）
ｅｘｐ（ΔＮ２）＝ｅｘｐ（Ｎ／α）／（Ｌ１／Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１）＋１）となり、
ΔＮ２について整理すると、以下の(3-15)式が得られる。
ΔＮ２＝Ｌｎ（ｅｘｐ（ΔＮ２））
＝Ｌｎ（ｅｘｐ（Ｎ／α）／（Ｌ１／Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１）＋１））…(3-15)
From these, the relationship of ΔN1 and ΔN2 that leads to N1 ′ = N2 ′ is derived. That is, the following expression (3-14) is obtained from the relations (3-13-1) and (3-13-2) and N1 ′ = N2 ′.
L1 * (exp (N / α−ΔN1) −1) = L2 * (exp (N / α−ΔN2) −1) (3-14)
If this equation (3-14) is transformed,
L1 / L2 * (exp (N / α−ΔN1) −1) = exp (N / α−ΔN2) −1
L1 / L2 * (exp (N / α−ΔN1) −1) + 1 = exp (N / α) / exp (ΔN2)
exp (ΔN2) = exp (N / α) / (L1 / L2 * (exp (N / α−ΔN1) −1) +1)
By arranging ΔN2, the following equation (3-15) is obtained.
ΔN2 = Ln (exp (ΔN2))
= Ln (exp (N / α) / (L1 / L2 * (exp (N / α−ΔN1) −1) +1)) (3-15)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(3-15)式により、高輝度側特性領域におけるコアリング係数ｔｈは、以下の(3-16)式で与えられるものとなる。
ｔｈ＝Ｌｎ（ｅｘｐ（Ｎ／α）／（Ｌ１／Ｌ２＊（ｅｘｐ（Ｎ／α−ｔｈ０）−１）＋１）） …(3-16)
Therefore, when this concept is applied to the calculation of the coring coefficient of this embodiment, the coring coefficient th in the high luminance side characteristic region is given by the following expression (3-16) according to the above expression (3-15). It will be a thing.
th = Ln (exp (N / α) / (L1 / L2 * (exp (N / α−th0) −1) +1)) (3-16)
図１４は、第３の実施形態におけるデジタルカメラ１ａの主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子３による撮像によって撮影画像が得られる（ステップＳ４１）。この撮影画像（基画像Ｉ）が階調変換部７ａに入力される（ステップＳ４２）。この入力された基画像Ｉから高輝度側特性領域（画像Ｉ１；対数画像）と低輝度側特性領域（画像Ｉ２；線形画像）とが領域分割抽出部７１によって分割抽出される（ステップＳ４３）。この分割抽出された画像が高輝度側特性領域の画像である場合には（ステップＳ４４のＹＥＳ）、第１照明成分抽出部７４ｍによって画像Ｉ１から照明成分（Ｌｏｇ（Ｌ１））が抽出され（ステップＳ４５）、第１照明成分抽出部７４ｍからの照明成分情報に基づいて、第１ノイズ除去部７６ｍにおける係数算出部７６１ｍによって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される（ステップＳ４６）。この算出されたコアリング係数に基づいて、上記照明成分が画像Ｉ１から減算されてなる反射率成分（Ｌｏｇ（Ｒ１））に対するコアリング処理がコアリング処理部７６２ｍによって行われ（ステップＳ４７）、このコアリング処理が施された反射率成分（Ｌｏｇ（Ｒ１’））と、上記第１照明成分抽出部７４ｍにより抽出された照明成分が第１照明成分圧縮部７５ｍによって圧縮されてなる照明成分（Ｌｏｇ（Ｌ１’））とが、加算・線形変換部７７ｍによって合成されるとともに対数画像が線形変換されて線形画像としての画像Ｉ１’が得られる（ステップＳ４８、Ｓ４９）。ただし、ステップＳ４８及びＳ４９の動作は、どちらが先に行われてもよい。
FIG. 14 is a flowchart illustrating an example of an operation mainly related to noise removal of the
上記ステップＳ４４において、分割抽出された画像が低輝度側特性領域の画像である場合には（ステップＳ４４のＮＯ）、第２照明成分抽出部７４ｎによって画像Ｉ２から照明成分（Ｌ２）が抽出され（ステップＳ５０）、この照明成分が画像Ｉ２から除算されてなる反射率成分（Ｒ２）に対するコアリング処理が第２ノイズ除去部７６ｎにおけるコアリング処理部７６２ｎによって行われる（ステップＳ５１）。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部７６２ｎ内に固定値として予め記憶されている値（上述のｔｈ０）が用いられる。このコアリング処理が施された反射率成分（Ｒ２’）と、上記第２照明成分抽出部７４ｎにより抽出された照明成分が第２照明成分圧縮部７５ｎによって圧縮されてなる照明成分（Ｌ２’）とが、乗算部７８２ｎによって合成されて画像Ｉ２’が得られる（ステップＳ５２）。そして、この低輝度側特性領域の画像Ｉ２’と上記高輝度側特性領域の画像Ｉ１’とが画像合成部７３によって合成され、階調変換部７ａから合成画像Ｏとして出力される（ステップＳ５３）。
In step S44, when the divided and extracted image is an image of the low luminance side characteristic region (NO in step S44), the illumination component (L2) is extracted from the image I2 by the second illumination
（実施形態４）
上記デジタルカメラ１やデジタルカメラ１ａにおいては、ノイズ除去や階調変換（ＤＲ圧縮）などの各種信号処理を該デジタルカメラ内で行う構成としているが、これら信号処理をデジタルカメラ内でなく、デジタルカメラにより得られた撮像データが与えられるＰＣ（パーソナルコンピュータ）やＰＤＡ（携帯情報端末）等の情報処理装置（デジタルカメラに対する外部装置）内で行う構成としてもよい。このような構成を備えた撮像システムについて説明する。図１５に示すように、撮像システム１００は、デジタルカメラ１ｂと情報処理装置２００とを備えている。
(Embodiment 4)
The
デジタルカメラ１ｂは、デジタルカメラ１と比べて、ノイズ除去部６がなく、入出力Ｉ／Ｆ部１２を備えたものとなっている。その他の構成は同じでありその説明は省略する。入出力Ｉ／Ｆ部１２は、有線或いは無線による所定のネットワーク（例えばＬＡＮ）を介して接続された情報処理装置２００との間における種々のデータのやり取り（授受；送受信）を行うものである。入出力Ｉ／Ｆ部１２は、情報処理装置２００との回線確保処理を行うとともに、画像メモリ８に格納された画像信号を読み出して情報処理装置２００（後述の入出力Ｉ／Ｆ部２６０）へ送信する。なお、画像メモリ８は、固体撮像素子３によって得られた撮像データ（Ａ／Ｄ変換部５からの画像信号）を、情報処理装置２００に対する送信前に一時的に格納する場所として使用される。
Compared to the
情報処理装置２００は、ＣＰＵ等からなり情報処理装置２００全体の動作制御（データの演算処理）を司る全体制御部２１０と、デジタルカメラ１ｂから送信されてきた撮像データ等のデータを一時的に格納する画像メモリ２２０と、所定のアプリケーションや各種データが格納されるＨＤＤ（ハードディスク）２３０と、画像（映像）等を表示するディスプレイ２４０と、操作指示入力（データの入力）を行うキーボードやマウスからなる操作部２５０と、外部すなわちデジタルカメラ１ｂ（入出力Ｉ／Ｆ部１２）とのデータのやり取りを行う入出力Ｉ／Ｆ部２６０とを備えている。このような情報処理装置２００は、全体制御部２１０（例えばこの全体制御部２１０内に備えたノイズ除去部や階調変換部）によって、デジタルカメラ１ｂから送信されてきた撮像データに対し、上記各実施形態と同様にノイズ除去処理（コアリング処理）や階調変換処理（ＤＲ圧縮）を行う。この処理結果の情報（画像）はＨＤＤ２３０等に記録されるとともに、ディスプレイ２４０上に表示される。なお、撮像データをディスプレイ２４０に表示させて逐次その処理内容を確認しながらノイズ除去処理や階調変換処理を行う構成としてもよい。また、デジタルカメラ１ｂ及び情報処理装置２００間のデータのやり取りを行う構成は、上記構成に限らず、例えばメモリカード等の記録媒体（ストレージメディア）を介して行う構成であってもよい。
The
図１６は、第４の実施形態における撮像システム１００の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、情報処理装置２００からデジタルカメラ１ｂに対して画像取得の指示信号が送信される（逆に、デジタルカメラ１ｂから情報処理装置２００に当該指示信号が送信されてもよい）と（ステップＳ６１）、情報処理装置２００及びデジタルカメラ１ｂ（各入出力Ｉ／Ｆ部）により、相互の回線を確保するための処理が開始される（ステップＳ６２）。回線が確保されなければ（ステップＳ６３のＮＯ）、ディスプレイ２４０（又はモニタ部１０）にエラー表示がなされ（ステップＳ６４）、ステップＳ６２に戻って引き続き回線確保処理が行われる。回線が確保されると（ステップＳ６３のＹＥＳ）、情報処理装置２００からデジタルカメラ１ｂに対して撮影画像の信号出力を要求する信号が送信され（この逆でもよい）（ステップＳ６５）、デジタルカメラ１ｂから情報処理装置２００へ画像データが送信される（ステップＳ６６）。情報処理装置２００では、この画像データを受けて、コアリング係数等の各種パラメータの設定処理が行われ（ステップＳ６７）、このパラメータに基づいて、上記ノイズ除去処理（コアリング処理）や階調変換処理（ＤＲ圧縮）等の各種信号処理が行われる（ステップＳ６８）。そして、この処理結果がディスプレイ２４０（又はモニタ部１０）に表示されるとともに、処理後の画像データがＨＤＤ２３０に格納される（ステップＳ６９）。上記コアリング係数等の各種パラメータが変更される場合には（ステップＳ７０のＹＥＳ）、パラメータの再設定処理がなされ（ステップＳ７１）、上記ステップＳ６８に戻ってこの再設定されたパラメータに基づいて上記信号処理が行われる。パラメータが変更されない場合には（ステップＳ７０のＮＯ）、フロー終了となる。
FIG. 16 is a flowchart illustrating an example of operations mainly related to noise removal of the
ところで、上記各実施形態では、複数の異なる光電変換特性を有する固体撮像素子３として、低輝度側が線形特性であり高輝度側が対数特性である（線形／対数特性の）光電変換特性を有するイメージセンサを用いているが、これに限らず、例えば、可変蓄積時間型撮像センサや可変蓄積容量型撮像センサ（以降、これら撮像センサのことを、適応型撮像センサという）を用いてもよい。すなわち、この適応型撮像センサは、図１７に示すように低輝度側及び高輝度側共に線形の光電変換特性（第１線形特性１７１、第２線形特性１７２）を有しており（座標（Ｘｔｈ、Ｙｔｈ）は変曲点である）、輝度レベルに応じて各線形特性のグラフ上の傾きが変化する。この変化は所定の出力レベルにおいて行われ、上記線形／対数特性の撮像センサと同様、複数の異なる光電変換特性となる。この適応型撮像センサにおいても、上記各実施形態と同様のノイズ除去処理が可能であるものの、高輝度側特性が対数特性ではなく線形特性となっているので、これに伴い第１の実施形態（第２の実施形態を含む）、及び第３の実施形態について以下に示す変更が必要となる。この変更について、以下、実施形態５及び実施形態６において説明する。第４の実施形態については当該変更点が同様に適用されるので、その説明を省略する。
By the way, in each of the above-described embodiments, as the solid-
（実施形態５）
まず、第１の実施形態に対する変更点について説明する。ここでは、高輝度側特性が対数特性から線形特性に変更されるのに伴い、ノイズ除去部６（６ａ）におけるコアリング係数の算出の考え方の変更が必要となる。ただし、このノイズ除去部における構成（機能ブロック構成）については変更不要である。
(Embodiment 5)
First, changes to the first embodiment will be described. Here, as the high luminance side characteristic is changed from the logarithmic characteristic to the linear characteristic, it is necessary to change the way of thinking of the coring coefficient calculation in the noise removing unit 6 (6a). However, it is not necessary to change the configuration (functional block configuration) in the noise removing unit.
（係数の算出の考え方）
ここで、第５の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。第１の実施形態の場合と異なり、本実施形態の適応型撮像センサの光電変換特性は、以下の(4-1)、(4-2)式に示す入力輝度Ｘに対する画素値Ｙ（出力）の関係式で表される（基画像Ｉの光電変換特性に相当）。
Ｙ＝ａ１＊Ｘ＋ｂ１（０≦Ｘ≦Ｘｔｈ） …(4-1)
Ｙ＝ａ２＊Ｘ＋ｂ２（Ｘ＞Ｘｔｈ） …(4-2)
但し、座標（Ｘｔｈ、Ｙｔｈ）がこの光電変換特性の変曲点である。なお、この(4-1)式及び(4-2)式の光電変換特性を有する固体撮像素子３によって得られる撮影画像のことを線形／線形画像という。
(Concept of coefficient calculation)
Here, the concept of calculating the coring coefficient in the fifth embodiment will be specifically described. Unlike the case of the first embodiment, the photoelectric conversion characteristic of the adaptive image sensor of this embodiment is a pixel value Y (output) with respect to the input luminance X shown in the following equations (4-1) and (4-2). (Corresponding to the photoelectric conversion characteristics of the base image I).
Y = a1 * X + b1 (0 ≦ X ≦ Xth) (4-1)
Y = a2 * X + b2 (X> Xth) (4-2)
However, the coordinates (Xth, Yth) are the inflection points of the photoelectric conversion characteristics. A photographed image obtained by the solid-
［０≦Ｘ≦Ｘｔｈの場合］
低輝度側特性領域におけるコアリング係数の算出となり、第１の実施形態と同様、コアリング係数ｔｈは、値ｔｈ０となる（以下(4-3)式参照）。
ｔｈ＝ｔｈ０ …(4-3)
[When 0 ≦ X ≦ Xth]
The coring coefficient in the low luminance side characteristic region is calculated, and the coring coefficient th is the value th0 as in the first embodiment (refer to equation (4-3) below).
th = th0 (4-3)
［Ｘ＞Ｘｔｈの場合］
高輝度側特性領域におけるコアリング係数の算出となる。この場合も階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(4-2)式より、(4-4)式となる。
Ｙ＝ａ２＊Ｘ＋ｂ２＋Ｎ …(4-4)
但し、Ｎ：画像信号に含まれているノイズ（高輝度部、低輝度部共に同じ）
[When X> Xth]
The coring coefficient is calculated in the high luminance side characteristic region. Also in this case, a condition is derived so that the amount of noise after gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic area. Considering the case where noise is added to the image signal at the time of imaging, Equation (4-4) is obtained from Equation (4-2).
Y = a2 * X + b2 + N (4-4)
However, N: Noise included in the image signal (same for both high-luminance part and low-luminance part)
上記(4-4)式を線形特性（Ｙ＝Ｘ）に変換し、線形特性出力Ｙ＿ＬＩＮを算出すると、以下の(4-5)式となる。
Ｙ＿ＬＩＮ＝（Ｙ−ｂ２）／ａ２
＝（ａ２＊Ｘ＋ｂ２＋Ｎ−ｂ２）／ａ２
＝Ｘ＋Ｎ／ａ２ …(4-5)
低周波成分をＬとすると、ノイズ除去処理を行うための高周波成分Ｈは、上記(4-5)式より、以下の(4-6)式で与えられる。
Ｈ＝Ｙ＿ＬＩＮ−Ｌ
＝Ｘ＋Ｎ／ａ２−Ｌ …(4-6)
When the above equation (4-4) is converted into a linear characteristic (Y = X) and the linear characteristic output Y_LIN is calculated, the following equation (4-5) is obtained.
Y_LIN = (Y−b2) / a2
= (A2 * X + b2 + N−b2) / a2
= X + N / a2 (4-5)
When the low frequency component is L, the high frequency component H for performing noise removal processing is given by the following equation (4-6) from the above equation (4-5).
H = Y_LIN-L
= X + N / a2-L (4-6)
高周波成分に対してノイズ除去量ΔＮのノイズ除去を行うと、ノイズ除去後の高周波成分Ｈ’は、上記(4-6)式より、以下の(4-7)式となる。
Ｈ’＝Ｘ＋Ｎ／ａ２−Ｌ−ΔＮ …(4-7)
この高周波成分Ｈ’に低周波成分Ｌを加えることで、ノイズ除去後の線形特性出力Ｙ’＿ＬＩＮを算出する。すなわち、Ｙ’＿ＬＩＮは以下の(4-8)式で与えられる。
Ｙ’＿ＬＩＮ＝Ｌ＋Ｈ’
＝Ｌ＋Ｘ＋Ｎ／ａ２−Ｌ−ΔＮ
＝Ｘ＋Ｎ／ａ２−ΔＮ …(4-8)
When the noise removal amount ΔN is removed from the high frequency component, the high frequency component H ′ after the noise removal is expressed by the following equation (4-7) from the above equation (4-6).
H ′ = X + N / a2−L−ΔN (4-7)
By adding the low frequency component L to the high frequency component H ′, the linear characteristic output Y′_LIN after noise removal is calculated. That is, Y′_LIN is given by the following equation (4-8).
Y'_LIN = L + H '
= L + X + N / a2-L-ΔN
= X + N / a2-ΔN (4-8)
上記線形特性出力Ｙ’＿ＬＩＮを照明成分Ｂと反射率成分Ｄとに分割して階調変換出力Ｙ’＿ｄｒｃを算出する。
Ｙ’＿ＬＩＮ＝Ｂ＊Ｄ
よって、Ｄ＝Ｙ’＿ＬＩＮ／Ｂ
また、照明成分Ｂを圧縮して階調変換を行う。階調変換後の照明成分をＢ’とすると、
Ｙ’＿ｄｒｃ＝Ｂ’＊Ｄ
＝Ｂ’＊Ｙ’＿ＬＩＮ／Ｂ
したがって、階調変換後のノイズ量Ｎ’は、以下の(4-9)式で与えられる。
Ｎ’＝Ｙ’＿ｄｒｃ−Ｂ’＊Ｘ／Ｂ
＝Ｂ’＊Ｙ’＿ＬＩＮ／Ｂ−Ｂ’＊Ｘ／Ｂ
＝Ｂ’／Ｂ＊（Ｙ’＿ＬＩＮ−Ｘ）
＝Ｂ’／Ｂ＊（Ｘ＋Ｎ／ａ２−ΔＮ−Ｘ）
＝Ｂ’／Ｂ＊（Ｎ／ａ２−ΔＮ） …(4-9)
The linear characteristic output Y′_LIN is divided into an illumination component B and a reflectance component D to calculate a gradation conversion output Y′_drc.
Y'_LIN = B * D
Therefore, D = Y′_LIN / B
Further, gradation conversion is performed by compressing the illumination component B. If the illumination component after gradation conversion is B ′,
Y'_drc = B '* D
= B '* Y'_LIN / B
Therefore, the noise amount N ′ after gradation conversion is given by the following equation (4-9).
N ′ = Y′_drc−B ′ * X / B
= B '* Y'_LIN / B-B' * X / B
= B '/ B * (Y'_LIN-X)
= B ′ / B * (X + N / a2−ΔN−X)
= B '/ B * (N / a2-ΔN) (4-9)
ここで、階調変換後（ＤＲ圧縮後）の低輝度部及び高輝度部のノイズをそれぞれＮ１’、Ｎ２’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれＬ１、Ｌ２とし、これら照明成分Ｌ１、Ｌ２に対する階調変換後（ＤＲ圧縮後）の照明成分をそれぞれＬ１’、Ｌ２’とし、コアリング処理による当該低輝度部及び高輝度部のノイズ除去量をΔＮ１、ΔＮ２とすると、上記(4-9)式より、以下の(4-10-1)式及び(4-10-2)式が得られる。
Ｎ１’＝Ｌ１’／Ｌ１＊（Ｎ／ａ２−ΔＮ１） …(4-10-1)
Ｎ２’＝Ｌ２’／Ｌ２＊（Ｎ／ａ２−ΔＮ２） …(4-10-2)
Here, the noises of the low luminance part and the high luminance part after gradation conversion (after DR compression) are N1 ′ and N2 ′, respectively, and the illumination components of the low luminance part and the high luminance part in the linear characteristic output are L1, respectively. L2, L1 ′ and L2 ′ are the illumination components after gradation conversion (after DR compression) for these illumination components L1 and L2, respectively, and ΔN1 is the noise removal amount of the low luminance part and the high luminance part by coring processing. Assuming ΔN2, the following equations (4-10-1) and (4-10-2) are obtained from the above equation (4-9).
N1 ′ = L1 ′ / L1 * (N / a2−ΔN1) (4-10-1)
N2 ′ = L2 ′ / L2 * (N / a2−ΔN2) (4-10-2)
これらから、Ｎ１’＝Ｎ２’となるΔＮ１、ΔＮ２の関係を導き出す。すなわち、(4-10-1)式及び(4-10-2)式とＮ１’＝Ｎ２’の関係とより、以下の(4-11)式が得られる。
Ｌ１’／Ｌ１＊（Ｎ／ａ２−ΔＮ１）＝Ｌ２’／Ｌ２＊（Ｎ／ａ２−ΔＮ２） …(4-11)
この(4-11)式を変形してゆくと、
（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（Ｎ／ａ２−ΔＮ１）＝Ｎ／ａ２−ΔＮ２となり、ΔＮ２について整理すると、以下の(4-12)式が得られる。
ΔＮ２＝Ｎ／ａ２−（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（Ｎ／ａ２−ΔＮ１） …(4-12)
From these, the relationship of ΔN1 and ΔN2 that leads to N1 ′ = N2 ′ is derived. That is, the following expression (4-11) is obtained from the relations (4-10-1) and (4-10-2) and N1 ′ = N2 ′.
L1 ′ / L1 * (N / a2−ΔN1) = L2 ′ / L2 * (N / a2−ΔN2) (4-11)
If this equation (4-11) is transformed,
(L1 ′ / L1) / (L2 ′ / L2) * (N / a2−ΔN1) = N / a2−ΔN2, and when ΔN2 is arranged, the following equation (4-12) is obtained.
ΔN2 = N / a2− (L1 ′ / L1) / (L2 ′ / L2) * (N / a2−ΔN1) (4-12)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(4-12)式により、高輝度側特性領域におけるコアリング係数ｔｈは、以下の(4-13)式で与えられるものとなる。
ｔｈ＝Ｎ／ａ２−（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（Ｎ／ａ２−ｔｈ０） …(4-13)
Therefore, when this concept is applied to the calculation of the coring coefficient of this embodiment, the coring coefficient th in the high luminance side characteristic region is given by the following expression (4-13) according to the above expression (4-12). It will be a thing.
th = N / a2- (L1 ′ / L1) / (L2 ′ / L2) * (N / a2-th0) (4-13)
なお、本第５の実施形態におけるノイズ除去に関する動作のフローは、上記図８に示すフローと同様であり、その説明を省略する。 Note that the flow of operations related to noise removal in the fifth embodiment is the same as the flow shown in FIG. 8, and a description thereof will be omitted.
（実施形態６）
次に、第３の実施形態に対する変更点について説明する。ここでは、高輝度側特性が対数特性から線形特性に変更されるのに伴い、階調変換部７ａにおける構成の変更及び第１ノイズ除去部７６ｍにおけるコアリング係数の算出の考え方の変更が必要となる。まず階調変換部７ａの構成が変更された階調変換部７ｂについて説明する。
(Embodiment 6)
Next, changes to the third embodiment will be described. Here, as the high luminance side characteristic is changed from the logarithmic characteristic to the linear characteristic, it is necessary to change the configuration of the
図１８は、第３の実施形態において適応型撮像センサを用いる場合の階調変換部７ｂの機能ブロック図である。同図に示すように階調変換部７ｂは、第３の実施形態における階調変換部７ａと比べて、領域分割抽出部７１’、高輝度側特性変換部７２ｍ’及び画像合成部７３’が異なる。その他の構成については同じであり、その説明を省略する。
FIG. 18 is a functional block diagram of the
ここでの階調変換部７ｂに入力される基画像Ｉは、第５の実施形態と同様、(4-1)式及び(4-2)式の関係の光電変換特性を有する画像（線形／線形画像）である。領域分割抽出部７１’は、この基画像Ｉから高輝度側特性の線形画像（画像Ｉ１）と、低輝度側特性の線形画像（画像Ｉ２）とを分割抽出（分離）する。領域分割抽出部７１’は、以下の(5-1)式に示す関係式に基づいて基画像Ｉの画素値を判別することで画像Ｉ１と画像Ｉ２とに分ける。なお、この画像Ｉ１、Ｉ２はそれぞれ高輝度側特性変換部７２ｍ’及び低輝度側特性変換部２ｎに入力される。
ｉｆ（Ｉ≧Ｙｔｈ）
Ｉ１＝（Ｉ−ｂ２）／ａ２、Ｉ２＝０ （高輝度側特性）
ｅｌｓｅ
Ｉ１＝０、Ｉ２＝（Ｉ−ｂ１）／ａ１ （低輝度側特性） …(5-1)
The base image I input to the
if (I ≧ Yth)
I1 = (I−b2) / a2, I2 = 0 (high luminance side characteristic)
else
I1 = 0, I2 = (I−b1) / a1 (low luminance side characteristic) (5-1)
高輝度側特性変換部７２ｍ’は、第１照明成分抽出部７４ｍ’、第１照明成分圧縮部７５ｍ’及び第１ノイズ除去部７６ｍ’を備えている。第１照明成分抽出部７４ｍ’は、線形画像としての画像Ｉ１から照明成分Ｌ１を抽出する。この画像Ｉ１からの照明成分Ｌ１の抽出処理は以下の(5-2)式で示される。
Ｌ１＝Ｆ（Ｉ１） …(5-2)
但し、上記式中の“Ｆ”は、第３の実施形態と同様、照明成分抽出用の変換であり、低周波抽出用のフィルタが用いられる。
The high luminance side
L1 = F (I1) (5-2)
However, “F” in the above expression is a conversion for extracting an illumination component as in the third embodiment, and a filter for low frequency extraction is used.
第１照明成分圧縮部７５ｍ’は、第１照明成分抽出部７４ｍ’により抽出された照明成分Ｌ１に対する圧縮処理を行い、照明成分Ｌ１を圧縮してなる照明成分Ｌ１’を出力する。この場合のＤＲ圧縮における所定の圧縮率を「ｃ３」で表すと、照明成分Ｌ１’は以下(5-3)式で与えられる。
Ｌ１’＝ｅｘｐ（Ｌｏｇ（Ｌ１）＊ｃ３） …(5-3)
The first illumination
L1 ′ = exp (Log (L1) * c3) (5-3)
第１ノイズ除去部７６ｍ’は、第１照明成分抽出部７４ｍ’からの照明成分情報に基づいて、画像Ｉ１の反射率成分Ｒ１に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分Ｒ１’（ノイズ除去反射率成分画像Ｒ１’）を出力する。なお、この反射率成分Ｒ１は、除算部７８１ｍ’によって画像Ｉ１からＬ１を除算することで得られる。このノイズ除去処理の詳細については後述する。
The first
第１ノイズ除去部７６ｍ’においてノイズ除去処理が施された画像は、乗算部７７ｍ’による乗算処理によって第１照明成分圧縮部７５ｍ’からの照明成分Ｌ１’と合成された後、画像Ｉ１’（ノイズ除去画像Ｉ１’）として画像合成部７３’に入力される。画像合成部７３’は、高輝度側特性変換部７２ｍ’及び低輝度側特性変換部７２ｎから入力された、いずれも線形画像としてのノイズ除去画像Ｉ１’及びＩ２’を合成（加算処理）して合成画像Ｏとして後段の処理部へ出力する。
The image subjected to the noise removal process in the first
ここで、上記第１ノイズ除去部７６ｍ’について詳述する。ノイズ除去処理の考え方は、第３の実施形態における第１ノイズ除去部７６ｍと同じであるが、反射率成分とコアリング係数算出用の入力が線形特性となる。すなわち、第１ノイズ除去部７６ｍ’は、図１９に示す構成となっており、照明成分Ｌ１の情報に基づいて係数算出部７６１ｍ’で算出されたコアリング係数を用いて、コアリング処理部７６２ｍ’によって反射率成分Ｒ１に対するコアリング処理を行う構成となっている。
Here, the first
（係数の算出の考え方）
ここで、第６の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。本実施形態の適応型撮像センサの光電変換特性は、上記第５の実施形態と同様、以下の(6-1)、(6-2)式に示す入力輝度Ｘに対する画素値Ｙ（出力）の関係式で表される。
Ｙ＝ａ１＊Ｘ＋ｂ１（０≦Ｘ≦Ｘｔｈ） …(6-1)
Ｙ＝ａ２＊Ｘ＋ｂ２（Ｘ＞Ｘｔｈ） …(6-2)
(Concept of coefficient calculation)
Here, the concept of calculating the coring coefficient in the sixth embodiment will be specifically described. The photoelectric conversion characteristic of the adaptive image sensor of this embodiment is similar to that of the fifth embodiment in that the pixel value Y (output) with respect to the input luminance X shown in the following equations (6-1) and (6-2) It is expressed by a relational expression.
Y = a1 * X + b1 (0 ≦ X ≦ Xth) (6-1)
Y = a2 * X + b2 (X> Xth) (6-2)
［０≦Ｘ≦Ｘｔｈの場合］
低輝度側特性領域におけるコアリング係数の算出となり、第５の実施形態と同様、コアリング係数ｔｈは、値ｔｈ０となる（以下(6-3)式参照）。
ｔｈ＝ｔｈ０ …(6-3)
[When 0 ≦ X ≦ Xth]
The coring coefficient in the low luminance side characteristic area is calculated, and the coring coefficient th is the value th0 as in the fifth embodiment (refer to equation (6-3) below).
th = th0 (6-3)
［Ｘ＞Ｘｔｈの場合］
高輝度側特性領域におけるコアリング係数の算出となる。この場合も階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(6-2)式より、(6-4)式となる。
Ｙ＝ａ２＊Ｘ＋ｂ２＋Ｎ …(6-4)
但し、Ｎ：画像信号に含まれているノイズ（高輝度部、低輝度部共に同じ）
[When X> Xth]
The coring coefficient is calculated in the high luminance side characteristic region. Also in this case, a condition is derived so that the amount of noise after gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic area. Considering the case where noise is added to the image signal at the time of imaging, Equation (6-4) is obtained from Equation (6-2).
Y = a2 * X + b2 + N (6-4)
However, N: Noise included in the image signal (same for both high-luminance part and low-luminance part)
上記(6-4)式を線形特性（Ｙ＝Ｘ）に変換し、線形特性出力Ｙ＿ＬＩＮを算出すると、以下の(6-5)式となる。
Ｙ＿ＬＩＮ＝（Ｙ−ｂ２）／ａ２
＝（ａ２＊Ｘ＋ｂ２＋Ｎ−ｂ２）／ａ２
＝Ｘ＋Ｎ／ａ２ …(6-5)
低周波成分をLとすると、ノイズ除去処理を行うための反射率成分Ｒは、上記(6-5)式より、以下の(6-6)式で与えられる。
Ｒ＝Ｙ＿ＬＩＮ／Ｌ
＝（Ｘ＋Ｎ／ａ２）／Ｌ …(6-6)
ノイズ除去量ΔＮによってノイズ除去を行うと、ノイズ除去後の反射率成分Ｒ’は、上記(6-6)より、以下の(6-7)式で与えられる。
Ｒ’＝（Ｘ＋Ｎ／ａ２）／Ｌ−ΔＮ …(6-7)
When the above equation (6-4) is converted into a linear characteristic (Y = X) and the linear characteristic output Y_LIN is calculated, the following equation (6-5) is obtained.
Y_LIN = (Y−b2) / a2
= (A2 * X + b2 + N−b2) / a2
= X + N / a2 (6-5)
When the low frequency component is L, the reflectance component R for performing noise removal processing is given by the following equation (6-6) from the above equation (6-5).
R = Y_LIN / L
= (X + N / a2) / L (6-6)
When noise removal is performed with the noise removal amount ΔN, the reflectance component R ′ after noise removal is given by the following equation (6-7) from the above (6-6).
R ′ = (X + N / a2) / L−ΔN (6-7)
この反射率成分Ｒ’と、照明成分Ｌが圧縮された照明成分Ｌ’とを合成して、階調変換後の出力Ｙ’を算出する。出力Ｙ’は、上記(6-7)式より、以下の(6-8)式で与えられる。
Ｙ’＝Ｌ’＊Ｒ’
＝Ｌ’＊（（Ｘ＋Ｎ／ａ２）／Ｌ−ΔＮ） …(6-8)
したがって、階調変換後のノイズ量Ｎ’は、上記(6-8)式より、以下の(6-9)式で与えられる。
Ｎ’＝Ｙ’−Ｌ’＊（Ｘ／Ｌ）
＝Ｌ’＊（（Ｘ＋Ｎ／ａ２）／Ｌ−ΔＮ）−Ｌ’＊（Ｘ／Ｌ）
＝Ｌ’＊（Ｘ／Ｌ）＋Ｌ’＊（Ｎ／ａ２）／Ｌ−Ｌ’＊ΔＮ−Ｌ’＊（Ｘ／Ｌ）
＝Ｌ’＊（（Ｎ／ａ２）／Ｌ−ΔＮ） …(6-9)
The reflectance component R ′ and the illumination component L ′ obtained by compressing the illumination component L are combined to calculate an output Y ′ after gradation conversion. The output Y ′ is given by the following equation (6-8) from the above equation (6-7).
Y '= L' * R '
= L ′ * ((X + N / a2) / L−ΔN) (6-8)
Therefore, the noise amount N ′ after gradation conversion is given by the following equation (6-9) from the above equation (6-8).
N ′ = Y′−L ′ * (X / L)
= L ′ * ((X + N / a2) / L−ΔN) −L ′ * (X / L)
= L ′ * (X / L) + L ′ * (N / a2) / L−L ′ * ΔN−L ′ * (X / L)
= L ′ * ((N / a2) / L−ΔN) (6-9)
コアリング処理による低輝度部及び高輝度部のノイズ除去量をΔＮ１、ΔＮ２として、これらの値でノイズ除去を行った場合のノイズ量を考える。階調変換後（ＤＲ圧縮後）の低輝度部及び高輝度部のノイズをそれぞれＮ１’、Ｎ２’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれＬ１、Ｌ２とし、これら照明成分Ｌ１、Ｌ２に対する階調変換後（ＤＲ圧縮後）の照明成分をそれぞれＬ１’、Ｌ２’とすると、上記(6-9)式より、以下の(6-10-1)式及び(6-10-2)式が得られる。
Ｎ１’＝Ｌ１’＊（（Ｎ／ａ２）／Ｌ１−ΔＮ１） …(6-10-1)
Ｎ２’＝Ｌ２’＊（（Ｎ／ａ２）／Ｌ２−ΔＮ２） …(6-10-2)
Assume that the noise removal amounts of the low luminance portion and the high luminance portion by coring processing are ΔN1 and ΔN2, and the noise amount when noise removal is performed with these values. The low luminance portion and high luminance portion noise after gradation conversion (after DR compression) are N1 ′ and N2 ′, respectively, and the illumination components of the low luminance portion and high luminance portion in the linear characteristic output are L1 and L2, respectively. Assuming that the illumination components after gradation conversion (after DR compression) for these illumination components L1 and L2 are L1 ′ and L2 ′, respectively, from the above equation (6-9), the following equations (6-10-1) and ( 6-10-2) is obtained.
N1 ′ = L1 ′ * ((N / a2) / L1−ΔN1) (6-10-1)
N2 ′ = L2 ′ * ((N / a2) / L2−ΔN2) (6-10-2)
これらから、Ｎ１’＝Ｎ２’となるΔＮ１、ΔＮ２の関係を導き出す。すなわち、(6-10-1)式及び(6-10-2)式とＮ１’＝Ｎ２’の関係とより、以下の(6-11)式が得られる。
Ｌ１’＊（（Ｎ／ａ２）／Ｌ１−ΔＮ１）＝Ｌ２’＊（（Ｎ／ａ２）／Ｌ２−ΔＮ２） …(6-11)
この(6-11)式を変形すると、
Ｌ１’／Ｌ２’*（（Ｎ／ａ２）／Ｌ１−ΔＮ１）＝ （Ｎ／ａ２）／Ｌ２−ΔＮ２となり、ΔＮ２について整理すると、以下の(6-12)式が得られる。
ΔＮ２＝（Ｎ／ａ２）／（Ｌ２*（Ｌ１’／ Ｌ２’）＊（（Ｎ／ａ２）／Ｌ１−ΔＮ１）） …(6-12)
From these, the relationship of ΔN1 and ΔN2 that leads to N1 ′ = N2 ′ is derived. That is, the following formula (6-11) is obtained from the relations (6-10-1) and (6-10-2) and N1 ′ = N2 ′.
L1 ′ * ((N / a2) / L1−ΔN1) = L2 ′ * ((N / a2) / L2−ΔN2) (6-11)
If this equation (6-11) is transformed,
L1 ′ / L2 ′ * ((N / a2) / L1−ΔN1) = (N / a2) / L2−ΔN2, and when ΔN2 is arranged, the following equation (6-12) is obtained.
ΔN2 = (N / a2) / (L2 * (L1 ′ / L2 ′) * ((N / a2) / L1-ΔN1)) (6-12)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(6-12)式により、高輝度側特性領域におけるコアリング係数ｔｈは、以下の(6-13)式で与えられるものとなる。
ｔｈ＝（Ｎ／ａ２）／（Ｌ２*（Ｌ１’／ Ｌ２’）＊（（Ｎ／ａ２）／Ｌ１−ｔｈ０）） …(6-13)
Therefore, when this concept is applied to the calculation of the coring coefficient of this embodiment, the coring coefficient th in the high luminance side characteristic region is given by the following expression (6-13) according to the above expression (6-12). It will be a thing.
th = (N / a2) / (L2 * (L1 ′ / L2 ′) * ((N / a2) / L1-th0)) (6-13)
図２０は、第６の実施形態におけるデジタルカメラ１ａの主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子３による撮像によって撮影画像が得られる（ステップＳ８１）。この撮影画像（基画像Ｉ）が階調変換部７ｂに入力される（ステップＳ８２）。この入力された基画像Ｉから高輝度側特性領域（画像Ｉ１；線形画像）と低輝度側特性領域（画像Ｉ２；線形画像）とが領域分割抽出部７１’によって分割抽出される（ステップＳ８３）。この分割抽出された画像が高輝度側特性領域の画像である場合には（ステップＳ８４のＹＥＳ）、第１照明成分抽出部７４ｍ’によって画像Ｉ１から照明成分（Ｌ１）が抽出され（ステップＳ８５）、第１照明成分抽出部７４ｍ’からの照明成分情報に基づいて、第１ノイズ除去部７６ｍ’における係数算出部７６１ｍ’によって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される（ステップＳ８６）。この算出されたコアリング係数に基づいて、上記照明成分が画像Ｉ１から除算されてなる反射率成分（Ｒ１）に対するコアリング処理がコアリング処理部７６２ｍ’によって行われ（ステップＳ８７）、このコアリング処理が施された反射率成分（Ｒ１’）と、上記第１照明成分抽出部７４ｍ’により抽出された照明成分が第１照明成分圧縮部７５ｍ’によって圧縮されてなる照明成分（Ｌ１’）とが、乗算部７７ｍ’によって合成されて画像Ｉ１’が得られる（ステップＳ８８）。
FIG. 20 is a flowchart illustrating an example of operations mainly related to noise removal of the
上記ステップＳ８４において、分割抽出された画像が低輝度側特性領域の画像である場合には（ステップＳ８４のＮＯ）、第２照明成分抽出部７４ｎによって画像Ｉ２から照明成分（Ｌ２）が抽出され（ステップＳ８９）、この照明成分が画像Ｉ２から除算されてなる反射率成分（Ｒ２）に対するコアリング処理が第２ノイズ除去部７６ｎにおけるコアリング処理部７６２ｎによって行われる（ステップＳ９０）。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部７６２ｎ内に固定値として予め記憶されている値（上述のｔｈ０）が用いられる。このコアリング処理が施された反射率成分（Ｒ２’）と、上記第２照明成分抽出部７４ｎにより抽出された照明成分が第２照明成分圧縮部７５ｎによって圧縮されてなる照明成分（Ｌ２’）とが、乗算部７８２ｎによって合成されて画像Ｉ２’が得られる（ステップＳ９１）。そして、この低輝度側特性領域の画像Ｉ２’と上記高輝度側特性領域の画像Ｉ１’とが画像合成部７３’によって合成され、階調変換部７ｂから合成画像Ｏとして出力される（ステップＳ９２）。
In the above step S84, when the divided and extracted image is an image of the low luminance side characteristic region (NO in step S84), the illumination component (L2) is extracted from the image I2 by the second illumination
以上のように、上記各実施形態の撮像装置（デジタルカメラ１、１ａ）（撮像システム１００）によれば、ノイズ除去部６、６ａ（第１ノイズ除去部７６ｍ、７６ｍ’）によって、複数の異なる光電変換特性を有する固体撮像素子３による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去が行われる。これにより、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる（伸張度合いに応じて異なるノイズ除去量を設定する）ことが可能となるので、例えば伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つといったように、伸張度合いの違いによってノイズ（ノイズ成分）が目立つことのないようにすることができ、ひいては高画質な撮影画像を得ることができる。
As described above, according to the imaging device (
また、ノイズ除去部６、６ａ（第１ノイズ除去部７６ｍ、７６ｍ’）は、係数算出部６４、６４ｍ、７６１ｍ、７６１ｍ’と、コアリング処理部６３、６３ｍ、７６２ｍ、７６２ｍ’とを備えており、また、撮影画像の輝度レベルに応じて階調変換時の伸張度合いが変化することから、係数算出部６４、６４ｍ、７６１ｍ、７６１ｍ’によって、撮影画像の伸張度合いに相当する輝度レベルに応じて、すなわち例えば低輝度部の画像であるか高輝度部の画像であるかに応じてノイズ除去量に関するパラメータとしてのコアリング係数（ｔｈ）が算出され、コアリング処理部６３、６３ｍ、７６２ｍ、７６２ｍ’によって、当該係数算出部により算出したコアリング係数に基づいて、撮影画像からノイズ成分が除去されるコアリング処理が行われるので、係数算出部６４、６４ｍ、７６１ｍ、７６１ｍ’により算出したコアリング係数に基づいてコアリング処理部６３、６３ｍ、７６２ｍ、７６２ｍ’によりコアリング処理を行うという一般的なノイズ除去手法を利用して、すなわち簡易な構成によって、当該伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになる。
The
また、ノイズ除去部６、６ａは、ＬＰＦ部６２、６２ｍ（低周波成分抽出手段）と、減算部６５１、６５１ｍ（高周波成分抽出手段）とを備えており、ＬＰＦ部６２、６２ｍによって撮影画像から低周波成分が抽出され、減算部６５１、６５１ｍによって撮影画像から高周波成分が抽出される。そして、係数算出部６４、６４ｍによって輝度レベルに相当する低周波成分のレベルに応じてコアリング係数（ｔｈ）が算出され、コアリング処理部６３、６３ｍによって低周波成分のレベルに応じて算出されたコアリング係数に基づいて高周波成分に対するコアリング処理が行われるので、一般的なＬＰＦ等の低周波成分抽出手段を用いて撮影画像から抽出された低周波成分の情報（レベル情報）を利用して、コアリング係数の算出を容易に行うことができるとともに、当該算出されたコアリング係数に基づくノイズ除去を、撮影画像から抽出された高周波成分に対するコアリング処理を行うことで容易に行うことができる。
The
また、撮像装置は、撮影画像から照明成分を抽出する第１照明成分抽出部７４ｍ、７４ｍ’（照明成分抽出手段）と、撮影画像から反射率成分を抽出する減算部７８１ｍ、除算部７８１ｍ’（反射率成分抽出手段）とを備えており、第１ノイズ除去部７６ｍ、７６ｍ’が備える係数算出部７６１ｍ、７６１ｍ’によって、輝度レベルに相当する照明成分のレベルに応じてコアリング係数（ｔｈ）が算出され、同じく第１ノイズ除去部７６ｍ、７６ｍ’が備えるコアリング処理部７６２ｍ、７６２ｍ’によって、照明成分のレベルに応じて算出されたコアリング係数に基づいて反射率成分に対するコアリング処理が行われるので、ノイズ除去に際して、照明成分及び反射率成分の情報を用いる、すなわち本願発明の如く、複数の光電変換特性を持つ撮像センサを用いて広ダイナミックレンジ画像を撮像する撮像装置に好適に用いられる階調変換処理であるＤＲ圧縮処理の過程で生成される照明成分及び反射率成分を用いる構成であるので、階調変換部７ａ、７ｂ内（階調変換処理）に、第１ノイズ除去部７６ｍ、７６ｍ’（ノイズ除去処理）を含めることが可能となり、ノイズ除去専用の処理装置を別途設けることなく、処理構成を簡略化することができる。また、ノイズ除去処理における演算量（計算量）が少なくなり、処理時間を短縮することができる。
The imaging apparatus also includes first illumination
また、固体撮像素子３における複数の異なる光電変換特性において、係数算出部６４、６４ｍ、７６１ｍ、７６１ｍ’は、高輝度側特性に対するコアリング係数として、階調変換後のノイズ量が該高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数（ｔｈ）を算出する。このように、高輝度側特性における低輝度部と高輝度部とのノイズ量が等しくなるようなコアリング係数を算出するので、階調変換による伸張度合いが異なる高輝度側特性に対するコアリング係数を容易に（より簡易な演算方法で）求めることができるとともに、この算出したコアリング係数に基づいて、低輝度部及び高輝度部でノイズ量に違いが生じないようにする、すなわち、高輝度部のノイズ量が低輝度部のノイズ量よりも大きくなって高輝度部のノイズが目立つといったことのないようにすることができる。
Further, in a plurality of different photoelectric conversion characteristics in the solid-
また、固体撮像素子３は、入射光量に対して電気信号が線形的に変換されて出力される線形特性（線形光電変換特性）と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性（対数光電変換特性）とからなる光電変換特性を有するものであるので、当該線形特性及び対数特性を有する固体撮像素子３によって得られる撮影画像（線形／対数画像）に対し、階調変換における伸張度合いに応じて、すなわち対数画像の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。
Further, the solid-
また、固体撮像素子３は、入射光量に対して電気信号が線形的に変換されて出力される第１線形特性１７１（第１の線形光電変換特性）と、該第１線形特性１７１とグラフ上の傾きが異なる第２線形特性１７２（第２の線形光電変換特性）とからなる光電変換特性を有するものであるので、当該第１線形特性１７１及び第２線形特性１７２を有する固体撮像素子３によって得られる撮影画像（線形／線形画像）に対し、階調変換における伸張度合いに応じて、すなわち第２線形特性１７２の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。
In addition, the solid-
さらに、撮像システム１００において、データ授受手段（入出力Ｉ／Ｆ部１２、２６０）を用いてデジタルカメラ１ｂと撮影画像データの授受が可能に構成された情報処理装置２００によって、撮影画像に対する上記ノイズ除去処理を行うことができるので、ノイズ除去を行う場所に関する自由度が大きくなるとともに、ＰＣ等の情報処理装置２００を用いて、より高速な演算処理（ノイズ除去処理）が行える構成を容易に実現することが可能となる。
Furthermore, in the
なお、本発明は、以下の態様をとることができる。
（Ａ）上記第１の実施形態においては、ノイズ除去部６によるノイズ除去処理、階調変換部７による階調変換処理の順で処理を行っているが、この順序を逆にして階調変換処理、ノイズ除去処理の順で処理を行ってもよい。ただしこの場合、ノイズ除去部６に入力される画像に含まれるノイズ成分は階調変換処理に応じて変動する（階調変換による伸張度合いの違いによってノイズ量が異なってくる）ので、ノイズ除去の際には、この階調変換による変動を考慮したノイズ除去量を設定して処理を行う必要がある。
In addition, this invention can take the following aspects.
(A) In the first embodiment, the noise removal processing by the
（Ｂ）上記各実施形態においては、撮影画像を異なる光電変換特性に対応させて低輝度側特性領域と高輝度側特性領域との画像に分けておき、高輝度側特性領域における低輝度及び高輝度の輝度レベルの画像（部分画像）それぞれの伸張度合いに応じてコアリング係数を算出し、当該低輝度部及び高輝度部でのノイズ量に差が生じないようにしているが、これに限らず、高輝度側特性領域を上記２つより多い輝度部、例えば低輝度部、中輝度部及び高輝度部の３つの輝度レベルの画像において当該３つの輝度部全てにおける、或いは中輝度部及び高輝度部におけるノイズ量に差が生じないようにコアリング係数を算出するような構成としてもよい。また、低輝度側特性領域においても、例えば階調変換により伸張度合いの違いによりノイズが目立つような場合、上記高輝度側特性領域と同様のノイズ除去手法を適用することができる（高輝度側特性領域及び低輝度側特性領域の両方に対して適用してもよい）。 (B) In each of the above embodiments, the captured image is divided into images of the low luminance side characteristic region and the high luminance side characteristic region corresponding to different photoelectric conversion characteristics, and the low luminance and high luminance in the high luminance side characteristic region are divided. The coring coefficient is calculated according to the degree of expansion of each image (partial image) at the luminance level of the luminance so that no difference occurs in the amount of noise between the low luminance portion and the high luminance portion. First, the high luminance side characteristic area is set to an image having three luminance levels of more than the above two luminance portions, for example, the low luminance portion, the middle luminance portion, and the high luminance portion, or in all three luminance portions or the middle luminance portion and the high luminance portion. The coring coefficient may be calculated so as not to cause a difference in the amount of noise in the luminance part. Also, in the low luminance side characteristic area, for example, when noise is conspicuous due to the difference in the degree of expansion due to gradation conversion, the same noise removal method as the above high luminance side characteristic area can be applied (high luminance side characteristic This may be applied to both the area and the low luminance side characteristic area).
（Ｃ）上記各実施形態においては、固体撮像素子３の光電変換特性は、２つの異なる光電変換特性（線形特性及び対数特性、或いは第１線形特性及び第２線形特性）からなるが、３つ以上の異なる光電変換特性からなっていてもよい。この場合、各光電変換特性（例えば各光電変換特性のうちの、階調変換による伸張度合いの違いによりノイズが目立つ光電変換特性）に対しても上記と同様のノイズ除去手法が適用される。
(C) In each of the above embodiments, the photoelectric conversion characteristics of the solid-
（Ｄ）上記各実施形態においては、伸張度合いの大きい高輝度部のノイズ量を、この高輝度部よりも伸張度合いが小さい低輝度部のノイズ量と等しくするといったように、伸張度合いに応じてコアリング係数（ノイズ除去量）を変化させる（設定する）構成としているが、これに限らず、各部つまり局所的な伸張度合い（例えば伸張率；伸張量）に対応するノイズ量（ノイズ除去量）を設定するといったように、伸張度合いに対応させて（応じて）コアリング係数を謂わば段階的に変化させる構成としてもよい。 (D) In each of the above embodiments, the amount of noise in the high luminance part having a high degree of expansion is made equal to the amount of noise in the low luminance part having a lower degree of expansion than that of the high luminance part. Although the configuration is such that the coring coefficient (noise removal amount) is changed (set), the present invention is not limited to this, and the noise amount (noise removal amount) corresponding to each part, that is, the local expansion degree (for example, the expansion rate; expansion amount). In other words, the coring coefficient may be changed in a so-called stepwise manner in accordance with the degree of expansion.
１、１ａ デジタルカメラ（撮像装置）
１ｂ デジタルカメラ
３ 固体撮像素子
６、６ａ ノイズ除去部（ノイズ除去手段）
６２、６２ｍ ＬＰＦ部（低周波成分抽出手段）
６３、６３ｍ、７６２ｍ、７６２ｍ’ コアリング処理部（コアリング処理手段）
６４、６４ｍ、７６１ｍ、７６１ｍ’ 係数算出部（係数算出手段）
６５１、６５１ｍ 減算部（高周波成分抽出手段）
７、７ａ、７ｂ 階調変換部
７４ｍ、７４ｍ’ 第１照明成分抽出部（照明成分抽出手段）
７６ｍ、７６ｍ’ 第１ノイズ除去部（ノイズ除去手段）
７８１ｍ 減算部（反射率成分抽出手段）
７８１ｍ’除算部（反射率成分抽出手段）
１２、２６０ 入出力Ｉ／Ｆ部（データ授受手段）
１７１ 第１線形特性（第１の線形光電変換特性）
１７２ 第２線形特性（第２の線形光電変換特性）
１００ 撮像システム（撮像装置）
２００ 情報処理装置
６３０ コアリング特性
1, 1a Digital camera (imaging device)
62, 62m LPF (low frequency component extraction means)
63, 63m, 762m, 762m ′ coring processing unit (coring processing means)
64, 64 m, 761 m, 761 m ′ coefficient calculation unit (coefficient calculation means)
651, 651m subtraction unit (high frequency component extraction means)
7, 7a, 7b
76m, 76m ′ first noise removing unit (noise removing means)
781m subtraction unit (reflectance component extraction means)
781m 'division unit (reflectance component extraction means)
12, 260 Input / output I / F section (data exchange means)
171 First linear characteristic (first linear photoelectric conversion characteristic)
172 Second linear characteristic (second linear photoelectric conversion characteristic)
100 Imaging system (imaging device)
200 Information processing device 630 Coring characteristic
Claims (7)
前記固体撮像素子による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去を行うノイズ除去手段とを備え、
前記ノイズ除去手段は、
前記撮影画像の前記伸張度合いに相当する輝度レベルに応じて前記ノイズ除去量に関するパラメータとしてのコアリング係数を算出する係数算出手段と、
前記係数算出手段により算出したコアリング係数に基づいて、前記撮影画像からノイズ成分を除去するコアリング処理を行うコアリング処理手段とを備え、
前記複数の異なる光電変換特性において、
前記係数算出手段は、高輝度側特性と低輝度側特性とで異なるコアリング係数を算出し、高輝度側のコアリング係数を前記撮影画像の階調変換における伸張度合いに基づいて算出することを特徴とする撮像装置。 A solid-state imaging device having a plurality of different photoelectric conversion characteristics;
A noise removing unit that performs noise removal on the photographed image by changing a parameter relating to a noise removal amount of the photographed image according to a degree of expansion in gradation conversion of the photographed image by the solid-state imaging device ;
The noise removing means is
Coefficient calculating means for calculating a coring coefficient as a parameter relating to the amount of noise removal according to a luminance level corresponding to the degree of expansion of the captured image;
Coring processing means for performing coring processing for removing noise components from the captured image based on the coring coefficient calculated by the coefficient calculating means;
In the plurality of different photoelectric conversion characteristics,
The coefficient calculating means calculates different coring coefficients for the high luminance side characteristic and the low luminance side characteristic, and calculates the high luminance side coring coefficient based on a degree of expansion in gradation conversion of the captured image. An imaging device that is characterized.
前記撮影画像から低周波成分を抽出する低周波成分抽出手段と、
前記撮影画像から高周波成分を抽出する高周波成分抽出手段とをさらに備え、
前記係数算出手段は、前記輝度レベルに相当する前記低周波成分のレベルに応じて前記コアリング係数を算出し、
前記コアリング処理手段は、前記低周波成分のレベルに応じて算出されたコアリング係数に基づいて前記高周波成分に対するコアリング処理を行うことを特徴とする請求項１記載の撮像装置。 The noise removing means is
Low frequency component extraction means for extracting a low frequency component from the captured image;
A high frequency component extracting means for extracting a high frequency component from the photographed image;
The coefficient calculating means calculates the coring coefficient according to a level of the low frequency component corresponding to the luminance level,
The coring processing unit, the image pickup apparatus according to claim 1, characterized in that the coring processing for the high frequency component based on the coring coefficient calculated according to the level of the low frequency components.
前記撮影画像から反射率成分を抽出する反射率成分抽出手段とをさらに備え、
前記係数算出手段は、前記輝度レベルに相当する前記照明成分のレベルに応じて前記コアリング係数を算出し、
前記コアリング処理手段は、前記照明成分のレベルに応じて算出されたコアリング係数に基づいて前記反射率成分に対するコアリング処理を行うことを特徴とする請求項１記載の撮像装置。 Illumination component extraction means for extracting an illumination component from the captured image;
A reflectance component extracting means for extracting a reflectance component from the photographed image;
The coefficient calculating means calculates the coring coefficient according to a level of the illumination component corresponding to the luminance level,
The coring processing unit, an imaging apparatus according to claim 1, characterized in that the coring processing for the reflectance component based on the coring coefficient calculated in accordance with the level of the illumination component.
前記係数算出手段は、高輝度側特性に対する前記コアリング係数として、前記階調変換後のノイズ量が該高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数を算出することを特徴とする請求項１〜３のいずれかに記載の撮像装置。 In the plurality of different photoelectric conversion characteristics,
The coefficient calculating means calculates a coring coefficient as the coring coefficient for the high luminance side characteristic so that the noise amount after the gradation conversion is equal in the low luminance part and the high luminance part in the high luminance side characteristic. The imaging device according to any one of claims 1 to 3 , wherein
当該情報処理装置によって前記撮影画像に対する前記ノイズ除去を行うことを特徴とする請求項１〜６のいずれかに記載の撮像装置。
A predetermined information processing apparatus configured to be able to exchange image data with the imaging apparatus main body using predetermined data transfer means;
The imaging apparatus according to any one of claims 1 to 6, characterized in that the noise removal with respect to the photographed image by the information processing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005276299A JP4696812B2 (en) | 2005-09-22 | 2005-09-22 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005276299A JP4696812B2 (en) | 2005-09-22 | 2005-09-22 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007088913A JP2007088913A (en) | 2007-04-05 |
| JP4696812B2 true JP4696812B2 (en) | 2011-06-08 |
Family
ID=37975441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005276299A Expired - Fee Related JP4696812B2 (en) | 2005-09-22 | 2005-09-22 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4696812B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5034003B2 (en) * | 2007-06-25 | 2012-09-26 | オリンパス株式会社 | Image processing device |
| EP2187620B1 (en) * | 2007-07-26 | 2014-12-24 | Omron Corporation | Digital image processing and enhancing system and method with function of removing noise |
| WO2009050841A1 (en) * | 2007-10-17 | 2009-04-23 | Nikon Corporation | Focusing measurement device, focusing measurement method, and program |
| JP5003406B2 (en) * | 2007-10-17 | 2012-08-15 | 株式会社ニコン | Focus measurement device, focus measurement method and program |
| JP5682346B2 (en) * | 2011-02-02 | 2015-03-11 | 日産自動車株式会社 | Camera device |
| JP6303816B2 (en) * | 2014-05-28 | 2018-04-04 | 富士ゼロックス株式会社 | Image processing apparatus and program |
| EP3319013A1 (en) * | 2016-11-03 | 2018-05-09 | Thomson Licensing | Method and device for estimating cast shadow regions and/or highlight regions in images |
| JP7329932B2 (en) * | 2019-02-27 | 2023-08-21 | キヤノン株式会社 | Image processing device, image processing method, and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04364679A (en) * | 1991-06-12 | 1992-12-17 | Hitachi Ltd | Solid-state image pickup device |
| JP2002300476A (en) * | 2001-03-29 | 2002-10-11 | Minolta Co Ltd | Imaging device |
| JP2004048562A (en) * | 2002-07-15 | 2004-02-12 | Fuji Photo Film Co Ltd | Noise reduction circuit and imaging apparatus |
| JP2004287794A (en) * | 2003-03-20 | 2004-10-14 | Minolta Co Ltd | Image processor |
-
2005
- 2005-09-22 JP JP2005276299A patent/JP4696812B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04364679A (en) * | 1991-06-12 | 1992-12-17 | Hitachi Ltd | Solid-state image pickup device |
| JP2002300476A (en) * | 2001-03-29 | 2002-10-11 | Minolta Co Ltd | Imaging device |
| JP2004048562A (en) * | 2002-07-15 | 2004-02-12 | Fuji Photo Film Co Ltd | Noise reduction circuit and imaging apparatus |
| JP2004287794A (en) * | 2003-03-20 | 2004-10-14 | Minolta Co Ltd | Image processor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007088913A (en) | 2007-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7898583B2 (en) | Image processing device, image processing method, and image sensing apparatus | |
| JP4696812B2 (en) | Imaging device | |
| US7444075B2 (en) | Imaging device, camera, and imaging method | |
| JP4893042B2 (en) | Imaging device | |
| JP2005175517A (en) | Control method and signal processing method of semiconductor device, and semiconductor device and electronic apparatus | |
| WO2013039061A1 (en) | Imaging device, imaging method and recording medium | |
| WO2008056565A1 (en) | Image picking-up system and image processing program | |
| JP2008165312A (en) | Image processor and image processing method | |
| US10368017B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| JP2004297546A (en) | Imaging unit | |
| JP2008113337A (en) | Imaging apparatus | |
| JP2019110430A (en) | Control apparatus, imaging apparatus, control method, and program | |
| US20060268127A1 (en) | Image pickup apparatus | |
| JP5115602B2 (en) | Semiconductor device and control method thereof | |
| JP4736792B2 (en) | Imaging apparatus and image processing method used therefor | |
| JP2006050541A (en) | Imaging apparatus | |
| JP5115601B2 (en) | Semiconductor device and control method thereof | |
| US10425602B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| JP2007180718A (en) | Imaging device, imaging system, and imaging method | |
| JP2008219230A (en) | Imaging apparatus, and image processing method | |
| JP2009290795A (en) | Image processor, image processing method, image processing program, recording medium, and electronic information device | |
| KR101408359B1 (en) | Imaging apparatus and imaging method | |
| JP2016192707A (en) | Imaging element, imaging method and program | |
| JP2015109502A (en) | Image sensor and operation method of image sensor, imaging apparatus, electronic apparatus and program | |
| JP2006020279A (en) | Image pickup device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100811 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110214 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |