JP5087474B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5087474B2 JP5087474B2 JP2008145697A JP2008145697A JP5087474B2 JP 5087474 B2 JP5087474 B2 JP 5087474B2 JP 2008145697 A JP2008145697 A JP 2008145697A JP 2008145697 A JP2008145697 A JP 2008145697A JP 5087474 B2 JP5087474 B2 JP 5087474B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance signal
- luminance
- photoelectric conversion
- signal
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
本発明は、光のそれぞれ異なる色成分を検出する少なくとも3種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置に関する。 The present invention relates to an imaging apparatus having an imaging element including at least three types of color detection photoelectric conversion elements that detect different color components of light and a luminance detection photoelectric conversion element that detects a luminance component of light.
特許文献1には、シリコン基板上に、光の輝度成分を検出する感光素子を正方格子状に配列した第1の感光素子群と、光の色相成分を検出する感光素子を正方格子状に配列した第2の感光素子群とを互いに隣接する位置にずらして配置して、いわゆるハニカム状の配列パターンを形成した撮像素子が開示されている。
In
特許文献1に開示された撮像素子で画像データを生成しようとすると、各感光素子に対応させて輝度信号を生成する必要がある。この場合、第1の感光素子群の感光素子に対応する輝度信号は、その感光素子から得られた信号(信号Aとする)そのものを使うことができる。一方、第2の感光素子群の感光素子に対応する輝度信号は、その感光素子から得られた信号と、その周囲にある第2の感光素子群の感光素子から得られた信号とから生成した信号(信号Bとする)を使う必要がある。
When image data is to be generated by the image sensor disclosed in
しかし、第1の感光素子群の感光素子と第2の感光素子群の感光素子の感光素子とは、それぞれ分光特性が異なるため、被写体色や光源によって互いの相関性が崩れてしまう。この結果、信号Aと信号Bにはレベル差が生じてしまい、このレベル差が輝度ノイズとなってしまう。 However, the photosensitive elements of the first photosensitive element group and the photosensitive elements of the second photosensitive element group have different spectral characteristics, so that the correlation between the photosensitive element and the light source is lost depending on the subject color and the light source. As a result, a level difference occurs between the signal A and the signal B, and this level difference becomes luminance noise.
本発明は、上記事情に鑑みてなされたものであり、輝度ノイズを低減することが可能な撮像装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging apparatus capable of reducing luminance noise.
本発明の撮像装置は、それぞれ異なる光の色成分を検出する少なくとも3種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置であって、前記少なくとも3種類の色検出用光電変換素子の各々から得られる色信号から、前記色検出用光電変換素子に対応する第1の輝度信号を生成する第1の輝度信号生成手段と、各光電変換素子に対応する画素データを構成する輝度信号を生成するために、前記第1の輝度信号と前記輝度検出用光電変換素子から得られた前記輝度検出用光電変換素子に対応する第2の輝度信号とのうち少なくとも前記第2の輝度信号を、前記色信号に基づいて補正する補正手段とを備える。 An image pickup apparatus according to the present invention includes an image pickup element including at least three types of color detection photoelectric conversion elements that detect different color components of light and a luminance detection photoelectric conversion element that detects a luminance component of light. A first luminance signal generating means for generating a first luminance signal corresponding to the color detecting photoelectric conversion element from color signals obtained from each of the at least three types of color detecting photoelectric conversion elements; In order to generate a luminance signal constituting pixel data corresponding to each photoelectric conversion element, the first luminance signal and the luminance detection photoelectric conversion element corresponding to the luminance detection photoelectric conversion element obtained from the luminance detection photoelectric conversion element are generated. Correction means for correcting at least the second luminance signal of the two luminance signals based on the color signal.
本発明の撮像装置は、前記補正手段が、前記第2の輝度信号と前記第1の輝度信号の各々に対してフィルタ処理を行うフィルタ処理手段であり、前記フィルタ処理手段は、処理対象となる輝度信号に対し、前記処理対象となる輝度信号に乗じる係数と前記処理対象となる輝度信号に近接する当該輝度信号とは異なる種類の輝度信号に乗じる係数の和とが一致するフィルタ処理を行う。 In the imaging apparatus according to the aspect of the invention, the correction unit is a filter processing unit that performs a filtering process on each of the second luminance signal and the first luminance signal, and the filtering unit is a processing target. Filter processing is performed on the luminance signal so that a coefficient to be multiplied by the luminance signal to be processed matches a sum of coefficients to be multiplied by a different type of luminance signal from the luminance signal adjacent to the luminance signal to be processed.
本発明の撮像装置は、前記第1の輝度信号生成手段が、前記少なくとも3種類の色信号を所定の輝度生成係数で重み付け加算して前記第1の輝度信号を生成するものであり、前記第1の輝度信号生成手段が、前記第2の輝度信号のフィルタ処理後の輝度信号と、前記所定の輝度生成係数を前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値としたときの前記第1の輝度信号との差が最小となるような輝度生成係数で、前記第1の輝度信号を生成する。 In the imaging apparatus of the present invention, the first luminance signal generation unit generates the first luminance signal by weighting and adding the at least three color signals with a predetermined luminance generation coefficient. A first luminance signal generation unit that generates image data using only the luminance signal after filtering the second luminance signal and the color signal obtained from the color detection photoelectric conversion element using the predetermined luminance generation coefficient; The first luminance signal is generated with a luminance generation coefficient that minimizes the difference from the first luminance signal when the value is set to an optimal value.
本発明の撮像装置は、前記第1の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、前記第1の輝度信号の生成前に、撮影感度を決定するために前記第1の輝度信号を構成する色信号のレベルを調整するレベル調整手段を備え、前記レベル調整手段が、前記第2の輝度信号のフィルタ処理後の輝度信号と前記最適な輝度生成係数で生成された前記第1の輝度信号との差が最小となるようなゲインを用いて、前記色信号のレベルを調整する。 In the imaging apparatus of the present invention, the first luminance signal generation unit sets the predetermined luminance generation coefficient to an optimum value when generating image data only with a color signal obtained from the color detection photoelectric conversion element. Setting level adjustment means for adjusting a level of a color signal constituting the first luminance signal in order to determine photographing sensitivity before setting and generating the first luminance signal, and the level adjustment means includes the level adjustment means, The level of the color signal is adjusted using a gain that minimizes the difference between the luminance signal after filtering the second luminance signal and the first luminance signal generated with the optimum luminance generation coefficient. To do.
本発明の撮像装置は、前記差が最小となるような輝度生成係数を被写体光源毎に記憶する記憶手段を備え、前記第1の輝度信号生成手段が、前記記憶手段に記憶されている被写体光源に応じた前記輝度生成係数を用いて前記第1の輝度信号を生成する。 The image pickup apparatus of the present invention includes a storage unit that stores a luminance generation coefficient that minimizes the difference for each subject light source, and the first luminance signal generation unit stores the subject light source stored in the storage unit. The first luminance signal is generated using the luminance generation coefficient according to the above.
本発明の撮像装置は、前記差が最小となるようなゲインを被写体光源毎に記憶する記憶手段を備え、前記レベル調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記ゲインを用いて前記色信号のレベルを調整する。 The image pickup apparatus of the present invention includes storage means for storing a gain that minimizes the difference for each subject light source, and the level adjustment means sets the gain according to the subject light source stored in the storage means. To adjust the level of the color signal.
本発明の撮像装置は、前記第1の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、前記第2の輝度信号のフィルタ処理後の輝度信号と前記第1の輝度信号生成手段で生成される前記第1の輝度信号との差が最小となるように、前記第2の輝度信号を調整する調整手段を備える。 In the imaging apparatus of the present invention, the first luminance signal generation unit sets the predetermined luminance generation coefficient to an optimum value when generating image data only with a color signal obtained from the color detection photoelectric conversion element. The second luminance is set such that the difference between the luminance signal after filtering of the second luminance signal and the first luminance signal generated by the first luminance signal generating means is minimized. Adjustment means for adjusting the signal is provided.
本発明の撮像装置は、前記調整手段が、調整対象となる前記第2の輝度信号に対応する画素位置に前記少なくとも3種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも3つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第2の輝度信号に加算して前記調整を行う。 In the imaging apparatus according to the aspect of the invention, the adjustment unit may perform interpolation based on a color signal obtained from each of the at least three color detection photoelectric conversion elements at a pixel position corresponding to the second luminance signal to be adjusted. Adjustment data obtained by weighting and adding the generated at least three color signals with a predetermined coefficient is added to the second luminance signal to perform the adjustment.
本発明の撮像装置は、前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第2の輝度信号のレベルを調整する。 The image pickup apparatus of the present invention includes a storage unit that stores the predetermined coefficient that minimizes the difference for each subject light source, and the adjustment unit corresponds to the subject light source stored in the storage unit. The level of the second luminance signal is adjusted using a predetermined coefficient.
本発明の撮像装置は、前記第1の輝度信号生成手段が、前記少なくとも3種類の色信号を所定の輝度生成係数で重み付け加算して前記第1の輝度信号を生成するものであり、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、前記補正手段は、前記第2の輝度信号と前記第1の輝度信号生成手段で生成される前記第1の輝度信号との差が最小となるように、前記第2の輝度信号を調整する調整手段である。 In the imaging apparatus according to the aspect of the invention, the first luminance signal generation unit generates the first luminance signal by weighting and adding the at least three kinds of color signals with a predetermined luminance generation coefficient. Is set to an optimum value when image data is generated only with a color signal obtained from the color detecting photoelectric conversion element, and the correction means is configured to set the second luminance signal and the first luminance signal. Adjusting means for adjusting the second luminance signal so that a difference from the first luminance signal generated by the luminance signal generating means is minimized.
本発明の撮像装置は、前記調整手段が、調整対象となる前記第2の輝度信号に対応する画素位置に前記少なくとも3種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも3つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第2の輝度信号に加算して前記調整を行う。 In the imaging apparatus according to the aspect of the invention, the adjustment unit may perform interpolation based on a color signal obtained from each of the at least three color detection photoelectric conversion elements at a pixel position corresponding to the second luminance signal to be adjusted. Adjustment data obtained by weighting and adding the generated at least three color signals with a predetermined coefficient is added to the second luminance signal to perform the adjustment.
本発明の撮像装置は、前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第2の輝度信号のレベルを調整する。 The image pickup apparatus of the present invention includes a storage unit that stores the predetermined coefficient that minimizes the difference for each subject light source, and the adjustment unit corresponds to the subject light source stored in the storage unit. The level of the second luminance signal is adjusted using a predetermined coefficient.
本発明の撮像装置は、前記撮像素子が、前記色検出用光電変換素子からなる第1のグループと前記輝度検出用光電変換素子からなる第2のグループとを備え、前記第1のグループに含まれる各光電変換素子は、前記第2のグループに含まれる各光電変換素子の位置を基準にした場合に、前記第2のグループに含まれる各光電変換素子に前記第1のグループに含まれる1つの光電変換素子が隣接するように、前記基準の位置から所定の方向にずれた位置に配置されている。 In the imaging apparatus according to the aspect of the invention, the imaging element includes a first group including the color detection photoelectric conversion elements and a second group including the luminance detection photoelectric conversion elements, and is included in the first group. Each photoelectric conversion element included in the first group is included in each photoelectric conversion element included in the second group when the position of each photoelectric conversion element included in the second group is used as a reference. The photoelectric conversion elements are arranged at positions shifted from the reference position in a predetermined direction so that they are adjacent to each other.
本発明によれば、輝度ノイズを低減することが可能な撮像装置を提供することができる。 According to the present invention, it is possible to provide an imaging device capable of reducing luminance noise.
以下、本発明の実施形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
(第一実施形態)
図1は、本発明の第一実施形態である撮像装置に搭載される撮像素子の概略平面模式図である。
図1に示す撮像素子10は、半導体基板上の行方向Xとこれに直交する列方向Yに正方格子状に配列された多数の光電変換素子(1,2,3)からなる第1のグループと、半導体基板上の行方向Xと列方向Yに正方格子状に配列された多数の光電変換素子(4)からなる第2のグループとを備える。第1のグループを構成する光電変換素子と第2のグループを構成する光電変換素子との数は同一となっている。
(First embodiment)
FIG. 1 is a schematic plan view of an image pickup element mounted on the image pickup apparatus according to the first embodiment of the present invention.
The
第1のグループに含まれる各光電変換素子は、第2のグループに含まれる各光電変換素子4の位置を基準にした場合に、第2のグループに含まれる各光電変換素子4に第1のグループに含まれる1つの光電変換素子が隣接するように、該基準の位置から所定の方向(図1の例では、斜め左上45度の方向)にずれた位置に配置されており、全ての光電変換素子がいわゆるハニカム状に配列された構成となっている。
When each photoelectric conversion element included in the first group is based on the position of each
光電変換素子1〜4は、それぞれ同一構造となっており、それぞれの受光面上方に形成されるフィルタによって、それぞれの検出する光の成分が異なるものとなっている。
The
光電変換素子1は、光の赤色(R)成分を透過するRカラーフィルタが受光面上に形成されており、これにより、光のR成分を検出する光電変換素子として機能する。光電変換素子2は、光の緑色(G)成分を透過するGカラーフィルタが受光面上に形成されており、これにより、光のG成分を検出する光電変換素子として機能する。光電変換素子3は、光の青色(B)成分を透過するBカラーフィルタが受光面上に形成されており、これにより、光のB成分を検出する光電変換素子として機能する。光電変換素子4は、光の輝度成分と相関のある分光特性を持った輝度フィルタが受光面上に形成されており、これにより、光の輝度成分を検出する光電変換素子として機能する。
The
輝度フィルタは、NDフィルタや、透明フィルタ、白色フィルタ、グレーのフィルタ等が該当するが、光電変換素子4の受光面の上方に何も設けずに光が直接受光面に入射する構成も、輝度フィルタを設けたということができる。
The brightness filter corresponds to an ND filter, a transparent filter, a white filter, a gray filter, or the like, but the configuration in which light is directly incident on the light receiving surface without providing anything above the light receiving surface of the
第1のグループの各光電変換素子の受光面上方に形成されたカラーフィルタはベイヤー配列となっている。つまり、第1のグループの各光電変換素子は、光電変換素子1と光電変換素子2とがこの順番でX方向に交互に配列されたRG光電変換素子行と、光電変換素子2と光電変換素子3とがこの順番でX方向に交互に配列されたGB光電変換素子行とが、Y方向に交互に配列された配置となっている。
The color filters formed above the light receiving surfaces of the photoelectric conversion elements of the first group are in a Bayer array. That is, each photoelectric conversion element of the first group includes an RG photoelectric conversion element row in which the
以下では、光電変換素子1から得られる赤色成分の撮像信号をR信号、光電変換素子2から得られる緑色成分の撮像信号をG信号、光電変換素子3から得られる青色成分の撮像信号をB信号、光電変換素子4から得られる輝度成分の撮像信号を輝度信号Ywと言う。
In the following description, the red component imaging signal obtained from the
図2は、本発明の第一実施形態である撮像装置の概略構成を示すブロック図である。
図2に示す撮像装置は、図1に示した撮像素子10と、撮像素子10から出力されるアナログ信号に所定のアナログ信号処理及びデジタル変換処理を行うAFE11と、1つの撮像点にRGB3色の色信号を持たせる同時化処理を行う同時化処理部12と、輝度信号生成部13と、色差信号生成部14と、フィルタ処理部15と、ハニカム配置となっている画素データを正方配置に変換するハニカム→正方変換部16とを備える。
FIG. 2 is a block diagram showing a schematic configuration of the imaging apparatus according to the first embodiment of the present invention.
The image pickup apparatus shown in FIG. 2 includes the
AFE11は、R信号、G信号、及びB信号の各々に一律のゲインを乗じて、各信号のレベルを調整するレベル調整処理も行う。このレベルを調整するためのゲインは、設定された撮影感度(ISO)に応じて最適な値が予め決められており、AFE11は、設定されたISO感度に応じたゲインを各信号に乗じることで、レベル調整を行う。 The AFE 11 also performs level adjustment processing for adjusting the level of each signal by multiplying each of the R signal, G signal, and B signal by a uniform gain. The gain for adjusting the level is determined in advance according to the set photographing sensitivity (ISO), and the AFE 11 multiplies each signal by the gain corresponding to the set ISO sensitivity. Adjust the level.
同時化処理部12は、AFE11から出力される撮像信号から、メモリ上の光電変換素子1〜4の各々に対応する画素位置に、該各々からは得られない色信号を、該各々の周囲の光電変換素子から得られた色信号を用いて補間生成する同時化処理を行う。
The
例えば、光電変換素子1に対応する画素位置には、該光電変換素子1の周囲にある光電変換素子2,3から得られたG信号とB信号を用いてG信号及びB信号を補間生成し、光電変換素子2に対応する画素位置には、該光電変換素子2の周囲にある光電変換素子1,3から得られたR信号とB信号を用いてR信号及びB信号を補間生成し、光電変換素子3に対応する画素位置には、該光電変換素子3の周囲にある光電変換素子1,2から得られたR信号とG信号を用いてR信号及びG信号を補間生成し、光電変換素子4に対応する画素位置には、該光電変換素子4の周囲にある光電変換素子1,2,3から得られたR信号とG信号とB信号を用いてR信号、G信号、及びB信号を補間生成する。
For example, at the pixel position corresponding to the
輝度信号生成部13は、第1のグループの各光電変換素子に対応する画素位置に生成されたR信号、G信号、及びB信号を、下記式(1)に示すように、所定の係数(α、β、γ)で重み付け加算して、該画素位置に対応する輝度信号Yrgbを生成する。
輝度信号Yrgb=α×R信号+β×G信号+γ×B信号・・・(1)
The luminance
Luminance signal Y rgb = α × R signal + β × G signal + γ × B signal (1)
この係数α、β、γは、第1のグループのみから色信号を出力させて、該色信号に基づいて画像データを生成する場合に最適な値が用いられる。第1のグループのみから色信号を出力させて、該色信号に基づいて画像データを生成する場合というのは、ベイヤー配列の公知の単板式撮像素子から得られる信号に基づいて画像データを生成する場合と同じである。つまり、この最適な値とは、ベイヤー配列の公知の単板式撮像素子から得られる信号に基づいて画像データを生成する際にR信号、G信号、及びB信号から輝度信号を生成する際に使用する一般的な係数(α=0.3、β=0.59、γ=0.11)のことである。 The coefficients α, β, and γ are optimal values when color signals are output only from the first group and image data is generated based on the color signals. In the case where color signals are output only from the first group and image data is generated based on the color signals, the image data is generated based on signals obtained from a well-known single-plate image sensor with a Bayer array. Same as the case. In other words, this optimal value is used when generating a luminance signal from the R signal, G signal, and B signal when generating image data based on a signal obtained from a known single-plate image sensor with a Bayer array. This is a general coefficient (α = 0.3, β = 0.59, γ = 0.11.).
輝度信号生成部13での輝度信号生成処理により、メモリ上には、図1に示した各光電変換素子に対応する画素位置に図3に示すようなデータが記憶された状態となる。図3に示すように、光電変換素子1,2,3の各々に対応する画素位置には輝度信号生成部13で生成された輝度信号Yrgbが配置され、光電変換素子4に対応する画素位置には該光電変換素子4から得られた信号そのものである輝度信号Ywが配置された状態となっている。
As a result of the luminance signal generation processing in the luminance
フィルタ処理部15は、図3に示した各画素位置にある輝度信号に対し、該輝度信号に乗じる係数と該輝度信号に近接する該輝度信号とは異なる種類の輝度信号に乗じる係数の和とが一致するフィルタ処理を行う。このようなフィルタ処理を行うためのフィルタ係数としては例えば図4に示したようなものを用いることができる。
The
例えば、図3の輝度信号Ywをフィルタ処理対象とした場合は、図4に示すフィルタ係数により、下記式(2)のようなフィルタ演算を行って、輝度信号Yw’を生成する。この輝度信号Yw’は、光電変換素子4に対応する画素データを構成するデータの1つとなる。
Yw’=(4×Yw+1×Yrgb+1×Yrgb+1×Yrgb+1×Yrgb)/(4+1+1+1+1)=0.5Yw+0.5Yrgb ・・・(2)
For example, if the luminance signal Y w in FIG. 3 the filter processing target, the filter coefficients shown in FIG. 4, by performing a filtering operation such as the following formula (2), and generates a luminance signal Y w '. The luminance signal Y w ′ is one of data constituting pixel data corresponding to the
Y w ′ = (4 × Y w + 1 × Y rgb + 1 × Y rgb + 1 × Y rgb + 1 × Y rgb ) / (4 + 1 + 1 + 1 + 1) = 0.5 Y w +0.5 Y rgb (2)
同様に、図3の輝度信号Yrgbをフィルタ処理対象とした場合は、図4に示すフィルタ係数により、下記式(3)のようなフィルタ演算を行って、輝度信号Yrgb’を生成する。この輝度信号Yrgb’は、光電変換素子1,2,3の各々に対応する画素データを構成するデータの1つとなる。
Yrgb’=(4×Yrgb+1×Yw+1×Yw+1×Yw+1×Yw)/(4+1+1+1+1)=0.5Yrgb+0.5Yw ・・・(3)
Similarly, when the luminance signal Y rgb in FIG. 3 is a filter processing target, the luminance signal Y rgb ′ is generated by performing a filter operation such as the following equation (3) using the filter coefficient shown in FIG. The luminance signal Y rgb ′ is one of data constituting pixel data corresponding to each of the
Y rgb ′ = (4 × Y rgb + 1 × Y w + 1 × Y w + 1 × Y w + 1 × Y w ) / (4 + 1 + 1 + 1 + 1) = 0.5Y rgb + 0.5Y w (3)
式(2)、(3)から分かるように、このようなフィルタ処理を行うことで、図1に示す各光電変換素子に対応する画素データを構成する輝度信号を、輝度信号生成部13によって生成した輝度信号Yrgbと光電変換素子4から得られた輝度信号Ywとを1:1の割合で混合したレベルにすることができる。このことを説明したのが図5である。
As can be seen from the equations (2) and (3), the luminance
図5に示すように、フィルタ処理を行う前の状態では、光電変換素子4に対応する輝度信号Ywと光電変換素子1,2,3の各々に対応する輝度信号Yrgbとのレベルには差が生じている。フィルタ処理後は、図中の一点鎖線で示したように、各光電変換素子に対応する輝度信号が平均化されるため、光電変換素子4に対応する画素位置と光電変換素子1〜3に対応する画素位置とで輝度レベル差がなくなる。このため、輝度ノイズを低減することができる。
As shown in FIG. 5, in the state before performing the filtering process, the levels of the luminance signal Y w corresponding to the
色差信号生成部14は、光電変換素子1〜3の各々に対応する画素位置に生成されたR信号、G信号、B信号から色差信号Crgbを生成し、光電変換素子4に対応する画素位置に生成されたR信号、G信号、B信号から色差信号Cwを生成する。これにより、光電変換素子4に対応する画素位置には、輝度信号Yw’及び色差信号Cwからなる画素データが存在し、光電変換素子1〜3の各々に対応する画素位置には、輝度信号Yrgb’及び色差信号Crgbからなる画素データが存在することになる。
The color difference
ハニカム→正方変換部16は、図1の各光電変換素子に対応する画素位置にある画素データから、各光電変換素子同士の間の領域に画素データを補間する処理を行って、ハニカム状の画素データからなる画像データを、正方格子状の画素データからなる画像データに変換して、解像度向上を図るものである。ここで変換された画像データは、圧縮されて記録メディアに記録されたり、RGB信号に変換されて表示装置に表示されたりする。
The honeycomb-to-
また、ハニカム→正方変換をフィルタ処理により構成することで、輝度ノイズ低減フィルタとすることも可能である。例えばハニカム状の画素データの隙間に画素データの補間を行って正方格子状の画素データを生成する場合、信号が存在する実画素位置では図4に示すフィルタ処理を行って画素データを生成し、信号が存在していない虚画素位置では、隣接する上下左右の信号を加算平均して画素データを生成することで、実画素位置の画素データ及び虚画素位置の画素データのそれぞれを構成する輝度信号を、輝度信号Ywと輝度信号Yrgbとを1:1の割合で混合したレベルにすることが可能となる。これにより、フィルタ回路の削減によるメモリ等のコスト削減効果が期待できる。 Moreover, it is possible to obtain a luminance noise reduction filter by configuring the honeycomb-to-square conversion by filter processing. For example, when pixel data is generated by interpolating pixel data in the gap between the honeycomb-shaped pixel data, the pixel data is generated by performing the filter processing shown in FIG. 4 at the actual pixel position where the signal exists, In the imaginary pixel position where no signal exists, the luminance signal that constitutes each of the pixel data at the real pixel position and the pixel data at the imaginary pixel position by generating pixel data by averaging the adjacent vertical and horizontal signals. Can be set to a level in which the luminance signal Yw and the luminance signal Y rgb are mixed at a ratio of 1: 1. Thereby, the cost reduction effect of memory etc. by reduction of a filter circuit can be expected.
以上のように、本実施形態の撮像装置によれば、色成分を検出する光電変換素子1,2,3から得られた色信号から生成する輝度信号Yrgbと、輝度成分を検出する光電変換素子4から得られた輝度信号Ywとをそのまま用いて画像データを生成するのではなく、これらを平均化した輝度信号Yw’及び輝度信号Yrgb’を用いて画像データを生成することができる。このため、光電変換素子1,2,3と光電変換素子4との分光特性の差に起因する輝度ノイズを低減することができる。このような信号処理を採用することで、第1のグループのみから信号を読み出して画像データを生成するときよりも解像度を増大させることができ、且つ、画質も向上させることができる。
As described above, according to the imaging apparatus of the present embodiment, the luminance signal Y rgb generated from the color signal obtained from the
尚、以上の説明では、第1のグループに含まれる多数の光電変換素子が、RGBの3つの異なる色成分を検出する光電変換素子からなるものとしたが、これらの色成分はRGBの原色系に限らず、補色系の色やその他の色であっても良い。又、色成分の数についても、3つに限らず、4つ以上であっても良い。 In the above description, a large number of photoelectric conversion elements included in the first group are composed of photoelectric conversion elements that detect three different color components of RGB, but these color components are RGB primary color systems. However, the color may be a complementary color or other colors. Also, the number of color components is not limited to three and may be four or more.
(第二実施形態)
第一実施形態の撮像装置では、フィルタ処理を行うことにより、輝度レベル差を無くすことが可能である。一方で、輝度の再現性という観点では、フィルタ処理によって得られた輝度信号のレベルが、上記最適な係数で求めた輝度信号Yrgbのレベルにできるだけ近いことが好ましい。
(Second embodiment)
In the image pickup apparatus according to the first embodiment, it is possible to eliminate the luminance level difference by performing the filtering process. On the other hand, from the viewpoint of luminance reproducibility, it is preferable that the level of the luminance signal obtained by the filter processing is as close as possible to the level of the luminance signal Y rgb obtained by the optimum coefficient.
これは、輝度信号Ywが撮像素子10の全光電変換素子のうちの半分を占める光電変換素子4から得られたものであるため、輝度信号Ywの周波数特性(解像感)は輝度信号Yrgbよりも良好となるが、輝度再現性は輝度信号Yrgbよりも落ちるからである。上記フィルタ処理を行っただけでは、図5に示すように、このフィルタ処理によって得られた輝度信号Yw’と輝度信号Yrgbとの差Yerrが依然として残ってしまう。そこで、この差Yerrを可能な限り小さくすることで、輝度再現性を向上させることが可能となる。
This is because the luminance signal Y w is obtained from the
本実施形態の撮像装置では、図2に示した撮像装置の輝度信号生成部13が輝度信号を生成する際に用いる係数(α、β、γ)を、上記差Yerrが最小となるように最小二乗法等によって予め求めておき、図2に示した撮像装置の輝度信号生成部13が、この係数を用いて輝度信号Yrgbを生成することで、輝度再現性の向上を実現している。例えば、輝度信号生成部13で生成する輝度信号Yrgbのレベルを図5中の破線で示す位置まで低くしておくことで、フィルタ処理後の輝度信号Yw’を、上記最適な係数で求められた輝度信号Yrgbのレベルとほぼ同一にすることができ、この結果、輝度再現性を向上させることができる。上記差Yerrが最小となるような係数(α、β、γ)は、例えば、製品出荷前に、所定の画像を撮影して得られる信号から求めておくことが可能である。
In the imaging apparatus of the present embodiment, the coefficients (α, β, γ) used when the luminance
又は、図2に示した撮像装置において、上記係数(α、β、γ)は第一実施形態で説明したように最適な値のままとし、AFE11でのレベル調整時の各信号に乗じるゲインを、上記差Yerrが最小となるような値に変更しておくことでも、フィルタ処理後の輝度信号Yw’を、上記最適な係数で求められた輝度信号Yrgbのレベルに近づけることができ、この結果、輝度再現性を向上させることができる。上記差Yerrが最小となるようなゲインは、例えば、製品出荷前に、所定の画像を撮影して得られる信号から求めておくことが可能である。 Alternatively, in the imaging apparatus shown in FIG. 2, the coefficients (α, β, γ) are kept at optimum values as described in the first embodiment, and gains to be multiplied by the signals at the time of level adjustment in the AFE 11 are set. The luminance signal Y w ′ after the filter processing can be brought close to the level of the luminance signal Y rgb obtained with the optimum coefficient by changing to a value that minimizes the difference Y err. As a result, luminance reproducibility can be improved. The gain that minimizes the difference Y err can be obtained from, for example, a signal obtained by photographing a predetermined image before product shipment.
尚、図2には図示していないが、本実施形態の撮像装置には、輝度信号生成部13の前段に、R信号、G信号、及びB信号の各々にホワイトバランスゲインを乗じてホワイトバランスを補正するホワイトバランス補正部が設けられている。このホワイトバランスゲインは、色信号毎に異なり、又、被写体光源に応じて変化するものである。このため、ホワイトバランス補正部には、被写体光源毎に、異なるホワイトバランスゲインが記憶されている。
Although not shown in FIG. 2, the image pickup apparatus according to the present embodiment multiplies each of the R signal, the G signal, and the B signal by the white balance gain before the luminance
差Yerrを最小にするために、係数(α、β、γ)を変更する場合を例にすると、ホワイトバランスゲインが変更されれば、上記差Yerrも当然変化することになり、上記差Yerrが最小となるような係数(α、β、γ)も当然変化する。このため、撮像装置内には、上記差Yerrが最小となるような係数(α、β、γ)を被写体光源毎に記憶しておき、輝度信号生成部13が、設定された被写体光源に応じた係数を読み出して、輝度信号Yrgbの生成を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。
Taking the case where the coefficients (α, β, γ) are changed in order to minimize the difference Y err , if the white balance gain is changed, the difference Y err naturally also changes. Naturally, the coefficients (α, β, γ) that minimize Y err also change. For this reason, in the imaging apparatus, coefficients (α, β, γ) that minimize the difference Y err are stored for each subject light source, and the luminance
又、差Yerrを最小にするために、AFE11でのゲインを変更する場合を例にすると、ホワイトバランスゲインが変更されれば、上記差Yerrも当然変化することになり、上記差Yerrが最小となるようなゲインも当然変化する。このため、撮像装置内には、上記差Yerrが最小となるようなゲインを被写体光源毎に記憶しておき、輝度信号生成部13が、設定された被写体光源に応じたゲインを読み出して、輝度信号Yrgbの生成を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。
Further, in the case of changing the gain at the AFE 11 in order to minimize the difference Y err , if the white balance gain is changed, the difference Y err naturally changes, and the difference Y err Naturally, the gain that minimizes the value also changes. Therefore, a gain that minimizes the difference Y err is stored for each subject light source in the imaging device, and the luminance
(第三実施形態)
第二実施形態では、輝度信号生成部13で生成される輝度信号Yrgbのレベルを上記係数又はゲインを変えて調整することで、差Yerrを最小にすることを可能にしているが、本実施形態の撮像装置では、上記係数及びゲインは固定とし、輝度信号Ywのレベルを調整することで、差Yerrを最小にするようにしている。
(Third embodiment)
In the second embodiment, it is possible to minimize the difference Y err by adjusting the level of the luminance signal Y rgb generated by the luminance
図6は、本発明の第三実施形態である撮像装置の概略構成を示すブロック図である。図6において図2と同様の構成には同一符号を付してある。図6に示す撮像装置は、図2に示す撮像装置にYw調整部17を追加し、フィルタ処理部15をフィルタ処理部15’に変更したものである。
FIG. 6 is a block diagram illustrating a schematic configuration of an imaging apparatus according to the third embodiment of the present invention. In FIG. 6, the same components as those in FIG. The imaging apparatus shown in FIG. 6 is obtained by adding a Yw
フィルタ処理部15’は、フィルタ処理部15とほぼ同様の機能を有しており、フィルタ処理部15の機能と異なる点は、フィルタ処理対象となる輝度信号Ywが、Yw調整部17でレベル調整後の輝度信号Ywであることだけである。
The
Yw調整部17は、上記差Yerrが最小となるように、AFE11から出力された輝度信号Ywのレベルを下記式(4)による演算を行って調整するものである。
調整後の輝度信号Yw=調整前の輝度信号Yw+xR信号+yG信号+zB信号 ・・・(4)
Y w adjusting unit 17, so that the difference Y err is minimized, and adjusts the level of the luminance signal Y w output from AFE11 performing calculation by the following equation (4).
Before the luminance signal Y w = adjustment after adjustment luminance signal Y w + xR signal + yG signal + zB signal (4)
式(4)において、R信号、G信号、及びB信号は、同時化処理部12によって調整対象となる輝度信号Ywに対応する画素位置に補間生成された信号である。又、x、y、zは重み付け係数である。
In the formula (4), R signal, G signal, and B signal is a signal which has been interpolated generated pixel position corresponding to the luminance signal Y w to be adjusted by the
上記重み付け係数を、所定の画像を撮影したときに得られる信号から、レベル調整後の輝度信号Ywのフィルタ処理後の輝度信号Yw’と輝度信号Yrgbとの差が最小となるように予め求めおき、この係数を式(4)に代入して輝度信号Ywの調整を行う。Yrgbを構成するR,G,B信号によってYwを補正することで、Yrgbを構成するR,G,B信号によってYrgbを補正することと同等の効果が期待できる。 The weighting coefficient is set so that the difference between the luminance signal Y w ′ after filtering of the luminance signal Y w after level adjustment and the luminance signal Y rgb is minimized from the signal obtained when a predetermined image is captured. The luminance signal Yw is adjusted by calculating in advance and substituting this coefficient into the equation (4). R constituting the Y rgb, G, by B signal by correcting the Y w, R constituting the Y rgb, G, as effective as possible to correct the Y rgb by B signals can be expected.
このように、輝度信号Ywのレベルを事前に調整しておくことでも、輝度再現性を向上させることができる。 In this way, by previously adjusted in advance the level of the luminance signal Y w, it is possible to improve the luminance reproducibility.
本実施形態の撮像装置においても同様に、ホワイトバランス補正部が設けられている。つまり、ホワイトバランスゲインが変更されれば、上記差Yerrも当然変化することになり、上記差Yerrが最小となるような係数(x、y、z)も当然変化する。このため、撮像装置内には、上記差Yerrが最小となるような係数(x、y、z)を被写体光源毎に記憶しておき、Yw調整部17が、設定された被写体光源に応じた係数を読み出して、輝度信号Ywの調整を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。 Similarly, in the imaging apparatus of the present embodiment, a white balance correction unit is provided. That is, if the white balance gain is changed, the difference Y err naturally changes, and the coefficients (x, y, z) that minimize the difference Y err naturally change. Therefore, in the imaging apparatus, coefficients as the difference Y err is minimum (x, y, z) is stored for each object light source and, Y w adjustment section 17, the set object light source It reads the corresponding coefficients, it is preferable to adjust the luminance signal Y w. In this way, it is possible to cope with changes in the subject light source.
(第四実施形態)
第一〜第三実施形態では、フィルタ処理を行うことを前提にしているが、このフィルタ処理を省略しても、輝度信号Yrgbと輝度信号Ywのレベル差を少なくして、輝度ノイズ及び輝度再現性を向上させることが可能である。この場合の構成を以下で説明する。
(Fourth embodiment)
In the first to third embodiments, it is assumed that the filtering process is performed. However, even if this filtering process is omitted, the level difference between the luminance signal Y rgb and the luminance signal Y w is reduced to reduce the luminance noise and Luminance reproducibility can be improved. The configuration in this case will be described below.
図7は、本発明の第四実施形態である撮像装置の概略構成を示すブロック図である。図7において図6と同様の構成には同一符号を付してある。図7に示す撮像装置は、図6に示す撮像装置のYw調整部17をYw調整部18に変更し、フィルタ処理部15’を削除したものである。
FIG. 7 is a block diagram illustrating a schematic configuration of an imaging apparatus according to the fourth embodiment of the present invention. In FIG. 7, the same components as those in FIG. The imaging apparatus shown in FIG. 7 is obtained by changing the Yw
Yw調整部18は、AFE11から出力された輝度信号Ywと輝度信号生成部13から出力された該輝度信号Ywに近接する輝度信号Yrgbとの差(差Sとする)が最小となるように、AFE11から出力された輝度信号Ywのレベルを下記式(5)による演算を行って調整するものである。
調整後の輝度信号Yw=調整前の輝度信号Yw+xR信号+yG信号+zB信号 ・・・(5)
Y w adjusting unit 18, the difference between the luminance signal Y rgb adjacent to the luminance signal Y w output from the luminance signal Y w and a luminance
Before the luminance signal Y w = adjustment after adjustment luminance signal Y w + xR signal + yG signal + zB signal (5)
式(5)において、R信号、G信号、及びB信号は、同時化処理部12によって調整対象となる輝度信号Ywに対応する画素位置に補間生成された信号である。又、x、y、zは重み付け係数である。
In the formula (5), R signal, G signal, and B signal is a signal which has been interpolated generated pixel position corresponding to the luminance signal Y w to be adjusted by the
上記重み付け係数を、所定の画像を撮影したときに得られる信号から、上記差Sが最小となるように予め求めおき、この係数を式(5)に代入して輝度信号Ywの調整を行う。 The weighting coefficients, the signal obtained when photographing a predetermined image in advance determined in advance so that the difference S is minimized, to adjust the luminance signal Y w by substituting the coefficients in equation (5) .
色差信号生成部14は、輝度信号YrgbとR信号、G信号、B信号とから色差信号Crgbを生成し、調整後の輝度信号YwとR信号、G信号、B信号とから色差信号Cwを生成して出力する。尚、色差信号Cwについては、色差信号Crgbを用いた信号補間処理により生成しても良い。
The color difference
このように、フィルタ処理を行わずに、輝度信号Ywのレベルを事前に調整しておくだけでも、輝度ノイズの低減及び輝度再現性の向上を実現することができる。また、本実施形態の撮像装置によれば、フィルタ処理による解像低下を防ぐことができるという利点がある。 Thus, without performing filter processing, even simply by adjusting in advance the level of the luminance signal Y w, it is possible to realize a reduction and increase in luminance reproducibility of the luminance noise. Moreover, according to the imaging apparatus of this embodiment, there exists an advantage that the resolution fall by a filter process can be prevented.
本実施形態の撮像装置においても同様に、ホワイトバランス補正部が設けられている。つまり、ホワイトバランスゲインが変更されれば、上記差Sも当然変化することになり、上記差Sが最小となるような係数(x、y、z)も当然変化する。このため、撮像装置内には、上記差Sが最小となるような係数(x、y、z)を被写体光源毎に記憶しておき、Yw調整部18が、設定された被写体光源に応じた係数を読み出して、輝度信号Ywの調整を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。
Similarly, in the imaging apparatus of the present embodiment, a white balance correction unit is provided. That is, if the white balance gain is changed, the difference S naturally changes, and the coefficients (x, y, z) that minimize the difference S naturally change. Therefore, coefficients (x, y, z) that minimize the difference S are stored for each subject light source in the imaging apparatus, and the Yw
1〜3 色検出用光電変換素子
4 輝度検出用光電変換素子
13 輝度信号生成部
15 フィルタ処理部
1 to 3 Color detection
Claims (12)
前記少なくとも3種類の色検出用光電変換素子の各々から得られる色信号から、前記色検出用光電変換素子に対応する第1の輝度信号を生成する第1の輝度信号生成手段と、
各光電変換素子に対応する画素データを構成する輝度信号を生成するために、前記第1の輝度信号と前記輝度検出用光電変換素子から得られた前記輝度検出用光電変換素子に対応する第2の輝度信号とのうち少なくとも前記第2の輝度信号を、前記色信号に基づいて補正する補正手段とを備え、
前記補正手段が、前記第2の輝度信号と前記第1の輝度信号の各々に対してフィルタ処理を行うフィルタ処理手段であり、
前記フィルタ処理手段は、処理対象となる輝度信号に対し、前記処理対象となる輝度信号に乗じる係数と前記処理対象となる輝度信号に近接する当該輝度信号とは異なる種類の輝度信号に乗じる係数の和とが一致するフィルタ処理を行う撮像装置。 An imaging apparatus having an imaging element including at least three types of color detection photoelectric conversion elements that detect different color components of light and a luminance detection photoelectric conversion element that detects a luminance component of light,
First luminance signal generation means for generating a first luminance signal corresponding to the color detection photoelectric conversion element from color signals obtained from each of the at least three types of color detection photoelectric conversion elements;
In order to generate a luminance signal constituting pixel data corresponding to each photoelectric conversion element, a second corresponding to the luminance detection photoelectric conversion element obtained from the first luminance signal and the luminance detection photoelectric conversion element. Correction means for correcting at least the second luminance signal among the luminance signals based on the color signal ,
The correction means is filter processing means for performing filter processing on each of the second luminance signal and the first luminance signal;
The filter processing means has a coefficient for multiplying a luminance signal to be processed by a coefficient for multiplying the luminance signal to be processed and a luminance signal of a type different from the luminance signal adjacent to the luminance signal to be processed. An imaging apparatus that performs a filtering process in which the sum matches .
前記第1の輝度信号生成手段が、前記少なくとも3種類の色信号を所定の輝度生成係数で重み付け加算して前記第1の輝度信号を生成するものであり、
前記第1の輝度信号生成手段が、前記第2の輝度信号のフィルタ処理後の輝度信号と、前記所定の輝度生成係数を前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値としたときの前記第1の輝度信号との差が最小となるような輝度生成係数で、前記第1の輝度信号を生成する撮像装置。 The imaging apparatus according to claim 1 ,
The first luminance signal generating means generates the first luminance signal by weighting and adding the at least three kinds of color signals with a predetermined luminance generation coefficient;
The first luminance signal generation means generates image data only with the luminance signal after filtering the second luminance signal and the color signal obtained from the color detection photoelectric conversion element with the predetermined luminance generation coefficient. An imaging device that generates the first luminance signal with a luminance generation coefficient that minimizes a difference from the first luminance signal when an optimal value is obtained.
前記第1の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、
前記第1の輝度信号の生成前に、撮影感度を決定するために前記第1の輝度信号を構成する色信号のレベルを調整するレベル調整手段を備え、
前記レベル調整手段が、前記第2の輝度信号のフィルタ処理後の輝度信号と前記最適な輝度生成係数で生成された前記第1の輝度信号との差が最小となるようなゲインを用いて、前記色信号のレベルを調整する撮像装置。 The imaging apparatus according to claim 1 ,
The first luminance signal generation means sets the predetermined luminance generation coefficient to an optimal value when generating image data only with a color signal obtained from the color detection photoelectric conversion element,
Level adjustment means for adjusting the level of the color signal constituting the first luminance signal in order to determine the photographing sensitivity before the generation of the first luminance signal;
The level adjusting means uses a gain that minimizes a difference between the luminance signal after the filtering of the second luminance signal and the first luminance signal generated with the optimal luminance generation coefficient, An imaging apparatus for adjusting the level of the color signal.
前記差が最小となるような輝度生成係数を被写体光源毎に記憶する記憶手段を備え、
前記第1の輝度信号生成手段が、前記記憶手段に記憶されている被写体光源に応じた前記輝度生成係数を用いて前記第1の輝度信号を生成する撮像装置。 The imaging apparatus according to claim 2 ,
Storage means for storing a luminance generation coefficient that minimizes the difference for each subject light source;
An imaging apparatus in which the first luminance signal generation unit generates the first luminance signal using the luminance generation coefficient corresponding to a subject light source stored in the storage unit.
前記差が最小となるようなゲインを被写体光源毎に記憶する記憶手段を備え、
前記レベル調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記ゲインを用いて前記色信号のレベルを調整する撮像装置。 The imaging apparatus according to claim 3 ,
A storage unit that stores, for each subject light source, a gain that minimizes the difference;
An imaging apparatus in which the level adjusting unit adjusts the level of the color signal using the gain corresponding to the subject light source stored in the storage unit.
前記第1の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、
前記第2の輝度信号のフィルタ処理後の輝度信号と前記第1の輝度信号生成手段で生成される前記第1の輝度信号との差が最小となるように、前記第2の輝度信号を調整する調整手段を備える撮像装置。 The imaging apparatus according to claim 1 ,
The first luminance signal generation means sets the predetermined luminance generation coefficient to an optimal value when generating image data only with a color signal obtained from the color detection photoelectric conversion element,
The second luminance signal is adjusted so that a difference between the luminance signal after filtering the second luminance signal and the first luminance signal generated by the first luminance signal generating unit is minimized. An imaging apparatus comprising adjusting means for performing.
前記調整手段が、調整対象となる前記第2の輝度信号に対応する画素位置に前記少なくとも3種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも3つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第2の輝度信号に加算して前記調整を行う撮像装置。 The imaging apparatus according to claim 6 ,
At least three colors interpolated and generated by the adjustment means based on color signals obtained from each of the at least three color detection photoelectric conversion elements at pixel positions corresponding to the second luminance signal to be adjusted An imaging apparatus that performs adjustment by adding adjustment data obtained by weighted addition of a signal by a predetermined coefficient to the second luminance signal.
前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、
前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第2の輝度信号のレベルを調整する撮像装置。 The imaging apparatus according to claim 7 ,
Storage means for storing, for each subject light source, the predetermined coefficient that minimizes the difference,
An imaging apparatus in which the adjustment unit adjusts the level of the second luminance signal using the predetermined coefficient corresponding to the subject light source stored in the storage unit.
前記少なくとも3種類の色検出用光電変換素子の各々から得られる色信号から、前記色検出用光電変換素子に対応する第1の輝度信号を生成する第1の輝度信号生成手段と、
各光電変換素子に対応する画素データを構成する輝度信号を生成するために、前記第1の輝度信号と前記輝度検出用光電変換素子から得られた前記輝度検出用光電変換素子に対応する第2の輝度信号とのうち少なくとも前記第2の輝度信号を、前記色信号に基づいて補正する補正手段とを備え、
前記第1の輝度信号生成手段が、前記少なくとも3種類の色信号を所定の輝度生成係数で重み付け加算して前記第1の輝度信号を生成するものであり、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、
前記補正手段は、前記第2の輝度信号と前記第1の輝度信号生成手段で生成される前記第1の輝度信号との差が最小となるように、前記第2の輝度信号を調整する調整手段である撮像装置。 An imaging apparatus having an imaging element including at least three types of color detection photoelectric conversion elements that detect different color components of light and a luminance detection photoelectric conversion element that detects a luminance component of light,
First luminance signal generation means for generating a first luminance signal corresponding to the color detection photoelectric conversion element from color signals obtained from each of the at least three types of color detection photoelectric conversion elements;
In order to generate a luminance signal constituting pixel data corresponding to each photoelectric conversion element, a second corresponding to the luminance detection photoelectric conversion element obtained from the first luminance signal and the luminance detection photoelectric conversion element. Correction means for correcting at least the second luminance signal among the luminance signals based on the color signal,
The first luminance signal generation means generates the first luminance signal by weighting and adding the at least three kinds of color signals with a predetermined luminance generation coefficient, and the predetermined luminance generation coefficient Set to the optimum value when generating image data only with color signals obtained from the photoelectric conversion element for color detection,
The correction unit adjusts the second luminance signal so that a difference between the second luminance signal and the first luminance signal generated by the first luminance signal generating unit is minimized. An imaging apparatus as means.
前記調整手段が、調整対象となる前記第2の輝度信号に対応する画素位置に前記少なくとも3種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも3つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第2の輝度信号に加算して前記調整を行う撮像装置。 The imaging device according to claim 9 ,
At least three colors interpolated and generated by the adjustment means based on color signals obtained from each of the at least three color detection photoelectric conversion elements at pixel positions corresponding to the second luminance signal to be adjusted An imaging apparatus that performs adjustment by adding adjustment data obtained by weighted addition of a signal by a predetermined coefficient to the second luminance signal.
前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、
前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第2の輝度信号のレベルを調整する撮像装置。 The imaging apparatus according to claim 10 ,
Storage means for storing, for each subject light source, the predetermined coefficient that minimizes the difference,
An imaging apparatus in which the adjustment unit adjusts the level of the second luminance signal using the predetermined coefficient corresponding to the subject light source stored in the storage unit.
前記撮像素子が、前記色検出用光電変換素子からなる第1のグループと前記輝度検出用光電変換素子からなる第2のグループとを備え、
前記第1のグループに含まれる各光電変換素子は、前記第2のグループに含まれる各光電変換素子の位置を基準にした場合に、前記第2のグループに含まれる各光電変換素子に前記第1のグループに含まれる1つの光電変換素子が隣接するように、前記基準の位置から所定の方向にずれた位置に配置されている撮像装置。 The imaging apparatus of any one of claims 1 to 11,
The imaging device includes a first group consisting of the color detection photoelectric conversion elements and a second group consisting of the luminance detection photoelectric conversion elements,
When the photoelectric conversion elements included in the first group are based on the positions of the photoelectric conversion elements included in the second group, the photoelectric conversion elements included in the second group An image pickup apparatus arranged at a position shifted in a predetermined direction from the reference position so that one photoelectric conversion element included in one group is adjacent.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008145697A JP5087474B2 (en) | 2007-06-12 | 2008-06-03 | Imaging device |
US12/138,334 US8045022B2 (en) | 2007-06-12 | 2008-06-12 | Imaging apparatus for correcting a luminance signal |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007155309 | 2007-06-12 | ||
JP2007155309 | 2007-06-12 | ||
JP2008145697A JP5087474B2 (en) | 2007-06-12 | 2008-06-03 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009021988A JP2009021988A (en) | 2009-01-29 |
JP5087474B2 true JP5087474B2 (en) | 2012-12-05 |
Family
ID=40361174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008145697A Expired - Fee Related JP5087474B2 (en) | 2007-06-12 | 2008-06-03 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5087474B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5908902B2 (en) * | 2011-08-14 | 2016-04-26 | 富士フイルム株式会社 | Radiation image capturing apparatus and radiation image capturing method |
JP5868975B2 (en) * | 2011-08-14 | 2016-02-24 | 富士フイルム株式会社 | Radiation image capturing apparatus and radiation image capturing method |
JP5784448B2 (en) * | 2011-10-05 | 2015-09-24 | 富士フイルム株式会社 | Radiation image capturing apparatus and radiation image capturing method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3315138B2 (en) * | 1991-11-25 | 2002-08-19 | 株式会社日立製作所 | Solid-state imaging device |
JP3425161B2 (en) * | 1992-04-10 | 2003-07-07 | 日本テレビ放送網株式会社 | Simple TV camera |
JP3820608B2 (en) * | 1995-10-23 | 2006-09-13 | 日本ビクター株式会社 | Video signal processing circuit |
JP3562275B2 (en) * | 1997-12-04 | 2004-09-08 | 日本ビクター株式会社 | Luminance signal processing circuit in imaging device |
JP4159307B2 (en) * | 2002-04-23 | 2008-10-01 | 富士フイルム株式会社 | How to reproduce captured images |
JP4253634B2 (en) * | 2004-11-30 | 2009-04-15 | 富士フイルム株式会社 | Digital camera |
WO2006064564A1 (en) * | 2004-12-16 | 2006-06-22 | Fujitsu Limited | Imaging device, imaging element, and image processing method |
-
2008
- 2008-06-03 JP JP2008145697A patent/JP5087474B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009021988A (en) | 2009-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8125543B2 (en) | Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection | |
JP5222625B2 (en) | Imaging device | |
JP5054858B1 (en) | Color imaging device | |
JP4161295B2 (en) | Color imaging system that expands the dynamic range of image sensors | |
US8810697B2 (en) | Image pickup apparatus, image pickup element, and method for correcting sensitivity difference | |
US8144221B2 (en) | Image sensor apparatus and methods employing unit pixel groups with overlapping green spectral content | |
WO2012117616A1 (en) | Image pick-up device and defective pixel correction method | |
JP2008022521A (en) | Solid imaging element | |
US20080043115A1 (en) | Image Processing Device and Image Processing Program | |
US8045022B2 (en) | Imaging apparatus for correcting a luminance signal | |
WO2014073386A1 (en) | Signal processing device, signal processing method and signal processing program | |
JP4548390B2 (en) | Imaging apparatus and signal processing method | |
US7643073B2 (en) | Image apparatus and method and program for producing interpolation signal | |
JP2006135468A (en) | Pixel signal processing device and method therefor | |
JP5087474B2 (en) | Imaging device | |
JP4934991B2 (en) | Imaging signal processing apparatus and method, and imaging apparatus | |
US6747698B2 (en) | Image interpolating device | |
JP5033700B2 (en) | Imaging device | |
JP2006303774A (en) | Imaging apparatus | |
US7916188B2 (en) | Correction approximating straight line group information generating method of multi-divided reading CCD, and correction processing device manufacturing method of multi-divided reading CCD | |
JP4633413B2 (en) | Imaging apparatus and signal processing method | |
JP4334151B2 (en) | Image interpolation device | |
JP2009171378A (en) | Image pickup signal processing circuit, image pickup signal processing method, program and imaging apparatus | |
JPH1023439A (en) | Solid state color image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110208 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120605 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120814 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120910 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5087474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |