JP2009284010A - Image processor, imaging device, and image processing method - Google Patents

Image processor, imaging device, and image processing method Download PDF

Info

Publication number
JP2009284010A
JP2009284010A JP2008131021A JP2008131021A JP2009284010A JP 2009284010 A JP2009284010 A JP 2009284010A JP 2008131021 A JP2008131021 A JP 2008131021A JP 2008131021 A JP2008131021 A JP 2008131021A JP 2009284010 A JP2009284010 A JP 2009284010A
Authority
JP
Japan
Prior art keywords
value
light receiving
color signal
light
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008131021A
Other languages
Japanese (ja)
Inventor
Toru Sasaki
亨 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008131021A priority Critical patent/JP2009284010A/en
Publication of JP2009284010A publication Critical patent/JP2009284010A/en
Pending legal-status Critical Current

Links

Landscapes

  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To remove color noise apt to be generated when gradations are imaged using an imaging element having an expanded dynamic range. <P>SOLUTION: An image processor includes: a determination unit which determines whether photodetection values of a plurality of first and second photodetecting elements are in an effective area or saturation area; a first color signal calculation unit which calculates a first color signal value using photodetection values in the effective area and the saturation area among the photodetection values of the plurality of first and second photodetecting elements, and also calculates a second color signal value using photodetection values in the effective area among the photodetection values of the plurality of first and second photodetecting elements or the photodetection values in the effective area among the photodetection values of the plurality of first photodetecting elements; a mixing ratio calculation unit which calculates the mixing ratio of the first color signal value and the second color signal value based upon the photodetection values of the plurality of second photodetecting elements; and a second color signal calculation unit which calculates a color signal value of an image signal based upon the first color signal value, the second color signal value, and the mixing ratio. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、ダイナミックレンジを拡張した撮像素子を用いて生成される画像信号の色信号値を算出する画像処理技術に関する。   The present invention relates to an image processing technique for calculating a color signal value of an image signal generated using an image sensor with an extended dynamic range.

撮像素子を用いたデジタルスチルカメラにおいて、撮像素子のダイナミックレンジを拡張する方法として、特許文献１〜６に開示された方法がある。   In a digital still camera using an image sensor, there are methods disclosed in Patent Documents 1 to 6 as methods for extending the dynamic range of the image sensor.

特許文献１，２には、同色で透過率が異なる複数のカラーフィルタを用い、該複数のカラーフィルタの透過率差を利用する方法が開示されている。撮像素子への入射光の強度が弱い場合には、透過率の高いカラーフィルタを通した撮像素子の受光値を用い、入射光の強度が強い場合には、透過率の低いカラーフィルタを通した撮像素子の受光値（又は両者の加算値）を用いる。   Patent Documents 1 and 2 disclose a method in which a plurality of color filters having the same color and different transmittances are used, and a difference in transmittance between the plurality of color filters is used. When the intensity of the incident light to the image sensor is weak, the received light value of the image sensor through a color filter with high transmittance is used, and when the intensity of the incident light is strong, it passes through a color filter with low transmittance. The light receiving value of the image sensor (or the sum of both) is used.

特許文献３には、原色フィルタと補色フィルタを使用し、入射光の強度の強弱に対応させて、原色フィルタ及び補色フィルタにより形成される２つの像を切り替える方式が開示されている。   Patent Document 3 discloses a method of switching between two images formed by a primary color filter and a complementary color filter by using a primary color filter and a complementary color filter and corresponding to the intensity of incident light.

特許文献４には、補色系のカラーフィルタを用い、同色の透過率を指数関数的に４段階に減衰させることで、急激な輝度変化を抑える方法が開示されている。   Patent Document 4 discloses a method of suppressing a sudden luminance change by using a complementary color filter and attenuating the transmittance of the same color exponentially in four stages.

特許文献５には、撮像素子の開口サイズを変えることで該撮像素子の受光感度を制御できる特性を利用し、複数の開口形状を用いてダイナミックレンジを拡張する方法が開示されている。   Patent Document 5 discloses a method for extending the dynamic range using a plurality of aperture shapes by utilizing the characteristic that the light receiving sensitivity of the image sensor can be controlled by changing the aperture size of the image sensor.

特許文献６には、同一の受光部あるいは近傍の受光部における電荷蓄積時間を変化させて受光感度を制御できる特性を利用した方法が開示されている。   Patent Document 6 discloses a method using a characteristic that can control the light receiving sensitivity by changing the charge accumulation time in the same light receiving unit or a nearby light receiving unit.

一方、ダイナミックレンジの拡張によってノイズが増幅される問題が知られている。透過率の異なるカラーフィルタを用いてダイナミックレンジを拡張する場合を例として説明する。入射光の強度がやや強い場合（透過率の高いカラーフィルタを通した受光値が飽和し、透過率の低いカラーフィルタを通した受光値が小さい場合）は、透過率の低いカラーフィルタを通した受光値を用いて出力信号を生成しなければならない。   On the other hand, there is a known problem that noise is amplified by extending the dynamic range. A case where the dynamic range is extended using color filters having different transmittances will be described as an example. When the intensity of the incident light is slightly high (when the light reception value through the color filter with high transmittance is saturated and the light reception value through the color filter with low transmittance is small), the light is passed through the color filter with low transmittance. The output signal must be generated using the received light value.

受光値のＳ／Ｎ比は、光電変換に寄与する光子数の平方根に比例することが知られており（これを光ショットノイズの影響という）、光子数が多いほどＳ／Ｎ比が増加する。その結果、透過率の低いカラーフィルタを通した受光値は、透過率が高いカラーフィルタを通した受光値に比べてＳ／Ｎ比が低くなり、ノイズの多い出力信号が生成される。   It is known that the S / N ratio of the received light value is proportional to the square root of the number of photons contributing to photoelectric conversion (this is called the influence of light shot noise), and the S / N ratio increases as the number of photons increases. . As a result, the light reception value that has passed through the color filter with low transmittance has a lower S / N ratio than the light reception value that has passed through the color filter with high transmittance, and an output signal with much noise is generated.

このようなダイナミックレンジの拡張により増幅されるノイズを抑制する方法が特許文献７，８に開示されている。特許文献７にて開示された方法では、電荷蓄積量の多い信号と少ない信号を、それぞれ異なる周波数強調処理を施した上で合成し、電荷蓄積量の少ない信号に混入するノイズを抑制する。また、特許文献８にて開示された方法では、Ｒ，Ｇ，Ｂの原色系のカラーフィルタとＣｙ，Ｙｅの補色系カラーフィルタを用い、中及び低輝度域では上記５色の全てから色信号を生成することでノイズを抑制する。
特開２０００−０６９４９１号公報 特開２０００−２５３４１２号公報 特開２０００−３１５７８４号公報 特開２００３−１７９８１９号公報 特開２００５−２８６１０４号公報 特開２００６−０１４１１７号公報 特開２００１−３５２４８６号公報 特開２００６−２１１４７８号公報 Patent Documents 7 and 8 disclose methods for suppressing noise amplified by the expansion of the dynamic range. In the method disclosed in Patent Document 7, a signal with a large amount of charge accumulation and a signal with a small amount of charge are combined after performing different frequency emphasis processing to suppress noise mixed in the signal with a small amount of charge accumulation. In the method disclosed in Patent Document 8, R, G, B primary color filters and Cy, Ye complementary color filters are used, and color signals from all the above five colors are used in the middle and low luminance regions. By suppressing the noise.
JP 2000-066941 A JP 2000-253412 A JP 2000-315784 A JP 2003-179819 A JP-A-2005-286104 JP 2006-014117 A JP 2001-352486 A JP 2006-21478 A

しかしながら、広い範囲で強度が変化するグラデーションを撮像した場合、特許文献１〜８にて開示されたいずれの方法を用いても、中間階調において色ノイズが発生しやすい。中間階調に相当する強度の光が撮像素子に入射した場合、高感度受光部において電荷が飽和して、低感度受光部の出力に切り替わる。この際に、それぞれの受光部の受光特性の差がノイズとして視認される。   However, when a gradation in which the intensity changes over a wide range is imaged, color noise is likely to occur in intermediate gradations using any of the methods disclosed in Patent Documents 1 to 8. When light having an intensity corresponding to an intermediate gray level is incident on the image sensor, the charge is saturated in the high sensitivity light receiving unit, and the output is switched to the output of the low sensitivity light receiving unit. At this time, a difference in light receiving characteristics of the respective light receiving portions is visually recognized as noise.

特に、特許文献１、４及び６にて開示された方法では、入射光が強いときに、飽和していない受光値にバイアスを加算した値を出力値とする。このとき、露光調整が正確に行われていれば、他の方法に比べてノイズは目立ちにくい。しかし、露光調整を厳密に行わず、階調変換を施して画像を得る場合には、画像出力が入射光に対して線形の関係にないため、中間階調のノイズが不自然に増幅されてしまう。   In particular, in the methods disclosed in Patent Documents 1, 4, and 6, when the incident light is strong, a value obtained by adding a bias to a light reception value that is not saturated is used as an output value. At this time, if exposure adjustment is accurately performed, noise is less noticeable than other methods. However, when the image is obtained by performing gradation conversion without strictly adjusting the exposure, since the image output is not linearly related to the incident light, the intermediate gradation noise is unnaturally amplified. End up.

また、特許文献２にて開示された方法では、出力は入射光に対して線形であるが、光ショットノイズが増幅されやすい。光ショットノイズは、撮像素子に発生する主要なノイズとして知られている。光ショットノイズの大きさは、光電変換により発生する電荷の平方根に比例する。特許文献２に記載された撮像素子のように、感度が大きく異なる受光部を用いる場合は、隣接する画素値に含まれる光ショットノイズの大きさが著しく異なる。特許文献２にて開示された方法では、Ｓ／Ｎ比の差を考慮せずに画像合成を行っているため、中間階調の光が入射した場合にノイズが大きくなる。   In the method disclosed in Patent Document 2, the output is linear with respect to incident light, but light shot noise is easily amplified. Optical shot noise is known as main noise generated in an image sensor. The magnitude of light shot noise is proportional to the square root of the charge generated by photoelectric conversion. In the case of using light receiving portions having greatly different sensitivities as in the image sensor described in Patent Document 2, the magnitude of light shot noise included in adjacent pixel values is remarkably different. In the method disclosed in Patent Document 2, since image synthesis is performed without considering the difference in S / N ratio, noise is increased when light of intermediate gradation is incident.

また、特許文献３にて開示された方法では、原色系と補色系のカラーフィルタを組み合わせてダイナミックレンジ拡大を図っているが、原色系と補色系のカラーフィルタから得られる画像は再現色域が大きく異なる。このため、グラデーション撮影時に中間階調に色の境界が生じてしまう。   In the method disclosed in Patent Document 3, the dynamic range is expanded by combining primary color and complementary color filters, but the image obtained from the primary and complementary color filters has a reproduction color gamut. to differ greatly. For this reason, a color boundary occurs in the intermediate gradation during gradation shooting.

さらに、特許文献５にて開示された方法では、開口面積が異なる高感度受光部及び低感度受光部からの出力に対して別々に補間処理を行って２つの画像を生成し、２画像の加重平均を出力としている。この場合、ノイズを多く含んだ受光値や、飽和した受光値の影響が合成結果にノイズとして現れてしまう。   Further, in the method disclosed in Patent Document 5, two images are generated by separately performing interpolation processing on the outputs from the high-sensitivity light-receiving unit and the low-sensitivity light-receiving unit having different opening areas, and weighting of the two images is performed. The average is output. In this case, the influence of the received light value including a lot of noise or the saturated received light value appears as noise in the synthesis result.

特許文献７にて開示された方法では、ノイズの差については考慮されている。しかし、３色のカラーフィルタを使用して電荷蓄積時間に差をつける方式であるため、カラーフィルタの分光透過率が異なる場合のように、ノイズが色ノイズとして現れる場合には抑制できない場合がある。   In the method disclosed in Patent Document 7, the noise difference is taken into consideration. However, since the charge accumulation time is differentiated using three color filters, it may not be possible to suppress noise when it appears as color noise, such as when the color filters have different spectral transmittances. .

特許文献８にて開示された方法では、原色系と補色系のカラーフィルタを組み合わせてダイナミックレンジ拡張を行い、二つのマトリクス演算結果の混合によりノイズと色再現性のバランスをとり階調性を改善する。この方法では、入射光の波長分布の偏りが大きい場合や、センサの電荷蓄積量の差が大きい場合に、特定色画素の飽和の影響で偽色が発生する場合がある。   The method disclosed in Patent Document 8 expands the dynamic range by combining primary color and complementary color filters, and balances noise and color reproducibility by mixing two matrix calculation results to improve gradation. To do. In this method, a false color may occur due to the saturation of a specific color pixel when the deviation of the wavelength distribution of incident light is large or when the difference in the charge accumulation amount of the sensor is large.

本発明は、ダイナミックレンジ拡張した撮像素子を用いてグラデーションを撮像した場合に発生しやすい色ノイズを低減できるようにした画像処理装置、撮像装置及び画像処理方法を提供する。   The present invention provides an image processing apparatus, an imaging apparatus, and an image processing method capable of reducing color noise that is likely to occur when a gradation is imaged using an imaging element with an extended dynamic range.

本発明の一側面としての画像処理装置は、複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、各受光素子の電荷蓄積量に応じた出力値である受光値に基づいて算出する。該装置は、各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定する判定部と、複数の第１及び第２の受光素子の受光値のうち有効領域及び飽和領域にある受光値を用いて第１の色信号値を算出し、かつ複数の第１及び第２の受光素子の受光値のうち有効領域にある受光値、又は複数の第１の受光素子の受光値のうち有効領域にある受光値を用いて第２の色信号値を算出する第１の色信号算出部と、複数の第２の受光素子の受光値に基づいて、第１の色信号値と第２の色信号値との混合比率を算出する混合比率算出部と、第１の色信号値、第２の色信号値及び混合比率に基づいて、画像信号の色信号値を算出する第２の色信号算出部とを有することを特徴とする。   An image processing apparatus according to one aspect of the present invention has a plurality of first light receiving elements and a charge accumulation amount when white light having a uniform spectral intensity distribution with respect to a wavelength is incident as compared with the first light receiving elements. A color signal value of an image signal generated using an imaging element including a plurality of second light receiving elements more than twice as large is calculated based on a light receiving value that is an output value corresponding to the charge accumulation amount of each light receiving element. To do. The apparatus includes a determination unit that determines whether a light reception value of each light receiving element is in an effective region or a saturation region, and is in an effective region and a saturation region among light reception values of a plurality of first and second light receiving elements. The first color signal value is calculated using the received light value, and the received light value in the effective region among the received light values of the plurality of first and second light receiving elements, or the received light value of the plurality of first light receiving elements. A first color signal calculation unit that calculates a second color signal value using a light reception value in an effective region, and the first color signal value and the first color signal value based on the light reception values of a plurality of second light receiving elements. A mixing ratio calculation unit that calculates a mixing ratio with the two color signal values, and a second that calculates the color signal value of the image signal based on the first color signal value, the second color signal value, and the mixing ratio. And a color signal calculation unit.

なお、上記撮像素子と上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。   Note that an imaging apparatus having the imaging element and the image processing apparatus also constitutes another aspect of the present invention.

また、本発明の他の一側面としての画像処理方法は、複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、各受光素子の電荷蓄積量に応じた出力値である受光値に基づいて算出する。該方法は、各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定するステップと、複数の第１及び第２の受光素子の受光値のうち有効領域及び飽和領域にある受光値を用いて第１の色信号値を算出し、かつ複数の第１及び第２の受光素子の受光値のうち有効領域にある受光値、又は複数の第１の受光素子の受光値のうち有効領域にある受光値を用いて第２の色信号値を算出するステップと、複数の第２の受光素子の受光値に基づいて、第１の色信号値と第２の色信号値との混合比率を算出するステップと、第１の色信号値、第２の色信号値及び混合比率に基づいて、画像信号の色信号値を算出するステップとを有することを特徴とする。   According to another aspect of the present invention, there is provided an image processing method having a first charge accumulation amount when a plurality of first light receiving elements and white light having a uniform spectral intensity distribution with respect to a wavelength are incident. A color signal value of an image signal generated using an imaging element including a plurality of second light receiving elements that is twice or more than the light receiving elements is a light receiving value that is an output value corresponding to the charge accumulation amount of each light receiving element. Calculate based on The method includes a step of determining whether a light reception value of each light receiving element is in an effective region or a saturation region, and light reception in an effective region and a saturation region among light reception values of a plurality of first and second light receiving elements. A first color signal value is calculated using the value, and among the received light values of the plurality of first and second light receiving elements, the received light value in the effective region, or among the received light values of the plurality of first light receiving elements The step of calculating the second color signal value using the received light value in the effective region, and the first color signal value and the second color signal value based on the received light values of the plurality of second light receiving elements A step of calculating a mixing ratio; and a step of calculating a color signal value of the image signal based on the first color signal value, the second color signal value, and the mixing ratio.

本発明によれば、飽和受光素子に対応する色信号値を、上記第１及び第２の色信号値の混合値とすることにより、ダイナミックレンジ拡張した撮像素子を用いてグラデーションを撮像した場合に発生し易い色ノイズを低減することができる。   According to the present invention, the color signal value corresponding to the saturated light receiving element is set to the mixed value of the first and second color signal values, so that the gradation is imaged using the image pickup element whose dynamic range is expanded. Color noise that tends to occur can be reduced.

以下、本発明の実施例について図面を参照しながら説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図１には、本発明の実施例１である画像処理装置を含む撮像装置の概略構成を示している。   FIG. 1 shows a schematic configuration of an imaging apparatus including an image processing apparatus that is Embodiment 1 of the present invention.

不図示の被写体からの光束は、レンズ系１０１によって集光される。該光束は、低域通過フィルタ１０２によって高周波成分が抑制された後、画素（受光素子）ごとにカラーフィルタと集光用マイクロレンズアレイを備えた単板式のイメージセンサ（撮像素子）１０３上に光学像を形成する。   A light beam from a subject (not shown) is collected by the lens system 101. After the high-frequency component is suppressed by the low-pass filter 102, the light beam is optically applied on a single-plate image sensor (imaging device) 103 having a color filter and a condensing microlens array for each pixel (light receiving device). Form an image.

イメージセンサ１０３におけるカラーフィルタの配列としては、図２に示す補色系配列（Ｃｙ，Ｍｇ，Ｙｅ，Ｇ）と、補色系配列の最大透過率を１に正規化したときに最大透過率が０．５以下の原色系配列（ＤＲ，ＤＧ，ＤＢ）とを組み合わせた配列が用いられる。言い換えれば、イメージセンサ１０３は、波長に対して均一な分光強度分布を有する白色光が入射したときに電荷蓄積量が２倍以上異なる複数の画素を含む。該白色光が入射したときの補色系カラーフィルタ（Ｃｙ，Ｍｇ，Ｙｅ，Ｇ）に対応する複数の画素（第２の受光素子）の電荷蓄積量は、原色系カラーフィルタ（ＤＲ，ＤＧ，ＤＢ）に対応する複数の画素（第１の受光素子）の電荷蓄積量に比べて、２倍以上多い。   The color filter array in the image sensor 103 includes a complementary color system array (Cy, Mg, Ye, G) shown in FIG. 2 and a maximum transmittance of 0 when the maximum transmittance of the complementary color system array is normalized to 1. A combination of 5 or less primary color arrays (DR, DG, DB) is used. In other words, the image sensor 103 includes a plurality of pixels whose charge accumulation amounts differ by two or more when white light having a uniform spectral intensity distribution with respect to the wavelength is incident. Charge accumulation amounts of a plurality of pixels (second light receiving elements) corresponding to the complementary color filters (Cy, Mg, Ye, G) when the white light is incident are primary color filters (DR, DG, DB). ) Is more than twice as large as the charge accumulation amount of the plurality of pixels (first light receiving elements) corresponding to.

ただし、カラーフィルタ配列は、図２に示すものに限らず、透過率が高いフィルタと低いフィルタの組み合せであって、各々のフィルタが備えられた画素間での電荷蓄積量に２倍以上の差があればよい。   However, the color filter arrangement is not limited to that shown in FIG. 2, and is a combination of a filter with a high transmittance and a filter with a low transmittance, and the difference in charge accumulation between the pixels provided with each filter is more than twice. If there is.

イメージセンサ１０３上に形成された光学像は、該イメージセンサ１０３によって電気信号に変換（光電変換）される。光電変換の際に、リードノイズや光ショットノイズ等のノイズがイメージセンサ１０３の出力信号に加えられる。   The optical image formed on the image sensor 103 is converted into an electrical signal (photoelectric conversion) by the image sensor 103. During photoelectric conversion, noise such as read noise and light shot noise is added to the output signal of the image sensor 103.

イメージセンサ１０３の出力信号は、Ａ／Ｄ変換処理部１０４により濃度量子化され、各画素（各受光素子）の出力値である受光値（又は画素値）としてメインメモリ１０５に保持される。受光値は、電荷蓄積量に対応する（例えば、比例する）値である。これ以後、後述する各処理部における情報（又は信号）の送受信は、システムバス１０６を通して行われる。送受信状態の制御は、コントローラ１０７により行われる。   The output signal of the image sensor 103 is subjected to density quantization by the A / D conversion processing unit 104 and held in the main memory 105 as a light reception value (or pixel value) that is an output value of each pixel (each light receiving element). The light reception value is a value corresponding to (for example, proportional to) the charge accumulation amount. Thereafter, transmission / reception of information (or signals) in each processing unit to be described later is performed through the system bus 106. The transmission / reception state is controlled by the controller 107.

ここで、上述した電荷蓄積量の差を表す別の基準として、受光値のＳ／Ｎ比の差を用いることもできる。受光値に含まれるノイズの中で最も支配的である光ショットノイズの大きさは、光電変換により発生した電荷量（光電変換に寄与した光子数）の平方根となる。このため、Ｓ／Ｎ比も電荷量の平方根で表され、受光値のＳ／Ｎ比の差（比率）は以下の式１のように与えられる。   Here, the difference in the S / N ratio of the received light values can also be used as another reference representing the above-described difference in charge accumulation amount. The magnitude of the light shot noise, which is the most dominant among the noises included in the received light value, is the square root of the amount of charge generated by photoelectric conversion (the number of photons contributing to photoelectric conversion). For this reason, the S / N ratio is also expressed by the square root of the charge amount, and the difference (ratio) of the S / N ratio of the received light value is given by the following formula 1.

（式１）
ただし、Ｖ１，Ｖ２は比較する２つの受光値のＳ／Ｎ比、ｎ１，ｎ２はそれぞれの受光値に対応する電荷量である。受光値間の差（ｎ１，ｎ２の比）が２倍であるときには、Ｓ／Ｎ比の差は約１．４倍になる。 (Formula 1)
However, V 1 and V 2 are S / N ratios of two light receiving values to be compared, and n 1 and n 2 are charge amounts corresponding to the respective light receiving values. When the difference between received light values (ratio between n 1 and n 2 ) is twice, the difference in S / N ratio is about 1.4 times.

補間処理部１０６は、受光値に対して補間処理を実行する。補間処理は、各画素位置に対して、各カラーフィルタに対応する受光値を推定できれば任意の処理方法で実行することができるが、本実施例では、図３に示す処理方法を用いる。   The interpolation processing unit 106 performs an interpolation process on the received light value. The interpolation processing can be executed by any processing method as long as the light reception value corresponding to each color filter can be estimated for each pixel position. In this embodiment, the processing method shown in FIG. 3 is used.

図３においては、まず、図２に示すカラーフィルタ配列における受光値分布を、補色系カラーフィルタと該補色系カラーフィルタよりも透過率が低い原色系カラーフィルタとにそれぞれ対応する２つの受光値分布に分割する。該２つの受光値分布に対応するカラーフィルタを、図４（ａ）に示す。右側の図が補色系カラーフィルタを、左側の図が原色系カラーフィルタを示す。   In FIG. 3, first, the received light value distribution in the color filter array shown in FIG. 2 is divided into two received light value distributions respectively corresponding to a complementary color filter and a primary color filter having a lower transmittance than the complementary color filter. Divide into A color filter corresponding to the two received light value distributions is shown in FIG. The diagram on the right shows a complementary color filter, and the diagram on the left shows a primary color filter.

次に、補間処理部１０６は、補色系カラーフィルタに対応する受光値分布において値がない領域に対し、補間処理を行う。この補間処理は、値がない領域の近傍に位置する値を有する複数の画素を含むブロックでの平均受光値とする。   Next, the interpolation processing unit 106 performs an interpolation process on a region having no value in the received light value distribution corresponding to the complementary color filter. In this interpolation process, an average received light value in a block including a plurality of pixels having values located in the vicinity of a region having no value is used.

次に、補間処理部１０６は、原色系カラーフィルタに対応する受光値分布に対しても、同様の補間処理を行う。補間処理の結果として得られる２つの受光値分布のそれぞれに対応するカラーフィルタ配列は、図４（ｂ）に示すように、通常の単板式イメージセンサで用いられる補色系及び原色系のカラーフィルタ配列となる。   Next, the interpolation processing unit 106 performs similar interpolation processing on the received light value distribution corresponding to the primary color filter. As shown in FIG. 4B, the color filter array corresponding to each of the two received light value distributions obtained as a result of the interpolation processing is a complementary color system and primary color system color filter array used in a normal single-plate image sensor. It becomes.

次に、補間処理部１０６は、各画素において取得できていない色（例えば、Ｃｙフィルタに対応する画素では、Ｍｇ，Ｙｅ，Ｇ）の受光値を補間処理により求める。このようして最終的に得られた２つの受光値分布を組み合わせることで、各画素に対して全カラーフィルタに対応する受光値分布が得られる。補間処理部１０６で得られた受光値分布は、メインメモリ１０５に格納される。   Next, the interpolation processing unit 106 obtains a light reception value of a color that cannot be acquired in each pixel (for example, Mg, Ye, G in a pixel corresponding to the Cy filter) by interpolation processing. By combining the two light reception value distributions finally obtained in this way, the light reception value distributions corresponding to all the color filters can be obtained for each pixel. The received light value distribution obtained by the interpolation processing unit 106 is stored in the main memory 105.

さらに、補間処理部１０６は、メインメモリ１０５に格納された受光値分布を走査して、各画素に対応する受光値の集合（全てのカラーフィルタに対応する受光値の集合）を取得し、順番に領域検出部１０７に送信する。受光値分布を走査する様子を図５に示す。   Further, the interpolation processing unit 106 scans the light reception value distribution stored in the main memory 105 to obtain a set of light reception values corresponding to each pixel (a set of light reception values corresponding to all color filters). To the area detection unit 107. FIG. 5 shows how the received light value distribution is scanned.

受光値分布は、各カラーフィルタに対する受光値がマトリクス状に配置された面により構成される。画素（ｉ，ｊ）における受光値集合は、各面の要素で構成されるベクトルであり、以下のように示される。   The received light value distribution is configured by a surface on which received light values for the respective color filters are arranged in a matrix. The received light value set in the pixel (i, j) is a vector composed of elements on each surface, and is expressed as follows.

(s(1) i,j, s(2) i,j, s(3) i,j, s(4) i,j, s(5) i,j, s(6) i,j, s(7) i、j)
画素（１，１）から画素（ｎ，ｍ）まで走査して、対応する受光値集合を順番に領域検出部１０７に送信する。 (s (1) i, j , s (2) i, j , s (3) i, j , s (4) i, j , s (5) i, j , s (6) i, j , s (7) i, j )
Scanning from the pixel (1, 1) to the pixel (n, m), the corresponding received light value set is sequentially transmitted to the region detection unit 107.

以下、本実施例の画像処理装置を構成する領域検出部１０７、色信号生成部１０８、混合比率算出部１１２、出力色信号算出部１１３及び階調変換部１１４について説明する。なお、画像処理装置は、上記各部に対応する領域検出ステップ、色信号生成ステップ、混合比率算出ステップ、及び出力色信号算出ステップをコンピュータプログラムに従って実行する画像処理方法を実施する装置としても構成できる。   Hereinafter, the area detection unit 107, the color signal generation unit 108, the mixture ratio calculation unit 112, the output color signal calculation unit 113, and the gradation conversion unit 114 that constitute the image processing apparatus of this embodiment will be described. The image processing apparatus can also be configured as an apparatus that implements an image processing method that executes the area detection step, the color signal generation step, the mixture ratio calculation step, and the output color signal calculation step corresponding to each of the above units according to a computer program.

判定部としての領域検出部１０７は、各カラーフィルタに対応する受光値が、飽和領域、有効領域及びノイズ領域のいずれにあるかを検出（判定）する。本実施例では、図６に示すように、補色系カラーフィルタとＧフィルタに対応する受光値に対しては、Ａ未満Ｂ以上の強度を飽和領域とし、Ｂ未満の強度を有効領域とし、Ａ以上の強度を無効領域として区分する。透過率の低い原色系カラーフィルタに対応する受光値に対しては、Ｃ以上の強度を有効領域とし、Ｃ未満の強度をノイズ領域として区分し、飽和領域は設けない。   The area detection unit 107 as a determination unit detects (determines) whether the received light value corresponding to each color filter is in a saturated area, an effective area, or a noise area. In this embodiment, as shown in FIG. 6, with respect to the received light values corresponding to the complementary color filter and the G filter, the intensity of less than A and B or more is set as the saturation region, and the intensity of less than B is set as the effective region. The above intensities are classified as invalid areas. For the received light value corresponding to the primary color filter having a low transmittance, the intensity of C or higher is classified as an effective area, the intensity of less than C is classified as a noise area, and no saturation area is provided.

なお、透過率が高く飽和しやすい補色系カラーフィルタに対応する受光値に対してノイズ領域を設けてもよいし、透過率の低い原色系カラーフィルタに対応する受光値に対して飽和領域を設けてもよい。   In addition, a noise region may be provided for a light reception value corresponding to a complementary color filter having a high transmittance and easily saturated, or a saturation region is provided for a light reception value corresponding to a primary color filter having a low transmittance. May be.

領域検出部１０７での判定結果に応じて、続く処理が分岐する。   The subsequent processing branches according to the determination result in the area detection unit 107.

領域検出部１０７は、全ての受光値が飽和領域にないと判定した場合には、第１の色信号算出部としての色信号生成部１０８に、有効領域にある受光値と、受光値が対応するカラーフィルタ識別コードとを送信する。カラーフィルタ識別コードは、カラーフィルタの種類を表すために用いるビット列である。本実施例のカラーフィルタは全部で７種類であるので、カラーフィルタ識別コードは７ビットのビット列となる。図６に示すように、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢのフィルタに対する受光値が有効領域にあり、他のフィルタに対する受光値が有効領域にない場合は、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢのフィルタに対するビットを１とし、他を０とした識別コードを送信する。   If the area detection unit 107 determines that all the light reception values are not in the saturation region, the light reception value in the effective area and the light reception value correspond to the color signal generation unit 108 as the first color signal calculation unit. A color filter identification code to be transmitted. The color filter identification code is a bit string used to represent the type of color filter. Since there are seven types of color filters in this embodiment, the color filter identification code is a 7-bit bit string. As shown in FIG. 6, when the light reception values for the Cy, Y, G, DR, and DB filters are in the effective region and the light reception values for the other filters are not in the effective region, Cy, Y, G, DR, and DB An identification code having 1 as a bit and 0 as the other is transmitted.

色信号生成部１０８は、色変換情報テーブル１０９を用いてカラーフィルタ識別コードに対応する色変換行列を検索し、色変換を実行する。色変換行列としては、出力値の表色系を任意に選択し、色票を使って行列要素を調整したものを用いる。本実施例での出力値表色系は、ｘｙｚ表色系とする。色変換行列の調整には、色票に対する受光値に光ショットノイズを加えた値を使ってもよい。光ショットノイズを加えて調整することで、行列変換により光ショットノイズが増幅されなくなり、色再現性も向上する。   The color signal generation unit 108 searches for a color conversion matrix corresponding to the color filter identification code using the color conversion information table 109, and executes color conversion. As the color conversion matrix, an output value color system is arbitrarily selected and a matrix element is adjusted using a color chart. The output value color system in this embodiment is an xyz color system. For adjustment of the color conversion matrix, a value obtained by adding light shot noise to the light reception value for the color chart may be used. By adjusting by adding light shot noise, the light shot noise is not amplified by matrix conversion, and the color reproducibility is improved.

光ショットノイズを考慮する場合には、色変換情報テーブル１０９での検索のキーとして、カラーフィルタ識別コードと受光範囲（受光値が含まれる強度範囲を符号化した値）とを用いてもよい。受光値の大きさに応じて光ショットノイズの大きさも変わるため、受光範囲を検索キーとすることで、光ショットノイズの抑制効果が高い色変換行列を選ぶことが可能になる。   When light shot noise is considered, a color filter identification code and a light reception range (a value obtained by encoding an intensity range including a light reception value) may be used as a search key in the color conversion information table 109. Since the magnitude of the light shot noise also changes according to the magnitude of the received light value, it is possible to select a color conversion matrix that has a high light shot noise suppression effect by using the received light range as a search key.

色信号生成部１０８により生成された出力信号は、そのまま画像信号の出力色信号として、階調変換部１１４に送信される。   The output signal generated by the color signal generation unit 108 is transmitted to the gradation conversion unit 114 as an output color signal of the image signal as it is.

一方、領域検出部１０７が、いくつかの受光値が飽和領域にあると判定した場合について図７を用いて説明する。   On the other hand, a case where the region detection unit 107 determines that several received light values are in the saturation region will be described with reference to FIG.

この場合、領域検出部１０７は、有効領域及び飽和領域にある受光値と、有効領域にある受光値が対応するカラーフィルタ識別コードと、飽和領域にある受光値が対応するカラーフィルタ識別コードとを色信号生成部１０８に送信する。   In this case, the region detection unit 107 receives the light reception values in the effective region and the saturation region, the color filter identification code corresponding to the light reception value in the effective region, and the color filter identification code corresponding to the light reception value in the saturation region. This is transmitted to the color signal generation unit 108.

図７に示す受光値に対しては、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢのフィルタに対する受光値と、Ｃｙ，Ｇ，ＤＲ，ＤＢのフィルタに対するビットが１になったカラーフィルタ識別コードと、Ｙフィルタに対するビットが１になったカラーフィルタ識別コードとを送信する。   For the light reception values shown in FIG. 7, the light reception values for the Cy, Y, G, DR, and DB filters, the color filter identification code in which the bit for the Cy, G, DR, and DB filters is 1, and Y A color filter identification code in which the bit for the filter is 1 is transmitted.

色信号生成部１０８は、有効領域及び飽和領域にあるカラーフィルタ識別コード（両識別コードのＯＲ演算結果）をキーにして色変換行列を検索し、有効領域及び飽和領域にある受光値を色変換して、第１の色信号値としての中間出力値１１０を求める。   The color signal generation unit 108 searches the color conversion matrix using the color filter identification code (OR operation result of both identification codes) in the effective region and the saturation region as a key, and performs color conversion on the light reception values in the effective region and the saturation region. Then, an intermediate output value 110 as the first color signal value is obtained.

次に、色信号生成部１０８は、有効領域にあるカラーフィルタ識別コードをキーにして色変換行列を検索し、有効領域にある受光値を色変換して、第２の色信号値である中間出力値１１１を求める。   Next, the color signal generation unit 108 searches the color conversion matrix using the color filter identification code in the effective area as a key, performs color conversion on the received light value in the effective area, and performs intermediate conversion as the second color signal value. An output value 111 is obtained.

中間出力値１１０，１１１は、同じ位置（画素）における色信号値を、互いに異なる受光値の組から推定した結果である。ここにいう受光値の組の違いは、飽和領域にある受光値（図７に示す例ではＹに対する受光値）を含むか含まないかである。飽和領域にある受光値は、飽和直前の高い値であるため、光ショットノイズの割合が少なく、Ｓ／Ｎ比が高い。   The intermediate output values 110 and 111 are results obtained by estimating the color signal value at the same position (pixel) from a set of different received light values. The difference in the set of received light values here is whether or not it includes the received light values in the saturation region (the received light value for Y in the example shown in FIG. 7). Since the light reception value in the saturation region is a high value immediately before saturation, the ratio of light shot noise is small and the S / N ratio is high.

このため、ノイズに関しては、飽和領域にある受光値を含めた状態で推定された中間出力値１１０は、有効領域にある受光値のみで推定された中間出力値１１１よりもノイズの少ない高精度な値となる。   For this reason, with respect to noise, the intermediate output value 110 estimated in a state including the light reception value in the saturation region is less accurate than the intermediate output value 111 estimated only with the light reception value in the effective region. Value.

また、色に関しては、原色系カラーフィルタに対応する受光値を用いた方が、補色系カラーフィルタに対応する受光値を用いる場合よりも色再現性がよい。飽和領域にある受光値は、補色系カラーフィルタに対応する受光値である。このため、色再現性については、中間出力値１１０の方が中間出力値１１１よりも低い可能性がある。   As for the color, the color reproducibility is better when the received light value corresponding to the primary color filter is used than when the received light value corresponding to the complementary color filter is used. The light reception value in the saturation region is the light reception value corresponding to the complementary color filter. For this reason, regarding the color reproducibility, the intermediate output value 110 may be lower than the intermediate output value 111.

色信号生成部１０８は、このようにして得られた中間出力値１１０，１１１を、第２の色信号算出部としての出力色信号算出部１１３に送信する。   The color signal generation unit 108 transmits the intermediate output values 110 and 111 thus obtained to the output color signal calculation unit 113 as a second color signal calculation unit.

また、領域検出部１０７は、色信号生成部１０８への信号送信経路とは別経路を通じて、混合比率算出部１１２に、飽和領域判定が行われた全ての受光値を、飽和領域にあるか否かに関係なく送信する。飽和領域判定が行われた全ての受光値とは、Ｃｙ，Ｙ，Ｍｇ，Ｇのフィルタに対応する受光値を示す。   In addition, the region detection unit 107 determines whether or not all the received light values subjected to the saturation region determination are in the saturation region through the route different from the signal transmission route to the color signal generation unit 108. Send regardless of whether All the light reception values for which saturation region determination has been performed indicate light reception values corresponding to Cy, Y, Mg, and G filters.

混合比率算出部１１２は、飽和領域判定が行われた全ての受光値を用いて、中間出力値１１０，１１１の混合比率を算出する。以下に混合比率の算出手順を示す。なお、ここでは、説明を簡略化するために、飽和領域の範囲を飽和領域判定が行われる全ての受光値に対して一定とする。ただし、飽和領域の範囲をＣｙ，Ｙ，Ｍｇ，Ｇのフィルタごとに異ならせてもよい。   The mixing ratio calculation unit 112 calculates the mixing ratio of the intermediate output values 110 and 111 using all the received light values for which the saturated region determination has been performed. The procedure for calculating the mixing ratio is shown below. Here, in order to simplify the description, the range of the saturated region is made constant for all received light values for which saturated region determination is performed. However, the range of the saturation region may be different for each of the Cy, Y, Mg, and G filters.

まず、各受光値の評価値τｉを、以下の式２を用いて計算する。 First, the evaluation value τ i of each received light value is calculated using the following formula 2.

（式２）
ここで、ｉは飽和領域判定が行われる受光値のインデックスであり、Ｃｙ，Ｙ，Ｍｇ，Ｇに対応する数値（１〜４）である。ｉｍａｘは飽和領域判定が行われる受光値の総数（＝
４）である。ａは飽和領域の上限値、ｂは飽和領域の下限値であり、ａ−ｂは該上限値と下限値との差である。ｃｉは受光値を表す。 (Formula 2)
Here, i is an index of the received light value for which the saturated region determination is performed, and is a numerical value (1 to 4) corresponding to Cy, Y, Mg, and G. i max is the total number of received light values (==
4). a is the upper limit value of the saturation region, b is the lower limit value of the saturation region, and a−b is the difference between the upper limit value and the lower limit value. c i represents the received light value.

混合比率τは、以下の式３に示すように、各受光値の評価値の総和とする。   The mixing ratio τ is the sum of the evaluation values of the respective received light values as shown in the following Expression 3.

（式３）
混合比率τは、全ての受光値ｃｉが飽和領域の下限値ｂに近い場合に０に近づき、飽和領域の上限値ａに近い場合に１に近づく。混合比率算出部１１２は、このように求めた混合比率τを出力色信号算出部１１３に送信する。なお、色信号生成部１０８と混合比率算出部１１２から出力色信号算出部１１３にデータを送信する順序は、前後してもよい。本実施例では、処理速度向上のため、同時に送信する。 (Formula 3)
The mixing ratio τ approaches 0 when all the light reception values c i are close to the lower limit value b of the saturation region, and approaches 1 when the light reception values c i are close to the upper limit value a of the saturation region. The mixing ratio calculation unit 112 transmits the mixing ratio τ thus determined to the output color signal calculation unit 113. Note that the order in which data is transmitted from the color signal generation unit 108 and the mixture ratio calculation unit 112 to the output color signal calculation unit 113 may be reversed. In this embodiment, transmission is performed simultaneously to improve the processing speed.

出力色信号算出部１１３は、以下の式４に示す計算を実行し、出力色信号を生成する。   The output color signal calculation unit 113 executes the calculation shown in the following Expression 4 to generate an output color signal.

（式４）
ただし、ベクトルｘ１，ｘ２はそれぞれ、中間出力値１１０，１１１を表す。 (Formula 4)
However, vectors x 1 and x 2 represent intermediate output values 110 and 111, respectively.

上述した混合比率の特性から、飽和領域判定が行われた全ての受光値ｃｉが飽和領域の下限値ｂに近い場合（式２参照）には、ｘｏｕｔはｘ１に近い値となり、飽和領域の上限値ａに近い場合には、ｘｏｕｔはｘ２に近い値となる。 From the characteristics of the mixing ratio described above, when all the received light values c i subjected to the saturation region determination are close to the lower limit value b of the saturation region (see Equation 2), x out becomes a value close to x 1 and is saturated. When it is close to the upper limit value a of the region, x out becomes a value close to x 2 .

式４により得られる出力色信号（出力色信号値）について説明する。出力色信号値の輝度成分のＳ／Ｎ比と入射光強度の関係の例を図８（ａ）に示す。入射光強度が０から上昇する際に、図８（ｂ）に示すように、受光値のうちＹフィルタに対応する受光値のみが上昇する状況を考える。このような状況は、本来はＧ，ＤＲ，ＤＧのフィルタに対する受光値も上昇するため、実際にはありえないが、Ｙフィルタに対応する受光値以外の受光値が飽和領域に至る可能性がないので、説明が容易になる。他の状況でも原理的には同じであるため、説明の一般性を損なうものではない。   The output color signal (output color signal value) obtained by Expression 4 will be described. An example of the relationship between the S / N ratio of the luminance component of the output color signal value and the incident light intensity is shown in FIG. As shown in FIG. 8B, when the incident light intensity increases from 0, consider a situation in which only the light reception value corresponding to the Y filter increases among the light reception values. Under such circumstances, the light reception values for the G, DR, and DG filters also increase, and this is impossible in practice. However, there is no possibility that the light reception values other than the light reception values corresponding to the Y filter reach the saturation region. , Easy to explain. Since the principle is the same in other situations, the generality of the explanation is not impaired.

上記状況にあると仮定することにより、図８（ａ）に示す入射光強度ｐ，ｑが、Ｙフィルタに対する受光値においては、図８（ｂ）のＡ，Ｂに対応すると考えることができる。   Assuming that the above situation exists, it can be considered that the incident light intensities p and q shown in FIG. 8A correspond to A and B in FIG.

入射光強度がｑより小さい場合は、図８（ｂ）に示すＹフィルタに対する受光値は、有効領域にある。このため、Ｃｙ，Ｙ，Ｇ，ＤＲ，ＤＢの５種類のフィルタに対する受光値から出力色信号値が求められる。また、出力色信号値の輝度成分のＳ／Ｎ比を計算することで、図８（ａ）に示すノイズ曲線Ｓが得られる。   When the incident light intensity is smaller than q, the light reception value for the Y filter shown in FIG. 8B is in the effective region. For this reason, an output color signal value is obtained from the received light values for the five types of filters of Cy, Y, G, DR, and DB. Further, by calculating the S / N ratio of the luminance component of the output color signal value, the noise curve S shown in FIG. 8A is obtained.

入射光強度がｐとｑの間にある場合には、Ｙフィルタに対する受光値は飽和領域にあるので、中間出力値１１０，１１１を計算する。中間出力値１１０，１１１の輝度成分のＳ／Ｎ比を求めると、中間出力値１１０の輝度成分のＳ／Ｎ比は図８（ａ）に示す曲線Ｓに、中間出力値１１１の輝度成分のＳ／Ｎ比は曲線Ｔに対応する。   When the incident light intensity is between p and q, the light reception value for the Y filter is in the saturation region, so the intermediate output values 110 and 111 are calculated. When the S / N ratio of the luminance component of the intermediate output values 110 and 111 is obtained, the S / N ratio of the luminance component of the intermediate output value 110 is represented by the curve S shown in FIG. The S / N ratio corresponds to the curve T.

入射光強度がｐより大きい場合は、Ｙフィルタに対する受光値は無効領域に入るため、Ｃｙ，Ｇ，ＤＲ，ＤＢの４種類のフィルタに対する受光値から出力色信号値が求められる。この出力色信号値の輝度成分のＳ／Ｎ比を計算することで、曲線Ｔが得られる。   When the incident light intensity is larger than p, the light reception value for the Y filter enters the invalid region, and the output color signal value is obtained from the light reception values for the four types of filters Cy, G, DR, and DB. The curve T is obtained by calculating the S / N ratio of the luminance component of the output color signal value.

図８（ａ）に示すように、曲線Ｓ，Ｔが不連続であることは、特にグラデーションを撮像した場合に問題になる。グラデーションの輝度範囲が広い場合、入射光強度は０とｐ以上の値との間に連続的に分布する。Ｓ／Ｎ比は、入射光強度が低い部分では曲線Ｓに従い、入射光強度が高い部分では曲線Ｔに従って変化する。この結果、入射光強度ｐの近辺において急激にＳ／Ｎ比が変化することになる。入射光強度ｐはグラデーションの中間階調に相当するが、中間階調でノイズが急増するのは、視覚的に好ましくない。   As shown in FIG. 8A, the fact that the curves S and T are discontinuous becomes a problem particularly when a gradation is imaged. When the gradation luminance range is wide, the incident light intensity is continuously distributed between 0 and a value greater than or equal to p. The S / N ratio changes according to the curve S in the portion where the incident light intensity is low, and changes according to the curve T in the portion where the incident light intensity is high. As a result, the S / N ratio changes abruptly in the vicinity of the incident light intensity p. The incident light intensity p corresponds to an intermediate gradation of gradation, but it is visually unpreferable that the noise rapidly increases at the intermediate gradation.

式４による中間出力値の混合は、曲線Ｓ，Ｔの境界を滑らかに繋ぐことを目的とする。混合により得られるＳ／Ｎ比の曲線は、図８（ａ）に示す曲線Ｕのようになる。この結果、中間階調でＳ／Ｎ比が急激に変化しなくなるために、視覚的に好ましい画像が得られる。   The purpose of mixing the intermediate output values according to Equation 4 is to smoothly connect the boundaries of the curves S and T. The S / N ratio curve obtained by the mixing is as shown by a curve U shown in FIG. As a result, since the S / N ratio does not change abruptly at the intermediate gradation, a visually preferable image can be obtained.

以上の説明では、Ｓ／Ｎ比の不連続性を例にあげたが、カラーフィルタの組合せや色変換行列の選択によっては、中間階調で急激な色変化や偽色が発生する場合もある。式４による中間出力値の混合は、色変化を伴う場合にも有効であり、急激な色変化を緩和する効果も得られる。   In the above description, the discontinuity of the S / N ratio is taken as an example. However, depending on the combination of the color filters and the selection of the color conversion matrix, an abrupt color change or false color may occur in the intermediate gradation. . The mixing of the intermediate output values according to Equation 4 is effective even when there is a color change, and an effect of alleviating a sudden color change can be obtained.

色信号生成部１０８又は出力色信号算出部１１３は、出力色信号を階調変換部１１４に送信し、階調変換を実行する。階調変換の方式は任意であるが、対数圧縮特性を持つものが望ましい。   The color signal generation unit 108 or the output color signal calculation unit 113 transmits the output color signal to the gradation conversion unit 114 and executes gradation conversion. The gradation conversion method is arbitrary, but it is desirable to have a logarithmic compression characteristic.

階調変換部１１４は、階調変換後の出力色信号を出力部１１８に送信する。送信部１１８は、該出力色信号をｓＲＧＢ等の表色系の色信号に変換して出力する。   The gradation conversion unit 114 transmits the output color signal after gradation conversion to the output unit 118. The transmission unit 118 converts the output color signal into a color signal of a color system such as sRGB and outputs it.

本実施例によれば、透過率が大きく異なる複数のカラーフィルタを備えたイメージセンサを用いて光強度が広範囲で連続的に変化する光学像を撮像する場合に、中間階調での色ノイズの発生を効果的に抑制できる画像処理装置又は撮像装置を提供することができる。   According to the present embodiment, when an optical image whose light intensity continuously changes in a wide range is picked up using an image sensor having a plurality of color filters having greatly different transmittances, color noise at an intermediate gradation is detected. It is possible to provide an image processing apparatus or an imaging apparatus that can effectively suppress generation.

次に、本発明の実施例２である画像処理装置を含む撮像装置について説明する。本実施例における撮像装置の基本的な構成は、実施例１の撮像装置と同じであるため、本実施例も図１を用いて説明する。このことは、後述する実施例３，４においても同じである。   Next, an imaging apparatus including an image processing apparatus that is Embodiment 2 of the present invention will be described. Since the basic configuration of the imaging apparatus according to the present embodiment is the same as that of the imaging apparatus according to the first embodiment, this embodiment will also be described with reference to FIG. This also applies to Examples 3 and 4 described later.

被写体からの光束がイメージセンサ１０３上に光学像を形成するまでは、実施例１の撮像装置と同じである。   Until the luminous flux from the subject forms an optical image on the image sensor 103, the same operation as that of the imaging apparatus of the first embodiment is performed.

本実施例では、図９に示すように、補色系カラーフィルタのうちＣｙ，Ｙの２色のフィルタと、原色系カラーフィルタのうちＧフィルタと、透過率が２０％以下である無色のＤフィルタにより構成されるカラーフィルタ配列を用いる。すなわち、本実施例のイメージセンサ１０３は、Ｃｙ，Ｙ，Ｇフィルタが設けられた複数の画素（第２の受光素子）と、Ｃｙ，Ｙ，Ｇフィルタよりも透過率が低いＤフィルタが設けられた複数の画素（第１の受光素子）とを含む。このようなカラーフィルタ配列を用いることで、実施例１と比較して、カラーフィルタ数が減り、同色のサンプル点数が増えるため、空間解像力が向上する。ただし、高強度光が入射すると、Ｄフィルタを通した受光値以外の受光値は飽和するため、明領域の色分解能はなくなる。   In this embodiment, as shown in FIG. 9, two filters of Cy and Y among complementary color filters, a G filter of primary color filters, and a colorless D filter having a transmittance of 20% or less. Is used. That is, the image sensor 103 of the present embodiment is provided with a plurality of pixels (second light receiving elements) provided with Cy, Y, and G filters and a D filter that has a lower transmittance than the Cy, Y, and G filters. And a plurality of pixels (first light receiving elements). By using such a color filter array, the number of color filters is reduced and the number of sample points of the same color is increased as compared with the first embodiment, so that the spatial resolution is improved. However, when high-intensity light is incident, received light values other than the received light value that has passed through the D filter are saturated, so that the color resolution in the bright region is lost.

光学像がイメージセンサ１０３で電気信号に変換され、イメージセンサ１０３からの出力信号がＡ／Ｄ変換部１０４及びメインメモリ１０５を介して、受光値として補間処理部１０６に送信されるまでの処理も実施例１の撮像装置と同じである。   Processing until the optical image is converted into an electrical signal by the image sensor 103 and the output signal from the image sensor 103 is transmitted to the interpolation processing unit 106 as a received light value via the A / D conversion unit 104 and the main memory 105 is also performed. This is the same as the imaging apparatus of the first embodiment.

補間処理部１０６では、イメージセンサ１０３の画素が保持しているカラーフィルタ以外のカラーフィルタに対応する受光値を補間処理により推定する。例えば、画素がＧフィルタを保持している場合に、残りのＣｙ，Ｙ，Ｄのフィルタに対応する受光値を、その近傍に位置するＣｙ，Ｙ，Ｄのフィルタに対応する受光値の平均値とする。この結果、各画素に対して、Ｃｙ，Ｙ，Ｇ，Ｄの４色のフィルタに対する受光値を備えた画像データが形成される。   The interpolation processing unit 106 estimates received light values corresponding to color filters other than the color filters held by the pixels of the image sensor 103 by interpolation processing. For example, when a pixel holds a G filter, the light reception values corresponding to the remaining Cy, Y, and D filters are the average values of the light reception values corresponding to the Cy, Y, and D filters located in the vicinity thereof. And As a result, image data having light reception values for the four color filters of Cy, Y, G, and D is formed for each pixel.

そして、補間処理部１０６は、得られた受光値分布を図３に示した方法と同様の方法により走査して、各画素に対応する受光値集合を取得し、順番に領域検出部１０７に送信する。   Then, the interpolation processing unit 106 scans the obtained light reception value distribution by a method similar to the method shown in FIG. 3, acquires a light reception value set corresponding to each pixel, and sequentially transmits it to the region detection unit 107. To do.

領域検出部１０７は、実施例１における領域検出処理と同様に、図１０に示すような領域区分を用いて、各カラーフィルタに対応する受光値が、飽和領域、有効領域及びノイズ領域のいずれにあるかを判定（検出）する。補色系カラーフィルタＣｙ，ＹとＧフィルタに対しては、Ａ未満Ｂ以上の強度を飽和領域とし、Ｂ未満の強度を有効領域とし、Ａ以上の強度を無効領域として区分する。Ｄフィルタに関しては、Ｃ以上の強度を有効領域とし、Ｃ未満の強度をノイズ領域として区分し、飽和領域は設けない。   Similar to the area detection processing in the first embodiment, the area detection unit 107 uses the area division as illustrated in FIG. 10 to determine whether the received light value corresponding to each color filter is a saturated area, an effective area, or a noise area. Determine (detect) whether there is. For the complementary color filters Cy, Y and G filters, the intensity of less than A and B or more is classified as a saturation area, the intensity of less than B is classified as an effective area, and the intensity of A or more is classified as an invalid area. Regarding the D filter, the intensity above C is defined as an effective area, the intensity below C is classified as a noise area, and no saturation area is provided.

領域検出部１０７の判定結果に応じて、続く処理が分岐する。   The subsequent processing branches depending on the determination result of the area detection unit 107.

領域検出部１０７は、全ての受光値が飽和領域にないと判定した場合には、実施例１と同じように、色信号生成部１０８に、有効領域にある受光値と、受光値が対応するカラーフィルタ識別コードとを送信する。色信号生成部１０８は、実施例１と同様に、出力色信号を生成し、階調変換部１１４に送信する。ただし、色信号の表色系には、輝度と色差で信号値を区別するＹＣｂＣｒ表色系を用いる。 When the region detection unit 107 determines that all the light reception values are not in the saturation region, the light reception value in the effective region and the light reception value correspond to the color signal generation unit 108 as in the first embodiment. A color filter identification code is transmitted. The color signal generation unit 108 generates an output color signal and transmits it to the gradation conversion unit 114 as in the first embodiment. However, the color system of the color signals is used to distinguish YC b C r color system the signal value in the luminance and color difference.

領域検出部１０７は、いくつかの受光値が飽和領域にあると判定した場合は、以下の情報を色信号生成部１０８に送信する。すなわち、有効領域及び飽和領域にある受光値と、有効領域にある受光値が対応するカラーフィルタ識別コードと、飽和領域にある受光値が対応するカラーフィルタ識別コードとを送信する。   If the region detection unit 107 determines that some light reception values are in the saturation region, the region detection unit 107 transmits the following information to the color signal generation unit 108. That is, the light reception values in the effective region and the saturation region, the color filter identification code corresponding to the light reception value in the effective region, and the color filter identification code corresponding to the light reception value in the saturation region are transmitted.

色信号生成部１０８は、有効領域及び飽和領域にあるカラーフィルタ識別コードをキーにして色変換行列を検索し、有効領域及び飽和領域にある受光値を色変換して中間出力値１１０を求める。   The color signal generation unit 108 searches the color conversion matrix using the color filter identification codes in the effective region and the saturation region as keys, and performs color conversion on the received light values in the effective region and the saturation region to obtain the intermediate output value 110.

次に、色信号生成部１０８は、以下の式５により、Ｄフィルタに対する有効領域にある受光値を輝度信号とした中間出力値１１１を求める。   Next, the color signal generation unit 108 obtains an intermediate output value 111 using the received light value in the effective region for the D filter as a luminance signal by the following Expression 5.

（式５）
ここで、ｃはＤフィルタに対する受光値である。ｋは比例定数であり、撮像装置の撮像特性に合わせて設定する。 (Formula 5)
Here, c is a light reception value for the D filter. k is a proportionality constant and is set according to the imaging characteristics of the imaging apparatus.

そして、色信号生成部１０８は、中間出力値１１０，１１１を、出力色信号算出部１１３に送信する。   Then, the color signal generation unit 108 transmits the intermediate output values 110 and 111 to the output color signal calculation unit 113.

領域検出部１０７は、色信号生成部１０８への信号送信経路とは別経路を通じて、混合比率算出部１１２に、飽和領域判定が行われた全ての受光値を、飽和領域にあるか否かに関係なく送信する。飽和領域判定が行われた全ての受光値とは、Ｃｙ，Ｙ，Ｇのフィルタに対応する受光値を示す。   The region detection unit 107 determines whether or not all the received light values subjected to the saturation region determination are in the saturation region to the mixing ratio calculation unit 112 through a route different from the signal transmission route to the color signal generation unit 108. Send regardless. All light reception values for which saturation region determination has been performed indicate light reception values corresponding to Cy, Y, and G filters.

混合比率算出部１１２は、飽和領域判定が行われた全ての受光値を用いて、輝度と色差に対する２つの混合比率を算出する。以下に該２つの混合比率の算出手順について説明する。本実施例でも、飽和領域の範囲を飽和領域判定が行われた全ての受光値で同じとするが、必ずしも同じとする必要はない。   The mixing ratio calculation unit 112 calculates two mixing ratios for luminance and color difference using all the received light values for which the saturated region determination has been performed. The procedure for calculating the two mixing ratios will be described below. Also in this embodiment, the range of the saturation region is the same for all the light reception values for which the saturation region determination has been performed, but it is not necessarily the same.

まず、以下の式６に従って各受光値の評価値τｓを計算する。 First, the evaluation value τ s of each received light value is calculated according to the following formula 6.

（式６）
ここで、ｓはカラーフィルタの種類を表す添え字であり、本実施例のカラーフィルタ配列では｛Ｃｙ, Ｙ, Ｇ｝のいずれかである。ａは飽和領域の上限値であり、ｂは飽和領域の下限値である。ｃｓは受光値を表す。 (Formula 6)
Here, s is a subscript indicating the type of the color filter, and is one of {Cy, Y, G} in the color filter array of this embodiment. a is the upper limit of the saturation region, and b is the lower limit of the saturation region. c s represents the light-receiving value.

輝度に対する混合比率τ（１）と、色差に対する混合比率τ（２）は、以下の式７で表される。 And the mixture ratio tau (1) with respect to the luminance, mixed for the color difference ratio tau (2) is expressed by Equation 7 below.

（式７）
輝度に対する混合比率と色差に対する混合比率とを分けた理由は、Ｃｙ又はＹフィルタに対する受光値が飽和したときに、出力色信号の色差のみを０にしたい（白色にしたい）ためである。Ｃｙ又はＹフィルタに対する受光値が飽和した場合には、他に色信号の基になる受光値がないため、色が大きくずれてしまう。輝度に関しては、Ｇフィルタに対する受光値が飽和しにくく、光ショットノイズの少ない正確な値が求まるため、色差のように急に０にしたくない。このような理由から、輝度に対しては、飽和しにくいＧフィルタの評価値を混合比率とし、色差に対しては、ＣｙとＹフィルタの評価値の積を混合比率とする。これにより、いずれかが飽和した場合に混合比率が０になるようにしている。 (Formula 7)
The reason why the mixing ratio with respect to the luminance and the mixing ratio with respect to the color difference is divided is that when the light reception value with respect to the Cy or Y filter is saturated, only the color difference of the output color signal is to be set to 0 (to be white). When the light reception value for the Cy or Y filter is saturated, there is no other light reception value that is the basis of the color signal, and the color is greatly shifted. Regarding the luminance, since the light reception value for the G filter is difficult to saturate and an accurate value with less light shot noise is obtained, it is not desired to suddenly reduce the value to 0 like a color difference. For this reason, the evaluation value of the G filter that is difficult to saturate is used as the mixing ratio for luminance, and the product of the evaluation value of Cy and the Y filter is used as the mixing ratio for color difference. Thereby, the mixing ratio is set to 0 when either of them is saturated.

混合比率算出部１１２は、このようにして求めた混合比率τ（１），τ（２）を出力色信号算出部１１３に送信する。 The mixing ratio calculation unit 112 transmits the mixing ratios τ (1) and τ (2) thus determined to the output color signal calculation unit 113.

出力色信号算出部１１３は、以下の式８の計算を実行し、出力色信号を生成する。   The output color signal calculation unit 113 executes the calculation of the following formula 8 to generate an output color signal.

（式８）
ここで、演算子“．＊”は、配列積（ベクトル要素ごとの積を新しい要素としてベクトルを作る演算）を表す。ベクトルｘ１，ｘ２はそれぞれ、中間出力値１１０，１１１を表す。 (Formula 8)
Here, the operator “. *” Represents an array product (operation for creating a vector using a product of each vector element as a new element). Vectors x 1 and x 2 represent intermediate output values 110 and 111, respectively.

式８により、輝度信号（式８内で表現されるベクトルの第１要素）と色差信号（同第２，３要素）が２つの混合比率を用いて独立に混合される。上述した輝度及び色差に対する混合比の性質から、Ｃｙ，Ｙフィルタのいずれかが飽和する場合でも偽色の発生を防止することができる。   According to Expression 8, the luminance signal (first element of the vector expressed in Expression 8) and the color difference signal (the second and third elements) are independently mixed using two mixing ratios. Owing to the property of the mixing ratio with respect to the luminance and the color difference described above, it is possible to prevent the occurrence of false color even when any of the Cy and Y filters is saturated.

色信号生成部１０８又は出力色信号算出部１１３は、輝度信号及び色差信号により構成される出力色信号を階調変換部１１４に送信し、階調変換を実行する。階調変換部１１４は、階調変換後の出力色信号を出力部１１８に送信する。送信部１１８は、該出力色信号をｓＲＧＢ等の表色系の色信号に変換して出力する。   The color signal generation unit 108 or the output color signal calculation unit 113 transmits an output color signal composed of a luminance signal and a color difference signal to the gradation conversion unit 114, and performs gradation conversion. The gradation conversion unit 114 transmits the output color signal after gradation conversion to the output unit 118. The transmission unit 118 converts the output color signal into a color signal of a color system such as sRGB and outputs it.

以上説明したように、本実施例によれば、実施例１よりも少数のカラーフィルタや波長透過率分布が均一なカラーフィルタを用いた場合においても、色ノイズの低減が可能な画像処理装置及び撮像装置を提供することができる。   As described above, according to the present embodiment, even when a smaller number of color filters or a color filter having a uniform wavelength transmittance distribution is used than in the first embodiment, an image processing apparatus capable of reducing color noise and An imaging device can be provided.

次に、本発明の実施例３である画像処理装置を含む撮像装置について説明する。本実施例の撮像装置の基本的な構成は実施例２の撮像装置と同じであるが、カラーフィルタ配列と混合比率算出部１１２での混合比率の算出方法とが異なる。   Next, an imaging apparatus including an image processing apparatus that is Embodiment 3 of the present invention will be described. The basic configuration of the image pickup apparatus of the present embodiment is the same as that of the image pickup apparatus of the second embodiment, but the color filter array and the mixing ratio calculation method in the mixture ratio calculation unit 112 are different.

本実施例におけるカラーフィルタ配列を図１１（ａ）に示す。本実施例では、マスクによって、Ｃｙ，Ｙ，Ｇのフィルタに対応する画素以外の画素の開口面積を小さくすることで、実施例２におけるＤフィルタと同様に、前述した白色光が入射したときの電荷蓄積量を少なくしている。実施例２では、Ｄフィルタの透過率を低くすることで強い光が入射した場合でも飽和しない画素を実現したが、Ｄフィルタの透過率を精度良く制御するのは容易ではない。このため、マスクを用いて透過光量を制御することで、透過光量（つまりは電荷蓄積量）の調整が容易になる。コストも削減できる。   FIG. 11A shows the color filter array in this example. In this embodiment, by using the mask, the aperture area of the pixels other than the pixels corresponding to the Cy, Y, and G filters is reduced, and similarly to the D filter in the second embodiment, the above-described white light is incident. The amount of charge accumulation is reduced. In the second embodiment, pixels that do not saturate even when strong light is incident are realized by reducing the transmittance of the D filter, but it is not easy to accurately control the transmittance of the D filter. For this reason, the amount of transmitted light (that is, the amount of accumulated charge) can be easily adjusted by controlling the amount of transmitted light using a mask. Costs can be reduced.

マスクは、図１１（ａ）に示すように中心部に１つの矩形開口を形成したものでも、図１１（ｂ），（ｃ）に示すように複数の開口を形成したものや矩形以外の開口を形成したものでもよい。また、図１１（ｄ）に示すように、マスクを用いず、画素の開口サイズを小さくすることで、透過光量を少なくするようにしてもよい。   Even if the mask has one rectangular opening at the center as shown in FIG. 11 (a), the mask has a plurality of openings as shown in FIGS. 11 (b) and 11 (c), or an opening other than a rectangle. May be formed. Further, as shown in FIG. 11D, the amount of transmitted light may be reduced by reducing the pixel aperture size without using a mask.

本実施例における混合比率算出部１１２での混合比率の算出方法について説明する。混合比率算出部１１２は、実施例２における式６に相当する評価値の計算をルックアップテーブルを用いて行う。ルックアップテーブルは、以下の式９に示すように、式６における飽和領域の上限値ａと下限値ｂとの間をｎ段階に分割した場合の各段階の代表値を示している。   A method for calculating the mixing ratio in the mixing ratio calculation unit 112 in this embodiment will be described. The mixing ratio calculation unit 112 calculates an evaluation value corresponding to Equation 6 in the second embodiment using a lookup table. The look-up table shows the representative value of each stage when the range between the upper limit value a and the lower limit value b of the saturation region in Expression 6 is divided into n stages as shown in Expression 9 below.

（式９）
ここで、ｓはカラーフィルタの種類を表す添え字であり、ｃｓは受光値を表す。ｊは分割した受光強度区間を指定する番号であり、ｋｊは各受光強度区間の下限値である。混合比率は、ルックアップテーブルより得られた評価値τｓを式７に代入することで得られる。 (Formula 9)
Here, s is a subscript representing the type of color filter, and c s represents a light reception value. j is a number that designates the divided received light intensity intervals, and k j is a lower limit value of each received light intensity interval. The mixing ratio is obtained by substituting the evaluation value τ s obtained from the lookup table into Equation 7.

ルックアップテーブルで評価値を計算することで、処理の高速化、コスト低減が図れる反面、出力色信号値が離散化されてグラデーションが滑らかに再現されないというおそれがある。このため、段階数ｎはできるだけ多く設定するのが望ましい。   By calculating the evaluation value using the lookup table, the processing speed can be increased and the cost can be reduced, but the output color signal value may be discretized and the gradation may not be reproduced smoothly. For this reason, it is desirable to set the number n of steps as much as possible.

次に、本発明の実施例４である撮像装置及び画像処理装置について説明する。本実施例の撮像装置は、実施例１の撮像装置とほぼ同じ構成を有する。実施例１の撮像装置との相違点は、イメージセンサが備えるカラーフィルタ配列と受光時の電荷蓄積時間である。また、ＲＡＷデータを出力するモードで動作する点も異なる。実施例１の撮像装置のうち画像処理装置の部分はなくてもよい。   Next, an imaging apparatus and an image processing apparatus that are Embodiment 4 of the present invention will be described. The imaging apparatus according to the present embodiment has almost the same configuration as the imaging apparatus according to the first embodiment. The difference from the image pickup apparatus according to the first embodiment is a color filter array included in the image sensor and a charge accumulation time during light reception. Another difference is that it operates in a mode for outputting RAW data. The image processing apparatus may be omitted from the imaging apparatus according to the first exemplary embodiment.

図１２には、本実施例におけるカラーフィルタ配列を示す。実施例１とは異なり、透過率が抑制されていない通常の原色系カラーフィルタと、補色系カラーフィルタとの組合せを用いる。原色系カラーフィルタの透過率を抑制する代わりに、原色系カラーフィルタに対応する画素の電荷蓄積時間を短くする。   FIG. 12 shows a color filter array in the present embodiment. Unlike Example 1, a combination of a normal primary color filter whose transmittance is not suppressed and a complementary color filter is used. Instead of suppressing the transmittance of the primary color filter, the charge accumulation time of the pixel corresponding to the primary color filter is shortened.

電荷蓄積時間ｔと、入射光の強度Ｐと、光電変換により発生する電子数（言い換えれば、電荷蓄積量）Ｎとの関係は以下の式１０で表わされる。   The relationship between the charge accumulation time t, the incident light intensity P, and the number of electrons generated by photoelectric conversion (in other words, the charge accumulation amount) N is expressed by the following Expression 10.

ただし、Ｃはイメージセンサの開口面積や入射光の波長で決定される比例定数である。実施例１においてカラーフィルタの透過率を低くした目的は、入射光強度Ｐを低下させて、受光素子（画素）での電子の飽和を防ぐことである。これに対し、本実施例では、入射光強度Ｐを抑制する代わりに、原色系カラーフィルタに対応する画素での電荷蓄積時間を他の画素の５０％以下にすることで、電子数Ｎを抑制することで飽和を防ぐ。 However, C is a proportionality constant determined by the aperture area of the image sensor and the wavelength of incident light. The purpose of lowering the transmittance of the color filter in the first embodiment is to reduce the incident light intensity P and prevent saturation of electrons in the light receiving element (pixel). On the other hand, in this embodiment, instead of suppressing the incident light intensity P, the number N of electrons is suppressed by setting the charge accumulation time in the pixel corresponding to the primary color filter to 50% or less of the other pixels. To prevent saturation.

電荷蓄積時間の制御方法は任意であるが、本実施例では、原色系カラー フィルタに対応する画素に対して、フレームレートのｋ倍の速度でリセット信号を送る。ｋは撮影状況（露出範囲等）に応じて設定される定数である。ｋ倍速でリセットすることで、電荷蓄積時間を１／ｋにすることができる。   Although the method for controlling the charge accumulation time is arbitrary, in this embodiment, a reset signal is sent to the pixel corresponding to the primary color filter at a speed k times the frame rate. k is a constant set according to the shooting situation (exposure range or the like). By resetting at k times speed, the charge accumulation time can be reduced to 1 / k.

電荷蓄積時間を短縮する場合、イメージセンサ上の処理が複雑になる欠点はあるが、電子数の制御性が向上し、撮影状況に応じて適切な光電変換特性が得られるという利点がある。   When the charge accumulation time is shortened, there is a disadvantage that the processing on the image sensor becomes complicated, but there is an advantage that the controllability of the number of electrons is improved and an appropriate photoelectric conversion characteristic can be obtained according to the photographing situation.

ＲＡＷデータ出力モードについて図１を用いて説明する。レンズ系１０１により形成された光学像をイメージセンサ１０３により電気信号に変換し、該電気信号（出力信号）をＡ／Ｄ変換した後にメインメモリ１０５に保持するまでは実施例１と同じである。   The RAW data output mode will be described with reference to FIG. The optical image formed by the lens system 101 is converted into an electric signal by the image sensor 103, and the electric signal (output signal) is A / D converted and held in the main memory 105 as in the first embodiment.

メインメモリ１０５に保持された受光値の情報は、イメージセンサ情報（カラーフィルタ配列と受光値配列との関係、電荷蓄積時間等）と共に出力部１１８に送られる。これらの情報は、撮影時の情報（シャッター速度やＦナンバー等）とともにＲＡＷデータとしてまとめられ、メモリカード等の記録媒体に記録されたり、通信により後述する画像処理装置に送信されたりする。   The received light value information held in the main memory 105 is sent to the output unit 118 together with the image sensor information (the relationship between the color filter array and the received light value array, the charge accumulation time, etc.). These pieces of information are collected as RAW data together with information at the time of shooting (shutter speed, F number, etc.) and recorded on a recording medium such as a memory card or transmitted to an image processing apparatus (to be described later) through communication.

ＲＡＷ画像データ処理のシーケンスについて、図１３に示すフローチャートを用いて説明する。この処理は、コンピュータプログラム（以下、単にプログラムという）に従って、該プログラムがインストールされた画像処理装置としてのパーソナルコンピュータによって実行される。基本的な処理の流れは、実施例１で説明した撮像装置内での処理手順と同じであるが、混合比率算出時の設定自由度が高い点が実施例１と異なる。   The sequence of RAW image data processing will be described using the flowchart shown in FIG. This process is executed by a personal computer as an image processing apparatus in which the program is installed according to a computer program (hereinafter simply referred to as a program). The basic processing flow is the same as the processing procedure in the imaging apparatus described in the first embodiment, but is different from the first embodiment in that the degree of freedom of setting when calculating the mixture ratio is high.

記録媒体又は撮像装置との通信によりプログラムに入力されたＲＡＷ画像データは、復号処理４０１により、受光値情報と、イメージセンサ情報と、撮影時情報とに分けられ、それぞれの情報（数値）にプログラムがアクセスできる状態とされる。   RAW image data input to a program by communication with a recording medium or an imaging device is divided into received light value information, image sensor information, and shooting time information by a decoding process 401, and each information (numerical value) is programmed. Can be accessed.

次に、補間処理４０２は、各カラーフィルタに対する受光値が画素ごとに得られるように補間処理を行う。補間処理方法は任意であるが、本実施例では実施例１と同じ方法を用いる。   Next, the interpolation process 402 performs an interpolation process so that a light reception value for each color filter is obtained for each pixel. The interpolation processing method is arbitrary, but in this embodiment, the same method as that in Embodiment 1 is used.

次に、画素抽出処理４０３は、補間処理４０２で処理された画像データを画素ごとに分割し、各画素に対応する受光値を抽出する。抽出された受光値に対し、領域検出処理４０４は、飽和領域にあるか有効領域にあるかの判定を行う。判定方法としては、実施例１にて説明した方法を用いる。   Next, the pixel extraction process 403 divides the image data processed in the interpolation process 402 for each pixel, and extracts a light reception value corresponding to each pixel. For the extracted received light value, the region detection processing 404 determines whether the region is in a saturated region or an effective region. As a determination method, the method described in the first embodiment is used.

色信号生成処理４０５は、領域検出処理４０４によっていずれの受光値も飽和領域にないと判定された場合には、実施例１の色信号生成部１０８と同様の処理を行う。なお、撮像装置内での処理とは異なり、パーソナルコンピュータのハードディスク上に多数の色変換行列を保持できるので、色設計の自由度を増すことができる。   The color signal generation processing 405 performs the same processing as that of the color signal generation unit 108 of the first embodiment when it is determined by the region detection processing 404 that none of the received light values are in the saturation region. Unlike the processing in the imaging apparatus, a large number of color conversion matrices can be held on the hard disk of the personal computer, so that the degree of freedom in color design can be increased.

領域検出処理４０４によっていずれかの受光値が飽和領域にあると判定された場合は、色信号生成処理４０６により中間出力値１１０，１１１を生成する。中間出力値１１０，１１１の生成の基になる受光値の選び方は、実施例１にて説明したのと同じである。   If it is determined by the area detection process 404 that one of the received light values is in the saturation area, the intermediate output values 110 and 111 are generated by the color signal generation process 406. The method of selecting the received light value that is the basis for generating the intermediate output values 110 and 111 is the same as that described in the first embodiment.

次に、混合比率算出処理４０７は、飽和領域判定が行われた受光値から混合比率を計算する。まず、各受光値の評価値τｉを、以下の式１１により計算する。 Next, the mixture ratio calculation process 407 calculates the mixture ratio from the received light values for which the saturation region determination has been performed. First, the evaluation value τ i of each received light value is calculated by the following equation 11.

（式１１）
ここで、ｉは受光値のインデックス、ａは飽和領域の上限値、ｂは飽和領域の下限値である。ｃｉは受光値であり、ｉｍａｘは飽和領域判定が行われる受光値の総数を表す。ｋｉは各受光値に対して与える重み定数であり、ｋｉの総和が１になるようにする。 (Formula 11)
Here, i is an index of the received light value, a is an upper limit value of the saturation region, and b is a lower limit value of the saturation region. c i is a light reception value, and i max represents the total number of light reception values for which saturation region determination is performed. k i is a weighting constant given to each received light value, and the sum of k i is set to 1.

混合比率τは、以下の式１２に示すように、各受光値の評価値の総和に対し、図１４に示すような単調増加の非線形写像ｆを作用させた結果であるとする。   It is assumed that the mixing ratio τ is the result of applying a monotonically increasing nonlinear mapping f as shown in FIG. 14 to the sum of the evaluation values of the respective received light values as shown in the following Expression 12.

（式１２）
各受光値の評価値に対し重み定数ｋｉを与えることで、特定のカラーフィルタに対する受光値の影響を、混合比率に反映しやすい。例えば、補色系カラーフィルタの中でＣｙに対応する受光値が、画像の大部分の領域において飽和している場合を考える。Ｃｙに対する受光値は飽和しており、受光値の変化を混合比率に反映させる必要はない。このため、Ｙ， Ｍｇの２色のフィルタに対する重み定数ｋｉの割合を大きくし、Ｃｙフィルタに対する重み定数を０に近づけることで、適切な混合比率を選ぶことができる。 (Formula 12)
By giving the weight constant k i to the evaluation value of each light reception value, the influence of the light reception value on a specific color filter can be easily reflected in the mixing ratio. For example, consider a case where the light reception value corresponding to Cy in the complementary color filter is saturated in most of the region of the image. The light reception value for Cy is saturated, and it is not necessary to reflect the change in the light reception value in the mixing ratio. For this reason, an appropriate mixing ratio can be selected by increasing the ratio of the weight constant k i for the two-color filters of Y and Mg and bringing the weight constant for the Cy filter close to zero.

非線形写像ｆを混合比率選択に用いることで、ノイズの増幅量の微調整が可能になる。後段で行われる階調変換では、対数圧縮やγ処理等の非線形変換が行われるため、強度によって過度にノイズが増幅される場合がある。このような場合には、ノイズが不自然に増幅されないように非線形写像ｆを予め設計すればよい。   By using the non-linear map f for selecting the mixing ratio, it is possible to finely adjust the noise amplification amount. In the gradation conversion performed in the subsequent stage, since nonlinear conversion such as logarithmic compression or γ processing is performed, noise may be excessively amplified depending on the intensity. In such a case, the nonlinear mapping f may be designed in advance so that noise is not unnaturally amplified.

出力色信号算出処理４０８は、色信号生成処理４０６により得られた中間出力値１１０，１１１と、混合比率算出処理４０７により得られた混合比率とを用いて、出力色信号を算出する。出力色信号の算出は、実施例１と同様に行う（式４）。   The output color signal calculation process 408 calculates an output color signal using the intermediate output values 110 and 111 obtained by the color signal generation process 406 and the mixture ratio obtained by the mixture ratio calculation process 407. The output color signal is calculated in the same manner as in the first embodiment (Formula 4).

次に、階調変換処理４０９は、出力色信号の階調圧縮及びγ補正等の処理を行う。処理の内容は、実施例１で説明したものと同じである。   Next, the gradation conversion processing 409 performs processing such as gradation compression and γ correction of the output color signal. The contents of the processing are the same as those described in the first embodiment.

次に、画素番号判定処理４１０は、全画素に対して上記処理を行ったか否かを確認し、未処理の画素がある場合は、該未処理画素に対して画素抽出処理４０３からの処理を行う。全画素に対して処理が終了した場合は、画像化処理４１１においてｊｐｅｇ等の一般的な画像形式で出力する。   Next, the pixel number determination processing 410 confirms whether or not the above processing has been performed for all the pixels. If there is an unprocessed pixel, the processing from the pixel extraction processing 403 is performed on the unprocessed pixel. Do. When the processing is completed for all pixels, the image processing 411 outputs in a general image format such as jpeg.

本実施例によれば、電荷蓄積時間が異なる受光素子を有するイメージセンサを用いて光強度が広範囲で連続的に変化する光学像を撮像して得られたＲＡＷ画像を処理することにより、中間階調での色ノイズの発生を効果的に抑制できる画像処理装置を実現できる。撮像装置は、電荷蓄積時間が異なる受光素子を備えたイメージセンサを用いることにより、高強度の光が入射した場合でも飽和せずに受光値情報を取得できる。   According to the present embodiment, a RAW image obtained by capturing an optical image whose light intensity continuously changes in a wide range using an image sensor having a light receiving element with different charge accumulation times is processed. An image processing apparatus that can effectively suppress the occurrence of color noise in the tone can be realized. By using an image sensor including light receiving elements having different charge accumulation times, the imaging device can acquire light reception value information without saturation even when high-intensity light is incident.

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。   Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.

本発明の実施例１である画像処理装置を含む撮像装置の構成を示す図。1 is a diagram illustrating a configuration of an imaging apparatus including an image processing apparatus that is Embodiment 1 of the present invention. FIG. 実施例１の撮像装置のカラーフィルタ配列を説明する図。FIG. 3 is a diagram illustrating a color filter array of the imaging apparatus according to the first embodiment. 実施例１の撮像装置において実行される補間処理を説明する図。FIG. 4 is a diagram for explaining interpolation processing executed in the imaging apparatus according to the first embodiment. 実施例１における補間処理の中間データが対応するカラーフィルタについて説明する図。FIG. 6 is a diagram illustrating a color filter corresponding to intermediate data of interpolation processing in the first embodiment. 実施例１において、補間処理結果から受光値集合を走査する過程を説明する図。FIG. 6 is a diagram illustrating a process of scanning a light reception value set from an interpolation processing result in the first embodiment. 実施例１での領域検出処理において、すべての受光値が飽和領域にない状態を説明する図。FIG. 6 is a diagram for explaining a state in which all received light values are not in a saturation region in the region detection process in the first embodiment. 実施例１での領域検出処理において、いずれかの受光値が飽和領域にある状態を説明する図。In the area | region detection process in Example 1, the figure explaining the state in which any received light value exists in a saturation area | region. 実施例１の撮像装置が備える出力色信号算出部で行われる処理を説明する図。FIG. 6 is a diagram illustrating processing performed by an output color signal calculation unit included in the imaging apparatus according to the first embodiment. 本発明の実施例２である画像処理装置を含む撮像装置のカラーフィルタ配列を説明する図。FIG. 6 is a diagram illustrating a color filter array of an imaging apparatus including an image processing apparatus that is Embodiment 2 of the present invention. 実施例２の撮像装置の領域検出部での領域判定を説明する図。FIG. 9 is a diagram for explaining region determination in a region detection unit of the imaging apparatus according to the second embodiment. 本発明の実施例３である画像処理装置を含む撮像装置のカラーフィルタ配列とマスクを説明する図。FIG. 6 is a diagram illustrating a color filter array and a mask of an imaging apparatus including an image processing apparatus that is Embodiment 3 of the present invention. 本発明の実施例４における撮像装置のカラーフィルタ配列を説明する図。FIG. 6 is a diagram illustrating a color filter array of an imaging apparatus according to Embodiment 4 of the present invention. 実施例４である画像処理装置における処理手順を説明するフローチャート。9 is a flowchart for explaining a processing procedure in an image processing apparatus that is Embodiment 4. 実施例４で用いる非線形関数を説明する図。FIG. 10 is a diagram illustrating a nonlinear function used in the fourth embodiment.

符号の説明Explanation of symbols

１０１ レンズ系
１０２ 低域通過フィルタ
１０３ カラーイメージセンサ
１０４ Ａ／Ｄ変換処理部
１０５ メインメモリ
１０６ 補間処理部
１０７ 領域検出部
１０８ 色信号生成部
１０９ 色変換情報テーブル
１１０ 中間出力値
１１１ 中間出力値
１１２ 混合比率算出部
１１３ 出力色信号算出部
１１４ 階調変換部
１１５ 出力色信号
１１６ コントローラ
１１７ システムバス
１１８ 出力部
DESCRIPTION OF SYMBOLS 101 Lens system 102 Low pass filter 103 Color image sensor 104 A / D conversion process part 105 Main memory 106 Interpolation process part 107 Area | region detection part 108 Color signal generation part 109 Color conversion information table 110 Intermediate output value 111 Intermediate output value 112 Mixing Ratio calculation unit 113 Output color signal calculation unit 114 Tone conversion unit 115 Output color signal 116 Controller 117 System bus 118 Output unit

Claims (5)

複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が前記第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、前記各受光素子の前記電荷蓄積量に応じた出力値である受光値に基づいて算出する画像処理装置であって、
前記各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定する判定部と、
前記複数の第１及び第２の受光素子の受光値のうち前記有効領域及び前記飽和領域にある受光値を用いて第１の色信号値を算出し、かつ前記複数の第１及び第２の受光素子の受光値のうち前記有効領域にある受光値、又は前記複数の第１の受光素子の受光値のうち前記有効領域にある受光値を用いて第２の色信号値を算出する第１の色信号算出部と、
前記複数の第２の受光素子の前記受光値に基づいて、前記第１の色信号値と前記第２の色信号値との混合比率を算出する混合比率算出部と、
前記第１の色信号値、前記第２の色信号値及び前記混合比率に基づいて、前記画像信号の色信号値を算出する第２の色信号算出部とを有することを特徴とする画像処理装置。 A plurality of first light receiving elements and a plurality of second light receiving elements having a charge accumulation amount more than twice that of the first light receiving elements when white light having a uniform spectral intensity distribution with respect to the wavelength is incident An image processing device that calculates a color signal value of an image signal generated using an image pickup device including a light receiving value that is an output value corresponding to the charge accumulation amount of each light receiving device,
A determination unit for determining whether the light reception value of each light receiving element is in an effective region or a saturation region;
A first color signal value is calculated using a light receiving value in the effective region and the saturation region among light receiving values of the plurality of first and second light receiving elements, and the plurality of first and second light receiving values are calculated. A first color signal value is calculated by using a light reception value in the effective area among light reception values of the light receiving elements or a light reception value in the effective area among light reception values of the plurality of first light receiving elements. A color signal calculation unit of
A mixing ratio calculation unit that calculates a mixing ratio between the first color signal value and the second color signal value based on the light reception values of the plurality of second light receiving elements;
And a second color signal calculation unit that calculates a color signal value of the image signal based on the first color signal value, the second color signal value, and the mixing ratio. apparatus. 前記混合比率算出部は、輝度に対する前記混合比率と色差に対する前記混合比率をそれぞれ算出し、
前記第２の色信号算出部は、前記第１の色信号値、前記第２の色信号値、前記輝度に対する混合比率、及び前記色差に対する混合比率に基づいて、前記画像信号の色信号値を算出することを特徴とする請求項１に記載の画像処理装置。 The mixing ratio calculation unit calculates the mixing ratio for luminance and the mixing ratio for color difference,
The second color signal calculation unit calculates a color signal value of the image signal based on the first color signal value, the second color signal value, a mixing ratio with respect to the luminance, and a mixing ratio with respect to the color difference. The image processing apparatus according to claim 1, wherein the calculation is performed. 前記混合比率算出部は、前記飽和領域にある前記受光値と、前記飽和領域の上限値と下限値との差とに基づいて前記混合比率を算出することを特徴とする請求項１又は２に記載の画像処理装置。   The said mixing ratio calculation part calculates the said mixing ratio based on the said light reception value in the said saturation area | region, and the difference of the upper limit value and lower limit value of the said saturation area | region, The said mixing ratio is characterized by the above-mentioned. The image processing apparatus described. 複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が前記第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含み、光学像を電気信号に変換する撮像素子と、
請求項１から３のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。 A plurality of first light receiving elements and a plurality of second light receiving elements having a charge accumulation amount more than twice that of the first light receiving elements when white light having a uniform spectral intensity distribution with respect to the wavelength is incident An image sensor that converts an optical image into an electrical signal, and
An imaging apparatus comprising: the image processing apparatus according to claim 1. 複数の第１の受光素子と、波長に対して均一な分光強度分布を有する白色光が入射したときの電荷蓄積量が前記第１の受光素子よりも２倍以上多い複数の第２の受光素子とを含む撮像素子を用いて生成される画像信号の色信号値を、前記各受光素子の前記電荷蓄積量に応じた出力値である受光値に基づいて算出する画像処理方法であって、
前記各受光素子の受光値が有効領域にあるか飽和領域にあるかを判定するステップと、
前記複数の第１及び第２の受光素子の受光値のうち前記有効領域及び前記飽和領域にある受光値を用いて第１の色信号値を算出し、かつ前記複数の第１及び第２の受光素子の受光値のうち前記有効領域にある受光値、又は前記複数の第１の受光素子の受光値のうち前記有効領域にある受光値を用いて第２の色信号値を算出するステップと、
前記複数の第２の受光素子の前記受光値に基づいて、前記第１の色信号値と前記第２の色信号値との混合比率を算出するステップと、
前記第１の色信号値、前記第２の色信号値及び前記混合比率に基づいて、前記画像信号の色信号値を算出するステップとを有することを特徴とする画像処理方法。
A plurality of first light receiving elements and a plurality of second light receiving elements having a charge accumulation amount more than twice that of the first light receiving elements when white light having a uniform spectral intensity distribution with respect to the wavelength is incident An image processing method for calculating a color signal value of an image signal generated using an image pickup device including a light receiving value that is an output value corresponding to the charge accumulation amount of each light receiving device,
Determining whether the light receiving value of each light receiving element is in an effective region or a saturated region;
A first color signal value is calculated using a light receiving value in the effective region and the saturation region among light receiving values of the plurality of first and second light receiving elements, and the plurality of first and second light receiving values are calculated. Calculating a second color signal value using a light reception value in the effective region among light reception values of the light receiving elements, or a light reception value in the effective region among light reception values of the plurality of first light receiving elements; ,
Calculating a mixing ratio between the first color signal value and the second color signal value based on the light reception values of the plurality of second light receiving elements;
And a step of calculating a color signal value of the image signal based on the first color signal value, the second color signal value, and the mixing ratio.
JP2008131021A 2008-05-19 2008-05-19 Image processor, imaging device, and image processing method Pending JP2009284010A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008131021A JP2009284010A (en) 2008-05-19 2008-05-19 Image processor, imaging device, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008131021A JP2009284010A (en) 2008-05-19 2008-05-19 Image processor, imaging device, and image processing method

Publications (1)

Publication Number Publication Date
JP2009284010A true JP2009284010A (en) 2009-12-03

Family

ID=41454045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008131021A Pending JP2009284010A (en) 2008-05-19 2008-05-19 Image processor, imaging device, and image processing method

Country Status (1)

Country Link
JP (1) JP2009284010A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012153532A1 (en) * 2011-05-11 2012-11-15 国立大学法人東京工業大学 Image capture device
JP2013081154A (en) * 2011-07-26 2013-05-02 Foveon Inc Imaging array having photodiodes with different photosensitivity and associated image restoration method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012153532A1 (en) * 2011-05-11 2012-11-15 国立大学法人東京工業大学 Image capture device
WO2012153533A1 (en) * 2011-05-11 2012-11-15 国立大学法人東京工業大学 Color filter array and image sensor
US9188480B2 (en) 2011-05-11 2015-11-17 Olympus Corporation Color filter array and image sensor
US9250121B2 (en) 2011-05-11 2016-02-02 Olympus Corporation Imaging apparatus with plural color filters and image processing
JP5943393B2 (en) * 2011-05-11 2016-07-05 国立大学法人東京工業大学 Imaging device
JP6074813B2 (en) * 2011-05-11 2017-02-08 国立大学法人東京工業大学 Color filter array and image sensor
JP2013081154A (en) * 2011-07-26 2013-05-02 Foveon Inc Imaging array having photodiodes with different photosensitivity and associated image restoration method
US9942495B2 (en) 2011-07-26 2018-04-10 Foveon, Inc. Imaging array having photodiodes with different light sensitivities and associated image restoration methods

Similar Documents

Publication Publication Date Title
JP5527448B2 (en) Image input device
JP5011814B2 (en) Imaging apparatus, image processing method, and computer program
US8199229B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
US8300120B2 (en) Image processing apparatus and method of processing image for reducing noise of the image
US9191593B2 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
KR101320533B1 (en) Imaging device
JP4653059B2 (en) Imaging system, image processing program
JP5397788B2 (en) Image input device
JP2004088149A (en) Imaging system and image processing program
JP2007259344A (en) Imaging apparatus and image processing method
US20150256800A1 (en) Signal processing device, signal processing method, and signal processing program
US7202895B2 (en) Image pickup apparatus provided with image pickup element including photoelectric conversion portions in depth direction of semiconductor
JP5100615B2 (en) Imaging device
JP5529424B2 (en) Image processing apparatus, image processing method, and computer program
US20040246352A1 (en) Imaging device
JP5454156B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP2009284010A (en) Image processor, imaging device, and image processing method
JP2020058023A (en) Spatial multiple exposure
JP6089476B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP2010068465A (en) Image processing apparatus, image capturing apparatus, and image processing method
JP2002112108A (en) Image processing unit
JP6583477B2 (en) Image processing apparatus and imaging apparatus
JP4950553B2 (en) Imaging apparatus and image processing method
JP2009272746A (en) Image processor, imaging apparatus and image processing method
JP2005110235A (en) Imaging apparatus