WO2014007281A1 - カラー撮像素子及び撮像装置 - Google Patents

カラー撮像素子及び撮像装置 Download PDF

Info

Publication number
WO2014007281A1
WO2014007281A1 PCT/JP2013/068232 JP2013068232W WO2014007281A1 WO 2014007281 A1 WO2014007281 A1 WO 2014007281A1 JP 2013068232 W JP2013068232 W JP 2013068232W WO 2014007281 A1 WO2014007281 A1 WO 2014007281A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
filter
filters
pixels
array
Prior art date
Application number
PCT/JP2013/068232
Other languages
English (en)
French (fr)
Inventor
林　健吉
田中　誠二
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201380036081.4A priority Critical patent/CN104429060B/zh
Priority to JP2014523760A priority patent/JP5698874B2/ja
Publication of WO2014007281A1 publication Critical patent/WO2014007281A1/ja
Priority to US14/589,283 priority patent/US9324749B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the present invention relates to a color image pickup device and an image pickup apparatus, and more particularly, to a color image pickup device capable of reducing the occurrence of color moire and increasing the resolution, and an image pickup apparatus using such a color image pickup device.
  • a single color filter is provided on each pixel, so each pixel has only single color information. For this reason, since the output image of the single-chip color image sensor becomes a RAW image (mosaic image), a multi-channel image is obtained by a process of interpolating the missing color pixels from the surrounding pixels (demosaic processing). .
  • the problem in this case is the reproduction characteristics of the high-frequency image signal, and the color image sensor is more likely to cause aliasing in the captured image as compared with the monochrome image sensor. For this reason, it is an important issue to widen the reproduction band and increase the resolution while reducing the occurrence of color moire (false color).
  • the primary color Bayer array which is the color array of color filters most widely used in single-plate color image sensors, arranges green (G) pixels in a checkered pattern and arranges red (R) and blue (B) in line-sequential fashion. is doing. For this reason, there is a problem in reproduction accuracy when a high-frequency signal is generated in the oblique direction for the G signal and in the horizontal and vertical directions for the R and B signals.
  • a black and white vertical stripe pattern (high-frequency image) as shown in part (A) of FIG. 22 is incident on a color imaging device having a Bayer array color filter shown in part (B) of FIG.
  • R is a light flat
  • B is a dark flat
  • G is a light and shade mosaic color image. That is, although the image is originally a black and white image and does not cause a density difference (level difference) between RGB, depending on the color arrangement and the input frequency, the image is colored.
  • an optical low-pass filter made of a birefringent material such as crystal is disposed in front of the color image pickup device, and this is avoided by optically dropping high frequencies.
  • coloring due to folding of the high-frequency signal can be reduced, but there is a problem that the resolution is lowered due to its adverse effect.
  • the color filter array of the color image sensor is configured such that an arbitrary pixel of interest satisfies an arrangement restriction condition in which any of the three colors including the color of the pixel of interest and the four sides of the pixel of interest are adjacent.
  • Patent Document 1 A color imaging device having a random color arrangement has been proposed (Patent Document 1).
  • JP 2000-308080 A JP 2005-136766 A Japanese Patent Laid-Open No. 11-285012 JP-A-8-23543
  • the color imaging device described in Patent Document 1 has a problem that since the filter arrangement is random, it is necessary to optimize each random pattern when performing the demosaic process in the subsequent stage, and the demosaic process becomes complicated.
  • the random arrangement is effective for low-frequency color moire, but is not effective for false colors in the high-frequency part.
  • the demosaicing process is a process of calculating (converting into simultaneous equations) all the RGB color information for each pixel from the RGB mosaic image associated with the color filter array of the single-plate color image sensor, and is demosaicing. Also referred to as processing or synchronization processing (same in this specification).
  • the color imaging device described in Patent Document 2 has a problem that the pixel reproducibility in the limit resolution region (especially in an oblique direction) is not good because G pixels (luminance pixels) are arranged in a checkered pattern.
  • the color imaging device described in Patent Document 3 has an advantage that generation of false colors can be suppressed because filters of all colors exist on an arbitrary straight line.
  • the color image sensor described in Patent Document 3 has a problem that high-frequency reproducibility is lower than that of the Bayer array because the ratio of the number of RGB pixels is equal. In the case of the Bayer array, the ratio of the number of G pixels that contributes most to obtain a luminance signal is twice the number of R and B pixels.
  • the ratio of the number of G pixels to the number of R and B pixels is 6 times higher than the Bayer array, and there is a filter line of only G pixels in the horizontal or vertical direction. Therefore, it is not effective for the false color of the high frequency part in the horizontal or vertical direction.
  • the present invention has been made in view of such circumstances, and can reduce the occurrence of false colors and increase the resolution, and can simplify the subsequent processing as compared with the conventional random arrangement.
  • An object is to provide a color imaging device.
  • Another object of the present invention is to provide an image pickup apparatus using such a color image pickup element.
  • a color image pickup device includes a color filter on a plurality of pixels formed of photoelectric conversion elements arranged in a first direction and a second direction perpendicular to the first direction.
  • a single-plate type color image pickup device provided, wherein the color filters are arranged so that the color filters correspond to N ⁇ N (N is an odd number of 5 or more) pixels in the first direction and the second direction.
  • the color filter corresponds to a first color of one or more colors, including a basic array pattern arranged in a pattern, the basic array pattern being repeatedly arranged in the first direction and the second direction.
  • a first filter that includes a first filter and a second filter corresponding to a second color that is two or more colors whose contribution ratio for obtaining a luminance signal is lower than that of the first color, and that corresponds to the first filter;
  • the ratio of the total number of pixels of one color is the second field.
  • the first filter has a first direction, a second direction, a first direction, and a second direction of the arrangement of the color filters.
  • One or more of the second filters of each color of the second color are arranged in a filter line in each direction including the third direction and the fourth direction inclined with respect to the direction of
  • One second filter is arranged in each filter line in the first direction and the second direction, and the second filter of at least one color in the array of color filters has a first direction to a fourth direction.
  • a second filter or a first filter having a color different from that of the second filter is arranged adjacently.
  • a color image pickup device for achieving the object of the present invention includes a color image on a plurality of pixels formed by photoelectric conversion devices arranged in a first direction and a second direction perpendicular to the first direction.
  • a single-plate type color image pickup device in which a filter is arranged, and the color filter array corresponds to N ⁇ N pixels (N is an odd number of 5 or more) in the first direction and the second direction.
  • the color filter has a transmittance peak in the wavelength range from 480 nm to 570 nm.
  • the color filter has a basic arrangement pattern that is arranged in such a manner that the basic arrangement pattern is repeated in the first direction and the second direction.
  • At least one filter line in each direction including one direction, a second direction, a third direction and a fourth direction inclined with respect to the first direction and the second direction,
  • Each of the second filters of each color of the second color is arranged one by one in each filter line in the first direction and the second direction in the basic array pattern, and at least one color in the array of color filters In the second filter, a second filter or a first filter having a color different from that of the second filter is adjacently arranged in each direction from the first direction to the fourth direction.
  • a color image pickup device for achieving the object of the present invention includes a color image on a plurality of pixels formed by photoelectric conversion devices arranged in a first direction and a second direction perpendicular to the first direction.
  • a single-plate type color image pickup device in which a filter is arranged, and the color filter array corresponds to N ⁇ N pixels (N is an odd number of 5 or more) in the first direction and the second direction.
  • the basic filter pattern is arranged in a repeating pattern in the first direction and the second direction, and the color filter has one or more first colors.
  • the ratio of the total number of pixels of one color is larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter, and the first filter is connected to the first direction of the arrangement of the color filters.
  • One or more filter lines in each direction including the second direction, the third direction and the fourth direction inclined with respect to the first direction and the second direction, and the second color
  • Each of the second filters of each color is arranged in each filter line in the first direction and the second direction in the basic array pattern, and the second filter of at least one color in the array of color filters.
  • a second filter or a first filter having a color different from that of the second filter is adjacently arranged in each direction from the first direction to the fourth direction.
  • a color image pickup device for achieving the object of the present invention includes a color image on a plurality of pixels formed by photoelectric conversion devices arranged in a first direction and a second direction perpendicular to the first direction.
  • a single-plate type color image pickup device in which a filter is arranged, and the color filter array corresponds to N ⁇ N pixels (N is an odd number of 5 or more) in the first direction and the second direction.
  • the basic filter pattern is arranged in a repeating pattern in the first direction and the second direction, and the color filter contributes most to the luminance signal among the three primary colors.
  • a second filter, and the first filter The ratio of the total number of pixels of each corresponding color of the first color is larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter.
  • One or more are arranged in the filter line in each direction including the first direction, the second direction, the third direction and the fourth direction inclined with respect to the first direction and the second direction.
  • Each of the second filters of each color of the second color is arranged one by one in each filter line in the first direction and the second direction in the basic array pattern, and at least one in the array of color filters.
  • a second filter or a first filter of a different color from the second filter is arranged adjacent to each other in the first direction to the fourth direction. Yes.
  • the reproduction accuracy of the demosaic process in the high frequency region can be improved.
  • the color filter arrangement can be performed according to the repetition pattern when performing the demosaic processing in the subsequent stage. Compared with the random arrangement, the subsequent processing can be simplified.
  • the ratio of the number of pixels of the first color corresponding to the first filter is larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter, aliasing is performed. Can be suppressed, and high frequency reproducibility is also good.
  • the second filter of at least one color is adjacent to the first filter or the second filter of a color different from that of the second filter in each direction from the first direction to the fourth direction. Therefore, the second filters are evenly arranged in the color filter array. Thereby, the demosaic processing of the pixels of the second color can be performed with high accuracy.
  • the contribution ratio of the first color for obtaining the luminance signal is preferably 50% or more, and the contribution ratio of the second color for obtaining the luminance signal is preferably less than 50%. Since one or more first filters having a higher contribution ratio for obtaining the luminance signal than the second filter are arranged in the filter lines in each direction from the first direction to the fourth direction of the color filter array. The reproduction accuracy of demosaic processing in the high frequency region can be improved.
  • the second filter or the first filter having a color different from that of the second filter is adjacently arranged in each direction of the second filter of each color of the second color. Is preferred.
  • the second filters of the respective colors are evenly arranged in the color filter array.
  • the basic array pattern includes a filter array formed by arranging a first filter and a second filter corresponding to each color of the second color in the first direction, and a plurality of filter arrays are arranged in the second direction. It is preferable that the position of the second filter corresponding to each color of the second color is shifted in the first direction for each filter row in the basic array pattern. As a result, the second filters of the respective colors are evenly arranged in the color filter array.
  • the second filter corresponding to each color of the second color is separately arranged in the color filter array. It is preferable that the diagonal filter arrays of the respective colors arranged at equal intervals along the fifth direction are arranged at equal intervals along the second direction. As a result, the second filters of the respective colors are evenly arranged in the color filter array.
  • ⁇ tan ⁇ 1 (1/2) Expression (1)
  • Each of the second filters corresponding to each color of the second color is preferably arranged in one or more filter lines in the third direction and the fourth direction in the color filter array. Thereby, color moire (false color) that can be generated by an input image having a high-frequency component in the third and fourth directions can be reduced.
  • a second filter or a first filter having a color different from that of the second filter is adjacent to each direction of the second filter of one of the second colors. It is preferable that they are arranged.
  • the second filters of one color are equally arranged in the color filter array.
  • the basic array pattern includes a square array corresponding to 2 ⁇ 2 pixels configured by the first filter.
  • the array of color filters includes a square array corresponding to 2 ⁇ 2 pixels made of the first filter, and therefore, using the pixel value of 2 ⁇ 2 pixels, It is possible to determine a direction having a high correlation among the directions.
  • the second color of the second color is included in the arrangement of the color filters. It is preferable that the diagonal filter array formed by arranging the filters at equal intervals along the fifth direction is arranged at equal intervals along the second direction. As a result, the second filters of one color are equally arranged in the color filter array.
  • ⁇ tan ⁇ 1 (1/2) Expression (1)
  • the third direction and the fourth direction are preferably different from each other by 45 ° with respect to the first direction and the second direction.
  • the first color includes at least one of green and transparent.
  • the second color preferably includes red and blue.
  • An imaging apparatus for achieving the object of the present invention includes an imaging optical system, a color imaging element on which a subject image is formed via the imaging optical system, and image data generation for generating image data indicating the formed subject image
  • a color imaging device according to any one of the above aspects.
  • the first filter is disposed in the filter line in each direction from the first direction to the fourth direction of the arrangement of the color filters, and the first filter corresponding to the first filter is provided.
  • the ratio of the number of pixels of one color is made larger than the ratio of the number of pixels of the second color corresponding to the second filter of two or more colors other than the first color. For this reason, it is possible to improve the reproduction accuracy of the demosaic process in the high frequency region and suppress aliasing.
  • one or more second filters corresponding to each of the second or more second colors are included in each filter line in the first direction and the second direction of the color filter array in the basic array pattern. It was arranged. For this reason, the generation of color moire (false color) can be reduced and high resolution can be achieved. Furthermore, since the second filters of at least one color are evenly arranged in the color filter array, it is possible to accurately perform the demosaic processing of the pixels corresponding to the second filters.
  • the color filter array can be processed according to the repeat pattern when performing the demosaic process in the subsequent stage. .
  • the subsequent processing can be simplified as compared with the conventional random arrangement.
  • FIG. 1 is a block diagram showing an electrical configuration of the digital camera.
  • FIG. 2 is a front view of the imaging surface of the color image sensor.
  • FIG. 3 is a front view of the color filter array of the first embodiment.
  • FIG. 4 is an enlarged view of the basic array pattern in FIG.
  • FIG. 5 is an explanatory diagram for explaining an oblique filter array.
  • FIG. 6 is an enlarged view of a part of FIG.
  • FIG. 7 is an explanatory diagram for explaining a plurality of types of basic array patterns.
  • FIG. 8 is a front view of the color filter array of the second embodiment.
  • FIG. 9 is an explanatory diagram for explaining an oblique filter array according to the second embodiment.
  • FIG. 10 is a front view of the color filter array of the 2-1 embodiment.
  • FIG. 11 is an enlarged view of the basic array pattern of the color filter array of the 2-2 embodiment.
  • FIG. 12 is an enlarged view of the basic arrangement pattern of the color filter arrangement according to the second to third embodiments.
  • FIG. 13 is a front view of the color filter array of the third embodiment having a transparent filter.
  • FIG. 14 is a graph showing the spectral sensitivity characteristics of the color filter array of the third embodiment.
  • FIG. 15 is a front view of a color filter array according to the fourth embodiment having two types of G filters.
  • FIG. 16 is a graph showing the spectral sensitivity characteristics of the color filter array of the fourth embodiment.
  • FIG. 17 is a front view of a color filter array of a fifth embodiment having an emerald filter.
  • FIG. 18 is a graph showing the spectral sensitivity characteristics of the color filter array of the fifth embodiment.
  • FIG. 19 is a front view of a basic array pattern of another embodiment in which the basic array pattern of the first embodiment is changed to an array pattern corresponding to 7 ⁇ 7 pixels.
  • FIG. 20 is a front view of a basic array pattern of another embodiment in which the basic array pattern of the second embodiment is changed to an array pattern corresponding to 7 ⁇ 7 pixels.
  • FIG. 21 is a front view of a color filter array according to another embodiment in which the color filter array is a honeycomb array.
  • FIG. 22 is a diagram used for explaining a problem of a color imaging device having a color filter with a conventional Bayer array.
  • FIG. 23 is another diagram used for explaining the problem of a color imaging device having a color filter with a conventional Bayer array.
  • FIG. 1 is a block diagram of a digital camera 9 (image pickup apparatus) including a color image pickup device according to the present invention.
  • the digital camera 9 broadly includes a photographing optical system 10, a color imaging device 12, a photographing processing unit 14, an image processing unit 16, a driving unit 18, a control unit 20, and the like.
  • the photographing optical system 10 forms a subject image on the image pickup surface of the color image pickup device 12.
  • the color imaging device 12 is a so-called single-plate type including a plurality of pixels composed of photoelectric conversion elements two-dimensionally arranged on the imaging surface and a color filter provided above the light receiving surface of each pixel. It is a color image sensor.
  • “to upper” and “upper” indicate directions on the side where subject light is incident on the imaging surface of the color imaging element 12.
  • the subject image formed on the color image sensor 12 is converted into a signal charge corresponding to the amount of incident light by the photoelectric conversion element of each pixel.
  • the signal charge accumulated in each photoelectric conversion element is sequentially read out from the color imaging element 12 as a voltage signal (image signal) corresponding to the signal charge based on a drive pulse given from the drive unit 18 according to a command from the control unit 20.
  • the image signals read from the color image sensor 12 are R, G, and B signals that indicate red (R), green (G), and blue (B) mosaic images corresponding to the color filter array of the color image sensor 12.
  • the color image sensor 12 may be another type of image sensor such as a CCD (Charge-Coupled Device) -type image sensor or a CMOS (Complementary-Metal-Oxide-Semiconductor) -type image sensor.
  • CCD Charge-Coupled Device
  • CMOS Complementary-Metal-Oxide-Semiconductor
  • the image signal read from the color image sensor 12 is input to the imaging processing unit 14 (image data generation unit).
  • the imaging processing unit 14 is a correlated double sampling circuit (CDS) for removing reset noise included in the image signal, an AGC circuit for amplifying the image signal and controlling it to a certain level, and an A / D. It has a converter.
  • the imaging processing unit 14 performs correlated double sampling processing and amplification on the input image signal, and then outputs RAW data converted to a digital image signal to the image processing unit 16.
  • the color image sensor 12 is a MOS type image sensor, the A / D converter is often built in the image sensor, and the correlated double sampling may not be necessary.
  • the image processing unit 16 (image data generation unit) includes a white balance correction circuit, a gamma correction circuit, a demosaic processing circuit (all RGB RGB images for each pixel from the RGB mosaic image associated with the color filter array of the single-plate color image sensor 12). And a luminance / color difference signal generation circuit, a contour correction circuit, a color correction circuit, and the like.
  • the image processing unit 16 performs necessary signal processing on the RAW data of the mosaic image input from the imaging processing unit 14 in accordance with a command from the control unit 20, and generates an RGB pixel signal having all RGB color information for each pixel. Based on this, image data (YUV data) composed of luminance data (Y data) and color difference data (Cr, Cb data) is generated.
  • the image data generated by the image processing unit 16 is subjected to compression processing conforming to the JPEG standard for still images by a compression / decompression processing circuit, and compression processing conforming to the MPEG2 standard for moving images. After that, it is recorded on a recording medium (not shown) such as a memory card, and is output and displayed on a display means (not shown) such as a liquid crystal monitor.
  • a recording medium such as a memory card
  • a display means such as a liquid crystal monitor.
  • the recording medium is not limited to the one that can be attached to and detached from the digital camera 9, and may be a built-in magneto-optical recording medium
  • the display means is not limited to that provided in the digital camera 9. It may be a connected external display.
  • FIG. 2 a plurality of pixels 21 including photoelectric conversion elements PD that are two-dimensionally arranged in the horizontal direction and the vertical direction are provided on the imaging surface of the color imaging element 12.
  • the horizontal direction corresponds to one of the first direction and the second direction of the present invention
  • the vertical direction corresponds to the other direction of the first direction and the second direction of the present invention.
  • a color filter array 22 composed of color filters disposed on each pixel 21 is provided on the image pickup surface of the color image pickup device 12.
  • the color filter array 22 includes three primary color filters (hereinafter referred to as R filter, G filter, and B filter) 23R, 23G, and 23B of red (R), green (G), and blue (B). Then, any of the RGB filters 23R, 23G, and 23B is disposed on each pixel 21.
  • R pixel the pixel in which the R filter 23R is disposed
  • G pixel the pixel in which the G filter 23G is disposed
  • B filter 23B the pixel in which the B filter 23B is disposed is referred to as “B pixel”.
  • the G color corresponds to the first color of the present invention
  • the G filter 23G corresponds to the first filter of the present invention
  • the R and B colors correspond to the second color of the present invention
  • the RB filters 23R and 23B correspond to the second filter of the present invention.
  • One of the R filter 23R and the B filter 23B belonging to the second color filter is also referred to as an “RB filter” below.
  • the color filter array 22 has the following features (1), (2), (3), (4), (5), and (6).
  • the color filter array 22 includes a basic array pattern P1 that is a square array pattern corresponding to 5 ⁇ 5 pixels, and the basic array pattern P1 has a horizontal direction (H) and a vertical direction ( V) is repeatedly arranged. Therefore, in the color filter array 22, the R filter 23R, the G filter 23G, and the B filter 23B of each color are arrayed with a predetermined periodicity. For this reason, when performing demosaic processing or the like of the R, G, and B signals read from the color image sensor 12, processing can be performed according to a repetitive pattern. As a result, the subsequent processing can be simplified as compared with the conventional random arrangement.
  • the color filter array after the thinning process can be the same as the color filter array before the thinning process, and a common processing circuit is used. can do.
  • each of the filter rows 25a to 25e is formed by horizontally arranging three G filters 23G, one R filter 23R, and one B filter 23B, and has the following characteristics (2) to (6).
  • the arrangement of the RGB filters 23R, 23G, and 23B is determined so as to satisfy the above.
  • G filters 23G are arranged in the respective filter lines in the horizontal (H), vertical (V), and diagonal (NE, NW) directions.
  • NE means the diagonally upper right (lower left) direction, and corresponds to one of the third direction and the fourth direction of the present invention.
  • NW means a diagonally lower right (upper left) direction and corresponds to the other direction of the third direction and the fourth direction of the present invention. Since the RGB filters 23R, 23G, and 23B have a square shape, the NE direction and the NW direction are directions of 45 ° with respect to the horizontal direction and the vertical direction, respectively.
  • this angle can be increased or decreased in accordance with the increase or decrease in the length of each side in the horizontal direction or the vertical direction of the RGB filters 23R, 23G, and 23B.
  • the diagonal direction is diagonal (NE, NW direction).
  • the NE direction and the NW direction are 45 ° with respect to the horizontal direction and the vertical direction, respectively.
  • the diagonal direction of the rectangular lattice corresponds to an oblique direction (NE, NW direction).
  • the contribution rate for obtaining the luminance (Y) signal (the above-mentioned luminance data) is higher for the G color than for the R and B colors. That is, the contribution ratio of the R color and the B color is lower than that of the G color.
  • the above-described image processing unit 16 generates a Y signal according to the following formula (1) from RGB pixel signals having all RGB color information for each pixel.
  • the following formula (1) is a formula that is generally used for generating the Y signal in the color image sensor 12.
  • the contribution rate of the G color to the luminance signal is 60%, so that the G color has a higher contribution rate than the R color (contribution rate 30%) and the B color (contribution rate 10%). . Therefore, the G color is the color that contributes most to the luminance signal among the three primary colors.
  • the numbers of R pixels, G pixels, and B pixels corresponding to the RGB filters 23R, 23G, and 23B in the basic array pattern P1 are 5 pixels, 15 pixels, and 5 pixels, respectively. Therefore, since the ratio of the number of RGB pixels is 1: 3: 1, the ratio of the number of G pixels that contributes most to obtain a luminance signal is the ratio of the number of R pixels and B pixels. Bigger than.
  • the ratio between the number of G pixels and the number of R and B pixels is different, and in particular, the ratio of the number of G pixels that contributes most to obtain a luminance signal is the number of R and B pixels. Therefore, the aliasing can be suppressed and the high frequency reproducibility can be improved.
  • One R filter 23R and one B filter 23B are arranged in each filter line in the horizontal direction (H) and vertical direction (V) of the color filter array 22 in the basic array pattern P1.
  • the R filter 23R and the B filter 23B are arranged in the filter lines in the horizontal direction (H) and the vertical direction (V) of the color filter array 22, respectively, occurrence of color moire (false color) can be reduced. it can.
  • an optical low-pass filter for suppressing generation of false colors can be prevented from being arranged in the optical path from the incident surface of the imaging optical system 10 to the imaging surface of the color imaging element 12, or even when the optical low-pass filter is applied.
  • the optical low-pass filter may not be provided. As a result, the resolution can be maintained.
  • the R filter 23R satisfying the above feature (4) has its horizontal (H), vertical (V), and diagonal (NE, NW) directions (hereinafter referred to as “directions (H, V, NE, NW)” as appropriate.
  • the G filter 23G or the B filter 23B is disposed adjacent to the abbreviation “)”. Further, in the B filter 23B satisfying the above feature (4), the G filter 23G or the R filter 23R is adjacently disposed in each direction (H, V, NE, NW). Accordingly, the RB filters 23R and 23B are provided with filters of different colors adjacent to each direction (H, V, NE, NW) (feature (5)). That is, the R filters 23R of the same color or the B filters 23B of the same color are not arranged adjacent to each direction (H, V, NE, NW).
  • the RB filters 23R and 23B in the basic array pattern P1 are shifted in the horizontal direction for each of the filter rows 25a to 25e. is doing. Specifically, the RB filters 23R and 23B are arranged adjacent to each other in the horizontal direction in any one of the filter rows 25a to 25e, for example, the filter row 25a.
  • the RB filters 23R and 23B in the filter row 25b are arranged so as to be shifted by two pixel intervals in the horizontal direction with respect to the RB filters 23R and 23B in the filter row 25a.
  • the positions of the RB filters 23R and 23B are sequentially shifted from the filter row 25d toward the filter row 25e by two pixel intervals in the same direction.
  • the “pixel interval” refers to a pixel interval (pitch) from the center point of the reference pixel (one pixel) to the center point of adjacent pixels.
  • the oblique filter rows 27R and 27B are adjacent to each other in the oblique direction, and the adjacent oblique filter rows 27R and 27B are arranged at equal intervals in the vertical direction (V) in the color filter array 22.
  • the filter line L R oblique direction is a fifth direction of the present invention
  • L B is inclined theta ° with respect to the horizontal direction (H).
  • This ⁇ is represented by the following formula (2).
  • “the number of pixel intervals in the vertical direction” and “the number of pixel intervals in the horizontal direction” are the number of pixel intervals in the horizontal direction and the vertical direction of the R filter 23R, or the horizontal direction and the vertical of the B filter 23B. The number of pixel intervals in the direction.
  • the RB filters 23R and 23B are arranged in the color filter array 22 so as to satisfy the above characteristics (4) and (5), the RB filters 23R and 23B are equal in the color filter array 22, respectively. Placed in. Thereby, the demosaic process of R pixel and B pixel can be performed with high accuracy.
  • the RB filters 23R and 23B are arranged in the color filter array 22 so as to satisfy the above features (4) and (5), they are on the diagonal direction (NE, NW) filter lines of the color filter array 22. Also, one or more RB filters 23R and 23B are arranged. That is, in each oblique (NE, NW) direction, filter lines including the R filter 23R and the B filter 23B are periodically arranged adjacently.
  • the fact that the filter lines are adjacent in the oblique direction means that when a filter having a square with one side length of 1 is used, the interval between the filter lines is ⁇ 2 / 2 pixel interval. .
  • the RB filters 23R and 23B are also arranged in the (NE, NW) filter lines in the diagonal direction, respectively, the high frequency component is applied in the diagonal direction (NE, NW) as compared with the case where only the feature (4) is satisfied.
  • Color moire false color
  • a color that can be generated by an input image having a high-frequency component in the oblique direction can be reduced. Accordingly, even if an optical low-pass filter having anisotropy in the oblique (NE, NW) direction is not disposed between the imaging optical system 10 and the imaging surface, a color that can be generated by an input image having a high-frequency component in the oblique direction.
  • an image with reduced moire can be reproduced, or even when an optical low-pass filter is applied, a specific color moire (with a weak function of cutting high frequency components to prevent false color generation) (False color) can be suppressed.
  • the optical low-pass filter may not be provided. As a result, the resolution in the oblique direction can be prevented from being impaired.
  • a basic array pattern obtained by shifting the basic array pattern P1 by one pixel each in the horizontal direction (H) and the vertical direction (V) is P1 ′, and a basic array pattern obtained by shifting two pixels each.
  • these basic array patterns P1 ′ and P1 ′′ are the same color filter array 22 even if they are repeatedly arranged in the horizontal direction (H) and the vertical direction (V).
  • the basic array pattern P1 shown in FIGS. 3 and 4 is referred to as a basic array pattern for convenience.
  • the demosaic processing in the subsequent stage is simplified, the reproduction accuracy of the demosaic processing in the high frequency region is improved, and the demosaic It is possible to suppress aliasing during processing and improve high frequency reproducibility, improve the accuracy of demosaic processing of R pixels and B pixels, and increase the resolution.
  • the color imaging device of the second embodiment is the above except that it includes a color filter array 30 having the following features (5a) and (7) instead of the features (5) and (6).
  • the configuration is basically the same as that of the first embodiment. For this reason, the same reference numerals are given to the same functions and configurations as those in the first embodiment, and the description thereof is omitted.
  • the color filter array 30 includes a basic array pattern P2 in which the RGB filters 23R, 23G, and 23B are arrayed in an array pattern corresponding to 5 ⁇ 5 pixels, and the basic array pattern P2 includes the horizontal direction (H) and the vertical direction ( V) is repeatedly arranged. For this reason, the color filter array 30 has the above-described feature (1).
  • One or more G filters 23G are arranged in each filter line in the horizontal (H), vertical (V), and diagonal (NE, NW) directions of the color filter array 30. Further, the ratio of the number of RGB pixels in the basic array pattern P2 is 1: 3: 1 as in the first embodiment. Further, at least one R filter 23R and one B filter 23B are arranged in each filter line in the horizontal direction (H) and the vertical direction (V) of the color filter array 30 in the basic array pattern P2. Therefore, the color filter array 30 has the characteristics (2) to (4) described above.
  • the color filter array 30 that satisfies the aforementioned characteristics (4) and (5a), diagonal filter train consisting by equally spaced along the R filter 23R obliquely filter line L R 27R are arranged at equal intervals along the vertical direction (V).
  • V vertical direction
  • the basic array pattern P2 of the color filter array 30 having the above-described features (2) to (4) and (5a) has a square array corresponding to 2 ⁇ 2 pixels provided with the G filter 23G. 32 is included.
  • a 2 ⁇ 2 G pixel corresponding to such a square array 32 is taken out, the difference absolute value of the pixel value of the G pixel in the horizontal direction (H), the difference absolute value of the pixel value of the G pixel in the vertical direction (V),
  • the absolute difference value is small in the horizontal direction (H), the vertical direction (V), and the oblique direction (NE, NW). It can be determined that there is a correlation in direction.
  • the color filter array 30 uses the information of the G pixel with the minimum pixel interval to determine the direction with high correlation among the horizontal direction (H), the vertical direction (V), and the diagonal direction (NE, NW). Can do.
  • This direction discrimination result can be used for a process of interpolating from surrounding pixels (demosaic process).
  • a direction determination processing unit may be provided in the demosaic processing circuit (image processing unit 16) described above, and the direction determination processing unit may perform direction determination.
  • the color filter array 30 of the present invention has the features (5a) and (7) in addition to the above-described features (1) to (4), simplification of the demosaicing process in the subsequent stage, Improvement of reproduction accuracy of demosaic processing in the high frequency region, suppression of aliasing during demosaic processing and improvement of high frequency reproducibility, higher resolution, improved accuracy of demosaic processing of R pixels, and higher correlation Discrimination becomes possible.
  • the color filter array having the above-described features (1) to (4), (5a), and (7) is not limited to the one having the array pattern shown in FIG. May be.
  • the color filter array 34 is formed by repeatedly arranging a basic array pattern P3 different from the basic array pattern P2 in the horizontal direction (H) and the vertical direction (V).
  • the basic array pattern P3 is basically the same as the basic array pattern P2 except that the arrangement of the G filter 23G and the B filter 23B in the hatched portion in the drawing is different. Therefore, the color filter array 34 has the same features (1) to (4), (5a), and (7) as the above-described color filter array 30, and the same effect as the color filter array 30 is obtained. It is done.
  • a color filter array is constituted by the basic array pattern P2 ′ (see FIG. 11) or the basic array pattern P3 ′ (see FIG. 12).
  • the basic array pattern P2 'shown in FIG. 11 is an array pattern obtained by reversing the arrangement of the R filter 23R and the B filter 23B in the basic array pattern P2.
  • a basic array pattern P3 'shown in FIG. 12 is an array pattern obtained by reversing the arrangement of the R filter 23R and the B filter 23B in the basic array pattern P3. Accordingly, in the color filter array constituted by the basic array patterns P2 ′ and P3 ′, filters of different colors are adjacently arranged in the respective directions (H, V, NE, NW) of the B filter 23B. In the oblique (NE, NW) direction, R filters 23R of the same color are arranged adjacently (feature (5b)).
  • the color filter array composed of the basic array patterns P2 ′ and P3 ′ has the characteristics (1) to (4), (5b), and (7). Therefore, the demosaic process of the B pixel instead of the R pixel is performed. Except for the point that the accuracy can be improved, the same effect as the color filter array of the second embodiment can be obtained.
  • the G color G filter 23G is described as an example of the first filter having the first color of the present invention.
  • the same effect can be obtained by using a filter that satisfies any of the following conditions (1) to (4) instead of a part.
  • Condition (1) is that the contribution rate for obtaining the luminance signal is 50% or more.
  • This contribution rate of 50% is a value determined to distinguish the first color (G color, etc.) from the second color (R, B color, etc.) of the present invention, and is used to obtain luminance data.
  • the contribution rate of G color is 60% as shown in the above formula (1), the condition (1) is satisfied.
  • the contribution ratio of colors other than the G color can also be obtained by experiments and simulations. Therefore, a filter having a color with a contribution ratio of 50% or more other than the G color can also be used as the first filter of the present invention. Note that the color having a contribution ratio of less than 50% is the second color (R color, B color, etc.) of the present invention, and the filter having this color is the second filter of the present invention.
  • Condition (2) is that the peak of the transmittance of the filter is in the range of wavelengths from 480 nm to 570 nm.
  • a value measured with a spectrophotometer is used as the transmittance of the filter.
  • This wavelength range is a range defined for distinguishing between the first color (G color, etc.) and the second color (R, B color, etc.) of the present invention, and the aforementioned contribution ratio is relative. This is a range determined so that peaks such as R color and B color that become lower in general are not included, and peaks such as G color in which the contribution ratio is relatively higher are included.
  • a filter having a transmittance peak in the wavelength range of 480 nm to 570 nm can be used as the first filter.
  • a filter whose transmittance peak is outside the wavelength range of 480 nm or more and 570 nm or less is the second filter (R filter 23R, B filter 23B) of the present invention.
  • Condition (3) is that the transmittance within the wavelength range of 500 nm to 560 nm is higher than the transmittance of the second filter (R filter 23R or B filter 23B). Also in this condition (3), the value measured with a spectrophotometer, for example, is used as the transmittance of the filter.
  • the wavelength range of the condition (3) is also a range determined to distinguish the first color (G color, etc.) from the second color (R, B color, etc.) of the present invention.
  • the transmittance of the filter having a color having the above-described contribution ratio that is relatively higher than that of the color, the B color, or the like is in a range that is higher than the transmittance of the RB filters 23R and 23B. Therefore, a filter having a relatively high transmittance within a wavelength range of 500 nm to 560 nm can be used as the first filter, and a filter having a relatively low transmittance can be used as the second filter.
  • Condition (4) is that a filter of two or more colors including a color that contributes most to the luminance signal (for example, G color of RGB) among the three primary colors and a color different from the three primary colors is used as the first filter. Is to use. In this case, a filter corresponding to a color other than each color of the first filter is the second filter.
  • the color imaging device of the third embodiment is the first embodiment except that the color imaging device includes white pixels (also referred to as clear pixels) that receive white light (light in the wavelength range of visible light) in addition to the RGB pixels.
  • white pixels also referred to as clear pixels
  • the configuration is basically the same as the form. For this reason, the same reference numerals are given to the same functions and configurations as those in the first embodiment, and the description thereof is omitted.
  • the color image sensor of the third embodiment includes a color filter array 36 different from that of the first embodiment.
  • the color filter array 36 includes a basic array pattern P4 in which the aforementioned RGB filters 23R, 23G, and 23B and the transparent filter 23W (first filter) are arrayed in an array pattern corresponding to 5 ⁇ 5 pixels.
  • the array pattern P4 is repeatedly arranged in the horizontal and vertical directions (H, V). For this reason, the color filter array 36 has the above-described feature (1).
  • the basic array pattern P4 has an array pattern in which a part of the G filter 23G of the basic array pattern P1 is replaced with a transparent filter 23W.
  • the G filter 23G adjacent to the other G filter 23G in the horizontal and vertical directions (H, V) is replaced with a transparent filter 23W.
  • a part of the G pixel is replaced with a white pixel.
  • the transparent filter 23W is a transparent color (first color) filter.
  • the transparent filter 23W is a filter that can transmit light corresponding to the wavelength range of visible light, and for example, has a transmittance of light of each color of RGB of 50% or more. Since the transmittance of the transparent filter 23W is higher than that of the G filter 23G, the contribution rate for obtaining the luminance signal is also higher than that of the G color (60%), and satisfies the above condition (1).
  • the transmittance peak of the transparent filter 23W (the peak of the sensitivity of the white pixel) is in the wavelength range of 480 nm to 570 nm. Further, the transmittance of the transparent filter 23W is higher than the transmittance of the RB filters 23R and 23B within a wavelength range of 500 nm to 560 nm. For this reason, the transparent filter 23W also satisfies the above-described conditions (2) and (3). Note that the G filter 23G also satisfies the above-described conditions (1) to (3) as in the transparent filter 23W.
  • the transparent filter 23W satisfies the above conditions (1) to (3), it can be used as the first filter of the present invention.
  • the color filter array 36 a part of the G filter 23G corresponding to the G color that contributes most to the luminance signal among the three primary colors of RGB is replaced with the transparent filter 23W, so the above condition (4) is also satisfied. Yes.
  • the color filter array 36 is basically the same as the color filter array 22 of the first embodiment except that a part of the G filter 23G is replaced with the transparent filter 23W as described above. Therefore, it has the same features (2) to (6) as the first embodiment. Therefore, the same effect as that described in the first embodiment can be obtained.
  • the first filters including the G filter 23G and the transparent filter 23W are filter lines in the horizontal direction (H), vertical direction (V), and diagonal direction (NE, NW) of the color filter array 36. If one or more are included, the above feature (2) is satisfied.
  • the color image sensor of the fourth embodiment has basically the same configuration as that of the first embodiment except that the color image sensor includes two types of G pixels. For this reason, the same reference numerals are given to the same functions and configurations as those in the first embodiment, and the description thereof is omitted.
  • the color image sensor of the fourth embodiment includes a color filter array 40 different from that of the first embodiment.
  • the color filter array 40 includes a basic array pattern P5 in which an R filter 23R, a first G filter 23G1, a second G filter 23G2 (first filter), and a B filter 23B are arrayed in an array pattern corresponding to 5 ⁇ 5 pixels.
  • the basic array pattern P5 is repeatedly arranged in the horizontal and vertical directions (H, V). For this reason, the color filter array 40 has the above-described feature (1).
  • the basic array pattern P5 has an array pattern in which each G filter 23G of the basic array pattern P1 of the first embodiment is replaced with the first G filter 23G1 or the second G filter 23G2.
  • the first G filter 23G1 is arranged in an odd-numbered filter row in the horizontal direction
  • the second G filter 23G2 is arranged in an even-numbered filter row in the horizontal direction.
  • the first G filter 23G1 transmits G light in the first wavelength band
  • the second G filter 23G2 transmits G light in the second wavelength band having a high correlation with the first G filter 23G1 (see FIG. 16).
  • an existing G filter for example, the G filter 23G of the first embodiment
  • a filter having a high correlation with the first G filter 23G1 can be used.
  • the peak value of the spectral sensitivity curve of the second G filter 23G2 is preferably in the range of, for example, a wavelength of 500 nm to 535 nm (near the peak value of the spectral sensitivity curve of the existing G filter).
  • a method described in Japanese Patent Application Laid-Open No. 2003-284084 is used as a method for determining the color filters of four colors (R, G1, G2, B).
  • the color of the image acquired by the color imaging device of the fourth embodiment is set to four types, and the color information acquired is increased, so that only three types of colors (RGB) are acquired. Color can be expressed more accurately. That is, colors that look different to the eyes can be reproduced as different colors, and colors that appear to be the same can be reproduced as the same color (“color discriminability” can be improved).
  • the transmittance of the first and second G filters 23G1 and 23G2 is basically the same as the transmittance of the G filter 23G of the first embodiment, the contribution rate for obtaining the luminance signal is higher than 50%. . Accordingly, the first and second G filters 23G1 and 23G2 satisfy the above-described condition (1).
  • each G filter 23G1, 23G2 (sensitivity peak of each G pixel) is in the wavelength range of 480 nm or more and 570 nm or less. Further, the transmittance of each G filter 23G1, 23G2 is higher than the transmittance of the RB filters 23R, 23B within a wavelength range of 500 nm to 560 nm. For this reason, each G filter 23G1, 23G2 also satisfies the above-mentioned conditions (2), (3).
  • the color filter array 40 is basically the same as the color filter array 22 of the first embodiment except that each of the G filters 23G1 and 23G2 is included, as described above.
  • the arrangement and the number of the G filters 23G1 and 23G2 are not limited to the embodiment shown in FIG. 15, and may be changed as appropriate. Moreover, you may increase the kind of G filter to three or more types.
  • the color imaging device of the fifth embodiment is the first embodiment except that the color imaging device includes E pixels that receive light of an emerald (E) color corresponding to the fourth color of the present invention in addition to the RGB pixels.
  • E emerald
  • the configuration is basically the same as the form. For this reason, the same reference numerals are given to the same functions and configurations as those in the first embodiment, and the description thereof is omitted.
  • the color image sensor of the fifth embodiment includes a color filter array 44 different from that of the first embodiment.
  • the color filter array 44 includes a basic array pattern P6 in which the RGB filters 23R, 23G, and 23B and the E filter 23E (first filter) described above are arrayed in an array pattern corresponding to 5 ⁇ 5 pixels.
  • the array pattern P6 is repeatedly arranged in the horizontal and vertical directions (H, V). For this reason, the color filter array 44 has the above-described feature (1).
  • the basic array pattern P6 has an array pattern in which the transparent filter 23W of the basic array pattern P4 of the third embodiment shown in FIG. 13 is replaced with an E filter 23E.
  • the four-color color filter array 44 in which a part of the G filter 23G is replaced with the E filter 23E, it is possible to improve reproduction of high-frequency components of luminance, reduce jaggedness, and improve resolution. Can be possible.
  • the peak of the transmittance of the E filter 23E (the peak of the sensitivity of the E pixel) is in the wavelength range of 480 nm to 570 nm. Further, the transmittance of the E filter 23E is higher than the transmittance of the RB filters 23R and 23B within a wavelength range of 500 nm to 560 nm. For this reason, the E filter 23E satisfies the above-mentioned conditions (2) and (3). Further, in the color filter array 44, a part of the G filter 23G corresponding to the G color that contributes most to the luminance signal among the three primary colors of RGB is replaced with the E filter 23E, so the above condition (4) is also satisfied. Yes.
  • the E filter 23E has a peak on the shorter wavelength side than the G filter 23G, but has a peak on the longer wavelength side than the G filter 23G (a little yellowish color appears). In some cases.
  • a filter satisfying the conditions of the present invention can be selected as appropriate. For example, an E filter 23E that satisfies the condition (1) can be selected.
  • the color filter array 44 is basically the same as the color filter array 22 of the first embodiment except that a part of the G filter 23G is replaced with the E filter 23E as described above. Therefore, it has the same features (2) to (6) as the first embodiment. Therefore, the same effect as that described in the first embodiment can be obtained.
  • the arrangement and number of the E filters 23E may be changed to a different arrangement and number from the embodiment shown in FIG.
  • the first filters including the G filter 23G and the E filter 23E are filter lines in the horizontal direction (H), vertical direction (V), and diagonal direction (NE, NW) of the color filter array 44. If one or more are included, the above feature (2) is satisfied.
  • the E filter 23E is used as the first filter of the present invention.
  • some of the E filters 23E do not satisfy the above-described conditions (1) to (4), for example. . Therefore, such an E filter 23E may be used as the second filter of the present invention.
  • Each color filter array of each of the above embodiments is arranged in an array pattern whose basic array pattern corresponds to 5 ⁇ 5 pixels.
  • the basic array pattern P7 of the color filter array 48 shown in FIG. Like the basic array pattern P8 of the color filter array 50 shown in FIG. 20, it may be arranged in an array pattern corresponding to 7 ⁇ 7 pixels.
  • the basic array pattern P7 is basically the same as the basic array pattern P1 except that the basic array pattern P1 of the first embodiment is expanded to 7 ⁇ 7 pixels, but further includes the square array 32 described above. ing. Accordingly, the color filter array 48 has the features (1) to (7) described above.
  • the basic array pattern P8 is basically the same as the basic array pattern P2 except that the basic array pattern P2 of the second embodiment is expanded to 7 ⁇ 7 pixels. Accordingly, the color filter array 50 has the same features (1) to (4), (5a), and (7) as the color filter array 30 of the second embodiment.
  • the basic array patterns P3 to P6 of the second to fifth embodiments may be arranged in an array pattern corresponding to 7 ⁇ 7 pixels.
  • the basic array pattern of each embodiment may be arranged in an array pattern corresponding to 9 ⁇ 9 pixels, that is, the basic array pattern is an array pattern corresponding to N ⁇ N (N is an odd number of 5 or more) pixels. You may arrange with. However, even if N is increased, signal processing such as demosaicing becomes complicated, but a special effect by increasing the size of the basic array pattern cannot be obtained.
  • the size of the basic array pattern is preferably 7 ⁇ 7 pixels or less, which is not too large, and the basic array pattern corresponding to 5 ⁇ 5 pixels is more preferable from the viewpoint of simplifying signal processing. preferable.
  • Each color filter array of each of the above embodiments includes a basic array pattern in which color filters of each color are two-dimensionally arrayed in the horizontal direction (H) and the vertical direction (V), and this basic array pattern is in the horizontal direction (H ) And the vertical direction (V), but the present invention is not limited to this.
  • a so-called honeycomb array-shaped basic array pattern P9 formed by two-dimensionally arranging RGB filters 23R, 23G, and 23B in an oblique direction (NE, NW) is included.
  • An arrangement pattern in which the arrangement pattern P9 is repeatedly arranged in an oblique direction (NE, NW) may be used.
  • the oblique directions (NE, NW) are the first and second directions of the present invention
  • the horizontal and vertical directions (H, V) are the third and fourth directions of the present invention.
  • Such a color filter array 52 is an array pattern in which the color filter array 22 of the first embodiment is rotated by 45 ° around the optical axis of the photographing optical system 10, and therefore the same features (1) as the first embodiment (1).
  • the basic arrangement patterns P2 to P8 may be similarly arranged in the honeycomb arrangement.
  • the color filter array including the primary color RGB color filters has been described.
  • G is set to C (cyan), M (magenta), and Y (yellow) which are complementary colors of the primary color RGB.
  • the present invention can also be applied to the color filter array of the four complementary color filters added.
  • the color filter satisfying any one of the above conditions (1) to (4) is set as the first filter of the present invention, and the other color filter is set as the second filter.
  • the color filter array of the color image sensor of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
  • the color filter arrays of the above embodiments may be combined as appropriate.
  • the first filter of the present invention a combination of at least two of the G filter 23G, the transparent filter 23W, the first and second G filters 23G1, 23G2, and the E filter 23E may be used. Filters of other colors that satisfy any one of the above conditions (1) to (4) may be used.
  • filters of colors other than the RB filters 23R and 23B may be used as the second filter of the present invention.
  • the color image sensor mounted on the digital camera has been described.
  • the color image sensor mounted on various electronic devices (imaging devices) having a shooting function such as a smartphone, a mobile phone, and a PDA.
  • the present invention can be applied.
  • DESCRIPTION OF SYMBOLS 9 Digital camera, 12 ... Color imaging device, 21 ... Photoelectric conversion device, 22, 30, 34, 36, 40, 44, 48, 52 ... Color filter arrangement, 23R ... R filter, 23G ... G filter, 23G1 ... No. 1G filter, 23G2 ... 2nd G filter, 23B ... B filter, 23W ... transparent filter, 23E ... E filter, 32 ... square array, P1-P9 ... basic array pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

　本発明は、偽色の発生の低減化及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子と、そのようなカラー撮像素子を用いた撮像装置を提供する。カラー撮像素子１２のカラーフィルタ配列２２を、水平方向及び垂直方向に繰り返し配置された基本配列パターンＰ１により構成する。基本配列パターンＰ１を、水平方向及び垂直方向に５×５画素に対応する配列パターンで配列されたＲＧＢフィルタ２３Ｒ，２３Ｇ，２３Ｂで構成する。Ｇ画素の全画素数の比率を、ＲＢの各色の画素数の比率よりも大きくする。Ｇフィルタ２３Ｇをカラーフィルタ配列２２の水平、垂直、及び斜め方向の各ライン内に配置する。Ｒ、Ｂフィルタ２３Ｒ，２３Ｂを、基本配列パターンＰ１内においてカラーフィルタ配列の水平、垂直方向の各フィルタライン内にそれぞれ１以上配置する。Ｒ、Ｂフィルタ２３Ｒ，２３Ｂのそれぞれの水平、垂直、斜めの各方向に、異なる色のフィルタを隣接配置する。

Description

カラー撮像素子及び撮像装置
　本発明はカラー撮像素子及び撮像装置に係り、特に色モワレの発生の低減及び高解像度化が可能なカラー撮像素子、及びそのようなカラー撮像素子を用いた撮像装置に関する。
　単板式のカラー撮像素子では、各画素上にそれぞれ単色のカラーフィルタが設けられるので各画素が単色の色情報しか持たない。このため、単板カラー撮像素子の出力画像はＲＡＷ画像（モザイク画像）となるので、欠落している色の画素を、周囲の画素から補間する処理（デモザイク処理）により多チャンネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒用の撮像素子と比較して、撮像した画像にエリアシングが発生し易い。このため、色モワレ（偽色）の発生を低減しつつ再現帯域を広げて高解像化するということが重要な課題である。
　単板式のカラー撮像素子で最も広く用いられているカラーフィルタの色配列である原色系ベイヤー配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置している。このため、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
　図２２の（Ａ）部に示すような白黒の縦縞模様（高周波画像）が、図２２の（Ｂ）部に示すベイヤー配列のカラーフィルタを有するカラー撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図２２の（Ｃ）部から（Ｅ）部に示すようにＲは薄い平坦、Ｂは濃い平坦、Ｇは濃淡のモザイク状の色画像となる。すなわち、本来、白黒画像であり、ＲＧＢ間に濃度差（レベル差）が生じないものであるのに、色配列と入力周波数によっては画像に色が付いた状態となってしまう。
　同様に、図２３の（Ａ）部に示すような斜めの白黒の高周波画像が、図２３の（Ｂ）部に示すベイヤー配列のカラーフィルタを有する撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図２３の（Ｃ）部から（Ｅ）部に示すようにＲとＢは薄い平坦、Ｇは濃い平坦の色画像となる。仮に黒の値を０、白の値を２５５とすると、斜めの白黒の高周波画像は、Ｇのみ２５５となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
　一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
　このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が着目画素の色を含む３色と着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献１）。
　また、分光感度が異なる複数のフィルタを有し、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の周期で交互に配置されているとともに、他方の対角方向に第２の周期で交互に配置されているカラーフィルタ配列の画像センサ（カラー撮像素子）が提案されている（特許文献２）。
　更に、ＲＧＢの３原色のカラー固体撮像素子（カラー撮像素子）において、Ｒ、Ｇ、Ｂを水平に配置した３画素のセットを垂直方向にジグザグにずらしながら配置することによって、ＲＧＢそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線（水平、垂直、斜めの直線）が全ての色を通過するようにした色配列が提案されている（特許文献３）。
　更にまた、ＲＧＢの３原色のうちのＲ，Ｂを水平方向及び垂直方向にそれぞれ３画素おきに配置し、これらのＲ，Ｂの間にＧを配置したカラー撮像素子が提案されている（特許文献４）。
特開２０００－３０８０８０号公報 特開２００５－１３６７６６号公報 特開平１１－２８５０１２号公報 特開平８－２３５４３号公報
　特許文献１に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイク処理を行う際に、ランダムパターンごとに最適化する必要があり、デモザイク処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に伴うＲＧＢのモザイク画像から画素毎にＲＧＢの全ての色情報を算出（同時式に変換）する処理であって、デモザイキング処理または同時化処理ともいう（本明細書内において同じ）。
　また、特許文献２に記載のカラー撮像素子は、Ｇ画素（輝度画素）が市松状に配置されているため、限界解像度領域（特に斜め方向）での画素再現精度が良くないという問題がある。
　特許文献３に記載のカラー撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点がある。一方、特許文献３に記載のカラー撮像素子は、ＲＧＢの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。なお、ベイヤー配列の場合、輝度信号を得るために最も寄与するＧの画素数の比率が、Ｒ，Ｂのそれぞれの画素数の２倍になっている。
　一方、特許文献４に記載のカラー撮像素子は、Ｒ、Ｂそれぞれの画素数に対するＧの画素数の比率が６倍とベイヤー配列よりも高く、水平又は垂直方向にＧ画素のみのフィルタラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
　本発明はこのような事情に鑑みてなされたもので、偽色の発生の低減化及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。また、本発明は、そのようなカラー撮像素子を用いた撮像装置を提供することを目的とする。
　本発明の目的を達成するためのカラー撮像素子は、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第１の方向及び第２の方向にＮ×Ｎ（Ｎは５以上の奇数）画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第１の方向及び第２の方向に繰り返されて配置されてなり、カラーフィルタは、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを含み、かつ第１のフィルタに対応する第１の色の全画素数の比率が、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくなり、第１のフィルタは、カラーフィルタの配列の第１の方向と、第２の方向と、第１の方向及び第２の方向に対して傾いた第３の方向及び第４の方向とを含む各方向のフィルタライン内に１つ以上配置され、第２の色の各色の第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各フィルタライン内に１つずつ配置され、カラーフィルタの配列内で少なくとも１色の第２のフィルタには、その第１の方向から第４の方向の各方向に、この第２のフィルタとは異なる色の第２のフィルタまたは第１のフィルタが隣接して配置されている。
　また、本発明の目的を達成するためのカラー撮像素子は、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第１の方向及び第２の方向にＮ×Ｎ（Ｎは５以上の奇数）画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第１の方向及び第２の方向に繰り返されて配置されてなり、カラーフィルタは、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある１色以上の第１の色に対応する第１のフィルタと、透過率のピークが範囲外にある２色以上の第２の色に対応する第２のフィルタとを含み、かつ第１のフィルタに対応する第１の色の全画素数の比率が、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくなり、第１のフィルタは、カラーフィルタの配列の第１の方向と、第２の方向と、第１の方向及び第２の方向に対して傾いた第３の方向及び第４の方向とを含む各方向のフィルタライン内に１つ以上配置され、第２の色の各色の第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各フィルタライン内に１つずつ配置され、カラーフィルタの配列内で少なくとも１色の第２のフィルタには、その第１の方向から第４の方向の各方向に、この第２のフィルタとは異なる色の第２のフィルタまたは第１のフィルタが隣接して配置されている。
　また、本発明の目的を達成するためのカラー撮像素子は、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第１の方向及び第２の方向にＮ×Ｎ（Ｎは５以上の奇数）画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第１の方向及び第２の方向に繰り返されて配置されてなり、カラーフィルタは、１色以上の第１の色に対応する第１のフィルタと、波長５００ｎｍ以上５６０ｎｍ以下の範囲内で透過率が第１のフィルタよりも低くなる２色以上の第２の色に対応する第２のフィルタとを含み、かつ第１のフィルタに対応する第１の色の全画素数の比率が、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくなり、第１のフィルタは、カラーフィルタの配列の第１の方向と、第２の方向と、第１の方向及び第２の方向に対して傾いた第３の方向及び第４の方向とを含む各方向のフィルタライン内に１つ以上配置され、第２の色の各色の第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各フィルタライン内に１つずつ配置され、カラーフィルタの配列内で少なくとも１色の第２のフィルタには、その第１の方向から第４の方向の各方向に、この第２のフィルタとは異なる色の第２のフィルタまたは第１のフィルタが隣接して配置されている。
　また、本発明の目的を達成するためのカラー撮像素子は、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第１の方向及び第２の方向にＮ×Ｎ（Ｎは５以上の奇数）画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第１の方向及び第２の方向に繰り返されて配置されてなり、カラーフィルタは、３原色のうち最も輝度信号に寄与する色と３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、第１の色以外の２色以上の第２の色に対応する第２のフィルタとを含み、かつ第１のフィルタに対応する第１の色の各色の全画素数の比率が、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくなり、第１のフィルタは、カラーフィルタの配列の第１の方向と、第２の方向と、第１の方向及び第２の方向に対して傾いた第３の方向及び第４の方向とを含む各方向のフィルタライン内に１つ以上配置され、第２の色の各色の第２のフィルタのそれぞれは、基本配列パターン内の第１の方向及び第２の方向の各フィルタライン内に１つずつ配置され、カラーフィルタの配列内で少なくとも１色の第２のフィルタには、その第１の方向から第４の方向の各方向に、この第２のフィルタとは異なる色の第２のフィルタまたは第１のフィルタが隣接して配置されている。
　本発明によれば、第１のフィルタを、カラーフィルタの配列の第１の方向から第４の方向の各方向のフィルタライン内に１つ以上配置したので、高周波領域でのデモザイク処理の再現精度を向上させることができる。
　また、各色の第２のフィルタをそれぞれ、基本配列パターン内においてカラーフィルタの配列の第１の方向及び第２の方向の各フィルタライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。
　また、カラーフィルタの配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段でのデモザイク処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
　また、第１のフィルタに対応する第１の色の画素数の比率を、第２のフィルタに対応する第２の色の各色の画素数のそれぞれの比率よりも大きくしているので、エリアシングを抑制することができ高周波再現性もよい。
　また、少なくとも１色の第２のフィルタには、その第１の方向から第４の方向の各方向には、この第２のフィルタとは異なる色の第１のフィルタまたは第２のフィルタが隣接して配置されているので、カラーフィルタの配列内に第２のフィルタが均等に配置される。これにより、第２の色の画素のデモザイク処理を精度よく行うことができる。
　輝度信号を得るための第１の色の寄与率は５０％以上であり、輝度信号を得るための第２の色の寄与率は５０％未満であることが好ましい。輝度信号を得るための寄与率が第２のフィルタよりも高い第１のフィルタを、カラーフィルタの配列の第１の方向から第４の方向の各方向のフィルタライン内に１つ以上配置するので、高周波領域でのデモザイク処理の再現精度を向上させることができる。
　基本配列パターン内では、第２の色の各色の第２のフィルタの各方向に、この第２のフィルタとは異なる色の第２のフィルタまたは第１のフィルタが隣接して配置されていることが好ましい。これにより、各色の第２のフィルタがそれぞれカラーフィルタの配列内に均等に配置される。
　基本配列パターンは、第１のフィルタ及び第２の色の各色に対応する第２のフィルタを第１の方向に配列させてなるフィルタ列を含み、かつ複数のフィルタ列を第２の方向に配列させてなるものであり、基本配列パターン内のフィルタ列毎に第２の色の各色に対応する第２のフィルタの位置を第１の方向にずらして配置していることが好ましい。これにより、各色の第２のフィルタがそれぞれカラーフィルタの配列内に均等に配置される。
　第１の方向に対して式（１）で示されるθ°異なる方向を第５の方向としたときに、カラーフィルタの配列には、第２の色の各色に対応する第２のフィルタを別々に第５の方向に沿って等間隔で配置してなる各色の斜めフィルタ配列が、それぞれ第２の方向に沿って等間隔で配置されていることが好ましい。これにより、各色の第２のフィルタがそれぞれカラーフィルタの配列内に均等に配置される。
θ＝ｔａｎ－１（１／２）・・・式（１）
　第２の色の各色に対応する第２のフィルタのそれぞれは、カラーフィルタの配列内の第３の方向及び第４の方向のフィルタライン内に１つ以上配置されることが好ましい。これにより、第３及び第４の方向に高周波成分を有する入力像によって発生しうる色モワレ（偽色）を低減することができる。
　基本配列パターン内では、第２の色の各色のうちの１色の第２のフィルタの各方向に、この第２のフィルタとは異なる色の第２のフィルタまたは第１のフィルタが隣接して配置されていることが好ましい。１色の第２のフィルタがそれぞれカラーフィルタの配列内に均等に配置される。
　基本配列パターンは、第１のフィルタで構成される２×２画素に対応する正方配列を含むことが好ましい。これにより、カラーフィルタの配列に、第１のフィルタからなる２×２画素に対応する正方配列が含まれるので、この２×２画素の画素値を使用して、第１の方向から第４の方向の各方向のうちの相関の高い方向を判別することができる。
　第１の方向に対して式（１）で示されるθ°異なる方向を第５の方向としたときに、カラーフィルタの配列には、第２の色の各色のうちの１色の第２のフィルタを第５の方向に沿って等間隔で配置してなる斜めフィルタ配列が、第２の方向に沿って等間隔で配置されていることが好ましい。これにより、１色の第２のフィルタがそれぞれカラーフィルタの配列内に均等に配置される。
θ＝ｔａｎ－１（１／２）・・・式（１）
　カラーフィルタが正方形状である場合に、第３の方向及び第４の方向は第１の方向及び第２の方向に対してそれぞれ４５°異なることが好ましい。
　第１の色は、緑及び透明のうち少なくともいずれかを含むことが好ましい。
　第２の色は、赤と青を含むことが好ましい。
　本発明の目的を達成するための撮像装置は、撮影光学系と、撮影光学系を介して被写体像が結像するカラー撮像素子と、結像した被写体像を示す画像データを生成する画像データ生成部と、を備え、カラー撮像素子は上記態様のいずれかに係るカラー撮像素子である。
　本発明のカラー撮像素子及び撮像装置は、カラーフィルタの配列の第１の方向から第４の方向の各方向のフィルタライン内に第１のフィルタを配置するとともに、第１のフィルタに対応する第１の色の画素数の比率を、第１の色以外の２色以上の第２のフィルタに対応する第２の色の画素数の比率よりも大きくするようにした。このため、高周波領域でのデモザイク処理の再現精度を向上させ、かつエリアシングを抑制することができる。
　また、２色以上の第２の色の各色に対応する第２のフィルタを、基本配列パターン内において、カラーフィルタの配列の第１の方向及び第２の方向の各フィルタライン内に１つ以上配置するようにした。このため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。さらに、カラーフィルタの配列内に少なくとも１色の第２のフィルタが均等に配置されるので、この第２のフィルタに対応する画素のデモザイク処理を精度よく行うことができる。
　また、カラーフィルタの配列は、所定の基本配列パターンが第１の方向及び第２の方向に繰り返されているため、後段でのデモザイク処理を行う際に、繰り返しパターンにしたがって処理を行うことができる。これにより、従来のランダム配列に比べて後段の処理を簡略化することができる。
図１は、デジタルカメラの電気的構成を示すブロック図である。 図２は、カラー撮像素子の撮像面の正面図である。 図３は、第１実施形態のカラーフィルタ配列の正面図である。 図４は、図３中の基本配列パターンの拡大図である。 図５は、斜めフィルタ配列を説明するための説明図である。 図６は、図５中の一部を拡大した拡大図である。 図７は、複数種類の基本配列パターンについて説明するための説明図である。 図８は、第２実施形態のカラーフィルタ配列の正面図である。 図９は、第２実施形態の斜めフィルタ配列を説明するための説明図である。 図１０は、第２－１実施形態のカラーフィルタ配列の正面図である。 図１１は、第２－２実施形態のカラーフィルタ配列の基本配列パターンの拡大図である。 図１２は、第２－３実施形態のカラーフィルタ配列の基本配列パターンの拡大図である。 図１３は、透明フィルタを有する第３実施形態のカラーフィルタ配列の正面図である。 図１４は、第３実施形態のカラーフィルタ配列の分光感度特性を示したグラフである。 図１５は、２種類のＧフィルタを有する第４実施形態のカラーフィルタ配列の正面図である。 図１６は、第４実施形態のカラーフィルタ配列の分光感度特性を示したグラフである。 図１７は、エメラルドフィルタを有する第５実施形態のカラーフィルタ配列の正面図である。 図１８は、第５実施形態のカラーフィルタ配列の分光感度特性を示したグラフである。 図１９は、第１実施形態の基本配列パターンを、７×７画素に対応する配列パターンに変更した他実施形態の基本配列パターンの正面図である。 図２０は、第２実施形態の基本配列パターンを、７×７画素に対応する配列パターンに変更した他実施形態の基本配列パターンの正面図である。 図２１は、カラーフィルタ配列をハニカム配列とした他実施形態のカラーフィルタ配列の正面図である。 図２２は、従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。 図２３は、従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図である。
　［デジタルカメラの全体構成］
　図１は本発明に係るカラー撮像素子を備えるデジタルカメラ９（撮像装置）のブロック図である。デジタルカメラ９は、大別して、撮影光学系１０、カラー撮像素子１２、撮影処理部１４、画像処理部１６、駆動部１８、制御部２０などを備えている。
　撮影光学系１０は、被写体像をカラー撮像素子１２の撮像面上に結像する。カラー撮像素子１２は、その撮像面上に２次元配列された光電変換素子で構成される複数の画素と、各画素の受光面の上方に設けられたカラーフィルタとを備えた、いわゆる単板式のカラー撮像素子である。ここで、「～上」や「上方」とは、カラー撮像素子１２の撮像面に対して被写体光が入射してくる側の方向を指す。
　カラー撮像素子１２に結像された被写体像は、各画素の光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部２０の指令に従って駆動部１８から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてカラー撮像素子１２から順次読み出される。カラー撮像素子１２から読み出される画像信号は、カラー撮像素子１２のカラーフィルタ配列に対応した赤（Ｒ）、緑（Ｇ）、青（Ｂ）のモザイク画像を示すＲ、Ｇ、Ｂ信号である。なお、カラー撮像素子１２は、ＣＣＤ（Charge Coupled Device）型撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子などの他の種類の撮像素子であってもよい。
　カラー撮像素子１２から読み出された画像信号は、撮影処理部１４（画像データ生成部）に入力される。撮影処理部１４は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＣ回路、及びＡ／Ｄ変換器を有している。この撮影処理部１４は、入力された画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるＲＡＷデータを画像処理部１６に出力する。なお、カラー撮像素子１２がＭＯＳ型撮像素子である場合は、Ａ／Ｄ変換器は撮像素子内に内蔵されていることも多く、また上記相関二重サンプリングは必要としない場合もある。
　画像処理部１６（画像データ生成部）は、ホワイトバランス補正回路、ガンマ補正回路、デモザイク処理回路（単板式のカラー撮像素子１２のカラーフィルタ配列に伴うＲＧＢのモザイク画像から画素毎にＲＧＢの全ての色情報を算出（同時式に変換）する処理回路）、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を有している。画像処理部１６は、制御部２０からの指令に従い、撮影処理部１４から入力したモザイク画像のＲＡＷデータに所要の信号処理を施して、画素毎にＲＧＢ全ての色情報を有するＲＧＢ画素信号を生成し、これに基づいて輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。
　画像処理部１６で生成された画像データは、圧縮／伸張処理回路により静止画に対しては、ＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２規格に準拠した圧縮処理が施された後、図示しない記録メディア（例えばメモリカード）に記録され、また、液晶モニタ等の表示手段（図示せず）に出力されて表示される。なお、本実施形態において、記録メディアはデジタルカメラ９に着脱可能なものに限られず内蔵式の光磁気記録メディアでもよく、表示手段もデジタルカメラ９に備えられたものに限られず、デジタルカメラ９に接続された外部のディスプレイでもよい。
　［カラー撮像素子］
　図２に示すように、カラー撮像素子１２の撮像面には、水平方向及び垂直方向に２次元配列された光電変換素子ＰＤで構成される複数の画素２１が設けられている。ここで、水平方向は本発明の第１の方向及び第２の方向のうちの一方向に相当し、垂直方向は本発明の第１の方向及び第２の方向のうちの他方向に相当する。
　図３に示すように、カラー撮像素子１２の撮像面上には、各画素２１上に配設されたカラーフィルタにより構成されるカラーフィルタ配列２２が設けられている。カラーフィルタ配列２２は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）２３Ｒ，２３Ｇ，２３Ｂにより構成されている。そして、各画素２１上には、ＲＧＢフィルタ２３Ｒ，２３Ｇ，２３Ｂのいずれかが配置される。以下、Ｒフィルタ２３Ｒが配置された画素を「Ｒ画素」、Ｇフィルタ２３Ｇが配置された画素を「Ｇ画素」、Ｂフィルタ２３Ｂが配置された画素を「Ｂ画素」という。
　ここで、Ｇ色は本発明の第１の色に相当し、Ｇフィルタ２３Ｇは本発明の第１のフィルタに相当する。また、Ｒ色及びＢ色は本発明の第２の色に相当し、ＲＢフィルタ２３Ｒ，２３Ｂは本発明の第２のフィルタに相当する。第２の色のフィルタに属するＲフィルタ２３Ｒ及びＢフィルタ２３Ｂのいずれかのフィルタを、以下では「ＲＢフィルタ」ともいう。
　［第１実施形態のカラーフィルタ配列］
　カラーフィルタ配列２２は、下記の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。
　〔特徴（１）〕
　図３及び図４に示すように、カラーフィルタ配列２２は、５×５画素に対応する正方配列パターンとなる基本配列パターンＰ１を含み、この基本配列パターンＰ１が水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されている。従って、カラーフィルタ配列２２では、各色のＲフィルタ２３Ｒ、Ｇフィルタ２３Ｇ、Ｂフィルタ２３Ｂが所定の周期性をもって配列されている。このため、カラー撮像素子１２から読み出されるＲ、Ｇ、Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。その結果、従来のランダム配列に比べて後段の処理を簡略化することができる。
　また、基本配列パターンＰ１の単位で間引き処理して画像を縮小する場合に、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
　基本配列パターンＰ１には、水平方向に平行な５種類のフィルタ列２５ａ，２５ｂ，２５ｃ，２５ｄ，２５ｅが垂直方向に配列されている（図４参照）。各フィルタ列２５ａ～２５ｅは、３つのＧフィルタ２３Ｇと、１つのＲフィルタ２３Ｒと、１つのＢフィルタ２３Ｂとをそれぞれ水平方向に配列させてなるものであり、下記特徴（２）～（６）を満たすように、ＲＧＢフィルタ２３Ｒ，２３Ｇ，２３Ｂの配置が決定されている。
　〔特徴（２）〕
　カラーフィルタ配列２２では、その水平（Ｈ）、垂直（Ｖ）、及び斜め（ＮＥ，ＮＷ）方向の各フィルタライン内にＧフィルタ２３Ｇが配置されている。ここで、ＮＥは斜め右上（左下）方向を意味し、本発明の第３の方向及び第４の方向のうちの一方向に相当する。また、ＮＷは斜め右下（左上）方向を意味し、本発明の第３の方向及び第４の方向のうちの他方向に相当する。ＲＧＢフィルタ２３Ｒ，２３Ｇ，２３Ｂは正方形状であるので、ＮＥ方向及びＮＷ方向は水平方向、垂直方向に対してそれぞれ４５°の方向となる。なお、この角度は、ＲＧＢフィルタ２３Ｒ，２３Ｇ，２３Ｂの水平方向や垂直方向の各辺の長さの増減に応じて増減し得る。例えば、正方形状以外の矩形状のカラーフィルタを用いた場合には、その対角線方向が斜め（ＮＥ，ＮＷ方向）となる。なお、カラーフィルタが正方形状以外の矩形状であっても、このカラーフィルタあるいは画素を正方格子状に配置した場合には、ＮＥ方向及びＮＷ方向は水平方向、垂直方向に対してそれぞれ４５°の方向となる。さらに、複数の画素及びカラーフィルタが矩形格子状に配列されている場合には、その矩形格子の対角線の方向が斜め（ＮＥ，ＮＷ方向）に対応する。
　Ｇ色は、輝度（Ｙ）信号（上述の輝度データ）を得るための寄与率がＲ色、Ｂ色よりも高くなる。すなわち、Ｇ色よりもＲ色及びＢ色の方の寄与率が低くなる。具体的に説明すると、上述の画像処理部１６は、画素毎にＲＧＢ全ての色情報を有するＲＧＢ画素信号から、下記式（１）に従ってＹ信号を生成する。下記式（１）はカラー撮像素子１２でのＹ信号の生成に一般的に用いられる式である。この式（１）ではＧ色の輝度信号への寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。従って、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。
　Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ・・・式（１）
　このようなＧフィルタ２３Ｇが、カラーフィルタ配列２２の水平（Ｈ）、垂直（Ｖ）、及び斜め（ＮＥ，ＮＷ）方向の各フィルタライン内に配置されるため、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。
　〔特徴（３）〕
　基本配列パターンＰ１内のＲＧＢフィルタ２３Ｒ，２３Ｇ，２３Ｂに対応するＲ画素、Ｇ画素、Ｂ画素の画素数は、それぞれ５画素、１５画素、５画素になる。従って、ＲＧＢ画素の各画素数の比率は１：３：１になるので、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、Ｒ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなる。
　このようにＧ画素の画素数とＲ，Ｂ画素の各画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性もよくすることができる。
　〔特徴（４）〕
　Ｒフィルタ２３Ｒ及びＢフィルタ２３Ｂは、それぞれ基本配列パターンＰ１内においてカラーフィルタ配列２２の水平方向（Ｈ）、及び垂直方向（Ｖ）の各フィルタライン内に１つ配置されている。
　Ｒフィルタ２３Ｒ及びＢフィルタ２３Ｂがそれぞれカラーフィルタ配列２２の水平方向（Ｈ）、及び垂直方向（Ｖ）の各フィルタライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを撮影光学系１０の入射面からカラー撮像素子１２の撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するために高周波数成分をカットする働きの弱いものを適用することができる。あるいは光学ローパスフィルタを設けなくてもよい。その結果、解像度を損なわないようにすることができる。
　〔特徴（５）〕
　上記の特徴（４）を満たすＲフィルタ２３Ｒは、その水平（Ｈ）、垂直（Ｖ）、及び斜め（ＮＥ，ＮＷ）方向の各方向（以下、適宜「各方向（Ｈ，Ｖ，ＮＥ，ＮＷ）」と略す）に、Ｇフィルタ２３ＧまたはＢフィルタ２３Ｂが隣接して配置されている。また、上記の特徴（４）を満たすＢフィルタ２３Ｂは、その各方向（Ｈ，Ｖ，ＮＥ，ＮＷ）にＧフィルタ２３ＧまたはＲフィルタ２３Ｒが隣接して配置されている。従って、ＲＢフィルタ２３Ｒ，２３Ｂには、それぞれ異なる色のフィルタが各方向（Ｈ，Ｖ，ＮＥ，ＮＷ）に隣接して配置されている（特徴（５））。すなわち、同色のＲフィルタ２３Ｒ同士または同色のＢフィルタ２３Ｂ同士が、各方向（Ｈ，Ｖ，ＮＥ，ＮＷ）に隣接して配置されることはない。
　上記の特徴（４）及び特徴（５）を満たすために、カラーフィルタ配列２２では、基本配列パターンＰ１内のＲＢフィルタ２３Ｒ，２３Ｂを、各フィルタ列２５ａ～２５ｅ列毎に水平方向にずらして配置している。具体的には、各フィルタ列２５ａ～２５ｅのいずれか、例えば、フィルタ列２５ａ内にＲＢフィルタ２３Ｒ，２３Ｂを水平方向に隣接して配置させる。そして、フィルタ列２５ｂ内のＲＢフィルタ２３Ｒ，２３Ｂを、フィルタ列２５ａ内のＲＢフィルタ２３Ｒ，２３Ｂに対して水平方向に２画素間隔分ずらして配置する。以下同様に、フィルタ列２５ｄからフィルタ列２５ｅに向かって順次に、ＲＢフィルタ２３Ｒ，２３Ｂの位置を同方向に２画素間隔分ずらして配置する。ここで、「画素間隔」とは、基準画素（１つの画素）の中心点から隣接画素の中心点まで画素間隔（ピッチ）をいう。
　このようなＲＢフィルタ２３Ｒ，２３Ｂの配置により、図５に示すように、カラーフィルタ配列２２には、ＲＢフィルタ２３Ｒ，２３Ｂをそれぞれ斜め方向のフィルタラインＬＲ，ＬＢに沿って等間隔で配置させてなる斜めフィルタ列２７Ｒ，２７Ｂが含まれる。斜めフィルタ列２７Ｒ，２７Ｂは斜め方向に隣接しており、この隣接した斜めフィルタ列２７Ｒ，２７Ｂがカラーフィルタ配列２２内で垂直方向（Ｖ）に等間隔で配置されている。
　図５中の一部を拡大した図６において、本発明の第５の方向である斜め方向のフィルタラインＬＲ，ＬＢは、水平方向（Ｈ）に対してθ°傾いている。このθは下記の式（２）で表される。下記の式（２）において、「垂直方向の画素間隔数」及び「水平方向の画素間隔数」は、Ｒフィルタ２３Ｒの水平方向及び垂直方向の画素間隔数、またはＢフィルタ２３Ｂの水平方向及び垂直方向の画素間隔数である。
　θ＝ｔａｎ－１（垂直方向の画素間隔数／水平方向の画素間隔数）
　　＝ｔａｎ－１（１／２）≒２６°・・・式（２）
　図５に戻って、カラーフィルタ配列２２には、斜めフィルタ列２７Ｒ，２７Ｂがそれぞれ垂直方向（Ｖ）に沿って等間隔で配置される。その結果、カラーフィルタ配列２２内には、ＲＢフィルタ２３Ｒ，２３Ｂがそれぞれ均等（ほぼ均等を含む）に配置される。
　このように、上記の特徴（４）、（５）を満たすようにＲＢフィルタ２３Ｒ，２３Ｂをカラーフィルタ配列２２内に配置した場合には、カラーフィルタ配列２２内にＲＢフィルタ２３Ｒ，２３Ｂがそれぞれ均等に配置される。これにより、Ｒ画素及びＢ画素のデモザイク処理を精度良く行うことができる。
　〔特徴（６）〕
　また、上記の特徴（４）、（５）を満たすようにＲＢフィルタ２３Ｒ，２３Ｂをカラーフィルタ配列２２内に配置した場合には、カラーフィルタ配列２２の斜め方向（ＮＥ，ＮＷ）フィルタライン上にもＲＢフィルタ２３Ｒ，２３Ｂがそれぞれ１以上配置される。すなわち、各斜め（ＮＥ，ＮＷ）方向において、Ｒフィルタ２３ＲとＢフィルタ２３Ｂを含むフィルタラインが隣接して周期的に配列している。ここで、斜め方向においてフィルタラインが隣接するとは、１辺の長さが１の正方形であるフィルタを使用した場合、フィルタラインとフィルタラインの間が√２／２画素間隔であることを意味する。
　ＲＢフィルタ２３Ｒ，２３Ｂがそれぞれ斜め方向の（ＮＥ，ＮＷ）フィルタライン内にも配置されるので、前述の特徴（４）を満たすだけの場合に対し、斜め方向（ＮＥ，ＮＷ）に高周波成分を有する入力像によって発生しうる色モワレ（偽色）を低減することができる。これにより、斜め（ＮＥ，ＮＷ）方向の異方性を有する光学ローパスフィルタを撮影光学系１０と撮像面との間に配置しなくても斜め方向に高周波成分を有する入力像により発生しうる色モワレ（偽色）を抑えた画像を再現することができ、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いもので特定の色モワレ（偽色）を抑えることができる。あるいは光学ローパスフィルタを設けなくてもよい。その結果、斜め方向の解像度を損なわないようにすることができる。
　〔その他の特徴〕
　なお、図７に示すように、基本配列パターンＰ１を水平方向（Ｈ）、及び垂直方向（Ｖ）にそれぞれ１画素ずつシフトした基本配列パターンをＰ１’、それぞれ２画素ずつシフトした基本配列パターンをＰ１”とすると、これらの基本配列パターンＰ１’，Ｐ１”を水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置しても、同じカラーフィルタ配列２２になる。このように、図３に示したカラーフィルタ配列２２を構成可能な基本配列パターンは複数存在する。第１の実施形態では、図３及び図４に示した基本配列パターンＰ１を、便宜上、基本配列パターンという。
　以上のように本発明のカラーフィルタ配列２２は、特徴（１）～特徴（６）を有するので、後段でのデモザイク処理の簡略化と、高周波領域でのデモザイク処理の再現精度の向上と、デモザイク処理時におけるエリアシングの抑制及び高周波再現性の向上と、Ｒ画素及びＢ画素のデモザイク処理の精度向上と、高解像度化とが可能となる。
　［第２実施形態のカラー撮像素子］
　次に、図８を用いて本発明の第２実施形態のカラー撮像素子について説明を行う。なお、第２の実施形態のカラー撮像素子は、上記特徴（５）及び（６）の代わりに下記の特徴（５ａ）及び特徴（７）を有するカラーフィルタ配列３０を備える点を除けば、上記第１実施形態と基本的には同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　［第２実施形態のカラーフィルタ配列］
　カラーフィルタ配列３０は、ＲＧＢフィルタ２３Ｒ，２３Ｇ，２３Ｂが５×５画素に対応する配列パターンで配列されてなる基本配列パターンＰ２を含み、この基本配列パターンＰ２が水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されている。このため、カラーフィルタ配列３０は前述の特徴（１）を有する。
　カラーフィルタ配列３０の水平（Ｈ）、垂直（Ｖ）、及び斜め（ＮＥ，ＮＷ）方向の各フィルタライン内にはＧフィルタ２３Ｇが１以上配置されている。また、基本配列パターンＰ２内におけるＲＧＢ画素の各画素数の比率は、第１実施形態と同様に１：３：１になる。さらに、Ｒフィルタ２３Ｒ及びＢフィルタ２３Ｂは、それぞれ基本配列パターンＰ２内においてカラーフィルタ配列３０の水平方向（Ｈ）、及び垂直方向（Ｖ）の各フィルタライン内に１つ以上配置されている。従って、カラーフィルタ配列３０は、前述の特徴（２）～（４）を有する。
　〔特徴（５ａ）〕
　カラーフィルタ配列３０では、Ｒフィルタ２３Ｒの各方向（Ｈ，Ｖ，ＮＥ，ＮＷ）に異なる色のフィルタが隣接して配置されているが、Ｂフィルタ２３Ｂの斜め（ＮＥ，ＮＷ）方向には同色のＢフィルタ２３Ｂが配置されている。
　図９に示すように、前述の特徴（４）及び（５ａ）を満たすカラーフィルタ配列３０には、Ｒフィルタ２３Ｒを斜め方向のフィルタラインＬＲに沿って等間隔で配置させてなる斜めフィルタ列２７Ｒが垂直方向（Ｖ）に沿って等間隔で配置される。その結果、カラーフィルタ配列３０内には、Ｒフィルタ２３Ｒが均等に配置されるので、Ｒ画素のデモザイク処理を精度良く行うことができる。
　〔特徴（７）〕
　図８に戻って、前述の特徴（２）～（４）、（５ａ）を有するカラーフィルタ配列３０の基本配列パターンＰ２には、Ｇフィルタ２３Ｇが設けられた２×２画素に対応する正方配列３２が含まれている。
　このような正方配列３２に対応する２×２のＧ画素を取り出し、水平方向（Ｈ）のＧ画素の画素値の差分絶対値、垂直方向（Ｖ）のＧ画素の画素値の差分絶対値、斜め方向（ＮＥ，ＮＷ）のＧ画素の画素値の差分絶対値を求めることにより、水平方向（Ｈ）、垂直方向（Ｖ）、及び斜め方向（ＮＥ，ＮＷ）のうち、差分絶対値の小さい方向に相関があると判断することができる。その結果、カラーフィルタ配列３０では、最小画素間隔のＧ画素の情報を使用して、水平方向（Ｈ）、垂直方向（Ｖ）、及び斜め方向（ＮＥ，ＮＷ）のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（デモザイク処理）に使用することができる。なお、この場合に、例えば前述のデモザイク処理回路（画像処理部１６）内に方向判別処理部を設けて、この方向判別処理部で方向判別を行うようにするとよい。
　以上のように本発明のカラーフィルタ配列３０は、前述の特徴（１）～特徴（４）の他に、特徴（５ａ）、（７）を有するので、後段でのデモザイク処理の簡略化と、高周波領域でのデモザイク処理の再現精度の向上と、デモザイク処理時におけるエリアシングの抑制及び高周波再現性の向上と、高解像化と、Ｒ画素のデモザイク処理の精度向上と、相関の高い方向の判別とが可能になる。
　［第２－１実施形態のカラーフィルタ配列］
　前述の特徴（１）～（４）、（５ａ）、（７）を有するカラーフィルタ配列は、図８に示した配列パターンを有するものに限定されず、これら各特徴を満たす範囲内で適宜変更してもよい。
　図１０に示すように、カラーフィルタ配列３４は、基本配列パターンＰ２とは異なる基本配列パターンＰ３を水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置させてなる。基本配列パターンＰ３は、図中のハッチングで示した部分におけるＧフィルタ２３ＧとＢフィルタ２３Ｂとの配置が異なる点を除けば、基本配列パターンＰ２と基本的には同じである。このため、カラーフィルタ配列３４は、前述のカラーフィルタ配列３０と同様の特徴（１）～（４）、（５ａ）、（７）を有しており、カラーフィルタ配列３０と同様の効果が得られる。
　［第２－２，第２－３実施形態のカラーフィルタ配列］
　上記カラーフィルタ配列３０，３４では、Ｒフィルタ２３Ｒの各方向（Ｈ，Ｖ，ＮＥ，ＮＷ）に異なる色のフィルタを隣接配置しているが、Ｂフィルタ２３Ｂの各方向（Ｈ，Ｖ，ＮＥ，ＮＷ）に異なる色のフィルタを隣接配置してもよい。この場合には、基本配列パターンＰ２’（図１１参照）または基本配列パターンＰ３’（図１２参照）によりカラーフィルタ配列を構成する。
　図１１に示す基本配列パターンＰ２’は、基本配列パターンＰ２におけるＲフィルタ２３ＲとＢフィルタ２３Ｂとの配置を逆転させた配列パターンである。また、図１２に示す基本配列パターンＰ３’は、基本配列パターンＰ３におけるＲフィルタ２３ＲとＢフィルタ２３Ｂとの配置を逆転させた配列パターンである。従って、基本配列パターンＰ２’，Ｐ３’で構成されるカラーフィルタ配列では、Ｂフィルタ２３Ｂの各方向（Ｈ，Ｖ，ＮＥ，ＮＷ）に異なる色のフィルタが隣接配置されるが、Ｒフィルタ２３Ｒの斜め（ＮＥ，ＮＷ）方向には同色のＲフィルタ２３Ｒが隣接配置される（特徴（５ｂ））。
　このように基本配列パターンＰ２’，Ｐ３’で構成されるカラーフィルタ配列は、特徴（１）～（４）、（５ｂ）、（７）を有するので、Ｒ画素の代わりにＢ画素のデモザイク処理の精度向上が可能になる点を除けば、第２実施形態のカラーフィルタ配列と同様の効果が得られる。
　＜第１のフィルタ（第１の色）の条件＞
　上各記実施形態では、本発明の第１の色を有する第１のフィルタとしてＧ色のＧフィルタ２３Ｇを例に挙げて説明を行ったが、Ｇフィルタ２３Ｇの代わりに、あるいはＧフィルタ２３Ｇの一部に代えて、下記条件（１）から条件（４）のいずれかを満たすフィルタを用いても同様の効果が得られる。
　〔条件（１）〕
　条件（１）は、輝度信号を得るための寄与率が５０％以上であることである。この寄与率５０％は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定めた値であって、輝度データを得るための寄与率がＲ色、Ｂ色などよりも相対的に高くなる色が「第１の色」に含まれるように定めた値である。Ｇ色の寄与率は上記式（１）に示したように６０％となるので条件（１）を満たす。また、Ｇ色以外の色の寄与率についても実験やシミュレーションにより取得可能である。従って、Ｇ色以外で寄与率が５０％以上となる色を有するフィルタも、本発明の第１のフィルタとして用いることができる。なお、寄与率が５０％未満となる色は本発明の第２色（Ｒ色、Ｂ色など）となり、この色を有するフィルタが本発明の第２のフィルタとなる。
　〔条件（２）〕
　条件（２）は、フィルタの透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるＲ色、Ｂ色などのピークが含まれず、かつ寄与率が相対的に高くなるＧ色などのピークが含まれるように定められた範囲である。従って、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあるフィルタを第１のフィルタとして用いることができる。なお、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲外となるフィルタが本発明の第２のフィルタ（Ｒフィルタ２３Ｒ、Ｂフィルタ２３Ｂ）となる。
　〔条件（３）〕
　条件（３）は、波長５００ｎｍ以上５６０ｎｍ以下の範囲内での透過率が第２のフィルタ（Ｒフィルタ２３ＲやＢフィルタ２３Ｂ）の透過率よりも高いことである。この条件（３）においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件（３）の波長範囲も、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、Ｒ色やＢ色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、ＲＢフィルタ２３Ｒ、２３Ｂなどの透過率よりも高くなる範囲である。従って、透過率が波長５００ｎｍ以上５６０ｎｍ以下の範囲内で相対的に高いフィルタを第１のフィルタとして用い、透過率が相対的に低いフィルタを第２のフィルタとして用いることができる。
　〔条件（４）〕
　条件（４）は、３原色のうち最も輝度信号に寄与する色（例えばＲＧＢのうちのＧ色）と、この３原色とは異なる色とを含む２色以上のフィルタを、第１のフィルタとして用いることである。この場合には、第１のフィルタの各色以外の色に対応するフィルタが第２のフィルタとなる。
　［第３実施形態のカラー撮像素子］
　次に、図１３を用いて本発明の第３実施形態のカラー撮像素子について説明を行う。なお、第３の実施形態のカラー撮像素子は、ＲＧＢ画素以外に白色光（可視光の波長域の光）を受光する白色画素（クリア画素ともいう）を備える点を除けば、上記第１実施形態と基本的には同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　［第３実施形態のカラーフィルタ配列］
　第３実施形態のカラー撮像素子は、第１実施形態とは異なるカラーフィルタ配列３６を備えている。カラーフィルタ配列３６は、前述のＲＧＢフィルタ２３Ｒ，２３Ｇ，２３Ｂ、及び透明フィルタ２３Ｗ（第１のフィルタ）が５×５画素に対応する配列パターンで配列されてなる基本配列パターンＰ４を含み、この基本配列パターンＰ４が水平及び垂直方向（Ｈ、Ｖ）に繰り返し配置されている。このため、カラーフィルタ配列３６は前述の特徴（１）を有する。
　基本配列パターンＰ４は、基本配列パターンＰ１の一部のＧフィルタ２３Ｇを透明フィルタ２３Ｗに置き換えた配列パターンを有している。例えば、水平及び垂直方向（Ｈ、Ｖ）において他のＧフィルタ２３Ｇに隣接しているＧフィルタ２３Ｇを、透明フィルタ２３Ｗに置き換えている。このように第３実施形態のカラー撮像素子では、Ｇ画素の一部を白色画素に置き換えている。これにより、高感度化を実現でき、またＧ画素を残すことで画素サイズを微細化しても色再現性の劣化を抑制することができる。
　透明フィルタ２３Ｗは、透明色（第１の色）のフィルタである。透明フィルタ２３Ｗは、可視光の波長域に対応する光を透過可能であり、例えばＲＧＢの各色の光の透過率が５０％以上となるフィルタである。透明フィルタ２３Ｗの透過率は、Ｇフィルタ２３Ｇよりも高くなるので、輝度信号を得るための寄与率もＧ色（６０％）よりは高くなり、前述の条件（１）を満たす。
　カラーフィルタ配列３６の分光感度特性を示す図１４において、透明フィルタ２３Ｗの透過率のピーク（白色画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、透明フィルタ２３Ｗの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタ２３Ｒ，２３Ｂの透過率よりも高くなる。このため、透明フィルタ２３Ｗは前述の条件（２）、（３）も満たしている。なお、Ｇフィルタ２３Ｇについても透明フィルタ２３Ｗと同様に前述の条件（１）～（３）を満たしている。
　このように透明フィルタ２３Ｗは、前述の条件（１）～（３）を満たしているので、本発明の第１のフィルタとして用いることができる。なお、カラーフィルタ配列３６では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタ２３Ｇの一部を透明フィルタ２３Ｗに置き換えているので、前述の条件（４）も満たしている。
　図１３に戻って、カラーフィルタ配列３６は、上述の通り、Ｇフィルタ２３Ｇの一部を透明フィルタ２３Ｗで置き換えた点を除けば、基本的には第１実施形態のカラーフィルタ配列２２と同じであるので、第１実施形態と同様の特徴（２）～（６）を有する。従って、第１実施形態で説明した効果と同様の効果が得られる。
　なお、透明フィルタ２３Ｗの配置や個数は図１３に示した実施形態に限定されるものではなく、適宜変更してもよい。この場合には、Ｇフィルタ２３Ｇ及び透明フィルタ２３Ｗを含む第１のフィルタが、カラーフィルタ配列３６の水平方向（Ｈ）、垂直方向（Ｖ）、斜め方向（ＮＥ、ＮＷ）の各方向のフィルタラインに１個以上含まれていれば、前述の特徴（２）を満たす。
　［第４実施形態のカラー撮像素子］
　次に、図１５を用いて本発明の第４実施形態のカラー撮像素子について説明を行う。なお、第４の実施形態のカラー撮像素子は、２種類のＧ画素を備えている点を除けば、上記第１実施形態と基本的には同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　［第４実施形態のカラーフィルタ配列］
　第４実施形態のカラー撮像素子は、第１実施形態とは異なるカラーフィルタ配列４０を備えている。カラーフィルタ配列４０は、Ｒフィルタ２３Ｒ、第１Ｇフィルタ２３Ｇ１及び第２Ｇフィルタ２３Ｇ２（第１のフィルタ）、Ｂフィルタ２３Ｂが５×５画素に対応する配列パターンで配列されてなる基本配列パターンＰ５を含み、この基本配列パターンＰ５が水平及び垂直方向（Ｈ、Ｖ）に繰り返し配置されている。このため、カラーフィルタ配列４０は前述の特徴（１）を有する。
　基本配列パターンＰ５は、第１実施形態の基本配列パターンＰ１の各Ｇフィルタ２３Ｇを第１Ｇフィルタ２３Ｇ１または第２Ｇフィルタ２３Ｇ２に置き換えた配列パターンを有している。例えば本実施形態では、第１Ｇフィルタ２３Ｇ１が水平方向に奇数番目のフィルタ列に配置され、第２Ｇフィルタ２３Ｇ２は水平方向に偶数番目のフィルタ列に配置されている。
　第１Ｇフィルタ２３Ｇ１は第１の波長帯域のＧ光を透過し、第２Ｇフィルタ２３Ｇ２は第１Ｇフィルタ２３Ｇ１と相関の高い第２の波長帯域のＧ光を透過する（図１６参照）。第１Ｇフィルタ２３Ｇ１としては、現存のＧフィルタ（例えば第１実施形態のＧフィルタ２３Ｇ）を用いることができる。また、第２Ｇフィルタ２３Ｇ２としては、第１Ｇフィルタ２３Ｇ１と相関の高いフィルタを用いることができる。この場合に、第２Ｇフィルタ２３Ｇ２の分光感度曲線のピーク値は、例えば波長５００ｎｍから５３５ｎｍの範囲（現存のＧフィルタの分光感度曲線のピーク値の近傍）にあることが望ましい。なお、４色（Ｒ、Ｇ１、Ｇ２、Ｂ）のカラーフィルタを決定する方法は、例えば特開２００３－２８４０８４号に記載されている方法が用いられる。
　このように第４実施形態のカラー撮像素子により取得される画像の色を４種類とし、取得される色情報を増やすことにより、３種類の色（ＲＧＢ）のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること（「色の判別性」を向上させること）ができる。
　第１及び第２Ｇフィルタ２３Ｇ１，２３Ｇ２の透過率は、第１実施形態のＧフィルタ２３Ｇの透過率と基本的には同じであるので、輝度信号を得るための寄与率は５０％よりは高くなる。従って、第１及び第２Ｇフィルタ２３Ｇ１，２３Ｇ２は前述の条件（１）を満たす。
　また、カラーフィルタ配列４０の分光感度特性を示す図１６において、各Ｇフィルタ２３Ｇ１，２３Ｇ２の透過率のピーク（各Ｇ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。さらに、各Ｇフィルタ２３Ｇ１，２３Ｇ２の透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタ２３Ｒ，２３Ｂの透過率よりも高くなる。このため、各Ｇフィルタ２３Ｇ１，２３Ｇ２は前述の条件（２）、（３）も満たしている。
　図１５に戻って、カラーフィルタ配列４０は、上述の通り、各Ｇフィルタ２３Ｇ１，２３Ｇ２を有する点を除けば、基本的には第１実施形態のカラーフィルタ配列２２と同じであるので、第１実施形態と同様の特徴（２）～（６）を有する。従って、第１実施形態で説明した効果と同様の効果が得られる。
　なお、各Ｇフィルタ２３Ｇ１，２３Ｇ２の配置や個数は図１５に示した実施形態に限定されるものではなく、適宜変更してもよい。また、Ｇフィルタの種類を３種類以上に増加してもよい。
　［第５実施形態のカラー撮像素子］
　次に、図１７を用いて本発明の第５実施形態のカラー撮像素子について説明を行う。なお、第５の実施形態のカラー撮像素子は、ＲＧＢ画素以外に、本発明の第４色に対応するエメラルド（Ｅ）色の光を受光するＥ画素を備える点を除けば、上記第１実施形態と基本的には同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　［第５実施形態のカラーフィルタ配列］
　第５実施形態のカラー撮像素子は、第１実施形態とは異なるカラーフィルタ配列４４を備えている。カラーフィルタ配列４４は、前述のＲＧＢフィルタ２３Ｒ，２３Ｇ，２３Ｂ、及びＥフィルタ２３Ｅ（第１のフィルタ）が５×５画素に対応する配列パターンで配列されてなる基本配列パターンＰ６を含み、この基本配列パターンＰ６が水平及び垂直方向（Ｈ、Ｖ）に繰り返し配置されている。このため、カラーフィルタ配列４４は前述の特徴（１）を有する。
　基本配列パターンＰ６は、図１３に示した第３実施形態の基本配列パターンＰ４の透明フィルタ２３ＷをＥフィルタ２３Ｅに置き換えた配列パターンを有している。このようにＧフィルタ２３Ｇの一部をＥフィルタ２３Ｅで置き換えた４色のカラーフィルタ配列４４を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
　カラーフィルタ配列４４の分光感度特性を示す図１８において、Ｅフィルタ２３Ｅの透過率のピーク（Ｅ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、Ｅフィルタ２３Ｅの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタ２３Ｒ，２３Ｂの透過率よりも高くなる。このため、Ｅフィルタ２３Ｅは前述の条件（２）、（３）を満たしている。また、カラーフィルタ配列４４では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタ２３Ｇの一部をＥフィルタ２３Ｅに置き換えているので、前述の条件（４）も満たしている。
　なお、図１８に示した分光特性では、Ｅフィルタ２３ＥがＧフィルタ２３Ｇよりも短波長側にピークを持つが、Ｇフィルタ２３Ｇよりも長波長側にピークを持つ（少し黄色よりの色に見える）場合もある。このようにＥフィルタ２３Ｅとしては、本発明の各条件を満たすものを適宜選択可能であり、例えば、条件（１）を満たすようなＥフィルタ２３Ｅを選択することもできる。
　図１７に戻って、カラーフィルタ配列４４は、上述の通り、Ｇフィルタ２３Ｇの一部をＥフィルタ２３Ｅで置き換えた点を除けば、基本的には第１実施形態のカラーフィルタ配列２２と同じであるので、第１実施形態と同様の特徴（２）～（６）を有する。従って、第１実施形態で説明した効果と同様の効果が得られる。
　なお、Ｅフィルタ２３Ｅの配置や個数は、図１７に示した実施形態とは異なる配置や個数に変更してもよい。この場合には、Ｇフィルタ２３Ｇ及びＥフィルタ２３Ｅを含む第１のフィルタが、カラーフィルタ配列４４の水平方向（Ｈ）、垂直方向（Ｖ）、斜め方向（ＮＥ、ＮＷ）の各方向のフィルタラインに１個以上含まれていれば、前述の特徴（２）を満たす。
　また、上記第５実施形態では、Ｅフィルタ２３Ｅを本発明の第１のフィルタとして用いているが、Ｅフィルタ２３Ｅの中には例えば前述の条件（１）～（４）を満たさないものもある。従って、このようなＥフィルタ２３Ｅについては本発明の第２のフィルタとして用いてもよい。
　［その他］
　上記各施形態の各カラーフィルタ配列は、その基本配列パターンが５×５画素に対応する配列パターンで配列されているが、例えば、図１９に示すカラーフィルタ配列４８の基本配列パターンＰ７、及び図２０に示すカラーフィルタ配列５０の基本配列パターンＰ８のように、７×７画素に対応する配列パターンで配列されていてもよい。
　基本配列パターンＰ７は、第１実施形態の基本配列パターンＰ１を７×７画素に拡張した点を除けば基本的には基本配列パターンＰ１と同じであるが、さらに前述の正方配列３２が含まれている。従って、カラーフィルタ配列４８は、前述の特徴（１）～（７）を有している。
　基本配列パターンＰ８は、第２実施形態の基本配列パターンＰ２を７×７画素に拡張した点を除けば基本的には基本配列パターンＰ２と同じである。従って、カラーフィルタ配列５０は、第２実施形態のカラーフィルタ配列３０と同様の特徴（１）～（４）、（５ａ）、（７）を有する。
　なお、図示は省略するが、上記第２－１実施形態から第５実施形態の基本配列パターンＰ３～Ｐ６についても、７×７画素に対応する配列パターンで配列させてもよい。さらに、各実施形態の基本配列パターンを９×９画素に対応する配列パターンで配列させてもよく、すなわち、基本配列パターンを、Ｎ×Ｎ（Ｎは５以上の奇数）画素に対応する配列パターンで配列させてもよい。ただし、Ｎを増加させてもデモザイク等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られない。従って、信号処理の複雑化を防止する観点から、基本配列パターンのサイズは大きすぎない７×７画素以下が好ましく、５×５画素に対応する基本配列パターンが信号処理を単純化させる観点からより好ましい。
　上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向（Ｈ）及び垂直方向（Ｖ）に２次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されてなるが本発明はこれに限定されるものではない。
　例えば、図２１に示すカラーフィルタ配列５２のように、ＲＧＢフィルタ２３Ｒ，２３Ｇ，２３Ｂを斜め方向（ＮＥ，ＮＷ）に２次元配列してなる所謂ハニカム配列状の基本配列パターンＰ９を含み、かつ基本配列パターンＰ９が斜め方向（ＮＥ，ＮＷ）に繰り返されて配置されてなる配列パターンであってもよい。この場合には、斜め方向（ＮＥ，ＮＷ）が本発明の第１及び第２の方向になり、水平・垂直方向（Ｈ，Ｖ）が本発明の第３及び第４の方向となる。
　このようなカラーフィルタ配列５２は、第１実施形態のカラーフィルタ配列２２を撮影光学系１０の光軸回りに４５°回転させた配列パターンであるので、上記第１実施形態と同様の特徴（１）～（６）を有する。なお、図示は省略するが、前述の基本配列パターンＰ２～Ｐ８についても同様にハニカム配列にしてもよい。
　上記第１実施形態などでは、原色ＲＧＢのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件（１）～（４）のいずれかを満たすカラーフィルタを本発明の第１のフィルタとし、他のカラーフィルタを第２のフィルタとする。
　なお、本発明のカラー撮像素子のカラーフィルタ配列は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。例えば上記各実施形態のカラーフィルタ配列を適宜組み合わせてもよい。また、本発明の第１のフィルタとして、Ｇフィルタ２３Ｇ、透明フィルタ２３Ｗ、第１及び第２Ｇフィルタ２３Ｇ１，２３Ｇ２、Ｅフィルタ２３Ｅなどの少なくともいずれか２種類を組み合わせたものを用いてもよく、あるいは上記条件（１）～（４）のいずれかを満たすような他の色のフィルタを用いてよい。さらに、本発明の第２のフィルタとして、ＲＢフィルタ２３Ｒ，２３Ｂ以外の色のフィルタを用いてもよい。
　上記各実施形態では、デジタルカメラに搭載されるカラー撮像素子について説明したが、例えばスマートフォン、携帯電話機、ＰＤＡなどの撮影機能を有する各種の電子機器（撮像装置）に搭載されるカラー撮像素子についても本発明を適用することができる。
　９…デジタルカメラ，１２…カラー撮像素子，２１…光電変換素子，２２，３０，３４，３６，４０，４４，４８，５２…カラーフィルタ配列，２３Ｒ…Ｒフィルタ，２３Ｇ…Ｇフィルタ，２３Ｇ１…第１Ｇフィルタ，２３Ｇ２…第２Ｇフィルタ，２３Ｂ…Ｂフィルタ，２３Ｗ…透明フィルタ，２３Ｅ…Ｅフィルタ，３２…正方配列，Ｐ１～Ｐ９…基本配列パターン

Claims (16)

  1. 　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    　前記カラーフィルタの配列は、前記カラーフィルタが前記第１の方向及び第２の方向にＮ×Ｎ（Ｎは５以上の奇数）画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第１の方向及び第２の方向に繰り返されて配置されてなり、
    　前記カラーフィルタは、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを含み、かつ前記第１のフィルタに対応する前記第１の色の全画素数の比率が、前記第２のフィルタに対応する前記第２の色の各色の画素数の比率よりも大きくなり、
    　前記第１のフィルタは、前記カラーフィルタの配列の前記第１の方向と、前記第２の方向と、前記第１の方向及び第２の方向に対して傾いた第３の方向及び第４の方向とを含む各方向のフィルタライン内に１つ以上配置され、
    　前記第２の色の各色の前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各フィルタライン内に１つずつ配置され、
    　前記カラーフィルタの配列内で少なくとも１色の前記第２のフィルタには、その前記第１の方向から前記第４の方向の各方向に、当該第２のフィルタとは異なる色の前記第２のフィルタまたは前記第１のフィルタが隣接して配置されているカラー撮像素子。
  2. 　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    　前記カラーフィルタの配列は、前記カラーフィルタが前記第１の方向及び第２の方向にＮ×Ｎ（Ｎは５以上の奇数）画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第１の方向及び第２の方向に繰り返されて配置されてなり、
    　前記カラーフィルタは、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある１色以上の第１の色に対応する第１のフィルタと、透過率のピークが前記範囲の外にある２色以上の第２の色に対応する第２のフィルタとを含み、かつ前記第１のフィルタに対応する第１の色の全画素数の比率が、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくなり、
    　前記第１のフィルタは、前記カラーフィルタの配列の前記第１の方向と、前記第２の方向と、前記第１の方向及び第２の方向に対して傾いた第３の方向及び第４の方向とを含む各方向のフィルタライン内に１つ以上配置され、
    　前記第２の色の各色の前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各フィルタライン内に１つずつ配置され、
    　前記カラーフィルタの配列内で少なくとも１色の前記第２のフィルタには、その前記第１の方向から前記第４の方向の各方向に、当該第２のフィルタとは異なる色の前記第２のフィルタまたは前記第１のフィルタが隣接して配置されているカラー撮像素子。
  3. 　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    　前記カラーフィルタの配列は、前記カラーフィルタが前記第１の方向及び第２の方向にＮ×Ｎ（Ｎは５以上の奇数）画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第１の方向及び第２の方向に繰り返されて配置されてなり、
    　前記カラーフィルタは、１色以上の第１の色に対応する第１のフィルタと、波長５００ｎｍ以上５６０ｎｍ以下の範囲内で透過率が前記第１のフィルタよりも低くなる２色以上の第２の色に対応する第２のフィルタとを含み、かつ前記第１のフィルタに対応する第１の色の全画素数の比率が、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくなり、
    　前記第１のフィルタは、前記カラーフィルタの配列の前記第１の方向と、前記第２の方向と、前記第１の方向及び第２の方向に対して傾いた第３の方向及び第４の方向とを含む各方向のフィルタライン内に１つ以上配置され、
    　前記第２の色の各色の前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各フィルタライン内に１つずつ配置され、
    　前記カラーフィルタの配列内で少なくとも１色の前記第２のフィルタには、その前記第１の方向から前記第４の方向の各方向に、当該第２のフィルタとは異なる色の前記第２のフィルタまたは前記第１のフィルタが隣接して配置されているカラー撮像素子。
  4. 　第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    　前記カラーフィルタの配列は、前記カラーフィルタが前記第１の方向及び第２の方向にＮ×Ｎ（Ｎは５以上の奇数）画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第１の方向及び第２の方向に繰り返されて配置されてなり、
    　前記カラーフィルタは、３原色のうち最も輝度信号に寄与する色と前記３原色とは異なる色の第４色とを含む２色以上の第１の色に対応する第１のフィルタと、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを含み、かつ前記第１のフィルタに対応する前記第１の色の各色の全画素数の比率が、前記第２のフィルタに対応する前記第２の色の各色の画素数の比率よりも大きくなり、
    　前記第１のフィルタは、前記カラーフィルタの配列の前記第１の方向と、前記第２の方向と、前記第１の方向及び第２の方向に対して傾いた第３の方向及び第４の方向とを含む各方向のフィルタライン内に１つ以上配置され、
    　前記第２の色の各色の前記第２のフィルタのそれぞれは、前記基本配列パターン内の前記第１の方向及び第２の方向の各フィルタライン内に１つずつ配置され、
    　前記カラーフィルタの配列内で少なくとも１色の前記第２のフィルタには、その前記第１の方向から前記第４の方向の各方向に、当該第２のフィルタとは異なる色の前記第２のフィルタまたは前記第１のフィルタが隣接して配置されているカラー撮像素子。
  5. 　輝度信号を得るための前記第１の色の寄与率は５０％以上であり、輝度信号を得るための前記第２の色の寄与率は５０％未満である請求項１記載のカラー撮像素子。
  6. 　前記基本配列パターン内では、前記第２の色の各色の前記第２のフィルタの前記各方向に、当該第２のフィルタとは異なる色の前記第２のフィルタまたは前記第１のフィルタが隣接して配置されている請求項１から５のいずれか１項記載のカラー撮像素子。
  7. 　前記基本配列パターンは、前記第１のフィルタ及び前記第２の色の各色に対応する前記第２のフィルタを前記第１の方向に配列させてなるフィルタ列を含み、かつ複数の前記フィルタ列を前記第２の方向に配列させてなるものであり、
    　前記基本配列パターン内の前記フィルタ列毎に前記第２の色の各色に対応する前記第２のフィルタの位置を前記第１の方向にずらして配置している請求項６記載のカラー撮像素子。
  8. 　前記第１の方向に対して式（１）で示されるθ°異なる方向を第５の方向としたときに、前記カラーフィルタの配列には、前記第２の色の各色に対応する前記第２のフィルタを別々に前記第５の方向に沿って等間隔で配置してなる各色の斜めフィルタ配列が、それぞれ前記第２の方向に沿って等間隔で配置されている請求項７記載のカラー撮像素子。
    θ＝ｔａｎ－１（１／２）・・・式（１）
  9. 　前記第２の色の各色に対応する前記第２のフィルタのそれぞれは、前記カラーフィルタの配列内の前記第３の方向及び前記第４の方向のフィルタライン内に１つ以上配置される請求項６から８のいずれか１項記載のカラー撮像素子。
  10. 　前記基本配列パターン内では、前記第２の色の各色のうちの１色の前記第２のフィルタの各方向に、当該第２のフィルタとは異なる色の前記第２のフィルタまたは前記第１のフィルタが隣接して配置されている請求項１から５のいずれか１項記載のカラー撮像素子。
  11. 　前記基本配列パターンは、前記第１のフィルタで構成される２×２画素に対応する正方配列を含む請求項１０記載のカラー撮像素子。
  12. 　前記第１の方向に対して式（１）で示されるθ°異なる方向を第５の方向としたときに、前記カラーフィルタの配列には、前記第２の色の各色のうちの１色の前記第２のフィルタを前記第５の方向に沿って等間隔で配置してなる斜めフィルタ配列が、前記第２の方向に沿って等間隔で配置されている請求項１０または１１記載のカラー撮像素子。
    θ＝ｔａｎ－１（１／２）・・・式（１）
  13. 　前記カラーフィルタが正方形状である場合に、前記第３の方向及び第４の方向は前記第１の方向及び第２の方向に対してそれぞれ４５°異なる請求項１から１２のいずれか１項記載のカラー撮像素子。
  14. 　前記第１の色は、緑及び透明のうち少なくともいずれかを含む請求項１から１３のいずれか１項記載のカラー撮像素子。
  15. 　前記第２の色は、赤と青を含む請求項１から１４のいずれか１項記載のカラー撮像素子。
  16. 　撮影光学系と、
    　前記撮影光学系を介して被写体像が結像するカラー撮像素子と、
    　前記結像した被写体像を示す画像データを生成する画像データ生成部とを備え、
    　前記カラー撮像素子は、請求項１から１５のいずれか１項に記載のカラー撮像素子である、撮像装置。
PCT/JP2013/068232 2012-07-06 2013-07-03 カラー撮像素子及び撮像装置 WO2014007281A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380036081.4A CN104429060B (zh) 2012-07-06 2013-07-03 彩色摄像元件及摄像装置
JP2014523760A JP5698874B2 (ja) 2012-07-06 2013-07-03 カラー撮像素子及び撮像装置
US14/589,283 US9324749B2 (en) 2012-07-06 2015-01-05 Color imaging element and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-152679 2012-07-06
JP2012152679 2012-07-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/589,283 Continuation US9324749B2 (en) 2012-07-06 2015-01-05 Color imaging element and imaging device

Publications (1)

Publication Number Publication Date
WO2014007281A1 true WO2014007281A1 (ja) 2014-01-09

Family

ID=49882033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068232 WO2014007281A1 (ja) 2012-07-06 2013-07-03 カラー撮像素子及び撮像装置

Country Status (4)

Country Link
US (1) US9324749B2 (ja)
JP (1) JP5698874B2 (ja)
CN (1) CN104429060B (ja)
WO (1) WO2014007281A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017017692A (ja) * 2015-06-29 2017-01-19 オムニヴィジョン テクノロジーズ インコーポレイテッド カラーエイリアシングを減少するためのカラーフィルタアレイパターン

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
CN105516697B (zh) * 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
US9928575B2 (en) * 2016-03-01 2018-03-27 Sony Corporation Method and system for processing a multi-channel image
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
CN110326284B (zh) * 2017-03-27 2021-11-30 株式会社尼康 摄像装置及摄像元件
WO2020244765A1 (en) * 2019-06-06 2020-12-10 Huawei Technologies Co., Ltd. Color filter array apparatus
CN111912392A (zh) * 2019-12-09 2020-11-10 南开大学 一种基于轮转式滤光片的无人机用轻型光谱成像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001085664A (ja) * 1999-07-15 2001-03-30 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2003153291A (ja) * 2001-11-08 2003-05-23 Canon Inc 撮像装置及びシステム
JP2007184904A (ja) * 2005-12-30 2007-07-19 Internatl Business Mach Corp <Ibm> ピクセル・アレイ、ピクセル・アレイを含むイメージング・センサ、及びイメージング・センサを含むデジタルカメラ
JP2009027684A (ja) * 2007-07-23 2009-02-05 Visera Technologies Co Ltd カラーフィルタアレイとそれを用いたイメージセンサ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
US8130236B2 (en) * 2008-02-05 2012-03-06 Aptina Imaging Corporation Systems and methods to achieve preferred imager color reproduction
JP4448888B2 (ja) * 2008-04-01 2010-04-14 富士フイルム株式会社 撮像装置及び撮像装置の信号処理方法
US20110013056A1 (en) * 2009-07-17 2011-01-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Color filters and demosaicing techniques for digital imaging
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
JP5044673B2 (ja) * 2010-03-25 2012-10-10 株式会社東芝 固体撮像装置および画像記録装置
WO2012114993A1 (ja) * 2011-02-21 2012-08-30 富士フイルム株式会社 カラー撮像素子

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001085664A (ja) * 1999-07-15 2001-03-30 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2003153291A (ja) * 2001-11-08 2003-05-23 Canon Inc 撮像装置及びシステム
JP2007184904A (ja) * 2005-12-30 2007-07-19 Internatl Business Mach Corp <Ibm> ピクセル・アレイ、ピクセル・アレイを含むイメージング・センサ、及びイメージング・センサを含むデジタルカメラ
JP2009027684A (ja) * 2007-07-23 2009-02-05 Visera Technologies Co Ltd カラーフィルタアレイとそれを用いたイメージセンサ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017017692A (ja) * 2015-06-29 2017-01-19 オムニヴィジョン テクノロジーズ インコーポレイテッド カラーエイリアシングを減少するためのカラーフィルタアレイパターン

Also Published As

Publication number Publication date
CN104429060A (zh) 2015-03-18
CN104429060B (zh) 2016-04-20
US20150109493A1 (en) 2015-04-23
JP5698874B2 (ja) 2015-04-08
JPWO2014007281A1 (ja) 2016-06-02
US9324749B2 (en) 2016-04-26

Similar Documents

Publication Publication Date Title
JP5702894B2 (ja) カラー撮像素子および撮像装置
JP5702896B2 (ja) カラー撮像素子及び撮像装置
JP5927068B2 (ja) カラー撮像素子
JP5698874B2 (ja) カラー撮像素子及び撮像装置
JP5702893B2 (ja) カラー撮像素子および撮像装置
JP5698875B2 (ja) カラー撮像素子および撮像装置
JP5698873B2 (ja) カラー撮像素子および撮像装置
JP5702895B2 (ja) カラー撮像素子および撮像装置
US9185375B2 (en) Color imaging element and imaging device
US20140307135A1 (en) Color imaging element
US8976275B2 (en) Color imaging element

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380036081.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13812554

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014523760

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13812554

Country of ref document: EP

Kind code of ref document: A1