WO2007020930A1 - 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム - Google Patents

撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム Download PDF

Info

Publication number
WO2007020930A1
WO2007020930A1 PCT/JP2006/316062 JP2006316062W WO2007020930A1 WO 2007020930 A1 WO2007020930 A1 WO 2007020930A1 JP 2006316062 W JP2006316062 W JP 2006316062W WO 2007020930 A1 WO2007020930 A1 WO 2007020930A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
noise reduction
value
determined
processing
Prior art date
Application number
PCT/JP2006/316062
Other languages
English (en)
French (fr)
Inventor
Hiroyuki Kinoshita
Jing Zhang
Masahiro Ito
Akira Matsui
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US11/665,037 priority Critical patent/US7834917B2/en
Priority to JP2007511739A priority patent/JP4872911B2/ja
Publication of WO2007020930A1 publication Critical patent/WO2007020930A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise

Definitions

  • Imaging device Imaging device, noise reduction device, noise reduction method, and program technical field
  • the present invention relates to an imaging device, a noise reduction device, a noise reduction method, and a program, and more particularly to an imaging device, a noise reduction device, and a noise reduction that can effectively remove noise contained in a video signal or an image signal.
  • the imaging device performs noise reduction (noise reduction processing) on the image signal obtained from the image sensor.
  • Japanese Patent Laid-Open No. 6-8 6 10 4 describes a noise reduction device that performs noise reduction (N R) using ⁇ (epsilon) filtering.
  • Fig. 1 ⁇ shows the adjacent pixel levels (also referred to as pixel values) in the flat part of the image.
  • the target pixel or target pixel
  • the detection area is set to three neighboring pixels on each of the left and right sides for smoothing.
  • the target pixel 1001 and the peripheral pixels 1002 to peripheral pixels 1007 are pixels of the same color component.
  • the peripheral pixels 10 2 to 10 7 in the detection region have a difference (level difference) from the pixel level when there is no noise.
  • the level difference between and is displayed as noise.
  • the peripheral pixels 10 2 to 10 7 are noise-removed. It is determined that the pixel can be used for dachsion. Then, an average of pixel levels of the target pixel 1 0 1 and the peripheral pixels 1 0 2 to 1 0 7 is calculated and subjected to filter processing. In the example shown in FIG.
  • the left and right directions are taken as an example, but the same applies to the vertical and diagonal directions if the detection frame forms a plane direction region.
  • a pixel whose absolute value of the level difference between the target pixel and the surrounding pixels in the detection region is within a certain threshold is determined to be correlated with the signal component. And the average of the pixel and level of the surrounding pixels determined to be correlated with the target pixel is calculated.
  • pixels with a large level difference from the pixel of interest such as edge portions (contour portions) are not used. Therefore, it is possible to perform noise reduction while suppressing the deterioration of the frequency characteristics as much as possible without smoothing the edges in the flat portion of the image as shown in FIG.
  • Fig. 1B shows the pixel level of each pixel in the ramp part of the image where the level gradually changes in the plane.
  • the pixels whose absolute value of the level difference from the target pixel 2 0 1 is within the threshold are the peripheral pixel 2 0 4 and the peripheral pixel 2 .0 5
  • the average is calculated compared to the flat portion of the image Therefore, the number of pixels used is reduced.
  • the noise reduction effect is obtained in the flat part, but the effect is reduced in the lamp part.
  • the noise in the lamp part becomes conspicuous. It was hot.
  • the center of gravity of the pixel of interest is shifted after noise reduction, and the linearity in the image is significantly lost. there were.
  • the noise reduction effect could not be expected when the pixel of interest had, for example, a pulse-like protruding noise.
  • noise reduction is performed using the target pixel and peripheral pixels of the same color component, but the color filter provided in the image sensor reduces the peripheral pixels of the same color component as the target pixel.
  • the color filter provided in the image sensor reduces the peripheral pixels of the same color component as the target pixel.
  • many G filters are often arranged in consideration of human visibility characteristics and so on. There are relatively fewer filters. Therefore, for example, when applying noise reduction to a pixel of interest for the R component, the number of R component pixels in the detection region is set to obtain the effect of noise reduction.
  • the detection area it is necessary to set the detection area wider so as to increase, there is a problem that setting the detection area wide increases the line memory and the circuit scale.
  • the detection area is widened, the correlation between the pixel of interest and surrounding pixels is weakened, which may reduce the noise reduction effect. Disclosure of the invention
  • an object of the present invention is to provide an imaging device, a noise reduction device, a noise reduction method, and a program capable of performing noise reduction for both a flat portion and a lamp portion of an image. It is.
  • Another object of the present invention is to provide an imaging apparatus, a noise reduction apparatus, and a noise reduction method that can perform noise reduction even on a pixel having a small number of pixels of the same color in the detection region. It is to provide a program.
  • the first invention comprises an imaging unit and a noise reduction device that performs noise reduction on an imaging signal obtained from the imaging unit, and the noise reduction device is a noise reduction device.
  • a target pixel to be used a plurality of peripherals having the same color component as the target pixel, a take-out means for taking out the side pixels, and an edge for detecting whether or not an edge exists between the target pixel and the peripheral pixels
  • the detection means and the edge detection means determine that the edge does not exist, it is determined that the surrounding pixel can be used for noise reduction, and when the edge is determined to exist, it is determined that the surrounding pixel cannot be used for noise reduction.
  • the pixel value of the pixel of interest, the pixel value of the pixel of interest, and the peripheral pixels that are determined to be usable for noise reduction by the determination unit Noise reduction processing using the door Noise reduction processing while maintaining frequency characteristics using the first processing means for performing the processing, the pixel value of the pixel of interest, and the pixel values of peripheral pixels determined to be usable for noise reduction by the determination means
  • An imaging apparatus comprising: a second processing means for performing weighting; and a weighted addition means for weighting and adding the output value of the first processing means and the output value of the second processing means using a weighting factor.
  • the extraction means for extracting the target pixel for noise reduction, a plurality of peripheral pixels having the same color component as the target pixel, and the target pixel.
  • the edge detection means for detecting whether or not it exists, and when the edge detection means determines that the edge does not exist, the peripheral pixel is determined to be usable for noise reduction, and when it is determined that the edge exists, Noise reduction processing using discrimination means that discriminates that peripheral pixels cannot be used for noise reduction, pixel values of the target pixel, and pixel values of peripheral pixels that are determined to be usable for noise reduction by the discrimination means.
  • the first processing means for performing the processing, the pixel value of the target pixel, and the pixel values of the surrounding pixels determined to be usable for noise reduction by the determination means
  • the second processing means that performs noise reduction processing while maintaining the frequency characteristics using the weighted addition of the output value of the first processing means and the output value of the second processing means using a weighting factor
  • a noise reduction device comprising weighted addition means.
  • the third aspect of the present invention relates to a step of extracting a target pixel for noise reduction and a plurality of peripheral pixels having the same color component as the target pixel, and whether an edge exists between the target pixel and the peripheral pixel.
  • the edge detection step for detecting whether or not, and when the edge detection step determines that no edge exists, the peripheral pixel is determined to be usable for noise reduction, and when it is determined that the edge exists, the peripheral pixel is A noise reduction process is performed using a determination step for determining that noise reduction cannot be used, a pixel value of a target pixel, and pixel values of surrounding pixels determined to be usable for noise reduction in the determination step.
  • Second processing for performing noise reduction processing while maintaining the frequency characteristics using the pixel value of the target pixel, the pixel value of the target pixel, and the pixel value of the surrounding pixels determined to be usable for noise reduction in the determination step This is a noise reduction method comprising a step, and a weighting addition step of weighting and adding the output value of the first processing step and the output value of the second processing step using a weighting factor.
  • Noise reduction in the first processing step that performs noise reduction processing, the pixel value of the target pixel, and the discrimination step A second processing step that performs noise reduction processing while maintaining frequency characteristics using pixel values of peripheral pixels that are determined to be usable, and output values and second processing steps of the first processing step.
  • This is a program that executes a weighted addition step of weighting and adding the output value of the output using a weighting coefficient.
  • an imaging unit and a noise reduction device that performs noise reduction on an imaging signal obtained from the imaging unit.
  • the noise reduction device has an edge between the target pixel and the peripheral pixel, an extraction means for extracting the target pixel for noise reduction, and a plurality of peripheral pixels having the same color component as the target pixel.
  • the edge detection means for detecting whether or not the edge detection means determines that the edge does not exist, the peripheral pixel is determined to be usable for noise reduction, and the edge detection means determines that the edge is present
  • Discriminating means for discriminating that a pixel cannot be used for noise reduction, isolated point discriminating means for discriminating whether or not the pixel of interest is an isolated point, pixel value of the pixel of interest, and discriminating means can be used for noise reduction
  • the first processing means for performing noise reduction processing using the pixels of the peripheral pixels determined to be, the pixel value of the pixel of interest, and the noise by the determination means Second processing means for performing noise reduction processing while maintaining frequency characteristics using pixel values of peripheral pixels determined to be usable for reduction, output values of the first processing means, and second values.
  • the weighted addition means for weighting and adding the output value of the processing means 2 using the weighting factor, the pixel value of the pixel of interest, and the periphery determined to be usable for noise reduction by the determination means
  • a third processing means for performing noise reduction processing while maintaining frequency characteristics using pixel values of pixels and peripheral pixel values determined to be unusable for noise reduction by the determination means;
  • the peripheral pixel there is an edge between the target pixel and the peripheral pixel, and a fetching means for extracting the target pixel for noise reduction and a plurality of peripheral pixels having the same color component as the target pixel. Detect whether or not When the edge detection means and the edge detection means determine that the edge does not exist, the peripheral pixel is determined to be usable for noise reduction, and when it is determined that the edge exists, the peripheral pixel is determined to be noise reduction.
  • Discriminating means for discriminating that the pixel cannot be used, isolated point discriminating unit for discriminating whether or not the pixel of interest is an isolated point, pixel value of the pixel of interest, and peripheral pixels determined to be usable for noise reduction by the discriminating unit
  • the first processing means that performs noise reduction processing using pixel values, the pixel value of the target pixel, and the pixel values of surrounding pixels that are determined to be usable for noise reduction by the determination means
  • the noise reduction processing is performed while maintaining the frequency characteristics.
  • the second processing means, the output value of the first processing means, and the output value of the second processing means are weighted by the weight coefficient.
  • a third processing means that performs noise reduction processing while maintaining the frequency characteristics using the pixel values of surrounding pixels that are determined to be unusable.
  • the output value of the weighted addition means is replaced with the pixel value of the target pixel and output.
  • the isolated point determination unit determines that the target pixel is an isolated point, the third value is output.
  • This is a noise reduction device in which the output value of the processing means is replaced with the pixel value of the pixel of interest and output.
  • the seventh aspect of the present invention relates to a step of extracting a target pixel for noise reduction and a plurality of peripheral pixels having the same color component as the target pixel, and whether an edge exists between the target pixel and the peripheral pixel.
  • the first processing step for performing noise reduction processing using the pixel values of the determined peripheral pixels, the pixel value of the target pixel, and the pixels of the peripheral pixels determined to be usable for noise reduction by the determination step The second processing step that performs noise reduction processing while maintaining the frequency characteristics using the value, and the output value from the first processing step and the output value from the second processing step are weighted. Weighted addition step that performs weighted addition using coefficients, pixel value of the pixel of interest, and peripheral image that has been determined to be usable for noise reduction by the determination step And a third processing step that performs noise reduction processing while maintaining frequency characteristics using the pixel values of the pixels and the pixel values of surrounding pixels that are determined to be unusable for noise reduction in the determination step.
  • the output value in the weighted addition step is output by replacing the pixel value of the target pixel, and the target pixel is an isolated point in the isolated ⁇ determination step.
  • the noise reduction method is such that the output value in the third processing step is replaced with the pixel value of the pixel of interest and output.
  • the noise reduction processing is performed while maintaining the frequency characteristics using the processing step 1, the pixel value of the target pixel, and the pixel values of peripheral pixels determined to be usable for noise reduction by the determination step.
  • M processing addition step of weighting and adding the output value from the first processing step and the output value from the second processing step by using a weighting factor, and the pixel of interest Maintains frequency characteristics using pixel values, pixel values of surrounding pixels that are determined to be usable for noise reduction by the determination step, and pixel values of peripheral pixels that are determined to be unusable for noise reduction by the determination step
  • a third processing step that performs noise reduction processing while the isolated pixel discrimination step determines that the pixel of interest is not an isolated point.
  • the output value of the pixel addition step is replaced with the pixel value of the target pixel and output t.
  • the output value of the third processing step is used as the target pixel.
  • the surrounding pixels can be used for noise reduction, and when it is determined that an edge exists It is determined that the surrounding pixels cannot be used for noise reduction, and the output value of the noise reduction processing that is performed using the pixel value of the target pixel and the pixel values of the surrounding pixels that are determined to be usable for noise reduction. And the output value of the noise reduction processing performed while maintaining the frequency characteristics using the pixel value of the pixel of interest and the pixel values of the surrounding pixels determined to be usable for noise reduction in the determination step, Since it is used for weighted addition, noise reduction for the target pixel can be performed appropriately.
  • the target pixel for noise reduction and a plurality of peripheral pixels having the same color component as the target pixel are extracted, and the target pixel and the peripheral pixel are extracted.
  • the surrounding pixels can be used for noise reduction, and when it is determined that there is an edge, the surrounding pixels are It is determined that noise reduction cannot be used, whether or not the target pixel is an isolated point, and using the pixel value of the pixel of interest and the pixel values of surrounding pixels determined to be usable for noise reduction.
  • the frequency characteristics are maintained by using the output value of the noise reduction processing to be performed, the pixel value of the target pixel, and the pixel value of the surrounding pixel determined to be usable for noise reduction by the determination step.
  • the weighted coefficient is used to add the weighted coefficient to the output value resulting from the noise reduction process, and if it is determined that the pixel of interest is not an isolated point, the weighting coefficient is used. If the pixel value of the target pixel and the pixel value of the target pixel can be used for noise reduction, the output value by the noise reduction process using the pixel value of the determined peripheral pixel and the pixel value of the target pixel and the determination step can be used for noise reduction.
  • the output value obtained by adding the output value by the noise reduction process while maintaining the frequency characteristics using the pixel values of the surrounding pixels determined to be usable is replaced with the pixel value of the target pixel, and output.
  • the pixel is an isolated point, it can be used for the pixel value and noise reduction of surrounding pixels that are determined to be usable for the pixel value and noise reduction of the target pixel. Since the output value by the noise reduction processing performed while maintaining the frequency characteristics using the pixel values of the surrounding pixels determined not to be able to be replaced with the pixel value of the target pixel, the output is performed. Even at isolated points, noise reduction can be performed appropriately. '
  • a noise reduction effect can be obtained for a pixel of interest that is going to be subjected to noise reduction.
  • noise reduction with no variation in noise reduction effect can be performed on both the flat part and the lamp part.
  • noise reduction can be performed even for pixels with few pixels of the same color component in the detection region. Noise reduction effect is obtained for the pixel of interest that is going to be 'noise reduction', noise reduction effect can be applied to both the flat part and the ramp part without variation in the noise reduction effect. Noise reduction can be performed even for pixels with few pixels of the same color component, and noise reduction can be performed appropriately even if the target pixel is an isolated point.
  • FIG. 1A and 1B are schematic diagrams for explaining conventional ⁇ filtering processing
  • FIG. 2 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram illustrating a color filter array provided in an image sensor according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram illustrating a method of reading pixels of the image sensor according to an embodiment of the present invention.
  • FIG. 5 is a schematic diagram showing a detection region in one embodiment of the present invention.
  • FIG. 6 is a schematic diagram showing pixels of the same color component extracted from the detection region, and
  • FIG. 7 is a schematic diagram showing the second-order differential direction in one embodiment of the present invention.
  • FIG. 8B are schematic diagrams for explaining smoothing processing and interpolation processing in one embodiment of the present invention, and FIG. 9 is for explaining second-order differentiation processing in one embodiment of the present invention.
  • FIG. 10A to FIG. 10E are schematic diagrams for explaining the second order differential processing in one embodiment of the present invention, and FIG. 11 shows the second order differential processing.
  • FIG. 12 is a schematic diagram illustrating a processing procedure
  • FIG. 12 is a schematic diagram for explaining symmetry determination processing in one embodiment of the present invention
  • FIG. 13 is one embodiment of the present invention.
  • FIG. 14 is a schematic diagram showing an example of a setting method of the coefficient ⁇
  • FIG. Fig. 15 is a schematic diagram for explaining the position of the pixel of interest when noise reduction processing is performed in parallel.
  • FIG. 17 is a schematic diagram for schematically explaining a modification of the embodiment of the present invention
  • FIG. 17A and FIG. 17B are for schematically explaining a modification of the embodiment of the present invention.
  • FIG. 18A and FIG. 18B are block diagrams showing the configuration of an example of an imaging apparatus applicable to a modification of the embodiment of the present invention
  • FIG. 19 shows the present invention.
  • FIG. 20 is a flowchart showing an example of noise reduction processing according to a modification of one embodiment of the present invention
  • FIG. 20 is a schematic diagram showing an example in which the pixel range for performing the averaging process is different from the pixel range for performing the median filter processing.
  • FIG. 2 shows the main configuration of the imaging apparatus 1 according to an embodiment of the present invention.
  • the imaging device 1 has an image sensor 2, a delay line block 3, a noise It is configured to include a sludge processing block 4 and a camera signal processing block 5.
  • the image sensor 2 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) sensor, which converts light collected by an optical system (not shown) (including a lens, an 'infrared filter, optical low-pass filter, etc.) into an electrical signal. To do.
  • the C O M S sensor 2 includes, for example, photodiodes, row / column selection M O S transistors, signal lines, and the like arranged in a two-dimensional manner to form a vertical scanning circuit, a horizontal scanning circuit, a noise elimination circuit, a timing generation circuit, and the like.
  • the image sensor 2 is described as a C MOS sensor, but it may be a CCD (Charge Coupled Device).
  • the image signal output from the CMOS sensor 2 is supplied to the delay line block 3.
  • delay delay Implock 3 performs line delay processing.
  • the image signal that has been delayed in the delay line block 3 is supplied to the noise reduction block 4.
  • Noise Reduction Block 4 noise] is performed on the pixel of interest within the set detection frame.
  • the image signal output from the noise reduction block 4 is supplied to the camera signal processing block 5.
  • the camera signal processing unit 5 is configured as, for example, a one-chip IC, and performs processing such as AF (Auto Focus), AE (Auto Exposure), white balance processing, gamma correction, and knee correction.
  • the camera signal processing block 5 performs resolution conversion processing for converting the resolution of the input image signal as necessary.
  • the camera signal processing block 5 performs the signal processing as described above, and further generates a luminance signal and a color difference signal and outputs them from the camera signal processing block 5.
  • the camera signal processing block 5 may be positioned in front of the noise reduction block 4. That is, the noise reduction block 4 may perform noise reduction on the luminance signal and the color difference signal output from the camera signal processing block 5.
  • Noise reduction block 4 consists of LPF (Low Pass Filter) 1 1, second order differential processing unit 1 2, pixel discrimination unit 1 3, threshold calculation unit 1 4, symmetry processing unit 1 5, addition averaging processing unit 1 6, median A filter 17, a multiplier 18, a multiplier 19, a weighting coefficient generator 20, a weight coefficient generator 21, and an adder 22 are included.
  • LPF Low Pass Filter
  • L PF 1 1 performs smoothing processing in the direction orthogonal to the secondary differential direction of the secondary differentiation performed in the secondary differential processing unit 1 2, and performs interpolation processing as necessary.
  • the smoothing process and the interpolation process in L P F l 1 it is possible to remove the impulse noise included in the image signal supplied to the noise reduction block '4.
  • the second derivative processing unit 12 as an example of edge detection means uses the pixel level of the pixel of interest in the detection area and the pixel level of the surrounding pixel of the same color component as the pixel of interest. I do.
  • the absolute value of the value obtained by the secondary differentiation process (hereinafter referred to as “secondary differential value” as appropriate) is supplied to the pixel discriminating unit 13 which is an example of the discriminating means.
  • the threshold value information calculated in the threshold value calculation unit 14 is supplied to the pixel discrimination unit 13.
  • the pixel discriminating unit 13 compares the secondary differential value obtained by the secondary differential processing with the threshold supplied from the threshold calculation unit 14. If the secondary differential value is smaller than the threshold, the surrounding pixels can be used for noise reduction. If the secondary differential value is larger than the threshold, the surrounding pixels cannot be used for noise reduction.
  • the result of the discrimination processing in the pixel discrimination unit 13 is supplied to the symmetry processing unit 15.
  • the symmetry processing unit 15 determines whether or not the “peripheral pixels” that are determined to be usable for noise reduction by the pixel determination unit 13 have a point-symmetric positional relationship with the target pixel as the center. Then, peripheral pixels that are point-symmetrical with respect to the target pixel are determined as pixels that can be used for noise reduction. Note that the processing in the symmetry processing unit 15 may be performed in the pixel discrimination unit 13. . '
  • Peripheral pixels that can be used for noise reduction are determined by symmetry discrimination processing in the symmetry processor 15.
  • the addition average processing unit 16 as an example of the first processing means performs the averaging process using the pixel level of the target pixel and the pixel levels of surrounding pixels determined to be usable for noise reduction. .
  • an average value is calculated by adding the pixel level of the target pixel and the pixel level of surrounding pixels determined to be usable for noise reduction, and dividing the addition result by the addition number.
  • the calculated value (hereinafter, referred to as the addition average value as appropriate) is output from the addition average processing unit 16 and supplied to the multiplier 18.
  • the median filter 17, which is an example of the second processing means, selects a substantially central value from the pixel level of the target pixel and the pixel level of surrounding pixels determined to be usable for noise reduction.
  • the selected pixel level value (hereinafter referred to as the median value as appropriate) is output from the median filter 17 and supplied to the multiplier 19.
  • information on the number of pixels used for noise reduction (hereinafter referred to as the number of pixels used for noise reduction as appropriate) generates weight coefficients. Supplied to the unit 20.
  • the number of pixels used for noise reduction is the total number of pixels of interest and the number of surrounding pixels determined to be usable for noise reduction by the symmetry processing unit 15.
  • Weighting factor generating section 2 0, for example, noisy's reduction using the number of pixels cut off supply from the symmetry processor 1 5 'according adaptively (and ⁇ , 0 ⁇ alpha ⁇ 1 and to) the value of the weighting factor alpha decisions To do.
  • the value of the weight coefficient ⁇ (hereinafter abbreviated as coefficient ⁇ as appropriate) determined by the weight coefficient generation unit 20 is supplied to the multiplier 1 8.
  • the weighting factor generator 21 calculates the weighting factor (1 ⁇ ) according to the value of the coefficient, and calculates the calculated weighting factor (1 c (hereinafter referred to as the coefficient (1– ⁇ ) as appropriate). The value of is omitted) is supplied to the multiplier 1 9.
  • the addition average value output from the addition average processing unit 16 is multiplied by the coefficient a, and the value of the multiplication result is added to the adder 2 2. Also, in the multiplier 1 9, the median value output from the median filter 1 7 is multiplied by a coefficient (1— ⁇ , and the multiplication result value is supplied to the adder 2 2. .
  • Adder 2 2 adds the values supplied from multipliers 18 and 19. Then, the pixel level of the target pixel is replaced with the value obtained by the adder 22 and output from the noise reduction block 4.
  • noise reduction process performed in the noise reduction block 4 will be described in more detail.
  • FIG. 3 shows an arrangement of color filters provided in the COMS sensor 2 in one embodiment of the present invention.
  • Color filter arrangement shown in Fig. 3 The array is configured by tilting the square grid array by 45 ° and surrounding all of the R and B filters with a G filter. With this configuration, while the necessary and sufficient spatial frequency characteristics can be obtained for the human visual sensitivity characteristics of the R and B components, the spatial frequency characteristics of the G component, which is more sensitive to humans than these components, are obtained by the conventional method. It becomes possible to raise it higher than the layout.
  • the G component is the main component in generating the luminance signal, and this improves the luminance resolution for chromatic subjects as well as achromatic subjects and improves image quality.
  • the color filter array shown in FIG. 3 is based on a method of alternately reading out pixels in two adjacent rows within one horizontal synchronization period, as indicated by the dotted arrows in FIG. That is, when there is only one output channel, scanning is performed sequentially in this way.
  • 'Fig. 5 shows an example of a detection frame set in the CMOS sensor 2 having the color filter described above. Since many G components with high human sensitivity are arranged in the color filter array, the number of R ⁇ component pixels in the detection frame is reduced. For example, in the detection frame surrounded by the thick line in Fig. 5, there are only 8 surrounding pixels of the same color component that exist around the R component of interest.
  • the processing by the median filter is performed in parallel, and the result of the averaging process and the median filter is weighted and added. Added the effect of noise reduction.
  • FIG. 6 shows the extracted R component pixels in the detection frame shown in Fig. 5 as an example.
  • R c be the element, and around the pixel of interest R c, the peripheral element R ll, the peripheral element R 12, the peripheral pixel R 13, the peripheral pixel R 21, the peripheral pixel R 23, and the peripheral pixel R 3 1
  • peripheral pixel R 3 2 and peripheral pixel R 3 3 The width of this detection frame can be set arbitrarily.
  • the second-order differential direction is defined for the pixel of interest and surrounding pixels within the detection frame. That is, as shown in Fig. 7, the horizontal (horizontal) direction D 1, the vertical (vertical) direction D 2, the diagonal direction D 3 and the diagonal direction D 4 centering on the target pixel R c, a total of four secondary differential directions Is defined. '
  • FIG. 8A shows an example of the smoothing process performed in L P F 11.
  • the smoothing process is performed in the direction orthogonal to the second derivative direction.
  • peripheral pixel R 11, peripheral pixel R 12, peripheral pixel R 13 array, peripheral pixel R 21, peripheral pixel R c, and peripheral pixel R 2 Smoothing is performed on the array of three, peripheral pixel R 3 1, peripheral pixel R 3 2, and peripheral pixel R 3 3.
  • Smoothing is performed by adding the pixel levels of each pixel and dividing the number of additions. For example, the pixel level of peripheral pixel R 1 1, peripheral pixel R 1 2, and peripheral pixel R 1 3 is added, and the value obtained by dividing by 3 is added as the pixel level of peripheral pixel R 1 2
  • FIG. 8B shows the trapping process performed by LPF 11.
  • peripheral pixel R 4 1, peripheral pixel R 4 2, peripheral pixel R 5 1, and peripheral pixel R 5 2 may be as shown in FIG. 8A and FIG. 8B.
  • the value obtained by averaging the two pixels is used as the pixel level of the interpolated pixel that catches the position where no pixel exists in the second-order differential direction.
  • an average of pixel levels of the peripheral pixel R 4 1 and the peripheral pixel R 4 2 is calculated, and the calculated value is used as the pixel level.
  • FIG. 9 shows, for example, an array of pixels in the horizontal direction in which the secondary differentiation is performed in the secondary differentiation processing unit 12.
  • Second-order differentiation is performed on the target pixel R c, the peripheral pixel R 12, and the peripheral pixel R 3 2 that have been smoothed. Second-order differentiation is performed, for example, by multiplying each pixel level by an appropriately set 3-tap coefficient and adding the multiplication results.
  • the 3-tap coefficient may be fixedly set, for example, (1 1, 2, 1 1) or may be set adaptively. .
  • the secondary differential value obtained in the secondary differential processing unit 12 is supplied to the pixel discriminating unit 13 and compared with a threshold value.
  • the threshold is a value supplied from the threshold calculation unit 14.
  • the threshold value is a value that is calculated by the threshold value calculation unit 14 according to the purpose of noise reduction based on the pixel level of the pixel of interest, for example, or is arbitrarily set. For example, if the aim is noise reduction of light shot noise, the threshold is set to a constant multiple of the square root of the pixel level of the pixel of interest. For noise reduction of light shot noise and random noise, the threshold value is a value obtained by adding another constant (constant or variable that means random noise level) to a constant multiple of the square root of the pixel level of the target pixel.
  • the pixel discriminating unit 13 compares the second derivative value with the threshold value. If the secondary differential value is less than or equal to the threshold, it is determined that there is no edge between the target pixel and the surrounding pixels, and it is used as a candidate for surrounding pixels that can be used for noise reduction. If the secondary differential value is larger than the threshold, it is determined that an edge exists between the target pixel and the peripheral pixel, and it is determined that the pixel cannot be used for noise reduction.
  • FIGS. 10A to 10A An example of the processing of the pixel discriminating unit 13 will be described with reference to FIG. 10A to FIG. 10E.
  • the pixel of interest is A
  • the peripheral pixels are B and C.
  • the peripheral pixel B is a target pixel for determining whether or not it is a pixel that can be used for noise reduction.
  • FIG. 10A shows the case where the pixel of interest A, the discrimination pixel B, and the peripheral pixel C are located on the flat portion of the image.
  • the second derivative value becomes 0 (actually it becomes 0 by the first derivative), which is below the threshold value, so the discrimination pixel B and the surrounding pixel C are the target pixels. It is assumed that there is a correlation with A, and discriminant pixel B is considered as a pixel that can be used for noise reduction.
  • FIG. 10B shows a case where the target pixel A, the discrimination pixel B, and the peripheral pixel C are located in the lamp portion of the image.
  • a constant value corresponding to the slope is maintained when the ramp portion changing by a linear function is first-order differentiated, and the value becomes zero when the constant value is second-order differentiated. Therefore, since the secondary differential value is less than or equal to the threshold value, it is assumed that the discrimination pixel B and the peripheral pixel C have a correlation with the target pixel A, and the discrimination pixel B is a pixel candidate that can be used for noise reduction. Is done.
  • Fig. 10 C and Fig. 10 D are in the flat part and ramp part of the image. This shows the case where noise is applied to the pixel (here, pixel of interest A).
  • the secondary differential value does not become 0, but if the secondary differential value is less than the threshold, it is assumed that the noise component has been detected and there is no edge.
  • Discriminated as a flat part or lamp part.
  • Discrimination pixel B and peripheral pixel C are assumed to have a correlation with pixel of interest A, and discrimination pixel B is a candidate pixel that can be used for noise reduction.
  • FIG. 0E shows a case where an edge exists between the pixel of interest A and the peripheral pixel C, for example. Due to the presence of the edge, the difference in pixel level between the target pixel A and the peripheral pixel C is large, and the second derivative value is larger than the appropriately set threshold. If the secondary differential value is larger than the threshold value, it is determined that an edge exists between the target pixel and the surrounding pixels. Since the peripheral pixels across the edge do not have a correlation with the target pixel, they cannot be used for noise reduction.
  • an edge exists between the target pixel A and the peripheral pixel C, but it is determined that the discrimination pixel B cannot be used for noise reduction.
  • the second-order differentiation process can only determine whether there is an edge between the target pixel A and the determination pixel B or between the target pixel A and the peripheral pixel C. It is determined that it cannot be used for noise reduction.
  • a pixel for example, a peripheral pixel D in FIG. 10E
  • a pixel at a position straddling a pixel determined to have an edge with respect to the position of the target pixel cannot be used for noise reduction.
  • the secondary differentiation process is also performed when the number of pixels in the peripheral pixels increases by performing from the neighboring pixels that are located near (for example, adjacent to) the pixel of interest and that have a point-symmetrical positional relationship.
  • the number of processing steps can be reduced. For example, as shown in FIG. 11, using peripheral pixel R 4 3, peripheral pixel R 5 3 and target pixel R c which are located in the vicinity of target j3 ⁇ 4 element R c and have a point-symmetrical positional relationship.
  • Second derivative processing is performed (Process 1).
  • the secondary differential value is larger than the threshold value, it is determined that an edge exists between the target pixel R c and the peripheral pixel R 43 or the peripheral pixel R 53.
  • the peripheral pixel R 4 3 and the peripheral pixel R 5 3, and the peripheral pixel R 1 2 and the peripheral pixel R 2 3 that are located across the peripheral pixel R 4 3 and the peripheral pixel 5 3 with respect to the target pixel R c are reduced to noise Identify peripheral pixels that cannot be used. That is, without examining whether there is an edge between the peripheral pixel R 1 2 and the peripheral pixel R 4 3 or between the peripheral pixel R 5 3 and the peripheral pixel R 2 3, Since the pixel R 2 3 can be identified as a peripheral pixel that cannot be used for noise reduction, the number of steps of the secondary differentiation process can be reduced.
  • the second derivative value is smaller than the threshold value, the second derivative process is sequentially performed by, for example, a combination of process 2, process 3, and process 4.abl
  • the trapping pixel is used for the secondary differentiation process, but it is not determined whether the trapping pixel can be used for noise reduction. In other words, noise reduction is not performed using catch pixels.
  • the second order differential processing is performed in the same manner in the vertical direction and the left and right diagonal directions, and a peripheral pixel candidate that can be used for noise reduction is determined among a plurality of peripheral pixels. Information on the peripheral pixels determined to be usable for noise reduction is supplied to the symmetry processing unit 15.
  • peripheral pixels that are candidate for use in noise reduction in the pixel determination unit 13 have a point-symmetric positional relationship with the pixel of interest at the center. Then, peripheral pixels that have a point-symmetrical positional relationship are determined as peripheral pixels that can be used for noise reduction.
  • peripheral pixel R 2 1 and the peripheral surface element R 2 3 are point-symmetric with respect to the target pixel R c
  • the peripheral pixel R 2 1 and the peripheral pixel R 2 3 can be used for noise reduction. Discriminated as a pixel.
  • peripheral pixel R 1 3 and peripheral pixel R 3 1 are point-symmetric with respect to target pixel R c, so peripheral pixel R 13 and peripheral pixel R 3 1 are used for noise reduction. It is determined as a peripheral pixel that can be formed.
  • the peripheral pixel R 1 2 and the peripheral pixel R 3 2 are point-symmetrical with respect to the target pixel R c
  • the peripheral pixel R 1 2 and the peripheral pixel R 3 2 are used for noise reduction.
  • peripheral pixel R 1 It is determined as a peripheral pixel that can be formed. However, for the peripheral pixel R 1 1, it is determined that the peripheral pixel R 3 3 having a point-symmetrical positional relationship cannot be used for noise reduction.
  • the peripheral pixel Rl1 is determined as a peripheral pixel that cannot be used for noise reduction.
  • Pixel center-of-gravity deviation means that the position of the target pixel (spatial phase) before noise reduction and the position of the target pixel (spatial phase) after noise reduction are shifted.
  • the addition averaging process is performed using all candidate peripheral pixels used for noise reduction that have not been subjected to the symmetry discrimination process a shown in Fig. 12, the pixel of the target pixel R c after the averaging process The position may deviate from the pixel position of the target pixel Rc before the addition average.
  • the linearity of the image after noise reduction is lost due to the displacement of the center of gravity of the pixel, for example, the straight line part is not a straight line. Due to the symmetry discrimination process, it is possible to prevent the center of gravity shift of the pixel of interest Rc and to prevent the E-linearity of the image from deteriorating.
  • the peripheral pixels that can be used for noise reduction are determined.
  • the averaging process is performed in the averaging process unit 16.
  • the median filter 17 performs filtering in parallel.
  • the addition average processing unit 16 performs addition average processing using the pixel level of the pixel of interest and the pixel levels of surrounding pixels determined to be usable for noise reduction. For example, in the example described using FIG. 10A to FIG. 10E, the peripheral pixel R 1 2, the peripheral pixel R 1 3, the peripheral pixel R 2 1, and the peripheral pixel R 2 with respect to the target pixel R c 3. It has been determined that peripheral pixel R 3 1 and peripheral pixel R 3 2 can be used for noise reduction. Therefore, the addition average processing unit 16 uses the pixel level of the target pixel R c and the peripheral image.
  • Element R 1 2, Peripheral pixel R 1 3, Peripheral pixel R 2 1, Peripheral pixel R 2 3, Peripheral pixel R 3 1 and Peripheral pixel R 3 2 Divide by 7 which is the number of pixels to add to obtain the average value. The obtained average value is supplied to the multiplier 18.
  • the noise in the image signal can be particularly reduced by the addition processing in the averaging unit 16.
  • the filter processing is performed in the median filter 17 in parallel with the processing in the averaging unit 16.
  • a value at the substantially center is selected from the pixel level of the target pixel and the pixel level of the peripheral pixels that can be used for noise reduction.
  • the selected median value is supplied to the multiplier 19.
  • the number of pixels used for noise reduction is the total number of even-numbered peripheral pixels and target pixels in a point-symmetrical positional relationship, and must be an odd number. And individual. Therefore, the median filter 1 7 selects the middle value.
  • the median filtering process in the median filter 17 can reduce noise while maintaining the frequency characteristics.
  • the effect of reducing noise is inferior to the averaging process because it retains the frequency characteristics, in other words, prevents the edges from becoming dull.
  • the multiplier 18 multiplies the addition average value supplied from the addition average processing unit 16 by a coefficient (where O ⁇ 1). In the multiplier 19, the median value is multiplied by a coefficient (1 1 a).
  • Figure 13 shows an example of how to set the coefficient a.
  • the number of pixels using noise reduction is nine. Since all the surrounding pixels can be used for noise reduction, set the coefficient factor to 1 to reduce the noise. In this case, the value of the coefficient (1 ⁇ ) is 0. In other words, only the mean value is used, not the median value. Also, as the number of pixels that can be used for noise reduction is reduced to 7 values and 5 pixels, it means that there is an edge in the detection frame, so the edges of the image were not smoothed. 1 Use 7 mainly. In other words, as the number of pixels using noise reduction decreases, the value of coefficient a approaches 0 and the value of coefficient (1) is increased.
  • the coefficient value does not necessarily change linearly as shown in Fig. 13.
  • the optimum coefficient ⁇ value corresponding to the number of pixels used for noise reduction may be stored in the weight coefficient generation unit 20 as a table.
  • the coefficient ⁇ can also be set adaptively according to changes in the illuminance of the subject. it can. For example, when a subject is imaged under low illuminance near the minimum subject illuminance of the imaging device, a rough grainy noise often occurs in the image. Therefore, the value of Q !, which reduces noise more under low illumination, is increased. Each time it gradually becomes brighter than the minimum subject illuminance, the coefficient Q! Is decreased to increase the ratio of median values, and noise is reduced by preventing the edges from being blurred.
  • luminance information detected when the automatic exposure function of the imaging apparatus is executed is used as the illuminance information.
  • the automatic exposure function also called A E (Aut 0 Exposure) detects luminance information from the image signal and supplies the luminance information to a control unit such as a microprocessor.
  • the control unit controls the lens aperture to open and close by driving the driver according to the luminance information to adjust the amount of light incident on the image sensor.
  • Luminance information detected when this automatic exposure function is executed may be supplied to the weight coefficient generation unit 20 so that the value of the coefficient 0! Is appropriately determined according to the luminance level of the luminance information. Yes. '
  • the determined coefficient ⁇ is supplied to the multiplier 18.
  • the coefficient (1-) is supplied to the multiplier 19.
  • the multiplier 18 outputs a value obtained by multiplying the addition average value by the coefficient ⁇ .
  • Multiplier 1 9 outputs the median value multiplied by a coefficient (1 — ⁇ ).
  • the adder 2 2 adds the output values output from the multipliers 18 and 19. Then, the value obtained by the addition process is replaced with the pixel level of the target pixel, and output from the noise reduction block 4.
  • the averaging and median filtering processes are performed in parallel, and the output value of each process is weighted and added by changing the weighting coefficient a, so that, for example, noise reduction processing is performed on the flat part or ramp part of the image. It is possible to perform noise reduction processing that does not deteriorate the frequency characteristics without actively squeezing the edge (high frequency part) including the edge of the image. Therefore, it is possible to obtain an optimum output image without blurring of edges and with noise removed.
  • FIG. 14 is a flowchart showing the flow of noise reduction processing in one embodiment of the present invention.
  • the processing described below may be realized by hardware or may be realized by software using a program. ''
  • step S 1 it is determined whether or not there is a missing pixel in the vertical, horizontal, and left / right diagonal directions around the target pixel.
  • the pixel for which the presence / absence of the missing pixel is determined is a pixel of an arbitrary color component in which the difference in level (1) between the pixel of interest and the same color component or the pixel level of the pixel of interest is within a certain range.
  • step S 2 If it is determined in step S 1 that there are missing pixels, the process proceeds to step S 2.
  • step S 2 in L PF 1 1, the missing image * is interpolated from the direction orthogonal to the secondary differential direction. After the interpolation process is completed, the process proceeds again to step S1. Note that if there are missing pixels for all pixels in the vertical, horizontal, and left / right diagonal directions in this trapping process, there is no peripheral pixel to use for interpolation, and the target pixel Complementary processing cannot be performed in the direction perpendicular to the direction connecting the missing pixels. In such a case, the catching process is not performed, and the position of the missing pixel is excluded from the processing target in the processes after step S1.
  • step S 1 If it is determined in step S 1 that there is no missing pixel, the process proceeds to step S 3.
  • step S 3 smoothing processing is performed from the direction orthogonal to the second-order differential direction in LPF 1 1. At this time Since the interpolated pixels interpolated in step S2 are also smoothed by interpolation processing, it is not necessary to perform smoothing again.
  • step S4 the secondary differential processing unit 12 performs secondary differentiation from the vertical, horizontal, and diagonal directions around the target pixel.
  • the secondary differentiation process is performed using, for example, three peripheral pixels that are point-symmetric with respect to the target pixel in the detection frame.
  • the second derivative is performed using a combination of all pixels located at the target pixel and the end pixel. .
  • the threshold value calculation unit 14 calculates a threshold value in step S5.
  • the threshold value can be calculated, for example, by adding the real number b to the real number a times the square root of the pixel level of the target pixel.
  • the values of a and b are variable and can be any number. This is expressed by the following formula (1).
  • L v represents the pixel level of the target pixel.
  • step S6 the pixel discriminating unit 13 compares the secondary differential value, which is the absolute value of the secondary differential result, with the threshold value calculated in step S5. Then, the process proceeds to step S7.
  • step S7 attention is focused on the discrimination pixel that discriminates whether or not it can be used for noise reduction within the detection frame. Subsequently, the process proceeds to step S8.
  • step S8 it is determined whether or not the secondary differential value using the target pixel and the determination pixel is larger than the threshold value.
  • the second derivative is greater than the threshold Proceeds to step S9.
  • step S9 it is determined that the discrimination pixel cannot be used for the size reduction.
  • a symmetric process is performed, and it is determined that peripheral pixels that have a point-symmetrical positional relationship with the determination pixel around the target pixel cannot be used for noise reduction. ⁇
  • step S10 If the secondary differential value is smaller than the threshold value in step S8, the process proceeds to step S10, and the discrimination pixel is discriminated as a pixel candidate that can be used for noise reduction. Further, symmetry determination processing is performed in the symmetry processing unit 15. In the symmetry discrimination process, whether or not the surrounding pixels that are point-symmetrical with the discrimination pixel that is a candidate pixel that can be used for noise reduction centered on the pixel of interest are pixels that can be used for noise reduction. Is determined. If the peripheral pixels having a point-symmetrical positional relationship are pixels that can be used for noise reduction, the discriminating element is determined as a pixel that can be used for noise reduction. If surrounding pixels that are in a point-symmetrical positional relationship are pixels that cannot be used for noise reduction, the discrimination pixel is determined again as a pixel that cannot be used for noise reduction. .
  • step S 11 it is determined whether or not all the determination pixels in the detection frame are focused. When all the discriminating pixels are not focused, the process proceeds to step S12, and discriminating pixels for which no discriminating process has been performed are specified. Then, the processing after step S7 is performed on the identified discrimination pixel, and it is discriminated whether or not the discrimination pixel can be used for noise reduction.
  • step S 11 When it is determined in step S 11 whether or not all peripheral pixels in the detection frame can be used for noise reduction, the process proceeds to step S 13.
  • step S 1 3 it is determined that the pixel level of the target pixel can be used for the noise reduction in the averaging unit 16. The average of the pixel levels of the peripheral pixels is calculated and the average value is calculated. '
  • step S 14 median filtering processing is performed in the median filter 17 as processing performed in parallel with the averaging process.
  • the median value which is the median value, is selected from the pixel level of the target pixel and the pixel levels of surrounding pixels that are determined to be usable for noise reduction.
  • a process for determining the coefficient (where 0 is ⁇ 1) is performed.
  • step S 15 the total number of pixels of the surrounding pixels and the target pixel determined to be usable for noise reduction in step S 11 is held as the noise reduction: number of used pixels.
  • step S 16 the process proceeds to step S 16 and a process for determining the coefficient a is performed.
  • the coefficient ⁇ is adaptively determined according to the number of pixels used for noise reduction with reference to a table stored in the weight coefficient generation unit 20.
  • the method of determining the coefficient Q! May be determined according to the number of pixels used for reduction, or may be determined adaptively according to the illuminance of the subject to be imaged. .
  • step S 17 a process of multiplying the addition average value calculated in step S 13 by the coefficient ⁇ determined in step S 16
  • the median value selected in step S14 is multiplied by a coefficient (1-H). Then, a process of adding the values obtained by the respective multiplication processes is performed.
  • step S 1 8 the pixel level of the target pixel is determined by the weighted addition process in step S 1 7. Is replaced with the value obtained. Then, the noise reduction process ends.
  • the present invention is not limited to the above-described embodiment, and various modifications based on the technical idea of the present invention are possible.
  • the R component pixel has been described.
  • the present invention can be applied not only to the B component pixel but also to the G component arranged in the color filter.
  • the color filter using cyan (C), magenta (M), yellow (Y) and power color filter having an arrangement of four or more colors pixels of the same color component are extracted and the present invention is extracted. Noise reduction can be performed by Further, the present invention can be applied not only to the color filter array described with reference to FIG. 3 but also to a power filter array such as a Bayer array.
  • a plurality of noise reduction blocks 4 may be provided to perform processing in parallel.
  • the target pixels are the pixels R1, G1, G2, and G3, and a detection frame is set for each target pixel, and noise reduction processing is performed in parallel. Then, in the next process, noise reduction may be performed with the pixel of interest as the pixels R2, G4, G5, and G6 in correspondence with the pixel readout direction.
  • the modification of the embodiment of the present invention performs an appropriate process when the pixel of interest is a pixel having a unique value compared to the surrounding pixels. It is intended to be able to
  • FIGS. 16A to 16C, 17 and 17A and 17B A modified example of one embodiment of the present invention will be schematically described with reference to FIGS. 16A to 16C, 17 and 17A and 17B.
  • the horizontal axis indicates the pixel position
  • the vertical axis indicates the pixel level.
  • the pixel level of the pixel of interest 4 0 1 is a peripheral pixel 4: 0 2, 4 0 2,.
  • the target pixel 4 0 1 is considered to have no correlation with the peripheral pixels 4 0 2, 4 0 2,..., And is an isolated point isolated from the peripheral pixels. '
  • smoothing processing is performed by L PF 11.
  • the smoothing process is performed by adding the pixel levels to a predetermined range of pixels and dividing the result by the number of additions. According to this smoothing process, when the number of addition is several, it is considered that the smoothing effect on the value of the pixel 4 0 1 cannot be expected so much. That is, even after smoothing processing by LPF 1 1, the value of pixel 4 0 1 is extremely larger than the values of peripheral pixels 4 0 2, 4 0 2, The state as a dot is maintained.
  • the secondary differential processing unit 1 2 Since the value of the pixel 4 0 1 of the pixel of interest is much larger than the values of the surrounding pixels 4 0 2, 4 0 2,.
  • the value based on the square root of the target pixel level is used as the threshold ⁇ for the second-order differential processing result, as in the example described using the expression (1) in one embodiment, depending on the value of the real number b, As a result of the second-order differential processing, all peripheral pixels 4 0 2, 4 0 2,... May be considered as pixels that cannot be used for noise reduction processing. In this case, only the pixel of interest 4 0 1 is a pixel that can be used for noise reduction processing.
  • the pixel that can be used for noise reduction processing is only one pixel of the pixel of interest 4 0 1, it will be 0 if the coefficient a indicating the mixing ratio when mixing the addition average processing result and the median filter processing result follows ( (See Fig. 13) Only the median filter processing result is output.
  • the pixel of interest 4 0 1 is a pixel that can be used for the noise reduction process.
  • the value of the pixel of interest 4 0 1 is output as it is. In this case, as a result, the noise reduction process for the pixel of interest 4 0 1 is not performed.
  • the threshold ⁇ for the second-order differential processing result is determined based on the target pixel level, and noise reduction processing is performed for each of the peripheral pixels 4 0 2 as the target pixel, the first As shown in Fig. 6 as pixels 4 0 4, 4 0 4,..., The noise reduction effect can be obtained with the high-frequency component of the image maintained.
  • the threshold for the second derivative result is set to the first differential in order to avoid a state in which the pixel of interest 4 0 1 that is an isolated point is directly applied.
  • the threshold value ⁇ ′ in FIG. C for example, a large value that includes the pixel level of the pixel of interest 4 0 1 is also conceivable.
  • the detection rate of pixels that can be used for the noise reduction process is increased.
  • the coefficient becomes 1 or a value close to 1, and the value of the pixel of interest 4 0 1 is smoothed as illustrated as pixel 4 0 5 in Fig. 1 6 C, and a noise reduction effect is obtained. .
  • the processing for such an isolated point can be appropriately performed with respect to the noise reduction processing according to the embodiment described above.
  • the noise reduction method generally determines whether or not the target pixel is an isolated point with respect to the target pixel, and if it is determined that the target pixel is an isolated point, The median filter processing is performed based on the pixel level of all pixels existing in a predetermined range including the target pixel, and the obtained value is replaced with the pixel level value of the target pixel and output. On the other hand, if it is determined that the pixel of interest is not an isolated point, the averaging based on the surrounding pixels is performed at a ratio based on the number of pixels that can be used for noise reduction processing according to the method according to the embodiment described above. The filter processing result is mixed and the obtained value is replaced with the pixel level value of the target pixel and output.
  • FIG. 17A is the same view as FIG. 16A described above, and common parts are denoted by the same reference numerals.
  • the pixel of interest 410 illustrated in FIG. 17A it is determined whether or not the pixel of interest is an isolated point whose pixel level is a unique value with respect to surrounding pixels. For example, when it is determined that only the pixel of interest 4 0 1 is a pixel that can be used for noise reduction processing among pixels existing within a predetermined range including the pixel of interest 4 0 1, the pixel of interest 4 0 Judge that 1 is an isolated point.
  • the target pixel 4 0 1 is an isolated point
  • median filter processing is performed based on the pixel level of a predetermined range of pixels including the target pixel 4 0 1, and the processing result is displayed as the target pixel 4 0 1 Replace with the pixel level of and output.
  • This output is illustrated as a pixel 40 7 in FIG.
  • the threshold ⁇ for the secondary differential processing result is set to the target pixel level according to the method of the above-described embodiment. Decide based on noise reduction processing. As a result, a noise reduction effect can be obtained with the high-frequency component of the image maintained, as exemplified by pixels 4 0 8, 4 0 8,-2-in FIG.
  • noise reduction processing is performed appropriately on pixel 4 0 1 determined to be an isolated point and pixel 4 0 2 determined not to be an isolated point, respectively. It is possible to obtain a high quality image in which the band component is maintained and the pixel level of the isolated point is suppressed. In this way, it is possible to appropriately perform noise reduction processing by determining whether or not the target pixel is an isolated point and switching the processing based on the determination result.
  • Figs. 1.8 and B show the configuration of an example of an imaging apparatus 1 'applicable to a modification of the embodiment of the present invention.
  • the same reference numerals are given to the same parts as those in the configuration of FIG. 2 described above, and detailed description will be omitted.
  • the pixel is a pixel having the same color component as that of the target pixel.
  • the imaging device 1 is different from the imaging device 1 according to the above-described embodiment in that the isolated point determination unit 30 and the all-pixel median A filter unit 31 and an isolated point dependency switching unit 32 are added.
  • the isolated point determination unit 30 determines whether or not the target pixel is an isolated point.
  • the all-pixel median filter unit 3 1 performs median filter processing using a predetermined range of pixels including the target pixel. I do.
  • the isolated point dependency switching unit 3 2 is controlled based on, for example, the determination result of the isolated point determination unit 30 and switches between the output from the adder 22 and the output from the all-pixel median filter unit 31. The pixel level of the target pixel is replaced and output. '
  • the noise reduction processing based on the configuration of FIGS. 18A and 18B will be described more specifically.
  • the image signal output from the image sensor 2 is input to the noise reduction block 4 through the delay line 3 and supplied to the LPF 1 1 and the “threshold value calculation unit” 14.
  • the threshold calculation unit 14 calculates the threshold ⁇ based on the pixel level of the pixel of interest, for example, according to the above equation (1).
  • the threshold value ⁇ is supplied to the pixel discriminating unit 13, while the image signal is smoothed by the LPF 11, and the second-order differential processing unit 12 uses the target pixel and the surrounding pixels of the target pixel. Second derivative processing is performed.
  • the second-order differential result for each of the surrounding pixels is supplied to the pixel discriminating unit 13 and compared with the threshold value ⁇ calculated by the threshold value calculating unit 14. As a result of the comparison, the peripheral pixels for which the secondary differential value is determined to be smaller than the threshold value ⁇ are determined to be candidate pixels that can be used for the noise reduction process.
  • the next symmetry processing unit 15 determines the symmetry of the surrounding pixels around the target pixel, and Of these pixels, pixels that do not have symmetry are not used for noise reduction processing. Based on the number of pixels used for the noise reduction process by the symmetric processing unit 15, the coefficient ⁇ is generated by the weight coefficient generation unit 20.
  • the isolated point determination unit 30 determines whether or not the pixel of interest is an isolated point. For example, when only one pixel of interest is considered to be usable for noise reduction processing by processing up to the symmetric processing unit 15 The target element is determined to be an isolated point. If there is only one pixel that can be used for noise reduction processing up to the symmetric processing unit 15, that one pixel is the pixel of interest itself, while noise reduction processing. If there are two or more pixels that can be used for the target pixel, it is determined that the pixel of interest is not an isolated point. Actually, in the symmetry processing unit 15, as described above, the symmetry of the surrounding pixels is determined with the target pixel as the center, so that 3 or 5 pixels are determined to be usable for noise reduction processing. , 7, 9, ⁇ ⁇ 'When it is determined that the pixel of interest is not an isolated point.
  • the all-pixel median filter unit 31 performs median filter processing using a predetermined range centered on the target pixel, for example, all pixels in the detection region. In other words, the all-pixel median filter unit 31 performs the median filter process using all the pixels in the region, including the pixels that are determined not to be used for noise reduction processing in the processes up to the symmetric processing unit 15. Do.
  • the output of the all-pixel median filter unit 31 is supplied to the isolated point dependency switching unit 32. ⁇
  • the addition average processing unit 16 and the median filter 17 perform the same processing as in the above-described embodiment. That is, using the pixels determined to be usable for noise reduction processing in the processes up to the symmetric processing unit 15, the addition average processing unit 16 obtains the addition average, and the median filter 17 determines the median value.
  • the pixel level of the pixel it has is output.
  • the output of the addition average processing unit 16 is multiplied by a coefficient by a multiplier 18.
  • the output of the median filter 17 is multiplied by a coefficient (1—) by a multiplier 19.
  • the outputs of the multiplier 1 8 and the multiplier 1 9 are added by the adder 2 2.
  • the output of the adder 2 2 is supplied to the isolated point dependence switching unit 3 2.
  • the isolated point dependency switching unit 3 2 switches between the output of the all-pixel median filter unit 31 and the output of the adder 22 based on the determination result of the isolated point determination unit 30. Output by replacing with level. That is, when the isolated point determination unit 30 determines that the target pixel is an isolated point, the isolated point dependency switching unit 3 2 selects the output of the all-pixel median filter unit 31 and selects the all-pixel median filter unit. 3 Replace the value output from 1 with the pixel level of the target pixel and output.
  • FIG. 19 is a flowchart showing an example of reduction processing according to a modification of the embodiment of the present invention. In FIG. 19, parts that are the same as those in FIG. 14 described above are given the same reference numerals and are not described in detail. .
  • step S1 the presence or absence of missing pixels is determined for pixels within a predetermined range centered on the target pixel, and if it is determined that missing pixels exist, missing in step S2 Pixels are interpolated. If it is determined that there is no missing pixel, smoothing processing is performed with LPF 1: 1 in step S3, and the second-order differential processing unit 1 2 performs the next step S4 with the target pixel and surrounding pixels. The second derivative is calculated for each peripheral pixel using the pixel. In parallel with these processes, the threshold ⁇ is calculated based on the pixel level of the target pixel in step S5.
  • step S6 For each (step SI 2), the secondary differential value is compared with the threshold value ⁇ , and whether or not the secondary differential result is larger than the threshold value ⁇ in step S 8 for the discrimination pixel focused in step S 7. To be judged. Discrimination pixels with a second-order differential result larger than the threshold ⁇ are disabled for noise reduction processing (step S 9), and discrimination results with a second-order differential result smaller than the threshold ⁇ are determined to be usable ti ( Step S 1 0).
  • step S 1 it is determined whether or not all of the detection pixels within the detection frame have been focused. If it is determined that attention has not been paid, the process returns to step S 7 for the next detected wave. The pixel is noticed. If all the detected pixels in the detection frame are focused and it is determined that all the detected pixels can be used for noise reduction processing, the process proceeds to step S 20. At the same time, the processing of step S 15 and step S 16 is performed in parallel with the processing of step S 20 and subsequent steps. That is, the number of pixels that can be used for the noise reduction process is held at step S 15, and the coefficient is determined by the coefficient generation unit 20 based on the held number of pixels at step S 16.
  • step S.2 the isolated point determination unit 30 determines whether or not the pixel that can be used for noise reduction processing is only the pixel of interest. If it is determined that there are pixels other than the target pixel that can be used, the process proceeds to steps S 1 3 and S 14, respectively.
  • the median filtering process of step S 14 is performed. Based on the processing results of step S 1 3 and step S 14 and the coefficient a determined in step S 1 6 described above, multiplication processing by multiplier 1 8 and multiplier 1 9 is performed in step S 1 7.
  • the adder 22 adds the multiplication results.
  • step S 2 the isolated point determination unit 3 0 performs noise reduction. If it is determined that the pixel that can be used for the processing is only the pixel of interest itself, the process proceeds to step S 21.
  • step S 2 1 the median filter processing using all the detected pixels in the detection frame is performed by the all-pixel median filter unit 3 1.
  • step S 23 based on the determination result in step S 20 described above, the output of step S 17 or step S 21 described above is selectively used to replace the pixel level of the target pixel.
  • the output of the all-pixel median filter unit 31 is selected by the isolated point dependency switching unit 3 2, The value from the output is replaced with the pixel level of the target pixel.
  • the output of the adder 2 2 is selected by the isolated point dependency switching unit 3 2, and the addition average processing unit 1
  • the output value obtained by weighting and adding the output of 6 and the output of the median filter 17 based on the coefficient ⁇ is replaced with the pixel level of the target pixel. .
  • the pixel range in which the averaging process is performed and the pixel range in which the median filter process is performed are described as being the same, but this is not limited to this example.
  • the range where the averaging process is performed 3 0 2 and the range where the median filter process is performed are described as being the same, but this is not limited to this example.
  • the range where the averaging process is performed 3 0 2 and the range where the median filter process is performed are described as being the same, but this is not limited to this example.
  • the averaging process is performed by sequentially adding the input data, and there is no need to hold each of the input data.
  • mede The Ian filter process needs to extract all the input data and extract the median value from the stored data. Therefore, in the median filter processing and the addition average processing, the median filter processing requires a larger memory capacity, and the processing also takes time. Therefore, it is conceivable that the pixel range 30 3 for performing the median filter processing is set to be smaller than the pixel range 30 2 for performing the averaging process, for example.
  • the processing in the all-pixel median filter unit 31 and the processing in the addition average processing unit 16 and the median filter 17 are performed in parallel, but this is limited to this example. Not.
  • the processing on the side that is not used may be stopped based on the determination result of the isolated point determination unit 30.
  • the isolation point determination unit 30 determines that the target pixel itself is an isolated point
  • the present invention can be applied not only to an imaging apparatus such as a digital video power camera digital camera, but also to a mobile phone having an imaging function and PDAs (Personal Digital Assistants).
  • the processing functions described above are realized by a personal computer as a program.
  • the program describing the processing content can be recorded on a computer-readable recording medium such as a magnetic recording device, an optical disk, a magneto-optical disk, or a semiconductor memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　検波枠内の画像の性質に応じたノイズリダクションを行う。ノイズリダクションブロック４'で二次微分処理や対称処理を行い、注目画素に対して行うノイズリダクションに使用できる周辺画素を決定する。検波枠内の注目画素の画素レベルとノイズリダクションに使用できる周辺画素の画素レベルを使用して、加算平均処理部１６では平均値を算出し、メディアンフィルタ１７では中央値を選択する。ノイズリダクションに使用される画素数から、検波枠内の画像が平坦部またはランプ部かエッジを含む画像であるかを判別する。画像の性質に応じて重み係数を変化させて平均値とメディアン値を重み付け加算し、注目画素の画素レベルと置換する。注目画素が孤立点である場合には、全画素メディアンフィルタ部３１で注目画素を含む検波枠内の全ての画素レベルを対象として中央値を選択し、注目画素の画素レベルと置換する。

Description

. . 明 細 書 . 撮像装置、 ノイズリダクション装置およびノイズリダクション方法 、 ならびに、 プログラム 技術分野
この発明は、 撮像装置、 ノイズリダクション装置およびノイズリダ クシヨン方法並びにプログラムに関し、 映像信号や画像信号に含まれ る雑音 （ノイズ） を効果的に'除去することができる撮像装置、 ノイズ リダクション装置およびノイズリダクション方法並びにプログラムに 関する。 背.景技術 ' ' 近午の撮像装置に備えられる撮像素子の画素数増加は目覚しく、 撮 像素子の解像度は人間の眼では判定できないほど滑らかな粒状性を持 つレベルに達しつつある。 この状況下において画質に対する要求は解 像感から、 例えばノイズ感の低減べと移行しつつ.あ.る。 ノイズ感を低 減させるために、 撮像装置では撮像素子から得られる撮像信号 対し てノイズリダクション （雑音低減処理） が行われる。
特開平 6— 8 6 1 0 4号公報には、 ε (ィプシロン） フィルタリン グを利用してノイズリダクション ( N R ) を行うノイズリダクション 装置が記載されている。
第 1'図 Αおよび第 1図 Βを用いて ε フィルタリングを利用したノィ ズリダクションについて説明する。 第 1図 Αは画像の平坦部における 隣接する複数の画素レベル （画素値とも称される） を示す。 例えば、 ノイズリダクションを施す対象である注目画素 （又は対象画素という ) 1 0 1に対して検波領域を左右 3つずつの周辺画素に設定し、 平滑 ィ匕を行うとする。 ここで、 注目画素 1 0 1と周 画素 1 0 2〜周辺画 素 1 0 7とは同色成分の画素である。
検波領域内の周辺画素 1 0 2〜周辺画素 1 0 7はそれぞれノイズが ない場合の画素レベルとの差 （レベル差） を有する。 とのレベル差が ノイズとなって表示される。 ここで注目画素と検波領域内のそれぞれ の周辺画素とのレベル差分の絶対値が注目画素の値を中心として設定 された閾値内であれば、 周辺画素 1 0 2〜周辺画素 1 0 7をノイズリ ダクシヨンに使用できる画素と判別する。 そして、 注目画素 1 0 1と 周辺画素 1 0 2〜周辺画素 1 0 7の画素レベルの加算平均を算出して フィルタ処理を行う。 なお、 第 1図 Aに示した例では左右.方向を例に しているが、 検波枠が平面方向領域を成す.ものであれば上下や斜め方 向にも同様である。 ' εブイルタ.リングを利用したノイズリダクションでは、 注目画素と 検波領域内の周辺画素とのレベル差分の絶対値が一定の閾値内にある 画素を信号成分に関して相関があるものと判別し、 注目画素および注 目画素と相関があると判別された周辺画素の画素.レ.ベルの加算平均を 算出する。 また、 ε フィルタリ ングを利用したノイズリダクショ ンで は、 例えばエッジ部 （輪郭部） のように注目画素とのレベル差が大き い画素は用いられない。 従って、 第 1図 Αに示すような兩像の平坦部 ではエッジをなまらせず、 また周波数特性の劣化を極力抑えつつノィ ズリダクションを行うことができる。
しかしながら、 上述した従来のノイズリダクションには以下のよう な問題点があった。 第 1図 Bは、 レベルが面内で徐々に変化していく 画像のランプ部における各画素の画素レベルを示す。 第 1図 Bに示す ように検波領域内の複数の周辺画素の中で、 注目画素 2 0 1とのレべ ル差分の絶対値が閾値内の画素は、 周辺画素 2 0 4および周辺画素 2 .0 5である。 画像のランプ部で注目画素 2 0 1 .と周辺画素 2 0 4およ び周辺画素 2 0 5とを使用して平滑化を行っても、 画像の平坦部に比 ベて加算平均を算出するために用いる画素数が少なくなってしまう。 従って、 ランプ部におけるノイズリダクションの効果が十分でないと いう問題があった。 また、 注目画素と周辺画素の画素レベルを使用し て加算平均処理を行うことで処理後の出力画像の周波数特性を劣化さ せてしまう。 このことは、 画像の平坦部では大きな問題とならないが 、 画像の高周波領域ではノイズを除去すると共に周波数特性を劣化さ せ、.処理後の出力画像がぼけてしまう問題があった。
また、 平坦部とランプ部が混在する画像においては、 平坦部ではノ イズリダクションの効果が得られるがランプ部では効果が落ちるため 、 結果的にランプ部のノイズ感を際立たせてしまうという問題があつ た。 また、 従来のノイズリダクションでは、 どの周辺画素がノイズリ ダクシ'ョンに用いられるかによってはノイズリダクション後に注目画 素の重心をずらしてしまい、 画像内の直線性を著しく失わせてしまう という問題があった。 また、 注目画素に例えばィ.ンパルス状の突出し たノイズがのっていた時はノイズリダクション効果を望めないという 問題があった。
さらに、 ノイズリダクションは同色成分の注目画素および周辺画素 を使用して行われるが、 撮像素子に設けられるカラーフィルタによつ ては注目画素と同色成分の周辺画素が少なくなってしまう。 例えば、 三原色信号 ( R (赤） G (緑） B (青） ） のカラーフィルタの場合は 、 人間の視感度特性等を考慮して Gフィルタが多く配列されることが 多いため Rフィルタと Bフィルタが相対的に少なくなる。 従って、 例 えば R成分の注目画素に対してノイズリダクションを施すときには、 ノイズリダクションの効果を得るべく検波領域内の R成分の画素数が 多くなるように検波領域を広めに設定する必要があるが、 検波領域を 広く設定することでラインメモリが増加して回路規模が大きくなつて しまうという問題があった。 また、 検波領域を広くすると注目画素と 周辺画素との相関が弱くなりノイズ低減効果が低くなるおそれがあつ た。 発明の開示
したがって、 この発明の目的は、 画像の平坦部およびランプ部のい ずれに対してもノイズリダクションを行うことができる撮像装置、 ノ ィズリダクション装置およびノイズリダクション方法、 ならびに、 プ ログラムを提供することである。
また、 この発明の他の目的は、 検波領域内で同色成分の画素が少な ' い成分の画素に対してもノイズリダクションを行うことができる撮像 . 装置、 'ノイズリダクション装置およびノイズリダクション方法、 なら ぴに、， プログラムを提供することである。
上述した課題を解決するために、 第 1の発明 、..撮像部と、 撮像部 から得られる撮像信号に対してノイズリダクションを行うノイズリダ クシヨン装置とを備え、 ノイズリダクション装置は、 ノイズ.リダクシ ヨンをしょうとする注目画素と、 注目画素と同色成分である複数の周. 辺画素とを取り出す取り出し手段と、 注目画素と周辺画素との間にェ ッジが存在するか否かを検出するェッジ検出手段と、 ェッジ検出手段 によりエッジが存在しないと判別されるときは周辺画素はノイズリダ クシヨンに使用できると判別し、 エッジが存在すると判別されるとき は周辺画素はノイズリダクションに使用できないと判別する判別手段 と、 注目画素の画素値と、 判別手段によってノイズリダクションに使 用できると判別された周辺画素の画素値とを使用してノイズ低減処理 を行う第 1の処理手段と、 注目画素の画素値と、 判別手段によってノ ィズリダクションに使用できると判別された周辺画素の画素値とを使 用して周波数特性を保持しつつノィズ低減処理を行う第 2の処理手段 と、 第 1の処理手段の出力値と第 2の処理手段の出力値とを、 重み係 数を使用して重み付け加算する重み付け加算手段とを備える撮像装置 である。
また、 第 2の発明は、 ノイズリダクションをしょうとする注目画素 と、 注目画素と同色成分である複数の周辺画素とを取'り出す取り出し 手段と、 注目画素と周辺画素との間にェッジが存在するか否かを検出 するエッジ検出手段と、 エッジ検出手段によりエッジが存在しないと 判別されるときは周辺画素はノイズリダクシヨンに使用できると判別 し、 エッジが存在すると判別されるとき'は周辺画素はノイズリダクシ ヨンに使用できないと判別する判別手段と、 注目画素の画素値と、 判 別手段によってノイズリダクションに使甩できると判別された周辺画 素の画素値とを使用してノイズ低減処理を行う第 1の処理手段と、 注 目画素の画素値と、 判別手段によってノイズリダク.シヨンに使用でき ると判別された周辺画素の画素値とを使用して周波数特性を保持しつ つノイズ低減処理を行う第 2の処理手段と、 第 1の処理手段の出力値 と第 2の処理手段の出力値とを、 重み係数を使用して重み付け加算す る重み付け加算手段とを備えるノイズリダクション装置である。
また、 第 3の発明は、 ノイズリダクションをしょうとする注目画素 と、 注目画素と同色成分である複数の周辺画素とを取り出す取り出し ステップと、 注目画素と周辺画素との間にエッジが存在するか否かを 検出するエッジ検出ステップと、 エッジ検出ステップにおいてエッジ が存在しないと判別されるときは周辺画素はノイズリダクションに使 用できると判別し、 エッジが存在すると判別されるときは周辺画素は ノィズリダクションに使用できないと判別する判別ステップと、 注目 画素の画素値と、 判別ステップにおいてノイズリダクションに使用で きると判別された周辺画素の画素値とを使用してノイズ低減処理を行 う第 1の処理ステップと、 注目画素の画素値と、 判別ステップにおい てノイズリダクションに使用できると判別された周辺画素の画素値と を使用して周波数特性を保持しつつノィズ低減処理を行う第 2の処理 ステップと、 第 1の処理ステップの出力値と第 2の処理ステップの出 力値とを、.重み係数を使用して重み付け加算する重み寸け加算ステツ プとからなるノイズリダクション方法である。
また、 第 4の発明は、 コンピュータに、 ノイズリダクションをしよ うとする注目画素と、'注目画素と同色成分である複数の周辺画素とを 取り出す取り出しステップと、 注目画素と周辺画素との間にエッジが 存在するか否かを検出するエッジ検出ステップと、 エッジ検出ステツ プにおいてェッジが存在しないと判別されるときは周辺画素はノィズ リダクションに使用できると判別し、 エッジが存在すると判別される ときは周辺画素'はノイズリダクシヨンに使用でき,ないと判別する判別 ステップと、 注目画素の画素値と、 判別ステップにおいてノイズリダ クションに使用できると判別された周辺画素の画素値とを使用してノ ィズ低減処理を行う第 1の処理ステップと、 注目画素の画素値と、 判 別ステップにおいてノイズリダクションに使用できると判別された周 辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理 を行う第 2の処理ステップと、 第 1の処理ステップの出力値と第 2の 処理ステップの出力値とを、 重み係数を使用して重み付け加算する重 み付け加算ステップとを実行させるプログラムである。
また、 第 5の発明は、 撮像部と.、 撮像部から得られる撮像信号に対 してノイズリダクシヨンを行うノイズリダクション装置とを備え、 ノ ィズリダクション装置は、 ノイズリダクションをしょうとする注目画 素と、 注目画素と同色成分である複数の周辺画素とを取り出す取り出 し手段と、 注目画素と周辺画素との間にエッジが存在するか否かを検 出するエッジ検出手段と、 エッジ検出手段によりエッジが存在しない と判別されるときは周辺画素はノィズリダクションに使用できると判 別し、 エッジが存在すると判別されるときは周辺画素はノイズリダク シヨンに使用できないと判別する判別手段と、 注目画素が孤立点であ るか否かを判別する孤立点判別手段と、 注目画素の画素値と、 判別手 段によってノイズリダクションに使用できると判別された周辺画素の 画素 とを使用してノイズ低減処理を行う第 1の処理手段と、 注目画 素の画素値と、 判別手段によってノイズリダクションに使用できると 判別された周辺画素の画素値とを使用して周波数特性を保持しつつノ 'ィズ低減処理を行う第 2の処理手段と、 第 1の処理手段の出力値と第 . 2の処理手段の出力値とを、 重み係数を俾用して重み付け加算する重 み付け加算手段と、 注目画素の繭素値と、 判別手段によってノイズリ ダクシ.ヨンに使用できると判別された周辺画素の画.素値と、 判別手段 によってノイズリダクションに使用できないと判別された周辺画素 画素値とを使用して、 周波数特性を保持しつつノイズ低減処理を行う 第 3の処理手段とを備え、 孤立点判別手段で注目画素が孤立点ではな . いと判別されたときには、 重み付け加算手段の出力値を注目画素の画 素値と置換して出力し、 孤立点判別手段で注目画素が孤立点であると 判別されたときには、 第 3の処理手段の出力値を注目画素の画素値と 置換して出力するようにした撮像装置である。
また、 第 6の発明は、 ノイズリダクションをしょうとする注目画素 と、 注目画素と同色成分である複数の周辺画素とを取り出す取り出し 手段と、 注目画素と周辺画素との間にェッジが存在するか否かを検出 す.るエッジ検出手段と、 エッジ検出手段によりエッジが存在しないと 判別されるときは周辺画素はノイズリダクションに使用できると判別 し、 エッジが存在すると判別されるときは周辺画素はノイズリダクシ ョンに使用できないと判別する判別手段と、 注目画素が孤立点である か否かを判別する孤立点判別手段と、 注目画素の画素値と、 判別手段 によってノイズリダクションに使用できると判別された周辺画素の画 素値とを使用してノィズ低減処理を行う第 1の処理手段と、 注目画素 の画素値と、 判別手段によってノイズリダクションに使用できると判 別された周辺画素の画素値とを使用して周波数特性を保持しつつノィ ズ低減処理を行ゔ第 2の処理手段と、 第 1の処理手段の出力値と第 2 .の処理手段の出力値とを、 重み係数を使用.して重み付け加算する重み 付け加算手段と、 注目画素の画素値と、''判別手段によってノイズリダ ' クシヨンに使用でぎると判別された周辺画素の画素値と、 判別手段に . よってノイズリダクションに使用できないと判別された周辺画素の画 素値とを使用して、 周波数特性を保持しつつノイズ低減処理を行う第 3の処理手段と'を備え、 孤立点判別手段で注目 p [素が孤立点ではない と判別されたときには、 重み付け加算手段の出力値を注目画素め画素 値と置換して出力し、 孤立点判別手段で注目画素が孤立点であると判 別されたときには、 第 3の処理手段の出力値を注目画素の画素値と置 ,換して出力するようにしたノイズリダクション装置である。
また、 第 7の発明は、 ノイズリダクションをしょうとする注目画素 と、 注目画素と同色成分である複数の周辺画素とを取り出す取り出し ステップと、 注目画素と周辺画素との間にエッジが存在するか否かを 検出するエッジ検出ステップと、 エッジ検出ステップによりエッジが 存在しないと判別されるときは周辺画素はノイズリダクションに使用 できると判別し、 エッジが存在すると判別されるときは周辺画素はノ ィ.ズリダクションに使用できないと判別する判別ステップと、 注目画 素が孤立点であるか否かを判別する孤立点判別ステップと、 注目画素 の画素値と、 判別ステップによってノイズリダクションに使用できる と判別された周辺画素の画素値とを使用してノイズ低減処理を行う第 1の処理ステップと、 注目画素の画素値と、 判別ステップによってノ ィズリダクションに使用できると判別された周辺画素の画素値とを使 用して周波数特性を保持しつつノィズ低減処理を行う第 2の処理ステ ップと、 第 1の処理ステップによる出力値と第 2の処理ステップによ る出力値とを、 重み係数を使用して重み付け加算する重み付け加算ス テツプと、 注目画素の画素値と、 判別ステップによってノイズリダク ションに使用できると判別された周辺画素の画素値と、 判別ステップ によってノイズリダクションに使用できないと判別された周辺画素の 画素値とを倚用して、 周波数特性を保持しつつノイズ低減処理を行う 第 3の処理ステップとを備え、 孤立点判別ステップで注目画素が孤立 点ではないと判別されたときには、 重み付け加算ステップによる出力 値を注目画素の画素値と置換して出力し、 孤立^判別ステップで注目 画素が孤立点である.と判別されたときには、 第 3の処理ステップによ る出力値を注目画素の画素値と置換して出力するようにしたノイズリ ダクシヨン方法である。 '
また、 第 8の発明は、 ノイズリダクションをしょうとする注目画素 と、 注目画素と同色成分である複数の周辺画素とを取り出す取り出し ステップと、 注目画素と周辺画素との間にエッジが存在するか否かを 検出するエッジ検出ステップと、 エッジ検出ステップによりエッジが 存在しないと判別されるときは周辺画素はノイズリダクションに使用 できると判別し、 エッジが存在すると判別されるときは周辺画素はノ ィズリダクションに使用できないと判別する判別ステップと、 注目画 素が孤立点であるか否かを判別する孤立点判別ステップと、 注目画素 の画素値と、 判別ステップによってノイズリダクションに使用できる と判別された周辺画素の画素値とを使用してノイズ低減処理を行う第
1の処理ステップと、 注目画素の画素値と、 判別ステヅプによってノ ィズリダクションに使用できると判別された周辺画素の画素値とを使 用して周波数特性を保持しつつノィズ低減処理を行う第 2の処理ステ ップと、 第 1の処理ステップによる出力値と第 2の処理ステップによ る出力値とを、 重み係数を使用して重み付け加算する mみ付け加算ス テツプと、 注目画素の画素値と、 判別ステップによってノイズリダク シヨンに使用できると判別された周辺画素の画素値と、 判別ステップ によってノイズリダクションに使用できないと判別された周辺画素の 画素値とを使用して、 周波数特性を保持しつつノイズ低減処理を行う '第 3の処理ステップとを備え、 孤立点判別ステップで注目画素が孤立 .点ではないと判別されたときには、 重み付け加算ステップによる出力 値を注目画素の画素値と置換し t出力し、 孤立点判別ステップで注目 画素が孤立点であると判別されたときには、 第 3の処理ステップによ る出力値を注目画素の画素値と置換して出力するようにしたノイズリ. ダクション方法をコンピュータに実行させるプログラムである。 ' 上述したように、 第 1、 第 2、 第 3および第 4の発明は、 ノイズリ ダクシヨンをしょうとする注目画素と、 注目画素と同色成分である複 数の周辺画素とを取り出し、 注目画素と周辺画素との間にエッジが存 在するか否かを検出してエッジが存在しないと判別されるときは周辺 画素はノイズリダクションに使用できると判別し、 エッジが存在する と判別されるときは周辺画素はノイズリダクションに使用できないと 判別し、 注目画素の画素値と、 ノイズリダクションに使用できると判 別された周辺画素の画素値とを使用して行うノイズ低減処理の出力値 と、 注目画素の画素値と、 判別ステップにおいてノイズリダクション に使用できると判別された周辺画素の画素値とを使用して周波数特性 を保持しつつ行うノイズ低減処理の出力値とを、 重み係数を使用して 重み付け加算するようにしているため、 注目画素に対するノイズリダ クシヨンを適切に行うことができる。
また、 第 5、 第 6、 第 7およぴ第 8の発明は、 ノイズリダクション をしょうとする注目画素と、 注目画素と同色成分である複数の周辺画 素とを取り出し、 注目画素と周辺画素との間にエッジが存在するか否 かを検出してエッジが存在しないと判別されるときは周辺画素はノィ ズリダクションに使用できると判別し、 エッジが存在すると判別され るときは周辺画素はノイズリダクション 使用できないと判別し、 注 目画素が孤立点であるか否かを判別し、'注目画素の画素値とノイズリ ' ダクションに使用できると判別された周辺画素の画素値とを使用して . 行うノイズ低減処理による出力値と、 注目画素の画素値と判別ステツ プによってノイズリダクションに使用できると判別された周边画素の 画素値とを使用して周波数特性を保持しつつ行ぅノィズ低減処理によ る出力値とを、 重み係数を使用して重み付け加算し、 孤立点判別ステ ップで注目画素が孤立点でばないと判別されたときには、 重み付け係 数を使用して注目画素の画素値とノイズリダクションに使用できると- 判別された周辺画素の画素値とを使用して行うノイズ低減処理による 出力値と、 注目画素の画素値と判別ステップによってノイズリダクシ ョンに使用できると判別された周辺画素の画素値とを使用して周波数 特性を保持しつつ行ぅノィズ低減処理による出力値とを加算した出力 値を注目画素の画素値と置換して出力し、 注目画素が孤立点であると 判別されたときには、 注目画素の画素値とノイズリダクションに使用 できると判別された周辺画素の画素値とノイズリダクションに使用で きないと判別された周辺画素の画素値とを使用して周波数特性を保持 しつつ行うノイズ低減処理による出力値を注目画素の画素値と置換し て出力するようにしているため、 注目画素が孤立点であっても、 ノィ ズリダクションを適切に行うことができる。 '
第 1、 第 2、 第 3およぴ第 4の発明によれば、 ノイズリダクション をしょうとする注目画素に対して、 ノイズリダクション効果が得られ る。 また、 平坦部およびランプ部のいずれに対してもノイズリダクシ ョン効果にばらつきのないノイズリダクションを行うことができる。 さらに、 検波領域内に同色成分の画素が少ない画素に対してもノイズ リダクション効果を得られるノイズリダクションを行うことができる 第 5、 第 6、.第 7およぴ第 8の発明によれば、 ノイズリダクション ' をしょうとする注目画素に対してノイズリダクション効果が得られ、 .平坦部およびランプ部のいずれに対してもノイズリダクション効果に ばらつきのないノイズリダクションを行うことができ、 検波領域内に 同色成分の画素が少ない画素に対してもノイズリ.ダクション効果を得 られるノイズリダクシヨンを行うことができると共に、 注目画素が孤 立点であっても、 適切にノイズリダクションを行うことができる。 .図面の簡単な説明
第 1図 Aおよび第 1図 Bは、 従来の ε フィルタリングの処理を説明 する.ための略線図、 第 2図は、 この発明の一実施形態における撮像装 置の構成を示すブロック図、 第 3図は、 この発明の一実施形態におけ る撮像素子に設けられるカラーフィルタ配列を示す略線図、 第 4図は 、 この発明の一実施形態における撮像素子の画素の読出し方法を示す 略線図、 第 5図は、 この発明の一実施形態における検波領域を示す略 線図、 第 6図は、 検波領域内の同色成分の画素を取り出して示した略 線図、 第 7図は、 この発明の一実施形態における二次微分方向を示す 略線図、 第 8図 Aおよび第 8図 Bは、 この発明の一実施形態における 平滑化処理および補間処理を説明するための略線図、 第 9図は、 この 発明の一実施形態における二次微分処理を説明するための略線図、 第 1 0図 A〜第 1 0図 Eは、 この発明の一実施形態における二次微分処 理を説明するための略線図、 第 1 1図は、 二次微分処理の処理手順を 示す略線図、 第 1 2図は、 この発明の一実施形態にお る対称判別処 理を説明するための略線図、 第 1 3図は、 この発明の一実施形態にお ける係数 αの設定方法の一例を示す略線図、 第 1 4図は、 この発明の 一実施形態におけるノイズリダクション処理の流れを示すフローチヤ ート、 第 1 5図は、 ノイズリダクション処理がパラレルに行われると きの注目画素の位置を説明するための略線図、 ^ 1 6図 Α〜第 1 6図 Cは、 この発明の一実施形態の変形例について概略的に説明するため の略線図、 第 1 7図 Aおよび第 1 7図 Bは、 この発明の一実施形態の 変形例について概略的に説明するための略線曙、 第 1 8図 Aおよび第 1 8図 Bは、 この発明の一実施形態の変形例に適用可能な撮像装置の 一例の構成を示すプロック図、 第 1 9図は、 この発明の一実施形態の 変形例による一例のノイズリダクシヨン処理を示すフローチヤ一ト、 第 2 0図は、 加算平均処理を行う画素範囲とメディアンフィルタ処理 を行う画素範囲とを異ならせる例を示す略線図である。 発明を実施するための最良の形態
以下、 図面を参照しながらこの発明の一実施形態について説明する 。 第 2図はこの発明の一実施形態における撮像装置 1の主要な構成を 示す。 撮像装置 1は、 撮像素子 2、 ディレイラインプロック 3、 ノィ ズリダクシ曰ン処理プロック 4、 カメラ信号処理ブロック 5を含む構 成とされる。
撮像素子 2は例えば C M O S (Complementary Metal Oxide Semico nductor) センサであり、 図示しない光学系 （レンズ、 '赤外線除去フ ィルタ、 光学的ローパスフィルタ等を含む） により集光された光を電 気信号に変換する。 C O M Sセンサ 2は例えばフォトダイオード、 行 • ·列選択 M O S トランジスタ、 信号線等が 2次元状に配列され、 垂直 走査回路、.水平走査回路、 ノイズ除去回路、 タイミング発生回路等が 形成されている。 この一実施形態では撮像素子 2を C M O Sセンサと して説明するが、 C C D (Charge Coupled Device)でも良い。
C M O Sセンサ 2から出力される画像信号は、 ディレイラインプロ ック 3に供給される。 後述するノイズリ'ダクシヨン処理では、 垂直方 '向に遅延された任意のライン数の入力を必要とするため、 ディレイラ .インプロック 3ではライン遅延処理が行われる。
ディレイラインプロック 3において遅延処理がされた画像 ί言号は、 ノイズリダクションプロック 4に供給される。.ノ.ィズリダクションプ ロック 4では、 設定された検波枠内の注目画素に対してノイズ])ダク シヨンが行われる。
ノイズリダクションプロック 4から出力された画像信号はカメラ信 '号処理ブロック 5に供給される。 カメラ信号処理部 5は例えば 1チッ プの I Cとして構成され、 A F (Auto Focus)、 A E (Auto Exposure) 、 ホワイ トバランス処理、 ガンマ補正、 ニー補正等の処理を行う。 ま た、 カメラ信号処理ブロック 5は入力される画像信号の解像度を必要 に応じて変換する解像度変換処理を行う。 カメラ信号処理プロック 5 では上述したような信号処理が行われ、 さらに輝度信号と色差信号が 生成されてカメラ信号処理プロック 5から出力される。 .なお、 カメラ信号処理ブロック 5は、 ノィズリダクシヨンプロック 4の前段に位置する構成としても良い。 すなわち、 カメラ信号処理ブ 口ック 5から出力される輝度信号およぴ色差信号に対してノイズリダ クションプロック 4においてノィズリダクシヨンが行われるようにし ても良い。
また、 ノイズリダクションブロック 4を複数個設けても良い。 ノィ ズリダクションプロック 4を複数個設けることで撮像素子の画素配列 に対して複数の検波枠を設定し、 それぞれの検波枠内の注目画素に対 してノイズリダクションをパラレノレ (並列的) に行うことができる。 続いて、 この発明の一実施形態におけるノイズリダクションプロッ ク 4の構成の一例を説明する。 ノイズリダクションブロック 4は、 L P F (Low Pass Filter) 1 1、 二次微分処理部 1 2、 画素判別部 1 3 、 閾値演算部 1 4、 対称処理部 1 5、 加算平均処理部 1 6、 メディア ンフィルタ 1 7、 乗算器 1 8、 乗算器 1 9、 重み係数発生部 2 0、 重 み係 ¾発生部 2 1、 加算器 2 2を含む構成とされる。
L P F 1 1は、 二次微分処理部 1 2において行われる二次微分の二 次微分方向と直交す.る方向に対して平滑化処理を行い、 必要に応じて 補間処理を行う。 この L P F l 1における平滑化処理および補間処理 により、 ノイズリダクションプロック' 4に供給される画像信号に含ま れるインパルス状の雑音を除去することができる。
エッジ検出手段の一例である二次微分処理部 1 2は、 検波領域内の 注目画素の画素レべノレと、 注目画素と同色成分の周辺'画素の画素レべ ルを使用して二次微分を行う。 二次微分処理により得られた値の絶対 値 （以下、 適宜、 二次微分値と称する） は、 判別手段の一例である画 素判別部 1 3に供給される。 また、 画素判別部 1 3には閾値演算部 1 4において算出された閾値情報が供給される。 . 画素判別部 1 3は、 二次微分処理で得られた二次微分値と、 閾値演 算部 1 4から供給される閾値とを比較する。 そして二次微分値が閾値 より小さい場合は、 周辺画素をノイズリダクションに使用できるとし 、 二次微分値が閾値より大きい場合は、 周辺画素をノイズリダクショ ンには使用できないとする。
画素判別部 1 3における判別処理の結果は対称処理部 1 5に供給さ れる。 対称処理部 1 5は、 画素判別部 1 3においてノイズリダクショ ンに使用できると判別された'周辺画素が、 注目画素を中心として点対 称の位置関係にあるか否かの判別を行う。 そして、 注目画素を中心と して点対称の位置関係にある周辺画素をノイズリダクシヨンに使用で きる画素と判別する。 なお、 この対称処理部 1 5における処理は、 画 素判別部 1 3において行われても良い。 .'
対称処理部 1 5における対称判別処理によってノイズリダクシヨン に使用できる周辺画素が決定する。 第 1の処理手段の一例である加算 平均処理部 1 6は、 注目画素の画素レベルと、 ノイズリダクションに 使用できると判別された周辺画素の画素レベルと.を.使用して加算平均 処理を行う。 加算平均処理は、 注目画素の画素レベルとノイズリダク ションに使用できると判別された周辺画素の画素レベルとを加算し、 加算結果を加算数により除算することで平均値を算出する。 算出され た値 （以下、 適宜、 加算平均値と称する） が加算平均処理部 1 6から 出力されて乗算器 1 8に対して供給される。
第 2の処理手段の一例であるメディアンフィルタ 1 7は、 注目画素 の画素レベルと、 ノイズリダクションに使用できると判別された周辺 画素の画素レベルとの中から略中央の値を選択する。 選択された画素 レベルの値 （以下、 適宜、 メディアン値と称する） がメディアンフィ ルタ 1 7から出力されて乗算器 1 9に対して供給される。 一方、 対称処理部 1 5においてノイズリダクションに使用できる周 辺画素が決定すると、 ノイズリダクションに使用される画素の画素数 (以下、 適宜、 ノイズリダクション使用画素数と称する） の情報が重 み係数発生部 2 0に供給される。 ノイズリダクション使用画素数は、 対称処理部 1 5においてノイズリダクションに使用できると判別され た周辺画素の画素数と、 注目画素との合計数である。
重み係数発生部 2 0は、 例えば対称処理部 1 5から供給きれるノィ ズリダクション使用画素数に'応じて適応的に重み係数 αの値 （伹し、 0≤ α ^ 1 とされる） を決定する。 重み係数発生部 2 0において決定 された.重み係数 α (以下、 適宜、 係数 αと略す） の値は、 乗算器 1 8 に供給される。 また、'重み係数発生部 2 1では、 係数ひの値に応じて 重み係数 （ 1 α ) が計算され、 計算ざれた重み係数 （1一 c (以 下、 適宜、 係数 （1— α ) と略す） の値は乗算器 1 9に供給される。 乗算器 1 8では、 加算平均処理部 1 6から出力される加算平均値に 係数 aが乗算され、 乗算結果の値が加算器 2 2に供給される。'また、 乗算器 1 9では、 メディアンフィルタ 1 7から出.力.されるメディアン 値に係数 （ 1— ο が乗算されて、 乗算結果の値が加算器 2 2に供給 される。
加算器 2 2では、 乗算器 1 8と乗算器 1 9から供給されるそれぞれ の値を加算する。 そして、 注目画素の画素レベルが、 加算器 2 2にお いて得られた値に置き換えられてノイズリダクションプロック 4から 出力される。
ノイズリダクションプロック 4において行われるノイズリダクショ ン処理をより詳細に説明する。
第 3図は、 この発明の一実施形態における C O M Sセンサ 2に設け られるカラーフィルタの配列を示す。 第 3図に示すカラーフィルタ配 列は、 正方格子状の配列を 4 5 ° 傾けると共に、 Rおよび Bの各フィ ルタの周囲の全てを Gフィルタで囲んだ構成とされる。 この構成によ り R · B成分についての人間の視感度特性上、 必要十分な空間周波数 特性が得られながらも、 これらの成分より人間の感度が高い G成分の 空間周波数特性を従来のべィャ配列よりも高めることが可能となる。 G成分は、 輝度信号を生成する上で主成分となるものであり、 これに より無彩色の被写体だけでなく、 有彩色の被写体に対する輝度の解像 度が高められ画質が向上する。
第 3図に示すカラーフィルタ配列においては、 第 4図の点線矢印で 示すように、 1水平同期期間内に隣接する 2行の画素を交互に読み出 す方法を基本としている。 すなわち、 出力チャネルが 1つだけのとき はこのようにして順に走査して読出しを行う。 ' 第 5図は、 上述したカラーフィルタを備える C M O Sセンサ 2に設 定される検波枠の一例を示す。 カラーフィルタ配列において人間の感 度の高い G成分が多く配列されているため、 検波枠内の R ·お成分の 画素数が少なくなつてしまう。 例えば、 第 5図にお.いて太線で囲まれ た検波枠内では、 R成分の注目画素の周辺に存在する同色成分め周辺 画素は 8個しかない。 このように、 同色成分の周辺画素の画素数が少 なくなると、 加算平均処理によるノイズ低減効果が低くなるおぞれも ある。 このため、 この発明の一実施形態ではメディアンフィルタによ る処理を平行して行い、 加算平均処理とメディアンフィルタの結果を 重み付け加算することで、 検波枠内に同色成分の画素数が少ない場合 でもノイズリダクションの効果を得ることができるようにした。
撮像素子から得られた画像信号から各色チャネル毎に分離される。 第 6図は、 一例として第 5図に示した検波枠内の R成分の画素を取り 出して示したものである。 ノイズリダクションをしょうとする注目画 素を R cとし、 注目画素 R cの周辺には、 周辺 ®素 R l l、 周辺兩素 R 1 2、 周辺画素 R 1 3、 周辺画素 R 2 1、 周辺画素 R 2 3、 周辺画 素 R 3 1、 周辺画素 R 3 2、 周辺画素 R 3 3が存在する。 この検波枠 の広さは任意に設定することができる。 '
また、 検波枠内の注目画素と周辺画素に対して二次微分方向が規定 される。 すなわち、 第 7図に示すように注目画素 R cを中心に、 横 （ 水平） 方向 D 1、 縦 （垂直） 方向 D 2、 斜め方向 D 3および斜め方向 D 4 合計 4個の二次微分方向が規定される。 '
第 8図 Aは、 L P F 1 1で行われる平滑化処理の一例を示す。 平滑 化処理は、 二次微分方向と直交する方向に対して行われる.。 例えば、 水平方向の二次微分方向に対しては、 周辺画素 R 1 1、 周辺画素 R 1 2、 周辺画素 R 1 3の配列、 周辺画素 R 2 1、 周辺画素 R c、 周辺画 素 R 2 3の配列、 周辺画素 R 3 1、 周辺画素 R 3 2、 周辺画素 R 3 3 の配列に対して平滑化が行われる。 平滑化は、 各画素の画素レベルを 加算し、 加算数を除算する方法で行われる。 例えば、 周辺画素 R l 1 、 周辺画素 R 1 2、 周辺画素 R 1 3の画素レべノレを.加算し、 加算数で ある 3で除算した値.を周辺画素 R 1 2の画素レベルとして置き換える
L P F 1 1では、 必要に応じて補間処理も行われる。 第 8図 Bは、 L P F 1 1で行われる捕間処理を示す。 撮像素子に設けられるカラー フィルタの配列によっては、 第 8図 Aおよび第 8図 Bに示すように周 辺画素 R 4 1、 周辺画素 R 4 2、 周辺画素 R 5 1および周辺画素 R 5 2が存在し得る。 このようなときは、 2画素の加算平均した値を、 二 次微分方向で画素が存在しない位置に捕間する補間画素の画素レベル とする処理が行われる。 例えば、 周辺画素 R 4 1および周辺画素 R 4 2の画素レベルの加算平均を算出して、 算出された値を画素レベルと する補間画素を補間する。 -
L P F 1 1では、 水平方向だけでなく垂直方向および左右斜め方向 に関しても同様に二次微分方向と直交する方向に平滑化処理 （必要に 応じて補間処理） が行われる。 また、 例えば周辺画素 R 1 1、 周辺画 素 R 1 3、 周辺画素 R 3 1および周辺画素 R 3 3のように検波領域内 の画素のみで平滑化処理を行うことができない周辺画素に対しては、 検波領域外の画素を使用して平滑化処理を行っても良いし、 平滑化処 理を行わないようにしても良い。 この L P F 1 1における平滑化処理 によって、 各画素のィンパルス状のノイズを除去することができる。 第 9図は、 二次微分処理部 1 2において二次微分を行う、 例えば水 平方向の画素の配列を示す。 平滑化処理が.なされた注目画素 R c、 周 辺画素 R 1 2、.周辺画素 R 3 2に対しで二次微分処理が行われる。 二 '次微分は、 例えば適切に設定された 3タップの係数を各画素レベルに .乗算して、 乗算結果を加算することで行われる。 3タップの係数は、 例えば （一 1、 2、 一 1 ) のように固定的に設定しても良いし、 適応 的に設定しても良い。 .
二次微分処理部 1 2において得られた二次微分値は画素判別部 1 3 に供給され、 閾値と比較される。 ここで閾値は、 閾値演算部 1 4から 供給された値である。 閾値は、 閾値演算部 1 4において例えば注目画 素の画素レベルを基にノイズリダクションの目的に応じて算出され、 若しくは任意に設定される値である。 例えば、 光ショットノイズのノ ィズリダクションを目的とするならば、 閾値は注目画素の画素レベル の平方根の定数倍に設定される。 また、 光ショットノイズとランダム ノイズのノイズリダクションを目的とするならば、 閾値は注目画素の 画素レベルの平方根の定数倍に別の定数 （ランダムノイズレベルを意 味する定数や変数） を加算した値に設定される。 • 画素判別部 1 3において二次微分値と閾値との比較が行われる。 二 次微分値が閾値以下であれば、 注目画素と周辺画素の間にはエッジが 存在しないと判別し、 ノイズリダクションに使用できる周辺画素の候 補とする。 また、 二次微分値が閾値より大きい場合は、'注目画素と周 辺画素の間にエッジが存在すると判別し、 ノイズリダクションには使 用できない画素と判別する。
第 1 0図 A〜第 1 0図 Eを用いて画素判別部 1 3の処理の一例を説 明する。 第 1 0図 A〜第 1 0図£では、 説明をわかりやすくするため に注目画素を Aとし、 周辺画素を Bおよび Cとする。 また、 第 1 0図 A〜第 1 0図 Eに示す例では周辺画素 Bをノイズリダクションに使用 できる画素か否かを判別する対象の画素とし、 ここでは判別画素 Bと 称する。 . . . 第 1 0図 Aは、 注目画素 A、 判別画素 Bおよび周辺画素 Cが画像の 平坦部に位置する場合を示す。. この場合 f 、 二次微分を行うと二次微 分値が 0となり （実際には一次微分によって 0となる） 閾値以下とな ることから、 判別画素 Bおよび周辺画素 Cは注目画.素 Aに対して相関 を有しているものと.し、 判別画素 Bはノイズリダクションに使用でき る画素の候捕とされる。
第 1 0図 Bは、 注目画素 A、 判別画素 Bおよび周辺画素 Cが画像の ランプ部に位置する場合を示す。 この場合では、 1次関数で変化する ランプ部を一次微分した場合には傾きに対応する一定の値が保たれ、 さらに一定の値を二次微分すると値が 0になる。 従って、 二次微分値 は閾値以下となることから、 判別画素 Bおよび周辺画素 Cは注目画素 Aに対して相関を有しているものとし、 判別画素 Bはノイズリダクシ ヨンに使用できる画素の候補とされる。
第 1 0図 Cや第 1 0図 Dは、 画像の平坦部やランプ部におけるある 画素 （ここでは注目画素 Aとする） にノイズがのっている場合を示す 。 第 1 0図 Cや第 1 0図 Dの場合は、 二次微分値は 0にはならないが 、 二次微分値が閾値以下であればノイズ成分を検出したものとし、 ェ ッジが存在しない平坦部またはランプ部と判別する。 そして、 判別画 素 Bおよび周辺画素 Cは注目画素 Aに対して相関を有しているものと し、 判別画素 Bはノイズリダクションに使用できる画素の候補とされ る。
第ュ 0図 Eは、 例えば注目画素 Aと周辺画素 Cの間 エッジが存在 する場合を示す。 エッジが存在することで、 注目画素 Aと周辺画素 C の画素レベルの差は大きいもとなり、 二次微分値は適切に設定された 閾値より大きくなる。 二次微分値が閾値より大きい場合は注目画素と 周辺画素との間にエッジが存在するものと判別する。 エッジを跨ぐ周 辺画素は注目画素との相関を有しないため、 ノイズリダクションには 使用できないものとする。
第 1 0図 Eでは注目画素 Aと周辺画素 Cの間にエッジが存在すると しているが、 判別画素 Bをノイズリダクションに使用できないと判別 する。 これは、 二次微分処理では、 注目画素 Aと判別画素 Bの間また は注目画素 Aと周辺画素 Cの間のいずれか一方にエッジが存在するこ としか判別できないため、 判別画素 B 'もノイズリダクションに使用で きないと判別する。 また、 注目画素の位置に対して、 エッジが存在す ると判別された画素を跨ぐ位置にある画素 （例えば第 1 0図 Eでは周 辺画素 D ) もノイズリダクションに使用できないと判別する。 これは 、 エッジを跨いだ位置にある周辺画素 Dが注目画素 Aと相関を有して レヽると判別されていても周辺画素 Dの画素レベルが本来の画素レベル か若しくはノィズの影響によりたまたま注目画素 Aと相関を有してい ると判別されたのかの区別がつかず、 誤判別の原因となるからである 上述したように、 閾値と比較する対象を従来のレベル差とは異なり 二次微分値とすることで、 特に画像のランプ部においてノィズリダク シヨンに使用できる画素数が減少することを防ぐことができる。
なお、 二次微分処理は、 注目画素の近傍 （例えば隣接する） に位置 し、 且つ点対称の位置関係にある周辺画素から行うことで、 周辺画素 の画素数が多くなる場合も二次微分処理の処理ステップ数を少なくす ることができる。 例えば、 第 1 1図に示すように注目 j¾素 R cの近傍 に位置し、 かつ点対称の位置関係にある周辺画素 R 4 3、 周辺画素 R 5 3と注目画素 R cとを使用して二次微分処理が行われる （処理 1 ) 。 ここで二次微分値が閾値より大きければ、 注目画素 R cと、 周辺画 素 R 4 3または周辺画素 R 5 3との間にはェッジが存在するものと判 別する。 そして周辺画素 R 4 3および周辺画素 R 5 3、 注目画素 R c に対して周辺画素 R 4 3および周辺画素 5 3を跨ぐ位置にある周辺 画素 R 1 2および周辺画素 R 2 3をノイズリダクションに使用できな い周辺画素と判別する。 つまり、 周辺画素 R 1 2と.周辺画素 R 4 3の 間や周辺画素 R 5 3 .と周辺画素 R 2 3との間にエッジが存在するかを 調べることなく、 周辺画素 R 1 2および周辺画素 R 2 3をノイズリダ クションに使用できない周辺画素と判别できるので、 二次微分処理の ステップ数を少なくすることができる。 二次微分値が閾値より小さい 場合は、 例えば処理 2、 処理 3、 処理 4の組み合わせによって順次、 二次微分処理が行われる。 „
また、 L P F 1 1において捕間処理が行われた場合は、 捕間画素は 二次微分処理には使用されるが、 捕間画素をノイズリダクションに使 用できるか否かの判別は行わない。 言い換えれば、 捕間画素を用いて のノイズリダクションは行わない。 ■ .二次微分処理は、 垂直方向、 左右斜め方向に関しても同様に行われ 、 複数の周辺画素の中でノイズリダクションに使用できる周辺画素の 候補が判別される。 ノイズリダクションに使用できると判別された周 辺画素の情報は対称処理部 1 5に供給される。
対称処理部 1 5においては、 画素判別部 1 3においてノイズリダク ションに使用できると候補された周辺画素が、 注目画素を中心として 点対称の位置関係にあるか否かの判別が行われる。 そして点対称の位 置関係にある周辺画素をノイズリダクシヨンに使用できる周辺画素と 判別する。
例えば、 第 1 2図に示すように、 画素判別部 1 3において注目画素 R cに対して、 周辺画素 R 1 1、 周辺画素 R 1 2、 周辺画素 R 1 3、 周辺画素 R 2 1、 周辺画素 R 2 3、 周迈画素 R 3 1、 周辺画素 R 3 2 がノイズリダクションに使用できる画素の候補と判別されたとする。 対称処理部 1 5では、 それぞれの周辺画素が注目画素 R cを中心とし て点対称の位置関係にあるか否かの判別が行われる。
例えば、 周辺画素 R 2 1と周辺面素 R 2 3とは注目画素 R cを中心 として点対称の位置関係にあるので、 周辺画素 R 2 1および周边画素 R 2 3はノイズリダクションに使用できる周辺画素と判別される。 同 様に、 周辺画素 R 1 3と周辺画素 R 3 1とは注目画素 R cを中心とし て点対称の位置関係にあるので、 周辺画素 R 1 3および周辺画素 R 3 1はノイズリダクションに使用できる周辺画素と判別される。 また、 周辺画素 R 1 2と周辺画素 R 3 2とは注目画素 R cを中心として点対 称の位置関係にあるので、 周辺画素 R 1 2および周辺画素 R 3 2はノ ィズリダクションに使用できる周辺画素と判別される。 しかしながら 、 周辺画素 R 1 1については、 点対称の位置関係にある周辺画素 R 3 3がすでにノイズリダクションに使用できないと判別されているため 、 周辺画素 R l 1はノイズリダクションに使用できない周辺画素と判 別される。
このように、 注目画素を中心として点対称の位置関係にある周辺画 素をノイズリダクションに使用することで、 ノイズリダクションによ つて注目画素が重心ずれを引き起こすことを防ぐことができる。 画素 の重心ずれとは、 ノイズリダクション前の注目画素の位置 （空間位相 ) と、 ノイズリダクション後の注目画素の位置 （空間位相） がずれる ことを意味する。 例えば、 第 1 2図に示す対称判別処 aを行っていな いノイズリダクションに使用される候補の周辺画素を全て使用して加 算平均処理を行うと、 加算平均後の注目画素 R cの画素位置が加算平 均前の注目画素 R cの画素位置からずれてしまうおそれがある。 画素 の重心ずれによりノイズリダクション後の画像の線形性が失われ、 例 'えば直線部分が直線でなくなくなってしまう。 対称判別処理によって .注目画素 R cの重心ずれを防ぎ、 画像の E線性を劣化させることを防 ぐことができる。
対称処理部 1 ' 5における対称処理が終了すると.、ノイズリダクショ ンに使用できる周辺画素が決定する。.続いて、 加算平均処理部 1 6に おいて加算平均処理が行われる。 また、 パラレルにメディアンフィル タ 1 7においてフィルタ処理が行われる。
. 加算平均処理部 1 6では、 注目画素の画素レベルと、 ノイズリダク ションに使用できると判別された周辺画素の画素レベルとを使用して 加算平均処理が行われる。 例えば、 第 1 0図 A〜第 1 0図 Eを用いて 説明した例では注目画素 R cに対して、 周辺画素 R 1 2、 周辺画素 R 1 3、 周辺画素 R 2 1、 周辺画素 R 2 3、 周辺画素 R 3 1および周辺 画素 R 3 2がノイズリダクションに使用できると判別されている。 従 つて、 加算平均処理部 1 6では、 注目画素 R cの画素レベルと周辺画 素 R 1 2、 周辺画素 R 1 3、 周辺画素 R 2 1、 周辺画素 R 2 3、 周辺 画素 R 3 1および周辺画素 R 3 2のそれぞれの画素レベルとを加算し 、 加算して得られる値を加算する画素数である 7で除算して加算平均 値を得る。 得られた加算平均値は乗算器 1 8に供給される。
加算平均処理部 1 6における加算処理により、 特に画像信号におけ るノイズを低減させることができる。
加算平均処理部 1 6における処理とパラレルにメディアンフィルタ 1 7においてフィルタ処理が'行われる。 メディアンフィルタ 1 7では 、 注目画素の画素'レベルと、 ノイズリダクションに使用できる周辺画 素の画素レベルの中から略中央の値が選択される。 そして、 選択され たメディアン値が乗算器 1 9に供給される。 この一実施形態では対称 処理部 1 5において対称判別処理がされていることから、 ノイズリダ クシヨン使用画素数は点対称の位置関係にある偶数個の周辺画素と注 目画素の合計数となり、 必ず奇数個とな 。 従って、 メディアンフィ ルタ 1 7では中央の値が選択される。
メディアンフィルタ 1 7におけるメディアンフィルタリング処理に より、 周波数特性を保持しつつ、 ノイズを低減させることができる。 しかしながら、 周波数特性を保持する、 言い換えればエッジがなまる ことを防ぐため、 加算平均処理に比べてノイズを低減させる効果は劣 る。
乗算器 1 8では、 加算平均処理部 1 6から供給される加算平均値に 対して係数ひ （但し、 O ≤ 1 ) が乗算される。 また、 乗算器 1 9 では、 メディアン値に対して係数 （ 1一 a ) が乗算される。
ここで係数 0!について説明する。 係数 Q!は、 例えば対称処理部 1 5 おいて決定されたノイズリダクション使用画素数に応じて決定される 。 検波枠内の注目画素に対して、 ノイズリダクションに使用できると 判別された周辺画素の画素数が多いということは、 その検波枠は画像 の平坦部に存在することが言える。 一方、 ノイズリダクションに使用 できると判別された周辺画素の画素数が少ないということは、 その検 波枠は画像のエッジを含むということが言える。 従って、 周辺画素の 画素数が少ないときは検波枠は画像の平坦部であることから、 よりノ ィズ低減効果を得るべく係数 αの値を大きくする。 他方、 周辺画素の 画素数が多いときは検波枠は画像のエッジを含むことから、 エッジを 残しつつノイズを低減できるメディアンフィルタを主に使用するため 係数 αの値を小さく して係数 ·（ 1一 ο; ) の値を大きくする。
第 1 3図は、 係数 aの設定方法の一例を示す。 例えば、 この一実施 形態における検波枠内で全ての周辺画素 （8個） がノイズリダクショ ンに使用可能と判別されると、 ノイズリダクション使用画素数は 9個 ― となる。 全ての周辺画素がノイズリダクションに使用可能とされてい ることから、 ノイズを低減させるベく係数ひを 1に設定する。 このと き係数 （ 1— α ) の値は 0となる。 言い換えれば、 加算平均値のみを 使用して、 メディアン値は使用しない。 また、. ノ.ィズリダクションに 使用できる画素数が.7値、 5個■ · と少なくなるにつれ検波枠内にェ ッジが存在することを意味するから、 画像のエッジをなまらせないた
Figure imgf000029_0001
1 7を主に使うようにする。 すなわち、 ノイズ リダクション使用画素数が少なくなるにつれて係数 aの値を 0に近づ けるようにして、 係数 （1一ひ） の値を大きくする。
なお、 係数 の値は、 必ずしも第 1 3図に示すように線形に変化さ せる必要はない。 例えばノイズリダクション使用画素数に応じた最適 な係数 αの値を重み係数発生部 2 0にテーブルとして記憶するように しても良い。
また、 係数 αは被写体の照度変化によつて適応的に設定することも できる。 例えば、 撮像装置の最低被写体照度付近の低照度下において 被写体を撮像すると、 画像にざらざらとした粒状感のノィズが発生す ることが多い。 従って、 低照度下ではよりノイズを低減させるベく係 数 Q!の値を大きくする。 そして最低被写体照度から徐々に明るくなる 毎に、 係数 Q!の値を小さく してメディアン値の割合を多く し、 エッジ をなまらせないようにしてノイズを低減する。
照度に関する情報は、 例えば撮像装置が有する自動露出機能を実行 するときに検波される輝度情報を使用する。 自動露出 能 （A E (Aut 0 Exposure)とも称される） では、 画像信号から輝度情報を検波し、 輝度情報をマイクロプロセッサ等の制御部に供給する。 制御部は輝度 情報に応じてドライバを駆動してレンズの.絞りを開閉する制御を行い 、 撮像素子への入射光量を調節する。 この自動露出機能を実行すると きに検波される輝度情報を重み係数発生部 2 0に供給して、 輝度情報 の輝度レベルに応じて係数 0!の値が適切に決定されるようにしても良 い。 '
決定された係数 αは乗算器 1 8に対して供給さ.れ.る。 また係数 （1 - ) は乗算器 1 9に供給される。 乗算器 1 8は、 加算平均値に係数 αを乗算した値を出力する。 乗算器 1 9は、 メディアン値に係数 （1 — ο を乗算した値を出力する。
加算器 2 2は、 乗算器 1 8および乗算器 1 9から出力されたそれぞ れの出力値を加算する。 そして加算処理により得られた値を注目画素 の画素レベルとして置き換えて、 ノイズリダクションプロック 4から 出力する。
このように加算平均とメディアンフィルタリング処理をパラレルに 行い、 それぞれの処理の出力値を重み係数 aを変化させて重み付け加 算することで、 例えば画像の平坦部またはランプ部にはノィズ低減処 理を積極的に行い、 画像のエッジを含む部分 （高周波部） にほエッジ をなまらせず、 周波数特性を劣化させないノイズ低減処理を行うよう にすることができる。 従って、 エッジがなまることなく且つノイズが 除去された最適な出力画像を得ることができる。
第 1 4図は、 この発明の一実施形態におけるノイズリダクション処 理の流れを示十フローチャートである。 以下説明する処理は、 ハード ウェア的に実現されても良いし、 プログラムを利用してソフトウェア 的に実現されても良い。 ' '
ノイズリダクション処理がスタートすると、 はじめにステップ S 1 では、 注目画素を中心に縦、 横、 左右斜め方向に欠落画素が存在する か否かの判別が行われる。 ここで、 欠落画素の有無の判別対象となる 画素は、 注目画素と同色成分または注目画素の画素レベルとのレベル ■差が一定の範囲内である任意の色成分の画素とされる。
. ステップ S 1において欠落画素が存在すると判別されたときは処理 がステップ S 2に進む。 ステップ S 2では、 L P F 1 1において、 二 次微分方向と直交する方向から欠落画 * 補間する.処理が行われる。 補間処理が終了した後は再び処理がステップ S 1に進む。 なお、 この 捕間処理において縦方向、 横方向、 左右斜め方向の全ての画素に対し て欠落した画素が存在する場合は、 補間するために使用するための周 .辺画素が存在せず注目画素と欠落画素を結ぶ方向と直交する方向に補 間処理を行うことができない。 このような場合は、 捕間処理を行わず 、 ステップ S 1以降の処理において欠落画素の位置を処理対象から除 外する。
ステップ S 1において欠落画素が存在しないと判別されると、 処理 がステップ S 3に進む。 ステップ S 3では、 L P F 1 1において二次 微分方向と直交する方向から平滑化処理が行われる。 このときステツ プ S 2において補間された補間画素に対しては、 補間処理により平滑 化も行われていることから、 再度平滑化を行う必要はない。
ステップ S 3において平滑化処理が行われると、 処理がステップ S 4に進む。 ステップ S 4では、 二次微分処理部 1 2において、 注目画 素を中心として縦、 横、 斜め方向から二次微分が行われる。 二次微分 処理は、 例えば検波枠内の注目画素を中心として点対称の位置関係に ある周辺画素の 3画素を使用して行われる。 また、 二次微分の端の画 素と注目画素の間に 2画素以上の画素が存在する場合は、 注目画素と 端の画素に位置する全ての画素を使用した組み合わせで二次微分を行 う。
上述したステップ S 1〜ステップ S 4の処理に平行して、 ステップ S 5では閾値演算部 1 4において閾値が算出される。 閾値は、 例えば 注目画素の画素レベルの平方根の実数 a倍に実数 bを加算することで 算出ざれる。 aおよび bの値は可変可能.な任意の数である。 以下に式' ( 1 ) どして示す。 なお、 式 （1 ) において、 L vは、 注目画素の画 素レべノレを示す。 、
a X L V ° - 5 + b ■ . · '式 （ 1 )
続いて処理がステップ S 6に進む。 ステップ S 6では、 画素判別部 1 3において二次微分の結果の絶対値である二次微分値と、 ステップ S 5で算出された閾値とを比較する。 そして処理がステップ S 7に進 む。
ステップ S 7では、 検波枠内でノイズリダクションに使用できるか 否かを判別する判別画素に着目する。 続いて処理がステップ S 8に進 む。
ステップ S 8では、 注目画素と判別画素を使用した二次微分値が閾 値より大きいか否かが判別される。 二次微分値が閾値より大きい場合 は処理がステップ S 9に進む。 ステップ S 9では、 判別画素がソィズ リダクションに使用できないと判別する。 また、 対称処理を行い、 注 目画素を中心として判別画素と点対称の位置関係にある周辺画素もノ ィズリダクションに使用できないと判別する。 ·
ステップ S 8において二次微分値が閾値より小さい場合は、 処理が ステップ S 1 0に進み、 判別画素をノイズリダクションに使用できる 画素の候補と判別する。 そして、 さらに対称処理部 1 5において対称 判別処理を行われる。 対称判別処理では、 注目画素を中心として、 ノ ィズリダクションに使用できる画素の候補とされた判別画素と点対称 の位 ¾関係にある周辺画素がノイズリダクションに使用できる画素と されているか否かを判別する。 点対称の位置関係にある周辺画素がノ 'ィズリダクションに使用できる画素とされていれば、 判別爾素はノィ ズリダクションに使用できる画素と決定される。 点対称の位置関係に ある周辺画素がノイズリダクションに使用できない画素とされていれ ば、 判別画素はノイズリダクションに使用できない画素として再判断 される。 .
続いて、 処理がステップ S 1 1に進む。 ステップ S 1 1では検波枠 内の全ての判別画素に着目したか否かが判別される。 全ての判別画素 に着目していないときは、 処理がステップ S 1 2に進み、 判別処理が 行われていない判別画素が特定される。 そして特定された判別画素に 対してステップ S 7以降の処理が行われ、 判別画素がノイズリダクシ ョンに使用できるか否かが判別される。
ステップ S 1 1において、 検波枠内の全ての周辺画素に対してノィ ズリダクションに使用できるか否かの判別が行われると、 処理がステ ップ S 1 3に進む。 ステップ S 1 3では、 加算平均処理部 1 6におい て注目画素の画素レベルと、 ノイズリダクションに使用できると判別 された周辺画素の画素レベルの加算平均を計算して加算平均値を算出 する。 '
また、 ステップ S 1 4では加算平均処理とパラレルに行われる処理 として、 メディアンフィルタ 1 7においてメディアンフィルタリング 処理が行われる。 メディアンフィルタリング処理では注目画素の画素 レベルと、 ノイズリダクションに使用できると判別された周辺画素の 画素レベルの中から中央値であるメディアン値が選択される。
また、 加算平均処理およびメディアンフィルタリング処理と平行し て係数ひ （但し、 0 ひ ≤ 1 ) を決定する処理が行われる。 ステップ S 1 5では、 ステップ S 1 1においてノイズリダクションに使用でき ると判別された周辺画素の画素数と注目画素の合計の画素数が、 ノィ ズリダクショ： 使用画素数として保持ざれる。 , そして処理がステップ S 1 6に進み、 係数 aを決定する処理が行わ れる。 係数 αは、 重み係数発生部 2 0に記憶されるテーブルを参照し て、 ノイズリダクション使用画素数に応じて適応的に決定される。 な お、 係数 Q!の決定の仕方は上述したよう【こノイズリ..ダクション使用画 素数に応じて決定しても.良いし、 撮像する被写体の照度に応じて適応 的に決定しても良い。 · 続いて処理がステップ S 1 7に進む 6 ステップ S 1 7では、 ステツ プ S 1 3において計算された加算平均値に対してステップ S 1 6にお いて決定された係数 αを乗算する処理と、 ステップ S 1 4において選 択ざれたメディアン値に対して係数 （1—ひ ） を乗算する処理が行わ れる。 そして、 それぞれの乗算処理によって得られる値を加算する処 理が行われる。
続いて処理がステップ S 1 8に進む。 ステップ S 1 8では、 注目画 素の画素レベルが、 ステップ S 1 7における重み付け加算処理によつ て得られた値に置き換えられる。 そしてノイズリダクシヨン処理が終 了する。
以上、 この発明の一実施形態について具体的に説明したが、 この発 明は、 上述した一実施形態に限定されるものではなく、 この発明の技 術的思想に基づく各種の変形が可能である。 例えば、 上述した一実施 形態では R成分の画素を使用して説明したが、 B成分の画素は勿論の こと、 カラーフィルタに多く配列される G成分に対しても適用するこ とができる。 また、 シアン ( C ) 、 マゼンタ (M) 、 イェロー ( Y ) を使用した捕色系のカラーフィルタや 4色以上の色の配列を有する力 ラーフィルタにおいても、 同色成分の画素を取り出してこの発明によ るノイズリダクションを実行することができる。 また、 第 3図を用い て説明したカラーフィルタ配列に限らず、 例えばべィャ配列などの力 ラーフィルタ配列に対してもこの発明を適用できる。
また、 ノイズリダクションブロック 4を複数個設けて、 パラレルに 処理を行うようにしても良い。 例えば第 1 5図に示すように注目画素 を画素 R l、 G l、 G 2、 G 3とし、 それぞれの.注目画素に検波枠を 設定しノイズリダクション処理をパラレルに行う。 そして、 次の処理 では、 画素の読出し方向に対応させて、 注目画素を画素 R 2、 G 4、 G 5、 G 6としてノイズリダクションを行うようにしても良い。
次に、 この発明の一実施形態の変形例について説明する。 この発明 の一実施形態の変形例は、 上述の一実施形態によるノイズリダクショ ン処理において、 注目画素が周辺画素と比較して特異な値を有する画 素である場合に、 適切な処理を行うことができるようにするものであ る。
第 1 6図 A〜第 1 6図 Cおよぴ第 1 7図 Aおよぴ第 1 7図 Bを用い て、 この発明の一実施形態の変形例について概略的に説明する。 なお 、 第 1 6図 A〜第 1 6図 Cおよび第 1 7図 Aおよび第 1 7図 Bにおい て、 横軸は画素の位置を示し、 縦軸は画素レベルを示す。 実際の撮像 画像においては、 第 1 6図 Aに一例が示されるように、 注目画素 4 0 1の画素レベルが、 注目画素 4 0 1に対する周辺画素 4： 0 2、 4 0 2 、 · · · の画素レベルに対して特異な値、 例えば極端に大きな値であ る場合が起こり得る。 この場合、 注目画素 4 0 1は、 周辺画素 4 0 2 、 4 0 2、 ■ · · と相関が無いと考えられ、 周辺の画素に対して孤立 している孤立点である。 '
この孤立点である注目画素 4 0 1に対して、 上述した一実施形態に よるノイズリダクション処理を行った場合について考える。 先ず、 L P F 1 1により平滑化処理がなされる。 平滑化処理は、 既に説明した ように、 所定範囲の画素について画素レベルを加算し、 加算数で除し て行う。 この平滑化処理によれば、 加算数が数点である場合、 画素 4 0 1の値に対する平滑効果は、 余り期待できないことが考えられる。 すなわち、 L P F 1 1による平滑化処理の後も、 画素 4 0 1の値は、 周辺画素 4 0 2、 4 0 2、 ■ · 'の値よりも極端に.大きい値とされ、 注目画素の孤立点と.しての状態が維持される。
次に、 二次微分処理部 1 2により、 二次微分処理が行われる。 注目 画素の画素 4 0 1の値が周辺画素 4 0 2、 4 0 2、 · ■ · の値より極 端に大きいため、 二次微分処理の結果も大きい値となる。 二次微分処 理結果に対する閾値 ε として、 一実施形態で式 （ 1 ) を用いて説明し た例のように、 注目画素レベルの平方根に基づく値を用いる場合、 実 数 bの値によっては、 二次微分処理の結果、 全ての周辺画素 4 0 2、 4 0 2、 · · ·がノイズリダクション処理に使用できない画素とされ る可能性がある。 この場合、 注目画素 4 0 1のみがノイズリダクショ ン処理に使用可能な画素とされる。 ノイズリダクション処理に使用可能な画素が注目画素 4 0 1の 1画 素のみである場合、 加算平均処理結果とメディアンフィルタ処理結果 とを混合する際の混合比を示す係数 aが従えば 0となり （第 1 3図参 照） 、 メディアンフィルタ処理結果のみが出力される。 上述のように 、 二次微分処理の結果、 注目画素 4 0 1のみがノイズリダクション処 理に使用可能な画素とされているため、 第 1 6図 Bに画素 4 0 3とし て例示されるように、 注目画素 4 0 1の値がそのまま出力されてしま うことになる。 この場合、 結果的に、 注目画素 4 0 1に対するノイズ リダクション処理がなされないことになる。
なお、 一実施形態の方法に従い、 二次微分処理結果に対する閾値 ε を注目画素レベルに基づき決めて、 周辺兩素 4 0 2のそれぞれを注目 画素としてノイズリダクション処理を行った場合には、 第 1 6図 Βに 画素 4 0 4、 4 0 4、 · · ' として例示されるように、 画像の高域成 分が保たれた状態でノイズリダクション効果が得られる。
一方、 一実施形態の方法に従いノイズリダクション処理を行った場 合に、 孤立点である注目画素 4 0 1がそのまま ¾力されてしまう状態 を避けるために、 二次微分結果に対する閾値を、 第 1 6図 Cに閾値 ε ' として例示されるように、 例えば注目画素 4 0 1の画素レベルをも 含む程度の大きな値とすることも考えられる。 この場合には、 ノイズ リダクション処理に使用可能な画素の検出率が高くなることになる。. その結果、 係数 が 1若しくは 1に近い値となり、 注目画素 4 0 1の 値は、' 第 1 6図 Cに画素 4 0 5として例示されるように平滑化され、 ノイズリダクション効果が得られる。
ところが、 この方法によれば、 画素 4 0 2、 4 0 2、 ■ ' ' のそれ ぞれを注目画素として処理を行った場合、 加算平均処理結果に基づく 出力の比率が非常に高くなり、 第 1 6図 Cに画素 4 0 6、 4 0 6、 ■ . · . · として例示されるように、 全体として画像の高域部分が失われて しまうおそれがある。 この場合には、 画像のエッジ部分が鈍り、 画質 の劣化を招くことになる。
この発明の一実施形態の変形例では、 上述した一実施形態によるノ ィズリダクション処理に対し、 このような孤立点に対する処理を適切 に行うことができるようにしたものである。
この発明の一実施形態の変形例によるノイズリダクション方法は、 概略的には、 注目画素に対し、 当該注目画素が孤立点 あるか否かを 判断し、 孤立点であると判断された場合には、 注目画素を含めた所定 範囲に存在する全画素の画素レベルに基づきメディアンフィルタ処理 を行い、 得られた値を注目画素の画素レベル値と置換して出力する。 一方、 注目画素が孤立点ではないと判断されたら、 上述した一実施形 態による方法に従い、 ノイズリダクション処理に使用可能な画素数に 基づく比率で、 周辺画素を用いた加算平均.処理結果とメディアンフィ ルタ処理結果とを混合し、 得られた値を注目画素の画素レベル値と置 換して出力する。
第 1 7図 Aおよび第 1 7図 Bを用いて、 より具体的に説明する。 な お、 第 1 7図 Aは、 上述の第 1 6図 Aと同等の図であり共通する部分 には同一の符号を付す。 第 1 7図 Aに例示されるような注目画素 4 0 1に対して、 当該注目画素が周辺画素に対して画素レベルが特異な値 である孤立点であるか否かが判断される。 例えば、 注目画素 4 0 1を 含めた所定範囲内に存在する画素のうち、 当該注目画素 4 0 1のみが ノイズリダクション処理に使用可能な画素であると判断された場合に 、 当該注目画素 4 0 1が孤立点であると判断する。 注目画素 4 0 1が 孤立点であれば、 注目画素 4 0 1を含む所定範囲の画素の画素レベル に基づきメディアンフィルタ処理を行い、 処理結果を注目画素 4 0 1 の画素レベルと置き換えて出力する。 この出力を、 第 1 7図 Bに画素 4 0 7として例示する。
一方、 孤立点ではないと判断された画素 4 0 2、 4 0 2、 ■ ■ · の それぞれについては、 上述した一実施形態の方法に従い、 二次微分処 理結果に対する閾値 εを注目画素レベルに基づき決めてノイズリダク ション処理を行う。 その結果、 第 1 7図 Βに画素 4 0 8、 4 0 8、 - ■ - · として例示されるように、 画像の高域成分が保たれた状態でノィ ズリダクション効果が得られる。
最終的に、 孤立点であると判断された画素 4 0 1と、 孤立点ではな いと判断された画素 4 0 2とに対してそれぞれ適切にノイズリダクシ ヨン処理がなされ、 全体的に、 画像の高域成分が保たれ、 且つ、 孤立 点の画素レベルが抑制された、 高画質な画像を得ることができる。 このように、 注目画素が孤立点であるか否かを判断し、 判断結果に 基づき処理を切り換えることで、 ノイズリダクション処理を適切に行 うことができる。
第 1 .8図 Αおよび第 1 8図 Bは、 この発明の一実施形態の変形例に 適用可能な撮像装置 1 ' の一例の構成を示す。 なお、 この第 1 8図 A および第 1 8図 Bに示される構成において、 上述した第 2図の構成と 共通する部分には同一の符号を付し、 詳細な説明を省略する。 また、 以下において、 画素は、 注目画素と同色成分の画素であるものとする この撮像装置 1， は、 上述した一実施形態による撮像装置 1に対し て、 孤立点判断部 3 0、 全画素メディアンフィルタ部 3 1および孤立 点依存切換部 3 2が追加されている。 孤立点判断部 3 0は、 注目画素 が孤立点であるか否かを判断する。 全画素メディアンフィルタ部 3 1 は、 注目画素を含む所定範囲の画素を用いてメディアンフィルタ処理 を,行う。 孤立点依存切換部 3 2は、 例えば孤立点判断部 3 0の判断結 果に基づき制御され、 加算器 2 2からの出力と、 全画素メディアンフ ィルタ部 3 1からの出力とを切り換えて、 注目画素の画素レベルと置 換して出力する。 '
第 1 8図 Aおよび第 1 8図 Bの構成に基づくノイズリダクション処 理について、 より具体的に説明する。 撮像素子 2から出力された画像 信号は、 ディレイライン 3を介してノイズリダクションブロック 4， に入力され、 L P F 1 1およ'ぴ閾値演算部' 1 4に供給'される。 閾値演 算部 1 4は、 例えば上述した式 （1 ) に従い、 注目画素の画素レベル に基づき閾値 εを算出する。 閾値 εは、 画素判別部 1 3に供給される 一方、 画像信号は、 L P F 1 1で平滑処理がなされ、 二次微分処理 部 1 2で注目画素と当該注目画素の周辺画素とを用いて二次微分処理 がなされる。 周辺画素のそれぞれに対す^二次微分結果が画素判別部 1 3に供給され、 閾値演算部 1 4で算出された閾値 ε とそれぞれ比較 される。 比較の結果、 二次微分値が閾値 ε よりも.小さいと判断された 周辺画素が、 ノイズ.リダクション処理に使用可能な画素の候補である と判断される。 画素判別部 1 3でノイズリダクション処理に使用可能 な画素の候補であるとされた画素について、 次の対称処理部 1 5で、 注目画素を中心として周辺画素の対称性が判断され、 当該候捕の画素 のうち、 対称性を有しない画素をノイズリダクション処理に用いない とする。 対称処理部 1 5でノイズリダクション処理に用いるとされた 画素の画素数に基づき、 重み係数発生部 2 0で係数 αが生成される。 孤立点判断部 3 0では、 注目画素が孤立点であるか否かが判断され る。 例えば、 対称処理部 1 5までの処理により、 ノイズリダクション 処理に使用可能であるとされた画素が注目画素の 1個のみである場合 、 当該注目 ®素が孤立点であると判断する。 なお、 対称処理部 1 5ま での処理で、 ノイズリダクション処理に使用可能であるとされた画素 が 1個のみである場合、 当該 1個の画素は、 注目画素そのものである 一方、 ノイズリダクション処理に使用可能であるとされた画素が 2 個以上あった場合は、 注目画素が孤立点ではないと判断される。 実際 には、 対称処理部 1 5では、 上述のように注目画素を中心として周辺 画素の対称性が判断されるので、 ノイズリダクション処理に使用可能 であると判断された画素が 3個、 5個、 7個、 9個、 · ■ ' のときに 、 注目画素が孤立点ではないと判断される。
全画素メディアンフィルタ部 3 1は、 注目画素を中心とした所定範 囲、 例えば検波領域内の全画素を用いてメディアンフィルタ処理を行 ' う。 すなわち、 この全画素メディアンフィルタ部 3 1では、 対称処理 .部 1 5までの処理でノイズリダクション 理に用いないと判断した画 素も含めて、 領域内の全ての画素を用いてメディアンフィルタ処理を 行う。 全画素メディアンフィルタ部 3 1の出力 、 .孤立点依存切換部 3 2に供給される。 ·
加算平均処理部 1 6およぴメディアンフィルタ 1 7は、 上述した一 実施形態と同様の処理を行う。 すなわち、 対称処理部 1 5までの処理 . でノイズリダクシヨン処理に使用可能であると判断された画素を用い て、 加算平均処理部 1 6では加算平均を求め、 メディアンフィルタ 1 7ではメディアン値を有する画素の画素レベルが出力される。 加算平 均処理部 1 6の出力は、 乗算器 1 8で係数 を乗ぜられる。 一方、 メ ディアンフィルタ 1 7の出力は、 乗算器 1 9で係数 （ 1— ） を乗ぜ られる。 乗算器 1 8および乗算器 1 9の出力は、 加算器 2 2で加算さ れる。 加算器 2 2の出力が孤立点依存切換部 3 2に供給される。 . 孤立点依存切換部 3 2は、 孤立点判断部 3 0の判断結果に基づき、 全画素メディアンフィルタ部 3 1の出力と、 加算器 2 2の出力とを切 り換えて、 注目画素の画素レベルと置き換えて出力する。 すなわち、 孤立点判断部 3 0により注目画素が孤立点であると判断されたら、 孤 立点依存切換部 3 2は、 全画素メディアンフィルタ部 3 1の出力を選 択し、 全画素メディアンフィルタ部 3 1から出力された値を注目画素 の画素レベルと置き換えて出力する。
一方、 孤立点判断部 3 0により注目画素が孤立点ではないと判断さ れたら、 孤立点依存切換部 3 2は、 加算器 2 2の出力を選択し、 加算 平均処理部 1 6の出力とメディアンフィルタ 1 7の出力とに対して係 数 αに基づき重み付けされ混合された値を、 注目画素の画素レベルと 置き換えて出力する。 ' ' 第 1 9図は、 この発明の一実施形態の変形例による一例のソィズリ ダクシ'ヨン処理を示すフローチャートである。 なお、 第 1 9図におい て、 上述した第 1 4図と共通する部分には同一の符号を付し、'詳細な 説明を省略する。 . .
第 1 9図のフローチヤ一トにおいて、 ステップ S 1 2までの処理は 、 上述した一実施形態のステップ S 1 1までの処理と同一である。'す なわち、 ステップ S 1で、 注目画素を中心とした所定範囲の画素に対 して欠落画素の有無が判断され、 欠落画素が存在すると判断された場 合には、 ステップ S 2で欠落画素が補間される。 欠落画素が存在しな いと.判断された場合には、 ステップ S 3で L P F 1： 1による平滑化処 理が行われ、 次のステップ S 4で二次微分処理部 1 2により注目画素 と周辺画素とを用いて、 周辺画素それぞれについて二次微分が算出さ れる。 また、 これらの処理と並列的に、 ステップ S 5で注目画素の画 素レベルに基づき閾値 εが算出される。 ステップ S 6で、 周辺画素そ れぞれについて （ステヅプ S I 2 ) 、 二次微分値と閾値 εが比較され 、 ステップ S 7で着目された判別画素について、 ステップ S 8で二次 微分結果が閾値 ε よりも大きいか否かが判断される。 二次微分結果が 閾値 ε よりも大きい判別画素は、 ノイズリダクション処理に使用不可 とされ （ステップ S 9 ) 、 二次微分結果が閾値 ε よりも小さい判別結 果は、 使用可 tiとされる （ステップ S 1 0 ) 。
ステップ S 1 1で、 検波枠内における被検波画素の全てに着目され たか否かが判断され、 着目ざれていないと判断されれば、 処理がステ ップ S 7に戻され、 次の被検波画素が着目される。 検波枠内の被検波 画素の全てに着目され、 当該被検波画素の全てに対してノイズリダク ション処理に使用可能か否かの判断が行われたと判断されれば、 処理 はステップ S 2 0に移行されると共に、 ステップ S 2 0以下の処理と 並列的に、 ステップ S 1 5およびステップ S 1 6の処理がなされる。 すなわち、 ステップ S 1 5でノイズリダクション処理に使用可能な画 素数が保持され、 ステップ S 1 6で、 保持された画素数に基づき係数 発生部 2 0により係数 が決定される。
一方、 ステップ S. 2ひでは、 孤立点判断部 3 0により、 ノイズリダ クション処理に使用可能である画素が注目画素自身のみであるか否か が判断される。 若し、 使用可能である画素が注目画素以外にも存在す ると判断された場合には、 処理はステップ S 1 3およびステップ S 1 4にそれぞれ移行し、 ステップ S 1 3の加算平均処理とステップ S 1 4のメディアンフィルタ処理とがそれぞれ行われる。 ステップ S 1 3 およびステップ S 1 4の処理結果と、 上述のステップ S 1 6で決定さ れた係数 aとに基づき、 ステップ S 1 7で乗算器 1 8および乗算器 1 9による乗算処理が行われ、 乗算結果が加算器 2 2で加算される。 一方、 ステップ S 2 0で、 孤立点判断部 3 0により、 ノイズリダク .ション処理に使用可能である画素が注目画素自身のみであると判断さ れた場合には、 処理はステップ S 2 1に移行される。 ステップ S 2 1 では、 全画素メディアンフィルタ部 3 1により、 検波枠内の被検波画 素の全てを用いたメディアンフィルタ処理が行われる。
ステップ S 2 3では、 上述したステップ S 2 0における判断結果に 基づき、 上述したステップ S 1 7またはステップ S 2 1の出力を選択 的に用いて注目画素の画素レベルを置換する。 すなわち、 ステップ S
2 3では、.孤立点判断部 3 0の判断結果に基づき、 注目画素が孤立点 であるとされたら、 孤立点依存切換部 3 2により全画素メディアンフ ィルタ部 3 1の出力が選択され、 当該出力による値が注目画素の画素 レベルと置き換えられる。
一方、 孤立点判断部 3 0の判断結果に基づき、 注目画素が孤立点で はないとされたら、 孤立点依存切換部 3 2より加算器 2 2の出力が選 択され、 加算平均処理部 1 6の出力とメ イアンフィルタ 1 7の出力 とを係数 αに基づき重み付けし加算して得られた出力による値が注目 画素の画素レベルと置き換えられる。 .
なお、 上述では、 加算平均処理を行う画素範囲と、 メディアンフィ ルタ処理を行う画素範囲が同一であるかのように説明したが、 これは この例に限定されない。 例えば、 第 2 0図に一例が示されるように、 加算平均処理を行う範囲 3 0 2とメディアンフィルタ処理を行う範囲
3 0 3とを異ならせることも可能である。 勿論、 両者の範囲を異なら せる場合でも、 注目画素 3 0 1は、 それぞれの範囲の中央に位置して いる必要がある。 なお、 第 2 0図において、 斜線および影を付されて いる桄が画素を示す。
ここで、 加算平均処理は、 入力されたデータを順次加えていくこと で行われ、 入力データのそれぞれを保持する必要が無い。 一方、 メデ イアンフィルタ処理は、 入力されたデータを全て保持した上で、 保持 されたデータの中からメディアン値を抽出する必要がある。 そのため 、 メディアンフィルタ処理と加算平均処理とでは、 メディアンフィル タ処理の方がより大きなメモリ容量を必要とすると共に、 処理にも時 間がかかる。 そのため、 メディアンフィルタ処理を行う画素範囲 3 0 3は、 例えば加算平均処理を行う画素範囲 3 0 2よりも小さく設定す ることが考えられる。
さらに、.上述では、 全画素メディアンフィルタ部 3 1での処理と、 加算平均処理部 1 6およびメディアンフィルタ 1 7での処理とを並列 的に行うように説明したが、 これはこの例に限定されない。 例えば、 孤立点判断部 3 0の判断結果に基づき、 使用されない側の処理を停止 するように制御してもよい。 一例として、 孤立点判断部 3 0により注 目画素自身が孤立点であると判断された場合には、 加算平均処理部 1 6、 メディアンフィルタ 1 7、 乗算器 1 βおよび 1 9、 ならびに、 加 算器 2 2などの処理を停止することが考えられる。
この発明は、 デイジタルビデオ力メラゃディ タノレスチルカメラ等 の撮像装置のほか、 撮像機能を有する携帯電話機や P D A (Personal Digital Assistants) に対しても適用することができる。 また、 上 述した処理機能は、 プログラムとしてパーソナルコンピュータによつ て実現される。 処理内容を記述したプログラムは、 磁気記録装置、 光 ディスク、 光磁気ディスク、 半導体メモリ等のコンピュータが読み取 り可能な記録媒体に記録しておくことができる。

Claims

. . 請 求 の 範 囲
1 . 撮像部と、
上記撮像部から得られる撮像信号に対してノイズリダクションを行 うノイズリダクション装置とを備え、 '
上記ノイズリダクション装置は、
ノイズリダクションをしょうとする注目画素と、 上記注目画素と同 色成分である複数の周辺画素とを取り出す取り出し手段と、
上記注目画素と上記周辺画素との間にエツジが存在十るか否かを検 出するエッジ検出手段と、
上記エッジ検出手段によりエッジが存在しないと判別されるときは 上記周辺画素はノイズリダクションに使用できると判別し、 エッジが 存在すると判別されるときは上記周辺画素はノイズリダクシヨンに使 用できないと判別する判別手段と、
上記注目画素の画素値と、 上記判別手 によってノイズリダクショ ンに使用できると判別された周辺画素の画素値とを使用してノイズ低 減処理を行う第 1の処理手段と、 · . .
上記注目画素の画素値と、 上記判別手段によってノイズリダクショ ンに使用できると判別された周辺画素の画素値とを使用して周波数特 性を保持しつつノィズ低減処理を行う第 2の処理手段と、
上記第 1の処理手段の出力値と上記第 2の処理手段の出力値とを、 重み係数を使用して重み付け加算する重み付け加算手段と
を備える撮像装置。
2 . 上記エッジ検出手段は、 上記注目画素の画素値と上記周辺画素の 画素値とを使用して二次微分を行うことでエッジを検出する手段であ る請求の範囲 1に記載の撮像装置。
3 . さらに、 上記注目画素と上記複数の周辺画素に対して、 上記二次 微分を行う二次微分方向と直交する方向に平滑化を行う平滑化手段と 上記二次微分方向に欠落画素がある場合は、 上記欠落画素を補間す る補間手段と '
を備える請求の範囲 2に記載の撮像装置。
4 . 上記判別丰段において上記ノイズリダクションに使用できると判 別した周辺画素の中で、 上記注目画素を中心として点対称の位置関係 にあ.る周辺画素を上記ノィズリダクションに使用できると判別する請 求の範囲 1に記載の撮像装置。
5 . 上記エッジ検出手段は、 上記注目画素の画素値と、 上記注目画素 を中心として点対称の位置関係にある周辺画素の画素値とを使用して エッジを検出する手段である請求の範囲 1に記載の撮像装置。 ,
6 . 上記第 1の処理手段は、 上記注目画素の画 *値と、 上記判別手段 により'ノイズリダクションに使用できると判別された周辺画素の画素 値との平均値を出力し、
上記第 2の処理手段は、 上記注目画素の画素値と、 上記判別手段に よりノイズリダクシ.ョンに使用できると判別された周辺画素の画素値 との中から略中央の画素値を選択し、 選択した画素値を出力する請求 の範囲 1に記載の撮像装置。
7 . 上記第 1の処理手段は、 上記注目画素の画素値と、 上記判別手段 によりノイズリダクションに使用できると判別された周辺画素の画素 値との平均値を算出する加算平均手段であり、
上記第 2の処理手段は、 メディアンフィルタである請求の範囲 1に 記載の撮像装置。
8 . さらに、 上記注目画素の画素値を、 上記重み付け加算手段により 得られる値に置き換えて出力する出力手段を備える請求の範囲 1に記 載の撮像装置。
9 . 上記重み係数の値が、 ノイズリダクションに使用される画素数に 応じて適応的に設定される請求の範囲 1に記載の撮像装置。
1 0 . 上記重み係数の値が、 被写体の照度に応じて適応的に設定され る請求の範囲 1に記載の撮像装置。
1 1 . ノイズリダクシヨンをしょうとする注目画素と、 上記注目画素 と同色成分である複数の周辺画素とを取り出す取り出し手段と、 上記注目画素と上記周辺画素との間にェッジが存在するか否かを検 出するエッジ検出手段と、
上記エッジ検出手段によりエッジが存在しないと判別されるときは 上記周辺画素はノイズリダクションに使用できると判別し、 エッジが 存在すると判別されるときは上記周辺画素はノイズリダクションに使 用できないと判別する判別手段と、
上記注目画素の画素値と、 上記判別手段によってノイズリダクショ ンに使用できると判別された周辺画素の画素値とを使用してノイズ低 減処理を行う第 1の処理手段と、 ' . . .
上記注目画素の画素値と、 上記判別手段によってノイズリダクショ ンに使用できると判別された周辺画素の画素値とを使用して周波数特 性を保持しつつノイズ低減処理を行う第 2の処理手段と、
上記第 1の処理手段の出力値と上記第 2の処理手段の出力値とを、 重み係数を使用して重み付け加算する重み付け加算手段と
を備えるノイズリダクション装置。
1 2 . 上記エッジ検出手段は、 上記注目画素の画素値と上記周辺画素 の画素値とを使用して二次微分を行うことでエッジを検出する手段で ある請求の範囲 1 1に記載のノイズリダクション装置。
1 3 . さらに、 上記注目画素と上記複数の周辺画素に対して、 上記二 次微分を行う二次微分方向と直交する方向に平滑化を行う平滑化手段 と、
上記二次微分方向に欠落画素がある場合は、 上記欠落画素を補間す る補間手段と '
を備える請求の範囲 1 2に記載のノイズリダクショ ン装置。
1 4 . 上記判別手段において上記ノイズリダクションに使用できると 判別した周辺画素の中で、 上記注目画素を中心として点対称の位置関 係にある周辺画素を上記ノイズリダクションに使用できると判別する 請求の範囲 1 1に記載のノイズリダクショ ン装置。
1 5 . 上記エッジ検出手段は、 上記注目画素の画素値と、 上記注目画 素を中心として点対称の位置関係にある周辺画素の画素値とを使用し てエッジを検出する手段である請求の範囲 1 1に記載のノイズリダク ' ション装置。
1 6 . 上記第 1の処理手段は、 上記注目画素の画素値と、 上記判別手 段によりノイズリダクションに使用できると判別された周辺画素の画 素値との平均値を出力し、 .
上記第 2の処理手段は、 上記注目画素の画素値と、 上記判別手段に よりノイズリダクションに使用できると判別された周辺画素の画素値 との中から略中央の画素値を選択し、 選択した画素値を出力する請求 .の範囲 1 1に記載のノイズリダクション装置。
1 7 . 上記第 1の処理手段は、 上記注目画素の画素値と、 上記判別手 段に.よりノイズリダクションに使用できると判別された周辺画素の画 素値との平均値を算出する加算平均手段であり、
上記第 2の処理手段は、 メディアンフィルタである請求の範囲 1 1 に記載のノイズリダクション装置。
1 8 . さらに、 上記注目画素の画素値を、 上記重み付け加算手段によ り得られる値に置き換えて出力する出力手段を備える請求の範囲 1 1 に記載のノイズリダクション装置。
1 9 . 上記重み係数の値が、 ノイズリダクションに使用される画素数 に応じて適応的に設定される請求の範囲 1 1に記載のノイズリダクシ ョン装置。
2 0 . ノイズリダクションをしょうとする注目画素と、 上記注目画素 と同色成分である複数の周辺画素とを取り出す取り出しステップと、 上記注目画素と上記周辺画素との間にエツジが存在するか否かを検 出するェッジ検出ステップと、
上記ェッジ検出ステップにおいてエッジが存在しないと判別される ときは上記周辺画素はノイズリダクションに使用できると判別し、 ェ ッジが存在すると判別されるときは上記周辺画素はノイズリダクショ ンに使用できないと判別する判 ステップと、 '
上記注目画素の画素値と、 上記判別ス ップにおいてノイズリダク ションに使用できると判別された周辺画素の画素値とを使用してノィ ズ低減処理を行う第 1の処理ステップと、
上記注目画素の画素値と、 上記判別ステップにおいてノイズリダク シヨンに使用できると判別された周辺画素の画素値とを使用して周波 数特性を保持しつつノィズ低減処理を行う第 2の処理ステツプと、 上記第 1の処理ステップの出力値と上記第 2の処理ステップの出力 値とを、 重み係数を使用して重み付け加算する重み付け加算ステップ と . '
からなるノイズリダクション方法。
2 1 . 上記第 1の処理ステップは、 上記注目画素の画素値と、 上記判 別ステップにおいてノイズリダクションに使用できると判別された周 辺画素の画素値との平均値を出力し、
. 上記第 2の処理ステップは、 上記注目画素の画素値と、 上記判別ス テップにおいてノイズリダクションに使用できると判別された周辺画 素の画素値との中から略中央の画素値を選択し、 選択した画素値を出 力する請求の範囲 2 0に記載のノイズリダクション方法。
2 2 . コンピュータに、
ノイズリダクションをしょうとする注目画素と、 上記注目画素と同 色成分である複数の周辺画素とを取り出す取り出しステップと、 上記注目画素と上記周辺画素との間にエツジが存在十るか否かを検 出するエッジ検出ステップと、
上記ェッジ検出ステップにおいてエッジが存在しないと判別される と.きは上記周辺画素はノイズリダクシヨンに使用できると判別し、 ェ ッジが存在すると判別されるときは上記周辺画素はノィズリダクショ ンに使用できないと判別する判別ステップと、
上記注目画素の画素値と、 上記判別ステップにおいてノイズリダク ションに使用できると判別きれた周辺画素の画素値とを使用してノィ ズ低減処理を行う第 1の処理ステップと、 , ,
上記注目画素の画素値と、 上記判別ステップにおいてノイズリダク シヨンに使用できると判別された周辺画素の画素値とを使用して周波 数特性を保持しつつノィズ低減処理を行う第 2の処理ステップと、 上記第 1の処理ステップの出力値と上記第 2の処理ステップの出力 値とを、 重み係数を使用して重み付け加算する重み付け加算ステップ と .、
を実行させるプログラム。
2 3 . 撮像部と、
上記撮像部から得られる撮像信号に対してノイズリダクションを行 うノイズリダクション装置とを備え、 ' 上記ノイズリダクション装置は、
ノイズリダクションをしょうとする注目画素と、 上記注目画素と同 色成分である複数の周辺画素とを取り出す取り出し手段と、
上記注目画素と上記周辺画素との間にエツジが存在するか否かを検 出するエッジ検出手段と、
上記エッジ検出手段によりエッジが存在しないと判別されるときは 上記周辺画素はノイズリダクションに使用できると判別し、 エッジが 存在すると判別されるときば上記周辺画素はノイズリダクションに使 用できないと判別する判別手段と、
上記注目画素が孤立点であるか否かを判別する孤立点判別手段と、 上記注目画素の画素値と、 上記判別手段によってノイズリダクショ ンに使用できると判別された周辺画素の画素値とを使用してノィズ低 ' 減処理を行う第 1の処理手段と、
上記'注目画素の画素値と、 上記判別手段によってノイズリダクショ ンに使用できると判別された周辺画素の画素値とを使用して周波数特 性を保持しつつノィズ低減処理を行う第 2の処理手段と、
上記第 1の処理手段の出力値と上記第 2の処理手段の出力値とを、 重み係数を使用して重み付け加算する重み付け加算手段と、
上記注目画素の画素値と、 上記判別手段によってノイズリダクショ . ンに使用できると判別された周辺画素の画素値と、 上記判別手段によ つてノイズリダクションに使用できないと判別された周辺画素の画素 値とを使用して、 周波数特性を保持しつつノイズ低減処理を行う第 3 の処理手段と
を備え、
上記孤立点判別手段で上記注目画素が上記孤立点ではないと判別さ れたときには、 上記重み付け加算手段の出力値を上記注目画素の画素 値と置換して出力し、 上記孤立点判別手段で上記注目画素が上記孤立 点であると判別されたときには、 上記第 3の処理手段の出力値を上記 注目画素の画素値と置換して出力する
ようにした撮像装置。 '
2 4 . 上記孤立点判別手段は、
上記判別手段により全ての上記周辺画素がノイズリダクションに使 用できないと判別されたときに、 上記注目画素が上記孤立点であると 判別する請求の範囲 2 3に記載の撮像装置。 '
2 5 . 上記エッジ検出手段は、 上記注目画素の画素値と上記周辺画素 の画素値とを使用して二次微分を行うことでエッジを検出する手段で ある請求の範囲 2 3に記載の撮像装置。
2 6 . さらに、 上記注目画素と上記複数の周辺画素に対して、 上記二 次微分を行う二次微分方向と直交する方向に平 ί骨化を行う平滑化手段 と、 ' · . .
上記二次微分方向に欠落画素がある場合は、 上記欠落画素を補間す る補間手段と . ..
を備える請求の範西 2. 5に記載の撮像装置。
2 7 . 上記判別手段において上記ノイズリダクションに使用できると 判別した周辺画素の中で、 上記注目画素を中心として点対称の位置関 係にある周辺画素を上記ノイズリダクションに使用できると判別する 請求の範囲 2 3に記載の撮像装置。
2 8. . .上記エッジ検出手段は、 上記注目画素の画素値と、 上記注目画 素を中心として点対称の位置関係にある周辺画素の画素値とを使用し てエッジを検出する手段である請求の範囲 2 3に記載の撮像装置。
2 9 . 上記第 1の処理手段は、 上記注目画素の画素値と、 上記判別手 段によりノイズリダクションに使用できると判別された周辺画素の画 素値との平均値を出力し、
上記第 2の処理手段は、 上記注目画素の画素値と、 上記判別手段に よりノイズリダクションに使用できると判別された周辺画素の画素値 との中から略中央の画素値を選択し、 選択した画素値を出力し、 上記第 3の処理手段は、 上記注目画素の画素値と、 上記判別手段に よってノイズリダクションに使用できると判別された周辺画素の画素 値と、 上記判別手段によってノイズリダクションに使用できないと判 別された周辺画素の画素値との中から略中央の画素値を選択し、 選択 した画素値を出力する請求の範囲 2 3に記載の撮像装置。
3 0 . 上記第 1の処理手段は、 上記注目画素の画素値と、 上記判別手 段によりノイズリダクションに使用できると判別された周辺画素の画 素値との平均値を算出する加算平均手段であり、 ， 上記第 2の処理手段は、 メディアンフィルタである請求の範囲 2 3 に記載の撮像装置。
3 1 . 上記第 3の処理手段は、 メディアンフィルタである請求の範囲
2 3に記載の撮像装置。 .
3 2 . 上記重み係数.の値が、 ノイズリダクションに使用される画素数 に応じて適応的に設定される請求の範囲 2 3に記載の撮像装置。 .
3 3 . 上記重み係数の値が、 被写体の照度に応じて適応的に設定され る請求の範囲 2 3に記載の撮像装置。
3 4 . ノイズリダクションをしょうとする注目画素と、 上記注目画素 と同色成分である複数の周辺画素とを取り出す取り出し手段と、 上記注目画素と上記周辺画素との間にェッジが存在するか否かを検 出するエッジ検出手段と、
上記エッジ検出手段によりエッジが存在しないと判別されるときは 上記周辺画素はノイズリダクションに使用できると判別し、 エッジが 存在すると判別される.ときは上記周辺画素はノィズリダクションに使 用できないと判別する判別手段と、
上記注目画素が孤立点であるか否かを判別する孤立点判別手段と、 上記注目画素の画素値と、 上記判別手段によってノイズリダクショ ンに使用できると判別された周辺画素の画素値とを使用してノィズ低 減処理を行う第 1の処理手段と、
上記注目画素の画素値と、 上記判別手段によってノイズリダクショ ンに使用できると判別された周辺画素の画素値とを使用して周波数特 性を保持しつつノィズ低減処理を行う第 2の処理手段と、
上記第 1の処理手段の出力値と上記第 2の処理手段の m力値とを、 重み係数を使用して重み付け加算する重み付け加算手段と、
上記注目画素の画素値と、 上記判別手段によってノイズリダクショ ' ンに使用できると判別された周辺画素の画素値と、 上記判別手段によ . つてノイズリダクションに使用できないと判別された周辺画素の画素 値とを使用して、 周波数特' I"生を保持しつつノイズ低減処理を行う第 3 処理手段と · ,
を備え、 ' 上記孤立点判別手段で上記注目画素が上記孤立点ではないと判別さ れたときには、 上記重み付け加算手段の出力値を上記注目画素の画素. 値と置換して出力し、 上記孤立点判別手段で上記注目画素が上記孤立 点であると判別されたときには、 上記第 3の処理手段の出力値を上記 注目画素の画素値と置換して出力する
ようにしたノイズリダクション装置。
3 5 . 上記孤立点判別手段は、
上記判別手段により全ての上記周辺画素がノイズリダクションに使 用できないと判別されたときに、 上記注目画素が上記孤立点であると 判別する請求の範囲 3 4に記載のノイズリダクション装置。
3 6 . 上記エッジ検出手段は、 上記注目画素の画素値と上記周辺画素 の画素値とを使用して二次微分を行うことでェッジを検出する手段で ある請求の範囲 3 4に記載のノイズリダクション装置。
3 7 . さらに、 上記注目画素と上記複数の周辺画素に対して、 上記二 次微分を行う二次微分方向と直交する方向に平滑化を行う平滑化手段 と、
上記二次微分方向に欠落画素がある場合は、 上記欠^画素を補間す る補間手段と
を備える請求の範囲 3 6に記載のノイズリダクション装置。
3 8 . 上記判別手段において上記ノイズリダクションに使用できると 判別した周辺画素の中で、 上記注目画素を中心として点対称の位置関 係にある周辺画素を上記ノイズリダクションに使用できると判別する
,請求の範囲 3 4に記載のノイズリダクシ ン装置。
3 9 . 上記エッジ検出手段は、 上記注目画素の画素値と、 上記注目画 素を中心として点対称の位置関係にある周辺画素の.画素値とを使用し てエッジを検出する手段である請求の範囲 3 4に記載のノイズリダク ション装置。
4 0 . 上記第 1の処理手段は、 上記注目画素の画素値と、 上記判別手 段によりノイズリダクションに使用できると判別された周辺画素の画 素値との平均値を出力し、
上記第 2の処理手段は、 上記注目画素の画素値と、 上記判別手段に よりノイズリダクションに使用できると判別された周辺画素の画素値 との中から略中央の画素値を選択し、 選択した画素値を出力し、 上記第 3の処理手段は、 上記注目画素の画素値と、 上記判別手段に よってノイズリダクションに使用できると判別された周辺画素の画素 値と、 上記判別手段によってノイズリダクションに使用できないと判 別された周辺画素の画素値との中から略中央の画素値を選択し、 選択 した画素値を出力する請求の範囲 3 4に記載のノイズリダクション装 置。 '
4 1 . 上記第 1の処理手段は、 上記注目画素の画素値と、 上記判別手 段によりノイズリダクションに使用できると判別された周辺画素の画 素値との平均値を算出する加算平均手段であり、 上記第 2の処理手段は、 メディアンフィルタである請求の範囲 3 4 に記載のノイズリダクション装置。
4 2 . 上記第 3の処理手段は、 メディアンフィルタである請求の範囲 . 3 4に記載のノイズリダクション装置。
4 3 . 上記重み係数の値が、 ノイズリダクションに使用される画素数 ' に応じて適応的に設定される請求の範囲 3 4に記載のノイズリダクシ . ョン装置。 .
4 4 . ノイズリダクションをしょうとする注目画素と、 上記注目画素 と同色成分である複数の周迈画素とを取り出す:^り.出しステップと、 上記注目画素と上記周辺画素との間にェッジが存在するか否かを検 出するエッジ検出ステップど、
上記エッジ検出ステップによりエッジが存在しないと判別されると. きは上記周辺画素はノイズリダクションに使用できると判別し、 エツ ジが存在すると判別されるときは上記周辺画素はノイズリダクション に使用できないと判別する判別ステップと、
上記注目画素が孤立点であるか否かを判別する孤立点判別ステップ と、
上記注目画素の画素値と、 上記判別ステップによってノイズリダク ションに使用できると判別された周辺画素の画素値とを使用してノィ ズ低減処理を行う第 1の処理ステップと、
上記注目画素の画素値と、 上記判別ステップによってノイズリダク ションに使用できると判別された周辺画素の画素値とを使用して周波 数特性を保持しつつノィズ低減処理を行う第 2の処理ステップと、 上記第 1の処理ステツプによる出力値と上記第 2の処理ステップに よる出力値とを、 重み係数を使用して重み付け加算する重み付け加算 ステップと、
上記注目画素の画素値と、 上記判別ステップによってノイズリダク ションに使用できると判別された周辺画素の画素値と、 上記判別ステ ップによってノイズリダクションに使用できないと判別された周辺画 素の画素値とを使用して、 周波数特性を保持しつつノィズ低減処理を 行う第 3の処理ステップと
' を備え、
上記孤立点判別ステップで上記注目画素が上記孤立点ではないと判 別されたときには、 上記重み付け加算ステップによる出力値を上記注 目画素の画素値と置換して出力し、 上記孤立^判別.ステップで上記注 目画素が上記孤立点であると判別されたときには、 上記第 3の処理ス テップによる出力値を上記注目画素の画素値と置換して出力する · ようにしたノィズリダクション方法。 '
.
4 5 . 上記第 1の処理ステップは、 上記注目画素の画素値と、 上記判 別ステップによりノイズリダクションに使用できると判別された周辺 画素の画素値との平均値を出力し、
上記第 2の処理ステップは、 上記注目画素の画素値と、 上記判別ス テツプによりノイズリダクションに使用できると判別された周辺画素 の画素値との中から略中央の画素値を選択し、 選択した画素値を出力 し、 • 上記第 3の処理ステップは、 上記注目画素の画素値と、 上記判別ス テツプによってノイズリダクションに使用できると判別された周辺画 素の画素値と、 上記判別ステップによってノイズリダクションに使用 できないと判別された周辺画素の画素値との中から略中央の画素値を 選択し、 選択した画素値を出力する請求の範囲 4 4に記載のノイズリ ダクション方法。
4 6 . ノイズリダクションをしょうとする注目画素と、 上記注目画素 と同色成分である複数の周辺画素とを取り出す取り出しステップと、 上記注目画素と上記周辺画素との間にェッジが存在するか否かを検 出するエッジ検出ステップと、
上記エッジ検出ステップによりエッジが存在しないと判別されると きは上記周辺画素はノイズリダクションに使用できると判別し、 エツ ジが存在すると判別されるときは上記周辺画素はノイズリダクション に使用できないと判別する判別ステップ^、
上記注目画素が孤立点であるか否かを判別する孤立点判別ステップ と、 ' , .
上記注目画素の画素値と、 上記判別ステツプによってノイズリダク ションに使用できると判別された周辺画素の画素値とを使用してノィ ズ低減処理を行う第 1の処理ステップと、
上記注目画素の画素値と、 上記判別ステップによってノイズリダク ションに使用できると判別された周辺画素の画素値とを使用して周波 数特性を保持しつつノィズ低減処理を行う第 2の処理ステップと、 上記第 1の処理ステップによる出力値と上記第 2の処理ステップに よる出力値とを、 重み係数を使用して重み付け加算する重み付け加算 ステップと、
上記注目画素の画素値と、 上記判別ステップによってノイズリダク ションに使用できると判別された周辺画素の画素値と、 上記判別ステ ップによってノイズリダクションに使用できないと判別された周辺画 素の画素値とを使用して、 周波数特性を保持しつつノイズ低減処理を 行う第 3の処理ステップと '
を備え、
上記孤立点判別ステップで上記注目画素が上記孤立点ではないと判 別されたときには、 上記重み付け加算ステップによる出力値を上記注 目画素の画素値と置換して出力し、 上記孤立点判別ステップで上記注 目画素が上記孤立点であると判別されたときには、 上記第 3の処理ス テツプによる出力値を上記注目画素の画素値と置換して出力する ようにしたノイズリダクション方法をコンピュータに実行させるプロ グラム。 '
PCT/JP2006/316062 2005-08-15 2006-08-09 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム WO2007020930A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/665,037 US7834917B2 (en) 2005-08-15 2006-08-09 Imaging apparatus, noise reduction apparatus, noise reduction method, and noise reduction program
JP2007511739A JP4872911B2 (ja) 2005-08-15 2006-08-09 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005235469 2005-08-15
JP2005-235469 2005-08-15

Publications (1)

Publication Number Publication Date
WO2007020930A1 true WO2007020930A1 (ja) 2007-02-22

Family

ID=37757590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/316062 WO2007020930A1 (ja) 2005-08-15 2006-08-09 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム

Country Status (4)

Country Link
US (1) US7834917B2 (ja)
JP (1) JP4872911B2 (ja)
CN (1) CN100562065C (ja)
WO (1) WO2007020930A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008145072A1 (fr) * 2007-05-30 2008-12-04 Spreadtrum Communications (Shanghai) Co., Ltd. Procédé et dispositif de suppression d'un bruit d'image basé sur le filtre médian
JP2010092461A (ja) * 2008-09-12 2010-04-22 Canon Inc 画像処理装置及び画像処理方法
EP2216999A1 (en) * 2007-12-07 2010-08-11 Panasonic Corporation Image processing device, image processing method, and imaging device
CN102005060A (zh) * 2010-12-08 2011-04-06 上海杰图软件技术有限公司 自动移除图像中选定影像的方法和装置
CN102005036A (zh) * 2010-12-08 2011-04-06 上海杰图软件技术有限公司 自动移除全景图像中三脚架残留影像的方法和装置
US7982785B2 (en) 2007-03-20 2011-07-19 Sony Corporation Streaking correction signal generating circuit, streaking correction signal generating method, program, streaking correcting circuit, and imaging device
JP2013153111A (ja) * 2012-01-26 2013-08-08 Mitsutoyo Corp 飽和吸収線判定方法、及びレーザ周波数安定化装置
JP2014086956A (ja) * 2012-10-25 2014-05-12 Canon Inc 画像処理装置及び画像処理方法
US8818108B2 (en) 2011-09-20 2014-08-26 Mitsubishi Electric Corporation Digital pixel addition method and device for processing plurality of images
JP2014182474A (ja) * 2013-03-18 2014-09-29 Nissan Motor Co Ltd 画像処理装置および画像処理方法
WO2014156611A1 (ja) * 2013-03-27 2014-10-02 株式会社 日立メディコ 画像処理装置、放射線撮影装置および画像処理方法
KR101558532B1 (ko) * 2014-06-09 2015-10-12 아스텔 주식회사 영상의 잡음 제거장치

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI316814B (en) * 2006-05-12 2009-11-01 Realtek Semiconductor Corp Device for reducing impulse noise and method thereof
JP4883772B2 (ja) * 2006-07-13 2012-02-22 キヤノン株式会社 画像処理装置及び方法
US8014030B2 (en) * 2007-09-14 2011-09-06 Kabushiki Kaisha Toshiba Image processing and formation with line thininng by reducing intensity of target pixel based on extracted contour pixel and area connectedness information
JP4465002B2 (ja) * 2007-11-16 2010-05-19 オリンパス株式会社 ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
CN101237523B (zh) * 2008-02-25 2013-03-06 宝利微电子***控股公司 主边缘检测方法和基于该方法的降噪方法及装置
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8625932B2 (en) * 2008-08-28 2014-01-07 Adobe Systems Incorporated Seam carving using seam energy re-computation in seam neighborhood
US8581937B2 (en) 2008-10-14 2013-11-12 Adobe Systems Incorporated Seam-based reduction and expansion of images using partial solution matrix dependent on dynamic programming access pattern
US8963960B2 (en) 2009-05-20 2015-02-24 Adobe Systems Incorporated System and method for content aware hybrid cropping and seam carving of images
JP5169997B2 (ja) * 2009-05-29 2013-03-27 ソニー株式会社 フィルタ回路、画像処理装置、撮像装置、画像処理方法及びプログラム
TWI394429B (zh) * 2009-07-27 2013-04-21 Altek Corp 消除圖像雜訊之方法，以及使用該方法之裝置
US8659622B2 (en) 2009-08-31 2014-02-25 Adobe Systems Incorporated Systems and methods for creating and editing seam carving masks
US8659683B1 (en) * 2010-03-25 2014-02-25 Ambarella, Inc. Digital picture noise reduction by combining high-noise and low-noise processed pictures
US20120019727A1 (en) * 2010-07-21 2012-01-26 Fan Zhai Efficient Motion-Adaptive Noise Reduction Scheme for Video Signals
US8755625B2 (en) 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US8699813B2 (en) 2010-11-19 2014-04-15 Analog Devices, Inc Adaptive filter for low-light noise reduction
JP2012124832A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US9129185B1 (en) * 2012-05-21 2015-09-08 The Boeing Company System and method for reducing image clutter
JP2014090359A (ja) * 2012-10-31 2014-05-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
DE112013005574B4 (de) * 2012-11-21 2018-10-31 Mitsubishi Electric Corporation Bilderzeugungsvorrichtung
US9088740B2 (en) * 2013-06-21 2015-07-21 Himax Imaging Limited System and method of reducing noise
JP6320053B2 (ja) * 2014-01-22 2018-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6327869B2 (ja) * 2014-01-29 2018-05-23 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
CN105450909B (zh) * 2014-06-27 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
FR3028376B1 (fr) * 2014-11-07 2018-01-12 Safran Electronics & Defense Sas Procede de detection de pixels defectueux.
EP3341913B1 (en) * 2015-08-25 2019-06-26 InterDigital VC Holdings, Inc. Inverse tone mapping based on luminance zones
EP3203439B1 (en) * 2016-02-04 2019-10-02 InterDigital VC Holdings, Inc. Method and device for reducing noise in a component of a picture
CN108574663B (zh) * 2017-03-09 2021-08-13 李明 一种安全传输方法和***
CN108052948B (zh) * 2017-11-14 2020-01-17 武汉科技大学 一种提取图像特征的编码方法
CN109658344B (zh) * 2018-11-12 2022-10-25 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN110705375B (zh) * 2019-09-11 2022-07-12 西安交通大学 一种面向噪声图像的骨架检测***及检测方法
CN114500802B (zh) * 2022-01-21 2023-05-05 西南科技大学 一种γ辐射环境下成像设备的图像去噪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06260889A (ja) * 1993-03-05 1994-09-16 Sony Corp フィルタ回路
JPH06315104A (ja) * 1993-03-05 1994-11-08 Sony Corp フィルタ回路
JP2004166010A (ja) * 2002-11-14 2004-06-10 Matsushita Electric Ind Co Ltd 画像ノイズ低減方法及び画像処理装置
JP2004214756A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 画像ノイズの低減
JP2005117449A (ja) * 2003-10-09 2005-04-28 Victor Co Of Japan Ltd モスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991003796A1 (en) * 1989-08-28 1991-03-21 Eastman Kodak Company A computer based digital image noise reduction method based on overlapping planar approximation
JPH0686104A (ja) 1992-09-04 1994-03-25 Matsushita Electric Ind Co Ltd ノイズリダクション装置
EP0698990B1 (en) * 1994-08-25 1999-02-17 STMicroelectronics S.r.l. Fuzzy device for image noise reduction
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
US7027172B1 (en) * 2000-08-15 2006-04-11 Eastman Kodak Company Color digital printer having a graphical user interface for displaying and selecting images for local and remote printing
US6665448B1 (en) * 2000-09-29 2003-12-16 Hewlett-Packard Development Company, L.P. Selective smoothing and sharpening of images by generalized unsharp masking
EP1223554A1 (fr) * 2000-11-28 2002-07-17 Koninklijke Philips Electronics N.V. Méthode de réduction de bruit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06260889A (ja) * 1993-03-05 1994-09-16 Sony Corp フィルタ回路
JPH06315104A (ja) * 1993-03-05 1994-11-08 Sony Corp フィルタ回路
JP2004166010A (ja) * 2002-11-14 2004-06-10 Matsushita Electric Ind Co Ltd 画像ノイズ低減方法及び画像処理装置
JP2004214756A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 画像ノイズの低減
JP2005117449A (ja) * 2003-10-09 2005-04-28 Victor Co Of Japan Ltd モスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7982785B2 (en) 2007-03-20 2011-07-19 Sony Corporation Streaking correction signal generating circuit, streaking correction signal generating method, program, streaking correcting circuit, and imaging device
US8098952B2 (en) 2007-05-30 2012-01-17 Spreadtrum Communications (Shangihai) Co., Ltd. Method and device for removing image noise based on the median filter
WO2008145072A1 (fr) * 2007-05-30 2008-12-04 Spreadtrum Communications (Shanghai) Co., Ltd. Procédé et dispositif de suppression d'un bruit d'image basé sur le filtre médian
EP2216999A1 (en) * 2007-12-07 2010-08-11 Panasonic Corporation Image processing device, image processing method, and imaging device
EP2216999A4 (en) * 2007-12-07 2013-10-16 Panasonic Corp Image processing device, image processing method and imaging device
JP2010092461A (ja) * 2008-09-12 2010-04-22 Canon Inc 画像処理装置及び画像処理方法
CN102005036A (zh) * 2010-12-08 2011-04-06 上海杰图软件技术有限公司 自动移除全景图像中三脚架残留影像的方法和装置
CN102005060A (zh) * 2010-12-08 2011-04-06 上海杰图软件技术有限公司 自动移除图像中选定影像的方法和装置
US8818108B2 (en) 2011-09-20 2014-08-26 Mitsubishi Electric Corporation Digital pixel addition method and device for processing plurality of images
JP2013153111A (ja) * 2012-01-26 2013-08-08 Mitsutoyo Corp 飽和吸収線判定方法、及びレーザ周波数安定化装置
JP2014086956A (ja) * 2012-10-25 2014-05-12 Canon Inc 画像処理装置及び画像処理方法
JP2014182474A (ja) * 2013-03-18 2014-09-29 Nissan Motor Co Ltd 画像処理装置および画像処理方法
WO2014156611A1 (ja) * 2013-03-27 2014-10-02 株式会社 日立メディコ 画像処理装置、放射線撮影装置および画像処理方法
JPWO2014156611A1 (ja) * 2013-03-27 2017-02-16 株式会社日立製作所 画像処理装置、放射線撮影装置および画像処理方法
US10010303B2 (en) 2013-03-27 2018-07-03 Hitachi, Ltd. Image processing device, radiation imaging device, and image processing method
KR101558532B1 (ko) * 2014-06-09 2015-10-12 아스텔 주식회사 영상의 잡음 제거장치

Also Published As

Publication number Publication date
JP4872911B2 (ja) 2012-02-08
CN101044750A (zh) 2007-09-26
CN100562065C (zh) 2009-11-18
JPWO2007020930A1 (ja) 2009-02-26
US20090033773A1 (en) 2009-02-05
US7834917B2 (en) 2010-11-16

Similar Documents

Publication Publication Date Title
WO2007020930A1 (ja) 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム
JP4977395B2 (ja) 画像処理装置及び方法
EP2683167B1 (en) Color imaging device
EP1389771A2 (en) Digital image system and method for combining demosaicing and bad pixel correction
JP4066484B2 (ja) 画像処理装置および画像処理方法、並びにカメラ
CN103108193B (zh) 摄像装置以及摄像装置的控制方法
US8184181B2 (en) Image capturing system and computer readable recording medium for recording image processing program
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
US20100245632A1 (en) Noise reduction method for video signal and image pickup apparatus
EP2347572A1 (en) Improving defective color and panchromatic cfa image
WO2004110071A1 (ja) 画像処理装置、画像処理プログラム
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
US20060291746A1 (en) Method of and apparatus for removing color noise based on correlation between color channels
US8253829B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP2008258909A (ja) 信号処理回路
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
JP5291788B2 (ja) 撮像装置
JP5529424B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP4043197B2 (ja) 単板式カラーカメラの色分離回路
US8655058B2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
JP4380399B2 (ja) 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム
JP5761979B2 (ja) ノイズ除去システムおよび撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2007511739

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11665037

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200680001050.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06782741

Country of ref document: EP

Kind code of ref document: A1