WO2017064807A1 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 - Google Patents

画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 Download PDF

Info

Publication number
WO2017064807A1
WO2017064807A1 PCT/JP2015/079295 JP2015079295W WO2017064807A1 WO 2017064807 A1 WO2017064807 A1 WO 2017064807A1 JP 2015079295 W JP2015079295 W JP 2015079295W WO 2017064807 A1 WO2017064807 A1 WO 2017064807A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correlation
resolution
images
image processing
Prior art date
Application number
PCT/JP2015/079295
Other languages
English (en)
French (fr)
Inventor
康祐 梶村
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201580083724.XA priority Critical patent/CN108141509B/zh
Priority to JP2017545066A priority patent/JP6592523B2/ja
Priority to PCT/JP2015/079295 priority patent/WO2017064807A1/ja
Publication of WO2017064807A1 publication Critical patent/WO2017064807A1/ja
Priority to US15/946,255 priority patent/US10636126B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present invention relates to an image processing device, an imaging device, an image processing method, an image processing program, and a storage medium.
  • a pixel-shifting super-resolution technique for improving the resolution by synthesizing images taken by relatively shifting the position of the optical image and the imaging system. This is because a plurality of images captured by relatively shifting the positions of the optical image and the imaging system are arranged in an image space with higher resolution than the captured image while taking the amount of displacement into account, and based on the image information.
  • the resolution is improved by performing interpolation processing, repeated reconstruction processing, and the like.
  • This technology eliminates aliasing by synthesizing multiple images with misalignment in subjects that cause aliasing (moire) in captured images, such as subjects with fine patterns. The effect of improving the resolution can be obtained.
  • Patent Document 1 a technique for suppressing artifacts in the moving object region.
  • a correlation amount is calculated between a plurality of images, and an image synthesis ratio is controlled based on the correlation amount. For example, using one of a plurality of captured images as a standard image and the other images as reference images, a difference is calculated for each region between the standard image and the reference image, and a correlation amount with the standard image is calculated from the difference value.
  • the difference amount in the low luminance moving body region and the difference amount in the non-moving body region may be approximately the same due to the influence of noise.
  • the composition ratio of the reference image by controlling the composition ratio based on the difference amount so that the reference image composition ratio is increased in the difference amount of the low-luminance moving object region, the composition ratio of the reference image also increases in the low-luminance non-moving object region. Therefore, high resolution cannot be expected.
  • the amount of difference between low-luminance moving object regions is controlled to increase the composition ratio of high-resolution images composed of a plurality of images, the effect of improving the resolution of non-moving object regions can be obtained. Will occur.
  • only the composition ratio control based on the difference amount cannot achieve both the resolution improvement effect and the artifact suppression in the low luminance region.
  • the present invention has been made in view of the above-described circumstances, and provides an image processing device, an imaging device, an image processing method, an image processing program, and a storage medium capable of achieving both a resolution improvement effect and artifact suppression. It is aimed.
  • a reference image acquired by photographing a subject in time series with an imaging element in which a plurality of types of color filters are arranged for each pixel and one or more reference images other than the reference image are obtained.
  • a high-resolution composition unit that generates a high-resolution composite image by synthesizing in a high-resolution image space having a higher resolution than those images, and an arbitrary region of the high-resolution composite image generated by the high-resolution composition unit ,
  • a moving object determination unit that obtains one or more correlation amounts by a magnitude relation calculation of a plurality of correlation values in the region, and an image that corrects the high-resolution composite image based on the correlation amounts obtained by the moving object determination unit
  • An image processing apparatus including a correction unit.
  • the standard image acquired by the image sensor and the one or more reference images are synthesized by the high resolution synthesis unit, and a high resolution synthesized image having a higher resolution than the standard image and the reference image is generated.
  • a magnitude relation calculation between the correlation values is performed in the moving body determination unit to calculate one or more correlation amounts.
  • the high-resolution composite image is corrected by the image correction unit using the calculated one or more correlation amounts.
  • the correction of the high-resolution composite image is performed based on one or more correlation amounts obtained by the magnitude relation calculation of a plurality of correlation values without being based on a single correlation value, there is a motion in a low luminance region.
  • the object is moving or non-moving according to one or more correlation amounts obtained by the magnitude relation calculation of a plurality of correlation values even in a situation where a single correlation value is buried in noise due to a small pixel value
  • the resolution of the high-resolution composite image can be improved while suppressing the occurrence of artifacts due to the movement of the subject.
  • a correlation coefficient calculation unit that calculates a correlation coefficient from one or more correlation amounts obtained by the moving object determination unit is provided, and the image correction unit calculates the phase calculated by the correlation coefficient calculation unit.
  • the high-resolution composite image may be corrected by combining the high-resolution composite image and the reference image with a composite ratio based on the number of relationships.
  • the high-resolution composite image and the reference image are obtained based on the composite ratio based on the correlation coefficient calculated by the correlation coefficient calculation unit from one or more correlation amounts obtained by the magnitude relation calculation of a plurality of correlation values. Therefore, if the object is a moving object, the composition ratio of the high-resolution composite image is increased, and if it is a non-moving object, the composition ratio of the reference image is increased to suppress the occurrence of artifacts due to the movement of the subject. However, the resolution of the high-resolution composite image can be improved.
  • the image processing apparatus further includes a correlation coefficient calculation unit that calculates a correlation coefficient from one or more correlation amounts obtained by the moving object determination unit, and the image correction unit is calculated by the correlation coefficient calculation unit.
  • the high-resolution synthesized image may be corrected by synthesizing two images obtained by applying filters having different low-pass effects to the high-resolution synthesized image based on the synthesis ratio based on the correlation coefficient.
  • a low-pass effect is applied to the high-resolution composite image by the composite ratio based on the correlation coefficient calculated by the correlation coefficient calculation unit from one or more correlation amounts obtained by the magnitude relation calculation of a plurality of correlation values. Since two images to which different filters are applied are synthesized, the composition ratio of the image to which a filter with a high low-pass effect is applied is high when it is a moving object, and the low-pass effect is low when it is a non-moving object. It is possible to improve the resolution of the high-resolution composite image while increasing the composition ratio of the filtered image and suppressing the occurrence of artifacts due to the movement of the subject.
  • the said moving body determination part calculated between two comparative images each comprised by the pixel corresponding to a different kind of color filter of the said high resolution synthetic
  • One or more correlation amounts may be obtained by a magnitude relation calculation of a plurality of correlation values.
  • the correlation value is calculated using the correlation value calculated by using the regions in the same position of the two comparison images, and the regions in which the positions of the two comparison images are relatively shifted. Two or more correlation values selected from the correlation values calculated in the above may be included.
  • the correlation value calculated using the areas where the positions of the two comparison images are relatively shifted is set to a predetermined high-resolution magnification m in the horizontal direction and n in the vertical direction.
  • the position of the two comparison images is a correlation value calculated by using regions at positions shifted by m pixels in the horizontal direction and n pixels in the vertical direction.
  • the correlation value calculated using the relatively shifted areas of the two comparison images becomes a correlation value that can calculate the correlation amount that clearly distinguishes moving objects or non-moving objects, and the movement of the subject It is possible to improve the resolution of a high-resolution composite image while suppressing the occurrence of artifacts due to.
  • an image acquisition unit that acquires the standard image and the reference image, and any one of the image processing devices that processes the standard image and the reference image acquired by the image acquisition unit. It is an imaging device provided with.
  • a reference image acquired by photographing a subject in time series by an imaging device in which a plurality of types of color filters are arranged for each pixel, and one or more sheets other than the reference image are provided.
  • a high-resolution composition step of generating a high-resolution composite image by combining reference images in a high-resolution image space having a higher resolution than those images, and any of the high-resolution composite images generated by the high-resolution composite image A moving object determination step for obtaining one or more correlation amounts by a magnitude relation calculation of a plurality of correlation values in the region, and the high-resolution composite image based on the correlation amounts determined in the moving object determination step.
  • An image processing method including an image correction step for correction.
  • the method includes a correlation coefficient calculation step of calculating a correlation coefficient from one or more correlation amounts obtained in the moving object determination step, and the image correction step includes the phase calculated in the correlation coefficient calculation step.
  • the high-resolution composite image may be corrected by combining the high-resolution composite image and the reference image with a composite ratio based on the number of relationships.
  • the method includes a correlation coefficient calculation step of calculating a correlation coefficient from one or more correlation amounts obtained in the moving object determination step, and the image correction step is calculated by the correlation coefficient calculation step.
  • the high-resolution synthesized image may be corrected by synthesizing two images obtained by applying filters having different low-pass effects to the high-resolution synthesized image based on the synthesis ratio based on the correlation coefficient.
  • the moving object determination step is calculated between two comparison images each configured by pixels corresponding to different types of color filters of the high-resolution composite image generated by the high-resolution composite step.
  • One or more correlation amounts may be obtained by a magnitude relation calculation of a plurality of correlation values.
  • the correlation value is calculated using the correlation value calculated by using the regions in the same position of the two comparison images, and the regions in which the positions of the two comparison images are relatively shifted. Two or more correlation values selected from the correlation values calculated in the above may be included.
  • the correlation value calculated using the areas where the positions of the two comparison images are relatively shifted is set to a predetermined high-resolution magnification m in the horizontal direction and n in the vertical direction.
  • the position of the two comparison images is a correlation value calculated by using regions at positions shifted by m pixels in the horizontal direction and n pixels in the vertical direction.
  • a reference image acquired by photographing a subject in time series by an imaging device in which a plurality of types of color filters are arranged for each pixel, and one or more sheets other than the reference image are provided.
  • a high-resolution composition step of generating a high-resolution composite image by combining reference images in a high-resolution image space having a higher resolution than those images, and any of the high-resolution composite images generated by the high-resolution composite image A moving object determination step for obtaining one or more correlation amounts by a magnitude relation calculation of a plurality of correlation values in the region, and the high-resolution composite image based on the correlation amounts determined in the moving object determination step.
  • An image processing program for causing a computer to execute an image correction step for correction.
  • a reference image acquired by photographing a subject in time series by an imaging device in which a plurality of types of color filters are arranged for each pixel, and one or more sheets other than the reference image are provided.
  • a high-resolution composition step of generating a high-resolution composite image by combining reference images in a high-resolution image space having a higher resolution than those images, and any of the high-resolution composite images generated by the high-resolution composite image A moving object determination step for obtaining one or more correlation amounts by a magnitude relation calculation of a plurality of correlation values in the region, and the high-resolution composite image based on the correlation amounts determined in the moving object determination step.
  • a non-transitory computer-readable storage medium storing an image processing program for causing a computer to execute an image correction step to be corrected.
  • FIG. 1 is an overall configuration diagram illustrating an imaging apparatus according to an embodiment of the present invention. It is a figure which shows a part of high resolution image of the Gr channel acquired by the imaging device of FIG. It is a figure which shows a part of high resolution image of Gb channel acquired by the imaging device of FIG. It is a figure which shows the calculation area
  • FIG. 1 It is a figure which shows an example of the map which calculates a 2nd correlation coefficient from the 2nd correlation amount in the correlation coefficient calculation part of the imaging device of FIG.
  • FIG. 17 is a flowchart for explaining the operation of the imaging apparatus in FIG. 16. It is a figure which shows the other example of the relationship between the correlation amount and correlation coefficient in the correlation coefficient calculation part of the imaging device of FIG. It is a figure which shows the other example of the synthetic
  • the imaging apparatus 1 includes an image acquisition unit 2 that captures an image by capturing a subject, a memory 4 that stores an image acquired by the image acquisition unit 2, and a memory 4 and an image processing apparatus 3 according to an embodiment of the present invention for processing the image stored in the image processing apparatus 4.
  • the image acquisition unit 2 includes an imaging lens 5 that collects light from the subject, an imaging element 6 that receives the light collected by the imaging lens 5 and forms an optical image of the subject, and the imaging element 6 as a pixel.
  • the sensor shift mechanism 7 that shifts in units of subpixels in the arrangement direction, and the sensor shift control unit 8 that controls the shift direction and the shift amount of the image sensor 6 by the sensor shift mechanism 7 are provided.
  • the image sensor 6 has a so-called Bayer array structure in which four types of color filters of R, Gr, Gb, and B are arranged for each pixel in units of 2 ⁇ 2 pixels.
  • the plurality of images acquired in time series by the image sensor 6 are the memory 4 with the first acquired image as a reference image, and then one or more images acquired while shifting the image sensor 6 as a reference image. To be remembered.
  • the image processing apparatus 3 calculates a plurality of correlation values from the high-resolution composition unit 9 that generates a high-resolution composite image (high-resolution composite image) from a plurality of images stored in the memory 4, and calculates a plurality of correlation values from the composite image.
  • a moving body determination unit 10 that calculates one or more correlation amounts by a magnitude relation calculation of the plurality of correlation values that have been performed, and a correlation coefficient that converts the correlation amount calculated by the moving body determination unit 10 into a correlation coefficient used for image correction
  • a calculation unit 11 and an image correction unit 12 that corrects the composite image based on the calculated correlation coefficient are provided.
  • a plurality of images are input from the memory 4 to the high-resolution composition unit 9, and shift control information (shift direction and shift amount) of the image sensor 6 from the sensor shift control unit 8 is input.
  • the high resolution composition unit 9 aligns the reference image and one or more reference images input from the memory 4 based on the shift control information input from the sensor shift control unit 8, It is arranged on the resolution image space.
  • each pixel of the reference image is arranged on the high resolution image space for each color of the color filter, and then each pixel of the reference image is set to the high resolution based on the shift direction and the shift amount with respect to the reference image. It is arranged on the image space.
  • a pixel of the same color as the color of the color filter corresponding to the pixel to be arranged has already been arranged, a pixel of the standard image or a pixel of another reference image need not be arranged.
  • the pixel value may be updated by averaging with pixels already arranged.
  • the high-resolution composition unit 9 may perform a process of interpolating and filling in pixels that are not yet arranged after arranging all the pixels.
  • the neighboring pixels may be used to fill in by the nearest neighbor method, or direction discrimination interpolation may be performed in consideration of the edge direction.
  • FIG. 2A shows a composite image of the Gr channel in the high resolution image space
  • FIG. 2B shows a composite image of the Gb channel in the high resolution image space.
  • R and B channel composite images are generated in the same manner.
  • a combined image is generated by combining a total of eight images, that is, one standard image and seven reference images.
  • the subscript numbers in the figure indicate the shooting order.
  • the arrangement direction of the pixels when the horizontal direction is the horizontal direction and the vertical direction is the vertical direction, each pixel in FIG. 2A and FIG.
  • the moving object determination unit 10 divides the Gr channel composite image and the Gb channel composite image into small regions, and performs a correlation operation for each corresponding small region.
  • a correlation value an SAD (sum of absolute values of pixel differences) value is calculated for each corresponding small area, and two correlation amounts indicating the edge degree and the moving degree are obtained by a magnitude relation calculation using the result. It is like that.
  • Gr small region of 8 ⁇ 8 pixels at the same position of the composite image of the channel and the composite image of the Gb channel is set as the attention region.
  • 4 ⁇ 4 pixels in the attention area are set as the calculation area used for the correlation calculation.
  • This calculation area is set for each of the combined image of the Gr channel and the combined image of the Gb channel, and one is a calculation area of 4 ⁇ 4 pixels at the same position in the Gr channel and the Gb channel as shown in FIG.
  • the calculation areas are set so that the calculation areas of the Gr channel composite image and the Gb channel composite image are shifted by two pixels in the horizontal and vertical directions. Yes.
  • the SAD of the calculation area 300 and the calculation area 301 (referred to as SAD0; hereinafter the same), the SAD (SAD1) of the calculation area 300 and the calculation area 302, the SAD (SAD2) of the calculation area 300 and the calculation area 303, and the calculation area 300
  • SAD0 the SAD of the calculation area 300 and the calculation area 301
  • SAD1 the SAD of the calculation area 300 and the calculation area 302
  • SAD2 the SAD
  • SAD3 the calculation area 304
  • SAD4 in the calculation area 300 and the calculation area 305 are calculated.
  • the correlation amount indicating the edge degree of the region of interest (first correlation amount) and the correlation amount indicating the moving object degree (second correlation amount) are calculated by the following magnitude relational expression.
  • First correlation amount Max SAD ⁇ SAD 0
  • Second correlation amount SAD0 ⁇ MinSAD The first correlation amount increases as the edge degree increases.
  • the second correlation amount increases as the moving object degree increases.
  • the correlation coefficient calculation unit 11 converts the two correlation amounts obtained by the moving object determination unit 10 into a first correlation coefficient and a second correlation coefficient used for image correction. For example, as shown in FIG. 4, the first threshold value and the second threshold value are set, the first correlation amount is equal to or less than the first threshold value, the correlation is 0, the correlation value is equal to or greater than the second threshold value, and the correlation amount is between them.
  • the first correlation coefficient is converted so that the larger the value is, the higher the correlation is.
  • the second correlation amount is such that the correlation is 1 below the third threshold, the correlation is 0 above the fourth threshold, and the correlation decreases as the correlation amount increases between them. It is supposed to convert.
  • the image correction unit 12 includes a combination ratio calculation unit 120 that calculates a combination ratio based on the correlation coefficient output from the correlation coefficient calculation unit 11, and a reference stored in the memory 4. Generated by the color interpolation processing unit 121 that performs colorization by demosaicing the raw data of the image, the enlargement processing unit 122 that expands the colorized reference image to the same image size as the composite image, and the high-resolution composition unit 9 And a synthesis processing unit 123 that synthesizes the synthesized image and the enlarged reference image that has been enlarged according to the synthesis ratio calculated by the synthesis ratio calculation unit 120.
  • the composition ratio calculation unit 120 includes a map in which the correlation coefficient and the composition ratio are associated with each other. For example, as shown in FIG. 7, the map shows the third correlation coefficient obtained by multiplying the first correlation coefficient and the second correlation coefficient on the horizontal axis and the composite ratio on the vertical axis.
  • the map includes only the enlarged image of the reference image when the third correlation coefficient is equal to or less than the fifth threshold, and only the high-resolution composite image when the third correlation coefficient is equal to or greater than the sixth threshold.
  • the third phase is between the fifth threshold and the sixth threshold. The higher the number of relations, the higher the composite ratio of the high-resolution composite image, and the lower the third correlation coefficient, the greater the composite ratio of the reference image.
  • subjects 80 and 81 are included in the image, the subject 80 is a non-moving object, the subject 81 is a moving object, and the subject 81 in eight images taken while shifting the image sensor 6. An example in which the position of is moving greatly is shown.
  • the acquired eight images are arranged in a high-resolution image space to generate a high-resolution composite image (high-resolution composite step). S1).
  • the Gr channel and the Gb channel are extracted from the small regions 82 and 83 of 8 ⁇ 8 pixels of the composite image generated by arranging the eight images by the high resolution composition unit 9, and SAD0 to SAD4 are extracted by the above-described method.
  • the correlation amount is calculated by calculating the magnitude relationship between them (moving object determination step S2).
  • the correlation amount is obtained by using a synthesized image in a state where pixel interpolation is not performed by the high resolution synthesizer 9.
  • the Gr channel and the Gb channel are as shown in FIGS. 9A to 9E, and SAD0 to SAD4 are calculated as follows.
  • the Gr channel and the Gb channel are as shown in FIGS. 10A to 10E.
  • the small area 83 is an area in which the moving object is captured in the first and second images of the captured image, and thus corresponds to the first and second images of each channel in the high-resolution image space.
  • the moving body pixel is arranged at the pixel position.
  • the correlation coefficient calculation unit 11 converts the first correlation amount and the second correlation amount into the first correlation coefficient and the second correlation coefficient, respectively (correlation coefficient calculation step S3).
  • the image correction unit 12 combines the reference image and the high-resolution combined image at a combining ratio as shown in FIG. 13 (image correction step S4).
  • the synthesis ratio of the high-resolution synthesized image is 1.
  • the resolution can be improved because the composition ratio of the high-resolution composite image increases in the non-moving object region while suppressing artifacts such as multiple images. .
  • the conventional technique that sets the composition ratio based on the difference between the base image and the reference image determines whether the object is moving or non-moving due to noise. It is difficult to distinguish, and it is difficult to achieve both suppression of artifact generation and improvement of resolution.
  • a plurality of correlation values are obtained between the combined images of Gr and Gb, and the combination ratio is calculated based on the correlation amount calculated from the magnitude relation calculation result thereof.
  • the composite image is corrected by combining the reference image and the composite image in accordance with the composite ratio calculated by the composite ratio calculation unit 120.
  • FIG. As shown in the drawing, the synthesized image is input to the filter processing unit 124 including two types of filters (the first filter 125 and the second filter 126) having different low-pass effects without using the reference image.
  • the images may be combined according to the combination ratio calculated by the combination ratio calculation unit 120.
  • the image is blurred by increasing the synthesis ratio of the image processed by the filter with high low-pass effect, and in the high correlation area, the image is processed by the filter with low low-pass effect.
  • a clear image can be obtained by increasing the composite ratio of the obtained images.
  • a filter having a low low-pass effect includes a case where a composite image is output as it is (no filter is applied).
  • shooting process control for controlling the sensor shift control unit 8, the high resolution composition unit 9, the moving object determination unit 10, the correlation coefficient calculation unit 11, and the image correction unit 12 The part 14 may be provided.
  • the shooting processing control unit 14 determines the shooting mode based on a signal from the camera shake sensor (step S11).
  • the shooting mode is the tripod mode
  • the sensor shift control unit 8 is turned on.
  • Step S12 a plurality of images are taken (step S13), and the sensor shift information from the sensor shift control unit 8 is output to the high resolution composition unit 9 (step S14).
  • the sensor shift control unit 8 When the photographing mode is the hand-held mode, the sensor shift control unit 8 is turned off (step S15), a plurality of images are photographed (step S16), and a plurality of images are detected by the positional deviation detection unit 13 of the high resolution composition unit 9. The amount of shift between the images is detected (step S17). It should be noted that the sensor shift control unit 8 may be turned on because it is only necessary to be able to take an image so as to cause a deviation between a plurality of images even in the handheld mode.
  • the imaging processing control unit 14 combines a plurality of images with the high resolution combining unit 9 (step S1), and the moving object determination unit 10 calculates a plurality of correlation values from the combined Gr and Gb combined images. Then, the correlation amount is calculated from the correlation value calculation result of the correlation value, and the correlation coefficient is converted into the correlation coefficient by the correlation coefficient calculation unit 11 (step S3).
  • the imaging processing control unit 14 can perform conversion according to the ISO sensitivity.
  • the imaging processing control unit 14 acquires ISO sensitivity information at the time of imaging a plurality of images (step S18), and sets a first threshold value to a fourth threshold value depending on whether the ISO sensitivity is low sensitivity, medium sensitivity, or high sensitivity (step S19). To S21).
  • the third threshold value and the fourth threshold value are reduced so that the moving object degree does not increase even in the stationary part. Converted.
  • the fifth threshold value and the sixth threshold value are decreased as the ISO sensitivity is higher, so that the composition ratio of the composite image or the image on which the filter having a low-pass effect is applied is obtained. Set to be larger.
  • the photographing processing control unit 14 detects the presence or absence of exposure amount variation between images when photographing a plurality of images (step S22), and decreases the fifth threshold value and the sixth threshold value depending on the amount of variation amount (step S23). ). As the amount of variation increases, the correlation may be lowered even in the stationary part, so that the fifth and sixth thresholds are reduced so that the composite ratio of the composite image or the image that has been filtered with a low-pass effect is increased. Is set.
  • the photographing processing control unit 14 detects the presence or absence of flicker between images at the time of photographing a plurality of sheets (step S24), and decreases the fifth threshold value and the sixth threshold value depending on the amount of flicker (step S25). As the amount of flicker increases, the correlation may be lowered even in the still part. Therefore, the fifth and sixth thresholds are reduced so that the composite ratio of the composite image or the image subjected to the low-pass effect filter is increased. Is set.
  • the first threshold value to the fourth threshold value are set as shown in FIG. 4 and FIG. However, it may be converted as a straight line as shown in FIG. 18, or a larger number of threshold values may be provided to increase the number of broken lines, or may be converted into a curve, and many other methods can be easily performed. Conceivable.
  • the fifth threshold value and the sixth threshold value are provided.
  • the threshold value is equal to or smaller than the fifth threshold value, only the enlarged image of the reference image is set.
  • the map of the composite ratio is adopted, but as shown in FIG. 19, the map may be such that the enlarged image of the reference image and the high-resolution composite image have the composite ratio for all the correlation amounts.
  • the map is not limited to a map in which the composition ratio changes linearly according to the correlation amount.
  • the correlation amount is calculated from a plurality of SAD values.
  • the correlation amount is not limited to SAD, and the average value of pixel difference values, the difference between the maximum value and the minimum value of pixel difference values, SSD (pixel difference value). ), NCC (normalized cross correlation), or the like may be used.
  • the two correlation amounts of the first correlation amount and the second correlation amount are calculated from the magnitude relationship calculation results of the plurality of SAD values, but a larger amount of correlation may be calculated.
  • the SAD value is calculated using the attention area as 8 ⁇ 8 pixels and the 4 ⁇ 4 pixels in the calculation area as the calculation area.
  • the size of the attention area and the calculation area is not limited to this. Absent.
  • the size of the calculation area may be made variable according to the characteristics of the image area. For example, assuming that the upper limit of the size of the calculation area is 32 ⁇ 32 pixels and the lower limit is 4 ⁇ 4 pixels, the higher the contrast of the image, the closer the attention area size is to 4 ⁇ 4 pixels, and the more the correlation amount is obtained.
  • the size of the attention area may be made closer to 32 ⁇ 32 pixels as the value is lower.
  • the correlation amount is calculated based on more pixel value information, and the correlation amount for determining whether the object is moving or non-moving is reliably calculated from the magnitude relation calculation result. be able to.
  • the moving object and the non-moving object are reliably discriminated by calculating the composition ratio based on the correlation amount obtained from the calculation result of the magnitude relationship of the plurality of correlation amounts between the composite images. It is possible to achieve both suppression of artifact generation and improvement of resolution.
  • the image processing method according to the present embodiment can be implemented by an image processing program that can be executed by a computer in addition to the case of being executed by the image processing apparatus 3 as described above.
  • the image processing method according to the present embodiment is performed by a processor such as a CPU executing the image processing program.
  • the image processing program stored in the storage medium is read, and the read image processing program is executed by a processor such as a CPU.
  • the storage medium stores programs, data, and the like, and the function can be realized by an optical disc (DVD, CD, etc.), a hard disk drive, or a memory (card type memory, ROM, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

解像度向上効果とアーティファクト抑制を両立することを目的として、画像処理装置（３）は、複数種のカラーフィルタを画素毎に配列した撮像素子（６）によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成部（９）と、該高解像度合成部（９）により生成された高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定部（１０）と、該動体判定部（１０）により求められた相関量に基づいて、高解像度合成画像を補正する画像補正部（１２）とを備える。

Description

画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
　本発明は、画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体に関するものである。
　複数枚の画像を合成し高解像度化する技術の一つとして、光学像と撮像系の位置を相対的にずらして撮影した画像を合成し、解像度を向上させる画素ずらし超解像技術がある。これは、光学像と撮像系の位置を相対的にずらして撮影した複数の画像を、撮影画像よりも高解像度な画像空間上にずれ量を考慮しながら配置し、それらの画像情報をもとに補間処理や繰り返し再構成処理等を行って解像度を向上させるものである。この技術は、細かい模様の被写体など、撮影した画像中でエイリアシング（モアレ）が発生してしまうような被写体において、位置ずれがある複数枚の画像が合成されることによりエイリアシングが除去されるため、解像度の向上効果が得られる。
　しかし、上記技術は、被写体が動いた領域では多重像などのアーティファクトが生じるという課題がある。動体領域におけるアーティファクトを抑制する技術として、特許文献１に開示された技術が知られている。
　特許文献１では複数枚の画像間で相関量を算出し、相関量に基づいて画像の合成比率を制御している。例えば、撮影した複数枚の画像のうち１枚を基準画像、その他の画像を参照画像として、基準画像と参照画像間で領域毎に差分を求め、その差分値から基準画像との相関量を算出し、相関が高いほど参照画像の合成比率を大きく、相関が低いほど参照画像の合成比率を小さく（基準画像の比率を大きく）制御する。こうすることで、被写体の動きや位置ずれによる多重像などのアーティファクトが生じないようにしている。
特開２０１１－１９９７８６号公報
　上述の高解像度化を行う場合に特許文献１のような技術を適用すると、基準画像と参照画像間で領域毎に差分量を算出し、その差分量に基づいた合成比率を用いて、複数枚合成された高解像度画像と基準画像の拡大画像とを合成することにより高解像度画像の動体領域におけるアーティファクトを抑制する構成が考えられる。
　しかしながら、低輝度の領域では、ノイズの影響から低輝度の動体領域における差分量と非動体領域における差分量が同程度になることがある。この場合、差分量に基づく合成比率の制御により、低輝度の動体領域の差分量では基準画像の合成比率が大きくなるように制御すると、低輝度の非動体領域も基準画像の合成比率が大きくなってしまい、高解像度化が見込めない。一方、低輝度の動体領域の差分量では複数枚合成された高解像度画像の合成比率を大きくするように制御すると、非動体領域の解像度向上効果が得られるが、動体領域では多重像などのアーティファクトが生じてしまう。このように、差分量に基づく合成比率制御だけでは、低輝度領域で解像度向上効果とアーティファクトの抑制を両立することができない。
　本発明は上述した事情に鑑みてなされたものであって、解像度向上効果とアーティファクト抑制を両立することができる画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することを目的としている。
　本発明の一態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成部と、該高解像度合成部により生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定部と、該動体判定部により求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正部とを備える画像処理装置である。
　本態様によれば、撮像素子によって取得された基準画像および１以上の参照画像が、高解像度合成部により合成されて、基準画像および参照画像よりも解像度の高い高解像度合成画像が生成される。生成された高解像度合成画像の任意の領域について、複数の相関値が求められた後、相関値間の大小関係演算が動体判定部において行われ１以上の相関量が算出される。そして、算出された１以上の相関量を用いて画像補正部により高解像度合成画像が補正される。
　すなわち、高解像度合成画像の補正が単一の相関値に基づくことなく、複数の相関値の大小関係演算により求められた１以上の相関量に基づいて行われるので、低輝度領域で動きがあるものの画素値が小さいために単一の相関値ではノイズに埋もれてしまうような状況においても、複数の相関値の大小関係演算により求めた１以上の相関量によって動体であるか非動体であるかを判別し、被写体の動きによるアーティファクトの発生を抑制しつつ、高解像度合成画像の解像度向上を図ることができる。
　上記態様においては、前記動体判定部により求められた１以上の相関量から相関係数を算出する相関係数算出部を備え、前記画像補正部が、前記相関係数算出部により算出された相関係数に基づく合成比率によって、前記高解像度合成画像と前記基準画像とを合成することにより、前記高解像度合成画像を補正してもよい。
　このようにすることで、複数の相関値の大小関係演算により求められた１以上の相関量から相関係数算出部により算出された相関係数に基づく合成比率によって、高解像度合成画像と基準画像とが合成されるので、動体である場合には高解像度合成画像の合成比率を高くし、非動体である場合には基準画像の合成比率を高くして、被写体の動きによるアーティファクトの発生を抑制しつつ、高解像度合成画像の解像度向上を図ることができる。
　また、上記態様においては、前記動体判定部により求められた１以上の相関量から相関係数を算出する相関係数算出部を備え、前記画像補正部が、前記相関係数算出部により算出された相関係数に基づく合成比率によって、前記高解像度合成画像に対しローパス効果の異なるフィルタを掛けた２つの画像を合成することにより、前記高解像度合成画像を補正してもよい。
　このようにすることで、複数の相関値の大小関係演算により求められた１以上の相関量から相関係数算出部により算出された相関係数に基づく合成比率によって、高解像度合成画像にローパス効果の異なるフィルタが掛けられた２つの画像が合成されるので、動体である場合にはローパス効果の高いフィルタが掛けられた画像の合成比率を高くし、非動体である場合にはローパス効果の低いフィルタが掛けられた画像の合成比率を高くして、被写体の動きによるアーティファクトの発生を抑制しつつ、高解像度合成画像の解像度向上を図ることができる。
　また、上記態様においては、前記動体判定部が、該高解像度合成部により生成された前記高解像度合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で算出した複数の相関値の大小関係演算により１以上の相関量を求めてもよい。
　このようにすることで、撮像素子に設けられた異なる種類のカラーフィルタに対応する画素により同時に取得された画素値をそれぞれ高解像度画像空間に配列して構成された２つの比較画像間で複数の相関値が算出されその大小関係演算が行われる。これにより、動体あるいは非動体を明確に区別できる相関量を算出することができ、被写体の動きによるアーティファクトの発生を抑制しつつ、高解像度合成画像の解像度向上を図ることができる。
　また、上記態様においては、前記相関値が、２つの前記比較画像の同位置の領域どうしを用いて算出した相関値、および、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値から選択された２以上の相関値を含んでいてもよい。
　また、上記態様においては、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値は、あらかじめ設定された高解像度化倍率が水平方向にｍ倍、垂直方向にｎ倍のとき、２つの前記比較画像の位置が相対的に水平方向にｍ画素、垂直方向にｎ画素ずれた位置の領域どうしを用いて算出した相関値であることが好ましい。
　このようにすることで、２つの比較画像の相対的にずれた領域どうしを用いて算出された相関値が、動体あるいは非動体を明確に区別する相関量を算出できる相関値となり、被写体の動きによるアーティファクトの発生を抑制しつつ、高解像度合成画像の解像度向上を図ることができる。
　また、本発明の他の態様は、前記基準画像および前記参照画像を取得する画像取得部と、該画像取得部により取得された前記基準画像および前記参照画像を処理する上記いずれかの画像処理装置とを備える撮像装置である。
　また、本発明の他の態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとを含む画像処理方法である。
　上記態様においては、前記動体判定ステップにより求められた１以上の相関量から相関係数を算出する相関係数算出ステップを含み、前記画像補正ステップが、前記相関係数算出ステップにより算出された相関係数に基づく合成比率によって、前記高解像度合成画像と前記基準画像とを合成することにより、前記高解像度合成画像を補正してもよい。
　また、上記態様においては、前記動体判定ステップにより求められた１以上の相関量から相関係数を算出する相関係数算出ステップを含み、前記画像補正ステップが、前記相関係数算出ステップにより算出された相関係数に基づく合成比率によって、前記高解像度合成画像に対しローパス効果の異なるフィルタを掛けた２つの画像を合成することにより、前記高解像度合成画像を補正してもよい。
　また、上記態様においては、前記動体判定ステップが、該高解像度合成ステップにより生成された前記高解像度合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で算出した複数の相関値の大小関係演算により１以上の相関量を求めてもよい。
　また、上記態様においては、前記相関値が、２つの前記比較画像の同位置の領域どうしを用いて算出した相関値、および、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値から選択された２以上の相関値を含んでいてもよい。
　また、上記態様においては、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値は、あらかじめ設定された高解像度化倍率が水平方向にｍ倍、垂直方向にｎ倍のとき、２つの前記比較画像の位置が相対的に水平方向にｍ画素、垂直方向にｎ画素ずれた位置の領域どうしを用いて算出した相関値であることが好ましい。
　また、本発明の他の態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラムである。
　また、本発明の他の態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体である。
　本発明によれば、解像度向上効果とアーティファクト抑制を両立することができるという効果を奏する。
本発明の一実施形態に係る撮像装置を示す全体構成図である。 図１の撮像装置により取得されたＧｒチャネルの高解像度画像の一部を示す図である。 図１の撮像装置により取得されたＧｂチャネルの高解像度画像の一部を示す図である。 図２ＡのＧｒチャネルおよび図２ＢのＧｂチャネルの同一位置の注目領域に定義された演算領域を示す図である。 図２ＡのＧｒチャネルの演算領域に対して左斜め上にずれた図２ＢのＧｂチャネルの演算領域を示す図である。 図２ＡのＧｒチャネルの演算領域に対して右斜め上にずれた図２ＢのＧｂチャネルの演算領域を示す図である。 図２ＡのＧｒチャネルの演算領域に対して左斜め下にずれた図２ＢのＧｂチャネルの演算領域を示す図である。 図２ＡのＧｒチャネルの演算領域に対して右斜め下にずれた図２ＢのＧｂチャネルの演算領域を示す図である。 図１の撮像装置の相関係数算出部において第１相関量から第１相関係数を算出するマップの一例を示す図である。 図１の撮像装置の相関係数算出部において第２相関量から第２相関係数を算出するマップの一例を示す図である。 図１の撮像装置に備えられる画像補正部を示すブロック図である。 図１の画像補正部において第３相関係数から合成比率を算出するマップの一例を示す図である。 図１の撮像装置に備えられる画像処理装置の具体的な動作例を示す図である。 図８の非動体領域について図３Ａの具体的な画素値例を挙げた相関値の算出例を示す図である。 図８の非動体領域について図３Ｂの具体的な画素値例を挙げた相関値の算出例を示す図である。 図８の非動体領域について図３Ｃの具体的な画素値例を挙げた相関値の算出例を示す図である。 図８の非動体領域について図３Ｄの具体的な画素値例を挙げた相関値の算出例を示す図である。 図８の非動体領域について図３Ｅの具体的な画素値例を挙げた相関値の算出例を示す図である。 図８の動体領域について図３Ａの具体的な画素値例を挙げた相関値の算出例を示す図である。 図８の動体領域について図３Ｂの具体的な画素値例を挙げた相関値の算出例を示す図である。 図８の動体領域について図３Ｃの具体的な画素値例を挙げた相関値の算出例を示す図である。 図８の動体領域について図３Ｄの具体的な画素値例を挙げた相関値の算出例を示す図である。 図８の動体領域について図３Ｅの具体的な画素値例を挙げた相関値の算出例を示す図である。 図１の撮像装置に備えられた相関係数算出部における第１相関量と第１相関係数との関係の一例を示す図である。 図１の撮像装置に備えられた相関係数算出部における第２相関量と第２相関係数との関係の一例を示す図である。 図１の撮像装置に備えられた画像補正部における基準画像と高解像度合成画像との合成比率の一例を示す図である。 本発明の一実施形態に係る画像処理方法を示すフローチャートである。 図１の撮像装置の画像補正部の変形例を示すブロック図である。 図１の撮像装置の変形例を示すブロック図である。 図１６の撮像装置の動作を説明するフローチャートである。 図１の撮像装置の相関係数算出部における相関量と相関係数との関係の他の例を示す図である。 図１の撮像装置に備えられた画像補正部における基準画像と高解像度合成画像との合成比率の他の例を示す図である。
　本発明の一実施形態に係る撮像装置１および画像処理装置３について、図面を参照して以下に説明する。
　本実施形態に係る撮像装置１は、図１に示されるように、被写体を撮影して画像を取得する画像取得部２と、画像取得部２により取得された画像を記憶するメモリ４と、メモリ４に記憶された画像を処理する本発明の一実施形態に係る画像処理装置３とを備えている。
　画像取得部２は、被写体からの光を集光する撮像レンズ５と、該撮像レンズ５により集光された光が入射され被写体の光学像を形成する撮像素子６と、該撮像素子６を画素の配列方向にサブピクセル単位でシフトさせるセンサシフト機構７と、センサシフト機構７による撮像素子６のシフト方向とシフト量を制御するセンサシフト制御部８とを備えている。
　撮像素子６は、Ｒ，Ｇｒ，Ｇｂ，Ｂの４種類のカラーフィルタが２×２画素単位で画素毎に配置された、いわゆるベイヤ配列構造を有している。撮像素子６により時系列的に取得された複数枚の画像は、最初に取得された画像を基準画像、その後に撮像素子６をシフトさせながら取得された１枚以上の画像を参照画像としてメモリ４に記憶されるようになっている。
　画像処理装置３は、メモリ４に記憶された複数枚の画像から高解像度の合成画像（高解像度合成画像）を生成する高解像度合成部９と、合成画像から複数の相関値を算出し、算出された複数の相関値の大小関係演算により１以上の相関量を算出する動体判定部１０と、該動体判定部１０により算出された相関量を画像補正に用いる相関係数に変換する相関係数算出部１１と、算出された相関係数に基づき合成画像を補正する画像補正部１２とを備えている。
　高解像度合成部９には、複数枚の画像がメモリ４から入力されるとともに、センサシフト制御部８からの撮像素子６のシフト制御情報（シフト方向およびシフト量）が入力されようになっている。高解像度合成部９は、メモリ４から入力された基準画像および１以上の参照画像を、センサシフト制御部８から入力されたシフト制御情報に基づき位置合わせをしながら、カラーフィルタの色毎の高解像度画像空間上に配置するようになっている。
　具体的には、まず、基準画像の各画素をカラーフィルタの色毎に高解像度画像空間上に配置し、次に、基準画像に対するシフト方向およびシフト量に基づいて参照画像の各画素を高解像度画像空間上に配置するようになっている。画素を配置する際には、配置する画素に対応するカラーフィルタの色と同色の画素が既に基準画像の画素や別の参照画像の画素が配置されていれば、新たに配置しなくてもよいし、既に配置されている画素と加算平均して画素値を更新してもよい。また、累積加算後に加算回数で正規化してもよい。
　また、高解像度合成部９は、全ての画素を配置した後に、まだ配置されていない画素を補間して埋める処理を行ってもよい。補間の方法は、例えば、配置された周囲の画素を用いて最近傍法により埋めたり、エッジ方向を考慮した方向判別補間を施したりしてもよい。
　図２Ａに、高解像度画像空間上のＧｒチャネルの合成画像、図２Ｂに高解像度画像空間上のＧｂチャネルの合成画像をそれぞれ示す。Ｒ，Ｂチャネルの合成画像も同じように生成されている。
　図２Ａおよび図２Ｂに示す例では、１枚の基準画像と７枚の参照画像の合計８枚の画像を合成して合成画像が生成されている。図中の添字番号は、撮影順を示している。画素の配列方向として、横方向を水平方向、縦方向を垂直方向とすると、図２Ａおよび図２Ｂの各画素は、
１：基準画像、
２：基準画像に対して水平方向に１画素、垂直方向０画素、
３：基準画像に対して水平方向に０画素、垂直方向に１画素、
４：基準画像に対して水平方向に１画素、垂直方向に１画素、
５：基準画像に対して水平方向に０．５画素、垂直方向に０．５画素、
６：基準画像に対して水平方向に１．５画素、垂直方向に０．５画素、
７：基準画像に対して水平方向に０．５画素、垂直方向に１．５画素、
８：基準画像に対して水平方向に１．５画素、垂直方向に１．５画素、
それぞれシフトして撮影することにより取得された画像を構成する画素である。各画像のシフト方向とシフト量を考慮して水平方向および垂直方向とも２倍の画素数の高解像度画像空間上に配置すると図２Ａおよび図２Ｂのようになる。図中の網掛けは配置されていない画素を示している。
　動体判定部１０は、Ｇｒチャネルの合成画像とＧｂチャネルの合成画像を小領域に区切り、対応する小領域毎に相関演算を行うようになっている。ここでは、相関値として、対応する小領域毎にＳＡＤ（画素差分の絶対値の合計）値を計算し、その結果を用いた大小関係演算によりエッジ度合および動体度合を示す２つの相関量を求めるようになっている。
　具体的には、まず、図３Ａに示すように、８枚の画像を高解像度画像空間上に配置し補間することにより、全ての画素が画素値を有している合成画像を用いて、Ｇｒチャネルの合成画像とＧｂチャネルの合成画像の同一位置８×８画素の小領域を注目領域として設定する。
　また、注目領域内の４×４画素を相関演算に用いる演算領域として設定する。この演算領域はＧｒチャネルの合成画像とＧｂチャネルの合成画像それぞれに設定し、１つは図３Ａに示すようにＧｒチャネルとＧｂチャネルで同一位置の４×４画素を演算領域とし、その他に４つの演算領域を、図３Ｂから図３Ｅに示すように、Ｇｒチャネルの合成画像とＧｂチャネルの合成画像の演算領域が互いに水平方向および垂直方向に２画素ずれている位置となるように設定している。
　そして、演算領域３００と演算領域３０１のＳＡＤ（ＳＡＤ０とする。以下同様）、演算領域３００と演算領域３０２のＳＡＤ（ＳＡＤ１）、演算領域３００と演算領域３０３のＳＡＤ（ＳＡＤ２）、演算領域３００と演算領域３０４のＳＡＤ（ＳＡＤ３）、演算領域３００と演算領域３０５のＳＡＤ（ＳＡＤ４）を算出する。
　さらに、算出されたＳＡＤ０からＳＡＤ４の中からＳＡＤの最大値（ＭａｘＳＡＤ）および最小値（ＭｉｎＳＡＤ）を求める。
　これらを用いて注目領域のエッジ度合を示す相関量（第１相関量）と動体度合を示す相関量（第２相関量）の２つを以下の大小関係演算式により算出する。
　第１相関量＝ＭａｘＳＡＤ－ＳＡＤ０
　第２相関量＝ＳＡＤ０－ＭｉｎＳＡＤ
　第１相関量はエッジ度合が強いほど大きな値となる。第２相関量は動体度合が強いほど大きな値となる。
　相関係数算出部１１では、動体判定部１０で求められた２つの相関量を画像補正に用いる第１相関係数および第２相関係数に変換する。例えば、図４に示すように、第１閾値と第２閾値を設定し、第１相関量が第１閾値以下で相関性が０、第２閾値以上で相関性が１、その間では相関量が大きいほど相関性が高くなるような第１相関係数に変換するようになっている。
　また、図５に示すように、第２相関量は、第３閾値以下で相関性が１、第４閾値以上で
相関性が０とし、その間で相関量が大きいほど相関性が低くなるように変換するようになっている。
　画像補正部１２は、図６に示されるように、相関係数算出部１１から出力された相関係数に基づいて合成比率を算出する合成比率算出部１２０と、メモリ４に記憶されている基準画像のＲＡＷデータをデモザイキング処理してカラー化する色補間処理部１２１と、カラー化された基準画像を合成画像と同じ画像サイズに拡大する拡大処理部１２２と、高解像度合成部９により生成された合成画像と拡大処理された拡大基準画像とを、合成比率算出部１２０により算出された合成比率に従って合成する合成処理部１２３とを備えている。
　合成比率算出部１２０は、相関係数と合成比率とを対応付けたマップを備えている。マップは、例えば、図７に示すように、第１相関係数と第２相関係数とを掛け合わせた第３相関係数を横軸に、合成比率を縦軸に示している。
　マップは、第３相関係数が第５閾値以下のとき基準画像の拡大画像のみとなり、第６閾値以上のとき高解像度合成画像のみとなり、第５閾値と第６閾値の間では、第３相関係数が大きいほど高解像度合成画像の合成比率が大きくなり、第３相関係数が低いほど基準画像の合成比率が大きくなるようになっている。
　この処理を全ての注目領域について実施し、最後に補正画像をメモリ４へ出力する。
　ここで、画像処理装置３の具体的な動作例を用いて、本発明の一実施形態に係る画像処理方法を図８から図１４を参照して説明する。
　画像として、図８に示すように、被写体８０，８１が画像中に含まれ、被写体８０は非動体、被写体８１は動体であり、撮像素子６をシフトさせながら撮影した８枚画像中で被写体８１の位置が大きく動いている例を示す。
　本実施形態に係る画像処理方法においては、図１４に示されるように、まず、取得された８枚の画像を高解像度画像空間内に配置して高解像度合成画像を生成する（高解像度合成ステップＳ１）。
　次いで、高解像度合成部９により８枚の画像を配置し生成された合成画像の８×８画素の小領域８２，８３について、それぞれＧｒチャネルおよびＧｂチャネルを抜き出し、前述の方法でＳＡＤ０からＳＡＤ４を算出し、それらの大小関係演算により相関量を算出する（動体判定ステップＳ２）。ここでは高解像度合成部９で画素補間を行っていない状態の合成画像を用いて相関量を求めることとする。小領域８２については、ＧｒチャネルおよびＧｂチャネルが図９Ａから図９Ｅに示すようになっており、ＳＡＤ０からＳＡＤ４を算出すると次のようになる。
　ＳＡＤ０＝８２
　ＳＡＤ１＝８２
　ＳＡＤ２＝８２
　ＳＡＤ３＝８３
　ＳＡＤ４＝１８３
　この結果、エッジ度合を示す第１相関量は、
　第１相関量＝ＭａｘＳＡＤ－ＳＡＤ０＝１８３－８２＝１０１
　動体度合を示す第２相関量は、
　第２相関量＝ＳＡＤ０－ＭｉｎＳＡＤ＝８２－８２＝０
となる。
　一方、小領域８３については、ＧｒチャネルおよびＧｂチャネルが図１０Ａから図１０Ｅに示すようになっている。小領域８３は、図８に示すように撮影画像の１枚目と２枚目で動体が撮像された領域であるため、高解像度画像空間上の各チャネルの１枚目と２枚目に該当する画素位置に動体画素が配置されている。この小領域８３について相関値を算出すると、次のようになる。
　ＳＡＤ０＝８２
　ＳＡＤ１＝９
　ＳＡＤ２＝５８
　ＳＡＤ３＝６３
　ＳＡＤ４＝８８
　この結果、エッジ度合を示す第１相関量は、
　第１相関量＝８８－８２＝６
　動体度合を示す第２相関量は、
　第２相関量＝８２－９＝７３
となる。
　そして、相関係数算出部１１では、第１相関量および第２相関量をそれぞれ第１相関係数、第２相関係数に変換する（相関係数算出ステップＳ３）。例えば、図１１および図１２に示すような変換を行い、小領域８２では第１相関係数＝０．５、第２相関係数＝１、小領域８３では第１相関係数＝０、第２相関係数＝０．３６となる。
　そして、画像補正部１２では、図１３に示すような合成比率で基準画像と高解像度合成画像とが合成される（画像補正ステップＳ４）。小領域８２では第１相関係数×第２相関係数＝０．５×１＝０．５となり、高解像度合成画像の合成比率が１となる。一方、小領域８３では、第１相関係数×第２相関係数＝０×０．３６＝０となり、基準画像の合成比率が１となる。
　このように、動体の領域で基準画像の合成比率が大きくなるため、多重像などのアーティファクトを抑制しつつ、非動体領域で高解像度合成画像の合成比率が大きくなるため解像度を向上させることができる。
　特に、低輝度領域に動体が存在している場合、基準画像と参照画像との差分に基づいて合成比率を設定していた従来技術では、ノイズの影響で動体であるか非動体であるかを判別できず、アーティファクト発生の抑制と解像度向上の両立が困難である。
　仮に本具体例で用いた画像に従来技術を適用したとすると、ＳＡＤ０に相当する同位置どうしでＳＡＤ値を取るだけになり、小領域８２，８３ともにＳＡＤ＝８２となって小領域８２，８３の合成比率を区別できないため、アーティファクト発生の抑制と解像度向上の両立が困難であることは明らかである。
　これに対して、本実施形態によれば、ＧｒとＧｂの合成画像間で複数の相関値を求め、それらの大小関係演算結果から算出された相関量に基づいて合成比率を算出する。
　このため、低輝度領域で動きがあるものの画素値が小さいために差分値が小さくノイズに埋もれてしまうような状況においても、動体であるか非動体であるかを確実に判別することができる。これにより、被写体の動きによるアーティファクトの発生を抑制しつつ、かつ、画像の解像度向上を図ることができるという利点がある。
　なお、本実施形態においては、合成比率算出部１２０により算出された合成比率に従って、基準画像と合成画像とを合成することにより合成画像を補正することとしたが、これに代えて、図１５に示されるように、基準画像を用いることなく、合成画像をローパス効果の異なる２種類のフィルタ（第１のフィルタ１２５および第２のフィルタ１２６）を備えるフィルタ処理部１２４に入力し、フィルタ処理後の画像を合成比率算出部１２０により算出された合成比率に従って合成することにしてもよい。
　このようにすることで、相関性が低い領域では、ローパス効果の高いフィルタにより処理された画像の合成比率を大きくして画像をぼかし、相関性が高い領域では、ローパス効果の低いフィルタにより処理された画像の合成比率を大きくして鮮明な画像を取得することができる。
　これによっても、被写体の動きや位置ずれによるアーティファクトの発生を効果的に抑えることができるという利点がある。なお、ローパス効果の低いフィルタとしては、合成画像をそのまま出力する（フィルタをかけない）場合を含むものとする。
　また、本実施形態においては、図１６に示されるように、センサシフト制御部８、高解像度合成部９、動体判定部１０、相関係数算出部１１および画像補正部１２を制御する撮影処理制御部１４を備えていてもよい。
　撮影処理制御部１４は、図１７に示されるように、例えば、手ぶれセンサの信号に基づいて、撮影モードを判定し（ステップＳ１１）、撮影モードが三脚モードの場合はセンサシフト制御部８をＯＮに設定して（ステップＳ１２）、複数枚の画像を撮影し（ステップＳ１３）、センサシフト制御部８からのセンサシフト情報を高解像度合成部９に出力する（ステップＳ１４）。
　撮影モードが手持ちモードの場合には、センサシフト制御部８をＯＦＦにして（ステップＳ１５）、複数枚の画像を撮影し（ステップＳ１６）、高解像度合成部９の位置ずれ検出部１３で複数枚の画像間のずれ量を検出する（ステップＳ１７）。なお、手持ちモードでも複数枚画像間でズレが生じるように撮影できれば良いため、センサシフト制御部８をＯＮにしてもよい。
　次に、撮影処理制御部１４は、高解像度合成部９で複数枚の画像を合成し（ステップＳ１）、動体判定部１０で、合成されたＧｒとＧｂの合成画像から複数の相関値を算出し（ステップＳ２）、その相関値の大小関係演算結果から相関量を算出させ、相関係数算出部１１で相関量を相関係数に変換させる（ステップＳ３）。
　撮影処理制御部１４は、相関係数算出部１１で相関量を相関係数に変換する際に、ＩＳＯ感度に応じた変換をすることができる。撮影処理制御部１４は複数枚画像撮影時のＩＳＯ感度情報を取得し（ステップＳ１８）、ＩＳＯ感度が低感度、中感度、高感度に応じて第１閾値から第４閾値を設定する（ステップＳ１９からＳ２１）。
　ＩＳＯ感度が高いほどノイズが増え、静止部でも第２相関量（動体度合）が大きくなる可能性があるため、第３閾値と第４閾値を小さくし、静止部でも動体度合が大きくならないように変換される。あるいは、画像補正部１２で生成する合成比率のマップで、ＩＳＯ感度が高いほど第５閾値と第６閾値を小さくすることで、合成画像またはローパス効果の低いフィルタが掛けられた画像の合成比率が大きくなるように設定される。
　また、撮影処理制御部１４は、複数枚撮影時の画像間の露光量ばらつきの有無を検出して、（ステップＳ２２）ばらつき量の多さによって第５閾値、第６閾値を小さくする（ステップＳ２３）。ばらつき量が多くなると静止部でも相関が低くなる可能性があるため、第５閾値と第６閾値を小さくして合成画像またはローパス効果の低いフィルタが掛けられた画像の合成比率が大きくなるように設定される。
　また、撮影処理制御部１４は、複数枚撮影時の画像間のフリッカの有無を検出して（ステップＳ２４）、フリッカ量の多さによって第５閾値、第６閾値を小さくする（ステップＳ２５）。フリッカ量が多くなると静止部でも相関が低くなる可能性があるため、第５閾値と第６閾値を小さくして合成画像またはローパス効果の低いフィルタが掛けられた画像の合成比率が大きくなるように設定される。
　また、本実施形態では、相関係数算出部１１において相関量を相関係数に変換する際に、図４および図５のように第１閾値から第４閾値を設定し折線で変換しているが、図１８のように直線で変換してもよいし、より多くの閾値を設けて折線を増やしてもよいし、曲線的に変換してもよいし、他にも多くの方法が容易に考えられる。
　また、画像補正部１２において図７のように第５閾値と第６閾値を設けて第５閾値以下の場合は基準画像の拡大画像のみとし、第６閾値以上の場合は高解像度合成画像のみとなるような合成比率のマップを採用しているが、図１９のように全ての相関量に対して基準画像の拡大画像と高解像度合成画像が合成比率を持つようなマップにしてもよいし、合成比率が相関量に応じて線形に変化するマップに限るものでもない。
　また、本実施形態においては、相関量を複数のＳＡＤ値から算出したが、ＳＡＤに限らず、画素差分値の平均値や、画素差分値の最大値と最小値の差、ＳＳＤ（画素差分値の２乗の合計値）、ＮＣＣ（正規化相互相関）などを用いてもよい。また、本実施形態においては複数のＳＡＤ値の大小関係演算結果から第１相関量および第２相関量の２つの相関量を算出したが、より多くの相関量を算出してもよい。
　また、本実施形態においては、注目領域を８×８画素として、その中の４×４画素を演算領域としてＳＡＤ値を算出しているが、注目領域及び演算領域のサイズはこれに限るものではない。
　また、画像の領域の特性に応じて演算領域のサイズを可変にして行ってもよい。例えば、演算領域のサイズの上限を３２×３２画素、下限を４×４画素として、画像のコントラストが高いほど注目領域サイズを４×４画素に近づけてより細かく相関量を求め、逆にコントラストが低いほど注目領域のサイズを３２×３２画素に近づけるようにしてもよい。
　このようにすることで、コントラストが高い領域ではより細かい領域毎に動体か非動体かを確実に判別し、アーティファクトの発生抑制と高解像度化を両立できる。そして、低輝度のようなコントラストが低い領域ではより多くの画素値情報に基づいて相関量を算出し、その大小関係演算結果から動体か非動体かを判別するための相関量を確実に算出することができる。
　いずれにしても、本実施形態によれば、合成画像間での複数の相関量の大小関係演算結果から求められた相関量に基づいて合成比率を算出することで動体と非動体を確実に判別することができ、アーティファクト発生の抑制と解像度向上を両立することができる。
　また、本実施形態に係る画像処理方法は、上記のような画像処理装置３によって実施される場合の他、コンピュータにより実行することができる画像処理プログラムによっても実施することができる。この場合、ＣＰＵ等のプロセッサが画像処理プログラムを実行することで、本実施形態に係る画像処理方法が実施される。
　具体的には記憶媒体に記憶された画像処理プログラムが読み出され、読み出された画像処理プログラムがＣＰＵ等のプロセッサにより実行される。ここで、記憶媒体は、プログラムやデータ等を格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ハードディスクドライブあるいはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。
　１　撮像装置
　２　画像取得部
　３　画像処理装置
　６　撮像素子
　９　高解像度合成部
　１０　動体判定部
　１１　相関係数算出部
　１２　画像補正部
　８０，８１　被写体
　Ｓ１　高解像度合成ステップ
　Ｓ２　動体判定ステップ
　Ｓ３　相関係数算出ステップ
　Ｓ４　画像補正ステップ
 

Claims (15)

  1. 　複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成部と、
    　該高解像度合成部により生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定部と、
    　該動体判定部により求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正部とを備える画像処理装置。
  2. 　前記動体判定部により求められた１以上の相関量から相関係数を算出する相関係数算出部を備え、
    　前記画像補正部が、前記相関係数算出部により算出された相関係数に基づく合成比率によって、前記高解像度合成画像と前記基準画像とを合成することにより、前記高解像度合成画像を補正する請求項１に記載の画像処理装置。
  3. 　前記動体判定部により求められた１以上の相関量から相関係数を算出する相関係数算出部を備え、
    　前記画像補正部が、前記相関係数算出部により算出された相関係数に基づく合成比率によって、前記高解像度合成画像に対しローパス効果の異なるフィルタを掛けた２つの画像を合成することにより、前記高解像度合成画像を補正する請求項１に記載の画像処理装置。
  4. 　前記動体判定部が、該高解像度合成部により生成された前記高解像度合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で算出した複数の相関値の大小関係演算により１以上の相関量を求める請求項１から請求項３のいずれかに記載の画像処理装置。
  5. 　前記相関値が、２つの前記比較画像の同位置の領域どうしを用いて算出した相関値、および、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値から選択された２以上の相関値を含む請求項４に記載の画像処理装置。
  6. 　２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値は、あらかじめ設定された高解像度化倍率が水平方向にｍ倍、垂直方向にｎ倍のとき、２つの前記比較画像の位置が相対的に水平方向にｍ画素、垂直方向にｎ画素ずれた位置の領域どうしを用いて算出した相関値である請求項５に記載の画像処理装置。
  7. 　前記基準画像および前記参照画像を取得する画像取得部と、
    　該画像取得部により取得された前記基準画像および前記参照画像を処理する請求項１から請求項６のいずれかに記載の画像処理装置とを備える撮像装置。
  8. 　複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、
    　該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、
    　該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとを含む画像処理方法。
  9. 　前記動体判定ステップにより求められた１以上の相関量から相関係数を算出する相関係数算出ステップを含み、
    　前記画像補正ステップが、前記相関係数算出ステップにより算出された相関係数に基づく合成比率によって、前記高解像度合成画像と前記基準画像とを合成することにより、前記高解像度合成画像を補正する請求項８に記載の画像処理方法。
  10. 　前記動体判定ステップにより求められた１以上の相関量から相関係数を算出する相関係数算出ステップを含み、
    　前記画像補正ステップが、前記相関係数算出ステップにより算出された相関係数に基づく合成比率によって、前記高解像度合成画像に対しローパス効果の異なるフィルタを掛けた２つの画像を合成することにより、前記高解像度合成画像を補正する請求項８に記載の画像処理方法。
  11. 　前記動体判定ステップが、該高解像度合成ステップにより生成された前記高解像度合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で算出した複数の相関値の大小関係演算により１以上の相関量を求める請求項８から請求項１０のいずれかに記載の画像処理方法。
  12. 　前記相関値が、２つの前記比較画像の同位置の領域どうしを用いて算出した相関値、および、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値から選択された２以上の相関値を含む請求項１１に記載の画像処理方法。
  13. 　２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値は、あらかじめ設定された高解像度化倍率が水平方向にｍ倍、垂直方向にｎ倍のとき、２つの前記比較画像の位置が相対的に水平方向にｍ画素、垂直方向にｎ画素ずれた位置の領域どうしを用いて算出した相関値である請求項１２に記載の画像処理方法。
  14. 　複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、
    　該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、
    　該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラム。
  15. 　複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、
    　該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、
    　該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体。
     
PCT/JP2015/079295 2015-10-16 2015-10-16 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 WO2017064807A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580083724.XA CN108141509B (zh) 2015-10-16 2015-10-16 图像处理装置、摄像装置、图像处理方法和存储介质
JP2017545066A JP6592523B2 (ja) 2015-10-16 2015-10-16 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
PCT/JP2015/079295 WO2017064807A1 (ja) 2015-10-16 2015-10-16 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
US15/946,255 US10636126B2 (en) 2015-10-16 2018-04-05 Image processing device, imaging apparatus, image processing method, image processing program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079295 WO2017064807A1 (ja) 2015-10-16 2015-10-16 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/946,255 Continuation US10636126B2 (en) 2015-10-16 2018-04-05 Image processing device, imaging apparatus, image processing method, image processing program, and recording medium

Publications (1)

Publication Number Publication Date
WO2017064807A1 true WO2017064807A1 (ja) 2017-04-20

Family

ID=58518107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/079295 WO2017064807A1 (ja) 2015-10-16 2015-10-16 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

Country Status (4)

Country Link
US (1) US10636126B2 (ja)
JP (1) JP6592523B2 (ja)
CN (1) CN108141509B (ja)
WO (1) WO2017064807A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008693A1 (ja) * 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
US11445109B2 (en) 2017-07-05 2022-09-13 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11882247B2 (en) 2019-12-04 2024-01-23 Olympus Corporation Image acquisition apparatus and camera body

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN106507068B (zh) * 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454288B (zh) 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
US11488290B2 (en) * 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
CN110166710A (zh) * 2019-06-21 2019-08-23 上海闻泰电子科技有限公司 图像合成方法、装置、设备和介质
CN113676659B (zh) * 2021-08-11 2023-05-26 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质
CN115868958A (zh) * 2021-09-28 2023-03-31 西门子(深圳)磁共振有限公司 Mr成像中的运动校正方法、装置、mr成像***及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191136A (ja) * 1996-12-27 1998-07-21 Canon Inc 撮像装置及び画像合成装置
JP2012230486A (ja) * 2011-04-25 2012-11-22 Olympus Corp 画像合成装置、画像合成方法及び画像合成プログラム
JP2015076796A (ja) * 2013-10-10 2015-04-20 オリンパス株式会社 撮像装置及び撮像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429895B1 (en) 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
US7289114B2 (en) * 2003-07-31 2007-10-30 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames
JP4732315B2 (ja) * 2006-12-05 2011-07-27 キヤノン株式会社 画像処理装置及び方法
JP5036421B2 (ja) * 2007-06-25 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP4650560B2 (ja) * 2008-11-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP2011199786A (ja) 2010-03-23 2011-10-06 Olympus Corp 画像処理装置及び画像処理方法並びにプログラム
JP5788551B1 (ja) * 2014-03-27 2015-09-30 オリンパス株式会社 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191136A (ja) * 1996-12-27 1998-07-21 Canon Inc 撮像装置及び画像合成装置
JP2012230486A (ja) * 2011-04-25 2012-11-22 Olympus Corp 画像合成装置、画像合成方法及び画像合成プログラム
JP2015076796A (ja) * 2013-10-10 2015-04-20 オリンパス株式会社 撮像装置及び撮像方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008693A1 (ja) * 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
US11146746B2 (en) 2017-07-05 2021-10-12 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11445109B2 (en) 2017-07-05 2022-09-13 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11882247B2 (en) 2019-12-04 2024-01-23 Olympus Corporation Image acquisition apparatus and camera body

Also Published As

Publication number Publication date
US10636126B2 (en) 2020-04-28
JP6592523B2 (ja) 2019-10-16
CN108141509A (zh) 2018-06-08
JPWO2017064807A1 (ja) 2018-08-09
US20180225810A1 (en) 2018-08-09
CN108141509B (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
JP6592523B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP5847228B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9420175B2 (en) Image processing system, image processing method, and computer-readable medium
US8368771B2 (en) Generating a synthesized image from a plurality of images
JP5016255B2 (ja) ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ
US10491815B2 (en) Image-processing apparatus, image-processing method, and non-transitory computer readable medium storing image-processing program
JP5341010B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US10389952B2 (en) Image-processing device which generates a high-resolution image by combining images, imaging device, image-processing method, and storage-medium
CN109328454B (zh) 图像处理装置
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
US11146746B2 (en) Image processing device, image capturing device, image processing method, and storage medium
CN102629976A (zh) 图像处理设备和图像处理设备的控制方法
JP2011199786A (ja) 画像処理装置及び画像処理方法並びにプログラム
CN109076144B (zh) 图像处理装置、图像处理方法以及存储介质
JP6045767B1 (ja) 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体
JP2014027526A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5683858B2 (ja) 撮像装置
JP2015076796A (ja) 撮像装置及び撮像方法
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5159461B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP2008072428A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP4478981B2 (ja) 色雑音低減手法およびカラー撮像装置
KR20140117242A (ko) 영상 처리 장치 및 방법
JP2012099870A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15906271

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017545066

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15906271

Country of ref document: EP

Kind code of ref document: A1