WO2004114677A1 - 画像処理方法および装置、並びにプログラム - Google Patents

画像処理方法および装置、並びにプログラム Download PDF

Info

Publication number
WO2004114677A1
WO2004114677A1 PCT/JP2004/007790 JP2004007790W WO2004114677A1 WO 2004114677 A1 WO2004114677 A1 WO 2004114677A1 JP 2004007790 W JP2004007790 W JP 2004007790W WO 2004114677 A1 WO2004114677 A1 WO 2004114677A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
obs
pixel value
value
Prior art date
Application number
PCT/JP2004/007790
Other languages
English (en)
French (fr)
Inventor
Mitsuharu Ohki
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP04735362.8A priority Critical patent/EP1638340B1/en
Priority to US10/525,028 priority patent/US7486318B2/en
Publication of WO2004114677A1 publication Critical patent/WO2004114677A1/ja
Priority to US12/314,771 priority patent/US8085313B2/en
Priority to US13/330,234 priority patent/US8692901B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/48—Picture signal generators
    • H04N1/482—Picture signal generators using the same detector device sequentially for different colour components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an image processing method and apparatus, and more particularly to, for example, an image processing method and apparatus that enables a clearer image to be obtained in an imaging apparatus employing a single-plate sensor. And the program. Background art
  • an image (hereinafter, referred to as a captured image) captured by an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Mental Oxide Semiconductor) is transmitted to an LCD provided in the digital camera. (Liquid Crystal Display) and displayed on the monitor and confirmed by the user. Furthermore, the image signal of the captured image is digitized and transmitted via a recording medium such as a flash memory, or through wired or wireless communication such as cable connection or infrared communication, for example, to an image such as a personal computer (PC). It is transferred to the processing device. At the destination personal computer, the captured image of the digital camera is displayed on a monitor such as a CRT (Cathode Ray Tube) or liquid crystal display (LCD), and the user can check and edit the captured image. .
  • a monitor such as a CRT (Cathode Ray Tube) or liquid crystal display (LCD)
  • the digital camera when taking an image of a subject that does not have sufficient brightness in a digital camera, for example, in a place where sunlight is not sufficiently exposed, such as in the shade, or in a dim room, the digital camera needs to have the proper exposure. It is necessary to reduce the shutter speed (the shutter time becomes longer).
  • the digital camera can be fixed on a tripod or the like so that the digital camera does not shake (shake).
  • the digital camera does not shake (shake).
  • the captured image will be blurred due to the camera shake (shake). This blurred image is referred to as a “camera shake” image or a “camera shake” image.
  • the “Image Stabilizer (abbreviated IS)” used in digital cameras manufactured by Canon Inc.
  • a pre-sensor is provided in the optical lens, and the shaking and vibration of the digital camera are detected by the pre-sensor, and a part of the lens group (correction optical system) is detected according to a digital signal indicating the detected shaking and vibration of the digital camera.
  • the effect is large when the long focal point or the shutter speed is slow.
  • the image blur caused by hand-held shooting or the subtle vibration of the shooting table due to wind, etc. is suppressed, and the sharpness is reduced. (Clear) images can be provided to the user.
  • the image stabilizer requires a dedicated sensor for detecting blur and a mechanism for moving a part of the lens group (correction optical system) at high speed, which complicates the structure and increases the manufacturing cost. is there.
  • Other methods for avoiding “camera blurred” images include taking multiple consecutive images with a high-speed shutter, and taking images of the second and subsequent images out of the multiple images taken. For example, there is a method of detecting a shift amount with respect to the first captured image, correcting the second and subsequent captured images by the shift amount, and sequentially adding the corrected image to the first image. -2 1702, JP-A-2000-224460, JP-A-2000-244803, JP-A-2000-244797, JP-A-2000-069352, JP-A-10-34136 No. 7, JP-A-09-261525).
  • a corrected image having the same data array as the first captured image is formed by predetermined correction or interpolation from each of the second and subsequent captured images.
  • a simple addition or a linear addition is applied to the first captured image on a pixel-by-pixel basis.
  • each image taken at high speed is a dark image with a small pre-press because the shutter time (exposure time) is short. Then, since the second and subsequent captured images are added to the first captured image, the final image obtained by the addition can be an image having the same brightness as the proper exposure.
  • This method detects the amount of deviation of the second and subsequent captured images from the first captured image, and corrects (interpolates) the captured image by the amount of the deviation, and the R (Red) signal of one pixel (red Data), G (Green) signal (green data) and B (Blue) signal (blue data) color signals (data) are interpolated using various interpolation functions such as linear interpolation and Pi-cubic interpolation. Interpolation (correction).
  • the present invention has been made in view of such a situation. For example, in an imaging apparatus employing a single-plate sensor, even when camera shake occurs, This is to enable a clear image to be obtained.
  • the image processing method includes: a detecting step of detecting a positional relationship between a plurality of input images captured by an imaging unit that captures an image having a predetermined n pixel values per pixel; Based on the positional relationship detected by the processing, an observation pixel component to be considered from a plurality of input images is specified for each pixel position of the output image. Based on the identified observation pixel component, (n + 1) ) An image estimation step for estimating an output image having more than one pixel value.
  • an observation pixel value to be considered is selected from a plurality of input images for each pixel position of the output image based on the positional relationship detected by the processing of the detection step. Based on this, an output image having (n + 1) or more pixel values per pixel can be estimated.
  • an output image having (n + 1) or more color signals per pixel can be estimated from a plurality of input images based on the positional relationship detected by the processing in the detection step. .
  • the output image can be estimated in consideration of the color correlation at each pixel position of the output image and at or around the pixel position.
  • the pixel values of the pixels of the input image are changed to pixel values corresponding to the steepness of the edge, and the output image can be estimated based on the changed pixel values.
  • n 1
  • an output image having three pixel values per pixel can be estimated from a plurality of input images based on the positional relationship detected by the processing in the detection step.
  • the imaging means is a single-plate sensor, and can observe the color signal to be changed according to the position of the input image.
  • the imaging means may further include an exposure correction step of imaging a plurality of input images with less than proper exposure and increasing a gain of a pixel value of each of the plurality of input images.
  • an exposure correction step of imaging a plurality of input images with less than proper exposure and increasing a gain of a pixel value of each of the plurality of input images.
  • the image estimation step for each pixel of each of the plurality of input images, a correction position of each pixel corresponding to the positional relationship detected by the processing of the detection step is obtained, and a predetermined area around the correction position is determined.
  • a light intensity integration conditional expression generating step for generating a light intensity integration conditional expression that a difference between an integrated value of light of an output image and a pixel value of a pixel at a correction position is within a predetermined error range; And an operation step of performing an operation.
  • the value of the predetermined error can be changed depending on the amount of gain increase.
  • a correction position of each pixel in accordance with the positional relationship detected by the detection step is obtained, and the correction position is determined for each pixel of the output image.
  • the output image can be estimated in consideration of the pixel values of the pixels of the input image in the vicinity of the position and the error depending on the amount of gain up.
  • a correction position of each pixel according to the positional relationship detected by the processing of the detection step is obtained for each pixel of each of the plurality of input images.
  • the output image can be estimated in consideration of the pixel value of the pixel of the input image near the pixel position and the distance between the correction position and the pixel position of the output image.
  • the image estimation step fc for each pixel of each of the plurality of input images, a correction position of each pixel according to the positional relationship detected by the detection step processing is obtained, and the correction position is determined for each pixel of the output image.
  • the output image can be estimated by the panel model based on the pixel values of the pixels of the input image near the pixel position.
  • the image estimation step for each pixel of each of the plurality of input images, a correction position of each pixel in accordance with the positional relationship detected by the detection step is obtained, and the correction position is determined for each pixel of the output image.
  • the output image can be estimated.
  • the position of the pixel of interest in the output image and the correction By performing weighted addition using the pixel value of the pixel of the input image whose correction position is near the position of the target pixel, weighting using a function having the characteristics of a mouth-pass filter with respect to the distance to the position is performed.
  • the pixel value of the target pixel can be estimated.
  • the first arithmetic processing of performing weighted addition using the pixel values of the pixels of the input image whose correction position is near the position of the pixel of interest, or the output of the correction position where the correction position is around the pixel of interest The pixel value of the pixel of interest can be estimated by selecting and performing the second arithmetic processing for performing weighted addition using the pixel value of the pixel of the input image in the vicinity of the pixel position of the image.
  • the second arithmetic processing can be selected when the sum of the weights in the first arithmetic processing is 0 or a value close to 0.
  • the first arithmetic processing of performing weighted addition using the pixel value of the pixel of the input image whose correction position is in the first vicinity of the position of the target pixel, or the correction position of the target pixel is The pixel value of the pixel of interest is obtained by selecting and performing the second arithmetic processing for performing weighted addition using the pixel values of the pixels of the input image in the second neighborhood of a range wider than the first neighborhood of the position. Can be estimated.
  • the second arithmetic processing can be selected when the sum of the weights in the first arithmetic processing is 0 or a value close to 0.
  • the pixel value of the pixel of interest is estimated by selecting the second arithmetic processing for weighting and adding the pixel values of the pixels of the input image near the position of the pixel of interest with the second weight. Can be done.
  • the second arithmetic processing can be selected when the sum of the weights in the first arithmetic processing is 0 or a value close to 0.
  • the positional relationship between the plurality of input images can be detected based on the input images captured at an intermediate time or a time near the time when the plurality of input images are captured.
  • the image processing apparatus includes: an imaging unit that captures a plurality of input images having predetermined n pixel values per pixel; a detection unit that detects a positional relationship between the plurality of input images; and a detection unit. Based on the detected positional relationship, the observed pixel components to be considered are specified from multiple input images for each pixel position of the output image. Based on the identified observed pixel components, more than (n + 1) pixels Image estimating means for estimating the output image having a pixel value.
  • the program according to the present invention includes a detection step for detecting a positional relationship between a plurality of input images picked up by an image pickup means for picking up an image having a predetermined n pixel values per pixel, and a detection step for detecting the positional relationship between the plurality of input images. Based on the determined positional relationship, the observed pixel components to be considered from multiple input images are specified for each pixel position of the output image, and based on the specified observed pixel components, 1. (n + 1) or more pixels per pixel And an image estimating step of estimating an output image having a value.
  • a positional relationship among a plurality of input images having a predetermined n pixel values per pixel is detected, and a plurality of input images are output for each pixel position of an output plane image based on the detected positional relationship.
  • An observation pixel component to be considered is specified from the image, and an output image having (n + 1) or more pixel values per pixel is estimated based on the specified observation pixel component.
  • the image processing device may be an independent device or a block that performs image processing of one device.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a digital camera 1 to which the present invention is applied.
  • FIG. 2 is a flowchart illustrating the imaging process of the digital camera 1 in FIG.
  • FIG. 3 is a diagram showing an array of pixels of the image sensor 4 in FIG.
  • FIG. 4 is a block diagram showing a detailed configuration example of the signal processing circuit 7 of FIG.
  • FIG. 5 is a diagram illustrating the relationship between the coordinates of the first image and the second image.
  • FIG. 6 is a flowchart for explaining the first embodiment of the image estimation processing.
  • FIG. 7 is a front chart explaining the first embodiment of the image estimation processing.
  • FIG. 8 is a diagram for explaining conditions of color correlation in the second embodiment.
  • 'FIG. 9 is a diagram for explaining the conditions of color correlation in the second embodiment.
  • FIG. 10 is a flowchart illustrating a second embodiment of the image estimation process.
  • FIG. 11 is a flowchart for explaining a second embodiment of the image estimation processing.
  • FIG. 12 is a flowchart illustrating a second embodiment of the image estimation process.
  • FIG. 13 is a diagram showing the first image stored in the frame memory 22-1.
  • FIG. 14 is a diagram showing a second image stored in the frame memory 22-2.
  • FIG. 15 is a diagram showing a third image stored in the frame memory 22-3.
  • FIG. 16 is a diagram showing the pixels of the image sensor 4.
  • FIG. 17 is a diagram showing an array of pixels of the image sensor 4 in FIG.
  • FIG. 18 is a diagram illustrating a spring model.
  • FIG. 19 is a diagram illustrating a spring model.
  • FIG. 20 illustrates the panel model
  • FIG. 21 is a diagram illustrating a spring model.
  • FIG. 22 is a diagram illustrating the panel model.
  • FIG. 23 is a diagram illustrating a spring model.
  • FIG. 24 is a flowchart for explaining a third embodiment of the image estimation processing.
  • FIG. 25 is a flowchart for explaining a fourth embodiment of the image estimation processing.
  • FIG. 26 is a flowchart illustrating a fifth embodiment of the image estimation processing.
  • FIG. 27 is a diagram illustrating a state where each pixel of the image sensor 4 receives a green component (G signal).
  • FIG. 28 is a view for explaining vertical edges.
  • FIG. 29 is a diagram for explaining edges in the horizontal direction.
  • FIG. 30 is a diagram illustrating edges from the upper left to the lower right.
  • FIG. 31 is a diagram for explaining edges from the upper right to the lower left.
  • FIG. 32 is a diagram illustrating a plane Q1 created when a vertical edge is detected.
  • FIG. 33 is a diagram illustrating a plane Q2 created when a horizontal edge is detected.
  • FIG. 34 is a diagram illustrating a plane Q3 created when an edge from the upper left to the lower right is detected.
  • FIG. 35 is a diagram illustrating a plane Q4 created when an edge from the upper right to the lower left is detected.
  • FIG. 36 is a flowchart for describing the sixth embodiment of the image estimation processing.
  • FIG. 37 is a view for explaining the condition of color correlation in the seventh embodiment.
  • FIG. 38 is a diagram for explaining the condition of color correlation in the seventh embodiment.
  • FIG. 39 is a flowchart for explaining the seventh embodiment of the image estimation processing.
  • Figure 40 shows the difference between the present invention and the conventional method! It is a figure explaining /.
  • FIG. 41 is a block diagram showing a configuration example of a computer according to an embodiment of the present invention.
  • FIG. 42 is a diagram for explaining the cubic function.
  • FIG. 43 is a view for explaining pixel values on the reference coordinate system at the target position (, J ′).
  • Figure 44 4 shows the pixel values on the reference coordinate system at the target position ( ⁇ , J ') in the exceptional state.
  • FIG. 45 is a diagram for explaining the exception processing of the G signal.
  • FIG. 46 is a diagram for explaining exception processing of the G signal.
  • FIG. 47 is a diagram for explaining exception processing of the R signal.
  • FIG. 48 is a view for explaining exception processing of the R signal.
  • FIG. 49 is a flowchart for explaining the eighth embodiment of the image estimation processing.
  • FIG. 50 is a flowchart for explaining the eighth embodiment of the image estimation processing.
  • FIG. 51 is a flowchart for explaining the eighth embodiment of the image estimation processing.
  • FIG. 52 is a flowchart for explaining the eighth embodiment of the image estimation processing.
  • FIG. 53 is a flowchart for explaining the eighth embodiment of the image estimation processing.
  • 5 4 is a diagram showing a captured image 4 0 1 ⁇ to 4 0 1 8.
  • FIG. 55 is a diagram illustrating an output image obtained when the first captured image is used as a reference image.
  • FIG. 56 is a diagram illustrating an output image obtained when an intermediate image is used as a reference image.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a digital (still) camera 1 to which the present invention is applied.
  • the digital camera 1 in Fig. 1 has a lens 2, an aperture 3, an image sensor 4, a correlated double sampling circuit 5, an A / D (Analog / Digital) converter 6, a signal processing circuit 7, a timing generator 8, and a D / A. (Digital / Analog) converter 9, Video encoder 1 0 It consists of a monitor 11, a codec (CODEC) 12, a memory 13, a nos 14, a CPU (Central Processing Unit) 15, and an input device 16.
  • the A / D converter 6 has a shift circuit 21, and the signal processing circuit 7 has a frame memory 22.
  • the imaging element 4 of a single-chip sensor composed of a CCD, CMOS, or the like has a predetermined number of pixels (imaging elements).
  • the image sensor 4 receives the light of the subject that is incident at predetermined intervals and for a predetermined time (shutter time) according to the exposure timing signal supplied from the timing generator 8. Then, the imaging element 4 converts the amount of light received at each light receiving element on the imaging surface into an electric signal by photoelectric conversion, and supplies the image signal converted into the electric signal to the correlated double sampling circuit 5. Since the image sensor 4 is a single-chip sensor, the electrical signal supplied to the correlated double sampling circuit 5 is one of R signal, G signal, and B signal per pixel ( Data).
  • the correlated double sampling circuit 5 removes a noise component of the image signal (electric signal) supplied from the image sensor 4 by correlated double sampling, and supplies the noise component to the A / D converter 6.
  • the A / D converter 6 performs A / D conversion, that is, samples and quantizes the noise-removed image signal of the subject supplied from the correlated double sampling circuit 5.
  • the shift circuit 21 converts the A / D
  • the subsequent digital image is converted to an image signal having the same brightness (value) as the proper exposure (gain-up) by multiplying it by M k by, for example, n-bit shifting, and the signal processing circuit 7 To supply.
  • the noise component of the image signal is removed, but not all the noise components are completely removed. Therefore, there are noise components that are not removed by the correlated double sampling circuit 5.
  • the noise component that is not removed by the correlated double sampling circuit 5 becomes an error with respect to the true value of the image signal, and is multiplied by M k in the shift circuit 21 together with the image signal. Therefore, it can be said that the error depends on the amount of gain increase in the shift circuit 21.
  • the noise amount of the noise component that is not removed by the correlation double sampling circuit 5 is E.
  • the noise amount E for example, a conceivable maximum value can be adopted according to the characteristics of the imaging element 4.
  • the image signals of the N captured images supplied from the A / D converter 6 that have been converted to M k times the brightness and gained up to the same brightness as the proper exposure are supplied to the frame memory 2 of the signal processing circuit 7. Stored in 2 temporarily.
  • the signal processing circuit 7 performs predetermined processing on the image signals of the N captured images whose gain has been increased to the same brightness as the appropriate exposure stored in the frame memory 22 in accordance with various programs set in advance. .
  • the signal processing circuit 7 sets the first captured image among the N captured images as a reference image, the second to Nth captured images as target images, and sets the target image with respect to the reference image. Detects what kind of positional deviation has occurred, and detects the amount of positional deviation (positional relationship) between the reference image and the target image. Then, the signal processing circuit 7 outputs a single clear image (output image) in which the camera shake has been corrected based on the deviation amount. Image), an output image having all of the G signal, R signal, and B signal per pixel is obtained, and the image signal of the obtained output image is transmitted to the D / A converter 9 and / or the codec 12 or both. Supply.
  • the signal processing circuit 7 is a DSP (Digial
  • the timing generator 8 converts an exposure (exposure) timing signal into an image sensor 4, a correlated double sampling circuit 5, an A / D converter 6, and a signal processing so that N images are taken at predetermined intervals. Supply to circuit 7. This interval can be changed by the user according to, for example, the brightness of the subject.
  • the interval change value determined by the CPU 15 by operating the input device 16 by the user is supplied from the CPU 15 to the timing generator 8 via the bus 14. You.
  • the D / A converter 9 D / A converts the image signal of the output image supplied from the signal processing circuit 7 and supplies the image signal to the video encoder 10.
  • the video encoder 10 converts the image signal (analog signal) supplied from the D / A converter 9 into a video signal that can be displayed on the monitor 11 and supplies the video signal to the monitor 11.
  • the monitor 11 plays a role of a finder or the like of the digital camera 1 and is configured by an LCD, a CRT, or the like, and displays a video signal supplied from the video encoder 10. As a result, a clear image is displayed on the monitor 11.
  • the codec 12 converts the image signal of the output image supplied from the signal processing circuit 7 into a predetermined format such as a JPEG (Joint Photographic Experts Group) format, an MPEG (Moving Picture Experts Group) format, or a DV (Digital Video) format. And supplies it to the memory 13.
  • a predetermined format such as a JPEG (Joint Photographic Experts Group) format, an MPEG (Moving Picture Experts Group) format, or a DV (Digital Video) format.
  • the memory 13 is constituted by a semiconductor memory such as a flash memory, and temporarily or permanently stores (records) an encoded image signal supplied from the codec 12. Note that instead of the memory 13, a magnetic disk, optical (magnetic) disk, etc. Recording media can be used.
  • the memory 13 or a recording medium used in place of the memory 13 can be detachable from the digital camera 1. Note that it is also possible to provide both a recording medium built in the digital camera 1 and a recording medium detachable from the digital camera 1.
  • the CPU 15 supplies a control signal to each unit via the bus 14 to control various processes. For example, in accordance with an imaging start signal supplied from the input device 16 in response to a user operation, a control signal is supplied to each unit such that an object is imaged and the image is stored in the memory 13.
  • the input device 16 has operation buttons such as a release button on the main body of the digital camera 1. Various signals generated when the user operates the operation buttons are supplied to the CPU 15 via the bus 14, and the CPU 15 receives various signals supplied from the input device 16 via the bus 14. Each part is controlled to execute the process according to the signal.
  • One or more operation buttons of the input device 16 can be displayed on the monitor 11. The operation of the operation button displayed on the monitor 11 can be detected, for example, by providing a transparent tablet on the monitor 11 and using the tablet.
  • step S1 the image sensor 4 images a subject.
  • the imaging element 4 continuously shoots N times at predetermined intervals according to the exposure timing signal supplied from the timing generator 8 in the shooting by pressing the release button (shirt button) once. N times of high-speed imaging is performed by receiving this light. Therefore, N shot images are obtained in one shooting, and each shot image is a ⁇ ⁇ image with an appropriate exposure or less.
  • the received light of the subject is photoelectrically converted, and after the noise component is removed by the correlated double sampling circuit 5, the light is supplied to the A / D converter 6. Then, the process proceeds to step S2.
  • step S2 the A / D converter 6 outputs the correlated double sampling circuit 5 It converts the image signal of the subject, from which noise has been removed, supplied from the camera.
  • the shift circuit 21 converts the dark image below the proper exposure by n ′ bit shift to an image signal of the same brightness (value) as the proper exposure (increases the gain), and supplies it to the signal processing circuit 7.
  • step S3 the signal processing circuit 7 sets the first image as a reference image, sets each of the second and subsequent images as a target image, and sets the target images (second to Nth images) as reference images.
  • the process proceeds to step S4.
  • step S4 the signal processing circuit 7 performs an image estimation process based on the N captured images and the amount of positional deviation of the target image with respect to the reference image detected in step S3, and proceeds to step S5. move on.
  • this processing allows the signal processing circuit 7 to convert one pixel as a single clear image (output image) in which the camera shake has been corrected into a G signal, an R signal, and a B signal. An output image having the following is obtained, and an image signal of the obtained output image is supplied to the D / A converter 9 and / or the codec 12 or both.
  • step S5 the monitor 11 displays the output image, records the output image in the memory 13 such as a flash memory, and ends the processing. That is, in step S5, the image signal supplied from the signal processing circuit 7 to the D / A converter 9 in step S4 is converted into an analog signal, and supplied to the video encoder 10. Further, in step S5, the video encoder 10 converts the analog signal of the image signal supplied from the D / A converter 9 into a video signal that can be displayed on the monitor 11, and supplies the video signal to the monitor 11 I do. Then, in step S5, the monitor 11 displays an image based on the video signal supplied from the video encoder 10, and ends the processing.
  • step S5 the image signal supplied from the signal processing circuit 7 to the codec 12 in step S4 is subjected to a predetermined encoding such as JPEG or MPEG, and stored in a memory 13 such as a flash memory. It is recorded and the processing ends.
  • FIG. 3 shows an array of pixels of the image sensor 4. Note that FIG. 3 shows a pixel in the upper left portion of the image sensor 4 (a total of 24 pixels, 6 pixels in the horizontal direction and 4 pixels in the vertical direction), but pixels in other portions are similarly arranged. It is assumed that
  • an XY coordinate system is set in which the upper left corner of the image sensor 4 is the origin, the horizontal (right) direction is the X direction, and the vertical (down) direction is the Y direction.
  • the length (width) of one pixel in the vertical and horizontal directions is 1 respectively.
  • the position (center position) of the i-th pixel from the left and the j-th pixel from the top can be expressed as (i-0.5, j-0.5).
  • the arrangement of the pixels of the imaging element 4 is a so-called Bayer arrangement.
  • the pixel from which the G signal can be extracted is the pixel G 0 0, which is the first pixel in the X direction from the origin and the first pixel in the Y direction, the third pixel in the X direction from the origin, and 1 in the Y direction.
  • the pixel G 0 2 the fifth pixel in the X direction from the origin, the pixel G 0 4, the first pixel in the Y direction, the second pixel in the X direction from the origin, and the second pixel in the Y direction
  • Pixel G11, pixel G13, pixel G15, pixel G20, pixel G22, pixel G24, pixel G31, pixel G33, pixel G3 5 are located.
  • the pixel from which the R signal can be extracted is the pixel R 0 1 which is the second pixel in the X direction from the origin and the first pixel in the Y direction, the fourth pixel in the X direction from the origin, and 1 in the Y direction.
  • the pixel R 0 3 which is the pixel, the sixth pixel in the X direction from the origin, the pixel R 0 5 which is the first pixel in the Y direction, the second pixel in the X direction from the origin, and the third pixel in the Y direction
  • a pixel R 21 and a pixel R 23 are similarly arranged.
  • the pixel from which the B signal can be extracted is the pixel B 10 which is the first pixel in the X direction from the origin and the second pixel in the Y direction, the third pixel in the X direction from the origin, and the second pixel in the Y direction.
  • the pixel B30 and the pixel B32 are also arranged.
  • the predetermined position (X, y) of the image sensor 4 in the XY coordinate system (X, y is
  • the G signal, R signal, and B signal of one clear image without camera shake are denoted by L g (X, y), L r (x, y), and L b (x, y), respectively.
  • the G signal, R signal, and B signal of one clear image without camera shake are converted to L g ( i, j), Lr (i, j) and Lb (i, j).
  • L g (x, y), L r (x, y), L b (x, y) (L g (i, j), L r (i, j), L b (i, j)) Each represents the true green, red, and blue light levels (data) at a given location (x, y) (the “i-th, j-th pixel”) without camera shake or noise.
  • L g (x, y), L r (x, y), L b (x, y) (L g (i, j), L r (i, j), L b (i , j)) are the true green light amounts L g (x, y) ⁇ (L g (i, j)) and the true red light amounts L r (x, y) (L r (i, j)) , L b (x, y) (L b (i, j)).
  • the array of pixels of the image sensor 4 is assumed to be a Bayer array, but the array of pixels is not limited to the Bayer array, but may be any other array. Good.
  • variables i g, j g, i r, j r, i b, and j b used for each pixel of the G signal, the R signal, and the B signal are defined.
  • the variables ig and jg represent the position i in the X direction and the position j in the Y direction of the pixel from which the G signal can be extracted. That is, the combination of the variables ig and jg is equal to the combination of the variables i and j from which the G signal can be extracted.
  • the variables ig and jg satisfy the condition that the difference (i_j) between the variables i and j is an even number from the nature of the array.
  • the difference between the variables ig and jg (ig-jg) is even. Therefore, the “ig-th and jg-th pixels” are pixels from which the G signal can be extracted.
  • the conditions of the variables ig and jg are determined according to the properties of the array.
  • the variables r and jr represent the position i in the X direction and the position j in the Y direction for the pixel from which the R signal can be extracted. That is, the combination of the variables ir and jr is equal to the combination of the variable j from which the R signal can be extracted.
  • the variables ir and jr satisfy the condition that the variable i is even and the difference (i-j) between the variables i and j is odd because of the nature of the array.
  • the difference between the variables ir and jr (ir1; jr) is also odd. Therefore,
  • the “ir-th, j- r- th pixel” is a pixel from which the R signal can be extracted.
  • the conditions of the variables ir and jr depend on the properties of the array.
  • the variables i b and j b represent a position i in the X direction and a position j in the Y direction for a pixel from which the B signal can be extracted. That is, the combination of variables i b and j b is equal to the combination of variable j from which the B signal can be extracted.
  • variables i b and j b satisfy the condition that the variable i is odd and the difference (i_j) between the variables i and j is odd.
  • the difference between the variables i b and j b (i b — j b) is also odd. Therefore,
  • the “i b-th and j b-th pixels” are pixels from which the B signal can be extracted. In the case of an array other than the Bayer array, the conditions of the variables i b and j b depend on the properties of the array.
  • the pixel value obtained at the “ir-th, jr-th pixel” is R obs (k, ir,;
  • ), and 3 ⁇ 4: the “ib-th, jb-th pixel” of the sheet (] ⁇ 1 to N)
  • B obs (k, ib, jb) be the pixel value obtained from.
  • the pixel value obtained by the first pixel G 00 is represented by G obs (1,1,1)
  • the pixel value obtained by the second pixel G 04 is G obs (2,5,1) ).
  • k represents an integer from 1 to N.
  • a pixel having pixel values G obs (k, ig, jg), R obs (k, ir, jr), and B obs (k, ib, jb) is a pixel G (jg-1), respectively. (ig-1), R (jr-1) (ir-1), and B (jb-1) (ib-1).
  • FIG. 4 shows a detailed configuration example of a part of the signal processing circuit 7 of FIG.
  • the signal processing circuit 7 includes a frame memory 22, a motion detection circuit 23, an arithmetic circuit 24, and a controller 25.
  • the frame memory 22 is composed of frame memories 22-1 to 22_N
  • the motion detection circuit 23 is composed of motion detection circuits 23-1 to 23- (N-1).
  • the N captured images are supplied from the A / D converter 6 to the frame memory 22.
  • the frame memory 22-1 stores (stores) the first captured image supplied from the A / D converter 6.
  • the frame memory 22-2 stores the second captured image supplied from the A / D converter 6.
  • the frame memory 22_1 supplies the stored first captured image to the arithmetic circuit 24 and the motion detection circuits 23-1 to 23-3- (N-1).
  • the frame memory 22-2 supplies the stored second captured image to the arithmetic circuit 24 and the motion detection circuit 23-1 at a predetermined timing.
  • the frame memory 22-k supplies the stored k-th captured image to the arithmetic circuit 24 and the motion detection circuit 23- (k-1) at a predetermined timing.
  • the motion detection circuit 23 detects the positional relationship between the two captured images. That is, the motion detection circuit 23 uses the first captured image as a reference image, and sets each of the second and subsequent captured images as a target image, and generates a target image (second to Nth images). Detects what kind of misalignment force has occurred with respect to the reference image, and the amount of displacement (movement) of the target image with respect to the reference image. Note that this shift amount is caused, for example, by camera shake.
  • the motion detection circuit 23-1 is supplied with the first captured image as the reference image from the frame memory 22-1 and the second captured image as the target image from the frame memory 22-2. You.
  • the motion detection circuit 23-1 determines the position of each pixel of the second captured image (or each block when the entire screen is divided into a plurality of blocks).
  • the rotation angle 0 2, the scale S 2, and the translation amount (T 2 X, T 2 X) are detected so that the positional relationship between the first captured image and the second captured image is expressed as
  • the conversion parameter (62, T2x, T2y, S2) composed of T2y) is obtained and supplied to the arithmetic circuit 24.
  • Equation (1) is a so-called affine transformation equation.
  • (X 2 is the pixel position of the second captured image
  • (2): Y 1 ( 2) ) is one This is the position of the eye on the captured image.
  • the subscript (2) indicates that a certain position of the second captured image has been repositioned.
  • the conversion parameters (02, T2X, T2y, S2) are obtained by setting the position (X2, Y2) on the second captured image to the position (XI, Y2) on the first captured image.
  • the image is rotated by an angle of 02, and the digital camera 1 is moved in the direction of the subject, so the image is enlarged by S times (or reduced when S is 2), It means that it is shifted by (T 2 x, ⁇ 2 y) in the direction parallel to the subject.
  • S2 1.
  • the motion detection circuit 23-2 is supplied with the first captured image as the reference image from the frame memory 22-1 and the third captured image as the target image from the frame memory 22-3. You.
  • the motion detection circuit 23-2 is used to determine the position of each pixel of the third captured image (or each block when the entire screen is divided into multiple blocks). And the rotation angle 0 3, scale S 3, and translation amount (T 3 X) such that the positional relationship between the first captured image and the third captured image is expressed by the following equation (2). , T 3 y), and obtains the conversion parameters (03, T 3 x, T 3 y, S 3) and supplies them to the arithmetic circuit 24.
  • Equation (2) is a so-called affine transformation equation.
  • (X 3, Y 3) is the pixel position of the third captured image
  • (XI ( 3 ), Y 1 ( 3) ) is the position on the first captured image.
  • the subscript (3) indicates that the position of the third captured image has been repositioned.
  • the conversion parameters (03, T3x, T3y, S3) are the position (X3, Y3) on the third captured image
  • the image is rotated by an angle e3 for hand-held shooting, and the image is enlarged by S3 times (reduced when S3 ⁇ 1) because the digital camera 1 is moved in the direction of the subject.
  • the motion detection circuit 23— (k—1) stores the first captured image as the reference image from the frame memory 22-1 and the k-th captured image as the target image in the frame memory 2 2 — Supplied from k respectively.
  • the motion detection circuit 23 determines the position of each pixel of the k-th captured image (or each block when the entire screen is divided into multiple blocks). Rotation angle 0 k, scale S k, parallel movement amount such that the positional relationship between the first captured image and the k-th captured image is expressed by the following equation (3).
  • the conversion parameters (0 k, T kX, T ky, S k) composed of (T kx, T ky) are obtained and supplied to the arithmetic circuit 24.
  • Equation (3) is a so-called affine transformation equation.
  • (Xk, Yk) is the pixel position of the k-th captured image
  • ( ⁇ 1 ⁇ , ⁇ 1 (k) ) Is the position on the first captured image.
  • the subscript (k) indicates that the position of the k-th image has been transformed.
  • the conversion parameters (0 k, Tk x, T ky, S k) are calculated based on the position (Xk, Yk) on the kth captured image and the position (XI, Y1) on the first captured image.
  • the camera is rotated by an angle for hand-held shooting, and the image is enlarged by S k times (reduced when S k ⁇ l) because the digital camera 1 is moved in the direction of the subject, and is parallel to the subject. It means that it has shifted by (T kx, Tky).
  • the influence of the horizontal pre-swing (sway) parallel to the surface of the image sensor 4 is large, and the pre-sway (sway) from the digital camera 1 to the direction of the subject is small.
  • the conversion parameters (0 k, T kx, T ky, S k) are obtained from the positional relationship of the k-th captured image with respect to the first captured image. It is also possible to provide an acceleration sensor in the sensor and to obtain the output from the acceleration sensor in a way that is mechanically effective.
  • the arithmetic circuit 24 is supplied with N captured images from the frame memories 22-1 to 22 -N.
  • the arithmetic circuit 24 also includes a conversion parameter (from the motion detection circuits 23-1 to 23-(N 11)) representing the positional relationship between the first captured image and the k-th captured image. 0 k, T k X, T ky, S k).
  • the arithmetic circuit 24 is described later based on the positional relationship of the second to Nth captured images supplied from the motion detection circuits 23-1 to 23-3 (N-1) with respect to the first captured image.
  • image signals G signal, R signal, B signal
  • Each of the N captured images supplied from the A / D converter 6 to the signal processing circuit 7 is a signal in which one pixel has one of a G signal, an R signal, and a B signal
  • the image signal estimated by the arithmetic circuit 24 is a signal (data) having three color signals of a G signal, an R signal, and a B signal per pixel.
  • the controller 25 Under the control of the CPU 15, the controller 25 includes a frame memory 22-1 to 22 -N in the signal processing circuit 7, a motion detection circuit 23-1 to 23-(N- 1), and an arithmetic circuit Perform control such as 24. Note that, instead of the CPU 15 (FIG. 1) controller 25, the frame memories 22-1 to 22-N in the signal processing circuit 7 and the motion detection circuits 23-1 to 23-3 (N-1 ), The arithmetic circuit 24 and the like can be controlled. In this case, the controller 25 can be omitted.
  • the number of pixels of R and B signals is smaller than the number of pixels of G signals. Therefore, the R signal and the B signal in the output image obtained by the signal processing circuit 7 may have a larger error than the G signal.
  • a one-pass filter that limits the band of the high-frequency component only for the color difference signal while keeping the luminance signal as it is should be placed after the arithmetic circuit 24. Thus, noise can be eliminated.
  • the arithmetic circuit 24 a high-speed arithmetic circuit that performs real-time processing that can perform processing while sequentially capturing captured images during continuous imaging, the frame memories 22-1 to 22- The number of N and the number of motion detection circuits 23-1 to 23-(N-1) can be reduced. Thus, the size of the signal processing circuit 7 can be reduced.
  • an on-chip lens (not shown) is disposed immediately above (the light receiving unit of) each pixel of the image sensor 4.
  • the on-chip lens converges all the light of the subject incident on the on-chip lens to one point. Therefore, the pixel immediately below the on-chip lens can receive all the light of the subject incident on the on-chip lens as an integrated value. Thereby, an effect that the detection sensitivity of each pixel is improved can be obtained.
  • the data (light reception amount) received by each pixel of the image sensor 4 is not the value of the light of the subject incident on a certain point of the pixel (ie, not the point-sampled data), but It is the integral value of the light of the object incident on the surface (light receiving surface) 'with a certain finite area.
  • a clear image (output image) is obtained as an image estimation process by accurately formulating the characteristics of the on-chip lens.
  • the data of each pixel is generally considered as point-sampled data.
  • the actual amount of light received by each pixel of the image sensor 4 is a value (integral value) of light incident on a surface having a certain area, so that an accurate image is estimated. (Restoration) It was hard to say.
  • a green filter is mounted on the upper left pixel G00 of the light receiving element 4 as a single-plate sensor so as to transmit only a green component of the incident light.
  • the light received by pixel GO 0 is surrounded by (0, 0), (0, 1), (1, 0), and (1, 1, 1) in the coordinate system of Fig. 3 due to the effect of the on-chip lens. It becomes light incident on the rectangular area. In other words, all the light of the subject incident on the rectangular area surrounded by (0, 0), (0, 1), (1, 0), and (1, 1) is “1st, 1st pixel G 00 is received.
  • the left side of equation (4) is the true green light amount L g (X, y) at the position (x, y) in the coordinate system of the first captured image, as (0, 0), It is a rectangular area surrounded by (0, 1), (1, 0), and (1, 1), that is, integrated with 0 ⁇ x ⁇ 1 and 0 ⁇ y ⁇ 1.
  • the right side of equation (4) is the pixel value Go b s (1, 1, 1) obtained (observed) from the first “first, first pixel” at that time.
  • Equation (4) shows that the integrated value of the true green light quantity L g (X, y) incident on the light receiving surface of the pixel G00 at the time of imaging of the first image at the pixel G00 is observed at the pixel G00 It is equal to the pixel value Go bs (1, 1, 1).
  • Equation (4) the range integrated on the left-hand side of Equation (4) is reduced by, for example, one, so that, for example, (0.1, 0.1), (0.1, 0.9), (0.9, It should be a rectangular area surrounded by 0.1) and (0.9, 0.9).
  • an optical low-pass filter is incorporated in front of each pixel.
  • a wider range of light than a rectangular area of one pixel is input to the pixel.
  • the area integrated on the left side of Equation (4) should be a rectangular area that is slightly larger.
  • a red filter is mounted on the uppermost pixel R 01 of the light receiving element 4 which is a single-plate sensor so as to transmit only the red component of the incident light.
  • the light received by pixel R 01 is surrounded by (1, 0), (1, 1), (2, 0), and (2, 1) in the coordinate system of FIG. 3 due to the effect of the on-chip lens.
  • Light incident on the rectangular area That is, all of the light of the subject incident on the rectangular area enclosed by (1, 0), (1, 1), (2, 0), and (2, 1) is “the second and first pixels.
  • R 01 is received.
  • Equation (5) is the (incoming) true red light quantity L r (x, y) at the position (x, y) in the coordinate system of the first captured image, as (1, 0) ′ (1, 1), (2,
  • Equation (5) shows that the integral value on the light receiving surface of the true red light amount Lr (x, y) incident on the light receiving surface of the pixel R 01 at the time of imaging of the first image is the pixel R 0 1 It is equal to the pixel value R obs (1, 2, 1) observed at. Note that depending on the performance of the on-chip lens, it may not be possible to converge the light of the subject incident on the periphery of each pixel (the so-called “shelf” part).
  • Equation (5) the range to be integrated on the left side of Equation (5) is reduced by, for example, one, so that, for example, (1.1, 0.1), (1.1, 0.9), (1.9, It should be a rectangular area enclosed by 0.1) and (1.9, 0.9).
  • Equation (6) expresses the true green light amount L g ( X , y) in the coordinate system of FIG. 3 as (ig-1, jg-1, (ig-1, jg), (ig, jg-: U , And ig, jg), that is, the pixel values G obs obtained by integrating the coordinate system of the first captured image with ig_l ⁇ x ig and jg—1 ⁇ y x jg (1, ig, jg).
  • R (jr—l) (ir-1) which is the ir-th and jr-th pixel J, has its pixel value R obs (1, ir, jr) and the true red light intensity
  • Equation (7) expresses the true red light amount L r (x, y) in the coordinate system of FIG. 3 as (ir — 1, jr-1), (ir — 1, jr), (ir, jr — l ), And (ir, jr), that is, the rectangular area defined by the coordinates of ir—l ⁇ x ⁇ ir and jr—1 ⁇ y ⁇ jr in the coordinate system of the first captured image is represented by the pixel value R obs (1, ir, jr).
  • Equation (8) expresses the true blue light quantity L b (x, y) in the coordinate system of FIG. 3 as (ib — 1, jb — 1), (ib-1, jb), (ib, jb — 1 ), And a rectangular area surrounded by (ib, jb), that is, the coordinate system of the first captured image, i b — l ⁇ x, ib and jb — 1 y, obs (1, ib, jb).
  • the image signal (observed pixel value) includes the noise amount E, and the noise amount E is gained up to Mk times. Therefore, considering the noise component of (ExMk) in Eqs. (6), (7) and (8), the light intensity integration expressed by Eqs. (9), (10) and (11) respectively. The conditional expression is obtained. Lg (x, y) dxdy-Gobs (1, ig, jg)
  • I x I represents the absolute value of X.
  • Equation (9) indicates that the difference between the integrated value of the light amount L g (X, y) and the observed pixel value G ob S (1, ig, jg) is the maximum possible noise amount M l XE It indicates that: The same applies to the expressions (10) and (11).
  • the k-th captured image is also referred to as the k-th image.c
  • the second image stored in the frame memory 22-2 is the same as the first image.
  • the relationship between the pixel value obtained (observed) at each pixel and the light incident from the on-chip lens is formulated.
  • the upper left pixel G 00 of the light receiving element 4 is provided with a green filter so as to absorb only the green component of the incident light.
  • the light received by the pixel G O 0 is (0, 0) in the coordinate system of the second image due to the effect of the on-chip lens.
  • the light is incident on a rectangular area surrounded by (0, 1), (1, 0), and (1, 1).
  • the positions (0, 0), (0, 1), (1, 0), And (1, 1) are converted to the coordinate system of the first image using the conversion parameters (0 2, T 2 X, T 2 y, S 2), and the positions are (0 ( 2 ), 0 (2 )), (0 ( 2 ), 1 ( 2 )) '(1 (2) , 0 (2) ), and (1 (2 >, 1 (2) ). Therefore, (0 (2) , 0 (2) ), (0 (2) ,
  • the left side of equation (1 2) expresses the true green light quantity L g (x, y) as P (2, 0, 0), P (2, 0, 1), P (2, 1, 0), And a rectangular area surrounded by P (2, 1, 1), that is, (0 (2) , 0 (2) ), (0 (2) , 1 (2) ), (1 (2) , 0 ( 2 )) and ( 1 ⁇ , 1 (2) ).
  • the right side of the equation (1 2) is the pixel value G obs (2, 1, 1) obtained at the “first and first pixel” of the second image at that time.
  • Equation (1 2) is obtained by calculating the pixel value G obs (2, 1, 1) I observed at the second pixel GO 0 as (0 (2) , 0 (2) ), (0 ( 2) , 1 ⁇ ), (1 (2) '0 (2) ), and true incident on the area of the rectangular area enclosed by (1 (2) , 1 (2) ) It is equal to the integral value of the green light quantity L g (x, y) of.
  • JJ dxdy is (0 ( 2) , 0 (2) )
  • the range integrated on the left side of Expression (1 2) may be set to a smaller rectangular area as in the case of the first image described above.
  • the upper left pixel R01 of the light receiving element 4 is provided with a red filter so as to absorb only the red component of the incident light.
  • the portion where the pixel R 01 receives light is (1, 0), in the coordinate system of the second image due to the effect of the on-chip lens.
  • the light is incident on the rectangular area surrounded by (1, 1), (2, 0), and (2, 1).
  • the positions (1, 0), (1, 1), (2, 0), and (2, 1) in the coordinate system of the second image are converted into conversion parameters (0 2, T 2 X, T 2 y
  • the position converted to the coordinate system of the first image using S 2) is (1 ( 2 ), 0 ( 2 )), (1 ( 2 ), 1 ( 2 )), (2 (2 ), 0 (2) ), and (2 (2) , 1 (2) ). Therefore, (1 (2) , 0 (2) ), (1 (2) , 1 (2) ), (2 (2) , 0 (2) ), and (2 (2) , 1 (2) ) All of the light of the subject incident on the rectangular area surrounded by is received by R01, which is the "second and first pixel" when the second image is captured.
  • the left side of the equation (13) expresses the true red light amount L r (x, y) as P (2, 1, 0), P (2, 1, 1), ⁇ (2, 2, 0), And a rectangular area surrounded by ⁇ (2, 2, 1), that is, (1 (2) , 0 (2) ), (1 (2) , 1 (2) ), (2 (2) , 0 ( 2 )), and (2 ( 2 ), 1 ( 2 )).
  • the right side of equation (13) is the pixel value R obs (2, 2, 1) obtained by the second “second and first pixel” at that time.
  • Equation (1 3) is observed at the second pixel R 0 1 Pixel value R obs (2,2,1) force In the coordinate system at the time of imaging the first image,,, 1 (2) '0 (2))', ⁇ (2) '1 (2)), ( 2 (2), 0 (2) and the integral of the true red light quantity L r (X, y) incident on the area of the rectangular area surrounded by 2 (2) and 1 (2) Indicates equality.
  • the range integrated on the left side of Equation (13) may be, for example, a rectangular region that is slightly smaller.
  • Expressions can be similarly set for other pixels of the second image.
  • Equation (14) calculates the true green light amount L g (x, y) in the coordinate system of the second image by (ig-1, jg-1), (ig-1, jg), (ig , jg— 1), and a rectangular area surrounded by (ig, jg), that is, in the coordinate system of the first image, (ig-1 (2), jg-1 (2)) '( ⁇ g-1 (2). J g (2)), ( ⁇ g (2). Jg-1 (2)), and (ig ( 2 ), jg (2) ) Value G obs (2, ig, .jg).
  • R (jr-1) i which is the “ir-th and jr-th pixel” of the second image r-1
  • Equation (15) expresses the true red light amount L r (x, y) in the coordinate system of the second image as (ir ⁇ 1, jr ⁇ 1), (ir ⁇ 1, jr), (ir , Jr—l) and (ir, jr), that is, in the coordinate system of the first image, (ir-1 ( 2) , jr-1 (2) ), (ir — 1 ( 2) , jr (2) , ir (2) , jr-1 (2) ) and the rectangular area surrounded by (ir ( 2 ), jr (2) ) are the pixel values R obs ( 2, ir, jr).
  • Equation (16) expresses the true blue light amount L b (x, y) in the coordinate system of the second image as (ib-1, jb-1), (ib ⁇ l, jb), (ib , jb— 1), and a rectangular area surrounded by (ib, jb), that is, in the coordinate system of the first image, (ib-1 (2) , jb-1 (2) ' ⁇ 1 b-1 ( 2) , jb (2) no, ⁇ ib (2) , jb— 1 (2) ) 'and (ib ( 2 ), jb (2) ) (2, ib, jb).
  • the image signal (observed pixel value) includes the noise amount E, and the noise amount E is gained up to Mk times.
  • the noise component of (E xMk) in equations (1 4), (1 5), and (16) the amount of light represented by equations (17), (18), and (19) respectively.
  • I x represents the absolute value of .x.
  • Equation (17) indicates that the difference between the integrated value of the light intensity g (x, y) and the observed pixel value G obs (2, ig, jg) is the maximum noise amount M2 x E It indicates that: Equations (18) and (19) are the same.
  • FIG. 5 the relationship between the position (X, y) of the second image and the position P (2, X, y) obtained by converting the position (X, y) into the coordinates of the first image explain.
  • the left side of Fig. 5 shows a rectangle surrounded by four predetermined points (i1-1,, (i1-1, j), (i, j-1)), and (i, j) in the coordinate system of the second image.
  • a pixel 31 having an area is shown.
  • FIG. 5 shows the pixel 31 ′ after the left pixel 31 is transformed into the coordinate system of the first image. Therefore, pixel 31 on the left side of Fig. 5 and pixel 31 on the right side of Fig. 5 show (a part of) the same object (for example, a certain scenery).
  • the integrated value is obtained.
  • the first to Nth captured images in which the positional shift has occurred due to camera shake are so-called aligned (positional alignment based on the first captured image).
  • the position (i1-1, j-1-1) in the coordinate system of the second image is converted by the transformation parameters ( ⁇ 2, T2X, T2y, S2) to obtain the coordinates of the first image.
  • the position in the system can be P (2, i-1 1, j-1 1).
  • the position (i-l, j) in the coordinate system of the second image is converted by the conversion parameters (02, T2X, T2y, S2) to obtain the coordinate system of the first image.
  • the position (i, j-1 1) of the second image in the coordinate system is
  • (i, j) is also converted by the conversion parameters (02, T2X, T2y, S2) to obtain the position P (2, i, j-1) in the coordinate system of the first image.
  • P (2, i, j) When the X coordinate axis or the Y coordinate axis is simply expressed as X or Y, it indicates the X coordinate axis or the Y coordinate axis in the coordinate system of the first image.
  • the positions (i-1, 1, j1 1), (i1, 1, j), (i, j-1) of the kth image (k 3 to N) in the coordinate system ), And (i, j) are also converted by the conversion parameters (0 k, T kx, T ky, S k) to obtain the position P (k, i 1 1, j) in the coordinate system of the first image.
  • the light quantity integration condition represented by (22) is obtained.
  • Equation (20) expresses the true green light amount L g (x, y) as P (k, ig—1, jg—1), P (k, ig—1, jg), P (k, ig, jg— 1), and a rectangular area surrounded by P (k, ig, jg), that is, in the first coordinate system, (ig— l ( k): jg ⁇ 1 (k) , g ⁇ 1 (k ) , jg (k)). ( ig (k), and the integral rectangular area surrounded by jg one 1 (i) 'Oyohi (ig (k), jg ( k)), the k-th image ⁇ Igth.
  • the pixel value G obs (k, ig, jg) obtained from the “jg-th pixel” is equal to the noise amount E (error) gained up by Mk times, that is, the true green light amount L Difference (absolute value) between the integrated value of g (X, y) and the observed pixel value Go bs (k, ig, jg) Force Indicates that it is less than the maximum value of the amount of noise that can be assumed.
  • i X represents the absolute value of X.
  • Equation (2 1) expresses the true red light amount L r (x, y) as P (k, ir—1, jr-1 l), P (k, ir-1 1, jr), P (k, ir , Jr—l), and P (k, ir, jr), that is, in the first coordinate system, (ir-ir-l (k) ri ', ir-1 (k) , jr (k) , ir (k) , jr-1 (k) , and the one integrated in the rectangular area enclosed by (ir ( k ), jr (k) ), and the “ir-th,
  • the pixel value R obs (k, ir, jr) obtained from the “jr-th pixel” is equal to the noise amount E (error) gained up by Mk times, that is, the true red light amount L Difference (absolute value) between the integrated value of r (x, y) and the observed pixel value R
  • Equation (22) calculates the true blue light amount L b (xy) as P (k, ib—1, jb—1), P (k, ib—1, jb), P (kib, jb—1) , And P (k, ib, jb), that is, in the first coordinate system, (ib-1 (k): jb-1 (k) ), (ib-1 1 (k) , jb (k) ) '(ib (k) , jb-1 (k) ), and (ib (k): jb (k) )
  • the pixel value B obs (k, ib, jb) obtained at the jb-th pixel I is Mk times K Considering the gained noise amount E (error), they are equal, that is, the integrated value of the true blue light amount L b (X, y) and the observed pixel value B obs (k, ib, jb) Difference (absolute value) Power Indicates that it is
  • step SI1 the arithmetic circuit 24 expresses the pixel value G obs (1, ig, jg) of each pixel of the first image by the equation (9) for all (ig, jg). From R obs (1, ir, jr), the light intensity integration condition expressed by equation (10) for all (ir, jr) is given by B obs
  • step S12 the arithmetic circuit 24 calculates the light amount represented by the equation (17) for all (ig, jg) from the pixel value G obs (2, ig, jg) of each pixel of the second image. From R obs (2, ir, jr), the integral condition expressed by equation (18) for all (ir, jr) is derived from B obs (2, ib, jb). A light intensity integration condition expression expressed by the expression (19) for all (ib, jb) is generated, and the process proceeds to step S13.
  • the arithmetic circuit 24 converts the position of the second image to the position of the first image, so that the conversion parameters (0 2, T 2 X, T 2 y) supplied from the motion detection circuit 23-1 , S 2) is used.
  • the light intensity integration condition expressed by equation (20) can be expressed as:
  • a light quantity integration condition expression represented by the equation (2 2) for all (ib, jb) is generated, and the process proceeds to step S14.
  • the conversion parameters (0k, TkX, Tky, Sk) supplied from (k-1) are used.
  • step S14 the arithmetic circuit 24 calculates the equations (9), (10), (11), (17), (18), and (19) obtained in steps S11 to S13. ), (20), (2 1), and (2 2) By calculating a solution that satisfies the light quantity integration conditions, the true green light quantity L g (x, y) and the true red light quantity L r (x, y), the true blue light amount L b (x, y) is estimated, and the process returns.
  • the true green light quantity L g (X, y), the true red light quantity L r (x, y), and the true blue light quantity L b (x, y) (estimated value), ⁇ It is supplied to the D / A converter 9 or codec 12 as an image signal (G signal, R signal, B signal) of one clear image to be output.
  • the solution that satisfies all the light quantity integration conditions in step S14 that is, the true green light quantity L g (X, y), the true red light quantity L r (x, y), and the true blue light quantity L r (x, y)
  • a solution for obtaining the light amount L b (x, y) As such a solution, for example, there is a solution of the Projection Onto Convex Sets (POCS method).
  • the POCS method is a method of estimating the optimal solution that satisfies the constraints by repeating convex projections.
  • step S21 the arithmetic circuit 24 sets a variable k for counting the number of images held therein to 1, and proceeds to step S22.
  • step S22 the arithmetic circuit 24 calculates the light amount represented by the expression (20) for all (ig, jg) from the pixel value G obs (k, ig, jg) of each pixel of the k-th image.
  • An integration condition expression is generated, and the process proceeds to step S23.
  • step S23 the arithmetic circuit 24 uses the pixel value R obs (k, ir, jr) of each pixel of the k-th image to express all (ir, jr) by the equation (21). A light intensity integration condition expression is generated, and the process proceeds to step S24.
  • step S24 the arithmetic circuit 24 calculates the light amount expressed by the equation (22) for all (ib, jb) from the pixel value B obs (k, ib, jb) of each pixel of the k-th image.
  • An integration condition expression is generated, and the process proceeds to step S25.
  • steps S22 to S24 the conversion parameters supplied from the motion detection circuits 23-1 to 23- (N-1) are used as needed to generate the light quantity integration conditional expression.
  • step S25 the arithmetic circuit 24 determines whether or not the internal variable k is equal to the number N of images supplied from the frame memories 22-1 to 22-N. If it is determined that the variable k is not equal to the number N of images, the arithmetic circuit 24 proceeds to step S26, increments the variable k by 1, and returns to step S22. Then, the processing of steps S22 to S25 is repeated.
  • the image signals of the true green light amount L g (X, y), the true red light amount L r (x, y), and the true blue light amount L b (X, y) obtained here are analog signals.
  • Signal. That is, L g (x, y), L r (x, y), and L b (x, y) are obtained as functions of (x, y), but the variables x and y are integers as described above. Instead, it is a real number and includes a decimal part. The number of digits in the decimal part depends on the precision of the arithmetic unit, but is generally considered to be about two to three digits in binary notation.
  • the true green light amount L g (X, y) and the true red light amount L r (x , y) and the amount of true blue light L b (x, y) will change over time, and it may be difficult to obtain a correct solution with the above method.
  • each of the N images is the data in the Bayer arrangement (data of only one of the R signal, G signal, and B signal per pixel). From this data, the R signal, Performs demosaicing to restore the three signals, G and B. In addition, the N images after demosaicing are rotated, scaled up or down, or translated, aligned, and averaged. Any method including a conventional method can be adopted as the demosaicing method.
  • the true blue light intensity L b (x, y) has a color-to-color correlation (color correlation). Therefore, by adding a condition of color correlation in addition to the light intensity integration condition formulas (20) to (22), a more accurate solution, that is, more faithful and clearer to the original light It is possible to obtain (estimate) a perfect image.
  • Fig. 8 The ig-th and jg-th green pixels G (jg-1) (ig-1) of the k'th image at the lower left, and Fig. 8 the ir-th of the k "th image at the lower right Notice the jr-th red pixel R (jr-1) (ir-1).
  • the arithmetic circuit 24 calculates the k′th green pixel G (jg-1) (ig-1) converted into the coordinate system of the first image and k converted into the coordinate system of the first image. " Calculate the distance to the red pixel R (jr-1) (ir-1). Further, the arithmetic circuit 24 determines whether or not the distance is within an allowable value (judgment value) delta (for example, 0.25 pixel) regarded as the same position.
  • an allowable value for example, 0.25 pixel
  • Equation (23) is referred to as a conditional expression for distance.
  • D is [G c (k ,), R c (k ")] represents the distance between the points G c (k .) And R c ( k .
  • the point G c () And the position represented by the point R c (k ">, the position (ig, jg) and the position (ir, jr) are converted to the conversion parameters (0 k,, j) in the same manner as in equations (1) to (3).
  • Tk'x, Tk, y, Sk ') and (0k “, Tk” x, Tk “y, Sk”) are affine-transformed respectively.
  • the arithmetic circuit 24 determines that the k-th green pixel G (jg-1) (ig-1) and the k "th red pixel R (jr-1) (ir-1) have a certain tolerance. Whether there are pixels that can be considered to be at the same position when considering the margin of the range delta, In the coordinate system of the first image, the neighborhood area of (X soil dX, y soil dY) centered on a certain position (x, y), that is, (X—dX, y-d y), ( ⁇ -d X, y + dY), ( ⁇ + dX, y-dY), and the area enclosed by (x + dX, y + dY) are obtained.
  • dX and dY are predetermined values for setting the neighboring area, and may be, for example, the lengths of two pixels in the X and Y directions.
  • the arithmetic circuit 24 calculates a region near (X soil dX, y soil dY) centered at a certain position (x, y) in the coordinate system of the first image, that is, (x ⁇ dX, y-dY), (x-dX, y + dY), (x + dX, y-dY), and (x + dX, y + dY) Find (k ', ig, jg) and (k ", ir, jr) that satisfy (23).
  • the arithmetic circuit 24 calculates a pixel value G obs (k, ig, jg) and a pixel value R obs (k) corresponding to the obtained (k ′, ig, jg) and (k ′′, ir, jr). ", Ir, jr).
  • the arithmetic circuit 24 calculates (k ', ig, jg) and (k ", ir, jr) satisfying the above equation (23) for all combinations where k' and k" are 1 to N, respectively. And ask.
  • the arithmetic circuit 24 calculates the detected (k ,, ig, jg)
  • the pixel values G obs (k, ig, jg) and pixel values R obs (k “, ir, jr) corresponding to and (k", ir, jr) are plotted on the horizontal axis as shown in FIG. Is plotted as a G signal (G obs (k ', ig, jg)) and the vertical axis is an R signal (R obs (k ", ir, jr)).
  • Fig. 9 shows the pixel values G obs (k ', ig, jg) and the pixel values R obs (k ", ir, jr) of pixels that can be regarded as being at the same position, plotted in GR space. It is the figure which represented typically.
  • the arithmetic circuit 24 calculates the pixel value G obs (k ', ig, jg) and the pixel value R obs (k ", ir, jr) satisfying the distance conditional expression of Expression (23) by the arithmetic circuit 24.
  • Principal component analysis is performed on multiple points plotted in the GR space in Fig. 9 represented by the set of and.
  • the arithmetic circuit 24 calculates a component (for example, a second principal component) orthogonal to the direction of the principal component (first principal component), which is the analysis result of the principal component analysis (the direction indicated by the bold arrow in FIG. 9). Find the variance for. Further, the arithmetic circuit 24 calculates the true green light amount L g (x, y) in a band having a dispersion width of a component orthogonal to the direction of the main component in the GR space with respect to the position ( X , y). ) And the condition that there is a point represented by the true red light amount L r (x, y) is set as the condition of the color correlation.
  • a component for example, a second principal component orthogonal to the direction of the principal component (first principal component)
  • the arithmetic circuit 24 calculates the true green light amount L g (x, y) in a band having a dispersion width of a component orthogonal to the direction of the main component in the
  • the arithmetic circuit 24 calculates the k'th green pixel G (jg-1) (ig-1) and the k "'th blue pixel as in the case of the green and red pixels shown in FIG. B (jb—
  • the position of (ib-1) is determined by using the conversion parameters ( ⁇ k ′, T k ′ x, T k, y, S k) and the conversion parameter (0 k ′′) , T k "" x T k "" y, S k "") to determine the position of the first image in the coordinate system.
  • the arithmetic circuit 24 converts the k'th green pixel G (j g-1) (ig-1) converted into the coordinate system of the first image and the coordinate system of the first image. Calculate the distance from the k ”'th blue pixel B (jb-1) (ib-1). The road 24 determines whether or not the distance is within an allowable value (determination value) delta that is regarded as the same position as in the case of FIG.
  • the position (ib, jb) of pixel B (jb-1) (i b-1) at point B is defined as point B.
  • the position of pixel G (jg-1) (i g-1) in the coordinate system of the first image is Let the position (ig, jg) be G c (k .) And the position (ib, jb) of pixel B (j b_1) ib— 1) in the coordinate system of the first image be B c ( k .,. )), And Equation (24), which indicates whether the distance between the point G c (k ,) and the point ..,.,.) Is within the allowable value delta, can be written as follows.
  • Equation (24) is referred to as a conditional expression for distance.
  • D is [G c (k ,)
  • B c ()] represents the distance between the points G c (k ,) and B c (k .,.).
  • the positions represented by the points G c (k ) and B ′ ..) are obtained by converting the positions (ig, jg) and (ib, jb) into.
  • Affine transformations with transformation parameters (0k ', Tk'x, Tk, y, Sk,) and (0k "', Tk"'x, Tk "' y, Sk”') It is.
  • the arithmetic circuit 24 has a k'th green pixel G (j g-D (ig-l)) and a k "'blue pixel B (jb-1) (ib-1).
  • the power of whether there are pixels that can be considered to be at the same position when considering a margin of tolerance delta, is set at a certain position (x, y) in the coordinate system of the first image (X X dX, y soil d Y), ie, (x—d X, y-d Y), ( ⁇ -d X, y + d Y), (x + d X, y-d Y), and (x + dX, y + dY).
  • dX and dY are predetermined values for setting the neighborhood area, and may be, for example, the lengths of two pixels in the X and Y directions.
  • the arithmetic circuit 24 calculates a region near (X soil d X, y soil d Y) centered on a certain position (X, y) in the coordinate system of the first image, that is, (x ⁇ dx, y-dY), (x—dX, y + dY), ( ⁇ + dX, y-dY), and + dX, y + dY) Find (k, ig, jg) and (k "', ib, jb) that satisfy Eq. (24).
  • the arithmetic circuit 24 calculates the element value G obs (k ′, ig, jg) and the pixel value B obs corresponding to the obtained (k ′, ig, jg) and (k ′′ ′, ib, jb). (k "', ib, jb).
  • the arithmetic circuit 24 satisfies the above equation (24) for all combinations where k ′ and k ′′ ′ are 1 to N, respectively (k, ig,; jg) and (k ′′, ib, jb) and
  • the arithmetic circuit 24 outputs the detected (k ', ig, jb).
  • the arithmetic circuit 24 calculates the pixel values G obs (k ′, ig, jg) and the pixel values B obs (k ′′ ′, ib) detected by the arithmetic circuit 24, which are a plurality of points plotted in the GB space. , Jb) are subjected to principal component analysis.
  • the arithmetic circuit 24 calculates the variance of a component (for example, a second principal component) orthogonal to the direction of the principal component (first principal component), which is the analysis result of the principal component analysis. Further, the arithmetic circuit 24 calculates the true green light amount L g (x, y) in the band having the dispersion width of the component orthogonal to the direction of the main component in the GB space for the position (x, y). Then, a conditional expression that a point represented by a true blue light amount L b (X, y) exists is set as a condition for color correlation.
  • a conditional expression that a point represented by a true blue light amount L b (X, y) exists is set as a condition for color correlation.
  • the finally obtained true green light amount L g (x, y), the true red light amount L r (x, y), and the true blue light amount L b (x, y) ) Is the point represented by the true green light quantity L g (X, y) at the position (x, y) and the true red light quantity L r (X, y).
  • the true green light quantity L g (x, y) and the true blue light quantity L b (X , y) is restricted (constrained) to those that exist in a band with a dispersion width of the component orthogonal to the direction of the principal component in the GB space.
  • True green light quantity L g (x, y), true red light quantity L r (x, y), true blue light quantity L b (x) that satisfies both the light quantity integration conditional equation and the color correlation conditional equation , y), for example, the POCS method or the like can be employed as in the first embodiment.
  • the position (X, y) where the condition of color correlation is added may be all positions (X, y), or may be, for example, only the positions of grid points where x and y are integers.
  • steps S31 to S33 the same processes as those in steps S11 to S13 of the image estimation process of the first embodiment shown in FIG. 6 are performed. That is, in step S31, the arithmetic circuit 24 expresses from the pixel value G obs (1, ig, jg) of each pixel of the first image by the equation (9) for all (ig, jg).
  • the light intensity integration condition expressed by R obs (1, ir, jr) and the light intensity integration condition expressed by equation (10) for all (ir, jr) are expressed by B obs (1, ib, jb) as follows: A light intensity integration condition expression represented by the expression (11) for all (ib, ⁇ b) is generated, and the process proceeds to step S32.
  • step S32 the arithmetic circuit 24 calculates the light amount represented by the expression (17) for all (ig, jg) from the pixel value G obs (2, ig, jg) of each pixel of the second image. From R obs (2, ir, jr), the integral condition expressed by equation (18) for all (ir, jr) is obtained from B obs (2, ib, jb). The light intensity integration condition expression expressed by the expression (19) for (ib, jb) is generated, and the process proceeds to step S33.
  • the arithmetic circuit 24 converts the position of the second image to the position of the first image, so that the conversion parameters (0 2, T.2 X, T 2 y) supplied from the motion detection circuit 23-1 , S 2) is used.
  • the light intensity integration condition expressed by equation (2 1) for all (ir, jr) is , B obs (k, ib, jb), a light quantity integration conditional expression represented by the equation (22) for all (ib, jb) is generated, and the flow proceeds to step S34.
  • the arithmetic circuit 24 converts the position of the k-th image into the position of the first image, so that the conversion parameters (0 k, T k X , T ky, S k) are used.
  • step S34 the arithmetic circuit 24 satisfies the condition formula of the distance (k, ig) with respect to the predetermined position (X, y) in a region near the position (X, y). , jg) and (k “, ir, jr), and proceeds to step S35.
  • step S35 the arithmetic circuit 24 calculates the pixel values G obs (k, ig, jg) and R (k ', ig, jg) and (k ", ir, jr) obtained in step S34, respectively.
  • the points represented by obs (k ", ir, jr) are plotted in GR space, and principal component analysis is performed.
  • the arithmetic circuit 24 calculates the variance of the component orthogonal to the direction of the main component, which is the analysis result of the principal component analysis, and determines that the G signal and the R signal of the same pixel exist within the range of the variance.
  • a conditional expression for correlation is established, and the process proceeds from step S35 to step S36.
  • step S36 the arithmetic circuit 24 satisfies the conditional expression for the distance (k ′, ig, ig) in the region near the position (X, y) with respect to the predetermined position (x, y). jg) and (k "', ib,;) b) are obtained, and the process proceeds to step S37.
  • step S37 the arithmetic circuit 24 obtains (k', ig, Ig) and (k "', ib, jb)
  • the points represented by the pixel values G obs (k', ig, jg) and B obs (k" ,, ib, jb) are plotted in GB space.
  • the arithmetic circuit 24 calculates the variance of the component orthogonal to the direction of the principal component, which is the analysis result of the principal component analysis, and finds the G signal of the same pixel within the range of the variance.
  • a conditional expression for color correlation that a B signal is present is set, and the process proceeds from step S37 to step S38.
  • step S38 the arithmetic circuit 24 determines whether or not a conditional expression for color correlation has been obtained for all the preset positions (x, y). If it is determined in step S38 that the color correlation conditional expression has not yet been determined for all the positions (X, y), the process returns to step S34, and the arithmetic circuit 24 returns to the color correlation conditional expression. Attention (selection) is made to the position (X, y) where is not found, and the processing of steps S34 to S38 is repeated.
  • step S38 when it is determined in step S38 that the conditional expression of hue ⁇ has been obtained for all the positions (X, y), the process proceeds to step S39, and the arithmetic circuit 24 performs steps S31 to S33. , S 35, S 37, true green light quantity L g (x, y), true red light quantity L r (x, y) that satisfies all the conditional expressions Calculate the light intensity L b (x, y) and return.
  • the arithmetic circuit 24 satisfies all of the light intensity integration conditional expressions obtained in steps S31 to S33 and the color correlation conditional expressions obtained in steps S35 and S37, Calculate the green light quantity L g (x, y), the true red light quantity L r (x, y), and the true blue light quantity L b (x, y).
  • Steps S51 to S56 are the same as steps S21 to S26 of the image estimation processing of the first embodiment shown in FIG. 7, respectively.
  • step S51 the arithmetic circuit 24 sets a variable k for counting the number of images held therein to 1, and proceeds to step S52.
  • step S52 the arithmetic circuit 24 expresses the expression (20) for all (ig, jg) from the pixel value G obs (k, ig, jg) of each pixel of the k-th image.
  • the light quantity integration conditional expression is generated, and the process proceeds to step S53.
  • step S53 the arithmetic circuit 24 calculates the pixel value R obs (k, ir, jr) of each pixel of the k-th image by using equation (21) for all (ir, jr).
  • the light quantity integration conditional expression is generated, and the process proceeds to step S54.
  • step S54 the arithmetic circuit 24 expresses the expression (22) for all (ib, jb) from the pixel value B obs (k, ib, jb) of each pixel of the k-th image.
  • the light quantity integration conditional expression is generated, and the process proceeds to step S55.
  • steps S52 to S54 when generating the light quantity integration conditional expression, the conversion supplied from the motion detection circuits 23-1 to 23- (N-1) is performed as necessary. Parameters are used.
  • step S55 the arithmetic circuit 24 determines whether or not the internal variable k is equal to the number N of images supplied from the frame memories 22-1 to 22-N. If it is determined that the variable k is not equal to the number N of images, the operation circuit 24 proceeds to step S56, increments the variable k by 1, and returns to step S52. Then, the processing of steps S52 to S56 is repeated.
  • step S55 if it is determined in step S55 that the variable k is equal to the number N of images, the process proceeds to step S57 in FIG.
  • Steps S57 to S62 are the same as steps S34 to S39 in FIG. 10, respectively.
  • step S57 the arithmetic circuit 24 satisfies the conditional expression for the distance of the expression (23) in the vicinity of the position (x, y) with respect to the predetermined position (x, y).
  • the combination of (k ,, ig, jg) and (k ", ir, jr) is determined, and the flow advances to step S58.
  • step S58 the arithmetic circuit 24 calculates the pixel values G obs (k ', ig, jg) of (k', ig, jg) and (k ", ir, jr) obtained in step S57.
  • the points represented by and R obs (k ", ir, jr) are plotted in GR space, and principal component analysis is performed.
  • the arithmetic circuit 24 calculates the variance of the component orthogonal to the direction of the main component, which is the analysis result of the principal component analysis, and determines that the G signal and the R signal of the same pixel exist within the range of the variance.
  • a conditional expression for correlation is established, and the process proceeds from step S58 to step S59.
  • step S59 the arithmetic circuit 24 satisfies the conditional expression for the distance (k ′, k) in the region near the position (X, y) with respect to the predetermined position (x, y). ig, jg) and (k “', ib, jb) are obtained, and the process proceeds to step S60.
  • step S60 the arithmetic circuit 24 calculates the step S59 (k', ig , Jg) and (k ", ib, jb) The points represented by the pixel values G obs (k ', ig, jg) and B obs (k"', ib, jb) are plotted in GB space.
  • the arithmetic circuit 24 calculates the variance of a component orthogonal to the direction of the main component, which is the analysis result of the principal component analysis, and finds the G signal of the same pixel within the range of the variance. Then, a conditional expression for the color correlation that the B signal and the B signal are present is established, and the process proceeds from step S60 to step S61.
  • step S61 the arithmetic circuit 24 calculates all the preset positions (X, For y), it is determined whether a conditional expression for color correlation has been obtained. If it is determined in step S61 that the conditional expression of the color correlation has not yet been determined for all the positions (x, y), the process returns to step S57, and the arithmetic circuit 24 determines the color correlation. Attention (selection) is made to the position (x, y) where the conditional expression is not obtained, and the processing of steps S57 to S61 is repeated.
  • step S61 if it is determined in step S61 that the conditional expression of the color correlation has been obtained for all the positions (x, y), the process proceeds to step S62, and the arithmetic circuit 24 performs steps S52 to S54, The true green light quantity L g (x, y), the true red light quantity L r (x, y), and the true blue light quantity L b () satisfying all the conditional expressions obtained in S 58 and S 60 x, y) and return. That is, the arithmetic circuit 24 calculates the true green light amount that satisfies all of the light amount integration conditional expressions obtained in steps S52 to S54 and the color correlation conditional expressions obtained in steps S58 and S60. Calculate L g (x, y), true red light quantity L r (X, y), and true blue light quantity L b (x, y).
  • a color correlation condition relating to the correlation between the R signal, the G signal, and the B signal is added.
  • the true light quantity L g (x, y), the true red light quantity L r (x, y), and the true blue light quantity L b (x, y) that satisfy A faithful and clear image can be required.
  • conditional expression for color correlation in a two-dimensional color space is used.
  • conditional expression in a three-dimensional color space can be used.
  • the characteristics of the on-chip lens immediately above each pixel of the image sensor 4 are accurately formulated (applied), and the true green light amount L g (X, y) and true Estimate the amount of red light L r (x, y) and the true amount of blue light L b (x, y) Images were sought.
  • the effect of the on-chip lens is ignored, and the data (light reception amount) received by each pixel of the image sensor 4 is incident on a certain point (for example, the center of gravity of the pixel) of that pixel. Light value of the subject (point-sampled data).
  • a method using a panel model described later is adopted.
  • the true green light amount L g (x, y) and the true red light amount L r (x, y) Therefore, the amount of calculation for obtaining the true blue light amount Lb (x, y) can be reduced.
  • the data received by each pixel is considered as point-sampled data. Therefore, among the pixels of the image sensor 4 in FIG. , J-th pixel ”is received at the center position (coordinates) (i-0.5, j-0.5) of“ i-th, j-th pixel ”, for example. Shall be.
  • the pixel value G obs (1, ig, jg) as the data obtained at the “ig-th and jg-th pixels” of the first image is the position (ig- 0.5, j g -0.5)
  • the amount of green light received at L g ig-0.5, jg-0.5
  • the pixel value R obs (1, ir, jr) as the data obtained at the “ir-th, jr-th pixel” of the first image is represented by the position (ir-1) of the coordinate system of the first image.
  • 0.5, jr-0.5 is the amount of red light Lr (ir-0.5, jr-0.5) received at the ib-th and jb-th pixels of the first image
  • the pixel value B obs (1, ib, jb) as the data obtained by is the amount of blue light L b received at the position (ib _ 0.5, jb -0.5) in the coordinate system of the first image. (ib-0.5, jb-0.5).
  • FIG. 13 shows the first image stored in the frame memory 22-1.
  • the pixel G (jg-1) (18-1) that receives the green component The pixel value G obs (1, ig, jg) is observed at the position indicated by the black circle.
  • a pixel value Robs (1, ir, jr) is observed at the position indicated by the black square.
  • a pixel value Bobs (1, ib, jb) is observed at the position indicated by the black triangle.
  • the pixel value of the first image is represented by the central part (center of gravity) of each pixel on the coordinate system of the first image, that is, (i 0.5, It is observed at the position j-0.5).
  • FIG. 14 shows the second image stored in the frame memory 22-2. 1 4, the pixel receives green component G (jg - 1) (1 8 - 1) day information, the position indicated by a black circle, the pixel value G obs (2, ig, jg ) are observed You.
  • the pixel R (jr-1) (ir-1) that receives the red component a pixel value Robs (2, ir, jr) is observed at the position indicated by the black square.
  • pixel B (jb-1) (ib-1), which receives the blue component a pixel value Bobs (2, ib, jb) is observed at the position indicated by the black triangle.
  • the pixel value of the second image is represented by the central part (centroid) of each pixel on the coordinate system of the second image, that is, (i_0.5, It is observed at the position of j-0.5).
  • Points on the second image are considered based on the coordinate system of the first image, as in the first and second embodiments.
  • the points on the second image are determined on the coordinate system of the first image using the conversion parameters (02, T2X, T2y, S2) detected by the motion detection circuit 23-1. Can be converted to points.
  • FIG. 14 shows pixel values G obs (2, ig, jg), pixel values R obs (2, ir, jr) of points on the second image converted to the coordinate system of the first image,
  • the pixel value B obs (2, ib, jb) is also shown.
  • the pixel value G obs (2, ig, jg) of the pixel G (jg-1) (ig-1) in the coordinate system of the second image is determined by the position (ig-0 .5, jg-0.5) on the coordinate system of the first image converted by the conversion parameters (02, T2x, T2y, S2) detected by the motion detection circuit 23-1 Position ((ig— 0. 5) The amount of green light L g (x, y) observed at (2 ) and (jg-0.5) (2) ).
  • the position on the coordinate system of the first image where the pixel value G obs (2, ig, jg) is observed ((ig-0.5) (2) , (jg-0.5) ( 2) ) I Indicated by white circles. +
  • the pixel value R obs (2, ir, jr) of the pixel R (jr-1) (ir-1) in the coordinate system of the second image is determined by the position (ir-1 0) in the coordinate system of the second image. .5, jr-0.5) on the coordinate system of the first image converted by the conversion parameters (02, T2x, T2y, S2) detected by the motion detection circuit 23-1 This is the amount of red light L r (x, y) observed at the position ((ir1 0.5) (2) , (jr— 0.5) (2) ).
  • the position on the coordinate system of the first image where the pixel value R obs (2, ir, jr) is observed ((ir-0.5) (or r-0.5) (2) ) Forces are indicated by open squares.
  • the pixel value B obs (2, ib, jb) of the pixel B (jb-1) (ib-1) in the coordinate system of the second image is calculated as the position (ib-0) in the coordinate system of the second image.
  • jb — 0.5) on the coordinate system of the first image converted by the conversion parameters (02, T2X, T2y, S2) detected by the motion detection circuit 23-1 The blue light amount L b, y) observed at the position ((ib-0.5) (2) , (jb-0.5) (2) ).
  • the position on the coordinate system of the first image where the pixel value B obs (2, ib, jb) is observed ((ib-0.5) (2) , (jb-0.5) ( 2) ) Power is indicated by a white triangle.
  • FIG. 15 shows the third image stored in the frame memory 22-3.
  • a pixel value G obs (3, ig, jg) is observed at the position indicated by the black circle.
  • a pixel value Robs (3, ir, jr) is observed at the position indicated by the black square.
  • pixel B (jb-1) (ib-1) which receives the blue component, a pixel value Bobs (3, ib, jb) is observed at the position indicated by the black triangle.
  • the third piece The pixel value of the image is the center (center of gravity) of each pixel on the coordinate system of the third image, that is, the position of (i-0.5, j-0.5) for the i-th and j-th pixels Observed at
  • Points on the third image are considered based on the coordinate system of the first image, as in the first and second embodiments.
  • the points on the third image are calculated on the coordinate system of the first image using the conversion parameters (03, T3X, T3y, S3) detected by the motion detection circuit 23-2. Can be converted to points.
  • Figure 15 shows the pixel values of points on the third image converted to the coordinate system of the first image.
  • Gobs (3, ig, jg), pixel value Robs (3, ir, jr), and pixel value Bobs (3, ib, jb) are also shown.
  • the pixel value G obs (3, ig, jg) of the pixel G (jg-1) (ig-1) in the coordinate system of the third image is the position (ig- 0.5, jg-
  • the pixel value R obs (3, ir, jr) of the pixel R (jr-1) (ir-1) in the coordinate system of the third image is determined by the position (ir-1 0) in the coordinate system of the third image. .5, jr-0.5) on the coordinate system of the first image converted by the conversion parameters (03, T3X, T3y, S3) detected by the motion detection circuit 23-2 This is the amount of red light L r (x, y) observed at the position ((ir1 0.5) (3), (jr -0.5) (3) ).
  • the position on the coordinate system of the first image where the pixel value R obs (3, ir, jr) is observed ((ir-0.5) (3) , (jr-0.5) ( 3) ), are indicated by white squares.
  • the pixel value B obs (3, ib, jb) of the pixel B (jb ⁇ 1) (ib-1) in the coordinate system of the third image is calculated as the position (ib-0 . 5, jb
  • the position on the coordinate system of the first image where the pixel value B obs (3, ib, jb) is observed ((ib-0.5) (3) , (jb-0.5) ( 3) ) Force S, indicated by white triangle.
  • FIG. 16 shows a pixel value G obs (1, ig, jg) of a predetermined pixel G (jg-1) (ig-1) that receives a green component among the pixels of the first to Nth captured images.
  • Gobs (N, ig, jg) indicate the position on the coordinate system of the first image where observation is performed.
  • the pixel value G obs (of the first image) at the center position (pixel center) of the ig-th and jg-th pixels G (jg-1) (ig-1) on the coordinate system of the first image 1, ig, jg) are observed.
  • the pixel value G obs (2, ig) of the second image whose position has been transformed into the coordinate system of the first image is located at the upper left of the pixel center of the pixel G (jg—1) (ig-1). , jg) are observed.
  • the pixel value G obs (3, ig) of the third image whose position has been transformed into the coordinate system of the first image is located on the lower left side of the pixel center of the pixel G (jg—1) (ig-1). , Jg) are observed.
  • the pixel value G obs (4, ig) of the fourth image whose position has been converted into the coordinate system of the first image is located on the upper right side of the pixel center of the pixel G (jg-1) (ig-1). , jg) are observed.
  • the true green light quantity L g (, J ′) to be obtained is L g (ig — 0.5) using the center position (ig—O. 5, j g ⁇ 0.5) of the pixel receiving the green component. 5, j g -0.5).
  • the true red light quantity L r (, J ′) to be determined is L r (ir using the center position of the pixel receiving the red component (ir1 .5, jr-0.5). -0.5, jr-0.5), and the true amount of blue light L b (, J ') to be obtained is the center position (ib— 0.5,5) of the pixel receiving the blue component. jb-0.
  • FIG. 17 shows that the arithmetic circuit 24 calculates the true red light amount L r (I ′, J ′), the true red light amount L r (I ′, J,), and the true red light amount that should be obtained as a clear image signal.
  • the position of the blue light amount L b (I ′, J ′) is shown on the coordinate system of the first image.
  • the center position (I ′, J ′) of each pixel of the image sensor 4 on the coordinate system of the first image is the true green light amount L g ( ⁇ ′, J ′),
  • the positions where the red light quantity Lr (I ', J') and the true blue light quantity Lb (I ', J') should be obtained are indicated by black circles.
  • the panemodel will be described with reference to FIGS. 18 to 23, focusing on the pixel that receives the green component.
  • the true green light quantity L g (I ′, J ′), the true red light quantity L r ( ⁇ ′, J ′), and the true blue light quantity L b ( ⁇ , J ') on the coordinate system of the first image (I', J ') with black circles, and pixel values G obs (k, ig, jg), R obs, k, ir, jr, B obs (k , Ib, jb) (k l to N), the position on the coordinate system of the first image where observed is represented by a white circle.
  • the coordinate system of the first image as the reference image is referred to as the reference coordinate system as appropriate.
  • the position (X, y) of point A in Fig. 18 is the position (ig-0.5) where the pixel values Go bs (k, ig, jg) of the ig-th and jg-th pixels of the k-th image are observed.
  • Jg -0.5 with the conversion parameters (0 k, Tk X, Tky, S k) detected by the motion detection circuit 23-(k-1 1) on the reference coordinate system (( ig—0.5)), (jg-0.5) (k) ).
  • the pixel value of point A (x, y) is G obs (k, ig, jg).
  • each position of the four corners of the area surrounded by (1 ⁇ 0.5, J ⁇ 0.5), that is, (1 — 0.5, J-0.5), (1-0.5, J +0.5), (1 + 0.5, J-10.5), (1 + 0.5, J + 0.5) are the positions of the true green light Lg (I ', J' ) For each position (I ', J').
  • the pixel value G obs (k, ig, jg) at the point A (X, y) is close to the point A (x, y) (1 — 0.5, J-0.5), (1 — 0 5, J + 0.5), (I + 0.5, J-0.5) and (I + 0.5, J + 0.5) True green light quantity L g at each position (1-0.5, J-0.5), L g (1-0.5, J + 0.5), L g (I + 0.5, J-0.5) 'L g (I +0.5, J + 0.5) It can be considered that each is almost equal.
  • the true green light amount L g (I — 0.5, J-0.5), L g (1 — 0.5, J + 0.5), L g (I + 0.5, J- 0.5), L g (I + 0.5, J + 0.5) can be approximated by the pixel value G obs (k, ig, jg) at the point A (x, y).
  • the pixel value G obs (k, ig, jg) observed at the point A (x, y) has an error (noise amount) Mk x E is included. Furthermore, here, (1 — 0.5, J — 0.5), (1 — 0.5, J + 0.5), (1 + 0.5, J-0.5), (1 + 0.5, J + 0.5) True green light quantity L g (1 — 0.5, J-0.5), L g (I — 0.5, J + 0.5) at each position , L g (1 + 0.5, J—0.5), L g (I + 0.5, J + 0.5) to the pixel value G obs (k, ig) at the point A (x, y).
  • an error (hereinafter, appropriately referred to as an approximation error) occurs.
  • the true green light amount L g (I-0.5, J-0.5) at the position (1-0.5, J-0.5) is calculated as the pixel at the point A (X, y).
  • the approximation by the value G obs (k, ig, jg) can be applied to the panel model, which is a model using the panel.
  • Figure 19 shows the true green light quantity L g (1 — at position (1 — 0.5, J-0.5) at pixel value G obs (k, ig, jg) at point A (x, y).
  • 0.5, J-0.5) is a conceptual diagram of a panel model showing a state approximating.
  • the pixel value G obs (k, ig, jg) and the true green light amount L g (I—0.5, J-0.5) are applied to one end and the other end of the spring BA1. Connected to each other, and the true green light amount L g (1 — 0.5, J-0.5) is about to be pulled toward the pixel value G obs (k, ig, jg). .
  • the true green light amount L g (I-0.5, J-0.5) is the pixel value G obs (k, ig, jg) of the power point A (x, y).
  • the approximation error caused by approximating the true green light amount L g (I — 0.5, J-0.5) with the pixel value G obs (k, ig, jg) is the point A (X, It increases as the distance between y) and the position (I-0.5, J-0.5) increases. Therefore, the function value increases when the distance between the point (xl, y1) and the point (x2, y2) increases, and the increasing function F ((x1, y1), (x2, y2)) Is introduced. Function F ((x 1, y
  • (x 2, y 2)) is, for example, F ((x l, y l), (x 2, y
  • the pixel value G obs (k, ig, jg) observed at the point A (x, y) includes the noise amount E xMk as an error.
  • the approximation accuracy when (I-0.5, J-0.5) is approximated by the pixel value G obs (k, ig, jg) depends on the approximation error and the increase or decrease of the noise amount EXM k described above. And decrease or increase respectively. Therefore, the approximation accuracy (probability) decreases (is inversely proportional) to the value of, for example, M k XEXF ((X, y), (I — 0.5, J— 0.5)).
  • the certainty that the true green light amount L g (1-0.5, J-0.5) is equal to the pixel value G obs (k, ig, jg) of the power point A (x, y) is If the value of “Mk x E x F ((x, y), (1—0.5, J—0.5))” is small, it is large, and “Mk x E x F ((x, y) y), (I-0.5, J— 0.5)) ”” is small.
  • L g (I-0.5, J-0.5) is the panel constant of panel BA1.
  • the panel constant is, for example, the formula ⁇ "2— F ((x, y), (1-0.5, J-0.5)) ⁇ / (Mk x Where (Mk x E) in the denominator is Mk times the amount of noise E, and the larger the noise, the weaker the spring BA1 becomes, and the true green light intensity.
  • L g (1 — 0, 5, J— 0.5) Force The force that is pulled toward the pixel value G obs (k, ig,; jg) of point A by the spring BA 1 becomes smaller.
  • the spring BA 1 is a panel whose natural length (the length of the spring B A 1 under no load) is 0.
  • the length (elongation) of the panel BA 1 is represented by i G obs (k, ig, jg) -L g (I -0.5, J-0.
  • Figure 20 shows the pixel values G obs (k, ig, jg) at point A (x, y) and (1 ⁇ 0.5, J ⁇ 0.5), (I ⁇ 0.5, J + 0. 5), (I + 0.5, J-0.5), (I + 0.5, J + 0.5) True green light quantity L g (1-0.5, J-0) .5), L g (1 ⁇ 0.5, J + 0.5), L g (I + 0.5, J ⁇ 0.5), L g (I + 0.5, J + 0.5) )
  • the pixel value G obs (k, ig, jg) and the true green light amount L g (I—0.5, J + 0.5) are applied to one end and the other end of the panel BA2. Connected to each other, and the state in which the true green light amount L g (1 ⁇ 0.5, J + 0.5) is about to be pulled toward the pixel value G obs (k, ig, jg) .
  • the true green light amount L g (1-0.5, J + 0.5) The more likely the pixel value is G obs (k, ig, jg), the more the true green light intensity L g (1 ⁇ 0.5, J + 0.5) becomes the pixel value G obs (k, ig, jg) jg), and conversely, the lower the degree of certainty, the more the true green light amount L g (I -0.5, J +0.5) becomes the pixel value G obs (k, ig, jg).
  • the approximation error caused by approximating the true green light amount L g (1 ⁇ 0.5, J + 0.5) with the pixel value G obs (k, ig, jg) is the point A (x, It increases as the distance between y) and the position (I -0.5, J + 0.5) increases. So the point
  • the approximation accuracy when the light amount L g (I-0.5, J + 0.5) of the pixel is approximated by the pixel value G obs (k, ig, jg) is as follows. Or decrease or increase, respectively, according to the decrease. Thus, the approximation accuracy (probability) decreases (is inversely proportional) to the value of, for example, MkXEXF ((X, y), (I-0.5, J + 0.5)).
  • the certainty that this pixel value Go bs (k, ig, jg) is equivalent to the true green light amount L g (1 ⁇ 0.5, J + 0.5) is determined by the spring constant of the spring BA 2.
  • the panel constant is, for example, the formula ⁇ V "2—F ((X, y), (I-0.5, J + 0.5)) ⁇ / (M kx E).
  • (Mk xE) of the denominator is Mk times the noise amount E.
  • the spring B A 2 has a natural length of 0 (the length of the panel B A 2 under no load).
  • the length (elongation) of the spring BA 2 is given by
  • the pixel value G obs (k, ig, jg) and the true green light amount L g (1 + 0.5, J-10.5) correspond to one end and the other end of the spring BA3. Connected to This shows a state where the true green light amount L g (I + 0.5, J-0.5) is about to be pulled toward the pixel value G obs (k, ig, jg).
  • the true green light amount L g (1 + 0.5, J-0.5) is the pixel value G obs (k, ig, jg) of the power point A (x, y).
  • the approximation error caused by approximating the true green light amount L g (I + 0.5, J—0.5) with the pixel value G obs (k, ig, jg) is the point A (x, It increases as the distance between y) and the position (I + 0.5, J-0.5) increases. So the point A (x, It increases as the distance between y) and the position (I + 0.5, J-0.5) increases. So the point A (x, It increases as the distance between y) and the position (I + 0.5, J-0.5) increases. So the point A (x, It increases as the distance between y) and the position (I + 0.5, J-0.5) increases. So the point A (x, It increases as the distance between y) and the position (I + 0.5, J-0.5) increases. So the point A (x, It increases as the distance between y) and the position (I + 0.5, J-0.5) increases. So the point A (x, It increases as the distance between y) and the position (
  • (x 2, y 2)) are, for example, F ((x l, y l), (x 2, y
  • the pixel value G obs (k, ig, jg) observed at the point A (x, y) includes the noise amount E xMk as an error.
  • the spring BA 3 is a panel whose natural length (the length of the spring BA 3 under no load) is 0.
  • the length (elongation) of the panel BA 3 is defined as
  • the pixel value G obs (k, ig, jg) and the true green light amount L g (I + 0.5, J + 0.5) correspond to one end and the other end of the panel BA4. And the true green light amount L g (I + 0.5, J + 0.5) is about to be pulled toward the pixel value G obs (k, ig, jg). .
  • the true green light quantity L g (1 + 0.5, J + 0.5) and the pixel value G obs (k, ig, jg) of point A (X, y) are The more likely that true green light L g (1 + 0.5, J + 0.5) is drawn to the pixel value G obs (k, ⁇ g, jg), and conversely, The lower the degree of likelihood, the more the true green light amount L g (I + 0.5, J + 0.5) force moves away from the pixel value G obs (k, ig, jg).
  • the approximation error caused by approximating the true green light amount L g (I + 0.5, J + 0.5) with the pixel value G obs (k, ig, jg) is the point A (x, It increases as the distance between y) and the position (I + 0.5, J + 0.5) increases. Therefore, the function value increases when the distance between the point (x 1, y 1) and the point (x 2, y 2) increases, and the increasing function F ((x 1, y 1), (x 2, y 2) ). Function F ((x 1, y
  • (X 2, y 2)) are, for example, F ((x l, y l), (x 2, y
  • the pixel value G obs (k, ig, jg) observed at the point A (X, y) includes the noise amount EXMk as an error.
  • Mk XEXF Decreases (inversely proportional) to the value of (x, y), (I + 0.5, J + 0.5). That is, the amount of true green light L g (1 + 0.5, J + 0.5)
  • G obs the pixel value of the point A (x, y) is equal to the pixel value G obs (k, ig, jg)
  • Mk x E x F ((x, y), (1 + 0.5, J + 0 .5)
  • Mk x E x F ((x, y), (1 + 0.5, J + 0 .5)
  • the certainty that the pixel value G obs (k, ig, jg) and the true green light amount L g (I + 0.5, J + 0.5) are equivalent is determined by the panel constant of the spring B A4. If expressed by (spring strength), the panel constant can be expressed by, for example, the formula ⁇ "2—F ((X, y), (1 + 0.5, J + 0.5))) / (Mk x Where (Mk x E) in the denominator is Mk times the noise amount E, and the larger the noise, the weaker the spring BA4 becomes, and the true green light intensity.
  • the panel BA 4 is a spring having a natural length of 0 (the length of the panel BA 4 under no load).
  • the length (elongation) of the spring BA 4 is given by: G obs (k, ig, jg)-L g (I + 0.5, J + 0.5) I, and the true green light amount L g (I + 0.5, J + 0.5) force S, point A (x, y) by spring BA4 ) Is pulled toward the pixel value G obs (k, ig, jg) by the following equation:
  • Panel constant X Panel length ⁇ (7 "2—F ((X, y), (1 +0.5, J + 0.5)) ⁇ / (Mk x E) ⁇ x
  • the position (, J ′) is the center position of each pixel where the decimal point of, J ′ is 0.5, for example, it is indicated by a black circle in FIG. 20 (1 ⁇ 0.5, J ⁇ 1 0). . 5) is the position ( ⁇ , J ').
  • a spring model with pixel values G obs (k, ig, jg) observed at points A to E is defined. That is, for a certain position ( ⁇ , J '), the reference coordinate system obtained by converting the position (ig-0.5, jg-O.5) with the conversion parameters (Sk, Tkx, Tky, Sk) Upper position (x, y) Force I '-l ⁇ x ⁇ I' + l, J '— Find all pairs of integers k, ig, and jg that satisfy 1 ⁇ y ⁇ J' + 1. For example, as shown in FIG. 21, for the position ( ⁇ , J ′), five pixel values G obs (k, ig, jg) observed at points A to E are specified (k , ig, jg) are obtained.
  • each of the five pixel values G obs (k, ig, jg) observed at points A to E and the true green light amount L g at the position (, J ′) A panel model that represents the relationship with (I ', J') can be defined. That is, for a position (, J ′) where the true green light quantity L g (I ′, J ′) is to be obtained, the true green light quantity L g (, J ′) and the observed pixel value G obs ( k, ig, jg) can be represented by a spring model.
  • FIG. 23 is a diagram illustrating an estimation method for estimating the true green light amount L g (I J ′) at the position (, J ′) using a spring model focusing on the position (I ′, J ′). You.
  • the axis in FIG. 23 represents the amount of green light (G signal).
  • an object V having a mass of 0 is connected to one end of each of the five springs, and the other ends of the five panels are connected to the five pixel values G obs (k, ig, jg) at points A to E. ) Connected to each. That is, the five pixel values G obs (k, ig, jg) of the points A to E correspond to the position (ig-0.5, jg-0) with respect to a position ( ⁇ , J ') in FIG. .
  • equation (25) is referred to as a panel relational expression for the amount of green light.
  • ⁇ in Eq. (25) means that, for a certain position ( ⁇ , J ′), the position (ig—0.5, j g ⁇ 0.5) is converted to the conversion parameters (0 k, T k X, T ky, S k)
  • the position (x, y) on the reference coordinate system transformed by the force I '-l ⁇ x ⁇ I' + l, J '-l ⁇ y ⁇ J' + 1 (k, ig , jg) represents the sum of the number of pairs. For example, in the example of FIG. 23, the sum is the sum of five (k, ig, j g) pairs of points A to E.
  • Equation (25) is a linear equation with L g ( ⁇ ′, J ′) as an unknown.
  • equation (25) the true green light amount L g at the position (I ′, J ′) can be obtained. (, J ').
  • the true red light quantity L r (I ′, J ′) and the true blue light quantity L b (, J ′) at the position (, J ′) are also the green components described in FIGS.
  • a linear equation of the equations (26) and (27) similar to the equation (25) can be formed.
  • equation (26) is referred to as a panel-related equation for the amount of red light.
  • ⁇ ⁇ ⁇ ⁇ in Eq. (26) means that for a given position (1, ,), the position (ir1 0.5, jr-0.5) is converted to the conversion parameters (0 k, T k X, T k y , S k), the position (x, y) on the reference coordinate system I '-l ⁇ x ⁇ I' + l, J '-1 ⁇ y ⁇ J' + C representing the sum of the number of (k, ir, jr) pairs that satisfy
  • Expression (27) is referred to as a panel relational expression for the amount of blue light.
  • ⁇ in Eq. (27) indicates that, for a given position ( ⁇ , ⁇ ), the position (ib—0.5, j b- 0.5) is converted to the conversion parameters (S k, Tk X, T ky, (K, ib, jb) where the position (x, y) on the reference coordinate system converted by S k) is I '-l ⁇ x ⁇ I' + l, J '-l ⁇ y ⁇ J'-1. ) Represents the sum of the number of pairs.
  • the position (i0.5, j-0.5) is converted to the conversion parameters (0k, TkX, Tky, Sk). ),
  • the position on the reference coordinate system (capture position) (X, y) Force I '-l ⁇ x ⁇ I' + l, J 'satisfies l ⁇ y ⁇ J' + l (k, ib , Jb), the true green light amount L g (, J '), the true red light amount L r (I', J '), and the true blue light amount L b ( I ', J,) are required.
  • step S71 the arithmetic circuit 24 pays attention to a certain position ( ⁇ , J ′) on the reference coordinate system (hereinafter, referred to as a target position (I ′, J ′)).
  • the target position (, J ′) is defined by the pixel center (i ⁇ 1, 5, j ⁇ 0.5) of “i-th, j-th pixel” of the first captured image as the reference image. Represents.
  • step S71 the process proceeds from step S71 to S72, and the arithmetic circuit 24 calculates the center position (ig_0.5, i.sub.g_0.5, jg-0.5) with the transformation parameters (0 k, T kx, T ky, S k), the position (x, y) on the reference coordinate system I ' ⁇ l ⁇ x ⁇ I' + l, A set of (k, ig, jg) that satisfies J'-1 ⁇ y ⁇ J '+ 1 is obtained for all of the 1st to Nth eye images, and the flow advances to step S73.
  • step S73 the arithmetic circuit 24 generates a green light quantity panel relational expression represented by expression (25) using all the (k, ig, jg) pairs obtained in step S72.
  • step S74 the arithmetic circuit 24 generates a green light quantity panel relational expression represented by expression (25) using all the (k, ig, jg) pairs obtained in step S72
  • step S74 the arithmetic circuit 24 calculates the center position (ir-0.5, jr-0.5) of the pixel receiving the red component of the k-th image with respect to the position of interest (I ', J').
  • the transformation parameters (0 k, T k X, T ky, S k) on the reference coordinate system (X, y) force I > -l ⁇ x ⁇ I '+ l, J'-l ⁇
  • a set of (k, ir, jr) that satisfies y ⁇ J, + l is obtained for all of the first to Nth images, and the flow proceeds to step S75.
  • step S75 the arithmetic circuit 24 generates a panel relation expression of the red light amount represented by the expression (26) using all the (k, ir, jr) pairs obtained in step S74. To step S76.
  • step S76 the arithmetic circuit 24 calculates the center position (ib—0.5, jb ⁇ 0.5) of the pixel receiving the blue component of the k-th image with respect to the target position (, J,).
  • the transformation parameters (0 k, T k X, T ky, S k) on the reference coordinate system (x, y) ⁇ I '-l ⁇ x ⁇ I' + l, J '_ 1 ⁇
  • a set of (k, ib, jb) that satisfies y ⁇ J '+ 1 is obtained for all of the first to Nth images, and the flow advances to step S77.
  • step S77 the arithmetic circuit 24 generates a spring relation for the amount of blue light represented by equation (27) using all the (k, ib, jb) pairs obtained in step S76. Then, the process proceeds to step S78.
  • step S78 the arithmetic circuit 24 calculates the spring relation of the green light amount represented by the equation (25) obtained in step S73 and the red color represented by the equation (26) obtained in step S75.
  • the panel relational expression for the light quantity of light, and the panel relational expression for the light quantity of blue expressed by equation (27) obtained in step S77 the true green color at the target position (I ', J') is obtained.
  • the light amount L g ( ⁇ , J '), the true red light amount L r ( ⁇ ', J '), and the true blue light amount L b ( ⁇ , J') are obtained, respectively, and step S 7 Go to 9.
  • step S79 the arithmetic circuit 24 determines whether all the positions (I ′, J ′) have been set as the attention positions, that is, determines all the center positions of the pixels of the first captured image as the attention positions ( ⁇ , J). '), Whether the true green light quantity L g (, J'), the true red light quantity L r ( ⁇ , J,), and the true blue light quantity L b (, J ') have been determined. judge.
  • step S79 If it is determined in step S79 that all the positions (, J ') have not been obtained as the positions of interest, the process returns to step S71, and the processes in steps S71 to S79 are repeated.
  • the arithmetic circuit 24 sets the position (, J ′) not yet focused on as the next position (I ′, J ′), and sets the true green light amount L g (, J) at the position (, J ′). '), The true red light quantity L r (I', J '), and the true blue light quantity Lb (, J').
  • step S80 the arithmetic circuit 24 determines the true green light amount obtained in step S78.
  • An image (signal) is estimated from L g (I ', J'), the true red light amount Lr (, J '), and the true blue light amount Lb (, J'), and the D / A converter 9 Or supply it to codec 12 as an output image and return to processing.
  • the arithmetic circuit 24 calculates the true green light amount L g (i ⁇ 0.5, j ⁇ g) obtained in step S78 as a green value (G signal).
  • the arithmetic circuit 24 estimates the output image by performing the estimation on all the pixels centered on the position (, J ′) As described above, in the third embodiment, each of the imaging elements 4 The data received by the pixel is captured as point-sampled data, and the pixel value observed at the center of each pixel and the image as a clear image without camera shake Representing the relationship between the signal at the Panemoderu As a result, a clear image that is more faithful to the original light can be obtained.
  • the fourth embodiment is a modification of the third embodiment described with reference to FIG.
  • step S72 the arithmetic circuit 24 determines the center of the pixel receiving the green component of the k-th image with respect to the target position (, J ′).
  • the position (X, y) on the reference coordinate system, in which the position (ig—0.5, jg-0.5) is transformed by the transformation parameters (0k, Tkx, Tky, Sk), I'-1 Calculate all (k, ig, jg) pairs satisfying ⁇ X ⁇ I '+ 1, J'-l ⁇ y ⁇ J > + l for the 1st to Nth images.
  • step S73 the arithmetic circuit 24 uses all the sets of (k, ig, jg) obtained in step S72 to determine the spring relation of the green light amount represented by the equation (25). Generate an expression. Similarly, for pixels receiving red and blue components, the position of interest (, J ′) is
  • a set of (k, ig, jg) is obtained, and a panel relational expression expressed by Eqs. (26) and (27) is generated using all the obtained sets of (k, ig, jg).
  • data of a specific pixel of a specific image among 1 to N images may become unreliable data due to, for example, a shooting error.
  • N images are captured and stored in the frame memory 22. Therefore, sufficient data can be secured even if unreliable data is not adopted.
  • L data set in advance as reliable data are selected from all the obtained (k, ig, jg) pairs.
  • K, ig, jg is adopted.
  • L can be, for example, a fixed value such as eight, or a variable value set according to a user operation.
  • the panel relational expressions of the amounts of green, red, and blue light represented by Expressions (25), (26), and (27) are expressed as follows in the fourth embodiment. These can be expressed as Eqs. (28), (29), and (30), respectively.
  • ⁇ ⁇ ⁇ ⁇ in equation (28) is the average value of the pixel values Go bs (k, ig, jg) of all the (k, ig, jg) pairs found for the position of interest (, J '). Then, the pixel value G obs (k, ig, jg) represents the sum of L pairs of (k, ig, jg) in order of being closer to the average value.
  • ⁇ ⁇ ⁇ ⁇ in equation (29) is the sum of the pixel values R obs (k, ir, jr) of all the (k, ir, jr) pairs found for the position of interest (1 ′, J ′). The average value is obtained, and the pixel value R obs (k, ir, jr) represents the sum of L pairs of (k, ir, jr) in order of being closer to the average value. obs (ib, jb) -Lb (r, J ') ⁇ 0
  • ⁇ ⁇ ⁇ ⁇ in Eq. (30) is the average of the pixel values B obs (k, ib, jb) of all the (k, ib, jb) pairs found for the position of interest (, J ').
  • the pixel values B obs (k, ib, jb> are L (k, i b, jb) represents the sum of the pairs.
  • step S91 the arithmetic circuit 24 pays attention to a certain position ( ⁇ , J ′) on the reference coordinate system (hereinafter, referred to as a target position ( ⁇ ′, ⁇ )).
  • the position of interest (, J ′) represents the pixel center (i_0.5, j-0.5) of the “i-th and ⁇ th pixel” of the first captured image as the reference image. ing.
  • step S91 the process proceeds from step S91 to S92, and the arithmetic circuit 24 determines the center position (ig-0) of the pixel receiving the green component of the k-th image with respect to the target position (1 ', J'). 5, j gO. 5) with the transformation parameters (0 k, T k X, T ky, S k) on the reference coordinate system (x, y) I '-l ⁇ x ⁇ I' + (k, ig, jg) that satisfies l, J'-l ⁇ y ⁇ J., +1 are all obtained for the 1st to Nth images, and the flow proceeds to step S93.
  • step S93 the arithmetic circuit 24 calculates the average value of the pixel values G obs (k, ig, jg) in all the (k, ig, jg) pairs obtained in step S 92, and calculates the pixel value G obs
  • the L pairs of (k, ig, jg) in which (k, ig, jg) are close to the average are selected, and the flow proceeds to step S94. That is, in step S93, the one that is far from the average value of the pixel values G obs (k, ig, jg) in all the (k, ig, jg) pairs obtained in step S92 is the reliability. Discarded as missing data. If all the sets of (k, ig, jg) obtained in step S92 have not originally reached L, all of those (k, ig, jg) sets Is selected (not discarded).
  • step S94 the arithmetic circuit 24 generates a green light quantity panel relational expression expressed by the expression (28) using the L (k, ig, jg) pairs selected in step S93. To step S95.
  • step S95 the arithmetic circuit 24 calculates the center position (ir_0.5, jr-0.5) of the pixel receiving the red component of the k-th image with respect to the position of interest (, J '). 5) is transformed by the transformation parameters (0 k, T k X, T ky, S k) into the position (x, y) on the reference coordinate system I '-l ⁇ x ⁇ I' + l, J '-l ⁇ A set of (k, ir, jr) that satisfies y ⁇ J '+ l is obtained for all of the first to Nth images, and the process proceeds to step S96.
  • step S96 the arithmetic circuit 24 calculates the average value of the pixel values R obs (k, ir, jr) in all the (k, ir, jr) pairs obtained in step S96, and calculates the pixel value R obs (k, ir, jr) selects L pairs of (k, ir, jr) in order of being closer to the average value, and proceeds to step S97. That is, in step S96, the one that is far from the average value of the pixel values R obs (k, ir, jr) in all the (k, ir, jr) threads obtained in step S95 is considered to be reliable. It is discarded as unreliable data. If the 3 ⁇ 4E of all (k, ir, jr) obtained in step S95 does not originally reach L, the set of all (k, ir, jr) Is selected (not discarded).
  • step S97 the arithmetic circuit 24 uses the L sets of (k, x, jr) selected in step S96 to obtain a panel relation of the amount of red light represented by equation (29). Is generated, and the process proceeds to step S98.
  • step S98 the arithmetic circuit 24 calculates the center position (ib-0.5, jb-0) of the pixel receiving the blue component of the k-th image with respect to the position of interest (1 ', J,). .5) is converted by the conversion parameters (0 k, T k X, T ky, S k) into the position (x, y) on the reference coordinate system.
  • a set of (k, ib, jb) that satisfies 1 ⁇ y ⁇ J '+ 1 is obtained for all of the first to Nth images, and the process proceeds to step S99.
  • step S99 the arithmetic circuit 24 calculates the average value of the pixel values B obs (k, ib, jb) in all the (k, ib, jb) pairs obtained in step S98, and calculates the pixel value B Select a set of L (k, ib, jb) in order of which obs (k, ib, jb) is close to the average value, and proceed to step SI00. That is, in step S99, the pixel values B obs in all the (k, ib, jb) pairs determined in step S98 Those far from the average of (k, ib, jb) are discarded as unreliable data. If all the (k, ib, jb) pairs obtained in step S98 do not originally reach L, all the (k, ib, jb) pairs are Selected (not destroyed).
  • step S100 the arithmetic circuit 24 generates a blue light quantity spring relation equation represented by equation (30) using the L (k, ib, ib) pairs selected in step S99. Then, the process proceeds to step S101.
  • step S101 the arithmetic circuit 24 calculates the spring-related equation for the green light quantity expressed by the equation (28) obtained in step S94, and the red light quantity expressed by the equation (29) obtained in step S97.
  • the true green light quantity at the target position (I ', J,) is obtained.
  • L g (, J ′), the true red light amount L r (I ′,), and the true blue light amount Lb (, J ′) are obtained, and the process proceeds to step S102.
  • step S102 the arithmetic circuit 24 determines whether all the positions ( ⁇ , J ′) have been set as the positions of interest, that is, determines all the center positions of the pixels of the first captured image as the positions of interest (, J ′). ), The true green light quantity L g (I ', J'), the true red light quantity L r (I ,, J,), and the true blue light quantity L b (, J ') Is determined.
  • step S102 If it is determined in step S102 that all the positions (, J ') have not been set as the target positions yet, the process returns to step S91, and the processes in steps S91 to S102 are repeated. That is, the arithmetic circuit 24 sets the position ( ⁇ , J ′) not yet focused on as the next position (, J ′), and sets the true green light amount L g ( ⁇ , J '), the true red light quantity Lr (I',), and the true blue light quantity Lb (, J '), respectively.
  • step S102 determines whether all positions (, J ′) have been set as the target position. If it is determined in step S102 that all positions (, J ′) have been set as the target position, the process proceeds to step S103, and the arithmetic circuit 24 proceeds to step S101. From the true green light quantity L g (I ', J'), the true red light quantity L r (I ', J'), and the true blue light quantity L b (I ', J') (Signal), supply it to D / A converter 9 or codec 12 as an output image, and return to processing. For example, in the “first, j-th pixel”, the arithmetic circuit 24 calculates the true green light amount L g (i ⁇ 0.5) obtained in step S101 as a green value (G signal).
  • the arithmetic circuit 24 estimates the output image by performing the estimation for all the pixels centered on the position (, J ′). As described above, in the fourth embodiment, pixel values close to the average value are regarded as highly reliable data, and the spring model is applied only to the highly reliable data. It is possible to obtain a clear image that is more faithful to the original light than the form.
  • a fifth embodiment of the image estimation processing will be described. In the fifth embodiment, as in the fourth embodiment, all the found positions (, J ′) are obtained.
  • a preset L (k, ig, jg) set is adopted as reliable data.
  • the arithmetic circuit 24 receives a green component.
  • the pixel value G obs (k, k, The average value of (ig, jg) was calculated, and L (k, ig, jg) pairs were selected in order of pixel values G obs (k, ig, jg) close to the average value.
  • the arithmetic circuit 24 calculates the center position (ig ⁇ 0.5, jg) of the pixel receiving the green component of the k-th image with respect to the target position (I ′, J ′).
  • Reference coordinates obtained by converting 0.5) with the conversion parameters (0 k, T k X, T ky, S k) From the shortest distance between the position (x, y) and the target position (I ', J') on the system, only L pairs (k, ig, jg) are selected as reliable data in order. . This is because, as described in FIG.
  • the true green light amount L g ( ⁇ , J ') at the target position ( ⁇ , J') is determined by the pixel value Go bs observed at the position (x, y).
  • the approximation error due to approximation with (k, ig, jg) increases as the distance between the position (x, y) and the target position (, J ') increases. Therefore, the reliability decreases as the pixel value G obs (k, ig, jg) observed at the position (X, y) far from the target position (1 ', J').
  • the function for calculating the distance between two points (xl, yl) and (x 2, y 2) is, for example, the function F ((x 1, y 1), (x 2, y 2)) can be adopted.
  • Equations (31), (32), and (33) are used.
  • the panel relational expression of the amount of green, red, and blue light represented is used.
  • ⁇ in equation (31) is the center position of the pixel receiving the green component of the k-th image (ig—0.5, ⁇ g—0. 5) is converted by the conversion parameters (0k, TkX, Tky, Sk) on the reference coordinate system.
  • ⁇ ⁇ ⁇ ⁇ in equation (32) is the center position of the pixel receiving the red component of the k-th image (ir-0.5, jr-0.5) with respect to the target position ( ⁇ , J ').
  • conversion parameters (01c, Tk X, T ky, S k) on the reference coordinate system It represents the sum of L (k, ir, jr) pairs selected in order from the one with the shortest distance between (x, y) and the position of interest (, J ').
  • ⁇ in equation (3 3) is the center position (ib—0.5, jb ⁇ 0.5) of the pixel receiving the blue component of the k-th image with respect to the target position (, J ′).
  • step S121 the arithmetic circuit 24 pays attention to a certain position (1 ', J') on the reference coordinate system (hereinafter, referred to as a target position (1 ', J')).
  • the position of interest (, J ′) is the pixel center (i_0.5, j-0.5) of the “i-th and j-th pixel” of the first captured image as the reference image. Represents.
  • the arithmetic circuit 24 determines the center position (ig-O) of the pixel receiving the green component of the k-th image with respect to the target position ( ⁇ , J '). ., Jg-0.5) with the transformation parameters (0 k, T k X, T ky, S k), the position (x, y) on the reference coordinate system I '-l ⁇ x ⁇ I '+ l, J'-l ⁇ y ⁇ J' + 1, and all the (k, ig, jg) pairs satisfying the first to Nth images are obtained, and the flow advances to step S123.
  • step S123 the arithmetic circuit 24 calculates k sheets from the set of (k, ig, jg) obtained in step S122 with respect to the target position (, J ').
  • the center position (ig-0.5, jg-0.5) of the pixel receiving the green component of the eye image is transformed by the transformation parameters (0k, TkX, Tky, Sk).
  • step S123 the distance between the position (x, y) and the position of interest ( ⁇ , J ') among all (k, ig, jg) pairs obtained in step S122. Long ones are discarded as unreliable data. If all the (k, ig, jg) pairs obtained in step S 122 do not originally reach L, all (k, ig, jg) pairs are selected. Be (not destroyed).
  • step S124 the arithmetic circuit 24 uses the L sets of (k, ig, jg) selected in step S123 to generate a green light spring represented by equation (31). A relational expression is generated, and the process proceeds to step S125.
  • step S125 the arithmetic circuit 24 calculates the center position (ir0.5, jr-0) of the pixel receiving the red component of the k-th image with respect to the target position ((, J,). .5) is transformed by the transformation parameters (0 k, T k X, T ky, S k) into the position on the reference coordinate system (x, y) ⁇ I '-l ⁇ x ⁇ I' + l, J'— A set of (k, ir, jr) that satisfies 1 ⁇ y ⁇ J, +1 is obtained for all the 1st to Nth images, and the process proceeds to step S126.
  • step S 126 the arithmetic circuit 24 calculates, from the set of all (k, ir, jr) obtained in step S 125, for the target position (I ′, J ′), Reference coordinates obtained by converting the center position (ir-0.5, jr-0.5) of the pixel receiving the red component of the k-th image with the conversion parameters (Sk, TkX, Tky, Sk) Only L pairs (k, ir, jr) are selected in ascending order of the distance between the position (x, y) and the position of interest (I ', J') on the system, and the process proceeds to step S127.
  • step S126 the distance between the position (x, y) and the position of interest (, J ') is long among all the (k, ir, jr) pairs obtained in step S125. Are destroyed as unreliable data. If all the (k, ir, jr) pairs obtained in step S125 do not originally reach L, all (k, ir, jr) pairs are selected. Be (not destroyed).
  • step S127 the arithmetic circuit 24 determines the L selected in step S126. Using the set of (k, ir, jr), a spring relational expression for the amount of red light represented by Expression (32) is generated, and the flow proceeds to Step S128.
  • step S128 the arithmetic circuit 24 determines, with respect to the target position (j, J ′), the center position of the pixel receiving the blue component of the k-th image (ib ⁇ 0.5, jb ⁇ 0. 5) is converted by the conversion parameters (0 k, T k X, T k y, S k) to the position (X, y) f on the reference coordinate system, and I '-l ⁇ x ⁇ I' + l, J'- A set of (k, ib, jb) that satisfies l ⁇ y ⁇ J '+ l is obtained for all the 1st to Nth images, and the flow proceeds to step S129.
  • step S129 the arithmetic circuit 24 sets the blue color of the k-th image from the set of (k, ib, jb) obtained in step S128 with respect to the target position (, J,). Position on the reference coordinate system obtained by transforming the center position (ib-0.5, jb-0.5) of the pixel receiving the light component with the transformation parameters (Sk, TkX, Tky, Sk). Only L pairs of (k, ib, jb) are selected in ascending order of the distance between X , y) and the position of interest (I ',), and the flow proceeds to step S130.
  • step S129 of all the (k, ib, jb) pairs obtained in step S128, the one where the distance between the position (x, y) and the position of interest (, J ') is long, Discarded as unreliable data. If all (k, ib, jb) pairs obtained in step S128 do not originally reach L, all (k, ib, jb) pairs are selected. (Not destroyed).
  • step S130 the arithmetic circuit 24 uses the L sets of (k, ib, jb) selected in step S129 to derive the spring relational expression for the amount of blue light represented by expression (33). Generate it and go to step S131.
  • step S131 the arithmetic circuit 24 calculates the green light quantity spring relation expressed by the equation (31) obtained in step S124 and the red light quantity expressed by the equation (3 2) obtained in step S127.
  • the true green light quantity at the point of interest ( ⁇ , J ') L g (, J '), true red light intensity L r (I ′, J ′) and the amount of true blue light L b ( ⁇ ′, J ′) are obtained, and the flow advances to step S132.
  • step S132 the arithmetic circuit 24 determines whether all the positions (, J ') have been set as the positions of interest, that is, all the center positions of the pixels of the first captured image have been set as the positions of interest (, J').
  • Were the true green light quantity L g (I ', J'), the true red light quantity L r (I ', J'), and the true blue light quantity L b (I ', J') Determine whether or not.
  • step S132 If it is determined in step S132 that all the positions (I ', J') have not been set as the target positions yet, the process returns to step S121 and the processing of steps S122 to S132 is performed. Repeated. That is, the arithmetic circuit 24 is located at a position (I
  • step S1332 when it is determined in step S1332 that all positions. (I ', J') have been taken as the target position, the process proceeds to step S133, and the arithmetic circuit 24 proceeds to step S133.
  • An image (signal) is generated from the obtained true green light quantity L g (, J ′), true red light quantity L r (, J ′), and true blue light quantity Lb (, J ′). Supply it as an output image to / A converter 9 or codec 12 and return.
  • the arithmetic circuit 24 calculates the true green light amount L g (i ⁇ 0.5) as the green value (G signal) obtained in step S131.
  • the arithmetic circuit 24 estimates the output image by performing the estimation on all the pixels having the position (I ′, J,) as the center position.
  • pixel values observed at a position close to the target position (, J ′) are regarded as highly reliable data, and only the highly reliable data is used. Since the panel model is applied, it is possible to obtain a clear image that is more faithful to the original light than the third embodiment.
  • the sixth embodiment is also a modification of the third embodiment described above. That is, in the sixth embodiment, the edge part of the image is detected, and the pixel values at the detected edge part are calculated according to the equations (25), (26), and (26) in the third embodiment. Improve the panel relations of green, red, and blue light quantities expressed by equation (27).
  • FIG. 27 shows a reference coordinate system focusing on, for example, a green component (G signal) of green, red, and blue.
  • a pixel value as bright green is observed on the right side of the boundary (edge) 51, and a pixel value as dark green is observed on the left side.
  • the green pixel value is represented by, for example, 8 bits
  • the bright green pixel value is, for example, about 240
  • the dark green pixel value is, for example, about 16. .
  • the white circles 52-1 to 52-10, the white circles 53-1 to 53-9, and the white circle 54 are the center positions of the “ig-th pixel; the jg-th pixel” of the k-th image.
  • (ig-0.5, jg-0.5) represents the position on the reference coordinate system converted by the conversion parameters (0 k, T kx, T ky, S k), and the green pixel value G obs at that position (k, ig, jg) are observed.
  • the set of (k, ig, j g) is different in each of the open circles 52-1 to 52-10, the open circles 53-1 to 53-9, and the open circle 54.
  • Each of the black circles arranged at the grid-like intersection indicated by the dotted line in FIG. 27 indicates the position (1 ′, J ′) at which the arithmetic circuit 24 should calculate the true green light amount L g ( ⁇ , J ′).
  • the position (I ′, J ′) is, as described above, the pixel center (i ⁇ 0.5, j ⁇ 0) of the “i-th, j-th pixel” in the first image as the reference image. . 5).
  • the distance between L g (, J ′) in the X direction and the Y direction is 1 both, and therefore the size of the pixel in the X direction and the Y direction is also 1.
  • the pixel values G obs (k, ig, jg) observed in the above-mentioned white circles 5 2 _ 1 to 5 2-8, white circles 53-1 to 5 3-7, and white circles 5 4 usually have an error. Since these components are included, they should be accurately expressed as about 240, about 16 and about 128. However, here, such error components are ignored, and 240, 16 and 12 It shall be written as 8.
  • the position of the black circle 71 in FIG. 27 is defined as a target position (1 ′, J ′), and the target position (,, Consider a case in which the true green light amount L g (I ′, J ′) of J ′) is obtained.
  • the position of the black circle 71 is the position of interest (I ', J'), it is observed at the surrounding positions such as the white circles 52-3, 52-6, 52-10, 54, etc.
  • the pixel value G obs (k, ig, jg) force S is adopted as G obs (k, ig, jg) in equation (25).
  • the true green light amount L g (I ′, J ′) obtained by solving the equation (25) is the pixel value observed at the position of the white circle 54. Is pulled (influenced) to a value less than 240.
  • the position of the black circle 71 is originally the position on the right side of the boundary 51 where a bright green pixel value of pixel value 240 is observed, it can be obtained by solving the equation (25). It is desirable that the true light quantity L g (, J ′) of the solution be 240. Also, assuming that the position of the black circle 72 is the target position ( ⁇ , J '), the pixel values observed at the surrounding positions such as white circles 53-2, 53-3, 53-5, 53-9, 54, etc. bs (k, ig, jg) This is adopted as G obs (k, ig, jg) in the force equation (25).
  • the true green light amount L g (I ′, J ′) obtained by solving equation (25) is pulled to 128, which is the pixel value observed at the position of the white circle 54 ( Affected), will be larger than 16 straight.
  • the position of the black circle 72 is the position on the left side of the boundary 51 where the dark green pixel value of the pixel value 16 is observed, so the solution obtained by solving the equation (25) is It is desirable that the light quantity L g (, J ′) of a certain true green is 16.
  • the image estimated by the image estimation processing of the third embodiment has a smooth edge at the edge portion where the boundary 51 in FIG. 27 exists (the difference between the pixel values of adjacent pixels is small) Image.
  • an edge portion where the boundary 51 in FIG. 27 exists is detected, and special processing is performed on the pixel value G obs (k, ig, jg) at the edge portion. That is, the pixel value Go bs (k, ig, jg) to be substituted into the green light amount spring relational expression represented by Expression (25) is changed.
  • the arithmetic circuit 24 detects an edge portion using all pixel values Go b s (k, ig, j g) converted on the reference coordinate system. That is, the arithmetic circuit 24 determines the presence or absence of each of the edges in the four directions of “vertical edge”, “horizontal edge”, “upper left to lower right edge”, and “lower right to lower left edge”. judge. With reference to FIG. 28, a method of determining whether there is a vertical edge will be described.
  • Figure 28 shows the reference coordinate system.
  • the positions represented by white circles 81-1 to 81-10, white circles 82-1 to 82-9, and white circle 83 are as follows:
  • the center position (ig-0.5, jg-0.5) of the "ig-th, jg-th pixel" of the k-th image is converted by the conversion parameters (0k, TkX, Tky, Sk)
  • the pixel value G obs (k, ig, jg) is observed at that position on the reference coordinate system.
  • the set of (k, ig,; jg) is different in each of the white circles 81-1 to 81-10, the white circles 82-1 to 82-9, and the white circle 83.
  • Each of the black circles arranged at the grid-like intersection indicated by the dotted line in FIG. 28 represents a position ( ⁇ , J ′) at which the arithmetic circuit 24 should obtain the true green light amount L g (, J ′).
  • the position (, J ′) is, as described above, the pixel center (i 0.5, j -0.5) of the “i-th, j-th pixel” in the first image as the reference image. Is represented.
  • the distance between L g (, J ′) in the X direction and the Y direction is 1 as in FIG. 27, and therefore, the size of the pixel in both the X direction and the Y direction is 1.
  • the arithmetic circuit 24 pays attention to the position of the white circle 83 in FIG. 28 and determines whether there is a vertical edge such as an edge 94 shown in FIG. 28, for example.
  • the position (x, y) of the open circle 83 should satisfy the formulas I-0.5 ⁇ x ⁇ I + 0.5, J-0.5 ⁇ y ⁇ J + 0.5.
  • the position (x, y) of the open circle 83 is the position of the solid circle 84 representing the position (1 +0.5, J-0.5), and the position (I-0.5, J-0.5).
  • I and J are integers as before.
  • the arithmetic circuit 24 defines nine areas, each of which is the same as the pixel size, centered on the area A11 including the position of the white circle 83 of interest. That is, the nine regions are I-1.5 ⁇ X ⁇ I-0.5, J-1.5 ⁇ y ⁇ J-0.5, A 00, I-1.5 ⁇ X ⁇ I-0 .5, J-0.5 ⁇ y ⁇ J + 0.5 A0 1, I-1 ⁇ 5 ⁇ x ⁇ I-0.5, J + 0.5 ⁇ y ⁇ J + 1.5 Region A 0 2, 1--0.5 ⁇ x ⁇ I + 0.5, J-1.5 ⁇ y ⁇ J-0.5 Region A 1 0, I-0.5 ⁇ x ⁇ I + 0.
  • the position of the white circle 83 currently focused on is included in the area A11.
  • an edge determination area the entirety of the nine areas AO0 to A22 defined with respect to the position of the white circle 83 of interest is hereinafter appropriately referred to as an edge determination area.
  • the arithmetic circuit 24 calculates a region 9 1 (a left side of the edge determination region, which is composed of one column of the region AO 0, the region A 01, and the region A 02.
  • the center area 9 2 of the edge determination area (hereinafter, referred to as the center area 92), which is composed of one row of the left area 91, the area A 10, the area A 11, and the area A 12. )
  • the white circle included in each of the right side area 93 of the edge determination area (hereinafter, referred to as the right side area 93), which is composed of one row of the area A20, the area A21, and the area A22.
  • the average and variance of the pixel value G obs (k, ig, jg) at the position of are calculated.
  • the arithmetic circuit 24 calculates the average value EG 0 and the variance S G 0 of the pixel values G obs (k, ig, j g) at the positions of the white circles 82-1 to 82-7 in the left area 91. In addition, the arithmetic circuit 24 calculates the pixel values G obs (k, ig, jg), and the arithmetic circuit 24 calculates the pixel values G obs (k, ig, jg) at the positions of the white circles 8 1-1 to 8 1-8 in the right region 93. Find EG 0 'and variance SG 0'.
  • the arithmetic circuit 24 calculates the upper region 1 of the edge determination region, which is composed of one column of the region A00, the region A10, and the region A20.
  • 0 1 hereinafter referred to as the upper region 101
  • the region A 0 1 the region A 11, and the center region 10 2 of the edge judgment region composed of one row of the region A 21 1 (hereinafter, the central region) 10 2)
  • area AO 2, area A 12, and area A 22, one row below the edge judgment area 103 hereinafter, lower area 103
  • the average value and the variance of the pixel values G obs (k, ig, jg) at the positions of the white circles included in each are calculated.
  • the arithmetic circuit 24 calculates the pixel values at the positions of the white circles 8 1-1 to 8 1-3, 8 1-10, 8 2-1, 8 2-2, and 8 2-9 in the upper area 101. Find the average EG 1 and variance SG 1 of G obs (k, ig, jg). The arithmetic circuit 24 is located at the positions of the white circles 81-4 to 81-6, 82-3 to 82-5 and 83 in the central area 102. The average value EG 1 "of the pixel values G obs (k, ig, jg) is obtained. Further, the arithmetic circuit 24 calculates the white circles 8 1-7 to 8 1-9, 8 2-in the lower region 103. The pixel values G obs (k, ig, jg) at the positions 6 to 8 2 1 and 8 are obtained with the average value EG 1 and the variance SG 1 ′.
  • the arithmetic circuit 24 calculates the edge determination area. Which is composed of one column of the area A 01, the area A 02, and the area A 12.
  • Lower left area 1 1 1 (hereinafter referred to as lower left area 1 1 1), area AO 0, area
  • the upper left area 1 1 3 of the edge judgment area (hereinafter referred to as the upper left area 1 1
  • the average value and the variance of the pixel values G obs (k, ig, jg) at the positions of the white circles included in each of them are calculated. That is, the arithmetic circuit 24 calculates the average value EG 2 of the pixel values G obs (k, ig, jg) at the positions of the white circles 8 1-9, 8 2-3 to 8 2-8 in the lower left area 1 11 1 Find the variance SG 2. The arithmetic circuit 24 calculates the pixel values G obs (k, ig, jg) at the positions of the white circles 8 1-7, 8 1-8, 82-1, 82-2, and 8 3 in the central area 112. ) Is calculated.
  • the arithmetic circuit 24 calculates the pixels at the positions of the white circles 8 1-1 to 8 1-6, 8 1-10, and 82-9 in the upper right area 1 13. Values G obs (k, ig, jg) Find the average value EG 2 'and the variance SG 2.
  • the arithmetic circuit 24 calculates the edge 1 in the upper left area of the edge determination area, which is composed of one row of the area A 00, the area A 01, and the area A 10. 2 1 (hereinafter referred to as upper left area 1 2 1), area AO 2, area A 1 1 and 2 A 2 0
  • central area 1 2 2 (Hereinafter referred to as central area 1 2 2), area A 1 2, area A 21, and area A 22 2, which is a row at the lower right side of the edge determination area 1
  • the average value and the variance of the pixel values G obs (k, ig, jg) at the positions of the white circles included in each of the lower regions 1 2 and 3 are obtained.
  • the arithmetic circuit 24 calculates the pixel values G obs (k, ig, jg) at the positions of the white circles 8 1-10, 8 2-1 to 8 2-5, 8 2-9 in the upper left area 12 1. ) And the variance SG 3 are calculated. In addition, the arithmetic circuit 24 calculates the pixel values G obs (k, ig, the average value EG 3 "of jg). further, the arithmetic circuit 2 4, the lower right side region 1 2 3 in the white circle 8 1-4 to 8 1 9, 8 2 8 position of the pixel values G obs of (k, ig, jg) Find the average EG 3 'and the variance SG 3'.
  • the arithmetic circuit 24 includes “vertical” and “horizontal” In four directions, “direction”, “top left to bottom right”, and “bottom right to bottom left”, it is determined whether or not there is an edge, that is, whether or not the above expression holds.
  • the arithmetic circuit 24 determines the presence or absence of the edge not only for green but also for other red and blue colors.
  • the arithmetic circuit 24 calculates, for a plurality of directions in which edges are detected,
  • the arithmetic circuit 24 performs the pixel value G obs (k, ig, jg) at the position of interest at that edge.
  • G obs k, ig, jg
  • the special processing means that when the pixel value G obs (k, ig, jg) is substituted into the green light quantity spring relation expression expressed by equation (25), the pixel is observed at the position determined to be the edge part.
  • the pixel value G obs (k, ig, jg) is a process of changing the substituted pixel value G obs (k, ig, jg).
  • the process of changing the pixel value Gobs (k, ig, jg) to be substituted for example, the following first process and second process can be adopted.
  • the pixel value G obs (k, ig, j g) is discarded. That is, the panel relational expression of the amount of green light represented by Expression (25) does not include the pixel value G obs (k, ig, jg) at the position where the edge is detected. In this case, in the panel model described in Fig. 22 (Fig. 23), there will be no panel pulling in the wrong direction (light quantity). Therefore, more accurate (clear) L g (I ', J') can be obtained.
  • the pixel value G obs (k, ig, jg) at the position of the white circle 83 in FIGS. 28 to 31 is focused on in the above-described edge detection.
  • the pixel values G obs (k, ig, jg) observed in the nine regions AO 0 to • A 22 forming the edge determination region defined for the position where 2 5) Substitute into the panel relational expression of green light quantity expressed by.
  • FIG. 32 shows an area A 11 including the position of the white circle 83 of interest when the “vertical edge” shown in FIG. 28 is detected.
  • one axis represents the X direction in the reference coordinate system
  • an axis perpendicular to the X direction represents the Y direction in the reference coordinate system
  • the X direction and the axis perpendicular to the Y direction represent pixel values, respectively.
  • the true green light amount L g (1-0.5, J-0.5) at the position of the black dot 85 (I-0.5, J-0.5) and the position of the black dot 87 is the position (X, It is considered to be larger than the pixel value G obs (k, ig, jg) observed at (y), and the true green at the position of the black circle 85 (1 — 0.5, J-0.5) L g (1-0.5, J—0.5), or the true green light L g (1 — 0.5) at the position of the black circle 87 (1-0.5, J + 0.5).
  • the true green light amount L g (1 + 0.5, J + 0.5) at +0.5, J + 0.5) is the position (X, y) of the white circle 83 of interest It is considered smaller than the pixel value G obs (k, ig, jg) that cannot be observed at.
  • the true green light amount L g (1 + 0.5, J—0.5) at the position of the black circle 84 (1 + 0.5, J-0.5) or the position of the black circle 86 ( The true green light amount L g (1 + 0.5, J + 0.5) at I + 0.5, J + 0.5) and the pixel value G at the position (x, y) of the white circle 83
  • the difference between the amount of light (pixel value) and obs, (k, ig, jg) depends on the difference between the average values EGO and EGO '(EGO-EG ⁇ ').
  • the arithmetic circuit 24 obtains a plane Q1 having a slope p in the X direction passing through the pixel value Gobs (k, ig, jg) at the position (x, y) of the noted white circle 83.
  • p (EG 0 -EG 0 ') ⁇ 2.
  • the slope: is the difference between the average value EG 0 of the pixel values of the left region 91 in FIG. 28 and the average value EG 0 ′ of the pixel values of the right region 93, and the left region 91 and the right region 9 2 It is obtained by dividing by 2 which is the distance between the center positions in the X direction.
  • the slope p represents the degree of change in the amount of light (pixel value) in the direction perpendicular to the edge in the vertical edge portion, that is, the slope of the edge.
  • the arithmetic circuit 24 obtains a value (pixel value) on the plane Q 1 at the position (1 — 0.5, J — 0.5) of the black circle 85, and calculates the value as the pixel value G obs 0 ( k, ig, jg).
  • the arithmetic circuit 24 obtains a value (pixel value) on the plane Q 1 at the position (1 — 0.5, J + 0.5) of the black circle 87, and calculates the pixel value G obsi (k, ig , jg).
  • the arithmetic circuit 24 calculates the value (pixel value) on the plane Q 1 at the position (I + 0.5, J-0.5) of the black circle 84 and the position (I + 0.
  • the values (pixel values) on the plane Q1 are obtained, and the respective values are referred to as pixel values G obs 2 (k, ig, jg) and pixel values G obs 3 (k, ig, jg).
  • the pixel value G obs O (k, ig, jg) is equal to the pixel value G obs 1 (k, ig, jg).
  • the pixel value G obs 2 (k, ig, jg) is equal to the pixel value G obs 3 (k, ig, jg).
  • Equation (25) is established by considering a panel model that represents a state where pixel values G obs (k, ig, jg) are balanced.
  • the pixel value G obs (k, ig, jg) observed at a position around the position ( ⁇ , J ') is the position (ig -0.5, jg -0.5) in the coordinate system of the k-th image.
  • the pixel value G obs of the position (x, y) of the white circle 83 is considered.
  • the pixel value which is the value (pixel value) on the plane Q1 at the position (1 + 0.5, J + 0.5) of the black circle 86 of interest G obs 3 (k, ig, jg) is substituted into the force equation (25).
  • the pixel value G obs ( Instead of k, ig, jg), the pixel value G, which is the value (pixel value) on the plane Q1 at the position (I-0.5, J + 0.5) of the black circle 87 of interest obsi (k, ig, jg) is substituted into the force equation (25).
  • the pixel value G obs (k, ig, jg) observed at the position where there is a vertical edge (a sharp change in the amount of green light) (the pixel value at the position of the white circle 83 in FIG. 32)
  • the changed pixel value is substituted into equation (25), whereby L as the object V in FIG. g (, J ') is pulled to the appropriate position, and a more accurate (clear) true green light amount L g (, J') can be obtained.
  • FIG. 33 shows an area A11 including the position of the noted white circle 83 when the “horizontal edge” shown in FIG. 29 is detected.
  • one axis represents the X direction in the reference coordinate system
  • an axis perpendicular to the X direction represents the Y direction in the reference coordinate system
  • the X direction and the axis perpendicular to the Y direction represent pixel values, respectively.
  • the true green light at the position (1 + 0.5, J-0.5) of the black circle 84 Quantity L g (I + 0.5, J-0.5) and the true green light quantity L g (1 -0.5) at the position of the black circle 85 (1—0.5, J—0.5) , J-0.5) is considered to be larger than the pixel value G obs (k, .ig, jg) observed at the position (X, y) of the white circle 83 of interest.
  • the true green light amount L g (1 ⁇ 0.5, J ⁇ 0.5) at 0.5, J-0.5) and the pixel value G obs ( The difference in the amount of light (pixel value) with k, ig, jg) depends on the difference between the average values EG1 and EG1, (EG1-EG1 ').
  • the true green light quantity L g (1 ⁇ 0.5, J + 0.5) at —0.5, J + 0.5) is the position (x, y) of the white circle 83 of interest. It is considered smaller than the observed pixel value G obs (k, ig, jg).
  • the true green light amount L g (1 + 0.5, J + 0.5) at the position of the black circle 86 (1 + 0.5, J + 0.5) or the position of the black circle 87 The true green light quantity L g at I-0.5, J + 0.5) (1 -0.5, J + 0.5.
  • the arithmetic circuit 24 passes through the pixel value G obs (k, ig, jg) at the position (X, y) of the white circle 83 of interest and tilts in the Y direction! Find the plane Q 2 of).
  • p (EG 1 -EG 1 ')) 2.
  • the slope ⁇ is the difference between the average value EG 1 of the pixel values of the upper region 101 in FIG. 29 and the average value EG 1 ′ of the pixel values of the lower region 103 in FIG. It is obtained by dividing by 2 which is the distance between the center positions of the region 103 in the y direction.
  • the slope p indicates the degree of change in the amount of light (pixel value) in the direction perpendicular to the edge in the horizontal direction, that is, the slope of the edge.
  • the arithmetic circuit 24 calculates the position of the black circle 85 at the position (1 ⁇ 0.5, J ⁇ 0.5).
  • a value (pixel value) on the plane Q2 is determined, and the value is defined as a pixel value G obs 0 (k, ig, jg).
  • the arithmetic circuit 24 calculates a value (pixel value) on the plane Q2 at the position (I-0.5, J + 0.5) of the black circle 87, and calculates the pixel value Gobsi (k, ig , Jg).
  • the arithmetic circuit 24 calculates the value (pixel value) on the plane Q2 at the position (I + 0.5, J-0.5) of the black circle 84 and the position (I + 0.5 , J + 0.5), the values (pixel values) on the plane Q 2 are obtained, and the values are respectively referred to as pixel values G obs 2 (k, ig, jg) and pixel values G obs 3 (k, ig, jg ).
  • the plane Q 2 has a slope p only in the Y direction [the pixel value G obs 0 (k, ig, jg) and the pixel value G obs 2 (k, ig, jg)
  • the pixel value G obs 1 (k, ig, jg) is equal to the pixel value jiG obs 3 (k, ig, jg).
  • the pixel value G obs ( Instead of k, ig, jg), the pixel value G, which is the value (pixel value) on the plane Q2 at the position (1-0.5, J-0.5) of the black circle 85 of interest obs 0 (k, ig, jg) is substituted into the force equation (25).
  • the pixel value G obs (k, ig, jg) (the pixel value at the position of the white circle 83 in FIG. 33) observed at the position where the horizontal edge (the sharp change in the amount of green light) is present is calculated as follows.
  • L g as the object V in FIG. (, J ') is pulled to an appropriate position, and a more accurate (clear) true green light amount L g (I', J ') can be obtained.
  • FIG. 34 shows an area A 11 including the position of the white circle 83 of interest when the “edge from the upper left to the lower right” shown in FIG. 30 is detected.
  • one axis represents the X direction in the reference coordinate system
  • an axis perpendicular to the X direction represents the Y direction in the reference coordinate system
  • the X direction and an axis perpendicular to the Y direction represent pixel values, respectively.
  • the difference between the light amount (pixel value) and the pixel value G obs (k, ig, jg) at the position (X, y) at position 3 is the difference between the average value EG 2 and EG 2 (EG 2 '-EG 2).
  • the true green light amount L g (1-0.5, J + 0.5) at the position (I-0.5, J + 0.5) of the black circle 87 is the white circle 83 It is considered smaller than the pixel value G obs (k, ig, jg) observed at the position (X, y).
  • the true green light amount L g (I-0.5, J + 0.5) at the position (1 — 0.5, J + 0.5) of the black circle 87 and the position (x , Y) differs from the pixel value G obs (k, ig, jg) in the amount of light (pixel value) depending on the difference (EG 2, one EG 2) between the average value EG 2 ′ and EG 2.
  • the arithmetic circuit 24 passes through the pixel value G obs (k, ig, jg) at the position (X, y) of the white circle 83 of interest and passes through the position (1 + 0.5, J 1 Obtain a plane Q3 with a slope p in the diagonal direction of the area A11 connecting 0.5) and the position (I-0.5, J + 0.5) of the black circle 87.
  • p (EG 2 '-EG 2) ⁇ 2V "2.
  • the slope! Is the average pixel value EG 2' and the lower left region of the upper right region 1 13 in Figure 30
  • the difference between the average value of the pixel values of 1 1 1 and EG 2 is calculated using the position of black circle 84 (I + 0.5, J-0.5) and the position of black circle 87 (I-0.5, J + 0). 5)
  • the slope p indicates the degree of change in the amount of light (pixel value) in the direction perpendicular to the edge in the upper left or lower right edge, that is, the slope of the edge.
  • the arithmetic circuit 24 obtains a value (pixel value) on the plane Q3 at the position (1 — 0.5, J-0.5) of the black circle 85, and calculates the value as the pixel value G obs 0 ( k, ig, jg). In addition, the arithmetic circuit 24 obtains a value (pixel value) on the plane Q 3 at the position (1 — 0.5, J + 0.5) of the black circle 87, and calculates the pixel value G obsi (k, ig , jg). Similarly, the arithmetic circuit 24 calculates the value (pixel value) on the plane Q3 at the position (I.
  • the plane Q 3 is a region A 1 1 connecting the position (1 + 0.5, J to 0.5) of the black circle 84 and the position (1 _ 0.5, J + 0.5) of the black circle 87.
  • the pixel value G obs O (k, ig, jg) is equal to the pixel value G obs 3 (k, ig, jg).
  • FIG. 35 shows an area A 11 including the position of the white circle 83 of interest when the “edge from the upper right to the lower left” shown in FIG. 31 is detected.
  • one axis represents the X direction in the reference coordinate system
  • an axis perpendicular to the X direction represents the Y direction in the reference coordinate system
  • the X direction and an axis perpendicular to the Y direction represent pixel values, respectively.
  • the true green light quantity L g (1 —0.5, J-0.5) at the position (1 — 0.5, J— 0.5) of the black circle 85 is the white circle of interest. It is considered to be larger than the pixel value G obs (k, ig, jg) observed at the position (X, y) at 83.
  • the true green light amount L g (1 — 0.5, J-0.5) at the position of the black circle 85 (1 — 0.5, J — 0.5) and the position of the white circle 83 (The difference in light quantity (pixel value) between the pixel value G obs (k, ig, jg) of X, y) depends on the difference (EG 3—EG 3,) between the average values EG 3 and EG 3 ′.
  • the true green light amount L g (1 + 0.5, J + 0.'5) at the position (1 + 0.5, J + 0.5) of the black circle 86 is the white circle 8 It is considered to be smaller than the pixel value G obs (k, ig, jg>) observed at the position (X, y) of position 3.
  • the position of the black circle 86 (1 + 0.5, J + 0.5) ) The light amount (g) between the true green light amount L g (I + 0.5, J + 0.5) and the pixel value G obs (k, ig, jg) at the position (x, y) of the white circle 83.
  • the arithmetic circuit 24 passes through the pixel value G obs (k, ig, jg) at the position (X, y) of the white circle 83 of interest and passes through the position (I 0.5, J— Obtain a plane Q4 with a slope p in the diagonal direction of the area A11 connecting 0.5) and the position (I + 0.5, J + 0.5) of the black circle 86.
  • p (EG 3 -E G 3 ') ⁇ 22.
  • the slope P is the difference between the average value EG 3 of the pixel values of the upper left area 1 2 1 in FIG. 31 and the average value EG 3 ′ of the pixel values of the lower right area 123 in FIG.
  • the slope p is calculated by dividing the edge of the edge portion in the edge portion from the upper right to the lower left. It indicates the degree of change in the amount of light (pixel value) in the vertical direction, that is, the slope of the edge.
  • the arithmetic circuit 24 obtains a value (pixel value) on the plane Q 4 at the position (I-0.5, J-0.5) of the black circle 85, and calculates the value as the pixel value G obs 0 ( k, ig, jg). In addition, the arithmetic circuit 24 calculates the position of the black circle 87 (1 ⁇ 0.5, J + 0.
  • the value (pixel value) on the plane Q4 in 5) is obtained, and the value is defined as the pixel value G ob si (k, ig, j g).
  • the arithmetic circuit 24 calculates the value (pixel value) on the plane Q 4 at the position (1 + 0.5, J ⁇ 0.5) of the black circle 84 and the position (I + 0.5,
  • the values (pixel values) on the plane Q4 at J + 0.5) are obtained, and those values are respectively referred to as pixel values G obs 2 (k, ig, jg) and pixel values G obs 3 (k, ig, jg)
  • pixel values G obs 2 (k, ig, jg) are respectively referred to as pixel values G obs 2 (k, ig, jg) and pixel values G obs 3 (k, ig, jg)
  • the plane Q4 is the area A 1 1 that connects the position of the black circle 85 (1 ⁇ 0.5, J-0.5) to the position of the black circle 86 (1 + 0.5, J + 0.5).
  • Go bsl (k, ig, jg) is equal to Go bs 2 (k, ig, jg) because it has a slope p only in the diagonal direction.
  • the pixel value G obs of the position (x, y) of the white circle 83 is obtained.
  • the pixel value that is the value (pixel value) on the plane Q4 at the position (1-0.5, J-0.5) of the black dot 85 of interest G obs 0 (k, ig, jg) is substituted into the force equation (25).
  • the pixel value G obs of the position (x, y) of the white circle 83 is obtained.
  • the pixel value that is the value (pixel value) on the plane Q4 at the position (I + 0.5, J + 0.5) of the black dot 86 of interest G obs 3 (k, ig, jg) is substituted into the force equation (25).
  • the pixel value G obs of the position (X, y) of the white circle 83 is considered.
  • the pixel value that is the value (pixel value) on the plane Q4 at the position (I-0.5, J + 0.5) of the black circle 87 of interest G obs 1 (k, ig, jg) force is substituted into equation (25).
  • true red light amount Lr (L, J ') and the true blue light amount Lb ( ⁇ ', J ') are also the true green light amount Lg (I', J '). It can be determined in the same way.
  • ⁇ ⁇ ⁇ ⁇ in the equation (34) represents the position (ig—0.5, jg-O.5) on the k-th captured image with respect to a certain position (, J ′) by the conversion parameter (0 k , T k,, ⁇ ky, S k) on the reference coordinates ( ⁇ , ⁇ y)
  • Force I ′-1 ⁇ x ⁇ I +1, J, — 1 ⁇ y ⁇ J +1 Represents the sum of the number of (k, ig, jg) pairs that satisfy.
  • G obs, (K, ig, jg) has an edge slope p instead of the pixel value G obs (k, ig, jg) of. (K, ig, jg), and the pixel value G obs (k, The value (pixel value) on the position ( ⁇ , J ') of the plane passing through ig, jg) is used.
  • the panel relational expressions for the red and blue light amounts of the sixth embodiment corresponding to the expressions (26) and (27) of the third embodiment are also expressed by the expressions (35) and (36). Like each Can be represented.
  • ⁇ ⁇ in equation (35) is the conversion parameter (ir_0.5, jr-O.5) on the k-th captured image with respect to a certain position (I ', J'). 0 k, T k X, T k y, S k)
  • the position (X, y) on the reference coordinates transformed by I '-l ⁇ x ⁇ I' + 1, J '-l ⁇ y ⁇ J' + l Represents the sum of the number of (k, ir, jr) pairs that satisfy.
  • ⁇ ⁇ ⁇ ⁇ in Eq. (36) represents the position (ib—0.5, j b ⁇ 0.5) on the k-th captured image with respect to a certain position ( ⁇ , J ′) as a conversion parameter ( 0 k, T kx, Tk y, S k)
  • (k, ib, jb) has an edge slope p instead of the pixel value B obs (k, ib, jb) of the (k, ib, jb), and the pixel value B obs (k, ib , jb), the value (pixel value) on the position ( ⁇ , J ') of the plane passing through is used, and (k, ig, jg) of the set of (k, ig, jg) constituting Eq.
  • step S141 the arithmetic circuit 24 pays attention to a position (, J ') on the reference coordinate system (hereinafter, referred to as a target position (1', J ')).
  • the position of interest (I, J ') is the pixel center (i-0.5, j-0.5) of the "i-th and j-th pixel" of the first captured image as the reference image. ).
  • the arithmetic circuit 24 calculates the center position (ig -0.5, j) of the pixel receiving the green component of the k-th image with respect to the position of interest (, J '). g-0. 5) is transformed by the transformation parameters (0 k, T k X, T ky, S k) to the position (x, y) on the reference coordinate system. I '-l ⁇ x ⁇ I' + l, The set of (k, ig, jg) that satisfies J′ ⁇ 1 ⁇ y and J, + 1 is obtained for all the 1st to Nth images, and the process proceeds to step S143.
  • step S143 the arithmetic circuit 24 calculates (k, ig, jg) for the positions on the reference coordinate system corresponding to each of the pairs of “vertical edge”, “horizontal edge”, “upper left to lower right edge”, “lower right to lower left” Edge ”is determined.
  • the process proceeds to step S144, and the arithmetic circuit 24 determines the (k, ig, jg) corresponding to the position where the edge exists. For each set, a plane that passes through the pixel value Go bs (k, ig, jg) and has an edge slope p is created (determined). Further, the arithmetic circuit 24 calculates a value (pixel value) on the plane at the position of interest (, J ′), and proceeds from step S144 to S145.
  • step S145 the arithmetic circuit 24 obtains in step S142 Using all the (k, ig, jg) pairs, a panel relational expression of the green light amount represented by Expression (34) is generated, and the flow proceeds to Step S146.
  • step S143 the pixel value G obs (k, k) determined to have an edge in any of the above four directions at a position on the reference coordinate system corresponding to a certain (k, ig, jg) ig, jg), the arithmetic circuit 24 calculates the value (pixel value) on the plane at the position of interest (, J ′) obtained in step S144 by the pixel value G of (k, ig, jg). Substitute G obs' (k, ig, jg) in equation (34) as obs (k, ig, jg).
  • step S143 the pixel G G ((k, ig, jg)) determined to have no edge in any of the above four directions at the position on the reference coordinate system corresponding to a certain (k, ig, jg) ig, jg), the arithmetic circuit 24 converts the pixel value Go bs (k, ig, jg) of the (k, ig, jg) into G obs ′ (k, ig, jg) of the equation (34) as it is. Substitute for
  • step S146 the arithmetic circuit 24 calculates the center position (ir-0.5, jr-0.5) of the pixel receiving the red component of the k-th image with respect to the position of interest ( ⁇ , J '). Coordinates converted from the transformation parameters (0 k, T k X, T ky, S k) The set of (k, ir, jr) that satisfies the position (x, y) force on the system, I '-l ⁇ x ⁇ I' + l, J, and 1 ⁇ y ⁇ J '+ 1, Then, all the images from the Nth image are obtained, and the process proceeds to step S147.
  • step S147 the arithmetic circuit 24 determines the “vertical edge” and “horizontal” for the position on the reference coordinate system corresponding to each of the (k, ir, jr) pairs obtained in step S146. It is determined whether there is any of the following: “edge in direction”, “edge from upper left to lower right”, and “edge from lower right to lower left”. If it is determined in step S147 that there is an edge in any of the four directions described above, the process proceeds to step S148, and the arithmetic circuit 24 determines (k, ir, For each set of jr), create a plane that passes through its pixel value R obs (k, ir, jr) and has a slope p of the edge. The arithmetic circuit 24 calculates a value (pixel value) on the plane at the position of interest (, J ′), and proceeds from step S148 to S149.
  • step S147 if it is determined in step S147 that there is no edge in any of the above four directions, and after the processing in step S148, in step S149, the arithmetic circuit 24 Using all the (k, ir, jr) pairs obtained in step S146, a panel relational expression for the red light amount represented by equation (35) is generated. Proceed to.
  • step S147 the pixel value R obs () determined to have any one of the above four edges at the position on the reference coordinate system corresponding to a certain (k, ir, jr) For k, ir, jr), the arithmetic circuit 24 calculates the value (pixel value) on the plane at the position of interest (, J ′) obtained in step S148, and calculates the (k, ir, jr) Is assigned to R obs ′ (k, ir, jr) in equation (35) as the pixel value R obs (k, ir, jr) of Also, in step S147, the pixel value R obs (k,,) determined to have no edge in any of the above four directions at the position on the reference coordinate system corresponding to a certain (k, ir, jr) For ir, jr), the arithmetic circuit 24 converts the pixel value R obs (k, ir, jr) of the (k, ir,
  • step S150 the arithmetic circuit 24 calculates the center position (ib-0.5, jb-0.0) of the pixel receiving the blue component of the k-th image with respect to the position of interest ( ⁇ , J '). 5) is transformed by the transformation parameters (0 k, T k X, T k y, S k).
  • the sets of (k, ib, jb) satisfying ⁇ y ⁇ J '+ l are obtained for all the 1st to Nth images, and the process proceeds to step S151.
  • step S151 the arithmetic circuit 24 calculates the “vertical edge” and “horizontal edge” for the positions on the reference coordinate system corresponding to the (kib, jb) pairs obtained in step S152. It is determined whether there is any of “edge from upper left to lower right” and “edge from lower right to lower left”. If it is determined in step S151 that there is an edge in any of the above four directions, the process proceeds to step S152, and the arithmetic circuit 24 determines (k, ib, jb) corresponding to the position where the edge exists. For each set of, create a plane that passes through its pixel value B obs (k, ib, jb) and has a slope p of the edge. Further, the arithmetic circuit 24 calculates a value (pixel value) on the plane at the position of interest (, J ′), and proceeds from step S152 to S153.
  • step S151 If it is determined in step S151 that there is no edge in any of the above four directions, and after the processing in step S152, in step S153, the arithmetic circuit 24 determines in step S150 Using all of the obtained (k, ib, jb) pairs, a panel relational expression for the amount of blue light represented by Expression (36) is generated, and the flow advances to step S154.
  • the pixel value B obs (k is determined to have an edge in any of the above four directions at a position on the reference coordinate system corresponding to a certain (k, ib, jb).
  • the arithmetic circuit 24 calculates the value (pixel value) on the plane at the position of interest (, J ′) obtained in step S 152 by the pixel of (k, ib, jb).
  • the value B obs (k, ib, jb) is assigned to B obs' (k, ib, jb) in equation (36) as the value B obs (k, ib, jb).
  • Step S 15 the pixel value B obs (k, ib, jb) determined to have no edge in any of the above four directions at the position on the reference coordinate system corresponding to a certain (k, ib, jb) is
  • the arithmetic circuit 24 substitutes the pixel value B obs (k, ib, jb) of the set (k, ib, jb) into B obs ′ (k, ib, jb) of the equation (36) as it is. .
  • step S 154 the arithmetic circuit 24 calculates the panel relationship of the green light amount represented by the equation (34) obtained in step S 145 and the equation (35) obtained in step S 149
  • the target position (, J ') By solving as a linear equation the spring relational expression for the light quantity of red represented by and the spring relational equation for the light quantity of blue represented by the equation (36) obtained in step S153, the target position (, J '), The true green light amount L g (I', J '), the true red light amount L r (, J'), and the true blue light amount L b (, J ') are obtained. Proceed to 1 5 5
  • step S155 the arithmetic circuit 24 determines whether all positions (, J ') have been set as the target positions, that is, all the center positions of the pixels of the first captured image have been set as the target positions ( ⁇ , J). '), The true green light quantity L g (1',), the true red light quantity L r (I ', J'), and the true blue light quantity L b (I ', J') Determine whether or not.
  • step S155 If it is determined in step S155 that all the positions (, J ') have not yet been obtained as the positions of interest, the process returns to step S141 and returns to steps S141 to S155. The process is repeated. That is, the arithmetic circuit 24 sets the position (, J ′) not yet focused on as the next focused position (I, J ′), and sets the true green light amount L at the focused position (1 ′, J ′). g (, J ′), the true red light quantity L r (, J,), and the true blue light quantity L b (I ′, J ′) are obtained.
  • step S155 if it is determined in step S155 that all positions ( ⁇ , J ') have been set as the target position, the process proceeds to step S156, and the arithmetic circuit 24 calculates the position in step S155.
  • the arithmetic circuit 24 calculates a true green light amount L g (i—0.5) as a green value (G signal) obtained in step S154.
  • the arithmetic circuit 24 estimates the output image by performing the estimation on all the pixels centered on the position (I ′, J ⁇ ).
  • a more accurate (clear) image can be obtained by changing the pixel value to be substituted into the panel relational expression according to the inclination (steepness) of the edge.
  • the pixel value at the edge portion is changed to the pixel value at the position of interest (I ′, J ′) according to the gradient (steepness) of the edge.
  • the pixel values in are used as they are, but weights are changed (changed) according to the distance to the point of interest (1 ', J,) so that the influence of the pixel values at the edge in the panel relational expression is reduced.
  • the inclinations of the created planes Q1 to Q4 are set in nine regions (regions of 3 X 3 pixel width) centered on a certain position (X, y) on the reference coordinate system.
  • the determination was made using the pixel values observed at the position, but, for example, the pixel values observed at the positions of other regions, such as 16 regions (regions of 4 x 4 pixels width), were used. Also good. .
  • the seventh embodiment is an application of the third embodiment described with reference to FIG.
  • the seventh embodiment is different from the third embodiment in that the R signal, the G signal, and the B signal in addition to the panel relational expressions represented by the equations (25), (26), and (27).
  • the true green light quantity that satisfies all of the conditional expressions by adding the condition of the color correlation relating to the correlation between them L g (x, y), true red light quantity L r (x, y), and true blue light quantity L b (x, y) are obtained.
  • the true blue light intensity L b (x, y) has a color-to-color correlation. Therefore, assuming that the image estimated by the image estimation process also has color correlation, by adding a condition for the color correlation, an error due to noise or the like is reduced, and a more accurate solution, that is, a more natural light And a clear image can be obtained.
  • Fig. 37 The ig-th and jg-th green pixels G (jg- 1) (ig- l) of the k'th image on the lower left and the ir-th of the k "-th image on the lower right Attention is focused on a certain red pixel R (jr-1) (ir-1) of the, jrth.
  • the arithmetic circuit 24 calculates the position of the green pixel G (jg-1) (ig-1) of the k'th image and the position of the red pixel R (jr-l) (ir-1) of the k "th image, As described in the third embodiment, the conversion parameters (0k ', Tk'X, Tk'y, Sk') and the conversion parameters (0k “, Tk” x, Tk "y , S k ”) to obtain the position in the coordinate system of the first image in the upper part of FIG. 37.
  • the arithmetic circuit 24 converts the k, the green pixel G (j g-1) (ig_l) of the first image into the coordinate system of the first image and the coordinate system of the first image. The distance from the k "th red pixel R (jr-l) (ir-1) is calculated. The arithmetic circuit 24 further calculates the allowable value (the judgment value Determine if it is within delta (eg 25 pixels).
  • the position of pixel G (j g-1) (ig-1) in the coordinate system of the k'th image (ig, jg) is the point G e
  • the position (ir, jr) of the pixel R (jg ⁇ 1) (ig-1) in the coordinate system of the k ”th image is the point R e
  • the position ( ⁇ g, jg) of the pixel G (jg—1) (ig-1) in the coordinate system is G c (k )
  • the pixel R (jg— 1) (ig — If the position (ir, jr) of l) is expressed as R c (k ..), the distance between the point G c05 ) and the point R c (k .,) Is within the
  • Equation (37) is referred to as a conditional expression for distance.
  • D is [G 0 (k -; R c (k ")]..
  • Is the point G c (k>) and a point R cft,) represents the distance between the A point G c) and
  • the position represented by the point R, ( k .,) Is obtained by converting the position (ig, jg) and the position (ir, jr) into the conversion parameters (0k,, Tk'x, Tk'y, Sk ').
  • (0 k ", T k" x, T k "y, S k" are affine transformations, respectively.
  • Arithmetic circuit 24 determines that the k-th green pixel G (jg-1) (ig-1) and the k "th red pixel R (jr-1) (ir-1) Considering that there is a pixel that can be considered to be at the same position when considering the margin in the range delta, the center of a certain position (, J ') in the coordinate system of the first image ( ⁇ Sat dX , J, Sat d Y ⁇ , that is, (I'—dX, J'-d ⁇ ), (I'-dX, J, + dY), (I '+ dX, J'-d Y), and the area enclosed by (I '+ dX, J' + dY), where (1 and (1 ⁇ are predetermined values that set the neighborhood area, for example, two pixels It can be the length of the minute in the X and Y directions.
  • the arithmetic circuit 24 calculates the vicinity of (I ′ soil dX, J ′ ⁇ dY) around the position of interest (1 ′, J ′) in the coordinate system of the first image, that is, , (1dX, J'-dY), (I'-dX, J '+ dY), (I' + dX, J'1dY), and ( ⁇ + dX, J (k, ig, jg) and (k ", ir, jr) satisfying the above equation (3 7) in the region enclosed by '+ d Y).
  • the arithmetic circuit 24 calculates a pixel value G obs (k: ′, ig, jg) and a pixel value R obs (k,) corresponding to the obtained (k ′, ig, £) and (“, ir, jr). ", ir, jr).
  • the arithmetic circuit 24 satisfies the above expression (37) for all combinations where k ′ and k ′′ are 1 to N, respectively (k ′, ig,; jg) and (k ′′, ir, jr).
  • the arithmetic circuit 24 calculates the detected (k', ig, jg).
  • (k ", ir, jr) correspond to the pixel value G obs (k ', ig, jg) and the pixel value R obs (k",' ir, jr) are shown in Fig. 38.
  • the horizontal axis is the G signal (G obs (k ', ig, jg))
  • the vertical axis is the R signal (R obs (k ", ir, jr)).
  • Figure 38 shows the GR plotting the points represented by the set of pixel values G obs (k, ig, jg) and pixel values R obs (k ", ir, jr) that satisfy Eq. (37). Shows space.
  • the back marks in FIG. 38 indicate pixel values G obs (k ′, ig, jg) and pixel values corresponding to (k ′, ig, jg) and (k ′′, ir, jr) detected by the arithmetic circuit 24.
  • a set of values R obs (k ", ir, jr), that is, a pixel value G obs (k, ig, jg) and a pixel value R obs (k", ir, jr) satisfying equation (37) Represents a set of.
  • the green color shown in FIG. Added as a condition that there is a correlation with red.
  • the arithmetic circuit 24 calculates a pixel value G obs (k ', ig, jg) and a pixel value R obs (k ", ir, jr) satisfying the distance conditional expression of Expression (37) by the arithmetic circuit 24.
  • Principal component analysis is performed on the multiple points plotted in the GR space in Fig. 38, which are represented by a set of.
  • Q g, Q r, and Q c are constants representing straight lines in GR space
  • G and R are variables representing G and R signals in GR space.
  • the arithmetic circuit 24 calculates the variance of the component orthogonal to the direction of the main component.
  • the spring constant H can be any function that monotonically decreases with respect to the variance of the component orthogonal to the direction of the principal component obtained in GR space.
  • H (1 ⁇ variance) Can be adopted. In other words, the smaller the variance, the stronger the panel (the larger the panel constant).
  • the arithmetic circuit 24 calculates the k′th green pixel G (jg ⁇ 1) (ig—1) and the k ′′ ′ th blue pixel
  • the position of the pixel B (jb-1) (ib-1) is determined by using the conversion parameters (0k, Tk'x, Tk'y, Sk ') and the conversion parameters (0k ", Tk"' x , T k "" y, S k "") to obtain the position of the first image in the coordinate system.
  • the arithmetic circuit 24 converts the k'th green pixel G (jg-1) (ig-1) converted into the coordinate system of the first image and the coordinate system of the first image k "'Calculate the distance to the blue pixel B (j b-1) (i b-1).
  • the arithmetic circuit 24 calculates the distance that the distance is considered to be at the same position. (Judgment value) It is judged whether it is within delta.
  • the positions of pixel G (jg-1) (ig_l) and pixel B (jb-1) (ib-1) are represented by position (ig, ⁇ ⁇ ) and position (113, jb), respectively.
  • the position (ig, jg) of pixel G (jg-1) (ig-1) in the coordinate system of the k'th image is point G.
  • k ”'the position (ib, jb) of pixel B (jb-1) (ib-1) in the coordinate system of the first image to a point Be
  • the pixel G (jg _) in the coordinate system of the first image.
  • the position (ig, jg) of (ig— 1) is G c (k .) and the position (ib, jb) of pixel B (jb— 1) (ib _ 1) in the coordinate system of the first image Is expressed as B c0i ",), respectively. If the distance between the point G c0c ,) and the point B c (k “.) Is within the allowable value delta, the equation (38) is as follows. Can be written in Di S [ G G (k ')' B G (k "')] cos (
  • Equation (38) is referred to as a conditional expression for distance.
  • Dis [G () B. (k “')] is
  • the arithmetic circuit 24 determines that the k'th green pixel G (jg-1) (ig-1) and k "and the blue pixel B (jb-1) (ib-1) Whether or not there are pixels that can be considered to be at the same position when considering a magazine in the range delta is determined by centering on a certain position (, J ′) in the coordinate system of the first image (I ′ Sat d X, J, Sat dY) Neighborhood area, that is, (one dX, J'_dY), (I, one dX, J '+ dY), ( ⁇ + dX, J'—dY), And the area enclosed by (I, + dX, J '+ dY), where dX and dY are predetermined values that set the neighborhood area, for example, two pixels in the X direction. And the length in the Y direction.
  • the arithmetic circuit 24 calculates a region near (I, Sat dX, J'Sat dY) centered on the target position (, J ') in the coordinate system of the first image, that is, ( ⁇ d X,. J '-d Y), ( ⁇ ' one d X, J '+ dY), (I' + d X, J '— dY), and (I' + dX, J '+ dY) (K ', ig, jg) and (k "', ib, jb) satisfying the above equation (38) in the region surrounded by.
  • the arithmetic circuit 24 calculates (k ', ig, ⁇ ) and (1 ⁇ "', ib, jb), and a pixel value G obs (k ′, ig, jg) and a pixel value B obs (k ′′ ′, ib, jb) are obtained.
  • the arithmetic circuit 24 satisfies the above equation (38) for all combinations where k ′ and k ′′ ′ are 1 to N, respectively (k ′, ig, 3 ⁇ ) and (“, ib, jb).
  • the arithmetic circuit 24 outputs the detected (k ', ig, jg) and
  • the arithmetic circuit 24 calculates a pixel value G obs (k ,, ig, jg) and a pixel value B obs (k ′′ ′, ib, jb) satisfying the conditional expression of the distance of Expression (38) by the arithmetic circuit 24.
  • Principal component analysis is performed on multiple points plotted in GB space, represented by the set of.
  • Q g ′, Qb ′, and Q c ′ are constants representing straight lines in GB space
  • G and B are variables representing G and B signals in GB space.
  • the operation HI path 24 calculates the variance of the component orthogonal to the direction of the principal component.
  • the panel constant H can be any function that monotonically decreases with respect to the variance of the component orthogonal to the direction of the principal component obtained in GB space.
  • H (1 ⁇ variance) Can be adopted. In other words, the smaller the variance, the stronger the panel (panel The constant is large).
  • the points (L g (, J ') and L b ( ⁇ ', J,)) are pulled so that the consistency of the color correlation (the relationship between the G signal and the ⁇ signal) is satisfied.
  • the force pulling (L g (, J '), Lb (I', J ')) is expressed as Hx u (hereinafter referred to as GB spring force as appropriate).
  • the color correlation is taken into account by decomposing the GB panel force HX u in the GB space into the G signal component and the B signal component, and adding them to the left-hand sides of Equations (25) and (27) as addition targets. Will be.
  • Steps S171 to S177 are the same as steps S71 to S77 of the image estimation processing of the third embodiment shown in FIG.
  • step S171 the arithmetic circuit 24 pays attention to a certain position (, J ') on the reference coordinate system (hereinafter, referred to as a target position ( ⁇ , J')).
  • the target position ( ⁇ , J ′) is the pixel center of the “i-th and j-th pixel” of the first captured image as the reference image (i-0.5, j-0.5) Is represented.
  • step S1771 the process proceeds from step S1771 to S172, and the arithmetic circuit 24 determines the position of interest.
  • the center position (ig—0.5, jg-0.5) of the pixel receiving the green component of the k-th image is converted to the conversion parameter (0 k, T k X, Tk y, S k)
  • the position (X, y) on the reference coordinate system which is transformed by I '-l ⁇ x ⁇ I' + l, J 'satisfies J' + 1 (k, ig, jg ) Are obtained for all the first to Nth images, and the flow advances to step S173.
  • step S 173 the arithmetic circuit 24 uses all the sets of (k, ig, jg) obtained in step S 172 to calculate the panel relational expression of the amount of green light represented by equation (25). Generate it and go to step S174.
  • step S 174 the arithmetic circuit 24 sets the center position (ir-0.5, jr-0. 0) of the pixel receiving the red component of the k-th image with respect to the position of interest (1 ′, J ′). 5) is transformed by the transformation parameters (0 k, T k X, T ky, S k).
  • a set of (k, ir, jr) that satisfies ⁇ y and J '+ l is obtained for all the 1st to Nth images, and the flow proceeds to step S175.
  • step S 175 the arithmetic circuit 24 uses all the sets of (k, ir, jr) obtained in step S 174 to determine the panel relation of the red light amount represented by the equation (26). Generate an expression and go to step S176.
  • step S 176 the arithmetic circuit 24 calculates the center position (ib ⁇ 0.5, jb ⁇ .0.5) of the pixel receiving the blue component of the k-th image with respect to the position of interest (, J ′).
  • the transformation parameters (0 k, T k X, T ky, S k)
  • the position (X, y) on the reference coordinate system S I '-l ⁇ x ⁇ I' + l, J
  • one A set of (k, ib, jb) satisfying 1 ⁇ y ⁇ J, +1 is obtained for all the 1st to Nth images, and the flow advances to step S177.
  • step S17'7 the arithmetic circuit 24 uses all the sets of (k, ib, jb) obtained in step S176 to determine the spring relation of the amount of blue light represented by equation (27). Generate an expression and go to step S178.
  • step S 178 the arithmetic circuit 24 sets the center of interest at the position of interest ( ⁇ , J ′). In the region defined by (Sat d X, J 'Sat dY), the combination of (k', ig, jg) and (k ", ir, jr) that satisfies Equation (37) Further, the arithmetic circuit 24 calculates a point (G obs (k ', ig, ig, ig, ig,)) on the GR space specified by the set of (k ,, ig,) and (11 ", ir, jr).
  • the arithmetic circuit 24 calculates the variance of the component orthogonal to the principal component direction, and calculates the reciprocal of the variance in the panel.
  • the G signal component of GR baneka Hx u is added to the addition target on the left side of equation (25), and
  • the R signal component of the GR panel power HX u is added to the left side of equation (26) as an addition target, and the process proceeds from step S178 to S179.
  • step S179 the arithmetic circuit 24 satisfies the expression (38) in a region defined by (I ′ ⁇ dX, J′sat dY) centered on the target position (J, J ′). K of (k ', ig, jg) and (k "', ib, jb). Further, the arithmetic circuit 24 calculates (k ,, ig, jg) and (k" ' , Ib, jb) and points in the GB space (G obs (k ', ig,. Jg), B obs
  • the circuit 24 adds the GB Baneka HX u®G signal component to the addition target on the left side of Expression (25), and adds the B signal component of the GB Baneka HX u to the left side of Expression (27) as the addition target. Then, go from step S179 to S180.
  • the arithmetic circuit 24 calculates a panel relational expression of the amount of green light to which the condition of color correlation is added in the GR and GB spaces, and the amount of red light to which the condition of color correlation is added in the GR space.
  • the true green light amount L g at the target position ( ⁇ , J ′) is obtained.
  • I ′, J,), the true red light quantity L r ( ⁇ , J ′), and the true blue light quantity L b (, J ′) are determined, and the flow advances to step S 18 1.
  • step S181 the arithmetic circuit 24 determines whether all positions (,) have been set as the positions of interest, that is, all the center positions of the pixels of the first captured image are set as the positions of interest (, J '). , True green light quantity L g (, J '), true red light quantity L r (I', J '), and true blue light quantity L b (, J') I do.
  • step S181 If it is determined in step S181 that all positions (, J ') have not yet been determined as the positions of interest, the process returns to step S171, and the processing in steps S171 to S181 is performed. Repeated. That is, the arithmetic circuit 24 sets the position (', J') that has not been noticed as the next position to be noticed ( ⁇ , J '), and sets the true green light amount L at the position of interest (1', J '). g (I ', J'), the true red light quantity Lr (I :, J '), and the true blue light quantity Lb (I', J '), respectively.
  • Step S 1 8 all positions (, J,) when it is determined that the attention position, the process proceeds to step S 1 8 2, arithmetic circuit 2 4, obtained in step S 1 8 0 Estimate the image (signal) from the true green light quantity L g (I ', J'), the true red light quantity Lr ( ⁇ ', J'), and the true blue light quantity Lb (, J ') Then, the data is supplied to the D / A converter 9 or the codec 12 as an output image, and the process returns. For example, in the “first, j-th pixel”, the arithmetic circuit 24 calculates the true green light amount L g (i ⁇ 0.5) obtained in step S180 as a green value (G signal).
  • step S180 the true red light amount L r (i-0.5, j-0.5) obtained in step S180 as the red value (R signal), and the blue Value (B signal) as the true value obtained in step S180.
  • the image signal of the “i-th and j-th pixels” is estimated from the blue light amount L b (i ⁇ 0.5, j ⁇ 0.5). Then, the arithmetic circuit 24 estimates the output image by performing the estimation on all the pixels centered on the position (, J ′).
  • FIG. 40 shows the processing flow of the method of the present invention and the conventional method.
  • images output from multiple (m) dark (or poor SN ratio) single-chip sensors eg, Bayer array image: one of R signal, G signal, or B signal per pixel
  • a demosaicing process 20 2-m is performed on each of 2 0 1-m as shown by (a) in the figure, and a dark (or poor SN ratio) color image (1 pixel) (An image in which three data of R signal, G signal and B signal are collected.) 20 3—m is created once.
  • m is an integer representing a predetermined number.
  • an image output from a plurality of ⁇ ⁇ (or poor SN ratio) single-chip sensors for example, an image in a Bayer arrangement: R signal, G signal, or B signal per pixel
  • a sharp (or good S / N ratio) color image an image with three sets of R, G, and B signals per pixel
  • demosaicing processing is performed on each image. For example, if there are eight images, the demosaicing processing ((a) in the figure) must be performed eight times. In other words, there was a disadvantage that the amount of calculation became enormous.
  • the number of conditions at each position (X, y) of the output image that is, the observation value (observation value) that can be used for estimating the true value
  • the number of pixels varies from case to case.
  • G obs (k, ig, j g) near a certain position (X, y).
  • the position (X, y) force involved Equation (20) increases.
  • G ob s a few input pixels G ob s
  • Eq. (20) involving that position (x, y) is reduced.
  • the number of conditional expressions involving each position (x, y) of the output image is variable and depends on the actual shooting condition (the amount of displacement due to camera shake). For this reason, in estimating the true value of each pixel position, the observation points to be considered and the number of the observation points to be considered can be adaptively changed according to the imaging state (motion between images).
  • the positions are shifted by the amount of camera shake.
  • some data is not necessarily added to all output positions. If there is no position-corrected data in the 2 ⁇ 2 pixels shown in FIG. 21 for the k-th image, no data of the k-th image is taken into account for the output pixel. Conversely, if there are two position-corrected data in the 2 X 2 pixel shown in Fig. 21, two data are added (weighted) to the output pixel. More specifically, a pixel will ultimately be divided by 10 if the sum of the weights is 10 to be the output pixel.
  • another pixel will eventually be the output pixel if the sum of the weights is 3.5, divided by 3.5.
  • the total number added by ⁇ is the state at the time of actually photographing (the amount of displacement due to camera shake).
  • the observation points to be considered and the number of the observation points to be considered can be adaptively changed according to the imaging state (motion between images).
  • the series of processes described above can be executed by dedicated hardware, or can be executed by software.
  • the digital camera 1 can be realized by causing a computer as shown in FIG. 41 to execute a program.
  • Fig. 4 1 From here, the CPU (Central Processing Unit) 301, the program stored in the ROM (Read Only Memory) 302, or the storage unit 308 Various processes are executed according to the program loaded in RAM (Random Access Memory) 303.
  • the RAM 303 also stores data necessary for the CPU 301 to execute various processes as needed.
  • the CPU 301 executes the processing performed by the motion detection circuit 23 and the arithmetic circuit 24 of the signal processing circuit 7.
  • the CPU 301, the ROM 302, and the RAM 303 are connected to each other via a node 304.
  • An input / output interface 305 is also connected to the bus 304.
  • the input / output interface 205 includes an input section 306 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube), an LCD (Liquid Crystal Display), and an output section 305 including a speaker. 07, a storage unit 308 composed of a hard disk, etc., and a communication unit 309 composed of a modem and a terminal adapter are connected.
  • the communication unit 309 performs communication processing via a network such as the Internet.
  • the imaging unit 311 has an imaging element 4 shown in FIG. 1 and the like, captures an image of a subject, and sends image data of the captured subject to the CPU 301 and the like via the input / output interface 350. Supply.
  • a drive 310 is connected to the input / output interface 305 as necessary, and a magnetic disk 321, an optical disk 322, a magneto-optical disk 323, or a semiconductor memory 324 is connected. And the like are appropriately mounted, and the computer program read therefrom is installed in the storage unit 308 as necessary.
  • the eighth embodiment is a modification of the third embodiment described with reference to FIG.
  • the data (light reception amount) received by each pixel of the image sensor 4 is regarded as point-sampled data, and the pixel value observed at the center of each pixel and a clear image without camera shake are taken.
  • the relationship with the image signal is regarded as point-sampled data, and the pixel value observed at the center of each pixel and a clear image without camera shake are taken.
  • G signal, R that constitutes the image signal as a clear image without camera shake
  • the true green light amount L g (, J ′) to be obtained at the position ( ⁇ , J ′) at the center of each pixel is expressed by As described above, it is expressed by the panel relational expression of the amount of green light of Expression (25).
  • ⁇ "2 — F ((x, y), ( ⁇ , J ')) ⁇ / (Mk XE) in equation (25) ⁇ " 2 _ F ((x, y), (, J,)) ⁇ represents a weight that monotonically decreases with the distance between the position (, ⁇ ) and the position (X, y) near the position ( ⁇ , J '), so to speak .
  • the pixel value G obs (k, ig, jg) at the position (x, y) and the true green light amount L g (, J ′) at the position (I, J,) are represented by the position ( ⁇ , As the distance between J ') and position (X, y) increases, the pulling force of the panel decreases, and as the distance between position (1', J ') and position (X, y) decreases, the panel There is a relationship that the pulling force of the ⁇ ⁇ becomes stronger.
  • (Mk x E) of the panel constant ⁇ V "2—F (( X , y), (, J,)) ⁇ / (Mk XE) in equation (25) is a correlated double sampling circuit. 5
  • the true green light amount L g at the position (, J ′) (I'J ') means that the larger the noise amount E, the weaker the panel pulling force, and the smaller the noise amount E, the stronger the panel pulling force.
  • a weight corresponding to the distance between the position (, J') and the pixel value G obs (k, ig, jg) force S (x, y) (hereinafter simply referred to as distance weight)
  • distance weight For example, Cubic (I'-x) X Cubic (J'-y) using a cubic function is adopted. That is, in the eighth embodiment, instead of ⁇ 7 ⁇ 2—F ((x, y), (I ′, J ′)) ⁇ in equation (25), Cubic (I′ ⁇ x) X Cubic (J'-y) is adopted.
  • Cubic (z) is expressed by the following equation (39). (a + 2)
  • a in equation (39) is a predetermined constant, and is, for example, 11 or the like.
  • Cubic function Cubic (z) as shown in FIG. 4 2, the variable Z is, 2 ⁇
  • Cubic (z) is a positive value, and, depending on the value of i Z I is increased, smaller.
  • the cubic function Cubic (z) is a function that has the characteristics of a low-pass filter when considered on the frequency axis (when Fourier-transformed).
  • Equation (25) the p-th pixel value G obs (k, ig, jg) of the subject of the summation ( ⁇ ) is represented by v p, and the! ) Th pixel value v Panel constant for p ⁇ V "2 -F (( X, y), (I ', J')) ⁇ a / (Mk x E), represents the spring constant K p, furthermore, Solving equation (25) for the true green light quantity L g (I ′, J ′) yields equation (40).
  • Equation (40) ⁇ represents a summation for p.
  • the true green light quantity L g (, J ′) is obtained by weighting and adding the panel constant K p and the pixel value ⁇ ⁇ . Yes, you can. The same applies to the true red light quantity Lr (I, J ') and the true blue light quantity Lb (I', J ').
  • Figure 43 shows the position of the N captured images (ig-O.5, jg-0.5) is transformed to the reference coordinate system (first coordinate system) at the position (X, y) Force I '-2 ⁇ x ⁇ I' + 2, J,-2 ⁇ y ⁇ J, All the pairs of integers k, ig, and jg satisfying +2 are obtained, and points G 11 to G 19 at which the pixel values G obs (k, ig, jg) are observed are shown.
  • the position ( ⁇ , J ′) of the N captured images is compared with the position (ig ⁇ 0.5, jg ⁇ 0.5).
  • I′—2 ⁇ x ⁇ r + 2, 'J, 1 2 ⁇ y The set of integers k, ig, and jg that satisfies J '+ 2 is found.
  • the cubic function Cubic (z) expressed by equation (39) takes a value according to the argument z within the range of 1 2 ⁇ z ⁇ 2, (
  • the position (ig-0.5, jg-0.5) of the k-th captured image is set as follows in the first captured image, which is the reference coordinate system, as follows.
  • the arithmetic circuit 24 calculates the motion detection circuit 23-(k-1) Using the transformation parameters (0 k, T k X, T ky, S k) supplied from the equation (3) of the affine transformation, the position of the k-th captured image (ig—0.5, jg ⁇ 0 .5) to the position in the reference coordinate system ((ig-0.5) (k) , (jg-0.5) (k) ).
  • the positional relationship between the first captured image and the k-th captured image is expressed by the following equation (41). Find the transformation parameters of the affine transformation.
  • the motion detection circuit 23-(k-1) calculates the matrix (a k ′, b k ′) of the equation (41) representing the positional relationship between the first captured image and the k-th captured image. , C k ', d k') and two-dimensional vectors (T k x ', T ky'), and supply them to the arithmetic circuit 24.
  • the transformation parameters of the affine transformation represented by the matrix (a k ', b k', ck,, dk,) of equation (4 1) and the two-dimensional vector (T kx 'T k y') are They are simply referred to as conversion parameters (ak, bk ', dk', Tkx ', Tky').
  • equation (4 1) is the pixel position of the k-th captured image, as in equation (3), and (X ⁇ 1 (k) ) is the position (X k, Yk) is calculated by equation (4
  • the position on the first captured image (position on the reference coordinate system) subjected to affine transformation in 1) is shown. That is, the subscript (k) indicates that the position of the k-th image has been transformed on the reference coordinate system.
  • the transformation parameters (a2 ', b2'c2, d2,, T2x,, T2y') are calculated such that the positional relationship of is expressed by the following equation (4 2). Provided to circuit 24.
  • the conversion parameters (a 3 ′, b) are such that the positional relationship between the first captured image and the third captured image is expressed by the following equation (43).
  • 3 ′, c 3 ′, d 3 ′, ⁇ 3 ⁇ ′, ⁇ 3 y ′) are obtained and supplied to the arithmetic circuit 24.
  • Equation (43) is based on the position (X3, Y3) on the third captured image and the position (Xl, Y1) on the first captured image. It means that it has moved by the number of conversion parameters (a3, b3 ', c3', d3 ', T3x', T3y ').
  • the conversion parameters (a k ′, b k ′, ck,, d k ′, T kx ′, T k y ′) are calculated based on the first captured image.
  • an acceleration sensor can be provided in the digital camera 1 and the output of the acceleration sensor can be obtained mechanically, so to speak.
  • the rotational relationship is hardly included in the positional relationship between the first captured image and the k-th captured image.
  • the rotation component of (ak ', bk', ck,, dk,, Tkx ', Tky') can be ignored (a fixed value indicating that it is not rotating).
  • the same gain-up (11 ′ bit shift) is performed for all N captured images.
  • N images captured by the image sensor 4 are used.
  • the shift circuit 21 FIG. 1
  • equation (25) in the third embodiment can be expressed as equation (44) in the eighth embodiment.
  • ⁇ in Eq. (44) indicates that, for a given position (, J ′), the position (ig — 0.5, jg-0.5) is converted to the conversion parameters (ak, bk ', ck, dk ', T kx ,, T ky') on the reference coordinate system (X, y), satisfying I '-2 ⁇ x ⁇ I' + 2, J'— 2 ⁇ y ⁇ J, + 2 It represents the sum of the number of (k, ig, jg) pairs. For example, in the example shown in FIG. 43, the sum of ⁇ of nine (k, ig, jg) of points G11 to G19 is obtained.
  • Equation (44) is said to be a green light quantity spring relation equation of the eighth embodiment using the cubic function Cubic (z), which corresponds to the green light quantity panel relation equation of equation (25). be able to.
  • Equation (45) is solved for the true green light quantity L g (I ', J') to be obtained, the following Equation (46) is obtained.
  • the true green light amount L g ( ⁇ , J ′) is obtained by Expression (46).
  • the true green light amount L g (I ′, J ′) is calculated by using the pixel value G obs (k, ig, with the weight of Cubic (— ⁇ ) x Cubic (J ′-y) as the weight. jg) is obtained by performing weighted addition.
  • the weight Cubic (I '-x) X Cubic (J'-y) is calculated by comparing the position (, J ') with the position (x, y) where the pixel value G ⁇ obs (k, ig, jg) is. It has the characteristics of a low-pass filter with respect to distance.
  • Equation (46) is referred to as a green light quantity weight addition equation.
  • numerator and denominator of the green light weight addition equation of Equation (46) are given by Equation (47) and Equation (48) as follows.
  • Equation (46) The pixel value Go bs (k, ig, jg) data (light amount) before the gain is increased M times in the power shift circuit 21 is represented by D G. Assuming that bs (k , ig , jg ), equation (46) can be expressed as equation (49).
  • the true red light quantity L r (, J ') and the true blue light quantity L b (I', J ') at the position (, J') are calculated by the equation (50), as in the equation (46). And Equation (51), respectively.
  • Expression (50) is referred to as a red light amount weight addition expression.
  • ⁇ in Eq. (50) means that for a given position ( ⁇ , J '), the position (ir0.5, jr-0.5) is converted to the conversion parameters (ak, bk', ck ', d k', Tk x,, T ky,) on the reference coordinate system (x,, II '-2 ⁇ x ⁇ I' + 2, J 'one 2 ⁇ y ⁇ J' + 2 Represents the sum of the number of (k, ir, jr) pairs that satisfy.
  • Equation (51) is referred to as a blue light quantity weighting addition equation.
  • ⁇ ⁇ ⁇ ⁇ in Eq. (51) means that, for a certain position (, J ′), the position (ib—0.5, j b ⁇ 0.5) is converted to the conversion parameters (a k ′, bk, ck ', D k', T kx ', T ky')
  • the position (X, y) on the reference coordinate system transformed by ⁇ -2 ⁇ ⁇ ⁇ '+ 2, J' 1 2 ⁇ y ⁇ J '+ Represents the sum of the number of (k, ib, jb) pairs that satisfy 2.
  • the numerator and denominator of the weight addition equation for the red light amount in Equation (50) are expressed by Equation (52) and Equation (53), respectively.
  • the green light weight addition formula represented by equation (46), the red light weight weight addition equation represented by equation (50), and the blue light quantity represented by equation (51) The arithmetic circuit 24 calculates the true green light quantity L g (I ′, J,), the true red light quantity L r (I ′, J ′), and the true blue light quantity L
  • the process for finding b (, J ') is called normal processing, in contrast to the exception processing described later.
  • Equation (46) the equation for weighting the amount of green light in Equation (46) is obtained by calculating the pixel value Go bs (k, ig, jg) at the position (X, y) and the distance weight Cubic (I '-x) x Cubic (J, one y) (the weighted sum of the pixel values G obs (k, ig, jg) by the distance weight Cubic (I '-x) X Cubic (J'-y))
  • the distance weight is divided by the denominator of equation (48), which is the sum of Cubic (I'-x) x Cubic (J'-y).
  • Equation (48), which is the denominator of Equation (46), is 0 (including almost 0)
  • the true green light amount L g (I ', J') obtained by Equation (46) is unstable (Undefined) unreliable value.
  • the pixel value G obs (k, ig, jg) in the numerator of the expression (46) Is divided by the denominator, which is a slight noise component (error) of 10, and is amplified to a large value.
  • the true green light amount L g (I ' , J ') is an unreliable value containing a large amount of noise.
  • the position (x, y) of the pixel values G obs (k, ig, jg) of all (k, ig, jg) appearing in the range of 2, the force position (I ', J') and x I ' ⁇
  • the true green light quantity L g (I ', J') obtained by equation (46) is 0 (or almost 0) in its denominator.
  • the value is unstable (undefined) and unreliable.
  • the position (x, y) of the pixel value G obs (k, ig, jg) that appears in the range of 1 2 ⁇ ⁇ ⁇ +2, J'-1 2 ⁇ y and J '+ 2 is the position
  • FIG. 44 is a diagram showing a case where a certain position ( ⁇ , J ′) is in an exceptional state.
  • Fig. 44 is a diagram showing a case where a certain position ( ⁇ , J ′) is in an exceptional state.
  • the point (ig-0.5, jg-0.5) is transformed by the transformation parameters (ak ', bk', ck ', dk', Tkx, Tky ').
  • point G 1 3 ′ where the position (ig—0.5, j gO.5) is transformed by the transformation parameters (ak, bk, ck, dk, T k x, T ky)
  • point G 14 'Force S, y J'-At the position of the relation of 1
  • the arithmetic circuit 24 performs exceptional processing.
  • a position ( ⁇ ,) is set as a target position, and a true green light amount L g (, J) at a pixel of an output image at the target position (, j ′) (hereinafter, referred to as a target pixel as appropriate). If the target pixel (target position (, j ′)) power s is in an exceptional state, the arithmetic circuit 24 determines the true position of the target pixel in the exceptional state at the target position (, J ′).
  • the green light amount L g (I ′, J ′) is converted to the pixel value G obs (k, ig) of the pixel of the k-th captured image whose conversion position (X, y) is near the target position (, J ′).
  • the transformation position (x, y) is the position of the output image around the pixel of interest.
  • the pixel value G obs (k, ig, jg) of the pixel of the k-th captured image near the pixel position is also obtained.
  • peripheral pixels for example, the positions (1 ′, 1, J ′) as shown in FIG. '), (I, + l, J'), (, J, 1 1), J '+ l) Each pixel can be adopted.
  • the image sensor 4 of the digital camera 1 has a Bayer arrangement as described with reference to FIG.
  • the pixels that receive the green component are arranged every other pixel in both the X and Y directions (see Fig. 3).
  • the image sensor 4 has WxH pixels, that is, W pixels in the horizontal direction (X direction) and H pixels in the vertical direction (Y direction).
  • the observed value of the G signal (the pixel value) G Obs near the point of interest ( ⁇ , J ')
  • the target pixel at the target position (1 ′, J ′) is a pixel that receives the blue component among the pixels in the Bayer array, as shown in FIG. In the case of 12, there is a pixel that receives a green component in any of the upper, lower, left, and right sides of the pixel B12. Similarly, for each pixel of the image sensor 4 that receives one of the red and blue components, there is a pixel that receives a green component at either the top, bottom, left, or right of the pixel.
  • the arithmetic circuit 24 sets the target position when the target pixel is in the exceptional state.
  • the arithmetic circuit 24 obtains a true green light amount L g (I ′, J ′) at the target position (1 ′, J ′) by using the following equation (56) as an exceptional process.
  • the sum of the numerator of (46), that is, the sum of Equation (47), is calculated by calculating the target position ( ⁇ ′, J ′) of the target pixel and the positions ( ⁇ 1, ⁇ ) of peripheral pixels around the target pixel. (+ 1, J '), ( ⁇ , J'-1), and (I', J '+ l), the sum of the denominator of equation (46) calculated during normal processing at each of the five points, that is, equation ( 48), the true green light quantity L g (, J ') is obtained.
  • the true green light amount L g (I ′, J ′) at the target position (, ⁇ ) is limited to the above equation (56). Instead, for example, the following equation (57) may be adopted.
  • Equation (57) the positions of the surrounding pixels around the pixel of interest (1'-1-1, J '), (+1, J'), (, J'-1), and (, J '+ 1) For each of the four points, the true green light quantity L g ( ⁇ '-1, J '), L g ( ⁇ + 1, J'), L g ( ⁇ , J '-1), It can be said that the average value of Lg (, J '+ l) is estimated as the true green light amount Lg ( ⁇ ', J ') at the target position ( ⁇ , J').
  • the true red light quantity L r (I J ') obtained by the red light weight addition equation of equation (50) is also true green light quantity of the green light weight addition equation of equation (46).
  • the value may be unstable, that is, the pixel of interest may be in an exceptional state.
  • the position (ir-0.5, jr-0.5) is converted to the conversion parameters (a k', b k ', ck', d k ', T kx', T ky '), the coordinates are converted into I'-2 ⁇ X ⁇ I '+ 2, J' 1 2 ⁇ y ⁇ J, + (2)
  • the arithmetic circuit 24 performs the following exception processing.
  • the arithmetic circuit 24 calculates the true red light amount L r (I ′, J ′) at the target position (, ⁇ ) of the target pixel in the exceptional state, and sets the conversion position (X, y) to the target position (1 ′).
  • the pixel position R ob S (k, ir, jr) of the pixel of the k-th picked-up image and the transformation position (x, y) are the pixels of the output image around the pixel of interest.
  • the pixel value R obs (k, ir, jr) of the pixel of the k-th captured image near the position is also obtained.
  • the peripheral pixels around the target pixel at the target position (, J ′) for example, the positions (1-1, J′ ⁇ 1), ( ⁇ ′, J′ ⁇ l) as shown in FIG. ),
  • the target pixel at the target position (I, J ') Is not a pixel that receives the red component among the pixels in the Bayer array.
  • the target pixel at the target position ( ⁇ , J ′) is a pixel that receives a green component among the pixels in the Bayer array, as shown in FIG. In the case of 11, there is a pixel that receives the red component above or below the pixel G11.
  • the target pixel at the target position (I ′, J ′) is a pixel that receives a green component among the pixels in the Bayer array as shown in FIG. 48, and is surrounded by a circle.
  • the target pixel at the target position (, J ′) is a pixel that receives a blue component among the pixels in the Bayer array as shown in FIG.
  • a pixel that receives a red component exists in any of the diagonally upper right, diagonally lower right, diagonally upper left, and diagonally lower left of the pixel B14.
  • any of the pixels above, below, left, right, diagonally above right, diagonally below right, diagonally above left, and diagonally below left is not included. There are pixels that receive the red component.
  • R obs (k, ir, jr) of the R signal exists near any of + 1), (, j '+ 1), or ( ⁇ + 1, j' + 1). . Then, the positions (1, 1 1, J, 1 1), (1 ', J' 1 1), (+1, J'_l), (I, 1 1, J,), (+1, J ,), ( ⁇ 1-1, J '+ l), ( ⁇ ', J '+ 1), or (+1, J' + 1) Since R obs (k, ir, jr) exists, no exception condition has occurred. That is, positions ( ⁇ 1 1, J'-1), (1 ', J'-1), (I '+ l, J' -l), (1,1 1, J '), ( ⁇ '
  • the arithmetic circuit 24 calculates the true red light amount L r (, J ′) at the target position (, J ′) by using the conversion position (X, y) Is the pixel value R obs (k, ir, jr) of the pixel in the vicinity of the target position ( ⁇ , J '), as well as the positions of the peripheral pixels around the target pixel (1-1, J, 1-1), ( , J, one 1), (+1, J'-1), ( ⁇ _1, J '), (+1, J'), (1-1, J '+ 1), (I', J '+ l) or the pixel value R obs (k, ir, jr) of the pixel near ( ⁇ + 1, ⁇ + 1).
  • the arithmetic circuit 24 obtains the true red light amount L r (I ′, J ′) at the target position ( ⁇ , J ′) by using the following equation (58) as an exceptional process. .
  • equation (58) the position of interest ( ⁇ , J ') of the pixel of interest and the positions of the peripheral pixels around the pixel of interest (11, J'1-1), (, J'1-1), ( ⁇ + 1, J'-1), (1-1, J '), ( ⁇ + 1, J'), (1'-1, J '+ l), ( ⁇ , J' + 1), and
  • the sum of the numerator of equation (50) that is, the sum of equation (52), calculated at the time of normal processing at each of the nine points (+1, J '+ l), Eye position (, J ') and positions of surrounding pixels around the target pixel ( ⁇ 1-1, J'-1), ( ⁇ ', r-i), ( ⁇ '+ 1, J'-1) , ( ⁇ ⁇ 1,-J '>, (+ 1, J'), (— 1, J '+ l), ( ⁇ , J' + 1), and ( ⁇ + 1, J '+ 1)
  • Equation (58) the positions of the peripheral pixels around the pixel of interest ( ⁇ 1-1, J'-1), (1 ', J') -1), ( ⁇ '+ 1, J, 1 1), ( ⁇ 1 1, J'), (I '+ l, J'), ( ⁇ '1 1, J' + l), (I ' , J '+ 1), and (+1, J' + 1) Lr
  • the true blue light quantity L b (, J ′) obtained by the blue light quantity weighting equation of Equation (51) is also calculated by the green light quantity weighting equation of Equation (46).
  • the value becomes unstable like the green light quantity L g ( ⁇ , J ') and the true red light quantity L r (, J') obtained by the weighting addition formula of the red light quantity in equation (50)
  • the target pixel at the target position ( ⁇ , J ′) may be in an exceptional state.
  • the arithmetic circuit 24 performs the following exception processing.
  • the arithmetic circuit 24 calculates the true blue light amount Lb (I ′, J ′) at the target position (, J ′) of the target pixel in the exceptional state by using Expression (59) similar to Expression (58). Perform the exception processing required in. , J ') in the numerator of the B signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本発明は、より鮮明な画像を得ることができるようにする画像処理方法および装置、並びにプログラムに関する。デジタルカメラ１において、１画素につき１個の色信号を供給する単板センサで構成される撮像素子４により高速撮像された複数枚の画像は、信号処理回路７のフレームメモリ２２に記憶される。信号処理回路７は、フレームメモリ２２に記憶された複数枚の画像どうしの位置関係を検出し、検出された位置関係に基づき、１画素につき３個の色信号を有する画像を推定する。本発明は、例えば、デジタルカメラに適用できる。

Description

明細書
画像処理方法および装置、 並び 技術分野
本発明は、 画像処理方法おょぴ装置、 並びにプログラムに関し、 特に、 例えば、 単板センサを採用した撮像装置において、 より鮮明な画像を得ることができるよ うにする画像処理方法おょぴ装置、 並びにプログラムに関する。 背景技術
近年、 カメラとしてはデジタルカメラが一般的となっている。 デジタルカメラ こお ヽて、 CCD (Charge Coupl ed Device)や CMOS (Complementary Mental Oxi de Semi conductor) 等の撮像素子により撮像された画像 （以下、 撮像画像 と称する） は、 デジタルカメラに設けられた LCD (Liquid Crystal Di splay) などのモニタに表示され、 ユーザにより確認される。 さらに、 撮像画像の画像信 号がデジタル化され、 フラッシュメモリなどの記録媒体を介して、 あるいは、 ケ 一ブル接続や赤外線通信などの有線または無線通信により、 例えば、 パーソナル コンピュータ （PC) などの画像処理装置に転送される。 そしで、 転送先である パーソナルコンピュータでは、 デジタルカメラの撮像画像を CRT (Cathode Ray Tube) や液晶ディスプレイ （LCD) などのモニタに表示し、 ユーザは撮像 画像を確認したり、 編集することができる。
さて、 デジタルカメラにおいて、 例えば、 日陰などの十分に太陽光線が当たら ない場所や薄暗い部屋などで、 十分な明るさが得られない被写体を撮像する場合、 デジタルカメラでは、 適正な露出を得るためにシャツタ速度を遅くする必要があ る （シャツタ時間が長くなる） 。
このようなシャツタ時間の長い撮像では、 デジタルカメラを三脚などに固定し、 デジタルカメラがブレない （揺れない） ようにすればよレ、。 しかしながら、 例え ば、 デジタルカメラを手で持って撮像し、 デジタルカメラがブレた場合 （いわゆ る、 手ブレが発生した場合） 、 シャツタが開いている間 （シャツタ時間） のデジ タルカメラのブレ （揺れ） により、 撮像画像は、 被写体がボケた画像となってし まう。 このボケた画像は、 「手ブレ」 した画像、 または、 「カメラブレ」 した画 像などと呼ばれる。
シャツタ速度を遅くする （シャツタ時間を長くする） 他に、 十分な露出を得る ための方法として、 複数枚の撮像画像を単に累積加算することにより、 長時間露 出と同等の露出を得られるようにする方法が提案されている （例えば、 特開平 0 5 - 2 3 6 4 2 2号公報参照） 。
しかしながら、 特開平 0 5— 2 3 6 4 2 2号公報に示される方法では、 単純に 複数枚の撮像画像を累積加算するため、 上述の手ブレが発生した場合には、 シャ ッタ時間を長くする場合と同様に、 ボケた画像となる。
手ブレが発生した場合においても画像がボケないようにする （ 「手ブレ」 した 画像を回避する） 方法として、 例えば、 キャノン株式会社製のデジタルカメラで 採用されている 「イメージスタビライザー （略称 IS) 」 と称する方法がある。 イメージスタビライザーでは、 光学系レンズ内にプレセンサを設け、 そのプレ センサによりデジタルカメラの揺れや振動を検知し、 検知したデジタルカメラの 揺れや振動を表すデジタル信号に従って、 レンズ群の一部 （補正光学系） を光軸 に対し垂直方向に移動させ、 像ブレを打ち消す方向に光線を屈折させる。
イメージスタビライザーによれば、 長焦点やシャツタ速度が遅くなる場合にお いて影響が大となる、 手持ち撮影や、 風などによる撮影台の微妙な振動の揺れに 起因する画像のブレを抑え、 シャープな （鮮明な） 画像をユーザに提供すること ができる。
しかしながら、 イメージスタビライザーでは、 ブレを検知する専用のセンサや レンズ群の一部 （補正光学系） を高速に動かす機構が必要となるため、 構造が複 雑になり、 製造コストが高くなるという問題がある。
その他の 「カメラブレ」 した画像を回避する方法としては、 高速シャツタによ り連続で複数枚撮像し、 撮像された複数枚の画像のうち、 2枚目以降の撮像画像 について 1枚目の撮像画像とのズレ量を検出し、 そのズレ量だけ 2枚目以降の撮 像画像を補正して 1枚目の画像に順次加算する方法がある （例えば、 特開 200 0-2 1 703 2号公報， 特開 2000— 224460号公報， 特開 2000— 24480 3号公報， 特開 2000— 24479 7号公報， 特開 2000— 06 935 2号公報， 特開平 10— 341 36 7号公報， 特開平 09— 26 1 5 26 号公報参照） 。 これら従来の方法では、 基本的に、 2枚目以降の撮像画像のそれ ぞれから、 所定の補正または補間により、 1枚目の撮像画像と同様のデータ配列 を持つ補正画像が形成され、 それらを、 1枚目の撮像画像に、 画素単位で、 単純 加算または線形加算する方式が採用されている。
この方法では、 高速 （連続） 撮像された画像の一枚一枚は、 シャツタ時間 （露 出時間） が短いため、.プレの小さい暗い画像となる。 そして、 1枚目の撮像画像 に 2枚目以降の撮像画像を加算するため、 加算して得られる最終的な画像は、 適 正露出と同一の明るさの画像とすることができる。
この方法は、 2枚目以降の撮像画像について 1枚目の撮像画像とのズレ量を検 出し、 そのズレ量だけ撮像画像を補正 （補間） する際、 1画素の R (Red) 信号 (赤色データ） 、 G (Green) 信号 （緑色データ） 、 B (Blue)信号 （青色デー タ） のそれぞれの色信号 （データ） を、 線形補間、 パイキュービック補間などの 各種の補間関数を用いた補間方法により補間 （補正） するものである。
しかしながら、 撮像素子として単板センサが採用されている撮像装置の場合、 1画素から R信号、 G信号、 B信号のうちのいずれか 1つの色信号しか出力され ない。 従って、 上述したような各種の捕間方法では、 複数枚の画像のズレ量を捕 間することができず、 また、 単板センサの場合に適用可能なその他の補間方法も 提案されていない。 発明の開示 '·
本発明は、 このような状況に鑑みてなされたものであり、 例えば、 単板センサ を採用した撮像装置において、 カメラブレが発生している場合においても、 より 鮮明な画像を得ることができるようにするものである。
本発明の画像処理方法は、 1画素につき所定の n個の画素値を有する画像を撮 像する撮像手段が撮像した複数の入力画像どうしの位置関係を検出する検出ステ ップと、 検出ステップの処理により検出された位置関係に基づき、 出力画像の画 素位置毎に複数の入力画像から考慮すべき観測画素成分を特定し、 特定された観 測画素成分に基づき、 1画素につき （n + 1 ) 個以上の画素値を有する出力画像 を推定する画像推定ステツプとを含むことを特徴とする。
画像推定ステップには、 検出ステツプの処理により検出された位置関係に基づ き、 出力画像の画素位置毎に複数の入力画像から考慮すべき観測画素値を選択し、 選択された観測画素値に基づき、 1画素につき （n + 1 ) 個以上の画素値を有す る出力画像を推定させることができる。
画像推定ステップには、 検出ステップの処理により検出された位置関係に基づ き、 複数の入力画像から、 1画素につき （n + 1 ) 個以上の色信号を有する出力 画像を推定させることができる。
画像推定ステップでは、 出力画像の各画素位置およびノまたはその周辺におけ る色相関を考慮して、 出力画像が推定されるようにすることができる。
画像推定ステップでは、 入力画像の画素の画素値がェッジの急峻度合いに応じ た画素値に変更され、 変更後の画素値に基づき、 出力画像が推定されるようにす ることができる。
nは 1であり、 画像推定ステップには、 検出ステップの処理により検出された 位置関係に基づき、 複数の入力画像から、 1画素につき 3個の画素値を有する出 力画像を推定させることができる。
撮像手段は、 単板センサであり、 観測される色信号が入力画像の位置に応じて 変わるようにすることができる。
撮像手段は、 複数の入力画像を、 適正露出未満で撮像し、 複数の入力画像それ ぞれの画素値のゲインアップを行う露出補正ステップをさらに含むようにするこ とができる。 画像推定ステップは、 複数の入力画像それぞれの各画素に対して、 検出ステツ プの処理により検出された位置関係に応じた各画素の補正位置を求め、 補正位置 を中心とする所定の領域内の出力画像の光の積分値と、 補正位置の画素の画素値 との差が、 所定の誤差の範囲内であるという光量積分条件式を生成する光量積分 条件式生成ステップと、 光量積分条件式を演算する演算ステップとを有するよう にすることができる。
光量積分条件式を生成する際には、 複数の入力画像のゲインアップが行われて いる場合に、 所定の誤差の値をゲインアップの量に依存して変化させるようにす ることができる。
画像推定ステップには、 複数の入力画像それぞれの各画素に対して、 検出ステ ップの処理により検出された位置関係に応じた各画素の補正位置を求め、 補正位 置が出力画像の各画素の位置の近傍にある入力画像の画素の画素値と、 ゲインァ ップの量に依存する誤差とを考慮して、 出力画像を推定させることができる。 画像推定ステップには、 複数の入力画像それぞれの各画素に対して、 検出ステ ップの処理により検出された位置関係に応じた各画素の補正位置を求め、 捕正位 置が出力画像の各画素の位置の近傍にある入力画像の画素の画素値と、 補正位置 と出力画像の画素の位置との距離と、 を考慮して、 出力画像を推定させることが できる。
画像推定ステップ fcは、 複数の入力画像それぞれの各画素に対して、.検出ステ ップの処理により検出された位置関係に応じた各画素の補正位置を求め、 補正位 置が出力画像の各画素の位置の近傍にある入力画像の画素の画素値に基づいて、 パネモデルにより、 出力画像を推定させることができる。
画像推定ステップには、 複数の入力画像それぞれの各画素に対して、 検出ステ ップの処理により検出された位置関係に応じた各画素の補正位置を求め、 補正位 置が出力画像の各画素の位置の近傍にある入力画像の画素の画素値を用いた重み 付け加算を行うことにより、 出力画像を推定させることができる。
画像推定ステップには、 出力画像において注目している注目画素の位置と補正 位置との距離に対して口一パスフィルタの特性を有する関数を用いた重みで、 補 正位置が注目画素の位置の近傍にある入力画像の画素の画素値を用いた重み付け 加算を行うことにより、 注目画素の画素値を推定させることができる。
画像推定ステップには、 補正位置が注目画素の位置の近傍にある入力画像の画 素の画素値を用いた重み付け加算を行う第 1の演算処理、 または、 補正位置が注 目画素の周辺の出力画像の画素の位置の近傍にある入力画像の画素の画素値とを 用いた重み付け加算を行う第 2の演算処理を選択して行うことにより、 注目画素 の画素値を推定させることができる。
画像推定ステップには、 第 1の演算処理における重みの総和が 0または 0に 近い値である場合に、 第 2の演算処理を選択させることができる。
画像推定ステップには、 補正位置が注目画素の位置の第 1の近傍にある入力画 像の画素の画素値を用いた重み付け加算を行う第 1の演算処理、 または、 補正位 置が注目画素の位置の、 第 1の近傍より広い範囲の第 2の近傍にある入力画像の 画素の画素値を用いた重み付け加算を行う第 2の演算処理を選択して行うことに より、 注目画素の画素値を推定させることができる。
画像推定ステップには、 第 1の演算処理における重みの総和が 0または 0に 近い値である場合に、 第 2の演算処理を選択させることができる。
画像推定ステツプには、 補正位置が注目画素の位置の近傍にある入力画像の画 素の画素値を、 第 1の重みにより重み付けした重み付け加算を行う第 1の演算処 理、 または、 捕正位置が注目画素の位置の近傍にある入力画像の画素の画素値を、 第 2の重みにより重み付けした重み付け加算を行う第 2の演算処理を選択して行 うことにより、 注目画素の画素値を推定させることができる。
画像推定ステップには、 第 1の演算処理における重みの総和が 0または 0に 近い値である場合に、 第 2の演算処理を選択させることができる。
検出ステップには、 複数の入力画像が撮像された時間の、 中間の時刻またはそ の近傍の時刻に撮像された入力画像を基準として、 複数の入力画像どうしの位置 関係を検出させることができる。 本発明の画像処理装置は、 1画素につき所定の n個の画素値を有する複数の入 力画像を撮像する撮像手段と、 複数の入力画像どうしの位置関係を検出する検出 手段と、 検出手段により検出された位置関係に基づき、 出力画像の画素位置毎に 複数の入力画像から考慮すべき観測画素成分を特定し、 特定された観測画素成分 に基づき、 1画素につき （n + 1 ) 個以上の画素値を有する前記出力画像を推定 する画像推定手段とを備えることを特徴とする。
本発明のプログラムは、 1画素につき所定の n個の画素値を有する画像を撮像 する撮像手段が撮像した複数の入力画像どうしの位置関係を検出する検出ステツ プと、 検出ステップの処理により検出された位置関係に基づき、 出力画像の画素 位置毎に複数の入力画像から考慮すべき観測画素成分を特定し、 特定された観測 画素成分に基づき、 1.画素につき （n + 1 ) 個以上の画素値を有する出力画像を 推定する画像推定ステップとをコンピュータに実行させることを特徴とする。 本発明においては、 1画素につき所定の n個の画素値を有する複数の入力画像 どうしの位置関係が検出され、 その検出された位置関係に基づき、 出力面像の画 素位置毎に複数の入力画像から考慮すべき観測画素成分を特定し、 特定された観 測画素成分に基づき、 1画素につき （n + 1 ) 個以上の画素値を有する出力画像 が推定される。 '
画像処理装置は、 独立した装置であっても良いし、 1つの装置の画像処理を行 うブロックであっても良い。 図面の簡単な説明
図 1は本発明を適用したデジタル力メラ 1の一実施の形態の構成例を示すプロ ック図である。
図 2は図 1のデジタルカメラ 1の撮像処理について説明するフローチヤ ^トで ある。
図 3は図 1の撮像素子 4の画素の配列を示す図である。 ' 図 4は図 1の信号処理回路 7の詳細な構成例を示すプロック図である。 図 5は 1枚目画像と 2枚目画像との座標の関係について示す図である。
図 6は画像推定処理の第 1実施の形態について説明するフローチャートである。 図 7は画像推定処理の第 1実施の形態について説明するフ口一チャートである。 図 8は第 2実施の形態における色相関の条件を説明する図である。 ' 図 9は第 2実施の形態における色相関の条件を説明する図である。
図 1 0は画像推定処理の第 2実施の形態について説明するフローチャートであ る。
図 1 1は画像推定処理の第 2実施の形態について説明するフローチャートであ る。
図 1 2は画像推定処理の第 2実施の形態について説明するフローチャートであ る。
図 1 3はフレームメモリ 2 2— 1に記憶される 1枚目画像を示す図である。 図 1 4はフレームメモリ 2 2— 2に記憶される 2枚目画像を示す図である。 図 1 5はフレームメモリ 2 2— 3に記憶される 3枚目画像を示す図である。 図 1 6は撮像素子 4の画素を示す図である。
図 1 7は図 1の撮像素子 4の画素の配列を示す図である。
図 1 8はバネモデルについて説明する図である。
図 1 9はバネモデルについて説明する図である。
図 2 0はパネモデルについて説明する図である。
図 2 1はバネモデルについて説明する図である。
図 2 2はパネモデルについて説明する図である。
図 2 3はバネモデルについて説明する図である。
図 2 4は画像推定処理の第 3実施の形態について説明するフローチャートであ る。
図 2 5は像推定処理の第 4実施の形態について説明するフローチャートである。 図 2 6は画像推定処理の第 5実施の形態について説明するフローチヤ广トであ る。 図 2 7は撮像素子 4の各画素が緑色の成分 （G信号） を受光している状態を示 す図である。
図 2 8は縦方向のエッジを説明する図である。
図 2 9は横方向のエッジを説明する図である。
図 3 0は左上から右下方向のエッジを説明する図である。
図 3 1は右上から左下方向のエッジを説明する図である。
図 3 2は縦方向のエッジが検出された場合に作成される平面 Q 1を説明する図 である。
図 3 3は横方向のエッジが検出された場合に作成される平面 Q 2を説明する図 である。
図 3 4は左上から右下方向のエッジが検出された場合に作成される平面 Q 3を 説明する図である。
図 3 5は右上から左下方向のエッジが検出された場合に作成される平面 Q 4を 説明する図である。
図 3 6は画像推定処理の第 6実施の形態について説明するフローチャートであ る。
図 3 7は第 7実施の形態における色相関の条件を説明する図である。
図 3 8は第 7実施の形態における色相関の条件を説明する図である。
図 3 9は画像推定処理の第 7実施の形態について説明するフローチャートであ る。
図 4 0は本発明と従来の方法の違！/、を説明する図である。
図 4 1は本発明を適用したコンピュータの一実施の形態の構成例を示すプロッ ク図である。
図 4 2はキュービック関数を説明する図である。
図 4 3は注目位置 （ , J' ) における、 基準座標系上の画素値を説明する図 である。
図 4 4は例外状態の、 注目位置 （Γ， J' ) における、 基準座標系上の画素値 を説明する図である。
図 4 5は G信号の例外処理を説明する図である。
図 4 6は G信号の例外処理を説明する図である。
図 4 7は R信号の例外処理を説明する図である。
図 4 8は R信号の例外処理を説明する図である。
図 4 9は画像推定処理の第 8実施の形態について説明するフローチャートであ る。
図 5 0は画像推定処理の第 8実施の形態について説明するフローチャートであ る。
図 5 1は画像推定処理の第 8実施の形態について説明するフローチャートであ る。
図 5 2は画像推定処理の第 8実施の形態について説明するフローチャートであ る。
図 5 3は画像推定処理の第 8実施の形態について説明するフローチャートであ る。
図 5 4は撮像画像 4 0 1^乃至 4 0 1 8を示す図である。
図 5 5は 1枚目の撮像画像を基準画像とした場合に得られる出力画像を説明す る図である。
図 5 6は中間画像を基準画像とした場合に得られる出力画像を説明する図であ る。 発明を実施するための最良の形態
図 1は、 本発明を適用したデジタル （スチル） カメラ 1の一実施の形態の構成 例を示すプロック図である。
図 1のデジタルカメラ 1は、 レンズ 2、 絞り 3、 撮像素子 4、 相関 2重サンプ リング回路 5、 A/D (Analog/Digital)コンバータ 6、 信号処理回路 7、 タイミン グジェネレータ 8、 D/A (Di gi tal/Analog)コンバータ 9、 ビデオエンコーダ 1 0 モニタ 1 1、 コーデック （CODEC) 1 2、 メモリ 1 3、 ノ ス 1 4、 CPU (Central Process ing Uni t) 1 5、 および入力デバイス 1 6で構成される。 また、 A/D コンバータ 6は、 シフト回路 2 1を、 信号処理回路 7は、 フレームメモリ 2 2を それぞれ有している。
図示せぬ被写体からの光は、 レンズ 2、 絞り 3等の光学系を通過して、 撮像素 子 4に入射される。 CCDや CMOS等で構成される単板センサの撮像素子 4は、 所 定の画素 （撮像素子） 数を有している。
撮像素子 4は、 タイミングジェネレータ 8から供給される露光タイミング信号 に従い、 所定の間隔で、 所定の時間 （シャツタ時間） だけ、 入射される被写体の 光を受光する。 そして、 撮像素子 4は、 撮像面上の各受光素子に到達した受光量 を光電変換により電気信号に変換し、 その電気信号に変換された画像信号を相関 2重サンプリング回路 5に供給する。 撮像素子 4は、 単板センサとなっているの で、 相関 2重サンプリング回路 5に供給する電気信号は、 1画素につき R信号、 G信号、 B信号のうちのいずれか 1個の色信号 （データ） である。
ここで、 カメラブレが発生していても、 より鮮明な画像を出力するために、 撮 像素子 4は、 適正露出におけるシャツタ速度 （シャツタ時間 （露出時間） ） より も高速に （短いシャツタ時間で） 複数枚 （以下では、 N枚と十る） 撮像するもの とする。 従って、 撮像素子 4で撮像された N枚の画像 （入力画像） は、 適正露出 で撮像された画像より、 喑いもの （適正露出未満で撮像されたもの） となってお り、 適正露出で撮像された画像の M k分の 1 ( = 1 /M k ) ( k = l乃至 N ) の 明るさであるとする。 なお、 M kの値は、 例えば、 シャツタ速度により決定され る。
相関 2重サンプリング回路 5は、 撮像素子 4から供給される画像信号 （電気信 号） のノイズ成分を、 相関 2重サンプリングにより除去し、 A/Dコンバータ 6に 供給する。 A/Dコンバータ 6は、 相関 2重サンプリング回路 5から供給される、 ノイズ除去された被写体の画像信号を A/D変換、 即ち、 サンプリングして量子 化する。 その後、 シフト回路 2 1が、 適正露出以下の暗い画像である A/D変換 後のデジタル画像を、 例えば、 n，ビットシフトすることなどによって M k倍す ることにより、 適正露出と同一の明るさ （値） の画像信号に変換し （ゲインアツ プし） 、 信号処理回路 7に供給する。
相関 2重サンプリング回路 5では、 画像信号のノイズ成分が除去されるが、 ノ ィズ成分のすべてが完全に除去されるわけではない。 従って、 相関 2重サンプリ ング回路 5で除去されないノイズ成分も存在する。 この場合、 相関 2重サンプリ ング回路 5で除去されないノィズ成分は、 画像信号の真値に対する誤差となり、 シフト回路 2 1において、 画像信号とともに M k倍されることになる。 従って、 誤差は、 シフト回路 2 1におけるゲインアップの量に依存すると言える。 ここで、 相関 2重サンプリング回路 5で除去されないノイズ成分のノイズ量を Eとする。 このノイズ量 Eとしては、 撮像素子 4の特性に応じて、 例えば、 考えられる最大 値を採用することができる。 ここで、 A/Dコンバータ 6から信号処理回路 7に供 .給される画像信号には、 ノイズ量 Eの M k倍 （E x M k ) 程度のノイズが含まれ る。 また、 例えば、 M k = 8とすると、 シフト回路 2 1では、 n ' = 3として、 k枚目の撮像画像が 3ビットシフトされることにより、 撮像画像が適正露出の場 合と同一の明るさにされる。
M k倍の明るさに変換され、 適正露出と同一の明るさにゲインアップされた、 A/Dコンバータ 6から供給される N枚の撮像画像の画像信号は、 信号処理回路 7 のフレームメモリ 2 2に一時的に格納 （記憶） される。
信号処理回路 7は、 予め設定された各種のプログラムに従い、 フレームメモリ 2 2に記憶されている適正露出と同一の明るさにゲインアップされた N枚の撮像 画像の画像信号に所定の処理を施す。
即ち、 信号処理回路 7は、 N枚の撮像画像のうち、 1枚目の撮像画像を基準画 像、 2乃至 N枚目の撮像画像それぞれをターゲット画像とし、 ターゲット画像が 基準画像に対して、 どのような位置ズレを起こしているか、 基準画像とターゲッ ト画像との位置ズレのズレ量 （位置関係） を検出する。 そして、 信号処理回路 7 は、 そのズレ量に基づいて、 カメラブレが補正された 1枚の鮮明な画像 （出力画 像） としての、 1画素につき G信号、 R信号、 B信号のすべてを有する出力画像 を求め、 その求めた出力画像の画像信号を、 D/A コンバータ 9またはコーデック 1 2、 あるいは、 その両方に供給する。 信号処理回路 7は、 DSP (Digial
Signal Processor) 等で構成することができる。 なお、 以下においては、 特に 断りがない場合においても、 A/D コンバータ 6より後段で処理される画像信号は、 適正露出と同一の明るさにゲインアップされたものであるとする。
タイミングジエネレータ 8は、 所定の間隔で N枚の画像の撮像が行われるよう に、 露光 （露出） タイミング信号を、 撮像素子 4、 相関 2重サンプリング回路 5、 A/Dコンバータ 6、 および信号処理回路 7に供給する。 この間隔は、 例えば、 被 写体の明るさなどに合わせて、 ユーザが変更することができるようになっている。 ユーザが間隔を変更する場合、 入力デバィス 1 6をユーザが操作することにより CPU 1 5で決定される間隔の変更値が、 CPU 1 5よりバス 1 4を介して、 タイミ ングジェネレータ 8に供給される。
D/A コンバータ 9は、 信号処理回路 7から供給された出力画像の画像信号を D/A変換し、 ビデオエンコーダ 1 0に供給する。 ビデオエンコーダ 1 0は、 D/A コンバータ 9から供給された画像信号 （アナログ信号） を、 モニタ 1 1で表示す ることができるビデオ信号に変換し、 モニタ 1 1に供給する。 モニタ 1 1は、 デ ジタルカメラ 1のファインダ等の役割を果たすもので、 LCDや CRTなどで構成さ れ、 ビデオエンコーダ 1 0から供給されるビデオ信号を表示する。 これにより、 モニタ 1 1では、 鮮明な画像が表示される。
コーデック 1 2は、 信号処理回路 7から供給された出力画像の画像信号を、 JPEG (Joint Photographic Experts Group)方式、 MPEG (Moving Picture Experts Group)方式や、 DV (Digital Video) 方式などの所定の方式に従つ て符号化し、 メモリ 1 3に供給する。
メモリ 1 3は、 フラッシュメモリなどの半導体メモリで構成され、 コーデック 1 2から供給される符号化された画像信号を一時的または永久的に記憶 （記録） する。 なお、 メモリ 1 3の代わりに、 磁気ディスク、 光 （磁気） ディスク等の記 録媒体を用いることができる。 メモリ 1 3またはメモリ 1 3の代わりに用いる記 録媒体は、 デジタルカメラ 1に対して着脱可能とすることができる。 なお、 デジ タルカメラ 1に内蔵される記録媒体と、 デジタルカメラ 1に着脱可能な記録媒体 の両方を設けるようにすることも可能である。
CPU 1 5は、 バス 1 4を介して各部に制御信号を供給し、 各種の処理を制御す る。 例えば、 ユーザの操作に応じて入力 バイス 1 6から供給される撮像開始の 信号に従い、 被写体を撮像し、 その画像をメモリ 1 3に記憶するように、 各部に 制御信号を供給する。
入力デバイス 1 6は、 デジタルカメラ 1本体にあるレリーズボタンなどの操作 ボタン類を有している。 ユーザが操作ポタンを操作することにより発生する各種 の信号が、 バス 1 4を介して CPU 1 5に供給され、 CPU 1 5は、 入力デバイス 1 6からバス 1 4を介して供給される各種の信号に従う処理を実行するように各部 を制御する。 なお、 入力デバイス 1 6の 1以上の操作ポタンは、 モニタ 1 1に表 示することが可能である。 モニタ 1 1に表示された操作ポタンの操作は、 例えば、 モニタ 1 1上に透明なタブレットを設け、 そのタブレットにより検出するように することができる。
図 2のフローチヤ一トを参照して、 デジタルカメラ 1の撮像処理について説明 する。 '
初めに、 ステップ S 1において、 撮像素子 4は、 被写体を撮像する。 即ち、 撮 像素子 4は、 1回のレリーズボタン （シャツタボタン） 押下による撮影において、 タイミングジェネレータ 8から供給される露光タイミング信号に従い、 所定の間 隔で N回連続して、 入射される被写体の光を受光することにより、 N回の高速撮 像を行う。 従って、 1回の撮影において、 N枚の撮像画像が得られ、 各撮像画像 は、 適正露出以下の喑ぃ画像となる。 受光された被写体の光は、 光電変換され、 相関 2重サンプリング回路 5においてノイズ成分が除去された後、 A/Dコンパ一 タ 6に供給される。 そして、 ステップ S 2に進む。
ステップ S 2において、 A/Dコンバータ 6は、 相関 2重サンプリング回路 5力 ら供給される、 ノイズ除去された被写体の画像信号をデジタル変換する。 その後、 シフト回路 2 1が、 適正露出以下の暗い画像を、 n 'ビットシフトして適正露出 と同じ明るさ （値） の画像信号に変換し (ゲインアップし) 、 信号処理回路 7に 供給して、 ステップ S 3に進む。
ステップ S 3において、 信号処理回路 7は、 1枚目の画像を基準画像とすると ともに、 2枚目以降の各画像をターゲット画像として、 ターゲット画像 （2乃至 N枚目の画像） が基準画像に対して、 どのような位置ずれを起こしているか、 即 ち、 基準画像に対するターゲット画像の位置ズレのズレ量 （動き量） を検出して、 ステップ S 4に進む。
ステップ S 4において、 信号処理回路 7は、 N枚の撮像画像と、 ステップ S 3 で検出された基準画像に対するターゲット画像の位置ズレのズレ量に基づいて、 画像推定処理を行い、 ステップ S 5に進む。 画像推定処理の詳細は後述するが、 この処理により、 信号処理回路 7は、 カメラブレが補正された 1枚の鮮明な画像 (出力画像） としての 1画素が G信号、 R信号、 B信号のすべてを有する出力画 像を求め、 その求めた出力画像の画像信号を、 D/Aコンバータ 9またはコーデッ ク 1 2、 あるいは、 その両方に供給する。
ステップ S 5では、 モニタ 1 1が出力画像を表示し、 フラッシュメモリ等のメ モリ 1 3に出力画像を記録して、 処理を終了する。 即ち、 ステップ S 5では、 ス テツプ S 4で信号処理回路 7から D/Aコンバータ 9に供給された画像信号がァ ナログ信号に変換され、 ビデオエンコーダ 1 0に供給される。 さらに、 ステップ S 5では、 ビデオエンコーダ 1 0は、 D/Aコンバータ 9から供給された画像信号 のアナログ信号を、 モニタ 1 1に表示することができるビデオ信号に変換し、 モ エタ 1 1に供給する。 そして、 ステップ S 5において、 モニタ 1 1は、 ビデオェ ンコーダ 1 0から供給されたビデオ信号に基づいて、 画像を表示して、 処理を終 了する。 また、 ステップ S 5では、 ステップ S 4で信号処理回路 7からコーデッ ク 1 2に供給された画像信号に対し、 J P E Gや M P E G等の所定の符号化が施 され、 フラッシュメモリ等のメモリ 1 3に記録され、 処理を終了する。 図 3は、 撮像素子 4の画素の配列を示している。 なお、 図 3では、 撮像素子 4 のうちの左上の一部分の画素 （横方向 6画素、 縦方向 4画素の計 2 4画素） を示 しているが、 それ以外の部分の画素も同様に配置されているものとする。
ここで、 図 3において、 撮像素子 4の左上の角を原点として、 横 （右） 方向を X方向、 縦 （下） 方向を Y方向とする X— Y座標系を設定する。 また、 1画素の 縦および横方向の長さ （幅） をそれぞれ 1とする。 この場合、 左から i番目で、 上から j番目の画素の位置 （中心位置） は、 （ i一 0 . 5、 j 一 0 . 5 ) と表す ことができる。
図 3において、 撮像素子 4の画素の配列は、 いわゆる、 べィヤー配列となって いる。
即ち、 G信号を取り出すことのできる画素としては、 原点から X方向に 1番目 で、 Y方向に 1番目の画素である画素 G 0 0、 原点から X方向に 3番目で、 Y方 向に 1番目の画素である画素 G 0 2、 原点から X方向に 5番目で、 Y方向に 1番 目の画素である画素 G 0 4、 原点から X方向に 2番目で、 Y方向に 2番目の画素 である画素 G 1 1、 以下、 同様に、 画素 G 1 3、 画素 G 1 5、 画素 G 2 0、 画素 G 2 2 , 画素 G 2 4、 画素 G 3 1、 画素 G 3 3、 画素 G 3 5が配置されている。 また、 R信号を取り出すことのできる画素としては、 原点から X方向に 2番目 で、 Y方向に 1番目の画素である画素 R 0 1、 原点から X方向に 4番目で、 Y方 向に 1番目の画素である画素 R 0 3、 原点から X方向に 6番目で、 Y方向に 1番 目の画素である画素 R 0 5、 原点から X方向に 2番目で、 Y方向に 3番目の画素 である画素 R 2 1、 以下、 同様に、 画素 R 2 3、 画素 R 2 5が配置されている。 さらに、 B信号を取り出すことのできる画素としては、 原点から X方向に 1番 目で、 Y方向に 2番目の画素である画素 B 1 0、 原点から X方向に 3番目で、 Y 方向に 2番目の画素である画素 B 1 2、 原点から X方向に 5番目で、 Y方向に 2 番目の画素である画素 B 1 4、 原点から X方向に 1番目で、 Y方向に 4番目の画 素である画素 B 3 0、 以下、 同様に、 画素 B 3 2、 画素 B 3 4が配置されている。 ここで、 撮像素子 4の X— Y座標系における所定の位置 （X , y ) ( X , yは 実数） について、 カメラブレがない 1枚の鮮明な画像の G信号、 R信号、 B信号 を、 それぞれ L g ( X , y) , L r (x, y) ， L b (x , y) とする。 さらに、 左から i番目で、 上から j番目である 「 i番目、 j番目の画素」 について、 カメ ラブレがない 1枚の鮮明な画像の G信号、 R信号、 B信号を、 それぞれ L g ( i , j ) , L r ( i， j ) , L b ( i， j ) とする。 即ち、 L g (x, y) ， L r (x, y) ， L b (x, y) (L g ( i , j ) , L r ( i , j ) , L b ( i , j ) ) それぞれは、 所定の位置 （x， y) ( 「 i番目、 j番目の画素」 ） におけ る、 カメラブレや、 ノイズのない、 真の緑色、 赤色、 青色の光量 （データ） を表 す。 従って、 以下においては、 L g (x， y) , L r (x , y ) ， L b (x, y) (L g ( i , j ) , L r ( i , j ) , L b ( i , j ) ) それぞれを真の緑色 の光量 L g (x, y )■ (L g ( i， j ) ) 、 真の赤色の光量 L r (x, y) (L r ( i， j ) ) 、 真の青色の光量 L b (x, y) (L b ( i， j ) ) と称する。 なお、 x = i _ 0. 5， y = j - 0. 5である場合、 L g (x , y ) =L g ( i， j ) , L r (x, y ) = L r ( i， j ) , L b (x, y) =L b ( i , j ) であ る。
また、 本実施の形態においては、 撮像素子 4の画素の配列は、 べィヤー配列で あるものとするが、 画素の配列は、 べィヤー配列に限定されるものではなく、 そ の他の配列でもよい。
次に、 G信号、 R信号、 B信号それぞれの画素について使用する変数 i g， j g , i r , j r , i b , j bを定義する。
変数 i g， j gそれぞれは、 G信号を取り出すことのできる画素についての、 X方向の位置 i、 Y方向の位置 j を表す。 即ち、 変数 i g , j gの組み合わせは、 G信号を取り出すことのできる、 変数 i， jの組み合わせと等しい。 べィヤー配 列の場合には、 その配列の性質から、 変数 i と j との差 （ i _ j ) が偶数である という条件を満たす変数 i g, j gということができる。 なお、 当然ながら、 変 数 i gと j gとの差 （ i g— j g) も偶数となる。 従って、 「 i g番目， j g番 目の画素」 とは、 G信号を取り出すことのできる画素である。 なお、 べィヤー配 列以外の配列の場合には、 その配列の性質に応じた変数 i g， j gの条件となる。 変数 r， j rそれぞれは、 R信号を取り出すことのできる画素についての、 X方向の位置 i、 Y方向の位置 jを表す。 即ち、 変数 i r , j rの組み合わせは、 R信号を取り出すことのできる、 変数 j の組み合わせと等しい。 べィヤー配 列の場合には、 その配列の性質から、 変数 iが偶数、 かつ変数 iと j との差 ( i - j ) が奇数であるという条件を満たす変数 i r， j rということができる。 な お、 当然ながら、 変数 i rと j rとの差 （ i r一； j r ) も奇数となる。 従って、
「 i r番目， j r番目の画素」 とは、 R信号を取り出すことのできる画素である。 なお、 べィヤー配列以外の配列の場合には、 その配列の性質に応じた変数 i r， j rの条件となる。
変数 i b , j bそれぞれは、 B信号を取り出すことのできる画素についての、 X方向の位置 i、 Y方向の位置 jを表す。 即ち、 変数 i b， j bの組み合わせは、 B信号を取り出すことのできる、 変数 jの組み合わせと等しい。 べィヤー配 列の場合には、 その配列の性質から、 変数 iが奇数、 かつ変数 i と j との差 ( i _ j ) が奇数であるという条件を満たす変数 i b， j bということができる。 な お、 当然ながら、 変数 i bと j bとの差 （ i b— j b) も奇数となる。 従って、
「 i b番目， j b番目の画素」 とは、 B信号を取り出すことのできる画素である。 なお、 べィヤー配列以外の配列の場合には、 その配列の性質に応じた変数 i b, j bの条件となる。
次に、 図 3に示した撮像素子 4の各画素で受光して得られる色信号 （G信号、 R信号、 B信号） の値 （画素値） について定義する。
上述したように、 撮像素子 4では、 N枚の画像が撮像される。 従って、 撮像素 子 4の 1つの画素について N個の画素値が得られる。 そこで、 k枚目 （k = l乃 至 N) の 「 i g番目， j g番目の画素」 で得られる画素値を G o b s (k， i g, j g) 、 k枚目 （ = 1乃至1^) の 「 i r番目， j r番目の画素」 で得られる画 素値を R o b s (k， i r， ；| で） 、 ¾:枚目 （]^ = 1乃至 N) の 「 i b番目， j b番目の画素」 で得られる画素値を B o b s (k， i b, j b) とする。 例えば、 1枚目の画素 G 0 0で得られる画素値は、 G o b s ( 1 , 1 , 1 ) で表され、 2 枚目の G 0 4で得られる画素値は、 G o b s ( 2， 5， 1 ) で表される。 なお、 以下において、 特に断りがない場合、 kは、 1乃至 Nの整数を表すものとする。 逆に言うと、 画素値 G o b s (k， i g , j g) 、 R o b s (k， i r， j r) 、 B o b s (k， i b , j b) をもつ画素は、 それぞれ、 画素 G ( j g - 1 ) ( i g— 1 ) 、 R ( j r — 1〉 （ i r一 1 ) 、 B ( j b— 1 ) ( i b— 1 ) である。
図 4は、 図 1の信号処理回路 7の一部分についての詳細な構成例を示している。 信号処理回路 7は、 フレームメモリ 2 2、 動き検出回路 2 3、 演算回路 2 4、 コントローラ 2 5で構成されている。 また、 フレームメモリ 2 2は、 フレームメ モリ 2 2— 1乃至 2 2 _N、 動き検出回路 2 3は、 動き検出回路 2 3— 1乃至 2 3 - (N- 1 ) で構成されている。
上述したように、 A/Dコンバータ 6から N枚の撮像画像がフレームメモリ 2 2 に供給される。 フレームメモリ 2 2— 1は、 A/D コンバータ 6から供給される 1 枚目の撮像画像を記憶 （格納） する。 フレームメモリ 2 2— 2は、 A/Dコンバー タ 6から供給される 2枚目の撮像画像を記憶する。 以下同様にして、 フレームメ モリ 2 2— kは、 A/D コンバータ 6から供給される k枚目の搪像画像をフレーム メモリ 2 2— kに記憶する （k = 3乃至 N) 。
フレームメモリ 2 2 _ 1は、 所定のタイミングにおいて、 記憶している 1枚目 の撮像画像を演算回路 2 4と動き検出回路 2 3— 1乃至 2 3— (N— 1 ) に供給 する。 フレームメモリ 2 2— 2は、 所定のタイミングにおいて、 記憶している 2 枚目の撮像画像を演算回路 2 4と動き検出回路 2 3— 1に供給する。 以下、 同様 にして、 フレームメモリ 2 2— kは、 所定のタイミングにおいて、 記憶している k枚目の撮像画像を演算回路 2 4と動き検出回路 2 3— (k - 1 ) に供給する。 動き検出回路 2 3は、 2枚の撮像画像どう しの位置関係を検出する。 即ち、 動 き検出回路 2 3は、 1枚目の撮像画像を基準画像とするとともに、 2枚目以降の 各撮像画像をターゲット画像として、 ターゲット画像 （2乃至 N枚目の画像） が 基準画像に対して、 どのような位置ずれを起こしている力、 基準画像に対するタ 一ゲット画像の位置ズレのズレ量 （動き量） を検出する。 なお、 このズレ量は、 例えば、 手ブレにより生じるものである。
動き検出回路 23- 1には、 基準画像としての 1枚目の撮像画像がフレームメ モリ 22— 1から、 ターゲット画像としての 2枚目の撮像画像がフレームメモリ 2 2— 2から、 それぞれ供給される。
動き検出回路 23— 1は、 2枚目の撮像画像の各画素 （あるいは、 画面全体を 複数のブロックに分割したときの各ブロック） 力 1枚目の撮像画像のどの位置 に対応しているかを検出し、 1枚目の撮像画像と 2枚目の撮像画像との位置関係 が次式 （1) で表されるような、 回転角度 0 2、 スケール S 2、 平行移動量 (T 2 X , T 2 y) で構成される変換パラメータ （6 2， T 2 x, T 2 y , S 2) を求め、 演算回路 24に供給する。
X1 (2)
Y1 (2)ノ
Figure imgf000022_0001
式 （1) は、 いわゆるァフィン変換の式であり、 式 （1) において、 （X 2 は 2枚目の撮像画像の画素の位置であり、 (2)： Y 1 (2)) は 1枚目の 撮像画像上の位置である。 下付きの （2) は、 2枚目の撮像画像のある位置が位 置変換されたことを表している。
この変換パラメータ （02， T 2 X , T 2 y , S 2) は、 2枚目の撮像画像上 の位置 （X 2, Y 2) が、 1枚目の撮像画像上の位置 （X I, Y 1 ) に対して、 例えば、 手持ち撮影のため、 角度 02だけ回転し、 被写体方向にデジタルカメ ラ 1が移動したために画像が S 2倍だけ拡大 （S 2く 1のときは、 縮小） され、 被写体に対して平行方向に （T 2 x， Τ 2 y) だけずれたことを意味する。 なお、 通常手ブレの場合には、 撮像素子 4の面と平行な横方向のプレ （揺れ） の影響が 大きく、 デジタルカメラ 1から被写体の方向に対するブレ （揺れ） は少ないので、 デジタルカメラ 1から被写体の方向に対しては影響がないとして、 S 2 = 1と近 似してもよレ、。
また、 動き検出回路 23— 2には、 基準画像としての 1枚目の撮像画像がフレ ームメモリ 22— 1から、 ターゲット画像としての 3枚目の撮像画像がフレーム メモリ 22— 3から、 それぞれ供給される。
動き検出回路 23— 2は、 3枚目の撮像画像の各画素 （あるいは、 画面全体を 複数のプロックに分割したときの各ブロック） 力 1枚目の撮像面像のどの位置 に対応しているかを検出し、 1枚目の撮像画像と 3枚目の撮像画像との位置関係 が次式 （2) で表されるような、 回転角度 0 3、 スケール S 3、 平行移動量 (T 3 X , T 3 y ) で構成される変換パラメータ （0 3， T 3 x, T 3 y , S 3) を求め、 演算回路 24に供給する。
Figure imgf000023_0001
- · · (2)
式 （2) は、 いわゆるァフィン変換の式であり、 式 （2) において、 （X 3, Y 3) は 3枚目の撮像画像の画素の位置であり、 （X I (3)， Y 1 (3)) は 1枚目の 撮像画像上の位置である。 下付きの （3) は、 3枚目の撮像画像のある位置が位 置変換されたことを表している。
この変換パラメータ （03、 T 3 x、 T 3 y、 S 3) は、 3枚目の撮像画像上 の位置 （X 3， Y 3) 1枚目の撮像画像上の位置 （X I, Υ 1) に対して、 手持ち撮影のため、 角度 e 3だけ回転し、 被写体方向にデジタルカメラ 1が移 動したために画像が S 3倍だけ拡大 （S 3 < 1のときは、 縮小） され、 被写体に 対して平行方向に （T 3 x, Τ 3 y) だけずれたことを意味する。 なお、 通常手 プレの場合には、 撮像素子 4の面と平行な横方向のブレ （揺れ） の影響が大きく、 デジタルカメラ 1から被写体の方向に対するブレ （揺れ） は少ないので、 デジタ ルカメラ 1から被写体の方向に対しては影響がないとして、 S 3 = 1と近似して もよい。
以下同様に、 動き検出回路 23— (k— 1) には、 基準画像としての 1枚目の 撮像画像がフレームメモリ 22— 1から、 ターゲット画像としての k枚目の撮像 画像がフレームメモリ 2 2— kから、 それぞれ供給される。
動き検出回路 23— (k- 1) は、 k枚目の撮像画像の各画素 （あるいは、 画 面全体を複数のブロックに分割したときの各ブロック） 力 1枚目の撮像画像の どの位置に対応しているかを検出し、 1枚目の撮像画像と k枚目の撮像画像との 位置関係が次式 （3) で表されるような、 回転角度 0 k、 スケール S k、 平行 移動量 （T k x， T k y) で構成される変換パラメータ （0 k， T k X, T k y , S k) を求め、 演算回路 24に供給する。
c
V
Figure imgf000024_0001
• · · (3)
式 （3) は、 いわゆるァフィン変換の式であり、 式 （3) において、 （Xk， Yk) は k枚目の撮像画像の画素の位置であり、 （Χ 1 ω， Υ 1 (k)) は、 1枚目 の撮像画像上の位置である。 下付きの （k) は、 k枚目の画像のある位置が位置 変換されたことを表している。
この変換パラメータ （0 k， Tk x, T k y, S k) は、 k枚目の撮像画像上 の位置 （Xk， Yk) 、 1枚目の撮像画像上の位置 （X I, Y 1) に対して、 手持ち撮影のため、 角度 だけ回転し、 被写体方向にデジタルカメラ 1が移 動したために画像が S k倍だけ拡大 （S k < lのときは、 縮小） され、 被写体に 対して平行方向に （T k x, Tk y) だけずれたことを意味する。 なお、 通常手 ブレの場合には、 撮像素子 4の面と平行な横方向のプレ （揺れ） の影響が大きく、 デジタルカメラ 1から被写体の方向に対するプレ （揺れ） は少ないので、 デジタ ルカメラ 1から被写体の方向に対しては影響がないとして、 S k= 1と近似して もよい。 · 変換パラメータ （0 k， T k x , T k y , S k ) は、 上述のように、 1枚目の 撮像画像を基準とする、 k枚目の撮像画像の位置関係から求める他、 デジタル力 メラ 1に加速度センサを設け、 その加速度センサの出力から、 いわば、 メカ二力 ル的に求めるようにすることもできる。
演算回路 2 4には、 フレームメモリ 2 2— 1乃至 2 2— Nから N枚の撮像画像 が供給される。 また、 演算回路 2 4には、 動き検出回路 2 3— 1乃至 2 3— （N 一 1 ) から 1枚目の撮像画像と k枚目の撮像画像との位置関係を表す変換パラメ ータ （0 k， T k X , T k y , S k ) が供給される。
演算回路 2 4は、 動き検出回路 2 3— 1乃至 2 3— （N— 1 ) から供給される 2乃至 N枚目の撮像画像の、 1枚目の撮像画像に対する位置関係に基づき、 後述 する画像推定処理を行うことにより、 カメラブレを補正した 1枚の鮮明な出力画 像の画像信号 （G信号、 R信号、 B信号） を推定し、 D/Aコンバータ 9またはコ 一デック 1 2に供給する。 A/Dコンバータ 6から信号処理回路 7に供給される N 枚の撮像画像それぞれは、 1画素が G信号、 R信号、 B信号のうちのいずれか 1 つを有する信号であるのに対して、 演算回路 2 4が推定する画像信号は、 1画素 にっき G信号、 R信号、 B信号の 3個の色信号を有する信号 （データ） である。 コントローラ 2 5は、 CPU 1 5の制御に従い、 信号処理回路 7内のフレームメ モリ 2 2— 1乃至 2 2— N、 動き検出回路 2 3— 1乃至 2 3— （N— 1 ) 、 演算 回路 2 4等の制御を行う。 なお、 CPU 1 5 (図 1 ) 力 コントローラ 2 5に代わ つて、 信号処理回路 7内のフレームメモリ 2 2— 1乃至 2 2— N、 動き検出回路 2 3— 1乃至 2 3— （N— 1 ) 、 演算回路 2 4等の制御を行うようにすることが でき、 この場合には、 コントローラ 2 5を省略することができる。
なお、 べィヤー配列等を使った単板センサでは、 G信号の画素数に対して、 R 信号や B信号の画素数が少なくなつている。 そのため、 信号処理回路 7で得られ る出力画像における R信号や B信号は、 G信号に較べて誤差が大となる場合があ る。 そのような場合には、 演算回路 2 4の後段に、 輝度信号はそのままで、 色差 信号に対してのみ高周波成分の帯域を制限する口一パスフィルタを配置すること により、 ノィズを除去することができる。
また、 演算回路 2 4を、 連続撮像している最中に、 撮像画像を順次取り込みな がら処理が可能なリアルタイム処理を行う高速演算回路とすることにより、 フレ ームメモリ 2 2— 1乃至 2 2— N、 および動き検出回路 2 3 - 1乃至 2 3— （N 一 1 ) の数を少なく構成することができる。 これにより、 信号処理回路 7の規模 を小さくすることが可能となる。
次に、 上述した信号処理回路 7における、 画像推定処理の第 1実施の形態につ いて説明する。
なお、 例えば、 撮像素子 4の各画素 （の受光部） の直上には、 不図示のオンチ ップレンズが配置されているものとする。 オンチップレンズは、 そのオンチップ レンズ内に入射した被写体の光すベてを 1点に収束する。 従って、 オンチップレ ンズの直下にある画素は、 オンチップレンズ内に入射した被写体の光すベてを積 分値として受光することができる。 これにより、 各画素の検出感度が良くなると いう効果が得られる。
従って、 撮像素子 4の各画素で受光されるデータ （受光量） は、 その画素の、 ある 1点に入射される被写体の光の値ではなく （即ち、 ポイントサンプリングさ れたデータではなく） 、 ある有限の面積を持った面 （受光面）'に入射される被写 体の光の積分値である。
第 1実施の形態では、 このオンチップレンズの特性を正確に定式化することに より、 画像推定処理として鮮明な画像 （出力画像） を求める。 なお、 従来では、 各画素のデータは、 ポイントサンプリングされたデータとして考えることが一般 的であった。 しかしながら、 本来は、 上述したように、 実際の撮像素子 4の各画 素の受光量は、 ある面積を持った面に入射した光の値 （積分値） となるため、 正 確な画像を推定 （復元） しているとは言い難かった。
初めに、 フレームメモリ 2 2— 1に記憶されている 1枚目の画像について、 各 画素で得られる画素値とオンチップレンズにより入射される光との関係を定式化 する。 例えば、 図 3の一番左上の 「1番目， 1番目の画素」 である画素 GO 0につい ては、 その画素値 G o b s (1， 1， 1) と、 真の緑色の光量 L g (x , y ) と の関係は、 次式 （4) のように表すことができる。
J0 J。 Lg(x,y)dxdy = Gobs(1, 1, 1) · . · (4)
単板センサである受光素子 4の一番左上の画素 G 00には、 入射される光のう ち、 緑色の成分のみを透過するように、 緑色のフィルタが装着されている。 画素 GO 0が受光する光は、 オンチップレンズの効果のため、 図 3の座標系において (0， 0) , (0， 1) , (1, 0) ， および （1 , 1) で囲まれる矩形領域に 入射する光となる。 即ち、 （0， 0) , (0， 1) , (1， 0) ， および （1， 1) で囲まれる矩形領域に入射される被写体の光の全ては、 「1番目、 1番目の 画素」 である G 00で受光される。
式 （4) の左辺は、 1枚目の撮像画像の座標系の位置 （x， y) における （入 射する） 真の緑色の光量 L g ( X , y) を、 （0, 0) , (0， 1) ， （1， 0) ， および （1， 1) で囲まれる矩形領域、 即ち、 0≤xく 1および 0≤y< 1で積分したものである。 また、 式 （4) の右辺は、 そのとき 1枚目の 「1番目、 1番目の画素」 で得られる （観測される） 画素値 Go b s (1， 1， 1) である。 式 （4) は、 1枚目の撮像時における画素 G00の受光面に入射する真の緑色の 光量 L g ( X , y) の、 その受光面での積分値が、 画素 G00で観測される画素 値 Go b s (1， 1 , 1) に等しいことを表している。
なお、 オンチップレンズの性能によっては、 各画素の周辺部 （いわゆる、 「は じ」 の部分） に入射される被写体の光を収束させることができない場合もある。 その場合、 式 （4) の左辺で積分される範囲を、 例えば、 ひとまわり小さくして、 例えば （0. 1, 0. 1) ， （0. 1， 0. 9) , (0. 9， 0. 1) , および (0. 9, 0. 9) で囲まれる矩形領域とすればよい。
また、 デジタルカメラでは、 単板センサの欠点である偽色を回避するために、 オプティカルローパスフィルタを各画素の前に組み込んでいるものが多く、 その 場合、 1画素の矩形領域よりも少し広範囲の光が画素に入力される。 そのときに は、 式 （4) の左辺で積分される範囲を、 反対に、 ひとまわり大きい矩形領域と すればよい。
次に、 図 3において画素 G 00の右隣にある、 「2番目， 1番目の画素」 であ る画素 R O 1について考える。
「2番目， 1番目の画素」 である画素 R 0 1については、 その画素値 R o b s (1， 2, 1) と、 真の緑色の光量 L g ( X , y) との関係は、 次式 （5) のよ うに表すことができる。 ί Γ Lr(x,y)dxdy = Robs (1,2, 1)
*Ό J 1
• · · (5)
単板センサである受光素子 4の一番左上の画素 R 0 1には、 入射される光のう ち、 赤色の成分のみを透過するように、 赤色のフィルタが装着されている。 画素 R 0 1が受光する光は、 オンチップレンズの効果のため、 図 3の座標系において (1 , 0) , ( 1 , 1) ， （2， 0) , および （2， 1) で囲まれる矩形領域に 入射する光となる。 即ち、 （1， 0) ， ( 1 , 1 ) , (2, 0) ， および （2， 1) で囲まれる矩形領域に入射される被写体の光の全ては、 「2番目、 1番目の 画素」 である R 0 1で受光される。
式 （5) の左辺は、 1枚目の撮像画像の座標系の位置 （x， y) における （入 射する〉 真の赤色の光量 L r (x, y) を、 （1， 0) ' ( 1， 1) ， （2,
0) , および （2, 1) で囲まれる矩形領域、 即ち、 1≤ < 2ぉょび0≤ く 1で積分したものである。 また、 式 （5) の右辺は、 そのとき 1枚目の 「2番目、 1番目の画素」 で得られる （観測される） 画素値 R o b s ( 1， 2， 1 ) である。 式 （5) は、 1枚目の撮像時における画素 R 0 1の受光面に入射する真の赤色の 光量 L r (x, y) の、 その受光面での積分値が、 画素 R 0 1で観測される画素 値 R o b s (1， 2, 1 ) に等しいことを表している。 なお、 オンチップレンズの性能によっては、 各画素の周辺部 （いわゆる、 「は じ」 の部分） に入射される被写体の光を収束させることができない場合もある。 その場合、 式 （5) の左辺で積分される範囲を、 例えば、 ひとまわり小さく して、 例えば （1. 1 , 0. 1) , (1. 1 , 0. 9) ， （1. 9， 0. 1) ， および (1. 9, 0. 9) で囲まれる矩形領域とすればよい。
また、 デジタルカメラでは、 単板センサの欠点である偽色を回避するために、 オプティカルローパスフィルタを各画素の前に組み込んでいるものが多く、 その 場合、 1画素の矩形領域よりも少し広範囲の光が画素に入力される。 そのときに は、 式 （5) の左辺で積分される範囲を、 反対に、 ひとまわり大きい矩形領域と すればよい。
1枚目の撮像画像のその他の画素についても同様に式をたてることができる。 即ち、 図 3において 「 i g番目、 ； ί g番目の画素」 である画素 G ( j g— 1) ( i g— 1 ) については、 その画素値 G o b s (1， i g， j g) と、 真の緑色 の光量 L g ( X , y) との関係は、 式 （6) のように表すことができる。
Figure imgf000029_0001
Lg(x,y) dxdy = Gobs(1, ig, jg)
… （6) .
式 （6) は、 真の緑色の光量 L g (X， y) を、 図 3の座標系において （ i g 一 1， j g— 1 , ( i g— 1, j g) , ( i g， j g—： U , および 、 i g， j g) で囲まれる矩形領域、 即ち、 1枚目の撮像画像の座標系の i g_ l≤xく i gおよび j g— 1≤yく j gで積分したものが、 画素値 G o b s (1， i g, j g) であることを表している。
また、 図 3において 「 i r番目、 j r番目の画素 J である R (j r— l) ( i r一 1 ) については、 その画素値 R o b s (1， i r， j r) と、 真の赤色の光 量 L r (x, y) との関係は、 式 （7) のように表すことができる。
」■「—】」 _】 Lr (x, y) dxdy = Robs ( 1 , ，」r) • · · (7)
式 （7) は、 真の赤色の光量 L r (x, y ) を、 図 3の座標系において （ i r — 1， j r - 1 ) , ( i r— 1 , j r) , ( i r , j r— l) ， および （ i r， j r ) で囲まれる矩形領域、 即ち、 1枚目の撮像画像の座標系の i r— l≤x< i rおよび j r— 1≤ y < j rで積分したものが、 画素値 R o b s (1， i r， j r ) であることを表している。
さらに、 図 3において 「 i b番目、 j b番目の画素」 である画素 B ( j b - 1) ( i b - 1 ) については、 その画素値 B o b s (1, i b, j b) と、 真の 青色の光量 L b (x, y) との関係は、 式 （8) のように表すことができる。 b-iJib-1 Lb(x,y)dxdy = Bobs(1, ib, jb)
• · · (8)
式 （8) は、 真の青色の光量 L b (x, y) を、 図 3の座標系において （ i b — 1， j b— 1) ， ( i b - 1 , j b) , ( i b, j b— 1) , および （i b, j b) で囲まれる矩形領域、 即ち、 1枚目の撮像画像の座標系の i b_ l≤xく i bおよび j b— 1 yく； j bで積分したものが、 画素値 B o b s (1， i b , j b) であることを表している。
なお、 実際には、 上述したように、 画像信号 （観測される画素値） には、 ノィ ズ量 Eも含まれており、 さらに、 そのノイズ量 Eは Mk倍にゲインアップされて いる。 そこで、 （E xMk) のノイズ成分を式 （6) ， （7) ， (8) に考慮す ると、 それぞれ、 式 （9) ， （1 0) , (1 1) で表される光量積分条件式が得 られる。 Lg(x,y)dxdy-Gobs(1, ig, jg)|≤M1xE
Figure imgf000030_0001
(9)
广 jr ir
Ji,. , Jj , Lr(x, y)dxdy-Robs(1, ir, jr) Mix ( 1 0 )
Jjb_1 Lb(x， y)dxdy-Bobs(1, ib, jb) ≤M1 E
( 1 1 )
ここで、 I x Iは、 Xの絶対値を表す。
式 （9 ) は、 光量 L g ( X , y ) の積分値と、 観測される画素値 G o b S ( 1 , i g， j g ) との差が、 想定し得るノイズ量の最大値 M l X E以下であることを 表している。 式 （1 0 ) および式 （1 1 ) も同様である。
以下の説明では、 k枚目の撮像画像のことを k枚目画像とも称することにする c 次に、 フレームメモリ 2 2 — 2に記憶されている 2枚目画像について、 1枚目 画像と同様に、 各画素で得られる （観測される） 画素値とオンチップレンズによ り入射される光との関係を定式化する。
2枚目以降の撮像画像の座標系は、 動き検出回路 2 3により検出された変換パ ラメータ （S k， T k X , T k y , S k ) (k = 2乃至 N) を用いて 1枚目の撮 像画像の座標系に変換される。
2枚目画像の 「1番目， 1番目の画素」 である画素 G 0 0については、 その画 素値 G o b s ( 2， 1， 1 ) と、 緑色の光量 L g ( x， y ) との関係は、 次式 ( 1 2 ) のように表すことができる。
Jn (¾ fj C2) Lg(x,y) dxdy = Gobs (2,1,1)
J0(2) J 0(2)
• · ■ ( 1 2)
受光素子 4の一番左上の画素 G 0 0は、 入射される光のうち、 緑色の成分のみ を吸収するように、 緑色のフィルタが装着されている。 画素 G O 0が受光する光 は、 オンチップレンズの効果のため、 2枚目画像の座標系において （0， 0 ) ，
( 0 , 1 ) , ( 1 , 0 ) ， および （1， 1 ) で囲まれる矩形領域に入射する光と なる。
その 2枚目画像の座標系における位置 （0 , 0) ， （0 , 1 ) , ( 1 , 0 ) , および （1， 1 ) を、 変換パラメータ （0 2， T 2 X , T 2 y , S 2) を用いて 1枚目画像の座標系に変換した位置が、 （0 (2), 0 (2)) , (0 (2)， 1 (2)) ' ( 1 (2)， 0 (2)) ， および （1 (2〉， 1 (2)) である。 従って、 （0 (2)， 0 (2)) ， （0 (2)，
1 (2)) ' ( 1 (2)' 0 (2)) , よ ( 1 (2)， 丄（2) ) で囲まれる矩形領域に入射され る被写体の光の全ては、 2枚目の撮像時に 「1番目、 1番目の画素」 である画素 G 0 0で受光される。 なお、 2枚目画像の位置 （X , y) を 1枚目の画像の座標 に変換した位置を P (2 , X , y) とも書くことにする。
式 （1 2) の左辺は、 真の緑色の光量 L g (x , y) を、 P (2 , 0 , 0) , P ( 2 , 0 , 1 ) , P ( 2, 1 , 0) , および P ( 2 , 1， 1 ) で囲まれる矩形 領域、 即ち、 1枚目座標系において、 （0 (2)， 0 (2)) ， （0 (2)， 1 (2)) ， （1 (2)， 0 (2)) , および （1 ω, 1 (2)) で囲まれる矩形領域で積分したものである。 また、 式 （1 2) の右辺は、 そのとき 2枚目画像の 「1番目、 1番目の画素」 で得られ る画素値 G o b s ( 2 , 1， 1 ) である。 式 （1 2) は、 2枚目の画素 G O 0で 観測される画素値 G o b s ( 2 , 1 , 1 ) I 1枚目の撮像時における座標系に おいて、 （0 (2), 0 (2)) , (0 (2), 1 ω) , ( 1 (2)' 0 (2)) , および （1 (2), 1 (2)) で囲まれる矩形領域の範囲に入射する真の緑色の光量 L g (x , y) の積分 値に等しいことを表す。 式 （ 1 2) において、 J J d x d yは、 （0 (2)， 0 (2)) ,
(0 (2)， 1 (2)) , ( 1 (2), 0 (2)) , および （1 (2)， 1 (2)) で囲まれる矩形領域の 積分を表すものとする。 式 （1 3 ) 以降も同様である。
なお、 オンチップレンズの性能によっては、 各画素の周辺部 （いわゆる、 「は じ」 の部分） に入射される被写体の光を収束させることができない場合もある。 その場合、 式 （1 2) の左辺で積分される範囲を、 上述した 1枚目の画像の場合 と同様に、 ひとまわり小さい矩形領域とすればよい。
また、 デジタルカメラでは、 単板センサの欠点である偽色を回避するために、 オプティカルローパスフィルタを各画素の前に組み込んでいるものが多く、 その 場合、 1画素の矩形領域よりも少し広範囲の光が画素に入力される。 そのときに は、 式 （1 2) の左辺で積分される範囲を、 反対に、 ひとまわり大きい矩形領域 とすればよい。
次に、 2枚目画像の画素 G 00の右隣となる、 「2番目， 1番目の画素」 であ る画素 RO 1について考える。
2枚目画像の 「2番目， 1番目の画素」 である画素 R 0 1については、 その画 素値 R o b s (2， 2， 1) と、 真の赤色の光量 L r (x , y ) との関係は、 次 式 （.1 3) のように表すことができる。 1 (¾ Γ2(2) Lr(x,y) dxdy = Robs (2, 2, 1)
J 0(2) J i(2)
• · · (1 3)
受光素子 4の一番左上の画素 R 01は、 入射される光のうち、 赤色の成分のみ を吸収するように、 赤色のフィルタが装着されている。 画素 R 0 1が受光する部 分は、 オンチップレンズの効果のため、 2枚目画像の座標系において （1， 0) ，
(1， 1) , (2， 0) ， および （2， 1) で囲まれる矩形領域に入射する光と なる。
その 2枚目画像の座標系における位置 （1, 0) ， （1, 1) ， （2， 0) ， および （2, 1) を、 変換パラメータ （0 2， T 2 X , T 2 y , S 2) を用いて 1枚目画像の座標系に変換した位置が、 （1 (2)， 0(2)) ， (1 (2), 1 (2)) , (2 (2), 0(2)) , および （2(2)， 1 (2)) である。 従って、 （1 (2)， 0(2)) ， （1 (2)， 1 (2)) ， （2(2)， 0(2)) ， および （2(2), 1 (2)) で囲まれる矩形領域に入射され る被写体の光の全ては、 2枚目の撮像時に 「2番目、 1番目の画素」 である R0 1で受光される。
式 （1 3) の左辺は、 真の赤色の光量 L r (x, y) を、 P (2, 1, 0) ， P (2, 1， 1) , Ρ (2, 2， 0) ， および Ρ (2, 2， 1) で囲まれる矩形 領域、 即ち、 1枚目座標系において、 （1 (2)， 0(2)) ， （1 (2)， 1 (2)) ， （2(2)， 0(2))· ， および （2(2), 1 (2)) で囲まれる矩形領域で積分したものである。 また、 式 （1 3) の右辺は、 そのとき 2枚目の 「2番目、 1番目の画素」 で得られる画 素値 R o b s (2， 2, 1 ) である。 式 （ 1 3) は、 2枚目の画素 R 0 1で観測 される画素値 R o b s (2， 2, 1) 力 1枚目の撮像時における座標系におい 、 、 1 (2) ' 0(2) ) ' 、丄（2) ' 1 (2)) ， (2(2)， 0(2)ノ ' ぉ び 、2 (2), 1 (2)ノ で囲まれる矩形領域の範囲に入射する真の赤色の光量 L r ( X , y ) の積分値に 等しいことを表す。
なお、 オンチップレンズの性能によっては、 各画素の周辺部 （いわゆる、 「は じ」 の部分） に入射される被写体の光を収束させることができない場合もある。 その場合、 式 （1 3) の左辺で積分される範囲を、 例えば、 ひとまわり小さい矩 形領域とすればよい。
また、 デジタルカメラでは、 単板センサの欠点である偽色を回避するために、 オプティカルローパスフィルタを各画素の前に組み込んでいるものが多く、 その 場合、 1画素の矩形領域よりも少し広範囲の光が画素に入力される。 そのときに は、 式 （1 3) の左辺で積分される範囲を、 反対に、 ひとまわり大きい矩形領域 とすればよい。
2枚目画像のその他の画素についても同様に式をたてることができる。
即ち、 2枚目画像の 「 i g番目、 j g番目の画素」 である G ( j g - 1) ( i g _ 1 ) については、 その画素値 G o b s (2, i g , j g) と、 真の緑色の光 量 L g (x, y ) との関係は、 式 （1 4) のように表すことができる。 (x, y)dxdy = Gobs(2, ig, jg)
Figure imgf000034_0001
• · · (1 4)
式 （1 4) は、 真の緑色の光量 L g (x , y) を、 2枚目画像の座標系におい て ( i g— 1 , j g— 1 ) , ( i g— 1， j g) , ( i g, j g— 1) ， および ( i g , j g) で囲まれる矩形領域、 即ち、 1枚目画像の座標系において、 （ i g一 1 (2) , j g - 1 (2)) ' ( ΐ g - 1 (2) . J g (2) ) , ( Ϊ g (2) . j g - 1 (2)) ， および （ i g (2), j g (2)) で囲まれる矩形領域で積分したものが、 画素値 G o b s (2 , i g，. j g) であることを表している。
また、 2枚目画像の 「 i r番目、 j r番目の画素」 である R ( j r - 1) ( i r - 1 ) については、 その画素値 R o b s (2, i r , j r ) と、 真の赤色の光 量 L r ( X , y ) との関係は、 式 （1 5) のように表すことができる。 に 1 Γ Lr(x, y)dxdy = Robs (2, ir, jr)
• · · ( 1 5)
式 （1 5 ) は、 真の赤色の光量 L r (x, y ) を、 2枚目画像の座標系におい て （ i r一 1， j r— 1) ， （ i r— 1， j r ) , ( i r， j r— l) ， および ( i r， j r ) で囲まれる矩形領域、 即ち、 1枚目画像の座標系において、 （ i r一 1 (2), j r - 1 (2)) , ( i r— 1 (2), j r (2)リ ， i r (2), j r一 1 (2)) ， および （ i r (2)， j r (2)) で囲まれる矩形領域で積分したものが、 画素値 R o b s (2, i r， j r ) であることを表している。
さらに、 2枚目画像の 「 i b番目、 j b番目の画素」 である B ( j b - 1 ) ( i b— 1 ) については、 その画素値 B o b s (2, i b , j b) と、 真の青色 の光量 L b ( X , y ) との関係は、 式 （1 6) のように表すことができる。
Jjb-Ur- (i2)(2) Lb(x'y)dxdy = Bobs(2' ib，ル）
· · ■ ( 1 6)
式 （1 6) は、 真の青色の光量 L b ( x , y ) を、 2枚目画像の座標系におい て （ i b— 1， j b— 1) ， （ i b〜 l， j b) ， （ i b , j b— 1) , および ( i b， j b) で囲まれる矩形領域、 即ち、 1枚目画像の座標系において、 （ i b一 1 (2), j b - 1 (2) ' ^ 1 b - 1 (2), j b (2)ノ , \ i b (2), j b— 1 (2)) ' および （ i b (2), j b (2)) で囲まれる矩形領域で積分したものが、 画素値 B o b s (2， i b , j b) であることを表している。
なお、 実際には、 上述したように、 画像信号 （観測される画素値） には、 ノィ ズ量 Eも含まれており、 さらに、 そのノイズ量 Eは Mk倍にゲインアップされて いる。 （E xMk) のノイズ成分を式 （1 4) , (1 5) , ( 1 6) に考慮する と、 それぞれ、 式 （1 7) ， ( 1 8) , ( 1 9) で表される光量積分条件式が得 られる, (x, y)dxdy-Gobs(2, ig, jg) M2x
Figure imgf000036_0001
(1 7)
(2) 2
L x, y)dxdy— Robs (2 ir, j ≤M2xE
-1 (
(1 8)
Figure imgf000036_0002
• · · (1 9)
ここで、 I x ま、. xの絶対値を表す。
式 （ 1 7) は、 光量し g (x, y) の積分値と、 観測される画素値 G o b s (2, i g, j g) との差が、 想定し得るノイズ量の最大値 M2 x E以下である ことを表している。 式 （1 8) およぴ式 （1 9) も同様である。
図 5を参照して、 2枚目画像の位置 （X , y) と、 その位置 （X , y) を 1枚 目画像の座標に変換した位置 P (2， X， y) との関係について説明する。 図 5左側は、 2枚目画像の座標系における、 所定の 4点 （ i一 1， , ( i一 1， j ) ， （ i， j 一 1) ， および （ i , j ) で囲まれる矩形領域のある 画素 3 1を示している。
図 5右側は、 左側の画素 3 1を 1枚目画像の座標系に変換した後の画素 3 1' を示している。 従って、 図 5左側の画素 ·3 1と図 5右側の画素 3 1，は、 同じ被 写体 （の一部） が映っている （例えば、 ある風景） 。
ここでは、 2枚目以降の撮像画像の各画素の画素値が、 基準画像である 1枚目 の画像の撮像時の光 （被写体からの光） の積分値として得られるとして、 その積 分値を得るときの積分範囲を、 1枚目の座標系を基準として設定する。 これによ り、 手ブレにより位置ズレが生じていた 1乃至 N枚目の撮像画像の、 いわば位置 合わせ （1枚目の撮像画像を基準とした位置合わせ） が行われる。 2枚目画像の座標系における位置 （ i一 1， j 一 1) は、 変换パラメータ (Θ 2， T 2 X , T 2 y , S 2) により変換することで、 1枚目画像の座標系での位 置 P (2, i一 1， j 一 1) とすることができる。 また、 2枚目画像の座標系に おける位置 （ i— l， j ) は、 変換パラメータ （02, T 2 X , T 2 y , S 2) により変換することで、 1枚目画像の座標系での位置 P (2, i - 1, j ) とす ることができる。 同様に、 2枚目画像の座標系における位置 （ i， j 一 1) と
( i , j ) も、 変換パラメータ （02, T 2 X , T 2 y, S 2) により変換する ことで、 1枚目画像の座標系での位置 P (2, i， j - 1) と P (2, i , j ) と、 それぞれすることができる。 なお、 X座標軸または Y座標軸が、 単に Xまた は Yと表されている場合には、 1枚目画像の座標系における X座標軸または Y座 標軸を表すものとする。
上述した 2枚目画像と同様に、 k枚目画像 （k = 3乃至 N) の座標系における 位置 （ i一 1, j 一 1) ， （ i一 1, j ) ， ( i , j - 1) , および （ i， j ) も、 変換パラメータ （0 k, T k x, Tk y, S k) により変換することで、 1 枚目画像の座標系での位置 P (k, i一 1 , j — l) , P (k， i一 1， j ) , P (k， i， j — l) ， および P (k, i， j ) と、 それぞれすることができる c そして、 k枚目画像 （k= 3乃至 N) について、 Mk倍にゲインアップされた ノイズ量 Eを考慮すると、 式 （1 7) 乃至式 （1 9) と同様の式 （20) 乃至
(22) で表される光量積分条件式が得られる。
Lg(x, y)dxdy-Gobs(k, ig, jg) ≤ Mk
Figure imgf000037_0001
• · · (20)
式 （20) は、 真の緑色の光量 L g (x, y) を、 P (k， i g— 1 , j g— 1) ， P (k， i g— 1， j g) ， P (k, i g, j g— 1) ， および P (k, i g, j g) で囲まれる矩形領域、 即ち、 1枚目座標系において、 （ i g— l (k): j g一 1 (k) ， g - 1 (k) , j g (k) ) . ( i g (k) , j g一 1 (i ) ' およひ （ i g(k), j g(k)) で囲まれる矩形領域で積分したものと、 k枚目画像の 「 i g番目. j g番目の画素」 で得られる画素値 G o b s (k， i g, j g) とが、 Mk倍に ゲインアップされたノイズ量 E (誤差） を考慮して等しいこと、 即ち、 真の緑色 の光量 L g ( X , y) の積分値と、 観測される画素値 Go b s (k, i g， j g) との差 （絶対値） 力 想定し得るノイズ量の最大値以下であることを表して いる。 ここで、 i X |は、 Xの絶対値を表す。
Γ. I「0
ΐ f- (！ Lr (x, y)dxdy- obs(k, ir, jr) kx
… （2 1)
式 （2 1) は、 真の赤色の光量 L r (x, y) を、 P (k， i r— 1， j r一 l) ， P (k， i r一 1， j r) , P (k, i r， j r— l) , および P (k， i r， j r) で囲ま る矩形領域、 即ち、 1枚目座標系において、 （ i r一 i r一 l (k)リ ' 、 i r - 1 (k), j r (k)リ ， 、 i r (k)， j r - 1 (k) , および （ i r (k)， j r (k)) で囲まれる矩形領域で積分したものと、 k枚目画像の 「 i r番目、 j r番目の画素」 で得られる画素値 R o b s (k， i r , j r) とが、 Mk倍に ゲインアップされたノイズ量 E (誤差） を考慮して等しいこと、 即ち、 真の赤色 の光量 L r (x, y) の積分値と、 観測される画素値 R o b s (k, i r , j r ) との差 （絶対値） 力 想定し得るノイズ量の最大値以下であることを表して いる。 ここで、 I X ま、 Xの絶対値を表す。 J,
Figure imgf000038_0001
I.,り— - 1, ( ) Lb(x, y)dxdy-Bobs(k, ib, jb) Mkx
• · · (22)
式 （22) は、 真の青色の光量 L b (x y ) を、 P ( k , i b— 1 , j b— 1) , P (k, i b— 1 , j b) , P (k i b， j b— 1 ) ， および P ( k， i b, j b) で囲まれる矩形領域、 即ち、 1枚目座標系において、 （ i b— 1 (k): j b一 1 (k)) , ( i b一 1 (k), j b (k)) ' ( i b (k), j b - 1 (k)) , および （ i b (k): j b(k)) で囲まれる矩形領域で積分したものと、 k枚目画像の 「 i b番目 j b番目の画素 I で得られる画素値 B o b s (k, i b, j b) とが、 Mk倍 K ゲインアップされたノイズ量 E (誤差） を考慮して等しいこと、 即ち、 真の青色 の光量 L b (X , y ) の積分値と、 観測される画素値 B o b s ( k , i b， j b) との差 （絶対値） 力 想定し得るノイズ量の最大値以下であることを表して いる。 ここで、 I X Iは、 Xの絶対値を表す。
次に、 図 6のフローチャートを参照して、 図 2のステップ S 4における画像推 定処理の第 1実施の形態について説明する。
初めに、 ステップ S I 1において、 演算回路 24は、 1枚目画像の各画素の画 素値 G o b s ( 1， i g , j g) から、 すべての （ i g， j g) に対する式 (9) で表される光量積分条件式を、 R o b s ( 1， i r， j r) から、 すべて の （ i r , j r ) に対する式 （1 0) で表される光量積分条件式を、 B o b s
( 1， i b , j b) から、 すべての （ i b , j b) に対する式 （1 1) で表され る光量積分条件式を生成し、 ステップ S 1 2に進む。
ステップ S 1 2において、 演算回路 24は、 2枚目画像の各画素の画素値 G o b s (2, i g , j g) から、 すべての （ i g， j g) に対する式 （1 7) で表 される光量積分条件式を、 R o b s (2， i r， j r ) から、 すべての （ i r， j r ) に対する式 （1 8) で表される光量積分条件式を、 B o b s (2， i b， j b) から、 すべての （ i b， j b) に対する式 （1 9) で表される光量積分条 件式を生成し、 ステップ S 1 3に進む。 ここで、 演算回路 24は、 2枚目画像の 位置を 1枚目画像の位置に変換するため、 動き検出回路 2 3— 1から供給される 変換パラメータ （0 2, T 2 X , T 2 y , S 2) を使用する。
ステップ S 1 3において、 演算回路 24は、 k枚目画像 （1^ = 3乃至^ の各 画素の画素値 G o b s (k, i g， j g) 力、ら、 すべての （ i g, j g) に対す る式 （20) で表される光量積分条件式を、 R o b s (k， i r， 〗 r ) から、 すべての （ i r， j r ) に対する式 （2 1 ) で表される光量積分条件式を、 B o b s (k, i b , j b) 力 ら、 すべての （ i b , j b) に対する式 （2 2) で表 される光量積分条件式を生成し、 ステップ S 1 4に進む。 ここで、 演算回路 24 は、 k枚目画像の位置を 1枚目画像の位置に変換するため、 動き検出回路 2 3— (k一 1) から供給される変換パラメータ （0 k, T k X , T k y， S k) を使 用する。
ステップ S 1 4において、 演算回路 24は、 ステップ S 1 1乃至 S 1 3で求め た式 （ 9 ) , ( 1 0) , ( 1 1) , ( 1 7) ， ( 1 8) , (1 9) , (20) ， (2 1) , および （2 2) の光量積分条件式を満たす解を演算することにより、 真の緑色の光量 L g (x, y) 、 真の赤色の光量 L r (x, y) 、 真の青色の光 量 L b (x, y) を推定して処理を戻る。 ここで得られる真の緑色の光量 L g ( X , y) 、 真の赤色の光量 L r (x, y) 、 真の青色の光量 L b (x, y) (の推定値） ,ヽ 求めるべき 1枚の鮮明な画像の画像信号 （G信号、 R信号、 B 信号） として、 D/Aコンバータ 9またはコーデック 1 2に供給される。
なお、 ステップ S 1 4における、 全ての光量積分条件式を満たす解、 即ち、 真 の緑色の光量 L g ( X , y ) 、 真の赤色の光量 L r (x, y ) 、 真の青色の光量 L b (x, y) を求める解法としては、 複数の条件を満たす画像データを求める 解法を用いる。 かかる解法としては、 例えば、 Projection Onto Convex Setsの解法 （POC S法） などがある。 P OC S法は、 凸射影の繰り返しによ つて拘束条件に合う最適解を推定する方法であり、 例えば、 論文 「D. C.
Youla and H. Webb, 'Image Restoration by the Method of Convex Projections *· part 1 theory" ， IEEE Trans. Med.
Image. , vol. 1 o. 2， pp81_94, Oct. 1982J などに記載されている ので、 その説明を省略する。 また、 POC S法を使い複数枚の低解像度動画像か ら高解像度の静止画を作成する方法が特開平 8_263639に記載されている。 この 従来技術の方法では、 動きべク トルを使った一画素或いは半画素等の特定精度で の動き補正が基本であり、 各画素の値を推定する際に考慮される画素の数は、 該 特定精度によって定まる固定的なものが用いられているものと考えられる。 これ に対し、 本実施の形態では、 アナログ的な手法による動き補正を適用することが でき、 各画素の値を推定する際に考慮される画素の数は、 ブレの状況によって任 意に適応的に変化し得るように構成されている。 図 7のフローチヤ一トを参照して、 図 2のステップ S 4における画像推定処理 の第 1実施の形態について再度説明する。
初めに、 ステップ S 2 1において、 演算回路 24は、 内部に保持する画像の枚 数をカウントする変数 kを 1にセットしてステップ S 22に進む。
ステップ S 22において、 演算回路 24は、 k枚目画像の各画素の画素値 G o b s (k, i g, j g) から、 すべての （ i g， j g) に対して式 （20) で表 される光量積分条件式を生成し、 ステップ S 23に進む。
ステップ S 23において、 演算回路 24は、 k枚目画像の各画素の画素値 R o b s (k, i r， j r) から、 すべての （ i r , j r) に対して式 （2 1) で表 される光量積分条件式を生成し、 ステップ S 24に進む。
ステップ S 24において、 演算回路 24は、 k枚目画像の各画素の画素値 B o b s (k, i b, j b) から、 すべての （ i b， j b) に対して式 （22) で表 される光量積分条件式を生成し、 ステップ S 25に進む。
なお、 ステップ S 22乃至 S 24において、 光量積分条件式を生成するにあた つては、 必要に応じて、 動き検出回路 23— 1乃至 23— （N— 1) から供給さ れる変換パラメータが用いられる。
ステップ S 25において、 演算回路 24は、 内部の変数 kがフレームメモリ 2 2— 1乃至 22— Nから供給される画像の枚数 Nと等しいか否かを判定する。 変 数 kが画像の枚数 Nと等しくないと判定された場合、 演算回路 24は、 ステップ S 26に進み、 変数 kを 1だけインクリメントした後、 ステップ S 22に戻る。 そして、 ステップ S 22乃至 S 25の処理が繰り返される。
一方、 変数 kが画像の枚数 Nと等しいと判定された場合、 ステップ S 27に進 み、 演算回路 24は、 ステップ S 22乃至 S 24で求めた k= 1乃至 Nの式 （2 0) ， （2 1) ， および （22) の光量積分条件式を演算することにより、 真の 緑色の光量 L g (x, y) 、 真の赤色の光量 L r (x, y ) 、 真の青色の光量 L b (x, y) を推定して処理を戻る。 ここで得られる真の緑色の光量 L g (x, y) 、 真の赤色の光量 L r (x , y ) 、 真の青色の光量 L b ( , y) 力 求め るべき 1枚の鮮明な画像の画像信号 （G信号、 R信号、 B信号） として、 D/Aコ ンバータ 9またはコーデック 1 2に供給される。
なお、 ここで得られる真の緑色の光量 L g ( X , y) 、 真の赤色の光量 L r (x， y) 、 真の青色の光量 L b ( X , y ) の画像信号は、 アナログ信号である。 即ち、 L g (x, y ) ， L r (x， y ) , L b (x, y) は、 （x， y ) の関数 として求められるが、 変数 x， yは、 上述したように整数ではなく、 実数であり、 小数部分も含んでいる。 その小数部分の桁数は、 演算する装置の精度にもよるが、 一般的には、 2進数表現で 2桁から 3桁程度と考えられる。 従って、 このように 実数 （x， y) を引数とする関数である L g ( X , y) , L r ( x， y) , L b (x, y) については、 必要に応じて、 再度 （x, y) として整数の位置のみサ ンプリングし直すリサンプリングを行い、 デジタル画像信号に変換して D/Aコ ンバータ 9またはコーデック 1 2に供給するようにすることができる。
また、 高速シャツタによる N枚の撮像時間の間に被写体が動いている場合、 そ の動いている部分の、 真の緑色の光量 L g ( X , y ) 、 真の赤色の光量 L r (x, y) 、 真の青色の光量 L b (x, y) は、 時間とともに変化することとなるので、 上述の方法では、 正しい解を得ることが困難なことがあり得る。
そこで、 被写体が動いている部分については、 例外処理として、 単純な重ね合 わせで処理することができる。 即ち、 N枚の各画像は、 べィヤー配列のデータ ( 1画素につき R信号、 G信号、 B信号のうちのいずれか 1個のみのデータ） で あるが、 このデータから 1画素につき R信号、 G信号、 B信号の 3つの信号を復 元するデモザィキング処理を行う。 さらに、 デモザィキング処理後の N枚の画像 を、 回転、 拡大または縮小、 あるいは平行移動などを行って位置合わせを行い、 平均化する。 デモザィキング処理の手法としては、 従来の方法を含む任意の方法 を採用することができる。
以上のように、 第 1実施の形態では、 各画素の直上にあるオンチップレンズの 効果を加味した処理を行うことにより、 カメラブレを補正した鮮明な画像を推定 することができる。 次に信号処理回路 7における、 画像推定処理の第 2実施の形態について説明す る。
第 2実施の形態は、 第 1実施の形態における、 k= l乃至 Nとする式 （2 0) 乃至式 （2 2) で表される光量積分条件式の他に、 R信号、 G信号、 B信号どう しの相関に関する色相関の条件を付加して、 それらすベての条件式を満たす真の 緑色の光量 L g ( X , y ) 、 真の赤色の光量 L r (x, y ) 、 真の青色の光量 L b (x , y ) を求めるものである。
画像の局所的な部分に着目すれば、 撮像素子 4に入射される被写体の光と等価 な真の緑色の光量 L g ( X , y) 、 真の赤色の光量 L r (x， y) 、 真の青色の 光量 L b (x, y) には、 色どうしの相関 （色相関） がある。 従って、 光量積分 条件式である式 （2 0) 乃至式 （2 2) に加えて、 色相関の条件をさらに付加す ることにより、 より正確な解、 即ち、 より本来の光に忠実で鮮明な画像を求める (推定する） ことができる。
図 8と図 9を参照して、 具体的な色相関の条件を求める方法について説明する。 図 8と図 9では、 緑色と赤色の色相関の条件を考える。
図 8左下側の k'枚目画像の i g番目、 j g番目の、 ある緑色の画素 G ( j g 一 1) ( i g— 1) と、 図 8右下側の k " 枚目画像の i r番目、 j r番目の、 あ る赤色の画素 R ( j r - 1) ( i r - 1 ) に注目する。
演算回路 24は、 k'枚目画像の緑色の画素 G ( j g - 1) ( i g - 1) と k" 枚目画像の赤色の画素 R ( j r - 1 ) ( i r - 1 ) の位置を、 第 1実施の形 態で説明したように、 変換パラメータ （0 k'， T k' x, T k' y, S k' ) と 変換パラメータ （0 k" ， T k" x， T k" y , S k" ) によりそれぞれ変換す ることで、 図 8上側の 1枚目画像の座標系における位置を求める。 なお、 k'や k" が 1の場合も含み、 その場合には、 （0 1 , T l x, T 1 y , S I) = (0， 0， 0, 1) と考える。
そして、 演算回路 24は、 1枚目画像の座標系に変換された k'枚目の緑色の 画素 G ( j g - 1 ) ( i g - 1) と 1枚目画像の座標系に変換された k" 枚目の 赤色の画素 R ( j r - 1) ( i r— 1) との距離を計算する。 さらに、 演算回路 24は、 その距離が、 同一の位置とみなす許容値 （判定値） delta (例えば、 0. 25画素） 以内であるかどうかを判定する。
例えば、 画素 G ( j g- 1) ( i g— 1) と画素 R ( j r - 1) ( i r一 1) の位置を、 位置 （ i g, j g) と位置 （ i r， j r) で、 それぞれ考えることと して、 k'枚目画像の座標系における画素 G ( j g- 1) ( i g— 1) の位置
( i g, j g) を点 G。と、 k" 枚目画像の座標系における画素 R ( j g- 1) ( i g - 1 ) の位置 （ i r, j r) を点 R。と、 1枚目画像の座標系における画 素 G ( j g— 1) ( i g— 1) の位置 （ i g， j g) を Gc ( 〉と、 1枚目画像の 座標系における画素 R ( j g _ l) ( i g _ l) の位置 （ i r， j r) を Rc(k" ) と、 それぞれ表すこととすると、 点 Gc(k.)と点 Rc(kつとの距離が許容値 delta以 内であるかを表す式 （23) は、 次のように書ける。
Dis[Gc ( ）， Rc(k")]
≤ delta
Figure imgf000044_0001
sin(0k") 、Tk，，y
• · · (23)
式 （23) を距離の条件式と称する。 ここで、 D i s [Gc(k,)， Rc(k")] は、 点 G c (k. )と点 R c (kつとの間の距離を表す。 また、 点 G c ( ）と点 R c (k" >で表される 位置は、 位置 （ i g， j g) と位置 （ i r , j r) を、 式 （1) 乃至 （3) と同 様に、 変換パラメータ （0 k， ， Tk' x, Tk， y, S k') と （0 k" ， T k" x, T k" y , S k" ) でそれぞれァフィン変換したものである。
演算回路 24は、 k，枚目の緑色の画素 G ( j g- 1) ( i g— 1) と k" 枚 目の赤色の画素 R ( j r - 1 ) ( i r一 1) とが、 ある許容範囲 deltaのマー ジンを考えたときに同一位置にあるとみなすことができる画素があるかどうかを、 1枚目画像の座標系における、 ある位置 （x， y) を中心とする （X土 dX, y 土 dY) の近傍領域、 つまり、 （X— dX, y - d Υ) , ( χ - d X, y + d Y) ， (χ + d X, y - d Y) , および （x + d X, y + d Y) で囲まれる領域 について求める。 ここで、 dXと dYは、 それぞれ、 近傍領域を設定する所定の 値で、 例えば、 2画素分の X方向と Y方向の長さなどとすることができる。
逆に言うと、 演算回路 24は、 1枚目画像の座標系における、 ある位置 （x， y ) を中心とする （X土 dX, y土 dY) の近傍領域、 つまり、 （x— dX， y 一 dY) ， (x - d X, y + d Y) , (x + d X, y - d Y) ， および （x + d X, y + d Y) で囲まれる領域において、 上述の式 （23) を満たす（k' , i g， j g)と （k" , i r , j r) を求める。
そして、 演算回路 24は、 求められた（k'， i g , j g)と （k" , i r， j r ) とに対応する画素値 G o b s (k，， i g, j g)と画素値 R o b s (k"， i r , j r) とを得る。
演算回路 24は、 k'， k" それぞれを 1乃至 Nとしたすベての組み合わせに ついて、 上述の式 （23) を満たす（k'， i g, j g)と （k"， i r， j r) とを求める。
一般的には、 複数の（k'， i g， j g)と （k" ， i r， j r) との組み合わ せが検出されるので、 演算回路 24は、 検出された（k，， i g， j g)と （k" ， i r， j r ) とに対応する画素値 G o b s (k，， i g, j g)と画素値 R o b s (k" ， i r， j r) とを、 図 9に示すように、 横軸を G信号 （G o b s (k'， i g, j g)) 、 縦軸を R信号 （R o b s (k" ， i r, j r) ) とする GR空 間にプロットする。
図 9は、 GR空間にプロットされた、 同一位置にあるとみなすことができる画 素の画素値 G o b s (k' , i g , j g)と画素値 R o b s (k" ， i r , j r) とを模式的に表した図である。
図 9のバッ印が、 演算回路 24により検出された（k'， i g， j g)と （k"， i r , j r ) とに対応する画素値 G o b s (k，， i g， j g)と画素値 R o b s (k" , i r， j r) との組を表している。
従って、 位置 （X , y ) の近傍領域においては、 求めるべき真の緑色の光量 L g (x， y) 、 および真の赤色の光量 L r ( X , y ) には、 図 9に示したような 相関があると考えられる。
そこで、 第 2の実施の形態においては、 第 1実施の形態における式 （20) 乃 至式 （22) で表される光量積分条件式の他に、 さらに、 図 9に示した緑色と赤 色に相関があることを条件として付加する。
即ち、 演算回路 24は、 演算回路 24により式 （2 3) の距離の条件式を満た す画素ィ直 G o b s ( k ' , i g, j g)と画素値 R o b s (k" ， i r， j r ) と の組で表される、 図 9の GR空間にプロットされた複数の点について、 主成分分 析を行う。
そして、 演算回路 24は、 主成分分析の分析結果である主成分 （第 1主成分） の方向 （図 9の太線の矢印で示される方向） と直交する成分 （例えば、 第 2主成 分） についての分散を求める。 さらに、 演算回路 24は、 位置 （X， y) につい ては、 GR空間において主成分の方向と直交する成分の分散の幅を持つ帯状の中 に、 真の緑色の光量 L g (x， y) 、 および真の赤色の光量 L r (x, y) で表 される点が存在するという条件式を、 色相関の条件として設定する。
以上の色相関の条件を、 緑色と青色についても考える。
演算回路 24は、 図 8に示した緑色と赤色の画素の場合と同様に、 k'枚目の 緑色の画素 G ( j g— 1 ) ( i g— 1) と k" '枚目の青色の画素 B ( j b—
1) ( i b - 1) の位置を、 第 1実施の形態で説明したように、 変換パラメータ ( Θ k ' , T k' x, T k， y， S k' ) と変換パラメータ （0 k" ' , T k " ' x T k " ' y , S k " ' ) とによりそれぞれ変換することで、 1枚目画像の座標系 における位置を求める。
そして、 演算回路 24は、 1枚目画像の座標系に変換された k'枚目の緑色の 画素 G ( j g- 1) ( i g- 1) と 1枚目画像の座標系に変換された k" '枚目 の青色の画素 B (j b - 1) ( i b— 1) との距離を計算する。 さらに、 演算回 路 24は、 その距離が、 同一の位置とみなす許容値 （判定値） delta以内である かどうかを、 図 8の場合と同様に判定する。
例えば、 画素 G ( j g- 1) ( i g - 1) と画素 B ( j b- 1) ( i b— 1) の位置を、 位置 （ i g， j g) と位置 （ i b, j b) で、 それぞれ考えることと して、 k'枚目画像の座標系における画素 G ( j g- 1) ( i g- 1) の位置 ( i g , j g) を点 Gcと、 k" '枚目画像の座標系における画素 B ( j b - 1) ( i b- 1) の位置 （ i b， j b) を点 B。と、 1枚目画像の座標系における画 素 G (j g— 1) ( i g- 1) の位置 （ i g， j g) を Gc(k.)と、 1枚目画像の 座標系における画素 B ( j b_ 1) ズ i b— 1) の位置 （ i b， j b) を B c(k.，.）と、 それぞれ表すこととすると、 点 Gc(k，）と点 Β。 .，.）との距離が許容値 delta以内であるかを表す式 （24) は、 次のように書ける。
D i S[GG(k')， BC(k，，')]
、
delta
Figure imgf000047_0001
；
• · · (24)
式 （24) を距離の条件式と称する。 ここで、 D i s [Gc(k,)， Bc ( ）] は、 点 Gc(k，）と点 Bc(k.， .）との間の距離を表す。 また、 点 Gc(k，）と点 B '..）で表される 位置は、 位置 （ i g， j g) と （ i b, j b) を、 式 （1) 乃至 （3) と同様に、. 変換パラメータ （0 k'， Tk' x, T k， y, S k，） と （0 k" '， T k " ' x , T k " ' y , S k" ') でそれぞれァフィン変換したものである。
演算回路 24は、 k'枚目の緑色の画素 G (j g- D ( i g- l) と k" ' 枚目の青色の画素 B ( j b - 1 ) ( i b— 1) とが、 ある許容範囲 deltaのマ 一ジンを考えたときに同一位置にあるとみなすことができる画素があるかどう力、 を、 1枚目画像の座標系における、 ある位置 （x， y) を中心とする （X士 dX, y土 d Y) の近傍領域、 つまり、 （x— d X, y - d Y) ， (χ - d X, y + d Y) , (x + d X, y - d Y) ， および （x + d X， y + d Y) で囲まれる領域 について求める。 ここで、 d X, d Yは、 それぞれ、 近傍領域を設定する所定の 値で、 例えば、 2画素分の X方向と Y方向の長さなどとすることができる。 逆に言うと、 演算回路 24は、 1枚目画像の座標系における、 ある位置 （X , y ) を中心とする （X土 d X, y土 d Y) の近傍領域、 つまり、 （x— d X， y 一 dY) ， （x— d X, y + d Y) ， (χ + d X, y - d Y) , および + d X, y + d Y) で囲まれる領域において、 上述の式 （24) を満たす（k，， i g, j g)と （k" '， i b , j b) を求める。
そして、 演算回路 24は、 求められた（k' , i g， j g)と （k" ' , i b， j b) とに対応する爾素値 G o b s (k' , i g， j g)と画素値 B o b s (k" ' , i b， j b) とを得る。
演算回路 24は、 k'， k" 'それぞれを 1乃至 Nとしたすベての組み合わせ について、 上述の式 （2 4) を満たす（k，， i g , ； j g)と （k" ， i b , j b) とを求める。
一般的には、 複数の（k'， i g, j g)と （k" '， i b, j b) との組み合 わせが検出されるので、 演算回路 24は、 検出された（k'， i g， j g)と
( k " ' , i b， j b) とに対応する画素値 G o b s (k'， i g， j g)と画素 値 B o b s ( k " ' , i b， j b) を、 横軸を G信号 （G o b s (k，， i g, j g)) 、 縦軸を B信号 （B o b s (k" '， i b , j b) ) とするような GB空 間にプロットする。
そこで、 第 2の実施の形態においては、 第 1実施の形態における式 （20) 乃 至式 （2 2) で表される光量積分条件式の他に、 さらに、 図 9の緑色と赤色にお ける場合と同様の色相関が、 緑色と青色にもあることを条件として付加十る。 即ち、 演算回路 2 4は、 GB空間にプロットされた複数の点である、 演算回路 24により検出された画素値 G o b s (k'， i g , j g)と画素値 B o b s (k" '， i b， j b) との各組について、 主成分分析を行う。 そして、 演算回路 24は、 主成分分析の分析結果である主成分 （第 1主成分） の方向と直交する成分 （例えば、 第 2主成分） についての分散を求める。 さらに、 演算回路 24は、 位置 （x， y) については、 GB空間において主成分の方向と 直交する成分の分散の幅を持つ帯状の中に、 真の緑色の光量 L g (x， y) 、 お ょぴ真の青色の光量 L b ( X , y ) で表される点が存在するという条件式を、 色 相関の条件として設定する。
従って、 演算回路 24において、 最終的に得られる真の緑色の光量 L g (x, y) 、 真の赤色の光量 L r (x, y) 、 および真の青色の光量 L b (x， y) は、 位置 （x， y) の真の緑色の光量 L g ( X , y) 、 および真の赤色の光量 L r ( X , y) で表される点が、 GR空間において、 主成分の方向と直交する成分の 分散の幅を持つ帯状の中に存在し、 かつ、 位置 （x， y) の真の緑色の光量 L g (x, y) 、 および真の青色の光量 L b ( X , y ) で表される点が、 GB空間に おいて、 主成分の方向と直交する成分の分散の幅を持つ帯状の中に存在するもの に制限 （制約） される。
なお、 本実施の形態では、 上述の GR、 GB空間の 2つの色相関の条件のみ付 加することとするが、 同様にして、 R信号と B信号との （RB空間の） 色相関の 条件についても付加するようにしてもよい。
光量積分条件式と色相関の条件式との両方を満たす真の緑色の光量 L g (x, y) 、 真の赤色の光量 L r (x, y) 、 真の青色の光量 L b (x, y) を求める 方法としては、 例えば、 第 1実施の形態と同様に、 POC S法等を採用すること ができる。
色相関の条件を付加する位置 （X , y) は、 全ての位置 （X , y) としてもよ いし、 例えば、 x， yそれぞれが整数となる格子点の位置のみとしてもよい。 図 1 0のフローチヤ一トを参照して、 図 2のステップ S 4における画像推定処 理の第 2実施の形態について説明する。
ステップ S 3 1乃至 S 3 3では、 図 6に示した第 1実施の形態の画像推定処理 のステップ S 1 1乃至 S 1 3とそれぞれ同様の処理が行われる。 即ち、 ステップ S 3 1において、 演算回路 24は、 1枚目画像の各画素の画素 値 G o b s ( 1 , i g, j g) から、 すべての （ i g, j g) に対する式 （9) で表される光量積分条件式を、 R o b s (1， i r， j r) から、 すべての （ i r， j r) に対する式 （10) で表される光量積分条件式を、 B o b s (1， i b, j b) から、 すべての （ i b， 〗 b) に対する式 （1 1) で表される光量積 分条件式を生成し、 ステップ S 3 2に進む。
ステップ S 3 2において、 演算回路 24は、 2枚目画像の各画素の画素値 G o b s (2, i g， j g) から、 すべての （ i g， j g) に対する式 （1 7) で表 される光量積分条件式を、 R o b s (2, i r， j r ) から、 すべての （ i r， j r ) に対する式 （ 18) で表される光量積分条件式を、 B o b s (2， i b, j b) から、 すべての （ i b， j b) に対する式 （1 9) で表される光量積分条 件式を生成し、 ステップ S 3 3に進む。 ここで、 演算回路 24は、 2枚目画像の 位置を 1枚目画像の位置に変換するため、 動き検出回路 23— 1から供給される 変換パラメータ （0 2, T.2 X , T 2 y , S 2) を使用する。
ステップ S 33において、 演算回路 24は、 k枚目 （k==3乃至 N) の画像の 各画素の画素直 Go b s (k , i g, j g) 力、ら、 すべての （ i g， j g ) に対 する式 （20) で表される光量積分条件式を、 R o b s (k， i r， j r) 力 ら、 すべての （ i r， j r) に対する式 （2 1) で表される光量積分条件式を、 B o b s (k, i b, j b) から、 すべての （ i b， j b) に対する式 （22) で表 される光量積分条件式を生成し、 ステップ S 34に進む。 ここで、 演算回路 24 は、 k枚目画像の位置を 1枚目画像の位置に変換するため、 動き検出回路 2 3— (k一 1) から供給される変換パラメータ （0 k, T k X , T k y , S k) を使 用する。
ステップ S 34において、 演算回路 24は、 所定の位置 （X , y ) に対して、 その位置 （X , y) の近傍領域において、 式 （23) の距離の条件式を満たす (k，， i g, j g)と （k" , i r , j r) との組を求めて、 ステップ S 3 5に 進む。 ステップ S 3 5において、 演算回路 24は、 ステップ S 34で求めた（k' , i g, j g)と （k" ， i r , j r ) それぞれの画素値 G o b s ( k，， i g , j g)と R o b s (k" ， i r， j r ) で表される点を、 GR空間にプロットし、 主成分分析を行う。 そして、 演算回路 24は、 主成分分析の分析結果である主成 分の方向と直交する成分についての分散を求め、 その分散の範囲内に、 同一画素 の G信号と R信号が存在するという色相関の条件式をたてて、 ステップ S 3 5か らステップ S 3 6に進む。
ステップ S 36において、 演算回路 24は、 所定の位置 （x， y ) に対して、 位置 （X , y ) の近傍領域において、 式 （24) の距離の条件式を満たす（k '， i g， j g)と （k" '， i b, ；) b) との組を求めて、 ステップ S 3 7に進む。 ステップ S 37において、 演算回路 24は、 ステップ S 36で求めた（k' , i g, ； i g)と （k" '， i b， j b) それぞれの画素値 G o b s ( k '， i g, j g)と B o b s (k" ，， i b, j b) で表される点を、 GB空間にプロット し、 主成分分析を行う。 そして、 演算回路 24は、 主成分分析の分析結果である 主成分の方向と直交する成分についての分散を求め、 その分散の範囲内に、 同一 画素の G信号と B信号が存在するという色相関の条件式をたてて、 ステップ S 3 7からステップ S 38に進む。
ステップ S 38において、 演算回路 24は、 予め設定されたすベての位置 （x， y ) について、 色相関の条件式を求めたか否かを判定する。 ステップ S 38にお いて、 まだ、 すべての位置 （X , y ) について色相関の条件式が求められていな いと判定された場合、 ステップ S 34に戻り、 演算回路 24は、 色相関の条件式 が求められていない位置 （X , y ) に注目 （選択） し、 ステップ S 34乃至 S 3 8の処理を繰り返す。
一方、 ステップ S 38において、 すべての位置 （X , y ) について色相闋の条 件式が求められたと判定された場合、 ステップ S 39に進み、 演算回路 24は、 ステップ S 3 1乃至 S 3 3， S 3 5, S 3 7で求められたすべての条件式を満た す真の緑色の光量 L g (x, y ) 、 真の赤色の光量 L r (x, y ) 、 真の青色の 光量 L b (x, y) を演算して、 処理を戻る。 即ち、 演算回路 24は、 ステップ S 3 1乃至 S 3 3で求められた光量積分条件式と、 ステップ S 3 5および S 3 7 で求められた色相関の条件式とのすべてを満たす、 真の緑色の光量 L g (x, y) 、 真の赤色の光量 L r (x, y) 、 真の青色の光量 L b (x, y) を演算す る。
図 1 1と図 1 2のフローチヤ一トを参照して、 図 2のステップ S 4における画 像推定処理の第 2実施の形態について再度説明する。
ステップ S 5 1乃至 S 5 6は、 図 7に示した第 1実施の形態の画像推定処理の ステップ S 2 1乃至 S 2 6とそれぞれ同様である。
即ち、 ステップ S 5 1において、 演算回路 24は、 内部に保持する画像の枚数 をカウントする変数 kを 1にセットしてステップ S 5 2に進む。
ステップ S 5 2において、 演算回路 24は、 k枚目画像の各画素の画素値 G o b s (k, i g , j g) から、 すべての （ i g， j g) に対して式 （2 0) で表 される光量積分条件式を生成し、 ステップ S 5 3に進む。
ステップ S 5 3において、 演算回路 24は、 k枚目画像の各画素の画素値 R o b s (k, i r， j r ) 力 ら、 すべての （ i r， j r ) に対して式 （2 1) で表 される光量積分条件式を生成し、 ステップ S 54に進む。
ステップ S 5 4において、 演算回路 24は、 k枚目画像の各画素の画素値 B o b s (k， i b， j b) から、 すべての （ i b , j b) に対して式 （2 2) で表 される光量積分条件式を生成し、 ステップ S 5 5に進む。
なお、 ステップ S 5 2乃至 S 54において、 光量積分条件式を生成するにあた つては、 必要に応じて、 動き検出回路 2 3— 1乃至 2 3— (N- 1 ) から供給さ れる変換パラメータが用いられる。
ステップ S 5 5において、 演算回路 24は、 内部の変数 kがフレームメモリ 2 2— 1乃至 2 2— Nから供給される画像の枚数 Nと等しいか否かを判定する。 変 数 kが画像の枚数 Nと等しくないと判定された場合、 演算回路 24は、 ステップ S 5 6に進み、 変数 kを 1だけインクリメントした後、 ステップ S 5 2に戻る。 そして、 ステップ S 5 2乃至 S 5 6の処理が繰り返される。
一方、 ステップ S 5 5において、 変数 kが画像の枚数 Nと等しいと判定された 場合、 図 1 2のステップ S 5 7に進む。
ステップ S 5 7乃至 S 6 2は、 図 1 0のステップ S 3 4乃至 S 3 9とそれぞれ 同様である。
即ち、 ステップ S 5 7において、 演算回路 24は、 所定の位置 （x， y) に対 して、 その位置 （x， y) の近傍領域において、 式 （2 3) の距離の条件式を満 たす（k，， i g, j g)と （k" ， i r , j r ) との組を求めて、 ステップ S 5 8に進む。
ステップ S 5 8において、 演算回路 24は、 ステップ S 5 7で求めた（k'， i g， j g )と （ k " ， i r， j r ) それぞれの画素ィ直 G o b s ( k ' , i g , j g)と R o b s (k" ， i r， j r ) で表される点を、 GR空間にプロットし、 主成分分析を行う。 そして、 演算回路 24は、 主成分分析の分析結果である主成 分の方向と直交する成分についての分散を求め、 その分散の範囲内に、 同一画素 の G信号と R信号が存在するという色相関の条件式をたてて、 ステップ S 5 8か らステップ S 5 9に進む。
ステップ S 5 9において、 演算回路 24は、 所定の位置 （x， y ) に対して、 位置 （X , y) の近傍領域において、 式 （2 4) の距離の条件式を満たす（k '， i g， j g)と （k" '， i b , j b) との組を求めて、 ステップ S 6 0に進む。 ステップ S 6 0において、 演算回路 24は、 ステップ S 5 9求めた（k'， i g， j g)と （k" ，， i b， j b) それぞれの画素値 G o b s (k'， i g， j g)と B o b s (k" '， i b , j b ) で表される点を、 GB空間にプロットし、 主成分分析を行う。 そして、 演算回路 24は、 主成分分析の分析結果である主成 分の方向と直交する成分についての分散を求め、 その分散の範囲内に、 同一画素 の G信号と B信号が存在するという色相関の条件式をたてて、 ステップ S 6 0か らステップ S 6 1に進む。
ステップ S 6 1において、 演算回路 2 4は、 予め設定されたすベての位置 （X , y) について、 色相関の条件式を求めたか否かを判定する。 ステップ S 6 1にお いて、 まだ、 すべての位置 （x， y) について色相関の条件式が求められていな いと判定された場合、 ステップ S 5 7に戻り、 演算回路 24は、 色相関の条件式 が求められていない位置 （x， y) に注目 （選択） し、 ステップ S 57乃至 S 6 1の処理を繰り返す。
一方、 ステップ S 6 1において、 すべての位置 （x， y ) について色相関の条 件式が求められたと判定された場合、 ステップ S 62に進み、 演算回路 24は、 ステップ S 52乃至 S 54， S 58, S 60で求められたすべての条件式を満た す真の緑色の光量 L g (x, y) 、 真の赤色の光量 L r (x, y) 、 真の青色の 光量 L b (x, y) を演算して、 処理を戻る。 即ち、 演算回路 24は、 ステップ S 5 2乃至 S 54で求められた光量積分条件式と、 ステップ S 58および S 60 で求められた色相関の条件式とのすべてを満たす、 真の緑色の光量 L g (x, y) 、 真の赤色の光量 L r ( X , y) 、 真の青色の光量 L b (x, y) を演算す る。
以上のように、 第 1実施の形態における、 k= l乃至 Nとする式 （20) ，
(21) ， （22) で表される光量積分条件式の他に、 R信号と G信号と B信号 との間の相関に関する色相関の条件を付加して、 それらすベての条件式を満たす 真の緑色の光量 L g (x, y ) 、 真の赤色の光量 L r (x, y ) 、 真の青色の光 量 L b (x, y) を求めることにより、 より本来の光に忠実で鮮明な画像を求め ることができる。
なお、 上述の場合には、 2次元の色空間での色相関の条件式を用いたが、 3次 元の色空間での条件式を用いることも可能である。
次に、 信号処理回路 7における、 画像推定処理の第 3実施の形態について説明 する。
第 1および第 2実施の形態では、 撮像素子 4の各画素の直上にあるオンチップ レンズの特性を正確に定式化 （適用） して、 真の緑色の光量 L g ( X , y) 、 真 の赤色の光量 L r (x, y) 、 真の青色の光量 L b (x, y) を推定し、 鮮明な 画像を求めた。
第 3実施の形態では、 オンチップレンズの効果を無視し、 撮像素子 4の各画素 で受光されるデータ （受光量） は、 その画素の、 ある 1点 （例えば、 画素の重 心） に入射される被写体の光の値 （ポイントサンプリングされたデータ） とする。 また、 第 3実施の形態では、 後述するパネモデルを適用した方法を採用する。 これにより、 第 1および第 2の実施の形態で用いた P〇C S法などと比較して、 真の緑色の光量 L g (x, y ) 、 真の赤色の光量 L r (x, y ) 、 真の青色の光 量 L b (x， y) を求める場合の計算量を軽減することができる。 第 3実施の形 態においても、 従来と較べて、 より鮮明な画像を推定することができるという、 第 1および第 2実施の形態と同様の効果を得ることができる。
さて、 第 3実施の形態では、 上述したように、 各画素に受光されるデータをポ イントサンプリングされたデータとして考えることとするので、 図 3の撮像素子 4の各画素のうち、 「 i番目、 j番目の画素」 で受光されるデータは、 例えば、 「 i番目、 j番目の画素」 の中央の位置 （座標） （ i— 0. 5， j -0. 5) に おいて受光されたものとする。
従って、 例えば、 1枚目画像の 「 i g番目、 j g番目の画素」 で得られるデー タとしての画素値 G o b s (1， i g, j g) は、 1枚目画像の座標系の位置 ( i g - 0. 5， j g-0. 5) において受光される緑色の光量 L g ( i g— 0. 5 , j g - 0. 5) である。 同様に、 1枚目画像の 「 i r番目、 j r番目の画 素」 で得られるデータとしての画素値 R o b s (1, i r , j r) は、 1枚目画 像の座標系の位置 （ i r一 0. 5， j r - 0. 5) において受光される赤色の光 量 L r ( i r一 0. 5 , j r - 0. 5) であり、 1枚目画像の 「 i b番目、 j b 番目の画素」 で得られるデータとしての画素値 B o b s (1, i b， j b) は、 1枚目画像の座標系の位置 （ i b _ 0. 5, j b -0. 5) において受光される 青色の光量 L b ( i b - 0. 5， j b - 0. 5) である。
図 1 3は、 フレームメモリ 22— 1に記憶されている 1枚目画像を示している。 図 1 3において、 緑色の成分を受光する画素 G ( j g - 1) ( 1 8— 1) にっ いては、 黒丸で示される位置に、 画素値 G o b s (1， i g, j g) が観測され る。 赤色の成分を受光する画素 R ( j r— 1) ( i r - 1 ) については、 黒四角 で示される位置に、 画素値 R o b s ( 1， i r , j r ) が観測される。 青色の成 分を受光する画素 B ( j b - 1 ) ( i b - 1) については、 黒三角で示される位 置に、 画素値 B o b s ( 1， i b , j b) が観測される。 以上のように、 1枚目 画像の画素値は、 1枚目画像の座標系上の各画素の中央部 （重心） 、 即ち、 i番 目、 j番目の画素では （ i 一 0. 5 , j - 0. 5) の位置において観測される。 図 1 4は、 フレームメモリ 2 2— 2に記憶されている 2枚目画像を示している。 図 1 4において、 緑色の成分を受光する画素 G ( j g - 1) ( 1 8— 1) にっ いては、 黒丸で示される位置に、 画素値 G o b s (2， i g, j g) が観測され る。 赤色の成分を受光する画素 R ( j r— 1) ( i r一 1 ) については、 黒四角 で示される位置に、 画素値 R o b s (2, i r， j r ) が観測される。 青色の成 分を受光する画素 B ( j b - 1) ( i b— 1) については、 黒三角で示される位 置に、 画素値 B o b s (2, i b , j b) が観測される。 以上のように、 2枚目 画像の画素値は、 2枚目画像の座標系上の各画素の中央部 （重心） 、 即ち、 i番 目、 j番目の画素では （ i _ 0. 5， j 一 0. 5) の位置において観測される。
2枚目画像上の点を、 第 1および第 2実施の形態と同様に、 1枚目画像の座標 系を基準として考える。 2枚目画像上の点は、 動き検出回路 2 3— 1により検出 された変換パラメータ （0 2， T 2 X, T 2 y , S 2) を用いて 1枚目画像の座 標系上の点に変換することができる。
図 1 4には、 その 1枚目画像の座標系に変換された 2枚目画像上の点の画素値 G o b s (2, i g , j g) 、 画素値 R o b s (2， i r , j r) 、 画素値 B o b s (2， i b , j b) も示されている。
即ち、 2枚目画像の座標系の画素 G ( j g - 1 ) ( i g— 1 ) の画素値 G o b s (2, i g , j g) は、 2枚目画像の座標系上の位置 （ i g— 0. 5， j g - 0. 5) を動き検出回路 2 3— 1により検出された変換パラメータ （0 2， T 2 x， T 2 y , S 2) により変換した 1枚目画像の座標系上の位置 （ （ i g— 0. 5) (2)， ( j g - 0. 5) (2)) で観測される緑色の光量 L g (x, y) である。 図 1 4では、 画素値 G o b s (2, i g, j g) が観測される 1枚目画像の座標 系上の位置 （ （ i g— 0. 5) (2), ( j g - 0. 5) (2)) I 白丸で示されてい る。 +
また、 2枚目画像の座標系の画素 R ( j r - 1) ( i r一 1 ) の画素値 R o b s (2, i r , j r ) は、 2枚目画像の座標系上の位置 （ i r一 0. 5， j r - 0. 5) を動き検出回路 2 3— 1により検出された変換パラメータ （0 2, T 2 x， T 2 y , S 2) により変換した 1枚目画像の座標系上の位置 （ （ i r一 0. 5) (2), ( j r— 0. 5) (2)) で観測される赤色の光量 L r (x， y) である。 図 1 4では、 画素値 R o b s (2, i r , j r) が観測される 1枚目画像の座標 系上の位置 （ （ i r一 0. 5) (か r— 0. 5) (2)) 力 白四角で示されて いる。
さらに、 2枚目画像の座標系の画素 B ( j b - 1) ( i b— 1) の画素値 B o b s (2， i b , j b) は、 2枚目画像の座標系上の位置 （ i b— 0. 5, j b — 0. 5) を動き検出回路 2 3— 1により検出された変換パラメータ （0 2， T 2 X, T 2 y , S 2) により変換した 1枚目画像の座標系上の位置 （ （ i b— 0. 5) (2)， ( j b - 0. 5) (2)) で観測される青色の光量 L b , y) である。 図 1 4では、 画素値 B o b s (2, i b， j b) が観測される 1枚目画像の座標 系上の位置 （ （ i b— 0. 5) (2)， ( j b - 0. 5) (2)) 力 白三角で示されて いる。
図 1 5は、 フレームメモリ 2 2— 3に記憶されている 3枚目画像を示している。 図 1 5において、 緑色の成分を受光する画素 G ( j g - 1) ( i g— 1 ) につ いては、 黒丸で示される位置に、 画素値 G o b s (3， i g, j g) が観測され る。 赤色の成分を受光する画素 R ( j r - 1) ( i r一 1 ) については、 黒四角 で示される位置に、 画素値 R o b s (3， i r , j r ) が観測される。 青色の成 分を受光する画素 B ( j b - 1) ( i b - 1) については、 黒三角で示される位 置に、 画素値 B o b s (3， i b, j b) が観測される。 以上のように、 3枚目 画像の画素値は、 3枚目画像の座標系上の各画素の中央部 （重心） 、 即ち、 i番 目、 j番目の画素では （ i 一 0. 5， j - 0. 5) の位置において観測される。
3枚目画像上の点を、 第 1および第 2実施の形態と同様に、 1枚目画像の座標 系を基準として考える。 3枚目画像上の点は、 動き検出回路 2 3— 2により検出 された変換パラメータ （0 3， T 3 X , T 3 y, S 3) を用いて 1枚目画像の座 標系上の点に変換することができる。
図 1 5には、 その 1枚目画像の座標系に変換された 3枚目画像上の点の画素値
G o b s (3, i g, j g) 、 画素値 R o b s (3， i r , j r) 、 画素値 B o b s ( 3， i b , j b) も示されている。
即ち、 3枚目画像の座標系の画素 G ( j g - 1 ) ( i g - 1 ) の画素値 G o b s (3 , i g， j g) .は、 3枚目画像の座標系上の位置 （ i g— 0. 5， j g -
0. 5 ) を動き検出回路 2 3— 2により検出された変換パラメータ （0 3, T 3
X , T 3 y , S 3) により変換した 1枚目画像の座標系上の位置 （ （ i g— 0.
5) (3)， ( j g - 0. 5) (3)) で観測される緑色の光量 L g (x, y) である。 図 1 5では、 画素値 G o b s (3, i g , j g) が観測される 1枚目画像の座標 系上の位置 （ （ i g— 0. 5) (3), ( j g - 0. 5) (3)) 力 白丸で示されてい る。.
また、 3枚目画像の座標系の画素 R ( j r - 1 ) ( i r一 1 ) の画素値 R o b s (3， i r， j r ) は、 3枚目画像の座標系上の位置 （ i r一 0. 5， j r - 0. 5 ) を動き検出回路 2 3— 2により検出された変換パラメータ （0 3, T 3 X , T 3 y , S 3) により変換した 1枚目画像の座標系上の位置 （ （ i r一 0. 5) (3) , ( j r -0. 5 ) (3)) で観測される赤色の光量 L r (x, y) である。 図 1 5では、 画素値 R o b s (3， i r， j r ) が観測される 1枚目画像の座標 系上の位置 （ （ i r一 0. 5) (3), ( j r - 0. 5) (3)) 、 白四角で示されて いる。
さらに、 3枚目画像の座標系の画素 B ( j b ~ 1 ) ( i b - 1) の画素値 B o b s (3, i b , j b) は、 3枚目画像の座標系上の位置 （ i b— 0. 5, j b 一 0. 5) を動き検出回路 2 3— 2により検出された変換パラメータ （0 3， T 3 X , T 3 y , S 3) により変換した 1枚目画像の座標系上の位置 （ （ i b— 0. 5) (3), ( j b - 0. 5) (3)) で観測される青色の光量 L b (x, y) である。 図 1 5では、 画素値 B o b s (3 , i b， j b) が観測される 1枚目画像の座標 系上の位置 （ （ i b— 0. 5) (3), ( j b - 0. 5) (3)) 力 S、 白三角で示されて いる。
図 1 6は、 1乃至 N枚目の撮像画像の画素のうちの緑色の成分を受光する所定 の画素 G ( j g - 1 ) ( i g - 1 ) の画素値 G o b s (1， i g， j g) 乃至 G o b s (N, i g, j g) が観測される 1枚目画像の座標系上の位置を示してい る。
図 1 6では、 1枚目画像の座標系上の i g番目、 j g番目の画素 G ( j g— 1) ( i g - 1 ) の中心位置 （画素中心） において 1枚目画像の画素値 G o b s (1， i g， j g) が観測されている。 また、 画素 G ( j g— 1) ( i g - 1) の画素中心の左上側に、 位置が 1枚目面像の座標系上に変換された 2枚目画像の 画素値 G o b s (2, i g, j g) が観測されている。 さらに、 画素 G ( j g— 1) ( i g - 1) の画素中心の左下側に、 位置が 1枚目画像の座標系上に変換さ れた 3枚目画像の画素値 G o b s (3, i g， j g) が観測されている。 また、 画素 G ( j g - 1) ( i g— 1) の画素中心の右上側に、 位置が 1枚目画像の座 標系上に変換された 4枚目画像の画素値 G o b s (4, i g, j g) が観測され ている。 なお、 5乃至 N枚目画像の画素値 G o b s (k, i g)， j g) (k = 5乃至 N) の図示は、 省略されている。
第 3実施の形態では、 演算回路 24は、 1乃至 N枚目画像の画素値 G o b s (k， i g， j g) (k = l乃至 N) に基づいて、 1枚目画像の座標系上の位置 ( i g— 0. 5， j g - 0. 5) の真の緑色の光量 L g ( i g— 0. 5 , j g - 0. 5 ) を求める。
ここで、 基準画像である 1枚目画像の座標系上において、 i番目、 j番目の画 素の中心位置 （ i 一 0. 5， j - 0. 5) を （ , J' ) と表すことにする。 即ち、 = 0. 5, J ' = j - 0. 5とする。 求めるべき真の緑色の光量 L g ( ， J') は、 緑色の成分を受光する画素の中心位置 （ i g— O. 5， j g-0. 5) を用いた L g ( i g— 0. 5， j g-0. 5) で表すことができ る。 同様に、 求めるべき真の赤色の光量 L r ( ， J') は、 赤色の成分を受 光する画素の中心位置 （ i r一◦ . 5， j r - 0. 5) を用いた L r ( i r - 0. 5， j r一 0. 5) で表すことができ、 求めるべき真の青色の光量 L b ( ， J') は、 青色の成分を受光する画素の中心位置 （ i b— 0. 5, j b - 0.
5) を用いた L b ( i b— 0. 5, j b - 0. 5) で表すことができる。
図 1 7は、 演算回路 24が、 鮮明な画像の画像信号として求めるべき真の赤色 の光量 L r ( I ' , J ' ) 、 真の赤色の光量 L r ( I ' , J，） 、 真の青色の光量 L b ( I ' , J') の位置を 1枚目画像の座標系上に示したものである。
即ち、 図 1 7では、 1枚目画像の座標系上の撮像素子 4の各画素の中心位置 ( I '， J') 力 真の緑色の光量 L g ( Ι ' , J') 、 真の赤色の光量 L r ( I ' , J') 、 真の青色の光量 L b ( I ' , J') を求めるべき位置として黒丸で示され ている。
図 1 8乃至図 23を参照し、 緑色の成分を受光する画素に注目して、 パネモデ ルについて説明する。 図 1 8以降においては、 求めるべき真の緑色の光量 L g ( I ' , J') 、 真の赤色の光量 L r ( Ι ' , J') 、 および真の青色の光量 L b ( Γ， J') の 1枚目画像の座標系上の位置 （I '， J') を黒丸で、 画素値 G o b s (k， i g， j g ) , R o b s 、k, i r， j r , B o b s (k， i b , j b) (k = l乃至 N) が観測された 1枚目画像の座標系上の位置を白丸で表す ものとする。 また、 以下、 適宜、 基準画像である 1枚目画像の座標系を基準座標 系という。
図 1 8の点 Aの位置 （X , y) は、 k枚目画像の i g番目、 j g番目の画素の 画素値 Go b s (k， i g, j g) が観測された位置 （ i g— 0. 5， j g -0. 5) を、 動き検出回路 2 3— （k一 1) により検出された変換パラメータ （0 k, Tk X , Tk y, S k) で変換した基準座標系上の位置 （ （ i g— 0. 5) )， ( j g - 0. 5) (k)) を表している。 k = lの場合は、 （0 k , T k x , T k y , S k) = (0， 0 , 0， 1 ) とみなすことができるので、 （x， y ) = ( i g - 0. 5， j g - 0. 5) となる。 なお、 点 A (x , y ) の画素値は、 G o b s (k， i g， j gリ である。
ここで、 点 A (x , y ) に対して、 1 — 0. 5≤ x < I + 0. 5， J - 0. 5 ≤ y < J + 0. 5を満たす整数 I , Jを考えることにする。 このときの （ 1 ± 0. 5， J ± 0. 5) で囲まれる領域の四隅の各位置、 即ち、 （1 — 0. 5， J一 0. 5) ， ( 1 - 0. 5， J + 0. 5 ) ， （1 + 0. 5， J一 0. 5 ) , ( 1 + 0. 5 , J + 0. 5) の位置は、 真の緑色の光量 L g ( I '， J ' ) を求める各位置 ( I ' , J ' ) となる。
いま、 点 A (X, y) における画素値 G o b s (k, i g, j g) は、 点 A (x , y ) に近い （ 1 — 0. 5， J一 0. 5) ， （1 — 0. 5 , J + 0. 5 ) , ( I + 0. 5， J - 0. 5) ， ( I + 0. 5， J + 0. 5 ) の位置それぞれにお ける真の緑色の光量 L g ( 1 - 0. 5， J - 0. 5) ， L g ( 1 - 0. 5 , J + 0. 5) ， L g ( I + 0. 5， J一 0. 5) ' L g ( I + 0. 5， J + 0. 5) それぞれとほぼ等しいとみなすことができる。 即ち、 真の緑色の光量 L g ( I — 0. 5 , J - 0. 5) ， L g ( 1 — 0. 5 , J + 0. 5) , L g ( I + 0. 5， J - 0. 5 ) , L g ( I + 0. 5， J + 0. 5 ) は、 点 A (x , y ) における画 素値 G o b s (k， i g , j g) で近似することができる。
ところで、 点 A (x , y ) で観測された画素値 G o b s (k， i g , j g ) に は、 第 1およぴ第 2実施の形態で説明したように、 誤差 （ノイズ量） Mk x Eが 含まれる。 さらに、 ここでは、 （ 1 — 0. 5 , J— 0. 5 ) , ( 1 — 0. 5 , J + 0. 5) , ( 1 + 0. 5 , J - 0. 5) ， （1 + 0. 5， J + 0. 5 ) の位置 それぞれにおける真の緑色の光量 L g ( 1 — 0. 5 , J - 0. 5) ， L g ( I — 0. 5， J + 0. 5) ， L g ( 1 + 0. 5 , J— 0. 5) , L g ( I + 0. 5 , J + 0. 5 ) を、 点 A ( x , y ) における画素値 G o b s (k， i g， j g ) で 近似したことによる誤差 （以下、 適宜、 近似誤差と称する） が生ずる。 ここで、 例えば、 位置 （1 — 0. 5， J一 0. 5) における真の緑色の光量 L g ( I - 0. 5 , J - 0. 5) を点 A (X, y ) における画素値 G o b s (k, i g, j g) で近似することは、 パネを用いたモデルであるパネモデルに当ては めることができる。
図 1 9は、 点 A (x, y) における画素値 G o b s (k, i g, j g ) で位置 ( 1 — 0. 5， J - 0. 5) における真の緑色の光量 L g ( 1 — 0. 5， J一 0. 5) を近似した状態を表すパネモデルの概念的な図である。
図 1 9では、 画素値 G o b s (k， i g, j g) と真の緑色の光量 L g ( I — 0. 5， J一 0. 5) とが、 バネ BA 1の一端と他端とにそれぞれ接続され、 画 素値 G o b s (k， i g， j g) 側に、 真の緑色の光量 L g ( 1 — 0. 5, J一 0. 5) が引っ張られようとしている状態を示している。 図 1 9のパネモデルで は、 真の緑色の光量 L g ( I - 0. 5， J一 0. 5) 力 点 A (x， y ) の画素 値 G o b s (k, i g, j g) であることが確からしいほど、 真の緑色の光量 L g ( I -0. 5， J一 0. 5) が画素値 G o b s (k， i g, j g) 側に引き寄 せられ、 逆に、 その確からしさの程度が低いほど、 真の緣色の光量 L g ( 1 - 0. 5 , J - 0. 5) 力 画素値 G o b s (k, i g , j g) から遠ざかる。
ここで、 画素値 G o b s (k， i g , j g) で、 真の緑色の光量 L g ( I — 0. 5 , J - 0. 5) を近似したことによる近似誤差は、 点 A ( X , y) と位置 （I 一 0. 5， J一 0. 5) との間の距離が長くなるほど大きくなる。 そこで、 点 (x l , y 1) と点 （x 2, y 2) との距離が大となると関数値が増加する増加 関数 F ( (x 1 , y 1) , (x 2, y 2) ) を導入する。 関数 F ( (x 1， y
1) ， （x 2, y 2) ) としては、 例えば、 F ( (x l， y l) , (x 2, y
2) ) { (x 1 - x 2) 2+ (y 1 - y 2) 2} などを採用することができる。 また、 上述したように、 点 A (x, y) で観測された画素値 G o b s (k， i g , j g) には、 誤差としてのノイズ量 E xMkが含まれる。
画素値 G o b s (k, i g , j g) と真の緑色の光量 L g ( 1 — 0. 5 , J - 0. 5) とが等価 （同一） であることの確からしさ、 即ち、 真の緑色の光量 L g ( I一 0. 5， J一 0. 5) を画素値 G o b s (k， i g , j g) で近似したと きの近似精度は、 上述の近似誤差とノイズ量 E X M kの増加または減少に応じて、 それぞれ減少または増加する。 従って、 近似精度 （確からしさ） は、 例えば、 M k X E X F ( ( X , y) , ( I — 0. 5 , J— 0. 5) ) の値に対して減少す る （反比例する） 。 即ち、 真の緑色の光量 L g ( 1 - 0. 5 , J - 0. 5) 力 点 A (x, y ) の画素値 G o b s (k , i g， j g) に等しいことの確からしさ は、 「Mk x E x F ( (x， y) ， （ 1— 0. 5 , J— 0. 5) ) 」 の値が小さ ければ、 大であり、 また 「Mk x E x F ( (x, y) , ( I - 0. 5, J— 0. 5) ) 」 の値が大きければ、 小であるといえる。
いま、 この画素値 G o b s (k， i g, j g) と真の緑色の光量 L g ( I - 0. 5， J - 0. 5) が等価であることの確からしさをパネ B A 1のパネ定数 （バネ の強さ） で表すことにすると、 パネ定数は、 例えば、 式 { "2— F ( (x, y) , ( 1 - 0. 5 , J - 0. 5) ) } / (Mk x E) で表すことができる。 こ こで、 分母の （Mk x E) は、 ノイズ量 Eの Mk倍であり、 ノイズが大となるほ どバネ B A 1は弱くなつて、 真の緑色の光量 L g ( 1 — 0, 5 , J— 0. 5) 力 バネ B A 1によって点 Aの画素値 G o b s (k, i g， ； j g) 側へ引っ張られる 力は小さくなる。 分子の {V" 2— F ( (x, y) ， ( 1 - 0. 5， J - 0.
5) ) } は、 図 1 8の （1 ± 0. 5, J ± 0. 5) で囲まれる領域内の任意の 2 点の距離の最大値である V ( 12+ I2) = "2から、 点 Aと （1— 0. 5， J - 0. 5) との距離 F ( (x, y) ， （1— 0. 5 , J -0. 5) ) を引いた値 (差分） であり、 画素値 G o b s (k, i g, j g) が観測された位置 A (x, y) と真の緑色の光量 L g ( I — 0. 5, J— 0. 5) を求める位置 （ 1 — 0. 5, J - 0. 5) との距離が大きくなるほど、 V"2— F ( (x， y) ， （ 1 — 0. 5, J— 0. 5) ) は小さくなつて、 バネ B A 1は弱くなる。 従って、 真の緑色 の光量 L g ( 1 — 0. 5 , J— 0. 5〉 力 バネ B A 1によって点 Aの画素値 G o b s (k， i g, j g) 側へ引っ張られる力は小さくなる。 なお、 バネ定数に おいて、 分子の {V"2—F ( (x， y) , ( I 一 0. 5, J - 0. 5) ) } の代 わりに、 F ( (x, y) , (I— 0. 5, J— 0. 5) ) の逆数などを用いるこ ともできる。
バネモデルにおいて、 バネ BA 1は、 自然長 （無負荷の状態でのバネ B A 1の 長さ） が 0のパネであるとする。 この場合、 パネ B A 1の長さ （伸び） は、 光量 (画素値） の軸方向を距離として、 i G o b s (k, i g, j g) -L g ( I —0. 5, J - 0. 5) Iと表すことができ、 真の緑色の光量 L g ( 1—0. 5 , J - 0. 5) 力 バネ B A 1によって点 A (x， y) の画素値 Go b s (k, i g， j g) 側に引っ張られる力は、 バネ定数 Xパネの長さ = { { "2-F ( (x, y) , (1—0. 5， J - 0. 5) ) } / (Mk xE) } x | Go b s (k, i g, j g) — L g ( I— 0. 5， J一 0. 5) Iと表すことができる。
図 20は、 点 A (x， y) における画素値 G o b s (k， i g, j g) と、 (1—0. 5, J - 0. 5) , ( I一 0. 5, J + 0. 5) ， ( I + 0. 5, J - 0. 5) , ( I + 0. 5， J + 0. 5) の位置における真の緑色の光量 L g (1— 0. 5, J - 0. 5) , L g (1— 0. 5, J + 0. 5) ， L g ( I + 0. 5, J— 0. 5) , L g ( I + 0. 5, J + 0. 5) それぞれとの関係を表すバ ネモデルを概念的に表した図である。
図 1 9で説明した点 A (x， y ) における画素値 G o b s (k, i g, j g) と、 真の緑色の光量 L g (I -0. 5， J一 0. 5) との関係を表すバネモデル と同様に、 真の緑色の光量 L g ( 1 -0. 5, J + 0. 5) , L g ( I + 0. 5， J - 0. 5) , L g ( I + 0. 5 , J + 0. 5) それぞれについても、 点 A (x , y) における画素値 Go b s (k, i g， j g) の関係を、 バネモデルで表すこ とができる。
即ち、 図 20では、 画素値 G o b s (k， i g, j g) と真の緑色の光量 L g ( I— 0. 5， J + 0. 5) とが、 パネ BA2の一端と他端とにそれぞれ接続さ れ、 画素値 G o b s (k， i g, j g) 側に、 真の緑色の光量 L g ( 1—0. 5, J + 0. 5) が引っ張られようとしている状態を示している。 図 20のバネモデ ノレでは、 真の緑色の光量 L g (1 -0. 5， J + 0. 5) 力 点 A (x， y) の 画素値 G o b s (k， i g, j g) であることが確からしいほど、 真の緑色の光 量 L g ( 1—0. 5, J + 0. 5) が画素値 G o b s (k， i g， j g) 側に引 き寄せられ、 逆に、 その確からしさの程度が低いほど、 真の緑色の光量 L g (I -0. 5, J + 0. 5) が、 画素値 G o b s (k, i g， j g) から遠ざかる。 ここで、 画素値 G o b s (k, i g， j g) で、 真の緑色の光量 L g ( 1—0. 5， J + 0. 5) を近似したことによる近似誤差は、 点 A (x, y) と位置 （I -0. 5， J + 0. 5) との間の距離が長くなるほど大きくなる。 そこで、 点
(x 1 , y 1) と点 （x 2， y 2) との距離が大となると関数値が増加する増加 関数 F ( (x 1 , y 1) , (x 2, y 2) ) を導入する。 関数 F ( (x 1, y 1) ， （x 2， y 2) ) としては、 例えば、 F ( (x l , y l) ， (x 2 , y 2) ) = { (x l -x 2) 2+ (y 1 -y 2) 2} などを採用することができる。 また、 上述したように、 点 A ( X , y) で観測された画素値 G o b s (k， i g， 3 g) には、 誤差としてのノイズ量 E XMkが含まれる。
画素値 G o b s (k, i g， j g) と真の緑色の光量 L g ( 1— 0. 5, J + 0. 5) とが等価 （同一） であることの確からしさ、 即ち、 真の緑色の光量 L g ( I一 0. 5， J + 0. 5) を画素値 G o b s (k, i g, j g) で近似したと きの近似精度は、 上述の近似誤差とノイズ量 E XMkの増加または減少に応じて、 それぞれ減少または増加する。 従って、 近似精度 （確からしさ） は、 例えば、 Mk X E X F ( ( X , y) , ( I - 0. 5, J + 0. 5) ) の値に対して減少す る （反比例する） 。 即ち、 真の緑色の光量 L g ( 1 - 0. 5, J + 0. 5) が、 点 A (x, y) の画素値 Go b s (k, i g, j g) に等しいことの確からしさ は、 「Mk x E x F ( (x, y) ， （I一 0. 5， J + 0. 5) ) 」 の値が小さ ければ、 大であり、 また 「Mk x E X F ( (x， y) , ( 1—0. 5， J + 0. 5) ) 」 の値が大きければ、 小であるといえる。
いま、 この画素値 Go b s (k, i g， j g) と真の緑色の光量 L g ( 1—0. 5, J + 0. 5) が等価であることの確からしさをバネ B A 2のバネ定数 （バネ の強さ） で表すことにすると、 パネ定数は、 例えば、 式 {V"2— F ( ( X , y ) ， ( I - 0. 5, J + 0. 5) ) } / (M k x E ) で表すことができる。 こ こで、 分母の （Mk xE) は、 ノイズ量 Eの Mk倍であり、 ノイズが大となるほ どバネ B A 2は弱くなつて、 真の緑色の光量 L g ( 1—0. 5， J + 0. 5) 力 バネ B A 2によって点 Αの画素値 G o b s (k, i g， j g) 側へ引っ張られる 力は小さくなる。 分子の {V"2— F ( (x， y) , ( 1—0. 5， J + 0.
5) ) } は、 図 1 8の （ 1 ±0. 5, J ±0. 5) で囲まれる領域内の任意の 2 点の距離の最大値である ΛΓ (12+ I2) =V~2から、 点 Aと （ Γ一 0. 5， J + 0. 5) との距離 F ( (X, y) , ( 1 -0. 5 , J + 0. 5) ) を引いた値 (差分） であり、 画素値 G o b s (k, i g, j g) が観測された位置 A (x， y) と真の緑色の光量 L g ( 1—0. 5， J + 0. 5) を求める位置 （ 1— 0.
5, J + 0. 5) との距離が大きくなるほど、 "2— F ( (x， y) ， （ 1—0. 5, J + 0. 5) ) は小さくなつて、 パネ B A 2は弱くなる。 従って、 真の緑色 の光量 L g ( 1—0. 5， J + 0. 5) 力 S、 バネ BA2によって点 Aの画素値 G o b s (k, i g, j g) 側へ引っ張られる力は小さくなる。 なお、 バネ定数に おいて、 分子の { "2— F ( (x， y) ， （ 1—0. 5, J + 0. 5) ) } の代 わりに、 F ( (X, y) , ( 1 -0. 5, J + 0. 5) ) の逆数などを用いるこ ともできる。
バネモデルにおいて、 バネ B A 2は、 自然長 （無負荷の状態でのパネ B A 2の 長さ） が 0のバネであるとする。 この場合、 バネ B A 2の長さ （伸び） は、 光量 (画素値） の軸方向を距離として、 | G o b s (k, i g， j g) -L g (I -0. 5, J + 0. 5) I と表すことができ、 真の緑色の光量 L g ( I— 0. 5， J + 0. 5) 力 S、 バネ B A 2によって点 A (x, y) の画素値 Go b s (k, i g, j g) 側に引っ張られる力は、 バネ定数 Xパネの長さ = { { "2-F ( (X , y) , ( 1—0. 5, J + 0. 5) ) } / (Mk x E) } x ( Go b s (k, i g, j g) —L g ( I— 0. 5， J + 0. 5) I と表すことができる。
また、 図 20では、 画素値 G o b s (k， i g, j g) と真の緑色の光量 L g ( 1 + 0. 5, J一 0. 5) とが、 バネ B A 3の一端と他端とにそれぞれ接続さ れ、 画素値 G o b s (k , i g , j g ) 側に、 真の緑色の光量 L g ( I + 0. 5 , J一 0. 5 ) が引っ張られようとしている状態を示している。 図 2 0のバネモデ ルでは、 真の緑色の光量 L g ( 1 + 0. 5， J - 0. 5) 力 点 A (x , y ) の 画素値 G o b s (k , i g， j g ) であることが確からしいほど、 真の緑色の光 量 L g ( 1 + 0. 5 , J一 0. 5 ) が画素値 G o b s (k , i g， j g) 側に引 き寄せられ、 逆に、 その確からしさの程度が低いほど、 真の緑色の光量 L g ( I + 0. 5， J - 0. 5 ) 力 画素値 G o b s (k , i g , j g ) から遠ざかる。 ここで、 画素値 G o b s (k , i g , j g) で、 真の緑色の光量 L g ( I + 0. 5 , J— 0. 5 ) を近似したことによる近似誤差は、 点 A (x， y) と位置 （I + 0. 5 , J - 0. 5) との間の距離が長くなるほど大きくなる。 そこで、 点
(x l， y 1 ) と点 （x 2， y 2) との距離が大となると関数値が増加する増加 関数 F ( (x 1 , y 1 ) , (x 2 , y 2) ) を導入する。 関数 F ( (x 1 , y
1 ) , (x 2， y 2) ) としては、 例えば、 F ( (x l , y l ) , (x 2 , y
2 ) ) =y { (x 1 - x 2) 2+ (y 1 - y 2) 2} などを採用することができる。 また、 上述したように、 点 A ( x , y) で観測された画素値 G o b s (k， i g， j g) には、 誤差としてのノイズ量 E xMkが含まれる。
画素値 G o b s (k , i g , j g) と真の緑色の光量 L g ( I + 0. 5 , J一 0. 5 ) とが等価 （同一） であることの確からしさ、 即ち、 真の緑色の光量 L g ( 1 + 0. 5 , J - 0. 5) を画素値 G o b s (k， i g， j g) で近似したと きの近似精度は、 上述の近似誤差とノイズ量 E XMkの増加または減少に応じて、 それぞれ減少または増加する。 従って、 近似精度 （確からしさ） は、 例えば、 Mk X E x F ( (x , y) , ( I + 0. 5， J - 0. 5) ) の値に対して減少す る （反比例する） 。 即ち、 真の緑色の光量 L g ( 1 + 0. 5 , J— 0. 5) 力 点 A ( X , y) の画素値 G o b s (k , i g , ： j g ) に等しいことの確からしさ は、 「Mk x E x F ( (x , y) ， （ 1 + 0. 5 , J — 0. 5) ) 」 の値が小さ ければ、 大であり、 また 「Mk x E x F ( (x， y ) , ( I + 0. 5 , J - 0. 5 ) ) 」 の値が大きければ、 小であるといえる。 いま、 この画素値 Go b s (k, i g, j g) と真の緑色の光量 L g ( I + 0. 5, J -0. 5) が等価であることの確からしさをバネ BA3のバネ定数 （バネ の強さ） で表すことにすると、 バネ定数は、 例えば、 式 { "2— F ( (x， y) , (1 +0. 5， J - 0. 5) ) } / (Mk x Ε) で表すことができる。 こ こで、 分母の （Mk XE) は、 ノイズ量 Eの Mk倍であり、 ノイズが大となるほ どパネ B A 3は弱くなつて、 真の緑色の光量 L g (1 +0. 5， J一 0. 5) 力 パネ B A 3によって点 Aの画素値 G o b s (k， i g , j g) 側へ引っ張られる 力は小さくなる。 分子の { 2— Ρ ( (Χ， Υ) ， ( 1 + 0. 5, J -0.
5) ) } は、 図 1 8の （ 1 ±0, 5, J ±0. 5) で囲まれる領域内の任意の 2 点の距離の最大値である^ (12+ I2) =V"2から、 点 Αと （ 1 +0. 5， J一 0. 5) との距離 F ( (x, y) , ( I + 0. 5， J - 0. 5) ) を引いた値 (差分） であり、 画素値 Go b s (k， i g, j g) が観測された位置 A (x, y) と真の緑色の光量 L g ( 1 + 0. 5， J - 0. 5) を求める位置 （ 1 + 0. 5， J - 0. 5 ) との距離が大きくなるほど、 Γ2— Ρ ( (Χ， ) , ( 1 + 0. 5， J一 0. 5) ) は小さくなつて、 パネ B A 3は弱くなる。 従って、 真の緑色 の光量 L g (1 +0. 5， J - 0. 5) 力 S、 バネ BA3によって点 Aの画素値 G o b s (k， i g， j g) 側へ引っ張られる力は小さくなる。 なお、 バネ定数に おいて、 分子の {V"2— F ( (x， y) , ( I + 0. 5， J一 0. 5) ) } の代 わりに、 F ( (X , y ) ， ( 1 + 0. 5， J - 0. 5) ) の逆数などを用いるこ ともできる。
バネモデルにおいて、 バネ B A 3は、 自然長 （無負荷の状態でのバネ B A 3の 長さ） が 0のパネであるとする。 この場合、 パネ B A 3の長さ （伸び） は、 光量 (画素値） の軸方向を距離として、 | G o b s (k, i g， j g) -L g ( I + 0. 5， J一 0. 5) 1 と表すことができ、 真の緑色の光量 L g ( 1 +0. 5, J - 0. 5) 力 バネ B A 3によって点 A (x， y) の画素値 Go b s (k， i g, j g) 側に引っ張られる力は、 バネ定数 Xパネの長さ = { { " 2-F ( (X , y) , (1 +0. 5 , J一 0. 5) ) } / (Mk X E) } x | G o b s (k , i g， j g) -L g ( I + 0. 5， J - 0. 5) Iと表すことができる。
さらに、 図 2 0では、 画素値 G o b s (k , i g, j g) と真の緑色の光量 L g ( I + 0. 5 , J + 0. 5) とが、 パネ BA4の一端と他端とにそれぞれ接続 され、 画素値 G o b s (k， i g, j g) 側に、 真の緑色の光量 L g ( I + 0. 5， J + 0. 5) が引っ張られようとしている状態を示している。 図 2 0のバネ モデルでは、 真の緑色の光量 L g ( 1 + 0. 5, J + 0. 5) 、 点 A ( X , y ) の画素値 G o b s (k， i g, j g) であることが確からしいほど、 真の緑 色の光量 L g ( 1 + 0. 5, J + 0. 5) が画素値 G o b s ( k , ί g， j g) 側に引き寄せられ、 逆に、 その確からしさの程度が低いほど、 真の緑色の光量 L g ( I + 0. 5， J + 0. 5) 力 画素値 G o b s (k， i g , j g) から遠ざ かる。
ここで、 画素値 G o b s (k, i g , j g) で、 真の緑色の光量 L g ( I + 0. 5， J + 0. 5) を近似したことによる近似誤差は、 点 A (x , y) と位置 （I + 0. 5， J + 0. 5) との間の距離が長くなるほど大きくなる。 そこで、 点 (x 1 , y 1) と点 （x 2， y 2) との距離が大となると関数値が増加する増加 関数 F ( (x 1 , y 1 ) , (x 2, y 2) ) を導入する。 関数 F ( (x 1 , y
1) ， （X 2， y 2) ) としては、 例えば、 F ( (x l , y l) , (x 2 , y
2) ) =V~ { (x 1 - 2) 2+ (y 1 - y 2) 2} などを採用することができる。 また、 上述したように、 点 A ( X , y) で観測された画素値 G o b s (k， i g , j g) には、 誤差としてのノイズ量 E XMkが含まれる。
画素値 G o b s (k, i g， j g) と真の緑色の光量 L g ( 1 + 0. 5, J + 0. 5) とが等価 （同一） であることの確からしさ、 即ち、 真の緑色の光量 L g ( 1 + 0. 5， J + 0. 5) を画素値 G o b s (k, i g , j g) で近似したと きの近似精度は、 上述の近似誤差とノイズ量 E XMkの増加または減少に応じて、 それぞれ減少または増加する。 従って、 近似精度 （確からしさ） は、 例えば、
Mk X E X F ( (x , y) , ( I + 0. 5， J + 0. 5) ) の値に対して減少す る （反比例する） 。 即ち、 真の緑色の光量 L g ( 1 + 0. 5， J + 0. 5) 力 点 A (x， y) の画素値 G o b s (k , i g， j g ) に等しいことの確からしさ は、 「Mk x E x F ( (x， y) ， （1 + 0. 5， J + 0. 5) ) 」 の値が小さ ければ、 大であり、 また 「Mk x E x F ( ( X , y) , ( I + 0. 5， J + 0. 5) ) 」 の値が大きければ、 小であるといえる。
いま、 この画素値 G o b s (k， i g , j g) と真の緑色の光量 L g ( I + 0. 5， J + 0. 5 ) が等価であることの確からしさをバネ B A4のパネ定数 （バネ の強さ） で表すことにすると、 パネ定数は、 例えば、 式 { " 2— F ( ( X , y) , ( 1 + 0. 5 , J + 0. 5 ) ) } / (Mk x E) で表すことができる。 こ こで、 分母の （Mk x E) は、 ノイズ量 Eの Mk倍であり、 ノイズが大となるほ どバネ BA 4は弱くなつて、 真の緑色の光量 L g ( 1 + 0. 5 , J + 0. 5 ) 力 バネ B A4によって点 Aの画素値 G o b s (k , i g , j g) 側へ引っ張られる 力は小さくなる。 分子の {V~ 2— F ( (x， y) ， ( I + 0. 5 , J + 0.
5) ) } は、 図 1 8の （1 ± 0. 5， J ± 0. 5 ) で囲まれる領域内の任意の 2 点の距離の最大値である ( 12+ I 2) =/~2から、 点 Aと （ 1 + 0. 5 , J + 0. 5) との距離 F ( (x , y) , ( I + 0. 5， J + 0. 5 ) ) を引いた値 (差分） であり、 画素値 G o b s (k， i g， j g) が観測された位置 A (x , y) と真の緑色の光量 L g ( 1 + 0. 5， J + 0. 5 ) を求める位置 （ 1 + 0. 5， J + 0. 5 ) との距離が大きくなるほど、 " 2— F ( (x , y) ， ( I + 0. 5 , J + 0. 5 ) ) は小さくなつて、 バネ BA4は弱くなる。 従って、 真の緑色 の光量 L g ( 1 + 0. 5， J + 0. 5 ) 力 バネ B A 4によって点 Aの画素値 G o b s (k , i g , j g) 側へ引っ張られる力は小さくなる。 なお、 バネ定数に おいて、 分子の {V" 2— F ( (x， y) , ( I + 0. 5 , J + 0. 5) ) } の代 わりに、 F ( (x , y) , ( I + 0. 5 , J + 0. 5 ) ) の逆数などを用いるこ ともできる。
バネモデルにおいて、 パネ B A 4は、 自然長 （無負荷の状態でのパネ BA4の 長さ） が 0のバネであるとする。 この場合、 バネ BA 4の長さ （伸び） は、 光量 (画素値） の軸方向を距離として、 | G o b s (k , i g , j g) - L g ( I + 0. 5 , J + 0. 5) I と表すことができ、 真の緑色の光量 L g ( I + 0. 5， J + 0. 5) 力 S、 バネ BA4によって点 A (x, y ) の画素値 G o b s (k， i g， j g ) 側に引っ張られる力は、 パネ定数 Xパネの長さ = { {7"2— F ( ( X , y ) , (1 +0. 5， J + 0. 5) ) } / (Mk x E) } x | Go b s (k， i g, j g) -L g (1 + 0. 5, J + 0. 5) I と表すことができる。
以上では、 基準座標系上の任意の位置 A (x， y) における画素値 Go b s (k， i g, j g) に注目して、 その位置 A (x, y ) の周辺、 即ち、 式 I一 0. 5≤x < I + 0. 5と式 J一 0. 5≤y < J + 0. 5を満たす整数 I , Jで表さ れる任意の真の緑色の光量 L g ( 1 -0. 5， J - 0. 5) , L g (1—0. 5， J + 0. 5) , L g ( I + 0. 5， J - 0. 5) ， L g ( I + 0. 5， J + 0. 5) との関係を、 パネモデルで表したが、 今度は、 基準座標系上の画素中心とな る位置 （I，， J ' ) に注目して、 その位置 （ ， J') の真の緑色の光量 L g ( ， J') と、 その周辺で観測される画素値 G o b s (k, i g， j g) と の関係をバネモデルで表すことにする。
位置 （ ， J') は、 その , J'の小数点以下が 0. 5である各画素の中 心位置であるから、 例えば、 図 20において黒丸で示される （ 1—0. 5， J一 0. 5) 等が、 位置 （Γ, J') となる。
図 20に示したように、 点 A (x, y ) については、 その周辺の 4つの真の緑 色の光量 L g ( 1—0. 5， J - 0. 5) , L g (1—0. 5, J + 0. 5) , L g ( I + 0. 5， J - 0. 5) ， L g ( I + 0. 5, J + 0. 5) との間に、 パネモデルを定義することができる。 さらに、 点 A ( X , y) 以外の 1乃至 N枚 目の撮像画像の各画素値 G o b s (k, i g, j g) が観測される点についても、 それぞれ同様に、 4つのパネモデルを定義することができる。 従って、 位置 ( , J' ) に注目すると、 図 21に示すように、 位置 （ , J') の真の緑色 の光量 L g ( I ' , J') に対して、 その周辺にある、 例えば、 点 A乃至点 Eそ れぞれで観測される画素値 G o b s (k, i g， j g) とのバネモデルが定義さ ることになる。 即ち、 ある位置 （Γ , J' ) に対して、 位置 （ i g— 0. 5 , j g - O . 5) を変換パラメータ (S k , T k x, T k y, S k) で変換した基準座標系上の位 置 （x， y) 力 I ' - l≤ x < I ' + l , J '— 1≤y < J' + 1を満たす整数 k, i g， j gの組をすベて求める。 例えば、 いま、 図 2 1に示すように、 位置 (Γ， J') に対して、 点 A乃至点 Eで観測された 5つの画素値 G o b s (k， i g， j g) を特定する （k, i g， j g) の組が得られたとする。
この場合、 図 2 2に示すように、 点 A乃至点 Eで観測された 5つの画素値 G o b s (k， i g , j g) それぞれと、 位置 （ ， J') の真の緑色の光量 L g ( I ' , J ') との関係を表すパネモデルを定義することができる。 即ち、 真の 緑色の光量 L g ( I ' , J' ) を求めるべき位置 （ ， J' ) について、 その真の 緑色の光量 L g ( ， J' ) と、 観測された画素値 G o b s (k, i g， j g) との関係を、 バネモデルで表すことができる。
図 2 3は、 位置 （I'， J') に注目したバネモデルによって、 その位置 （ ， J') の真の緑色の光量 L g ( I J') を推定する推定方法を説明する図であ る。 なお、 図 2 3における軸は、 緑色の光量 （G信号） を表す。
図 2 3では、 質量が 0の物体 Vが、 5つのバネそれぞれの一端に繋がっており、 5つのパネの他端は、 点 A乃至点 Eの 5つの画素値 G o b s (k, i g， j g) それぞれに接続されている。 即ち、 点 A乃至点 Eの 5つの画素値 G o b s (k， i g， j g) は、 図 2 2のある位置 （Γ , J' ) に対して、 位置 （ i g— 0. 5 , j g - 0. 5) を変換パラメータ （0 k， T k x, T k y, S k) で変換した基 準座標系上の位置 （x， y) 力 I ' - l≤ x < I ' + l , J' - l≤y < J' + 1を満たす （k， i g， j g) の組に対応する画素値 G o b s (k, i g， j g) である。
また、 この 5つのパネの自然長は 0で、 点 （X , y ) で観測される画素値 G o b s (k, i g , ； j g) に他端が接続されているパネのパネ定数は、 上述したよ うに、 {Γ2— F ( ( X , y) ， （ 1，， ]') ) } / (Mk X E) である。 上述の 5つのバネそれぞれは、 そのバネ定数に比例する力で、 5つの画素値 G o b s (k , i g, j g) 側に物体 Vを引っ張り合っており、 ある位置でつり合 うこととなる。 その位置を表す光量が、 位置 （ ， J') の真の緑色の光量 L g (Γ， J') として推定される。 このパネのつり合いは、 物体 Vにかかる力 の総和が 0であることを表す次式によって表すことができる。 x {Gobs(k, ig, jg)-Lg(I 0
Figure imgf000073_0001
- - - (25)
以下において、 式 （25) を緑色の光量のパネ関係式と称する。 ここで、 式 (25) における ∑ は、 ある位置 （Γ， J' ) に対して、 位置 （ i g— 0. 5, j g-0. 5) を変換パラメータ （0 k， T k X , T k y , S k ) で変換した基 準座標系上の位置 （x， y) 力 I' - l≤x< I' + l, J' - l≤y< J' + 1を満たす （k, i g, j g) の組の個数分の和を表す。 例えば、 図 23の例で は、 点 A乃至点 Eの 5個の （k, i g， j g) の組についての和となる。
式 （25) は、 L g (Ι ', J') を未知数とする一次方程式であり、 式 （2 5) を解くことにより、 位置 （I'， J' ) における真の緑色の光量 L g ( ， J ') を求めることができる。
位置 （ , J' ) における、 真の赤色の光量 L r ( I ' , J') と、 真の青色の 光量 L b ( ， J') についても、 図 18乃至図 23で説明した緑色の成分を 受光する画素の場合と同様に、 式 （25) と同様の式 （26) と式 （27) の一 次方程式をたてることができる。
V2"-F((x,y), (Γ, J，））
x {Robs(k, ir, jr)-Lr(I',J')} =0 徵 E)
• · · (26)
以下において、 式 （26) を赤色の光量のパネ関係式と称する。 ここで、 式 (26) における ∑ は、 ある位置 （1，， Γ ) に対して、 位置 （ i r一 0. 5， j r - 0. 5) を変換パラメータ （0 k， T k X , Tk y， S k) で変換した基 準座標系上の位置 （x， y) 力 I' -l≤x< I' + l, J' - 1≤y < J' + を満たす （k, i r , j r) の組の個数分の和を表す c
iV2"-F((x,y), (Ι', J'))
Figure imgf000074_0001
x (Bobs(k, ib, jb)-Lb(r,J')}
(歐 E)
• · · (2 7)
以下において、 式 （27) を青色の光量のパネ関係式と称する。 ここで、 式 (27) における ∑ は、 ある位置 （Γ， Γ) に対して、 位置 （ i b— 0. 5， j b- 0. 5) を変換パラメータ （S k， Tk X , T k y, S k) で変換した基 準座標系上の位置 （x， y) 力 I ' - l≤x< I ' + l , J' - l≤y< J' - 1を満たす （k, i b, j b) の組の個数分の和を表す。
従って、 第 3実施の形態では、 ある位置 （ , J' ) に対して、 位置 （ i 一 0. 5, j -0. 5) を変換パラメータ （0 k， T k X , Tk y, S k) で変換した 基準座標系上の位置 （捕正位置） （X , y) 力 I ' - l≤x < I ' + l, J'一 l ^y < J' + lを満たす （k, i b， j b) の組の画素値に基づいて、 真の緑 色の光量 L g ( , J') 、 真の赤色の光量 L r ( I ' , J') 、 真の青色の光 量 L b ( I ' , J，） が求められる。
次に、 図 24のフローチャートを参照して、 図 2のステップ S 4における画像 推定処理の第 3実施の形態について説明する。
初めに、 ステップ S 7 1において、 演算回路 24は、 基準座標系上のある位置 ( Γ, J') に注目する （以下、 注目位置 （I '， J ') と称する） 。 ここで、 注目位置 （ , J') は、 基準画像である 1枚目の撮像画像の 「 i番目、 j番 目の画素」 の画素中心 （ i一 0, 5, j - 0. 5) を表している。
そして、 ステップ S 7 1から S 72に進み、 演算回路 24は、 注目位置 （ ， J') に対して、 k枚目画像の緑色の成分を受光する画素の中心位置 （ i g_ 0. 5， j g - 0. 5) を変換パラメータ （0 k， T k x, T k y, S k) で変換し た基準座標系上の位置 （x, y) 力 I' ~ l≤x < I ' + l , J' - 1≤y < J ' + 1を満たす （k, i g， j g) の組を、 1乃至 N枚目面像についてすべて求 め、 ステップ S 73に進む。 ステップ S 7 3において、 演算回路 24は、 ステップ S 72で求めたすべての (k， i g， j g) の組を用いて、 式 （25) で表される緑色の光量のパネ関係 式を生成して、 ステップ S 74に進む。
ステップ S 74において、 演算回路 24は、 注目位置 （ I '， J ' ) に対して、 k枚目画像の赤色の成分を受光する画素の中心位置 （ i r一 0. 5， j r - 0. 5) を変換パラメータ （0 k， T k X , T k y, S k) で変換した基準座標系上 の位置 （X , y ) 力 I > - l≤x< I' + l, J'一 l≤y< J， + lを満たす (k, i r , j r) の組を、 1乃至 N枚目画像についてすべて求め、 ステップ S 75に進む。
ステップ S 7 5において、 演算回路 24は、 ステップ S 74で求めたすべての (k， i r , j r) の組を用いて、 式 （26) で表される赤色の光量のパネ関係 式を生成して、 ステップ S 76に進む。
ステップ S 7 6において、 演算回路 24は、 注目位置 （ ， J，） に対して、 k枚目画像の青色の成分を受光する画素の中心位置 （ i b— 0. 5， j b-0. 5) を変換パラメータ （0 k, T k X , T k y, S k) で変換した基準座標系上 の位置 （x， y ) ί I ' - l≤x< I ' + l, J' _ 1≤y < J' + 1を満たす (k, i b， j b) の組を、 1乃至 N枚目画像についてすべて求め、 ステップ S 77に進む。
ステップ S 7 7において、 演算回路 24は、 ステップ S 76で求めたすべての (k, i b, j b) の組を用いて、 式 （2 7) で表される青色の光量のバネ関係 式を生成して、 ステップ S 78に進む。
ステップ S 7 8において、 演算回路 24は、 ステップ S 7 3で求めた式 （2 5) で表される緑色の光量のバネ関係式、 ステップ S 75で求めた式 （26) で 表される赤色の光量のパネ関係式、 ステップ S 77で求めた式 （27) で表され る青色の光量のパネ関係式を、 一次方程式として解くことにより、 注目位置 （I ' , J') における真の緑色の光量 L g ( Γ , J') 、 真の赤色の光量 L r ( Ι ' , J') 、 および真の青色の光量 L b ( Γ, J') をそれぞれ求め、 ステップ S 7 9に進む。
ステップ S 79において、 演算回路 24は、 すべての位置 （I'， J ' ) を注 目位置としたか、 即ち、 1枚目の撮像画像の画素の中心位置のすべてを注目位置 (Γ， J') として、 真の緑色の光量 L g ( ， J') 、 真の赤色の光量 L r (Γ， J，） 、 および真の青色の光量 L b ( , J') を求めたか否かを判定 する。
ステップ S 79で、 すべての位置 （ , J') をまだ注目位置として求めて いないと判定された場合、 ステップ S 71に戻り、 ステップ S 71乃至 S 79の 処理が操り返される。 即ち、 演算回路 24は、 まだ注目していない位置 （ ， J') を次の注目位置 （I'， J') として、 注目位置 （ ， J') における真の 緑色の光量 L g ( ， J') 、 真の赤色の光量 L r ( I ' , J') , および真の 青色の光量 Lb ( ， J') をそれぞれ求める。
一方、 ステップ S 79で、 すべての位置 （Γ, J') を注目位置としたと判 定された場合、 ステップ S 80に進み、 演算回路 24は、 ステップ S 78で求め た真の緑色の光量 L g ( I ' , J') 、 真の赤色の光量 L r ( ， J') 、 真の 青色の光量 Lb ( ， J') から、 画像 （信号） を推定し、 D/Aコンバータ 9ま たはコーデック 1 2に出力画像として供給し、 処理を戻る。 例えば、 「 i番目、 j番目の画素」 においては、 演算回路 24は、 緑色の値 （G信号） としてステツ プ S 78で求めた真の緑色の光量 L g ( i— 0. 5， j - 0. 5) と、 赤色の値 (R信号） としてステップ S 78で求めた真の赤色の光量 L r ( i一 0. 5， j 一 0. 5) と、 青色の値 （B信号） としてステップ S 78で求めた真の青色の光 量 Lb ( i - 0. 5， j - 0. 5) とから、 「 i番目、 j番目の画素 J の画像信 号を推定する （得る） 。 そして、 演算回路 24は、 その推定を位置 （ , J ') を中心位置とする画素すべてについて行うことにより、 出力画像を推定する。 以上のように、 第 3実施の形態では、 撮像素子 4の各画素で受光されるデータ をポイントサンプリングされたデータとして捉え、 各画素中心で観測された画素 値とカメラブレのない鮮明な画像としての画像信号との関係をパネモデルで表す ことにより、 より本来の光に忠実で鮮明な画像を求めることができる。
次に、 画像推定処理の第 4実施の形態について説明する。 第 4実施の形態は、 図 24で説明した第 3実施の形態の一部を改良したものである。
即ち、 図 24の第 3実施の形態においては、 ステップ S 72において、 演算回 路 24は、 注目位置 （ , J') に対して、 k枚目画像の緑色の成分を受光す る画素の中心位置 （ i g— 0. 5, j g- 0. 5) を変換パラメータ （0 k， T k x, Tk y， S k) で変換した基準座標系上の位置 （X , y ) , I ' - 1≤ X < I ' + 1 , J' - l≤y< J> + lを満たす （ k， i g , j g ) の組を、 1乃 至 N枚目画像についてすべて求める。 そして、 ステップ S 73において、 演算回 路 24は、 ステップ S 7 2で求めたすべての （k, i g， j g) の組を用いて、 式 （2 5) で表される緑色の光量のバネ関係式を生成する。 また、 赤色や青色の 成分を受光する画素についても、 同様に、 注目位置 （ ， J') に対して、
(k, i g， j g) の組を求め、 その求めたすべての （k， i g， j g) の組を 用いて式 （26) や式 （27) で表されるパネ関係式を生成する。
ところで、 1乃至 N枚の画像のうちの特定の画像の、 特定の画素のデータが、 例えば、 撮影ミスなどにより、 信頼性のないデータとなってしまう場合がある。 図 1のデジタルカメラ 1では、 N枚の画像が撮像され、 フレームメモリ 22に記 憶されている。 従って、 信頼性のないデータを採用しないようにしたとしても、 十分なデータを確保することができる。
そこで、 第 4実施の形態は、 信頼性のあるデータのみを採用し （信頼性のない データを破棄し） 、 より鮮明な画像を推定するようにするものである。 そのため、 第 4実施の形態では、 注目位置 （ ， J') に対して、 求めたすべての （k， i g, j g) の組の中から、 信頼性のあるデータとして、 予め設定された L個の (k, i g， j g) の組を採用するものとする。 ここで、 Lは、 例えば、 8個な どの固定の値とすることもできるし、 ユーザの操作に応じて設定される可変の値 とすることもできる。 演算回路 24は、 求めたすべての （k， i g, j g) の組 の画素値 Go b s (k, i g, j g) の平均値を求め、 （k, i g, j g) の組 を、 その画素値 Go b s (k， i g， j g) の平均値に近い順に L個 （L= 8) だけ選択し、 位置 （Γ， J') の真の緑色の光量 L g ( I ' , J') を求めるの に採用する。
従って、 第 3実施の形態において、 式 （25) ， 式 （26) , および式 （2 7) で表される緑色、 赤色、 および青色の光量のパネ関係式は、 第 4実施の形態 では、 それぞれ式 （28) ， 式 （29) ， および式 （30) のように表すことが できる。
fV2"-F((x,y), (Γ, ）
Figure imgf000078_0001
x{Gobs(k, ig, jg)-Lg(r,J')}
(歐 x E)
• · · (28)
ここで、 式 （28) における ∑ は、 注目位置 （ , J') に対して、 求めた すべての （k， i g, j g) の組の画素値 Go b s (k， i g, j g) の平均値 を求め、 画素値 G o b s (k, i g， j g) が平均値に近い順の L個の （k, i g， j g) の組の和を表す。
iV2"-F((x,y), (Γ, J，））
x {Robs(k, ir, jr)-Lr(I', J')} 0
(歐 x E)
• · · (29)
ここで、 式 （29) における ∑ は、 注目位置 （1 ' , J') に対して、 求めた すべての （k， i r , j r) の組の画素値 R o b s (k, i r , j r) の平均値 を求め、 画素値 R o b s (k, i r， j r) が平均値に近い順の L個の （k， i r， j r) の組の和を表す。 obs ( ib, jb)-Lb(r, J')} 0
Figure imgf000078_0002
• · · (30)
ここで、 式 （30) における ∑ は、 注目位置 （ , J') に対して、 求めた すべての （k, i b, j b ) の組の画素値 B o b s (k， i b, j b) の平均ィ直 を求め、 画素値 B o b s (k , i b， j b> が平均値に近い順の L個の （k, i b， j b) の組の和を表す。
図 25のフローチヤ一トを参照して、 図 2のステップ S 4における画像推定処 理の第 4実施の形態について説明する。
初めに、 ステップ S 9 1において、 演算回路 24は、 基準座標系上のある位置 ( Γ， J') に注目する （以下、 注目位置 （Ι '， Γ) と称する） 。 ここで、 注目位置 （ ， J') は、 基準画像である 1枚目の撮像画像の 「 i番目、 ϋ番 目の画素」 の画素中心 （ i _0. 5， j - 0. 5) を表している。
そして、 ステップ S 9 1から S 9 2に進み、 演算回路 24は、 注目位置 （ 1 '， J') に対して、 k枚目画像の緑色の成分を受光する画素の中心位置 （ i g— 0. 5, j g-O. 5) を変換パラメータ （0 k， T k X , T k y, S k) で変換し た基準座標系上の位置 （x， y) I ' - l≤x< I' + l , J' - l≤y< J . ， + 1を満たす （k， i g, j g) の組を、 1乃至 N枚目画像についてすべて求 め、 ステップ S 9 3に進む。
ステップ S 9 3において、 演算回路 24は、 ステップ S 92で求めたすべての (k, i g, j g) の組における画素値 G o b s (k, i g, j g) の平均値を 求め、 画素値 G o b s (k， i g， j g) が平均値に近い順の L個の （k, i g， j g) の組を選択し、 ステップ S 94に進む。 即ち、 ステップ S 9 3では、 ステ ップ S 92で求めたすべての （k， i g， j g) の組における画素値 G o b s (k， i g, j g) の平均値から遠いものが、 信頼性のないデータとして破棄さ れる。 なお、 ステップ S 9 2で求めたすべての （k， i g， j g) の組が、 もと もと L個に達していない場合には、 それらすベての （k， i g, j g) の組が選 択される （破棄されない） 。
ステップ S 94において、 演算回路 24は、 ステップ S 93で選択した L個の (k， i g， j g) の組を用いて、 式 （28) で表される緑色の光量のパネ関係 式を生成して、 ステップ S 9 5に進む。
ステップ S 9 5において、 演算回路 24は、 注目位置 （ ， J') に対して、 k枚目画像の赤色の成分を受光する画素の中心位置 （ i r _0. 5， j r - 0. 5) を変換パラメータ （0 k， T k X , T k y, S k) で変換した基準座標系上 の位置 （x， y ) I ' - l≤ x < I ' + l , J ' - l≤ y < J' + lを満たす (k， i r , j r) の組を、 1乃至 N枚目画像についてすべて求め、 ステップ S 9 6に進む。
ステップ S 9 6において、 演算回路 24は、 ステップ S 9 6で求めたすべての (k， i r , j r ) の組における画素値 R o b s (k， i r , j r ) の平均値を 求め、 画素値 R o b s (k， i r , j r) が平均値に近い順の L個の （k， i r， j r ) の組を選択し、 ステップ S 9 7に進む。 即ち、 ステップ S 9 6では、 ステ ップ S 9 5で求めたすべての （k， i r， j r) の糸且における画素値 R o b s (k， i r , j r) の平均値から遠いものが、 信頼性のないデータとして破棄さ れる。 なお、 ステップ S 9 5で求めたすべての （k， i r , j r) の ¾Eが、 もと もと L個に達していない場合には、 それらすベての （k, i r , j r ) の組が選 択される （破棄されない） 。
ステップ S 9 7において、 演算回路 24は、 ステップ S 9 6で選択した L個の (k, x , j r ) の組を用いて、 式 （2 9) で表される赤色の光量のパネ関係 式を生成して、 ステップ S 9 8に進む。
ステップ S 9 8において、 演算回路 2 4は、 注目位置 （ 1 ' , J，） に対して、 k枚目画像の青色の成分を受光する画素の中心位置 （ i b— 0. 5 , j b - 0. 5) を変換パラメータ （0 k, T k X , T k y, S k) で変換した基準座標系上 の位置 （x， y ) 力 I ' - l≤ x < I ' + l , J ' - 1≤y < J' + 1を満たす (k, i b , j b) の組を、 1乃至 N枚目画像についてすべて求め、 ステップ S 9 9に進む。
ステップ S 9 9において、 演算回路 24は、 ステップ S 9 8で求めたすべての (k, i b , j b) の組における画素値 B o b s (k， i b, j b) の平均値を 求め、 画素値 B o b s (k , i b， j b) が平均値に近い順の L個の （k, i b , j b) の組を選択し、 ステップ S I 0 0に進む。 即ち、 ステップ S 9 9では、 ス テツプ S 9 8で求めたすべての （k， i b, j b) の組における画素値 B o b s (k, i b , j b) の平均値から遠いものが、 信頼性のないデータとして破棄さ れる。 なお、 ステップ S 98で求めたすべての （k， i b , j b) の組が、 もと もと L個に達していない場合には、 それらすベての （k， i b , j b) の組が選 択される （破棄されない） 。
ステップ S 100において、 演算回路 24は、 ステップ S 99で選択した L個 の （k， i b, i b) の組を用いて、 式 （30) で表される青色の光量のバネ関 係式を生成して、 ステップ S 101に進む。
ステップ S 101において、 演算回路 24は、 ステップ S 94で求めた式 （2 8) で表される緑色の光量のバネ関係式、 ステップ S 97で求めた式 （29) で 表される赤色の光量のバネ関係式、 ステップ S 100で求めた式 （30) で表さ れる青色の光量のパネ関係式を、 一次方程式として解くことにより、 注目位置 ( I ' , J，） における真の緑色の光量 L g ( ， J') 、 真の赤色の光量 L r ( I ' , ） 、 および真の青色の光量 Lb ( , J ' ) をそれぞれ求め、 ステ ップ S 102に進む。
ステップ S 1 02において、 演算回路 24は、 すべての位置 （Γ， J') を 注目位置としたか、 即ち、 1枚目の撮像画像の画素の中心位置のすべてを注目位 置 （ , J') として、 真の緑色の光量 L g ( I ' , J') 、 真の赤色の光量 L r (I，， J，） 、 および真の青色の光量 L b ( ， J') を求めたか否かを判 定する。
ステップ S 102で、 すべての位置 （ , J ') を、 まだ注目位置としてい ないと判定された場合、 ステップ S 91に戻り、 ステップ S 91乃至 S 102の 処理が繰り返される。 即ち、 演算回路 24は、 まだ注目していない位置 （Γ, J') を次の注目位置 （ , J') として、 注目位置 （Γ， J') における真の 緑色の光量 L g (Γ， J') 、 真の赤色の光量 L r ( I ' , ） 、 および真の 青色の光量 Lb ( ， J') をそれぞれ求める。
一方、 ステップ S 102で、 すべての位置 （ , J') を注目位置としたと 判定された場合、 ステップ S 103に進み、 演算回路 24は、 ステップ S 101 で求めた真の緑色の光量 L g ( I ' , J' ) 、 真の赤色の光量 L r ( I ' , J' ) 、 真の青色の光量 L b ( I '， J') から、 画像 （信号） を推定し、 D/Aコンバータ 9またはコーデック 1 2に出力画像として供給し、 処理を戻る。 例えば、 「 1番 目、 j番目の画素」 においては、 演算回路 24は、 緑色の値 （G信号） としてス テツプ S 1 0 1で求めた真の緑色の光量 L g ( i— 0. 5, j - 0. 5) と、 赤 色の値 （R信号） としてステップ S 1 0 1で求めた真の赤色の光量 L r ( i一 0. 5， j 一 0. 5) と、 青色の値 （B信号） としてステップ S 1 0 1で求めた真の 青色の光量 L b ( i - 0. 5， j - 0. 5) とから、 「 i番目、 j番目の画素」 の画像信号を推定する。 そして、 演算回路 24は、 その推定を位置 （ , J ') を中心位置とする画素すべてについて行うことにより、 出力画像を推定する。 以上のように、 第 4実施の形態では、 平均値に近い画素値を信頼性の高いデー タとして、 その信頼性の高いデータにのみ、 バネモデルを適用するようにしたの で、 第 3実施の形態より本来の光に忠実で鮮明な画像を求めることが可能となる。 次に、 画像推定処理の第 5実施の形態について説明する。 第 5実施の形態は、 第 4実施の形態と同様に、 注目位置 （ , J') に対して、 求めたすべての
(k, i g.， j g) の組の中から、 信頼性のあるデータとして、 予め設定された L個の （k， i g, j g) の組を採用し、 L個で構成された緑色、 赤色、 および 青色の光量のパネ関係式を解くことにより、 真の緑色の光量 L g ( I ' , ） 、 真の赤色の光量 L r ( Ι ', J，） 、 および真の青色の光量 L b ( I ' , J') を 求めるものである。
伹し、 第 4実施の形態では、 演算回路 24において、 例えば、 緑色の成分を受. 光する画素については、 求めたすべての （k， i g, j g) の組の画素値 G o b s (k， i g， j g) の平均値を求め、 画素値 G o b s (k , i g, j g) が平 均値に近い順の L個の （k， i g， j g) の組を選択するようにした。
一方、 第 5実施の形態では、 演算回路 24は、 注目位置 （I '， J') に対し て、 k枚目画像の緑色の成分を受光する画素の中心位置 （ i g— 0. 5, j g— 0. 5) を変換パラメータ （0 k， T k X , T k y , S k) で変換した基準座標 系上の位置 （x， y) と注目位置 （I'， J') との距離が短いものから順番に L個だけ （k， i g， j g) の組を、 信頼性の高いデータとして選択する。 なぜ なら、 図 1 9で説明したように、 注目位置 （Γ , J ') の真の緑色の光量 L g ( Γ , J') を、 位置 （x， y) で観測された画素値 Go b s (k, i g， j g) で近似したことによる近似誤差は、 位置 （x， y) と注目位置 （ , J ') との距離が長くなるほど大きくなる。 従って、 注目位置 （ 1', J') からの 距離が遠い位置 （X , y) で観測された画素値 G o b s (k， i g, j g) ほど 信頼性が少なくなる。 なお、 2点 （x l， y l) と （x 2, y 2) との間の距離 を求める関数は、 例えば、 図 19で説明した関数 F ( (x 1, y 1) , (x 2, y 2) ) を採用することができる。
第 5実施の形態では、 第 3実施の形態における式 （25) ， 式 （26) ， およ び式 （27) に代えて、 式 （31) 、 式 （32) 、 および式 （33) で表される 緑色、 赤色、 および青色の光量のパネ関係式が用いられる。 „Μ ( Η J )] =0
Figure imgf000083_0001
• · · (3 1)
ここで、 式 （31) における ∑ は、 注目位置 （ Γ， J') に対して、 k枚目 画像の緑色の成分を受光する画素の中心位置 （ i g— 0. 5， 〗 g— 0. 5) を 変換パラメータ （0 k, Tk X , Tk y， S k) で変換した基準座標系上の位置
(x, y) と注目位置 （ ， J') との距離が短いものから順番に選択した L 個の （k, i g, j g) の組の和を表す。
fV2"-F((xfy), (I，， J，））
{Robs(k, ir, j'r)-Lr(r, J')} 0
• · · (32)
ここで、 式 （32) における ∑ は、 注目位置 （ Γ, J') に対して、 k枚目 画像の赤色の成分を受光する画素の中心位置 （ i r一 0. 5, j r - 0. 5) を 変換パラメータ （01c， Tk X , T k y , S k) で変換した基準座標系上の位置 (x, y) と注目位置 （ ， J ' ) との距離が短いものから順番に選択した L 個の （k， i r , j r) の組の和を表す。
iV2"-F((x,y)( (Γ ））
{Bobs ( ib, jb)-Lb(IJ, J')} 0
(歐 X E)
• · - (3 3)
ここで、 式 （3 3) における ∑ は、 注目位置 （ , J ') に対して、 k枚目 画像の青色の成分を受光する画素の中心位置 （ i b— 0. 5 , j b - 0. 5) を 変換パラメータ （0 k， T k X , T k y， S k) で変換した基準座標系上の位置
( X , y ) と注目位置 （ , J ') との距離が短いものから順番に選択した L 個の （k, i b , j b) の組の和を表す。
図 2 6のフローチャートを参照して、 図 2のステップ S 4における画像推定処 理の第 5実施の形態について説明する。
初めに、 ステップ S 1 2 1において、 演算回路 24は、 基準座標系上のある位 置 （1 ' , J ' ) に注目する （以下、 注目位置 （1 ' , J ' ) と称する） 。 ここで、 注目位置 （ ， J ') は、 基準画像である 1枚目の撮像画像の 「 i番目、 j番 目の画素」 の画素中心 （ i _ 0. 5 , j - 0. 5) を表している。
ステップ S 1 2 1から S 1 2 2に進み、 演算回路 2 4は、 注目位置 （ Γ , J ') に対して、 k枚目画像の緑色の成分を受光する画素の中心位置 （ i g— O. 5, j g - 0. 5) を変換パラメータ （0 k， T k X , T k y， S k) で変換し た基準座標系上の位置 （x， y) 力 I ' - l≤ x < I ' + l , J ' - l≤y < J ' + 1を満たす （k， i g, j g) の組を、 1乃至 N枚目画像についてすべて求 め、 ステップ S 1 2 3に進む。
ステップ S 1 2 3において、 演算回路 2 4は、 ステップ S 1 2 2で求めたすべ ての （k, i g， j g) の組の中から、 注目位置 （ , J' ) に対して、 k枚 目画像の緑色の成分を受光する画素の中心位置 （ i g— 0. 5 , j g - 0. 5) を変換パラメータ （0 k， T k X , T k y， S k) で変換した基準座標系上の位 置 （x， y ) と注目位置 （ I '， J ' ) との距離が短い順に L個だけ （k， i g , j g) の組を選択し、 ステップ S I 24に進む。 即ち、 ステップ S 1 2 3では、 ステップ S 1 2 2で求めたすべての （k， i g, j g) の組のうち、 位置 （x， y) と注目位置 （ Γ， J') との距離が長いものが、 信頼性のないデータとし て破棄される。 なお、 ステップ S 1 2 2で求めたすべての （k, i g, j g) の 組が、 もともと L個に達していない場合には、 それらすベての （k, i g, j g) の組が選択される （破棄されない） 。
ステップ S 1 24において、 演算回路 2 4は、 ステップ S 1 2 3で選択した L 個の （k， i g , j g) の組を用いて、 式 （3 1 ) で表される緑色の光量のバネ 関係式を生成して、 ステップ S 1 2 5に進む。
ステップ S 1 2 5において、 演算回路 2 4は、 注目位置 （ Γ， J，） に対し て、 k枚目画像の赤色の成分を受光する画素の中心位置 （ i r一 0. 5 , j r - 0. 5) を変換パラメータ （0 k， T k X , T k y， S k) で変換した基準座標 系上の位置 （x， y) ί I ' - l≤ x < I ' + l , J'— 1≤y < J， + 1を満 たす （k, i r， j r) の組を、 1乃至 N枚目画像についてすべて求め、 ステツ プ S 1 26に進む。
ステップ S 1 2 6において、 演算回路 2 4は、 ステップ S 1 2 5で求めたすべ ての （k， i r , j r) の組の中から、 注目位置 （I '， J ' ) に対して、 k枚 目画像の赤色の成分を受光する画素の中心位置 （ i r一 0. 5， j r - 0. 5) を変換パラメータ （S k, T k X , T k y , S k) で変換した基準座標系上の位 置 （x， y ) と注目位置 （I '， J ' ) との距離が短い順に L個だけ （k , i r , j r ) の組を選択し、 ステップ S 1 2 7に進む。 即ち、 ステップ S 1 2 6では、 ステップ S 1 2 5で求めたすべての （k， i r， j r ) の組のうち、 位置 （x, y) と注目位置 （ , J ' ) との距離が長いものが、 信頼性のないデータとし て破棄される。 なお、 ステップ S 1 2 5で求めたすべての （k， i r , j r ) の 組が、 もともと L個に達していない場合には、 それらすベての （k, i r , j r ) の組が選択される （破棄されない） 。
ステップ S 1 2 7において、 演算回路 2 4は、 ステップ S 1 2 6で選択した L 個の （k， i r , j r ) の組を用いて、 式 （32) で表される赤色の光量のバネ 関係式を生成して、 ステップ S 1 28に進む。
ステップ S 1 28において、 演算回路 24は、 注目位置 （Γ， J') に対し て、 k枚目画像の青色の成分を受光する画素の中心位置 （ i b— 0. 5, j b- 0. 5) を変換パラメータ （0 k， T k X , Tk y, S k ) で変換した基準座標 系上の位置 （X , y ) カ、 I ' - l≤ x< I' + l , J'— l≤y< J' + lを満 たす （k， i b， j b) の組を、 1乃至 N枚目画像についてすべて求め、 ステツ プ S 1 29に進む。
ステップ S 129において、 演算回路 24は、 ステップ S 1 28で求めたすべ ての （k， i b , j b) の組の中から、 注目位置 （ ， J，） に対して、 k枚 目画像の青色の成分を受光する画素の中心位置 （ i b— 0. 5, j b - 0. 5) を変換パラメータ （S k， T k X , T ky, S k) で変換した基準座標系上の位 置 （X， y) と注目位置 （ I '， ） との距離が短い順に L個だけ （k， i b, j b) の組を選択し、 ステップ S 130に進む。 即ち、 ステップ S 1 29では、 ステップ S 128で求めたすべての （k， i b, j b ) の組のうち、 位置 （ x， y) と注目位置 （ ， J') との距離が長いものが、 信頼性のないデータとし て破棄される。 なお、 ステップ S 128で求めたすべての （k， i b, j b) の 組が、 もともと L個に達していない場合には、 それらすベての （k， i b， j b) の組が選択される （破棄されない） 。
ステップ S 1 30において、 演算回路 24は、 ステップ S 1 29で選択した L 個の （k， i b, j b) の組を用いて、 式 （33) で表される青色の光量のバネ 関係式を生成して、 ステップ S 1 31に進む。
ステップ S 131において、 演算回路 24は、 ステップ S 1 24で求めた式 (31) で表される緑色の光量のバネ関係式、 ステップ S 127で求めた式 (3 2) で表される赤色の光量のバネ関係式、 ステップ S 130で求めた式 （33) で表される青色の光量のパネ関係式を、 一次方程式として解くことにより、 注目 位置 （ Γ， J') における真の緑色の光量 L g ( , J') 、 真の赤色の光量 L r ( I ' , J') 、 および真の青色の光量 L b ( Ι ', J') をそれぞれ求め、 ステップ S 1 3 2に進む。
ステップ S 1 32において、 演算回路 24は、 すべての位置 （ ， J ' ) を 注目位置としたか、 即ち、 1枚目の撮像画像の画素の中心位置のすべてを注目位 置 （ ， J') として、 真の緑色の光量 L g ( I ' , J') 、 真の赤色の光量 L r ( I ' , J') 、 および真の青色の光量 L b ( I ' , J') を求めたか否かを判 定する。
ステップ S 1 32で、 すべての位置 （I '， J') を、 まだ注目位置としてい ないと判定された場合、 ステップ S 1 21に戻り、 ステップ S 1 2 1乃至 S 1 3 2の処理が繰り返される。 即ち、 演算回路 24は、 まだ注目していない位置 （I
，， j ' ) を次の注目位置 （ ι ' , j ' ) として、 注目位置 （ r， j ' ) における 真の緑色の光量 L g ( I ' , J') 、 真の赤色の光量 L r ( I ' , J') 、 および 真の青色の光量 L b ( I ' , J') をそれぞれ求める。
一方、 ステップ S 1 3 2で、 すべての位置.（I '， J') を注目位置としたと 判定された場合、 ステップ S 1 3 3に進み、 演算回路 24は、 ステップ S 1 3 1 で求めた真の緑色の光量 L g ( , J ' ) 、 真の赤色の光量 L r ( ， J ' ) 、 真の青色の光量 Lb ( ， J') から、 画像 （信号） を生成し、 D/Aコンバータ 9またはコーデック 1 2に出力画像として供給し、 処理を戻る。 例えば、 「 1番 目、 j番目の画素」 においては、 演算回路 24は、 緑色の値 （G信号） としてス テツプ S 1 3 1で求めた真の緑色の光量 L g ( i— 0. 5， j 一 0. 5) と、 赤 色の値 （R信号） としてステップ S 1 3 1で求めた真の赤色の光量 L r ( i —0. 5， j - 0. 5) と、 青色の値 （B信号） としてステップ S 1 3 1で求めた真の 青色の光量 L b ( i— 0. 5， j - 0. 5) とから、 「 i番目、 j番目の画素」 の画像信号を推定する。 そして、 演算回路 24は、 その推定を位置 （I '， J ，） を中心位置とする画素すべてについて行うことにより、 出力画像を推定する。 以上のように、 第 5実施の形態では、 注目位置 （ , J') に近い位置で観 測された画素値を信頼性の高いデータとして、 その信頼性の高いデータにのみ、 パネモデルを適用するようにしたので、 第 3実施の形態より本来の光に忠実で鮮 明な画像を求めることが可能となる。
次に、 画像推定処理の第 6実施の形態について説明する。
第 6実施の形態も、 上述した第 3実施の形態の一部を改良したものである。 即 ち、 第 6実施の形態では、 画像のエッジ部分を検出し、 検出したエッジ部分にあ る画素値に対して、 第 3実施の形態における式 （25) , 式 （26) , およぴ式 (27) で表される緑色、 赤色、 および青色の光量のパネ関係式を改良する。 図 27は、 緑色、 赤色、 および青色のうちの、 例えば、 緑色の成分 （G信号） に注目した基準座標系を示している。
図 27では、 境界 （エッジ） 5 1を境に、 右側に明るい緑色としての画素値が 観測されており、 左側に暗い緑色としての画素値が観測されている。 なお、 ここ では、 緑色の画素値が、 例えば、 8ビットで表されるものとして、 明るい緑色の 画素値を、 例えば、 240程度とするとともに、 暗い緑色の画素値を、 例えば、 16程度とする。
図 2 7において、 白丸 52— 1乃至 52— 1 0、 白丸 5 3— 1乃至 5 3— 9、 および白丸 54は、 ある k枚目画像の 「 i g番目、 ； j g番目の画素」 の中心位置 ( i g - 0. 5, j g - 0. 5) を変換パラメータ （0 k, T k x , T k y， S k) で変換した基準座標系上の位置を表し、 その位置で緑色の画素値 G o b s (k, i g, j g) が観測されている。 ここで、 （k, i g， j g) の組は、 白 丸 5 2— 1乃至 5 2— 1 0、 白丸 53— 1乃至 5 3— 9、 および白丸 54それぞ れにおいて異なるものである。
図 27中の点線で示される格子状の交点に配置される黒丸のそれぞれは、 演算 回路 24が真の緑色の光量 L g (Γ, J') を求めるべき位置 （1 ' , J') を 表している。 ここで、 位置 （I'， J') は、'上述したように、 基準画像である 1枚目画像における 「 i番目、 j番目の画素」 の画素中心 （ i—0. 5, j -0. 5) を表している。 また、 X方向と Y方向の L g ( , J') どうしの間隔は、 ともに 1であり、 従って、 画素の X方向と Y方向の大きさも、 ともに 1である。 さて、 図 2 7の領域 6 1に含まれる白丸 5 2— 1乃至 5 2— 8で表される位置 では、 24 0程度の明るい緑色の画素値 G o b s (k, i g, j g) が観測され る。
また、 図 2 7の領域 6 2に含まれる白丸 5 3— 1乃至 5 3— 7で表される位置 では、 1 6程度の喑ぃ緑色の画素値 G o b s (k, i g, j g) が観測される。 さらに、 図 2 7の白丸 5 4で表される位置は、 境界 5 1上の位置であり、 この 位置では、 オンチップレンズの効果により、 画素値 240の明るい緑色の光と、 画素値 1 6の暗い緑色の光とを同一光量だけ受光した画素値が観測される。 従つ て、 白丸 5 4の位置の画素値 G o b s (k , i g， j g) としては、 240と 1 6の平均となる 1 2 8 (= ( 24 0 + 1 6) / 2) が観測される。
なお、 上述の白丸 5 2 _ 1乃至 5 2— 8、 白丸 5 3— 1乃至 5 3— 7、 白丸 5 4で観測される画素値 G o b s (k, i g , j g) には、 通常、 誤差成分が含ま れるため、 正確には、 約 24 0、 約 1 6、 約 1 2 8と表現すべきであるが、 ここ では、 そのような誤差成分を無視して、 240、 1 6、 1 2 8と記载することと する。
ここで、 例えば、 図 2 7の黒丸 7 1の位置を注目位置 （1 ' , J ') とし、 上 述の第 3の実施の形態の方法により、 黒丸 7 1で表される注目位置 （ , J ') の真の緑色の光量 L g ( I ' , J ') を求める場合について考える。
即ち、 黒丸 7 1の位置を注目位置 （I '， J' ) とすると、 その周辺の、 白丸 5 2— 3、 5 2— 6、 5 2— 1 0、 5 4などの位置で観測される画素値 G o b s (k， i g, j g) 力 S、 式 （2 5) 中の G o b s (k, i g, j g) として採用 される。 この場合、 式 （2 5) を解くことにより得られる解である真の緑色の光 量 L g ( I ' , J' ) は、 白丸 5 4の位置で観測される画素値である 1 2 8に引 つ張られ （影響され） 、 24 0より小さな値となる。 しかしながら、 本来であれ ば、 黒丸 7 1の位置は、 画素値 240の明るい緑色の画素値が観測される、 境界 5 1の右側の位置であるので、 式 （2 5) を解くことにより得られる解である真 の緑色の光量 L g ( ， J') は、 24 0となるのが望ましい。 また、 黒丸 72の位置を注目位置 （ Γ， J') とすると、 その周辺の、 白丸 53— 2、 53 - 3 , 53 - 5, 53— 9、 54などの位置で観測される画素値 Go b s (k , i g , j g) 力 式 （ 25 ) 中の G o b s (k， i g, j g) と して採用される。 この場合、 式 （25) を解くことにより得られる解である真の 緑色の光量 L g ( I ' , J') は、 白丸 54の位置で観測される画素値である 1 28に引っ張られ （影響され） 、 16より大きなィ直となる。 しかしながら、 本来 であれば、 黒丸 72の位置は、 画素値 16の暗い緑色の画素値が観測される、 境 界 51の左側の位置であるので、 式 （25) を解くことにより得られる解である 真の緑色の光量 L g ( ， J') は、 16となるのが望ましい。
以上のことが、 黒丸 73、 黒丸 74の位置についても同様に言える。 つまり、 第 3実施の形態の画像推定処理により推定された画像は、 図 27の境界 51が存 在するエッジ部分では、 エッジがなだらかになり （隣接する画素の画素値の差が 小さくなり） ボケた画像となってしまうことがあり得る。
そこで、 第 6実施の形態では、 図 27の境界 5 1が存在するエッジ部分を検出 し、 そのエッジ部分にある画素値 G o b s (k, i g， j g ) に対して特別な処 理を行う、 即ち、 式 （25) で表される緑色の光量のバネ関係式に代入する画素 値 Go b s (k, i g， j g) を変更する。
第 6実施の形態の具体的な方法について、 図 27と同様に、 緑色の成分 （G信 号） に注目して説明する。
最初に、 演算回路 24は、 基準座標系上に変換された位置すベての画素値 Go b s (k, i g, j g) を用いてエッジ部分の検出を行う。 即ち、 演算回路 24 は、 「縦方向のエッジ」 、 「横方向のエッジ」 、 「左上から右下方向のエッジ」 、 「右下から左下方向のエッジ」 の 4つの方向のエッジそれぞれの有無を判定する。 図 28を参照して、 縦方向のエッジがあるかどうか判定する判定方法について 説明する。
図 28は、 基準座標系を示している。 そして、 図 28において、 白丸 81— 1 乃至 81— 10、 白丸 82— 1乃至 82-9, および白丸 83で表される位置は、 ある k枚目画像の 「 i g番目、 j g番目の画素」 の中心位置 （ i g— 0. 5, j g— 0. 5) を変換パラメータ （0 k, T k X , Tk y, S k ) で変換した基準 座標系上の位置を表し、 その位置で画素値 G o b s (k, i g, j g) が観測さ れている。 ここで、 （k, i g, ； j g) の組は、 白丸 8 1— 1乃至 8 1— 10、 白丸 8 2— 1乃至 8 2— 9、 および白丸 8 3それぞれにおいて異なるものである。 図 28中の点線で示される格子状の交点に配置される黒丸のそれぞれは、 演算 回路 24が真の緑色の光量 L g ( , J') を求めるべき位置 （Γ， J') を 表している。 ここで、 位置 （ , J') は、 上述したように、 基準画像である 1枚目画像における 「 i番目、 j番目の画素」 の画素中心 （ i 一 0. 5, j -0. 5) を表している。 また、 X方向と Y方向の L g ( ， J' ) どうしの間隔は、 図 27と同様に 1であり、 従って、 画素の X方向と Y方向の大きさも、 ともに 1 である。
演算回路 24は、 図 28中の白丸 8 3の位置などに注目し、 例えば、 図 28に 示されるエッジ 94のような、 縦方向のエッジがあるかどうかを判定する。 白丸 8 3の位置 （x， y) は、 式 I一 0. 5≤x < I +0. 5， J一 0. 5≤y < J + 0. 5を満たすもものとする。 図 28では、 白丸 8 3の位置 （x， y) は、 位 置 （1 +0. 5, J - 0. 5) を表す黒丸 84、 位置 （ I— 0. 5， J一 0. 5 ) を表す黒丸 85、 位置 （ 1 + 0. 5， J + 0..5) を表す黒丸 86、 位置 (1 -0. 5， J + 0. 5) を表す黒丸 8 7で囲まれる領域 A 1 1内の位置であ る。 ここで、 I , Jは、 これまでと同様に整数である。
演算回路 24は、 注目している白丸 83の位置を含む領域 A 1 1を中心とする、 画素の大きさと同じ 1ごとの、 9つの領域を定義する。 即ち、 9つの領域は、 I - 1. 5≤ X < I - 0. 5， J一 1. 5≤ y < J - 0. 5の領域 A 00、 I一 1. 5≤ X < I - 0. 5, J - 0. 5≤ y < J + 0. 5の領域 A 0 1、 I— 1 · 5≤ x < I - 0. 5, J + 0. 5≤ y < J + 1. 5の領域 A 0 2、 1—0. 5≤xく I + 0. 5, J - 1. 5≤ y < J - 0. 5の領域 A 1 0、 I— 0. 5≤ x < I + 0. 5， J— 0. 5≤ y < J + 0. 5の領域 A 1 1、 I - 0. 5≤ x < I + 0. 5 , J + 0. 5 ^yく J + l . 5の領域 A 1 2、 I + 0. 5≤ x < I + 1. 5 , J一 1. 5≤ y < J - 0. 5の領域 A 20、 I + 0. 5≤ x < I + 1. 5， J - 0. 5≤ y < J + 0. 5の領域 A 2 1、 I + 0. 5≤ x < I + 1. 5, J + 0. 5≤ y < J + 1. 5の領域 A 2 2、 である。 いま注目している白丸 8 3の位置は、 領域 A 1 1に含まれている。
ここで、 以上のように、 注目している白丸 8 3の位置に対して定義される 9つ の領域 AO 0乃至 A 2 2の全体を、 以下、 適宜、 エッジ判定領域と称する。
縦方向のエッジ 9 4があるかどうか判定するため、 演算回路 24は、 領域 AO 0、 領域 A 0 1、 領域 A 0 2の 1列で構成される、 エツジ判定領域の左側の領域 9 1 (以下、 左側領域 9 1と称する） 、 領域 A 1 0、 領域 A 1 1、 領域 A 1 2の 1列で構成される、 エッジ判定領域の中央の領域 9 2 (以下、 中央領域 9 2と称 する） 、 領域 A 20、 領域 A 2 1、 領域 A 2 2の 1列で構成される、 エッジ判定 領域の右側の領域 9 3 (以下、 右側領域 9 3と称する） 内それぞれに含まれる白 丸の位置の画素値 G o b s (k, i g， j g) の平均値と分散を求める。
即ち、 演算回路 24は、 左側領域 9 1内の白丸 8 2— 1乃至 8 2— 7の位置の 画素値 G o b s (k , i g, j g) の平均値 EG 0と分散 S G 0を求める。 また、 演算回路 24は、 中央領域 9 2内の白丸 8 1— 9、 8 1— 1 0、 8 2— 8乃至 8 2— 9、 および 8 3の位置の画素値 G o b s (k， i g， j g) の平均値 EG 0" を求める。 さらに、 演算回路 24は、 右側領域 9 3内の白丸 8 1— 1乃至 8 1一 8の位置の画素値 G o b s (k， i g , j g) 平均値 EG 0'と分散 S G 0 'を求める。
仮に、 注目している白丸 8 3の位置付近に、 縦方向のエッジ 94がある場合、 左側領域 9 1の平均値 EG 0、 中央領域 9 2の平均値 EG 0" 、 および右側領域 9 3の平均値 EG 0'には、 次式 （a) の関係が成り立つ。 そこで、 演算回路 2 4は、 式 （a) が成立するときに、 縦方向のエッジがあると判定する。
EG 0く EG 0" く E G 0 'または EG 0 'く EG 0 " く EG O
• ■ · (a) なお、 実際には、 エッジ 9 4以外の部分でも、 例えば、 被写体の細かな模様な どによるデータのばらつきにより、 上述の式 （a ) を満たす場合があり得るため、 演算回路 2 4は、 分散 S G O， S G O'を付加した次式が成り立つかどうか判定 することにより、 さらに確実に縦方向のエッジ 9 4があるかどうかを判定する。 即ち、 演算回路 24は、 式 （b) が成立するときに、 縦方向のエッジがあると判 定する。
EG O + SG Oぐ EG O" ぐ EG O'— SG O'
または EG 0， + S G 0， < EG 0" く EG O— S GO
• · · (b) 式 （b〉 によれば、 模様部分のように画素値にばらつきがあり、 分散 SG O, SG 0'が大となる部分については、 エッジがあると判定され難くなり、 誤判定 を防止することができる。
図 2 9を参照して、 横方向のエッジがあるかどうか判定する判定方法について 説明する。 なお、 図 2 8と対応する部分については、 同一の符号を付してあり、 以下では、 その説明は省略する。
横方向のエッジ 1 04があるかどうか判定するため、 演算回路 2 4は、 領域 A 00、 領域 A 1 0、 領域 A 2 0の 1列で構成される、 エツジ判定領域の上側の領 域 1 0 1 (以下、 上側領域 1 0 1と称する） 、 領域 A 0 1、 領域 A 1 1、 領域 A 2 1の 1列で構成されるエッジ判定領域の中央の領域 1 0 2 (以下、 中央領域 1 0 2と称する） 、 領域 AO 2、 領域 A 1 2、 領域 A 2 2の 1列で構成される、 ェ ッジ判定領域の下側の領域 1 0 3 (以下、 下側領域 1 0 3と称する） 内それぞれ に含まれる白丸の位置の画素値 G o b s (k， i g, j g) の平均値と分散を求 める。
即ち、 演算回路 24は、 上側領域 1 0 1内の白丸 8 1— 1乃至 8 1— 3、 8 1 — 1 0、 8 2— 1、 8 2— 2、 8 2— 9の位置の画素値 G o b s (k, i g , j g) の平均値 EG 1と分散 S G 1を求める。 また、 演算回路 24は、 中央領域 1 0 2内の白丸 8 1—4乃至 8 1— 6、 8 2— 3乃至 8 2— 5、 および 8 3の位置 の画素値 G o b s (k， i g， j g) の平均値 E G 1 " を求める。 さらに、 演算 回路 24は、 下側領域 1 0 3内の白丸 8 1 - 7乃至 8 1— 9、 8 2— 6乃至 8 2 一 8の位置の画素値 G o b s (k， i g, j g) 平均値 EG 1，と分散 S G 1 ' を求める。
仮に、 注目している白丸 8 3の位置付近に、 横方向のエッジ 1 04がある場合、 上側領域 1 0 1の平均値 E G 1、 中央領域 1 0 2の平均値 E G 1 " 、 および下側 領域 1 0 3の平均値 E G 1 'の関係として、 被写体の細かな模様などによるデー タのばらつきも考慮した次式 （c ) をたてる。 そして、 演算回路 24は、 式 (c) が成立するときに、 横方向のエッジがあると判定する。
EG 1 + S G 1 <EG 1 " <EG 1'— SG 1 '
または EG 1' +S G 1 ' < EG 1 " < EG 1— S G I
• · · (c ) 式 （c) によれば、 模様部分のように画素値にばらつきがあり、 分散 S G 1 ,
SG 1'が大となる部分については、 エッジがあると判定され難くなり、 誤判定 を防止することができる。 なお、 上述の式 （a) における場合と同様に、 分散を 考慮せずに、 平均値のみで、 横方向のエッジの有無を判定することも可能である。 図 3 0を参照して、 左上から右下方向のエッジがあるかどうか判定する判定方 法について説明する。 なお、 図 2 8と対応する部分については、 同一の符号を付 してあり、 以下では、 その説明は省略する。
左上から右下方向のエッジ 1 1 4があるかどうか判定するため、 演算回路 24 は、 領域 A 0 1、 領域 A 0 2、 領域 A 1 2の 1列で構成される、 エツジ判定領域 . の左下側の領域 1 1 1 (以下、 左下側領域 1 1 1と称する） 、 領域 AO 0、 領域
A l l , 領域 A 2 2の 1列で構成される、 エッジ判定領域の中央の領域 1 1 2 (以下、 中央領域 1 1 2と称する） 、 領域 A 1 0、 領域 A 20、 領域 A 2 1の 1 列で構成される、 エッジ判定領域の左上側の領域 1 1 3 (以下、 左上側領域 1 1
3と称する） 内それぞれに含まれる白丸の位置の画素値 G o b s (k， i g , j g) の平均値と分散を求める。 即ち、 演算回路 24は、 左下側領域 1 1 1内の白丸 8 1— 9、 8 2— 3乃至 8 2— 8の位置の画素値 G o b s (k, i g, j g) の平均値 EG 2と分散 S G 2 を求める。 また、 演算回路 24は、 中央領域 1 1 2内の白丸 8 1— 7、 8 1 - 8, 82— 1、 8 2- 2, および 8 3の位置の画素値 G o b s (k, i g， j g) の 平均値 EG 2" を求める。 さらに、 演算回路 24は、 右上側領域 1 1 3内の白丸 8 1 - 1乃至 8 1— 6、 8 1— 1 0、 および 82— 9の位置の画素値 G o b s (k, i g， j g) 平均値 EG 2'と分散 S G 2，を求める。
仮に、 注目している白丸 8 3の位置付近に、 左上から右下方向のエッジ 1 14 がある場合、 左下側領域 1 1 1の平均値 EG 2、 中央領域 1 1 2の平均値 EG 2" 、 および右上側領域 1 1 3の平均値 EG 2' の関係として、 被写体の細か な模様などによるデータのばらつきも考慮した次式 （d) をたてる。 そして、 演 算回路 24は、 式 （d) が成立するときに、 左上から右下方向のエッジがあると 判定する。
EG 2 + SG 2ぐ EG 2" ぐ EG 2'— SG2'
または EG 2' + S G 2 'く EG 2 " く EG 2— S G 2
• · · (d) 式 （d) によれば、 模様部分のように画素値にばらつきがあり、 分散 SG 2, SG 2'が大となる部分については、 エッジがあると判定され難くなり、 誤判定 を防止することができる。 なお、 上述の式 （a) における場合と同様に、 分散を 考慮せずに、 平均値のみで、 左上から右下方向のエッジの有無を判定することも 可能である。
図 3 1を参照して、 右上から左下方向のエッジがあるかどうか判定する判定方 法について説明する。 なお、 図 28と対応する部分については、 同一の符号を付 してあり、 以下では、 その説明は省略する。
右上から左下方向のエッジ 1 24があるかどうか判定するため、 演算回路 24 は、 領域 A 00、 領域 A 0 1、 領域 A 10の 1列で構成される、 ェッジ判定領域 の左上側の領域 1 2 1 (以下、 左上側領域 1 2 1と称する） 、 領域 AO 2、 領域 A 1 1、 領域 A 2 0の 1列で構成される、 エツジ判定領域の中央の領域 1 2 2
(以下、 中央領域 1 2 2と称する） 、 領域 A 1 2、 領域 A 2 1、 領域 A 2 2の 1 列で構成される、 エッジ判定領域の右下側の領域 1 2 3 (以下、 右下側領域 1 2 3と称する） 内それぞれに含まれる白丸の位置の画素値 G o b s (k, i g, j g) の平均値と分散を求める。
即ち、 演算回路 2 4は、 左上側領域 1 2 1内の白丸 8 1— 1 0、 8 2— 1乃至 8 2— 5、 8 2- 9の位置の画素値 G o b s (k， i g， j g) の平均値 E G 3 と分散 SG 3を求める。 また、 演算回路 24は、 中央領域 1 2 2内の白丸 8 1— 1乃至 8 1— 3、 8 2— 6、 8 2— 7、 および 8 3の位置の画素値 G o b s (k, i g, j g) の平均値 EG 3 " を求める。 さらに、 演算回路 24は、 右下側領域 1 2 3内の白丸 8 1—4乃至 8 1— 9、 8 2— 8の位置の画素値 G o b s (k, i g, j g) 平均値 EG 3'と分散 S G 3'を求める。
仮に、 注目している白丸 8 3の位置付近に、 右上から左下方向のエッジ 1 24 がある場合、 左上側領域 1 2 1の平均値 E G 3、 中央領域 1 2 2の平均値 E G 3" 、 および右下側領域 1 2 3の平均値 EG 3' の関係として、 被写体の細か な模様などによるデータのばらつきも考慮した次式 （e) をたてる。 そして、 演 算回路 24は、 式 （e) が成立するときに、 右上から左下方向のエッジがあると 判定する。
EG 3 + SG 3ぐ EG 3" <EG 3' - SG 3'
または EG 3' + S G 3 'く EG 3 " く EG 3— S G 3
. • ■ • (e) 式 （e〉 によれば、 模様部分のように画素値にばらつきがあり、 分散 SG 1 , SG 1 'が大となる部分については、 エッジがあると判定され難くなり、 誤判定 を防止することができる。 なお、 上述の式 （a) における場合と同様に、 分散を 考慮せずに、 平均値のみで、 右下から左下方向のエッジの有無を判定することも 可能である。
図 2 8乃至図 3 1で説明したように、 演算回路 24は、 「縦方向」 、 「横方 向」 、 「左上から右下方向」 、 「右下から左下方向」 の 4つの方向について、 ェ ッジがあるかどう力 \ 即ち、 上述の式が成り立つかどうかを判定する。 なお、 演 算回路 24は、 緑色のみならず、 他の赤色と青色それぞれについても同様に、 ェ ッジの有無を判定する。
ここで、 4つの方向のエッジのうち、 複数の方向のエッジについて、 上述の式 が成り立つことも考えられる。 しかしながら、 実際のエッジは 1つであるので、 その場合、 一番顕著な方向のエッジのみを採用し、 その他の方向のエッジはない ものとする。
具体的には、 例えば、 演算回路 24は、 エッジが検出された複数の方向につい て、
| (EGm，一 EGm) ÷ (S Gm' + S Gm) |
(m= 0乃至 3のいずれか） を演算し、 その演算結果が一番大となる mを決定す る。 そして、 その mが、 0であれば 「縦方向のエッジ」 を、 1であれば 「横方向 のエッジ」 を、 2であれば 「左上から右下方向のエッジ」 を、 3であれば 「右下 から左下方向のエッジ」 を、 それぞれ、 一番顕著な方向のエッジとして採用する。 ここで、 | x | は、 Xの絶対値を表す。
次に、 注目した位置について検出されたエッジの方向に応じて、 そのエッジ部 分にある、 注目した位置で観測された画素値 G o b s (k， i g, j g) に対し て演算回路 24が行う特別な処理について説明する。
特別な処理とは、 式 （2 5) で表される緑色の光量のバネ関係式に画素値 G o b s (k, i g, j g) を代入する場合に、 エッジ部分と判定された位置で観測 された画素値 G o b s (k, i g , j g) については、 代入する画素値 G o b s (k, i g, j g) を変更する処理である。
代入する画素値 G o b s (k， i g， j g) を変更する処理としては、 例えば、 以下の第 1の処理や第 2の処理を採用することができる。
例えば、 第 1の処理では、 注目している、 例えば、 図 2 8乃至図 3 1の白丸 8 3の位置にエッジが検出された場合、 その位置の画素値 G o b s (k, i g , j g) を破棄する。 即ち、 式 （2 5) で表される緑色の光量のパネ関係式に、 エツ ジが検出された位置の画素値 G o b s (k , i g , j g) を含ませない。 この場 合、 図 2 2 (図 2 3) で説明したパネモデルにおいては、 間違った方向 （光量） に引っ張るパネがなくなることになる。 従って、 より正確な （鮮明な） L g ( I ' , J ') を求めることができる。
第 2の処理では、 注目している、 例えば、 図 2 8乃至図 3 1の白丸 8 3の位置 の画素値 G o b s (k, i g， j g) を、 上述したエッジの検出において、 注目 している位置について定義したエッジ判定領域を構成する 9つの領域 AO 0乃至 • A 2 2で観測されている画素値 G o b s (k， i g， j g) を用いて他の値に置 き換え、 式 （2 5) で表される緑色の光量のパネ関係式に代入する。
• 以下に、 第 2の処理を具体的に説明する。
図 3 2は、 図 2 8で示した、 「縦方向のエッジ」 が検出された場合の、 注目し ている白丸 8 3の位置を含む領域 A 1 1を示している。 図中の、 1軸は基準座標 系における X方向を、 X方向と垂直な軸が基準座標系における Y方向を、 X方向 および Y方向と垂直な軸が画素値を、 それぞれ表している。
図 3 2では、 エッジ判定領域について求められた平均値 EG 0, EG O' , E G O" と分散 S G 0， S G O'カ、 式 「EG 0，+ S G 0，く EG O" く EG O— S G 0」 を満たし、 従って、 「縦方向のエッジ」 が存在している。
この場合、 黒丸 8 5の位置 （I一 0. 5， J - 0. 5) における真の緑色の光 量 L g ( 1 - 0. 5 , J - 0. 5) と、 黒丸 8 7の位置 （ 1— 0. 5， J +.0. 5〉 における真の緑色の光量 L g ( 1 - 0. 5， J + 0. 5) とは、 注目してい る白丸 8 3の位置 （X , y) で観測される画素値 G o b s (k, i g， j g) よ りも大きいと考えられる。 また、 黒丸 8 5の位置 （1 — 0. 5 , J - 0. 5) に おける真の緑色の光量 L g ( 1 - 0. 5， J— 0. 5) 、 または黒丸 8 7の位置 ( 1 - 0. 5， J + 0. 5) における真の緑色の光量 L g ( 1 — 0. 5， J + 0. 5) それぞれと、 白丸 8 3の位置 （X , y ) の画素値 G o b s (k， i g, j g) との光量 （画素値） の差は、 平均値 EG 0と EG 0'との差 （EG O— EG 0' ) に依存する。
また、 黒丸 8 4の位置 （1 + 0. 5， J一 0. 5) における真の緑色の光量 L g ( 1 + 0. 5， J - 0. 5) と、 黒丸 8 6の位置 （ 1 + 0. 5， J + 0. 5) における真の緑色の光量 L g ( 1 + 0. 5 , J + 0. 5) とは、 注目している白 丸 8 3の位置 （X , y) で観測ざれる画素値 G o b s (k, i g, j g) よりも 小さいと考えられる。 また、 黒丸 84の位置 （1 + 0. 5， J - 0. 5) におけ る真の緑色の光量 L g ( 1 + 0. 5 , J— 0. 5) 、 または黒丸 8 6の位置 （I + 0. 5, J + 0. 5) における真の緑色の光量 L g ( 1 + 0. 5， J + 0. 5) それぞれと、 白丸 8 3の位置 （x， y ) の画素値 G o b s, (k, i g， j g) との光量 （画素値） の差は、 平均値 EG Oと EG O'との差 （EG O—EG Ο') に依存する。
そこで、 演算回路 24は、 注目している白丸 8 3の位置 （x， y) の画素値 G o b s (k， i g， j g) を通り、 X方向に傾き pの平面 Q 1を求める。 ここで、 p = (EG 0 -EG 0' ) ÷ 2である。 つまり、 傾き： は、 図 2 8の左側領域 9 1の画素値の平均値 E G 0と右側領域 9 3の画素値の平均値 E G 0 'との差を、 左側領域 9 1と右側領域 9 2との X方向の中心位置どうしの距離である 2で除算 して求められる。 傾き pは、 縦方向のエッジ部分における、 そのエッジと垂直な 方向の光量 （画素値） の変化の度合い、 つまり、 エッジの傾きを表す。
そして、 演算回路 24は、 黒丸 8 5の位置 （1 — 0. 5, J— 0. 5) におけ る平面 Q 1上の値 （画素値） を求め、 その値を画素値 G o b s 0 (k， i g, j g) とする。 また、 演算回路 24は、 黒丸 8 7の位置 （1 — 0. 5, J + 0. 5) における平面 Q 1上の値 （画素値） を求め、 その値を画素値 G o b s i (k, i g, j g) とする。 同様に、 演算回路 2 4は、 黒丸 84の位置 （ I + 0. 5， J一 0. 5) における平面 Q 1上の値 （画素値） と、 および黒丸 8 6の位置 （I + 0. 5, J + 0. 5) における平面 Q 1上の値 （画素値） を求め、 それぞれの 値を画素値 G o b s 2 (k, i g， j g) と、 画素値 G o b s 3 ( k , i g， j g) とする。 ここで、 平面 Q lは、 X方向についてのみ傾き pを有しているので、 画素値 G o b s O (k, i g , j g) と画素値 G o b s 1 (k , i g, j g) とは等しく、 また、 画素値 G o b s 2 (k, i g, j g) と画素値 G o b s 3 (k， i g， j g) とは等しい。
さて、 第 3実施の形態では、 図 2 2に示したように、 ある位置 （Γ , J') に おける真の緑色の光量 L g (Γ， J') 力 その周辺の位置で観測された画素 値 G o b s (k , i g , j g) とつりあっている状態を表すパネモデルを考える ことにより、 式 （2 5) をたてる。 位置 （Γ, J' ) の周辺の位置で観測された 画素値 G o b s (k， i g, j g) とは、 k枚目画像の座標系における位置 （ i g - 0. 5， j g - 0. 5) を変換パラメータ （0 k, T k x , T k y , S k) で変換した基準座標系上の位置 （x, y) 力 I ' - l≤ x < I ' + l , J，一 1 ≤yく J' + 1を満たす （k, i g, ： j g) の組の画素値 G o b s (k， i g， j g) である。
図 3 2において、 例えば、 黒丸 84の位置 （I + 0. 5 , J— 0. 5) を、 位 置 （ ， J') として注目した場合、 黒丸 8 4の位置の周辺の位置で観測される 画素値 G o b s (k， i g， j g) として、 白丸 8 3の位置 （x， y ) の画素値 G o b s (k, i g, j g) が含まれる。 従って、 第 3実施の形態では、 式 （2 5) に、 白丸 8 3の位置 （X , y) の画素値 G o b s (k , i g， j g) が代入 される。
これに対して、 第 6実施の形態では、 白丸 8 3の位置 （X , y) の画素値 G o b s (k， i g , j g) の代わりに、 注目している黒丸 8 4の位置 （ I + 0. 5， J一 0. 5) における平面 Q l上の値 （画素値） である画素値 G o b s 2 (k, i g, j g) 力 式 （2 5) に代入される。
また、 黒丸 8 5の位置 （1 — 0. 5 , J -0. 5) を、 位置 （Γ, J' ) とし て注目した場合、 白丸 8 3の位置 （X , y) の画素値 G o b s (k, i g， j g) の代わりに、 注目している黒丸 8 5の位置 （ I一 0· 5, J - 0. 5) にお ける平面 Q 1上の値 （画素値） である画素値 G o b s 0 (k, i g， j g) 力 式 （2 5) に代入される。
さらに、 黒丸 8 6の位置 （1 + 0. 5 , J + 0. 5) を、 位置 （ , J' ) と して注目した場合、 白丸 8 3の位置 （x， y) の画素値 G o b s (k, i g， j g) の代わりに、 注目している黒丸 8 6の位置 （1 + 0. 5, J + 0. 5) にお ける平面 Q 1上の値 （画素値） である画素値 G o b s 3 (k, i g， j g) 力 式 （2 5) に代入される。
また、 黒丸 8 7の位置 （1 — 0. 5， J + 0. 5) を、 位置 （ , J，） とし て注目した場合、 白丸 8 3の位置 （x， y) の画素値 G o b s (k， i g， j g) の代わりに、 注目している黒丸 8 7の位置 （ I一 0. 5, J + 0. 5) にお ける平面 Q 1上の値 （画素値） である画素値 G o b s i (k, i g， j g) 力 式 （2 5) に代入される。
以上のように、 縦方向のエッジ （緑色の光量の急峻な変化） がある位置で観測 された画素値 G o b s (k, i g , j g) (図 3 2の白丸 8 3の位置の画素値） を、 そのエッジの傾き （急峻度合い） pに応じた画素値 （G o b s 0 (k， i g , j g) , G o b s l (k， i g, j g) , G o b s 2 (k , i g, j g) 、 また は G o b s 3 (k, i g , j g) ) に変更 （補正） し、 その変更した画素値を式 (2 5) に代入することにより、 バネモデルにおいて、 図 2 3における物体 Vと しての L g ( ， J' ) が適切な位置に引っ張られ、 より正確な （鮮明な） 真 の緑色の光量 L g ( , J ') を求めることができる。
図 3 3は、 図 2 9で示した、 「横方向のエッジ」 が検出された場合の、 注目し ている白丸 8 3の位置を含む領域 A l 1を示している。 図中の、 1軸は基準座標 系における X方向を、 X方向と垂直な軸が基準座標系における Y方向を、 X方向 および Y方向と垂直な軸が画素値を、 それぞれ表している。
図 3 3では、 エッジ判定領域について求められた平均値 EG 1 , EG 1' , E G 1 " と分散 S G I , S G I '力 式 「EG 1 ' + S G 1，く EG 1 " く EG 1— S G 1」 を満たし、 従って、 「横方向のエッジ」 が存在している。
この場合、 黒丸 8 4の位置 （1 + 0. 5， J - 0. 5) における真の緑色の光 量 L g ( I + 0. 5， J一 0. 5) と、 黒丸 8 5の位置 （1— 0. 5, J— 0. 5) における真の緑色の光量 L g (1 -0. 5, J - 0. 5) とは、 注目してい る白丸 83の位置 （X , y) で観測される画素値 G o b s (k，. i g， j g) よ りも大きいと考えられる。 また、 黒丸 84の位置 （1 +0. 5， J一 0. 5) に おける真の緑色の光量 L g ( 1 + 0. 5， J一 0. 5) 、 または黒丸 8 5の位置 ( 1— 0. 5， J一 0. 5) における真の緑色の光量 L g (1—0. 5, J - 0. 5) と、 白丸 8 3の位置 （X , y ) の画素値 G o b s (k , i g , j g ) との光 量 （画素値） の差は、 平均値 EG 1と EG 1，との差 （EG 1—EG 1') に依 存する。 ，
また、 黒丸 8 6の位置 （1 +0. 5, J + 0. 5) における真の緑色の光量 L g (1 +0. 5， J + 0. 5) と、 黒丸 8 7の位置 （ 1—0. 5， J + 0. 5) における真の緑色の光量 L g ( 1—0. 5, J + 0. 5) とは、 注目している白 丸 83の位置 （x， y ) で観測される画素値 G o b s (k , i g， j g ) よりも 小さいと考えられる。 また、 黒丸 86の位置 （1 + 0. 5 , J + 0. 5) におけ る真の綠色の光量 L g (1 + 0. 5, J + 0. 5) 、 または黒丸 8 7の位置 （I 一 0. 5， J + 0. 5) における真の緑色の光量 L g (1 -0. 5， J + 0.
5) それぞれと、 白丸 8 3の位置 （X , y ) の画素値 G o b s (k, i g， j g) との光量 （画素値） の差は、 平均値 EG 1と EG 1， との差 （EG 1— EG
1') に依存する。
そこで、 演算回路 24は、 注目している白丸 8 3の位置 （X , y ) の画素値 G o b s (k, i g, j g) を通り、 Y方向に傾き！）の平面 Q 2を求める。 ここで、 p = (EG 1 -EG 1') ÷ 2である。 つまり、 傾き ρは、 図 29の上側領域 1 0 1の画素値の平均値 E G 1と下側領域 1 03の画素値の平均値 E G 1 'との差 を、 上側領域 1 0 1と下側領域 1 03の y方向の中心位置どうしの距離である 2 で除算して求められる。 傾き pは、 横方向のエッジ部分における、 そのエッジと 垂直な方向の光量 （画素値） の変化の度合い、 つまり、 エッジの傾きを表す。 そして、 演算回路 24は、 黒丸 85の位置 （1—0. 5, J— 0. 5) におけ る平面 Q 2上の値 （画素値） を求め、 その値を画素値 G o b s 0 (k， i g， j g) とする。 また、 演算回路 24は、 黒丸 8 7の位置 （I一 0. 5， J + 0. 5) における平面 Q 2上の値 （画素値） を求め、 その値を画素値 G o b s i (k， i g， j g) とする。 同様に、 演算回路 24は、 黒丸 84の位置 （ I + 0. 5 , J - 0. 5) における平面 Q 2上の値 （画素値） と、 および黒丸 8 6の位置 （I + 0. 5 , J + 0. 5) における平面 Q 2上の値 （画素値） を求め、 それぞれの 値をそれぞれ画素値 G o b s 2 (k， i g, j g) 、 画素値 G o b s 3 ( k , i g， j g) とする。
ここで、 平面 Q 2は、 Y方向【こついてのみ傾き pを有しているので、 画素値 G o b s 0 (k， i g， j g) と画素値 G o b s 2 (k, i g, j g) とは等しく、 また、 画素値 G o b s 1 (k， i g, j g) と画素ィ jiG o b s 3 (k, i g , j g) とは等しい。
「横方向のエッジ」 においても、 図 3 2の 「縦方向のエッジ」 の場合と同様に、 黒丸 8 4の位置 （1 + 0. 5， J一 0. 5) を、 位置 （Γ , J' ) として注目し た場合、 白丸 8 3の位置 （X， y) の画素値 G o b s (k, i g, j g) の代わ りに、 注目している黒丸 84の位置 （1 + 0. 5， J一 0. 5) における平面 Q 2上の値 （画素値） である画素値 G o b s 2 (k， i g, j g) 力 式 （2 5) に代入される。
また、 黒丸 8 5の位置 （I一 0. 5 , J -0. 5) を、 位置 （ , J' ) とし て注目した場合、 白丸 8 3の位置 （x， y) の画素値 G o b s (k, i g , j g) の代わりに、 注目している黒丸 8 5の位置 （ 1— 0. 5， J一 0. 5) にお ける平面 Q 2上の値 （画素値） である画素値 G o b s 0 (k， i g, j g) 力 式 （2 5) に代入される。
さらに、 黒丸 8 6の位置 （ I + 0. 5 , J + 0. 5 ) を、 位置 （1'， J' ) と して注目した場合、 白丸 8 3の位置 （x， y) の画素値 G o b s (k, i g， j g) の代わりに、 注目している黒丸 8 6の位置 （1 + 0. 5, J + 0. 5) にお ける平面 Q 2上の値 （画素値） である画素値 G o b s 3 (k, i g, j g) 力 式 （25) に代入される。
また、 黒丸 8 7の位置 （1—0. 5, J + 0. 5) を、 画素値 （Γ， Γ) と して注目した場合、 白丸 83の位置 （X , y) の画素値 G o b s (k， i g, j g) の代わりに、 位置 （x, y) の黒丸 8 7位置 （x， y) のにおける平面 Q 2 上の値 （画素値） である画素値 G o b s 1 (k， i g, j g) 力 式 （25) に 代入される。
以上のように、 横方向のエッジ （緑色の光量の急峻な変化） がある位置で観測 された画素値 G o b s (k， i g， j g) (図 33の白丸 8 3の位置の画素値） を、 そのエッジの傾き （急峻度含い） pに応じた画素値 （Go b s 0 (k， i g， j g) ， G o b s l (k， i g， j g) , G o b s 2 (k， i g， j g) 、 また は Go b s 3 (k, i g, j g) ) に変更 （補正） し、 その変更した画素値を式 (25) に代入することにより、 バネモデルにおいて、 図 23における物体 Vと しての L g ( ， J') が適切な位置に引っ張られ、 より正確な （鮮明な） 真 の緑色の光量 L g ( I ' , J') を求めることができる。
図 34は、 図 30で示した、 「左上から右下方向のエッジ」 が検出された場合 の、 注目している白丸 8 3の位置を含む領域 A 1 1を示している。 図中の、 1軸 は基準座標系における X方向を、 X方向と垂直な軸が基準座標系における Y方向 を、 X方向および Y方向と垂直な軸が画素値を、 それぞれ表している。
図 34では、 エッジ判定領域について求められた平均値 EG 2， EG 2' , E G 2" と分散 SG 2， SG 2 '力 式 「EG 2 + SG 2く EG 2" < E G 2 ' -
SG 2'」 を満たし、 従って、 「左上から右下方向のエッジ J が存在している。 .. この場合、 黒丸 84の位置 （1 + 0. 5， J - 0. 5) における真の緑色の光 量 L g ( 1 +0. 5, J -0. 5) は、 注目している白丸 8 3の位置 （X , y ) で観測される画素値 G o b s (k， i g, j g) よりも大きいと考えられる。 ま た、 黒丸 84の位置 （1 +0. 5, J - 0. 5) における真の緑色の光量 L g ( 1 + 0. 5， J - 0. 5) と、 白丸 8 3の位置 （X , y ) の画素値 G o b s (k, i g , j g) との光量 （画素値） の差は、 平均値 EG 2，と EG 2との差 (EG 2' -EG 2) に依存する。
また、 黒丸 8 7の位置 （ I一 0. 5， J + 0. 5) における真の緑色の光量 L g ( 1 - 0. 5 , J + 0. 5) は、 注目している白丸 8 3の位置 （X , y ) で観 測される画素値 G o b s (k , i g , j g) よりも小さいと考えられる。 また、 黒丸 8 7の位置 （1 —0. 5 , J + 0. 5) における真の緑色の光量 L g ( I - 0. 5 , J + 0. 5) と、 白丸 8 3の位置 （x， y ) の画素値 G o b s (k， i g , j g) との光量 （画素値） の差は、 平均値 EG 2'と EG 2との差 （EG 2 ，一 EG 2) に依存する。
そこで、 演算回路 24は、 注目している白丸 8 3の位置 （X , y ) の画素値 G o b s (k， i g， j g) を通り、 黒丸 8 4の位置 （1 + 0. 5, J一 0. 5) と黒丸 8 7の位置 （ I一 0. 5 , J + 0. 5) を結ぶ領域 A 1 1の対角方向に傾 き pの平面 Q 3を求める。 ここで、 p = (EG 2' -EG 2) ÷ 2V"2である。 つまり、 傾き！）は、 図 3 0の右上側領域 1 1 3の画素値の平均値 E G 2 'と左下 側領域 1 1 1の画素値の平均値 E G 2との差を、 黒丸 84の位置 （ I + 0. 5 , J - 0. 5) .と黒丸 8 7の位置 （ I一 0. 5， J + 0. 5 ) を結ぶ領域 A 1 1の 対角方向の、 右上側領域 1 1 3·の領域 A 2 0と左下側領域 1 1 1の領域 A 0 2と の中心位置どうし (^距離である 2 2で除算して求められる。 傾き pは、 左上か 右下方向のエッジ部分における、 そのエッジと垂直な方向の光量 （画素値） の 変化の度合い、 つまり、 エッジの傾きを表す。
そして、 演算回路 24は、 黒丸 8 5の位置 （1 — 0. 5， J一 0. 5) におけ る平面 Q 3上の値 （画素値） を求め、 その値を画素値 G o b s 0 (k, i g, j g) とする。 また、 演算回路 24ば、 黒丸 8 7の位置 （1 — 0. 5， J + 0. 5) における平面 Q 3上の値 （画素値） を求め、 その値を画素値 G o b s i (k， i g, j g) とする。 同様に、 演算回路 2 4は、 黒丸 84の位置 （I .+ 0. 5, J一 0. 5) における平面 Q 3上の値 （画素値） と、 および黒丸 8 6の位置 （I + 0. 5 , J + 0. 5) における平面 Q 3上の値 （画素値） を求め、 それらの値 をそれぞれ画素値 G o b s 2 (k, i g, j g) と、 画素値 G o b s 3 (k， i g， j g) とする。
ここで、 平面 Q 3は、 黒丸 84の位置 （1 + 0. 5 , J〜 0. 5) と黒丸 8 7 の位置 （1 _ 0. 5, J + 0. 5) を結ぶ領域 A 1 1の対角方向についてのみ傾 き pを有しているので、 画素値 G o b s O (k , i g , j g) と画素ィ直 G o b s 3 (k, i g, j g) とは等しい。
「左上から右下方向のエッジ」 においても、 図 3 2の 「縦方向のエッジ」 の場 合と同様に、 黒丸 8 4の位置 （1 + 0. 5 , J— 0. 5) を、 位置 （Γ， J' ) として注目した場合、 白丸 8 3の位置 （X , y) の画素値 G o b s (k， i g， j g) の代わりに、 注目している黒丸 84の位置 （1 + 0. 5， J一 0. 5) に おける平面 Q 3上の値 （画素値） である画素値 G o b s 2 (k， i g , j g) 力 式 （2 5) に代入される。
また、 黒丸 8 5の位置 （1 — 0. 5， J— 0. 5) を、 位置 （1' , J' ) とし て注目した場合、 白丸 8 3の位置 （x， y ) の画素値 G o b s (k, i g， j g) の代わりに、 注目している黒丸 8 5の位置 （ I一 0. 5， J - 0. 5) にお ける平面 Q 3上の値 （画素値） である画素値 G o b s 0 (k, i g, j g) 力 式 （2 5) に代入される。
さらに、 黒丸 8 6の位置 （ 1 + 0. 5， J + 0. 5) を、 位置 （Γ， J' ) と して注目した場合、 白丸 8 3の位置 （X , y) の画素値 G o b s (k， i g， j g) の代わりに、 注目している黒丸 8 6の位置 （ 1 + 0. 5, J + 0. 5) にお ける平面 Q 3上の値 （画素値） である画素値 G o b s 3 (k, i g， j g) 力 式 （2 5) に代入される。
また、 黒丸 8 7の位置 （1 — 0. 5 , J + 0. 5) を、 位置 （I，， J' ) とし て注目した場合、 白丸 8 3の位置 （x， y) の画素値 G o b s (k， i g, j g) の代わりに、 注目している黒丸 8 7の位置 （ 1— 0. 5， J + 0. 5) にお ける平面 Q 3上の値 （画素値） である画素値 G o b s 1 (k, i g， j g) 力 式 （2 5) に代入される。
以上のように、 左上から右下方向のエッジ （緑色の光量の急峻な変化） がある 位置で観測された画素値 G o b s (k, i g, j g) (図 34の白丸 8 3の位置 の画素値） を、 そのエッジの傾き （急峻度合い） pに応じた画素値 （G o b s 0 (k , i g， j g ) , G o b s 1 ( k , i g, j g) , G o b s 2 (k, i g， j g) 、 または G o b s 3 (k， i g , j g) ) に変更 （補正） し、 その変更し た画素値を式 （2 5) に代入することにより、 バネモデルにおいて、 図 2 3にお ける物体 Vとしての L g ( I ' , J' ) が適切な位置に引っ張られ、 より正確な (鮮明な） 真の緑色の光量 L g ( , J ') を求めることができる。
図 3 5は、 図 3 1で示した、 「右上から左下方向のエッジ」 が検出された場合 の、 注目している白丸 8 3の位置を含む領域 A 1 1を示している。 図中の、 1軸 は基準座標系における X方向を、 X方向と垂直な軸が基準座標系における Y方向 を、 X方向および Y方向と垂直な軸が画素値を、 それぞれ表している。
図 3 5では、 エッジ判定領域について求められた平均値 EG 3, EG 3' , E G 3" と分散 S G 3， S G 3'力 式 「EG 3' + S G 3'く EG 3" く EG 3— SG 3」 を満たし、 従って、 「右上から左下方向のエッジ」 が存在している。 この場合、 黒丸 8 5の位置 （ 1 — 0. 5, J— 0. 5) における真の緑色の光 量 L g ( 1 —0. 5， J一 0. 5) は、 注目している白丸 8 3の位置 （X , y ) で観測される画素値 G o b s (k, i g， j g) よりも大きいと考えられる。 ま た、 黒丸 8 5の位置 （1 — 0. 5， J— 0. 5) における真の緑色の光量 L g ( 1 — 0. 5 , J - 0. 5) と、 白丸 8 3の位置 （X , y ) の画素値 G o b s (k， i g， j g) との光量 （画素値） の差は、 平均値 EG 3と EG 3 'との差 (EG 3— EG 3，） に依存する。
また、 黒丸 8 6の位置 （1 + 0. 5 , J + 0. 5) における真の緑色の光量 L g ( 1 + 0. 5 , J + 0. ' 5) は、 注目している白丸 8 3の位置 （X , y ) で観 測される画素値 G o b s (k , i g, j g〉 よりも小さいと考えられる。 また、 黒丸 8 6の位置 （1 + 0. 5， J + 0. 5) における真の緑色の光量 L g ( I + 0. 5 , J + 0. 5) と、 白丸 8 3の位置 （x， y ) の画素値 G o b s (k， i g， j g) との光量 （画素値） の差は、 平均値 EG 3と EG 3'との差 （E G 3 -EG 3' ) に依存する。
そこで、 演算回路 24は、 注目している白丸 8 3の位置 （X , y) の画素値 G o b s (k, i g, j g) を通り、 黒丸 8 5の位置 （ I一 0. 5, J— 0. 5) と黒丸 86の位置 （ I + 0. 5 , J + 0. 5) を結ぶ領域 A 1 1の対角方向に傾 き pの平面 Q4を求める。 ここで、 p = (EG 3 -E G 3 ' ) ÷ 2 2である。 つまり、 傾き Pは、 図 3 1の左上側領域 1 2 1の画素値の平均値 E G 3と右下側 領域 1 23の画素値の平均値 E G 3 'との差を、 黒丸 8 5の位置 （ I一 0. 5， J一 0. 5) と黒丸 86の位置 （ 1 + 0. 5， J + 0. 5) を結ぶ領域 A 1 1の 対角方向の、 左上側領域 1 21の領域 A 00と右下側領域 1 2 3の領域 A 22と の中心位置どうしの距離である 2 "2で除算して求められる。 傾き pは、 右上か ら左下方向のエツジ部分における、 そのエッジと垂直な方向の光量 （画素値） の 変化の度合い、 つまり、 エッジの傾きを表す。
そして、 演算回路 24は、 黒丸 8 5の位置 （I一 0. 5, J— 0. 5) におけ る平面 Q 4上の値 （画素値） を求め、 その値を画素値 G o b s 0 (k， i g, j g) とする。 また、 演算回路 24は、 黒丸 87の位置 （1—0. 5, J + 0.
5) における平面 Q 4上の値 （画素値） を求め、 その値を画素値 G o b s i (k， i g, j g) とする。 同様に、 演算回路 24は、 黒丸 84の位置 （1 +0. 5, J - 0. 5) における平面 Q 4上の値 （画素値） と、 および黒丸 86の位置 （I + 0. 5 , J + 0. 5) における平面 Q4上の値 （画素値） を求め、 それらの値 をそれぞれ画素値 G o b s 2 (k， i g， j g) と、 画素値 G o b s 3 (k, i g , j g ) とする。
ここで、 平面 Q4は、 黒丸 8 5の位置 （1—0. 5， J一 0. 5) と黒丸 86 の位置 （1 +0. 5, J + 0. 5) を結ぶ領域 A 1 1の対角方向についてのみ傾 き pを有しているので、 Go b s l (k， i g， j g) と Go b s 2 (k, i g, j g) とは等しい。
「右上から左下方向のエッジ」 においても、 図 3 2の 「縦方向のエッジ」 の場 合と同様に、 黒丸 84の位置 （1 + 0. 5, J -0. 5) を、 位置 （ ， J') として注目した場合、 白丸 8 3の位置 （x, y) の画素値 G o b s (k, i g， j g) の代わりに、 注目している黒丸 8 4の位置 （1 + 0. 5 , J— 0. 5) に おける平面 Q 4上の値 （画素値） である画素値 G o b s 2 (k, i g， j g) 力 S、 式 （2 5) に代入される。
また、 黒丸 8 5の位置 （1 — 0. 5， J— 0. 5) を、 位置 （Γ， J') とし て注目した場合、 白丸 8 3の位置 （x， y) の画素値 G o b s (k , i g, j g) の代わりに、 注目している黒丸 8 5の位置 （ 1— 0. 5 , J - 0. 5) にお ける平面 Q 4上の値 （画素値） である画素値 G o b s 0 (k, i g， j g) 力 式 （2 5) に代入される。 ,
さらに、 黒丸 8 6の位置 （1 + 0. 5, J + 0. 5) を、 位置 （ ， J' ) と して注目した場合、 白丸 8 3の位置 （x， y) の画素値 G o b s (k， i g , j g) の代わりに、 注目している黒丸 8 6の位置 （ I + 0. 5， J + 0. 5) にお ける平面 Q 4上の値 （画素値） である画素値 G o b s 3 (k， i g , j g) 力 式 （2 5) に代入される。
また、 黒丸 8 7の位置 （1 — 0. 5， J + 0. 5) を、 位置 （Γ , J，） とし て注目した場合、 白丸 8 3の位置 （X , y) の画素値 G o b s (k, i g, j g) の代わりに、 注目している黒丸 8 7の位置 （ I 一 0. 5， J + 0. 5) にお ける平面 Q 4上の値 （画素値） である画素値 G o b s 1 (k, i g， j g) 力、 式 （2 5) に代入される。
以上のように、 右上から左下方向のエッジ （緑色の光量の急峻な変化） がある 位置で観測された画素値 G o b s (k, i g, j g) (図 3 5の白丸 8 3の位置 の画素値） を、 そのエッジの傾き （急峻度合い） pに応じた画素値 （G o b s O (k， i g , j g) , G o b s l (k, i g, j gリ ， G o b s 2 (k, i g， j g) 、 または G o b s 3 (k， i g， j g) ) に変更 （補正） し、 その変更し た画素値を式 （2 5) に代入することにより、 バネモデルにおいて、 図 2 3にお ける物体 Vとしての L g ( ， J') が適切な位置に引っ張られ、 より正確な (鮮明な） 真の緑色の光量 L g ( Ι ' , J ' ) を求めることができる。 以上のことから、 第 3実施の形態の式 （2 5) に対応する、 第 6実施の形態の 緑色の光量のパネ関係式は、 次のように表すことができる。
なお、 緑色以外の真の赤色の光量 L r ( Γ , J ' ) と真の青色の光量 L b ( Ι ' , J ') も、 真の緑色の光量 L g ( I ' , J ' ) と同様にして求めることが できる。
VT-F((x,y), (I，，J，）)
Figure imgf000110_0001
x(Gobs'(k, ig,jg)-Lg
E) (r,J')}
働 x
… (3 4)
ここで、 式 （34) における ∑ は、 ある位置 （ , J') に対して、 k枚目の 撮像画像上の位置 （ i g— 0. 5 , j g - O. 5) を変換パラメータ （0 k, T k χ , Τ k y , S k) で変換した基準座標上の位置 （χ, · y) 力 I ' - 1≤x < I ' + 1 , J，— 1≤ y < J' + 1を満たす （k, i g, j g) の組の個数分の 和を表す。 ·
伹し、 式 （3 4) を構成する （k, i g , j g) の組の、 ある （k, i g， j g ) の画素値 G o b s (k, i g , j g) の位置に、 「縦方向のエッジ」 、 「横 方向のエッジ」 、 「左上から右下方向のエッジ」 、 「右下から左下方向のエツ ジ」 のうちのいずれかが検出された場合、 式 （3 4) の G o b s， （k， i g， j g) には、 その .（k， i g， j g) の画素値 G o b s (k， i g， j g) の代 わりに、 エッジの傾き pを有し、 画素値 G o b s (k， i g, j g) を通る平面 の、 位置 （Γ， J') 上の値 （画素値） が用いられる。 また、 式 （3 4) を構成 する （k， i g, j g) の組の、 ある （k, i g， j g) の画素値 G o b s (k， i g , j g) の位置に、 「縦方向のエッジ」 、 「横方向のエッジ」 、 「左上から 右下方向のエッジ」 、 「右下から左下方向のエッジ」 のいずれも検出されなかつ た場合、 式 （3 4) の G o b s ' (k， i g， j g) には、 そのまま （k, i g， j g) の画素値 G o b s (k， i g, j g) が用いられる。
第 3実施の形態の式 （2 6) , (2 7) に対応する、 第 6実施の形態の赤色、 青色の光量のパネ関係式も、 同様に、 式 （3 5) ， （3 6) のように、 それぞれ 表すことができる。
Figure imgf000111_0001
• · · (3 5)
ここで、 式 （35) における ∑·は、 ある位置 （I'， J' ) に対して、 k枚目の 撮像画像上の位置 （ i r _0. 5， j r - O. 5) を変換パラメータ （0 k, T k X , Tk y, S k) で変換した基準座標上の位置 （X , y) 力 I' - l≤x < I ' + 1 , J' - l≤y< J' + lを満たす （ k , i r , j r ) の組の個数分の 和を表す。
但し、 式 （3 5) を構成する （k， i r， j r ) の組の、 ある （k， i r， j r ) の画素値 R o b s, (k, i r , j r) の位置に、 「縦方向のエッジ」 、 「横 方向のエッジ」 、 「左上から右下方向のエッジ」 、 「右下から左下方向のエツ ジ」 のうちのいずれかが検出された場合、 式 （3 5) の R o b s ' (k， i r , j r ) には、 その （k, i r， j r) の画素値 R o b s (k, i r， j r) の代 わりに、 エッジの傾き pを有し、 画素値 R o b s (k， i r, j r) を通る平面 の、 位置 （Γ , J') 上の値 （画素値） が用いられる。 また、 式 （3 5) を構成 する （k， i g, j g) の組の、 ある （k， i g， j g) の画素値 Go b s (k, i g, j g) の位置に、 「縦方向のエッジ」 、 「横方向のエッジ」 、 「左上から 右下方向のエッジ」 、 「右下から左下方向のエッジ」 のいずれも検出されなかつ た場合、 式 （35) の R o b s ' (k, i r , j r) には、 そのまま （k， i r， j r) の画素値 R o b s (k， i r, j r) が用いられる。
T— F((x,y), (I，,J，））
Figure imgf000111_0002
x [Bobs' (k, ib, jb)-Lb(I',J')}
( E)
• · · (36)
ここで、 式 （36) における ∑ は、 ある位置 （Γ , J') に対して、 k枚目の 撮像画像上の位置 （ i b— 0. 5， j b-0. 5) を変換パラメータ （0 k， T k x , Tk y , S k) で変換しだ基準座標上の位置 （X , y) 力 I ' _ l≤ x く + l, J' - I≤y< j' + 1を満たす （ k， i b , j b) の組の個数分の 和を表す。
但し、 式 （36) を構成する （k， i b， j b) の組の、 ある （k, i b , j b) の画素値 B o b s (k , i b, j b) の位置に、 「縦方向のエッジ」 、 「横 方向のェ.ッジ」 、 「左上から右下方向のエッジ」 、 「右下から左下方向のエツ ジ J のうちのいずれかが検出された場合、 式 （ 36) の B o b s ' (k , i b, j b) には、 その （k, i b, j b) の画素値 B o b s (k, i b, j b) の代 わりに、 エッジの傾き pを有し、 画素値 B o b s (k, i b, j b) を通る平面 の、 位置 （Γ， J') 上の値 （画素値） が用いられる。 また、 式 （36) を構成 する （k， i g, j g) の組の、 ある （k， i g， j g) の画素値 Go b s (k， i g, j g) の位置に、 「縦方向のエッジ」 、 「横方向のエッジ」 、 「左上から 右下方向のエッジ」 、 「右下から左下方向のエッジ」 のいずれも検出されなかつ た場合、 式 （36) の B o b s' (k， i b, j b) には、 そのまま （k， i b， j b) の画素値 B o b s (k, i b， j b) が用いられる。
図 36のフローチャートを参照して、 図 2のステップ S 4における画像推定処 理の第 6実施の形態について説明する。
初めに、 ステップ S 141において、 演算回路 24は、 基準座標系上のある位 置 （ , J') に注目する （以下、 注目位置 （ 1 ' , J') と称する） 。 ここで、 注目位置 （ Iノ， J') は、 基準画像である 1枚目の撮像画像の 「 i番目、 j番 目の画素」 の画素中心 （ i一 0. 5， j - 0. 5 ) を表している。
そして、 ステップ S 141から S 142に進み、 演算回路 24は、 注目位置 ( ， J') に対して、 k枚目画像の緑色の成分を受光する画素の中心位置 ( i g - 0. 5, j g-0. 5) を変換パラメータ （0 k， T k X , T k y , S k) で変換した基準座標系上の位置 （x， y) 力 I ' - l≤x< I' + l, J' 一 1≤ yく J， + 1を満たす （k, i g， j g) の組を、 1乃至 N枚目画像につ いてすベて求め、 ステップ S 143に進む。
ステップ S 143において、 演算回路 24は、 ステップ S 142で求めた （k， i g， j g) の組それぞれに対応する基準座標系上の位置について、 「縦方向の エッジ」 、 「横方向のエッジ」 、 「左上から右下方向のエッジ」 、 「右下から左 下方向のエッジ」 のうちのいずれかがあるかどうかを判定する。 ステップ S 14 3で、 上述の 4つの方向のいずれかのエッジがあると判定された場合、 ステップ S 144に進み、 演算回路 24は、 エッジがある位置に対応する （k， i g, j g) の組それぞれについて、 その画素値 Go b s (k, i g, j g) を通り、 ェ ッジの傾き pを有する平面を作成する （求める） 。 また、 演算回路 24は、 注目 位置 （ ， J') における平面上の値 （画素値） を演算し、 ステップ S 144力 ら S 145に進む。
また、 ステップ S 143で上述の 4つの方向のいずれのエッジもないと判定さ れた場合、 または、 ステップ S 144の処理の後、 ステップ S 145において、 演算回路 24は、 ステップ S 142で求めたすべての （k, i g, j g) の組を 用いて、 式 （34) で表される緑色の光量のパネ関係式を生成して、 ステップ S 146に進む。 ここで、 ステップ S 143において、 ある （k， i g , j g) に 対応する基準座標系上の位置に、 上述の 4つの方向のいずれかのエッジがあると 判定された画素値 G o b s (k, i g， j g) については、 演算回路 24は、 ス テツプ S 144で求められた注目位置 （ , J') における平面上の値 （画素 値） を、 その （k， i g， j g) の画素値 G o b s (k, i g， j g) として、 式 （34) の G o b s' (k， i g, j g) に代入する。 また、 ステップ S 14 3において、 ある （k， i g， j g) に対応する基準座標系上の位置に、 上述の 4つの方向のいずれのエッジもないと判定された画素ィ直 G o b s (k， i g , j g) については、 演算回路 24は、 その （k， i g, j g) の画素値 Go b s (k , i g , j g) を、 そのまま式 （34) の G o b s' (k, i g, j g) に 代入する。
ステップ S 146において、 演算回路 24は、 注目位置 （ Γ , J') に対し て、 k枚目画像の赤色の成分を受光する画素の中心位置 （ i r一 0. 5, j r - 0. 5) を変換パラメータ （0 k， T k X , T k y , S k) で変換した基準座標 系上の位置 （x， y) 力、 I ' - l≤ x < I ' + l , J，一 1≤y < J ' + 1を満 たす （k， i r， j r ) の組を、 1乃至 N枚目画像についてすべて求め、 ステツ プ S 1 4 7に進む。
ステップ S 1 4 7において、 演算回路 2 4は、 ステップ S 1 46で求めた （k， i r , j r ) の組それぞれに対応する基準座標系上の位置について、 「縦方向の エッジ」 、 「横方向のエッジ」 、 「左上から右下方向のエッジ」 、 「右下から左 下方向のエッジ」 のうちのいずれかがあるかどうかを判定する。 ステップ S 1 4 7で、 上述の 4つの方向のいずれかのエッジがあると判定された場合、 ステップ S 1 4 8に進み、 演算回路 24は、 エッジがある位置に対応する （k, i r , j r ) の組それぞれについて、 その画素値 R o b s (k， i r， j r ) を通り、 ェ ッジの傾き pを有する平面を作成する （求める） 。 また、 演算回路 24は、 注目 位置 （ ， J') における平面上の値 （画素値） を演算し、 ステップ S 1 48力 ら S 1 4 9に進む。
また、 ステップ S 1 4 7で上述の 4つの方.向のいずれのエッジもないと判定さ れた場合、 および、 ステップ S 1 48の処理の後、 ステップ S 1 4 9において、 演算回路 24は、 ステップ S 1 4 6で求めたすべての （k, i r， j r ) の組を 用いて、 式 （3 5) で表される赤色の光量のパネ関係式を生成して、 ステップ S 1 5 0に進む。 ここで、 ステップ S 1 4 7において、 ある （k， i r， j r ) に 対応する基準座標系上の位置に、 上述の 4つの方向のいずれかのエッジがあると 判定された画素値 R o b s (k, i r， j r ) については、 演算回路 24は、 ス テツプ S 1 4 8で求められた注目位置 （ ， J') における平面上の値 （画素 値） を、 その （ k , i r , j r ) の画素値 R o b s (k , i r , j r) として、 式 （3 5) の R o b s ' (k， i r , j r ) に代入する。 また、 ステップ S 1 4 7において、 ある （k， i r , j r ) に対応する基準座標系上の位置に、 上述の 4つの方向のいずれのエッジもないと判定された画素値 R o b s (k , i r， j r ) については、 演算回路 24は、 その （k, i r , j r ) の画素値 R o b s (k， i r， j r) を、 そのまま式 （3 5 ) の R o b s ' (k , i r , j r ) に 代入する。
ステップ S 1 50において、 演算回路 24は、 注目位置 （ Γ, J') に対し て、 k枚目画像の青色の成分を受光する画素の中心位置 （ i b— 0. 5， j b- 0. 5) を変換パラメータ （0 k， T k X , Tk y, S k) で変換した基準座標 系上の位置 （x， y) 力 I ' - l≤x< I' + l, J'— l≤y< J' + lを満 たす （k， i b, j b) の組を、 1乃至 N枚目画像についてすべて求め、 ステツ プ S 1 5 1に進む。
ステップ S 1 5 1において、 演算回路 24は、 ステップ S 152で求めた （k i b, j b) の組それぞれに対応する基準座標系上の位置について、 「縦方向の エッジ」 、 「横方向のエッジ」 、 「左上から右下方向のエッジ」 、 「右下から左 下方向のエッジ」 のうちのいずれかがあるかどうかを判定する。 ステップ S 15 1で、 上述の 4つの方向のいずれかのエッジがあると判定された場合、 ステップ S 1 52に進み、 演算回路 24は、 エッジがある位置に対応する （k， i b， j b) の組それぞれについて、 その画素値 B o b s (k, i b， j b ) を通り、 ェ ッジの傾き pを有する平面を作成する （求める） 。 また、 演算回路 24は、 注目 位置 （ ， J') における平面上の値 （画素値） を演算し、 ステップ S 1 52力 ら S 1 53に進む。
また、 ステップ S 15 1で上述の 4つの方向のいずれのエッジもないと判定さ れた場合、 および、 ステップ S 1 52の処理の後、 ステップ S 153において、 演算回路 24は、 ステップ S 150で求めたすべての （k, i b, j b) の組を 用いて、 式 （36) で表される青色の光量のパネ関係式を生成して、 ステップ S 154に進む。 ここで、 ステップ S 1 51において、 ある （k， i b， j b) に 対応する基準座標系上の位置に、 上述の 4つの方向のいずれかのエッジがあると 判定された画素値 B o b s (k， i b， j b) については、 演算回路 24は、 ス テツプ S 1 52で求められた注目位置 （ , J') における平面上の値 （画素 値） を、 その （k， i b, j b) の画素値 B o b s (k, i b， j b) として、 式 （36) の B o b s' (k， i b， j b) に代入する。 また、 ステップ S 15 1において、 ある （k, i b， j b) に対応する基準座標系上の位置に、 上述の 4つの方向のいずれのエッジもないと判定された画素値 B o b s (k, i b， j b) については、 演算回路 24は、 その （k, i b， j b) の組の画素値 B o b s (k , i b， j b) を、 そのまま式 （3 6) の B o b s ' (k, i b， j b) に代入する。
ステップ S 1 5 4において、 演算回路 2 4は、 ステップ S 1 4 5で求めた式 (34) で表される緑色の光量のパネ関係式、 ステップ S 1 4 9で求めた式 （3 5) で表される赤色の光量のバネ関係式、 ステップ S 1 5 3で求めた式 （3 6) で表される青色の光量のバネ関係式を、 一次方程式として解くことにより、 注目 位置 （ , J ') における真の緑色の光量 L g ( I ' , J ' ) 、 真の赤色の光量 L r ( ， J ') 、 および真の青色の光量 L b ( , J ' ) をそれぞれ求め、 ステップ S 1 5 5に進む。
ステップ S 1 5 5において、 演算回路 24は、 すべての位置 （ , J') を 注目位置としたか、 即ち、 1枚目の撮像画像の画素の中心位置のすべてを注目位 置 （Γ, J') として、 真の緑色の光量 L g ( 1 '， ） 、 真の赤色の光量 L r ( I ' , J' ) 、 および真の青色の光量 L b ( I ' , J' ) を求めたか否かを判 定する。
ステップ S 1 5 5で、 すべての位置 （ ， J' ) を、 まだ注目位置として求 めていないと判定された場合、 ステップ S 1 4 1に戻り、 ステップ S 1 4 1乃至 S 1 5 5の処理が繰り返される。 即ち、 演算回路 24は、 まだ注目していない位 置 （ ， J' ) を次の注目位置 （I，， J' ) として、 注目位置 （1 ' , J' ) に おける真の緑色の光量 L g ( , J') 、 真の赤色の光量 L r ( , J，） 、 および真の青色の光量 L b ( I ' , J ') をそれぞれ求める。
一方、 ステップ S 1 5 5で、 すべての位置 （Γ, J') を注目位置としたと 判定された場合、 ステップ S 1 5 6に進み、 演算回路 24は、 ステップ S 1 5 4 で求めた真の緑色の光量 L g ( I ' , J ' ) 、 真の赤色の光量 L r ( I '， J ' ) 、 真の青色の光量 L b ( , J') から、 画像 （信号） を推定し、 D/Aコンバータ 9またはコーデック 1 2に出力画像として供給し、 処理を戻る。 例えば、 「 i番 目、 j番目の画素」 においては、 演算回路 24は、 緑色の値 （G信号） としてス テツプ S 1 5 4で求めた真の緑色の光量 L g ( i — 0. 5， j - 0. 5) と、 赤 色のィ直 （R信号） としてステップ S 1 54で求めた真の赤色の光量 L r ( i一 0 · 5, j -0. 5) と、 青色の値 （B信号） としてステップ S 1 5 4で求めた真の 青色の光量 L b ( i — O . 5， j - 0. 5) と力、ら、 「 i番目、 ；）番目の画素」 の画像信号を推定する。 そして、 演算回路 24は、 その推定を位置 （I '， J Ί を中心位置とする画素すべてについて行うことにより、 出力画像を推定する。 以上のように、 第 6実施の形態では、 エッジ部分の位置で観測された画素値に ついては、 そのエッジの傾き （急峻度合い） に応じて、 パネ関係式に代入する画 素値を変更することにより、 より正確な （鮮明な） 画像を求めることができる。 なお、 上述した例では、 エッジ部分にある画素値をエッジの傾き （急峻度合 い） に応じた注目位置 （ I '， J ' ) 上の画素値に変更したが、 その他、 例えば、 エッジ部分にある画素値をそのまま採用するが、 注目位置 （1 ' , J，） までの 距離に応じて重みを付け （変更し） 、 パネ関係式でのエッジ部分にある画素値の 影響を少なくするようにすることもできる。
また、 上述の例では、 作成される平面 Q 1乃至 Q 4の傾きを、 基準座標系上の ある位置 （X , y) を中心とする 9の領域 （3 X 3画素幅の領域） 内の位置で観 測される画素値を用いて求めることとしたが、 例えば、 1 6の領域 （4 X 4画素 幅の領域） など、 その他の領域の位置で観測される画素値により求めるようにし ても.よい。 .
次に、 信号処理回路 7における、 画像推定処理の第 7実施の形態について説明 する。 第 7実施の形態は、 図 24で説明した第 3実施の形態を応用したものであ る。
即ち、 第 7実施の形態は、 第 3実施の形態において、 式 （2 5) ， (2 6) , (2 7) で表されるパネ関係式の他に、 R信号と G信号と B信号どうしの相関に 関する色相関の条件を付加して、 それらすベての条件式を満たす真の緑色の光量 L g (x， y ) 、 真の赤色の光量 L r (x , y) 、 真の青色の光量 L b (x, y ) を求めるものである。
画像の局所的な部分に着目すれば、 撮像素子 4に入射される被写体の光と等価 な真の緑色の光量 L g (x, y) 、 真の赤色の光量 L r (x， y ) 、 真の青色の 光量 L b (x, y) には、 色どうしの相関がある。 従って、 画像推定処理により 推定される画像についても色相関があるとして、 その色相関の条件をさらに付加 することにより、 ノイズ等による誤差を軽減した、 より正確な解、 即ち、 より本 来の光に忠実で鮮明な画像を求めることができる。
図 3 7と図 38を参照して、 具体的な色相関の条件を求める方法について説明 する。 図 3 7と図 3 8では、 緑色 （G信号） と赤色 （R信号） の色相関の条件を 考える。 '·
図 3 7左下側の k'枚目画像の i g番目、 j g番目の、 ある緑色の画素 G ( j g— 1) ( i g— l) と、 図 37右下側の k" 枚目画像の i r番目、 j r番目の、 ある赤色の画素 R ( j r— 1 ) ( i r一 1) に注目する。
演算回路 24は、 k'枚目画像の緑色の画素 G (j g— 1) ( i g - 1) と k" 枚目画像の赤色の画素 R (j r— l) ( i r— 1) の位置を、 第 3実施の形 態で説明したように、 変換パラメータ （0 k'， T k' X , T k' y, S k') と 変換パラメータ （0 k" , T k" x， T k" y , S k" ) によりそれぞれ変換す ることで、 図 3 7上側の 1枚目画像の座標系における位置を求める。
そして、 演算回路 24は、 1枚目画像の座標系に変換された k，枚目の緑色の 画素 G ( j g- 1) ( i g_ l) と 1枚目画像の座標系に変換された k" 枚目の 赤色の画素 R (j r— l) ( i r - 1) との距離を計^:する。 さらに、 演算回路 24は、 その距離が'、 同一の位置とみなす許容値 （判定値） delta (例えば、 ひ. 25画素） 以内であるかどうかを判定する。
例えば、 画素 G ( j g - 1) ( i g— 1) と画素 R (j r— l) ( i r— 1) の位置を、 位置 （ i g, j g) と位置 （ i r , j r) で、 それぞれ考えることと して、 k'枚目画像の座標系における画素 G ( j g- 1) ( i g- 1) の位置 ( i g , j g) を点 Geと、 k" 枚目画像の座標系における画素 R ( j g— 1) ( i g - 1) の位置 （ i r , j r ) を点 Reと、 1枚目画像の座標系における画 素 G (j g— 1) ( i g - 1 ) の位置 （ί g, j g) を Gc(k,)と、 1枚目画像の 座標系における画素 R ( j g— 1) ( i g— l) の位置 （ i r， j r) を Rc(k.. ) と、 それぞれ表すこととすると、 点 Gc05，）と点 Rc(k., )との距離が許容値 delta以 内であるかを表す式 （3 7) は、 次のように書ける。
Dis[Gc(k').Rc(k")]
Tk'x
Tk'y Tk，，x
≤ delta
Figure imgf000119_0001
Tk"yノ
• · · (3 7)
式 （3 7) を距離の条件式と称する。 ここで、 D i s [G0(k -; Rc(k" )] は、 点 Gc(k>)と点 Rcft.，）との間の距離を表す。 また、 点 Gc ）と点 R, (k.，）で表される 位置は、 位置 （ i g， j g) と位置 （ i r， j r ) を、 変換パラメータ （0 k， , Tk' x, T k' y, S k' ) と （0 k" ， T k" x, T k " y , S k" ) でそれ ぞれァフィン変換したものである。
演算回路 24は、 k，枚目の緑色の画素 G ( j g— 1) ( i g- 1) と k" 枚 目の赤色の画素 R ( j r - 1 ) ( i r一 1) とが、 ある許容範囲 deltaのマー ジンを考えたときに同一位置にあるとみなすことができる画素があるかどうかを、 1枚目画像の座標系における、 ある位置 （ , J') を中心とする （Γ土 dX， J，土 d Y〉 の近傍領域、 つまり、 （ I '— dX， J ' - d Υ) , ( I ' - d X, J， + dY) , ( I ' + d X, J ' - d Y) ， および （I ' + dX， J' + dY) で 囲まれる領域について求める。 ここで、 （1 と（1¥は、 それぞれ、 近傍領域を設 定する所定の値で、 例えば、 2画素分の X方向と Y方向の長さなどとすることが できる。 逆に言うと、 演算回路 24は、 1枚目画像の座標系における、 注目位置 （ 1 ' , J') を中心とする （I '土 d X， J' ± d Y) の近傍領域、 つまり、 （ 一 d X， J ' - d Y) ， ( I ' - d X, J ' + d Y) ， （I ' + d X， J '一 d Y) ， お よび （ Γ + d X, J' + d Y) で囲まれる領域において、 上述の式 （3 7) を 満たす（k，， i g， j g)と （k" ， i r , j r ) を求める。
そして、 演算回路 24は、 求められた（k' , i g， £)と （ " ， i r , j r ) とに対応する画素値 G o b s (k：'， i g, j g)と画素値 R o b s (k " , i r， j r ) とを得る。
演算回路 24は、 k'， k" それぞれを 1乃至 Nとしたすベての組み合わせに ついて、 上述の式 （3 7) を満たす（k' , i g, ； j g)と （k" ， i r， j r ) を求める。
一般的には、 複数の（k'， i g , j g)と （k" ， i r， j r) との組み合わ せが検出されるので、 演算回路 2 4は、 検出された（k' , i g， j g)と （k " ， i r， j r ) とに対応する画素値 G o b s (k'， i g， j g)と画素値 R o b s (k" , 'i r， j r ) との組を、 図 3 8に示すように、 横軸を G信号 （G o b s (k'， i g， j g)) 、 縦軸を R信号 （R o b s (k" , i r , j r) ) とする GR空間にプロットする。
図 3 8は、 式 （3 7) を満たす画素値 G o b s (k，， i g , j g)と画素値 R o b s (k" , i r , j r ) とのセッ トで表される点をプロットした GR空間を 示している。
図 3 8のバッ印が、 演算回路 24により検出された（k'， i g， j g)と (k" ， i r， j r ) とに対応する画素値 G o b s (k'， i g， j g)と画素値 R o b s ( k " , i r , j r ) との組、 即ち、 式 （3 7) を満たす画素値 G o b s (k，， i g， j g)と画素値 R o b s (k" , i r , j r) との組を表してい る。
注目位置 （ , J ' ) の近傍領域においては、 求めるべき真の緑色の光量 L g (Γ, J' ) 、 および真の赤色の光量 L r ( I ' , J' ) には、 図 3 8に示し たような相関があると考えられる。
そこで、 第 7の実施の形態においては、 第 3実施の形態における式 （2 5) 乃 至式 （2 7) で表されるパネ関係式の他に、 さらに、 図 3 8に示した緑色と赤色 に相関があることを条件として付加する。
即ち、 演算回路 24は、 演算回路 24により式 （3 7) の距離の条件式を満た す画素値 G o b s (k'， i g, j g)と画素値 R o b s ( k " , i r , j r ) と の組で表される、 図 3 8の GR空間にプロットされた複数の点について、 主成分 分析を行う。
そして、 演算回路 24は、 主成分分析の分析結果である主成分の方向を求め、 その方向 （軸） を表す直線 Q g X G+Q r X R = Q cを求める。 ここで、 Q g、 Q r、 Q cは、 GR空間上の直線を表す定数であり、 Gと Rは、 GR空間上の G 信号と R信号を表す変数である。 また、 演算回路 24は、 主成分の方向と直交す る成分についての分散を求める。
ここで、 自然長が 0で、 パネ定数 （パネの強さ） が Hのパネを導入する。 バネ 定数 Hは、 GR空間上で求められた主成分の方向と直交する成分についての分散 に対して、 単調減少する任意の関数とすることができ、 例えば、 H= ( 1 ÷分 散） などを採用することができる。 つまり、 分散が小さいほどパネが強く （パネ 定数が大きく） なる。
このバネ定数 Hのパネの両端の一端は、 GR空間上での点 （L g ( ， J ') , L r ( Ι ' , J') ) に接続され、 パネの他端は、 主成分の方向の直線 Q g X G + Q r x R==Q c上の任意の点に移動可能なように接続される。 これにより、 点 （L g ( ， J ') ， L r ( ， J ') ) は、 その点 （L g ( ， J' ) ， L r ( I ' , J，） ） から直線 Q g x G + Q r x R = Q cに垂らした垂線の方向 へ引っ張られる。 つまり、 点 （L g ( , J，） ， L r ( I ' , J，） ) は、 色 相関の一致性 （G信号と R信号の色相関の関係） が満たされるように引っ張られ る。
ここで、 点 （ L g ( ， J ' ) ， L r ( I ' , J ' ) ) と主成分の方向の直線 Q g x G + Q r x R = Q cとの距離を uと表すと、 バネ定数 Hのパネが、 点 （L g ( Ι ', J') ， L r ( , J') ) を引っ張る力は、 HX u (以下、 適宜、 GRバネ力という） で表される。 この GR空間における GRバネカ Hx uを、 G 信号成分と R信号成分に分解し、 式 （25) と式 （26) それぞれの左辺に加算 対象として付加することにより、 色相関が考慮されることになる。
以上の色相関の条件を、 緑色 （G信号） と青色 （B信号） についても考える。 図 3 7に示した緑色と赤色の画素の場合と同様に、 演算回路 24は、 k'枚目 の緑色の画素 G ( j g - 1) ( i g— 1) と k" '枚目の青色の画素 B (j b— 1) ( i b— 1 ) の位置を、 変換パラメータ （0 k，， T k' x, T k' y , S k ' ) と変換パラメータ （0 k"，， Tk" ' x， T k " ' y , S k " ' ) によりそれ ぞれ変換することで、 1枚目画像の座標系における位置を求める。
そして、 演算回路 24は、 1枚目画像の座標系に変換された k'枚目の緑色の 画素 G (j g— 1) ( i g- 1) と 1枚目画像の座標系に変換された k" '枚目 の青色の画素 B ( j b- 1) ( i b- 1) との距離を計算する。 さらに、 演算回 路 24は、 その距離が、 同一の位置にいるとみなす許容値 （判定値） delta以内 であるかどうかを判定する。
例えば、 画素 G ( j g— 1) ( i g _ l) と画素 B ( j b- 1) ( i b— 1) の位置を、 位置 （ i g， 〗 §) と位置 （ 1 13， j b) で、 それぞれ考えることと して、 k'枚目画像の座標系における画素 G ( j g— 1) ( i g- 1) の位置 ( i g, j g) を点 G。と、 k" '枚目画像の座標系における画素 B ( j b - 1 ) ( i b - 1) の位置 （ i b, j b ) を点 Beと、 1枚目画像の座標系における画 素 G (j g _ l) ( i g— 1) の位置 （ i g, j g) を Gc(k.)と、 1枚目画像の 座標系における画素 B ( j b— 1) ( i b _ 1) の位置 （ i b , j b) を B c0i"，）と、 それぞれ表すこととすると、 点 Gc0c,)と点 Bc(k" .)との距離が許容値 delta以内であるかを表す式 （38) は、 次のように書ける。 Di S[G G(k')' BG(k"')] cos (
sin(
,Gos
≤ delta
Figure imgf000123_0001
sin ノ」
(3 8)
式 （38) を距離の条件式と称する。 で、 D i s [G ( ） B. (k" ' ) ] は、
'点 Gc(k.)と点 Bc(k,, .)との間の距離を表す。 また、 点 Gc(k.)と点 Bc(k"，）で表される 位置は、 位置 （ i g， j g) と位置 （ i b, j b) を、 変換パラメータ （0 k' , Tk， x， Tk， y， S k') と （0 k" ，， T k " ' x , T k " ' y , S k " ' ) で それぞれァフィン変換したものである。
演算回路 24は、 k'枚目の緑色の画素 G ( j g— 1) ( i g - 1) と k" ， 枚目の青色の画素 B ( j b - 1) ( i b— 1) とが、 ある許容範囲 deltaのマ 一ジンを考えたときに同一位置にあるとみなすことができる画素があるかどうか を、 1枚目画像の座標系における、 ある位置 （ , J') を中心とする （I '土 d X, J， 土 dY) の近傍領域、 つまり、 （ 一 d X， J' _dY) ， （ I，一 d X, J' + dY) ， （Γ + d X, J'— dY) ， および （I， + dX， J ' + d Y) で囲まれる領域について求める。 ここで、 d X, dYは、 それぞれ、 近傍領 域を設定する所定の値で、 例えば、 2画素分の X方向と Y方向の長さなどとする ことができる。
逆に言うと、 演算回路 24は、 1枚目画像の座標系における、 注目位置 （ , J') を中心とする （I， 土 dX, J'土 dY) の近傍領域、 つまり、 （Γ一 d X, . J ' - d Y) ， （Ι '一 d X, J' + dY) ， ( I ' + d X, J'— dY) ， お よび （ I ' + dX， J' + dY) で囲まれる領域において、 上述の式 （3 8) を 満たす（k'， i g, j g)と （k" '， i b， j b) を求める。
そして、 演算回路 24は、 求められた（k' , i g, §)と （1^" '， i b, j b) とに対応する画素値 G o b s (k'， i g, j g)と画素値 B o b s (k" '， i b, j b) とを得る。
演算回路 24は、 k'， k" 'それぞれを 1乃至 Nとしたすベての組み合わせ について、 上述の式 （3 8) を満たす（k' , i g， 3 §)と （ " '， i b , j b) を求める。
一般的には、 複数の（k，， i g, j g)と （k" ，， i b， j b) との組み合 わせが検出されるので、 演算回路 24は、 検出された（k'， i g, j g)と
(k" '， i b , j b) とに対応する画素値 Go b s (k'， i g, j g)と画素 値 B o b s ( k " ' , i b, j b) との組を、 横軸を G信号 （Go b s (k'， i g， j g)) 、 縦軸を B信号 （B o b s ( k " ' , i b, j b) ) とする GB空 間にプロットする。 .
そこで、 第 7の実施の形態においては、 第 3実施の形態における式 （25) 乃 至式 （27) で表されるパネ関係式の他に、 さらに、 緑色と青色に相関があるこ とを条件として付加する。
即ち、 演算回路 24は、 演算回路 24により式 （38) の距離の条件式を満た す画素値 G o b s (k，, i g, j g)と画素値 B o b s (k" '， i b, j b) との組で表される、 GB空間にプロットされた複数の点について、 主成分分析を 行う。
そして、 演算回路 24は、 主成分分析の分析結果である主成分の方向を求め、 その方向 （軸） を表す直線 Q g' X G + Q b' X B = Q c，を求める。 ここで、 Q g'、 Qb'、 Q c'は、 GB空間上の直線を表す定数であり、 Gと Bは、 GB空 間上の G信号と B信号を表す変数である。 また、 演算 HI路 24は、 主成分の方向 と直交する成分についての分散を求める。
ここで、 自然長が 0で、 パネ定数 （パネの強さ） が Hのパネを導入する。 パネ 定数 Hは、 GB空間上で求められた主成分の方向と直交する成分についての分散 に対して、 単調減少する任意の関数とすることができ、 例えば、 H= (1÷分 散） などを採用することができる。 つまり、 分散が小さいほどパネが強く （パネ 定数が大きく） なる。
このバネ定数 Hのパネの両端の一端は、 GB空間上での点 （L g ( I ' , J ') ， L b ( I ' , J') ) に接続され、 パネの他端は、 主成分の方向の直線 Qg ， X G + Q b' X B =Q c'上の任意の点に移動可能なように接続される。 これに より、 点 （L g ( ， J') ， L b (Γ， J') ) は、 その点 （L g ( , J ' ) , Lb ( Γ , J') ) から直線 Q g， x G + Q b' x B = Q c'に垂らした垂 線の方向へ引っ張られる。 つまり、 点 （L g ( , J') , L b (Ι ' , J ,) ) は、 色相関の一致性 （G信号と Β信号の色相関の関係） が満たされるよう に引っ張られる。
ここで、 点 （L g ( I ' , J，） ， Lb ( Ι', J') ) と主成分の方向の直線 Q g' XG + Qb' x B=Q c 'との距離を uと表すと、 バネ定数 Hのパネが、 点
(L g ( , J') ， Lb (I'， J') ) を引っ張る力は、 Hx u (以下、 適 宜、 GBバネ力という） で表される。 この GB空間における GBパネ力 HX uを、 G信号成分と B信号成分に分解し、 式 （25) と式 （27) それぞれの左辺に加 算対象として付加することにより、 色相関が考慮されることになる。
なお、 本実施の形態では、 上述の GR、 GB空間の 2つの色相関の条件のみ付 加することとするが、 同様にして、 R信号と B信号との （RB空間の） 色相関の 条件についても付加するようにしてもよい。
図 39のフローチヤ一トを参照して、 図 2のステップ S 4における画像推定処 理の第 7実施の形態について説明する。
ステップ S 1 7 1乃至 S 1 77は、 図 24に示した第 3実施の形態の画像推定 処理のステップ S 7 1乃至 S 77と同様である。
即ち、 ステップ S 1 7 1において、 演算回路 24は、 基準座標系上のある位置 ( , J') に注目する （以下、 注目位置 （Γ， J') と称する） 。 ここで、 注目位置 （Γ， J') は、 基準画像である 1枚目の撮像画像の 「 i番目、 j番 目の画素」 の画素中心 （ i一 0. 5， j - 0. 5) を表している。
そして、 ステップ S 1 7 1から S 1 72に進み、 演算回路 24は、 注目位置 ( I ' , J') に対して、 k枚目画像の緑色の成分を受光する画素の中心位置 ( i g— 0. 5 , j g - 0. 5) を変換パラメータ （0 k， T k X , Tk y， S k) で変換した基準座標系上の位置 （X , y) 力 I ' - l≤ x < I ' + l, J' 一 1 く J' + 1を満たす （k, i g, j g) の糸且を、 1乃至 N枚目画像につ いてすベて求め、 ステップ S 1 7 3に進む。
ステップ S 1 73において、 演算回路 24は、 ステップ S 1 72で求めたすべ ての （k， i g， j g) の組を用いて、 式 （25) で表される緑色の光量のパネ 関係式を生成して、 ステップ S 1 74に進む。
ステップ S 1 74において、 演算回路 24は、 注目位置 （1 ', J') に対し て、 k枚目画像の赤色の成分を受光する画素の中心位置 （ i r一 0. 5 , j r - 0. 5) を変換パラメータ （0 k， T k X , T k y , S k) で変換した基準座標 系上の位置 （x， y ) 力 I ' - l≤x< I ' + l, J'一 l≤yく J' + lを満 たす （k， i r , j r) の組を、 1乃至 N枚目画像についてすべて求め、 ステツ プ S 1 75に進む。
ステツ.プ S 1 75において、 演算回路 24は、 ステップ S 1 74で求めたすべ ての （k， i r , j r) の組を用いて、 式 （26) で表される赤色の光量のパネ 関係式を生成して、 ステップ S 1 76に進む。
ステップ S 1 76において、 演算回路 24は、 注目位置 （ , J' ) に対し て、 k枚目画像の青色の成分を受光する画素の中心位置 （ i b— 0. 5， j b -. 0. 5 ) を変換パラメータ （0 k， T k X , T k y , S k) で変換した基準座標 系上の位置 （X , y) 力 S、 I ' - l≤x < I ' + l, J，一 1≤y < J， + 1を満 たす （k, i b , j b) の組を、 1乃至 N枚目画像についてすべて求め、 ステツ プ S 1 77に進む。
ステップ S 1 7' 7において、 演算回路 24は、 ステップ S 1 76で求めたすべ ての （k， i b , j b) の組を用いて、 式 （27) で表される青色の光量のバネ 関係式を生成して、 ステップ S 1 78に進む。
ステップ S 1 78において、 演算回路 24は、 注目位置 （ Γ， J') を中心 とする （ 土 d X, J '土 dY) で規定される領域において、 式 （3 7) を満た す（k'， i g , j g)と （k" ， i r , j r ) との組をすベて求める。 さらに、 演算回路 24は、 その求めた（k，， i g, )と （11" ， i r， j r ) との組 で特定される GR空間上の点 （G o b s (k'， i g， j g), R o b s (k" ， I T , j r ) ) をプロットし、 主成分分析を行う。 また、 演算回路 24は、 その 主成分方向と直交する成分の分散を求め、 その分散の逆数をパネ定数 Hとして求 める。 そして、 演算回路 24は、 主成分方向を表す直線 Q g X G + Q r x R = Q cを求め、 GR空間上での点 （L g ( I ' , J ' ) ， L r ( ， ] ' ) ) と、 直 線 Q g x G + Q r x R = Q cとの距離 uを用いて表される未知数としての GRパ ネカ H x uを得る。 さらに、 演算回路 24は、 GRバネカ Hx uの G信号成分を 式 （2 5) の左辺の加算対象に加えるとともに、 GRパネ力 H X uの R信号成分 を式 （2 6) の左辺に加算対象として加える。 そして、 ステップ S 1 7 8から S 1 7 9に進む。
ステップ S 1 7 9において、 演算回路 24は、 注目位置 （Γ , J ' ) を中心 とする （I ' ± d X， J '土 dY) で規定される領域において、 式 （ 3 8) を満た す（k'， i g， j g)と （k " '， i b , j b) との耝をすべて求める。 さらに、 演算回路 2 4は、 その求めた（k，， i g， j g)と （k" '， i b， j b) との 組で特定される GB空間上の点 （G o b s (k' , i g , . j g), B o b s
(k" '， i b， j b) ) をプロットし、 主成分分析を行う。 また、 演算回路 2 4は、 その主成分方向と直交する成分の分散を求め、 その分散の逆数をバネ定数 Hとして求める。 そして、 演算回路 24は、 主成分方向を表す直線 Q g' X G + Q b' x B =Q c'を求め、 GB空間上での点 （L g ( ， J，） ， L b ( Γ , J ' ) ) と、 直線 Q g' x G + Q b， x B = Q c'との距離 uを用いて表される未 知数としての GBパネ力 Hx uを得る。 さらに、 演算回路 24は、 GBバネカ H X u®G信号成分を式 （2 5) の左辺の加算対象に加えるとともに、 GBバネカ HX uの B信号成分を式 （2 7) の左辺に加算対象として加える。 そして、 ステ ップ S 1 7 9から S 1 8 0に進む。 ステップ S 1 8 0において、 演算回路 2 4は、 GRおよび GB空間における色 相関の条件が付加された緑色の光量のパネ関係式、 GR空間における色相関の条 件が付加された赤色の光量のパネ関係式、 G B空間における色相関の条件が付加 された青色の光量のパネ関係式を、 例えば、 一次方程式として解くことにより、 注目位置 （ Γ， J') における真の緑色の光量 L g ( I ' , J，） 、 真の赤色の 光量 L r ( Γ， J') 、 および真の青色の光量 L b ( , J ') をそれぞれ求 め、 ステップ S 1 8 1に進む。
ステップ S 1 8 1において、 演算回路 24は、 すべての位置 （ , ） を 注目位置としたか、 即ち、 1枚目の撮像画像の画素の中心位置のすべてを注目位 置 （ ， J ' ) として、 真の緑色の光量 L g ( ， J' ) 、 真の赤色の光量 L r ( I ' , J ' ) 、 および真の青色の光量 L b ( ， J' ) を求めたか否かを判 定する。
ステップ S 1 8 1で、 すべての位置 （ ， J') をまだ注目位置として求め ていないと判定された場合、 ステップ S 1 7 1に戻り、 ステップ S 1 7 1乃至 S 1 8 1の処理が繰り返される。 即ち、 演算回路 24は、 まだ注目していない位置 ( '， J ' ) を次の注目位置 （ Γ， J') として、 注目位置 （ 1 ' , J ') にお ける真の緑色の光量 L g ( I '， J ' ) 、 真の赤色の光量 L r ( I： , J ' ) 、 お ょぴ真の青色の光量 L b ( I ' , J ') をそれぞれ求める。
一方、 ステップ S 1 8 1で、 すべての位置 （ ， J，） を注目位置としたと 判定された場合、 ステップ S 1 8 2に進み、 演算回路 24は、 ステップ S 1 8 0 で求めた真の緑色の光量 L g ( I ' , J ' ) 、 真の赤色の光量 L r ( Ι ' , J ' ) 、 真の青色の光量 L b ( ， J ' ) から、 画像 （信号） を推定し、 D/A コンバータ 9またはコーデック 1 2に出力画像として供給し、 処理を戻る。 例えば、 「 1番 目、 j番目の画素」 においては、 演算回路 24は、 緑色の値 （G信号） としてス テツプ S 1 8 0で求めた真の緑色の光量 L g ( i - 0. 5， j - 0. 5) と、 赤 色の値 （R信号） としてステップ S 1 8 0で求めた真の赤色の光量 L r ( i - 0. 5， j - 0. 5) と、 青色の値 （B信号） としてステップ S 1 8 0で求めた真の 青色の光量 L b ( i — 0 . 5， j - 0 . 5 ) とから、 「 i番目、 j番目の画素」 の画像信号を推定する。 そして、 演算回路 2 4は、 その推定を位置 （ , J ' ) を中心位置とする画素すべてに行うことにより、 出力画像を推定する。
以上のように、 第 7実施の形態では、 色相関の条件をさらに付加することによ り、 ノイズ等による誤差を軽減した、 より正確な解、 即ち、 より本来の光に忠実 で鮮明な画像を求めることができる。
さて、 本発明の特徴を明確にするために、 再度、 本発明と、 従来技術の違いを 説明する。
図 4 0は、 本発明の方法と従来の方法の処理の流れを示している。
図 4 0に示したように、 従来から、 「図中の （ァ) ：単扳センサから出力され た画像 （例えば、 べィ.ヤー配列の画像： 1画素につき R信号、 G信号、 または B 信号のいずれか 1つしかない画像） から、 通常のカラー画像 （1画素につき R信 号、 G信号、 および B信号の 3つのデータが揃った画像） への変換方法」 は、 い くつも存在している。 事実、 製品として販売されている単板センサを用いたデジ タルスチルカメラには、 この変換方法がインプリメントされているものがある。 この変換方法は、 デモザィキングと呼ばれる処理である。
そして、 従来から、 「図中の （ィ） ：複数枚の暗い （あるいは S N比の悪い） カラー画像 （1画素につき R信号、 G信号、 および B信号の 3つのデータが揃つ た画像） から、 鮮明な （あるいは S N比の良い） カラー画像 （1画素につき R信 号、 G信号、 および B信号の 3つのデータが揃った画像） を作成する方法」 も、 知られていた。 具体的には、 従来の技術のところで述べた特開 2 0 0 0 - 2 1 7 0 3 2号公報ゃ特開 2 0 0 0— 2 2 4 4 6 0号公報などの方法である。
従って、 これら 2つの方法を組み合わせることで、 「複数枚の喑ぃ （あるいは S N比の悪い） 単板センサから出力された画像 （例えば、 べィヤー配列の画像： 1画素につき R信号、 G信号、 または B信号のいずれか 1つしかない画像） から、 鮮明な （あるいは S N比の良い） カラー画像 （1画素につき R信号、 G信号、 お よび B信号の 3つのデータが揃った画像） を作成する」 ことが出来る。 つまり、 複数枚 （m枚） の暗い （あるいは SN比の悪い） 単板センサから出力 された画像 （例えば、 べィヤー配列の画像： 1画素につき R信号、 G信号、 また は B信号のいずれか 1つしかない画像） 2 0 1— mのそれぞれに対して、 図中の (ァ） で示されるようにデモザィキング処理 20 2— mを行い、 暗い （あるいは SN比の悪い） カラー画像 （1画素につき R信号、 G信号、 および B信号の 3つ のデータが揃った画像） 20 3— mを一度作成する。 そして、 それらカラー画像 20 3一 mに対して、 図中の （ィ） で示した特開 20 0 0— 2 1 7 0 3 2号公報 ゃ特開 20 0 0— 2 244 6 0号公報の方法を使って、 鮮明な （あるいは S N比 の良い） カラー画像 （1画素につき R信号、 G信号、 および B信号の 3つのデー タが揃った画像） 2 04を作成すればよい。 ここで、 mは、 所定の枚数を表す整 数とする。
さて、 デモザィキングの処理では、 当然、 補間処理あるいはそれに類似の処理 が行われるので、 画像の鮮明さは薄れる。 そして、 特開 2 00 0— 2 1 70 3 2 号公報ゃ特開 2 0 0 0— 2 244 6 0号公報などにおける処理でも、 デジタルサ ンプリングされたデータの位置合わせを行うため、 補間処理が行われるので、 こ こでも画像の鮮明さは薄れる。 このように、 図中の （ァ） および （ィ） において、 補間処理が合計で 2回行われるので、 画像の鮮明さはかなり薄れる。 ちなみに、 補間処理は、 周囲のデータから特定の地点でのデータを復元する際に用いられる 処理であり、 補間すればするほど画像の鮮明さがなくなるのは明白である。
一方、 本発明においては、 「複数枚の喑ぃ （あるいは SN比の悪い） 単板セン サから出力された画像 （例えば、 べィヤー配列の画像： 1画素につき R信号、 G 信号、 または B信号のいずれか 1つしかない画像） から、 直接、 鮮明な （あるい は SN比の良い） カラー画像 （1画素につき R信号、 G信号、 および B信号の 3 つのデータが揃った画像） を作成する」 ので、 補間処理あるいはそれに類似する 処理が 1箇所しか存在しない。 従って、 従来の方法よりも鮮明な画像を復元する ことができる。 このように、 本発明と従来技術の違い、 および、 本発明の利点は、 明白である。 また、 従来の方法では、 各画像に対してデモザィキング処理を行うので、 例え ば、 8枚の画像がある場合、 8回のデモザィキング処理 （図中の （ァ） ） を行わ なくてはならない。 つまり、 計算量が膨大になってしまう欠点もあった。
本発明と従来の方法との差異を別の見方により説明する。
従来の技術のところで述べた特開 2000-2 1 703 2号公報などに示され る方法では、 手ぶれの分だけ位置をずらして重ねると良いという事が述べられて いる。 これは、 手ぶれの分だけ位置をずらした画像を補間により作成することを 意味している。 N枚の画像を重ね合わせるということは、 出力画像のすべての画 素は、 N個分のデータが重ね合わせられるということになる。 従って、 重ね合わ せた後に、 すべての画素に対して、 一定の値 （つまり、 N、 あるいは、 「 （適正 露出における露出時間） ÷ (実際の撮影における露出時間） ÷N」 ） で割ること になる。 また、 る決まった一定量の画素のずれを起こして、 複数枚撮影して、 それら画像の位置合わせを行いながら、 合成していくことで高精彩な画像を得る という方法も従来からあつたが、 その場合でも、 ずれ量が決まっているので、 出 力画像の各画素において、 常にあらかじめ決められた値で割っていく （正規化し ていく） ことを行っていた。
それに対して、 本発明の第 1実施の形態や第 2実施の形態では、 出力画像の各 位置 （X , y) における条件の数、 すなわち真の値の推定に用いることができる 観測値（観測画素）の数は、 場合によって変わる。 ある人がある場面を撮影した ときにおいて、 ある位置 （X , y ) については、 その近傍に沢山の入力画素 G o b s (k, i g, j g) がある可能性がある。 その場合、 その位置 （X , y) 力 関与する式 （20) は、 多くなる。 また、 その近傍に少しの入力画素 G o b s
(k， i g， j g) しかなければ、 その位置 （x， y) が関与する式 （20) は、 少なくなる。 このように、 出力画像の各位置 （x， y) が関与する条件式の数は 可変で、 実際に撮影したときの状態 （手ぶれによるずれ量） に依存する。 このた め、 各画素位置の真の値の推定では、 撮像状態（画像間の動き）に応じて、 考慮 すべき候補となる観測点およびその数等が適応的に変化し得る。 この場合、 例え ば、 観測点の数を固定しておき候補観測点からその数の観測点を選択するという 構成、 観測点の数と選択される観測点の双方を変動させる構成、 或いは、 観測点 の位置、 数や分布等についての所定の条件に応じて両者を使い分ける構成等が可 能である。
また、 本発明の第 3乃至第 7実施の形態では、 手ぶれの分だけ位置をずらすが、 べィヤー配列のため、 すべての出力位置に、 なにかしらのデータが必ず加算され るわけではない。 k枚目の画像について、 図 2 1に示した 2 X 2画素の中に、 位 置補正したデータがなければ、 その出力画素には、 k枚目の画像のどのデータも 加味されない。 逆に、 図 2 1に示した 2 X 2画素の中に、 位置捕正したデータが 2つあれば、 その出力画素には、 2つのデータが （重みをつけて） 加算される。 より具体的に述べると、 ある画素は、 最終的に、 重みの合計が 1 0であれば、 1 0で割って、 出力画素となる。 また、 別の画素は、 最終的に、 重みの合計が 3 . 5であれば、 3 . 5で割って、 出力画素となる。 つまり、 本発明では、 式 （2 5 ) 、 式 （2 6 ) 、 式 （2 7 ) などに示す式において、 ∑ で加算される総数が、 実際に撮影したときの状態 （手ぶれによるずれ量） に依存する。 このため、 各画 素位置の真の値の推定では、 撮像状態（画像間の動き）に応じて、 考慮すべき候 補となる観測点およびその数等が適応的に変化し得る。
このように、 本発明においては、 「単板センサ （べィヤー配列のセンサ） から 出力された複数の画像から、 鮮明な画像を復元する場合には、 条件式の数が可変、 あるいは、 重みが可変としなくてはいけない場合がある」 ことを考慮しながら、 適切な復元方法を提供した点が、 従来では出来なかったことである。
上述した一連の処理は、 専用のハードウエアにより実行させることもできるし、 ソフトウェアにより実行させることもできる。 この場合、 例えば、 デジタルカメ ラ 1は、 図 4 1に示されるようなコンピュータにプログラムを実行させることに より実現することができる。
図 4 1 こおレヽて、 CPU (Central Proces sing Unit) 3 0 1 ίま、 ROM (Read Onl y Memory) 3 0 2に記憶されているプログラム、 または記憶部 3 0 8から RAM (Random Access Memory) 3 0 3にロードさ たプログラムに従って各種 の処理を実行する。 RAM 3 0 3にはまた、 CPU 3 0 1が各種の処理を実行する上 において必要なデータなども適宜記憶される。 CPU 3 0 1は、 信号処理回路 7の 動き検出回路 2 3および演算回路 2 4等が行う処理を実行する。
CPU 3 0 1、 R0M 3 0 2、 および RAM 3 0 3は、 ノ ス 3 0 4を介して相互に接続 されている。 このバス 3 0 4にはまた、 入出力インタフェース 3 0 5も接続され ている。
入出力インタフェース 3 0 5には、 キーボード、 マウスなどよりなる入力部 3 0 6、 CRT (Cathode Ray Tube) , LCD (Li qui d Crystal di splay)などより なるディスプレイ、 並びにスピーカなどよりなる出力部 3 0 7、 ハードディスク などより構成される記憶部 3 0 8、 モデム、 ターミナルアダプタな より構成さ れる通信部 3 0 9が接続されている。 通信部 3 0 9は、 インターネットなどのネ ットワークを介しての通信処理を行う。 撮像部 3 1 1は、 図 1で示される撮像素 子 4などを有し、 被写体を撮像し、 その撮像した被写体の画像データを入出力ィ ンタフェース 3 0 5を介して CPU 3 0 1等に供給する。
入出力ィンタフェース 3 0 5にはまた、 必要に応じてドライブ 3 1 0が接続さ れ、 磁気ディスク 3 2 1、 光ディスク 3 2 2、 光磁気ディスク 3 2 3、 或いは半- 導体メモリ 3 2 4などが適宜装着され、 それらから読み出されたコンピュータプ ログラムが、 必要に応じて記憶部 3 0 8にインストールされる。
次に、 信号処理回路 7における、 画像推定処理の第 8実施の形態について説明 する。 第 8実施の形態は、 図 2 4で説明した第 3実施の形態の一部を改良したも のである。
第 3実施の形態では、 撮像素子 4 (図 1 ) の各画素で受光されるデータ （受光 量） をポイントサンプリングされたデータとして捉え、 各画素中心で観測された 画素値とカメラブレのない鮮明な画像としての画像信号との関係をバネモデルで 表すことにより、 より本来の光に忠実で鮮明な画像を求めた。
例えば、 カメラブレのない鮮明な画像としての画像信号を構成する G信号、 R 信号、 および B信号のうちの、 G信号については、 第 3実施の形態では、 各画素 中心の位置 （Γ， J ' ) の求めるべき真の緑色の光量 L g ( ， J ' ) を、 上 述したように、 式 （2 5) の緑色の光量のパネ関係式により表した。
式 （2 5) のパネ定数 { " 2— F ( (x， y) , ( Γ， J') ) } / (Mk X E) のうちの { " 2 _ F ( (x， y) ， （ ， J，） ） } は、 位置 （ , Γ ) と、 位置 （Γ， J' ) の近傍にある位置 （X , y) との距離に対して単調減 少する、 いわば距離に応じた重みを表す。 従って、 位置 （x， y) の画素値 G o b s (k， i g， j g) と、 位置 （I，， J，） の真の緑色の光量 L g ( , J ') とは、 位置 （Γ , J' ) と位置 （X , y) との距離が大きくなるほど、 パネの 引っ張る力が弱くなり、 位置 （1' , J' ) と位置 （X , y) との距離が小さくな るほど、 パネの引っ張る力が強くなる関係がある。
一方、 式 （2 5) のパネ定数 {V" 2—F ( (X， y) ， （ , J，） ） } / (Mk X E) のうちの （Mk x E) は、 相関 2重サンプリング回路 5 (図 1 ) で 除去されないノイズ成分のノイズ量 Eがゲインアップにより、 Mk倍 （k = l乃 至 N) されたものである。 そして、 1 （Mk x E) は、 ノイズ量 Eに対して単 調減少する、 いわばノイズによる重みを表す。 従って、 位置 （x， y) .の画素値 G o b s (k , i g , j g) と、 位置 （ ， J ' ) の真の緑色の光量 L g ( I ' J ' ) とは、 ノイズ量 Eが大きいほどパネの引っ張る力が弱くなり、 ノイズ量 E が小さいほどパネの引っ張る力が強くなる関係がある。
第 8実施の形態では、 式 （2 5 ) で { " 2— F ( (x , y) , ( I '， J
') ) } とされていた、 位置 （ ， J' ) と画素値 G o b s (k, i g, j g) 力 S ある位置 （x , y) との距離に応じた重み （以下、 単に、 距離重みと称する） と して、 例えば、 キュービック （Cubic) 関数を用いた Cubic ( I ' - x) X Cubic (J'一 y) を採用する。 即ち、 第 8実施の形態では、 式 （2 5 ) の {7~ 2— F ( (x , y) , ( I ' , J ' ) ) } に代えて、 Cubic ( I ' - x) X Cubic (J'一 y) を採用する。
ここで、 キュービック関数 Cubic(z)は、 次式 （3 9) で表される。 (a+2) |z|3-(a+3) |z|2+1 (|z|<1) Cubic(z) 二 a|z|3-5a|z|2+8a|z| -4a (1<|z|<2)
0 (2<|z|)
(3 9)
なお、 式 （3 9) の aは、 予め決められた定数であり、 例えば、 一 1などとさ れる。
キュービック関数 Cubic(z)は、 図 4 2に示すように、 変数 Zが、 2≤ | z | 、 および I z I == 1の場合には、 0となり、 1く | Ζ | く 2の場合には、 負の値と なる。 また、 I ζ I く 1の場合には、 Cubic(z)は、 正の値となり、 かつ、 i Z Iの値が大きくなるに従い、 小さくなる。 換言すれば、 キュービック関数 Cubic ( z) は、 周波数軸で考えた場合 （フーリエ変換した場合） にローパスフィルタ の特性を有する関数である。
なお、 式 （2 5) における、 サメーシヨン （∑) の対象の p個目の画素値 G o b s (k， i g, j g) を vpと表すとともに、 その！)個目の画素値 vpに対する パネ定数 {V"2 -F ( ( X , y ) ， ( I ' , J ' ) ) } / (Mk x E) を、 バネ 定数 Kpと表し、 さらに、 式 （2 5) を、 真の緑色の光量 L g ( I ' , J ') につ いて解くと、 式 （4 0) が得られる。
Lg(I'， J')
Figure imgf000135_0001
(4 0)
ここで、 式 （40) において、 ∑ は、 pについてのサメーシヨンを表す。
式 （4 0) から、 バネモデルによれば、 真の緑色の光量 L g ( ， J ' ) は、 パネ定数 Kpを重みとし、 画素値 νρを用いた重み付け加算を行うことにより求め られている、 ということができる。 真の赤色の光量 L r ( I，， J ' ) および真 の青色の光量 L b ( I ' , J ' ) についても、 同様である。
図 4 3は、 位置 （Γ , J' ) に対して、 N枚の撮像画像の位置 （ i g— O. 5 , j g - 0. 5) を基準座標系 （1枚目の座標系） 上に変換した位置 （X , y) 力 I ' - 2≤ x < I ' + 2 , J，— 2≤ y < J， + 2を満たす整数 k， i g, j gの 組をすベて求め、 その画素値 G o b s (k, i g, j g) が観測された点 G l 1 乃至 G 1 9を示したものである。
図 4 3では、 黒丸で示される位置 （ , J') に対して、 白丸で示される点 G 1 1乃至点 G 1 9で観測された 9つの画素値 G o b s (k， i g， j g) を特定 する （k, i g , j g) の組が得られている。 なお、 点 G 1 1乃至 G 1 9の整数 k , i g , j gの組は、 それぞれ異なるものである。
ここで、 第 3実施の形態においては、 図 2 1で示したように、 位置 （Γ, J' ) に対して、 N枚の撮像画像の位置 （ i g— 0. 5 , j g - 0. 5) を基準 座標系 （1枚目の座標系） 上に変換された位置 （X , y) 力 I ' - l≤ x < I ' + 1 , J ' _ 1≤ yく J' + 1を満たす整数 k， i g， j gの組を求めたのに対 して、 第 8実施の形態では、 図 4 3に示すように、 I '— 2≤ x < r + 2，' J， 一 2≤ yく J ' + 2を満たす整数 k , i g , j gの組を求めている。 これは、 上 述したように、 式 （3 9) で表されるキュービック関数 Cubic(z)が、 一 2≤ z ≤ 2の範囲で、 引数 zに応じた値をとるので （ | Z | 〉 2の範囲では、 引数 zに かかわらず 0であるので） 、 その範囲と対応する範囲、 即ち、 I，一 2≤ χ < 1 ' + 2、 および J ' - 2≤y < J ' + 2の範囲で観測される画素値 G o b s (k, i g, j g) を用いて、 位置 （Γ， Γ ) の真の緑色の光量 L g ( , J' ) を 推定するためである。
また、 第 3実施の形態においては、 次のようにして、 k枚目の撮像画像の位置 ( i g - 0. 5， j g - 0. 5) を、 基準座標系である 1枚目の撮像画像の位置 ( ( i g - 0. 5) (k)， ( j g - 0. 5) (k)) に変換していた。 即ち、 動き検出 回路 2 3— (k - 1) は、 1枚目の撮像画像と k枚目の撮像画像との位置関係か ら、 回転角度 0 k、 スケール S k、 平行移動量 （T k x, T k y) で構成され るァフィン変換の変換パラメータ （0 k， T k x, T k y, S k) を求め、 演算 回路 24に供給する。 そして、 演算回路 24が、 動き検出回路 2 3— (k - 1) から供給された変換パラメータ （0 k, T k X, T k y， S k) をァフィン変換 の式 （3) に用いて、 k枚目の撮像画像の位置 （ i g— 0. 5 , j g - 0. 5) を、 基準座標系における位置 （ （ i g— 0. 5) (k)， (j g - 0. 5) (k)) に変 换する。
一方、 第 8実施の形態では、 動き検出回路 2 3— （k一 1) は、 1枚目の撮像 画像と k枚目の撮像画像との位置関係が次式 （4 1) で表されるァフィン変換の 変換パラメータを求める。
X1 (k) ak' bk， vXk、 r Λ
Tkx
、Y100ノ ck' dk， 、Ykノ Tky'ノ
… （4 1)
即ち、 動き検出回路 2 3— ( k - 1 ) は、 1枚目の撮像画像と k枚目の撮像画 像との位置関係を表す式 （4 1) の行列 （a k'， b k'， c k'， d k') と 2 次元ベク トル （T k x'， T k y' ) を求め、 演算回路 2 4に供給する。 ここで 式 （4 1) の行列 （a k'， b k'， c k， ， d k，） と 2次元べク トル （T k x' T k y') で表されるァフィン変換の変換パラメータを、 単に、 変換パラメータ (a k，， b k'， d k' , T k x' , T k y' ) と称する。
なお、 a k， = d k' = S k X c o s ( Θ k) とするとともに、 _ b k' = c k ' 二 S k X s i n ( 0 k ) とすることにより、 式 （4 1 ) は、 式 （3) と一致 する。
ここで、 式 （4 1 ) の （X k， Yk) は、 式 （3) と同様に、 k枚目の撮像画 像の画素の位置であり、 （X Υ 1 (k)) は、 位置 （X k, Yk) を式 （4
1) でァフィン変換した 1枚目の撮像画像上の位置 （基準座標系上の位置） を表 している。 即ち、 下付きの （k) は、 k枚目の画像のある位置が基準座標系上に 位置変換されたことを表している。 なお、 1枚目の撮像画像については、 変換パ ラメータ （a l '， b l '， c l '， d 1 ' , T l x' , T 1 y ' ) = ( 1， 0 , 0， 1， 0， 0) とみなすことで、 k= 1乃至 Νに対して、 式 （4 1) が成り立つ。 例えば、 動き検出回路 2 3— 1では、 1枚目の撮像画像と 2枚目の撮像画像と の位置関係が次式 （4 2) で表されるような、 変換パラメータ （a 2'， b 2' c 2， ， d 2， ， T 2 x， ， T 2 y ' ) が求められ、 演算回路 24に供給される。
, , .,.
X1 (2)、 f
、l 1(2)ノ
Figure imgf000138_0001
• · ■ (42)
また、 例えば、 動き検出回路 2 3_ 2では、 1枚目の撮像画像と 3枚目の撮像 画像との位置関係が次式 （43) で表されるような、 変換パラメータ （a 3'， b 3' , c 3' , d 3' , Τ 3 χ', Τ 3 y' ) が求められ、 演算回路 24に供給さ れる。
八1 (3)
、Υ1 (3)ノ
Figure imgf000138_0002
· · ■ (43)
式 （43) は、 3枚目の撮像画像上の位置 （X 3， Y3) 力 1枚目の撮像画 像上の位置 （X l， Y 1) に対して、 例えば、 手持ち撮影のため、 変換パラメ一 タ （a 3， ， b 3 ' , c 3'， d 3'， T 3 x ' , T 3 y ' ) の分だけ移動したこと を意味する。
変換パラメータ （a k'， b k'， c k， ， d k'， T k x' , T k y') .は、 上 述のように、 1枚目の撮像画像を基準とする、 k枚目の撮像画像の位置関係から を求める他、 デジタルカメラ 1に加速度センサを設け、 その加速度センサの出力 から、 いわば、 メカニカル的に求めるようにすることもできる。 また、 手持ち撮 影による手プレでは、 1枚目の撮像画像と k枚目の撮像画像との位置関係には、 回転成分はほとんど含まれていないと考えることができるので、 以下では、 変換 パラメータ （a k'， b k ' , c k， ， d k， ， T k x ' , T k y' ) の回転成分は、 無視することができるもの （回転していないことを表す固定の値 } として.も良い。 一方、 式' （2 5) のノイズによる重みに関しては、 第 8実施の形態では、 N枚 の撮像画像について、 すべて同一のゲインアップ （11 'ビットシフト） が行われ ているものとする。 即ち、 第 8実施の形態では、 撮像素子 4で撮像された N枚の 画像 （入力画像） は、 いずれも、 適正露出で撮像された画像の 1ZM= lZMk の明るさであるとする。 例えば、 撮像画像が適正露出で撮像された画像の 1Z8 の明るさである場合、 M==8となり、 シフ ト回路 21 (図 1) では、 3ビットシ フトによりゲインアップを行うことができる。
シフ ト回路 2 1において、 N枚の撮像画像に対して、 すべて同一のゲインアツ プを行うことにより、 式 （25) のノイズによる重み 1/ (Mk E) は、 第 8 実施の形態では、 1/ (MX E) と表すことができる。
以上から、 第 3実施の形態における式 （25) は、 第 8実施の形態では、 次式 (44) のように表すことができる。 x tGobs(k, ig, jg)-Lg(T, J'))
Figure imgf000139_0001
- · · (44)
ここで、 式 （44) における ∑ は、 ある位置 （ , J') に対して、 位置 （ i g— 0. 5 , j g - 0. 5) を変換パラメータ （a k，， b k' , c k，， d k ' , T k x，， T k y' ) で変換した基準座標系上の位置 （X , y) 、 I ' - 2≤ x < I ' + 2, J'— 2≤y < J， + 2を満たす （k, i g, j g) の組の個数分の 和を表す。 例えば、 図 4 3に示した例では、 点 G 1 1乃至点 G 1 9の 9個の （k, i g, j g) の耝についての和となる。
式 （44) は、 式 （25) の緑色の光量のパネ関係式に対応する、 キュービッ ク関数 Cubic (z)を用いた、 第 8実施の形態の緑色の光量のバネ関係式であると いうことができる。
式 （44) のノイズによる重みである 1Z (M E) は、 ∑ の対象となる (k， i g， j g) の組に関係なく一定であるから、 ∑ の対象から外すことが でき、 従って、 式 （44) は、 次式 （45) に変形することができる。 ic(I'-x) xCubic(J'-y) x (Gobs(k( ig， jg) -Lg(I，， J，）]
Figure imgf000140_0001
=0
∑ Cubic(I'-x) xCubic(J'-y) x {Gobs ( ig, jg) -Lg(I', J')]
Figure imgf000140_0002
■ · · (45)
さらに、 式 （45) を、 求めるべき真の緑色の光量 L g ( I ' , J') につい て解くと、 次式 （46) が得られる。
∑ Cubicd'-x) xCubic(J'-y) xGobs(k, ig, jg)
= ∑Cubic(I'-x) xCubic(J'-y) xLg(I，， J，）
. ( , ∑ Cubic(I'-x) xCubic(J'-y) xGobs(k, ig, jg) LgU ' J ∑Cubic(r-x) xCubic(J'-y)
• ■ · (46)
第 8実施の形態では、 式 （46) により、 真の緑色の光量 L g ( Γ, J') を求める。
式 （46) によれば、 真の緑色の光量 L g ( I ' , J') は、 Cubic ( — χ ) x Cubic (J' - y) を重みとして、 画素値 G o b s (k， i g, j g) を用 いた重み付け加算を行うことにより求められている、 ということができる。 ここ で、 重み Cubic ( I ' - x) X Cubic ( J' - y ) は、 位置 （ , J') と画素値 G · o b s (k, i g， j g) がある位置 （x， y) との距離に対してローパスフィ ルタの特性を有する。
なお、 以下では、 式 （46) を緑色の光量の重み加算式と称する。 また、 式 (46) の緑色の光量の重み加算式の分子と分母を、 次のように、 式 （47) と 式 （48) とする。
∑Cubic(I'-x) X Cubic (J?-y) x Gobs ( ig, jg)
• · · (47) ∑Cubic(I'-x) x Cubic (J'-y)
• - · (48)
また、 画素値 Go b s (k， i g, j g) 力 シフト回路 21において M倍に ゲインアップされる前のデータ （光量） を DG。bs(k,ig,jg)とすると、 式 （46) は、 式 （49) のように表すことができる。
∑Cubic(I'-x) xCubic(J'-y) xM DGobs(k> igJg) Lg ' )― ∑Cubic(r-x) xCubic(J?-y)
• · · (49)
位置 （ , J') における、 真の赤色の光量 L r ( ， J') と、 真の青色の 光量 L b (I'， J') も、 式 （46) と同様に、 式 （50) と式 （51) によ り、 それぞれ表すことができる。
( , ，、 Cubic(I'-x) xCubic(J?-y) xRobs(k, ir, jr) U ' ∑Cubic(I'-x) xCubic(J'-y)
• · · (50)
以下において、 式 （50) を、 赤色の光量の重み加算式と称する。 ここで、 式 (50) における ∑ は、 ある位置 （Γ, J') に対して、 位置 （ i r一 0. 5, j r - 0. 5) を変換パラメータ （a k，， b k'， c k', d k'， Tk x，， T k y，） で変換した基準座標系上の位置 （x, 、 I I ' - 2≤ x< I' + 2, J'一 2≤ y < J' + 2を満たす （k， i r， j r ) の組の個数分の和を表す。
. , ( , 、 ∑Cubic(I?-x) xCubic(J'-y) xBobs(k, ib, jb) U ' ) ∑Cubic(I'-x) xCubic(J'-y)
• · · (51)
以下において、 式 （5 1) を、 青色の光量の重み加算式と称する。 ここで、 式 (51) における ∑ は、 ある位置 （ , J' ) に対して、 位置 （ i b— 0. 5， j b-0. 5) を変換パラメータ （a k'， b k，， c k'， d k'， T k x' , T k y' ) で変換した基準座標系上の位置 （X, y ) 力 Γ - 2≤ χ< Ι' + 2, J '一 2≤ yく J ' + 2を満たす （k， i b , j b) の組の個数分の和を表す。 また、 式 （50) の赤色の光量の重み加算式の分子と分母を、 それぞれ、 式 (52) と式 （5 3) とする。
∑Cubic(I'-x) xCubic(J'-y) x Robs ( ir, jr)
• · · (5 2)
∑Cubic(I'-x) x Cubic (J' -y)
• · · (5 3)
同様に、 式 （5 1) の青色の光量の重み加算式の分子と分母を、 それぞれ、 式 (54) と式 （55) とする。
∑Cubic(I'-x) xCubic(J'-y) Bobs(k, i , jb)
· · · (54)
∑Cubic(I'-x) xCubic(J'-y)
• · · (5 5)
以上の、 式 （46) で表される緑色の光量の重み加算式、 式 （50) で表され る赤色の光量の重み加算式、 およぴ式 （5 1) で表される青色の光量の重み加算 式を用いて、 演算回路 24が、 真の緑色の光量 L g ( I ' , J，） 、 真の赤色の 光量 L r ( I ' , J') 、 および真の青色の光量 L b ( , J') を求める処理 を、 後述する例外処理に対比させて、 通常処理という。
次に、 式 （46) の緑色の光量の重み加算式、 式 （50) の赤色の光量の重み 加算式、 および式 （5 1) の青色の光量の重み加算式について考察する。
まず、 式 （46) の緑色の光量の重み加算式は、 位置 （X , y) における画素 値 Go b s (k, i g, j g) と距離重み Cubic ( I ' - x) x Cubic (J，一 y) との積和 （距離重み Cubic ( I ' - x) X Cubic (J' - y ) による画素値 G o b s (k, i g, j g) の重み付け加算値） である式 （47) の分子を、 距離 重み Cubic ( I ' - x) x Cubic (J'一 y) の総和である式 （48) の分母で除 算したものである。
しかしながら、 式 （46) の分母である式 （48) が 0 (ほぼ 0も含む） とな る場合、 式 （46) で求められる真の緑色の光量 L g ( I '， J') は、 不安定 (不定） な、 信頼性のない値となる。 換言すれば、 式 （4 6) の分母である式 (4 8) が 0となる位置 （Γ， J' ) では、 式 （4 6) の分子における画素値 G o b s (k, i g, j g) に含まれる僅かなノイズ成分 （誤差） 1 0である分 母で除算されることにより、 大きな値に増幅され、 その結果、 式 （4 6) で求め られる真の緑色の光量 L g ( I ' , J ' ) は、 大きなノイズを含む信頼性のない 値となる。
分母である式 （4 8) が 0となる場合は、 例えば、 キュービック関数 Cubic ( Γ - x) または Cubic ( J' - y ) のうちの少なくとも一方が、 式 （4 8) の サメーシヨンの全範囲にわたって 0となる場合である。 そして、 キュービック関 数 Cubic ( I ' - x) または Cubic (Γ— y) が 0となる場合は、 図 4 2で示し たキュービック関数の特性から、 一 X ==± 1または J '一 y =± 1、 即ち、 χ = Γ ± 1または y = J' ± 1となる場合である。
従って、 ある位置 （ , J') に対して、 位置 （ i g— 0. 5， j g- O.
5) を変換パラメータ （a k，， b k，， c k'， d k，， T k x' , T k y ' ) で 基準座標系上に変換した場合に、 一 2≤ χ< + 2, J' - 2≤ y< J' +
2の範囲に出現する、 すべての （k， i g , j g) の画素値 G o b s (k， i g， j g) の位置 （x， y) 力 位置 （I'， J' ) と x = I ' ± 1または y = J， ± 1 の関係があるとき、 式 （46) で求められる真の緑色の光量 L g ( I '， J ' ) は、 その分母が 0 (またはほぼ 0) となるから、 不安定 （不定） な、 信頼性のな い値となる。 伹し、 一 2≤ χ< + 2， J'一 2 ^yく J' + 2の範囲に出 現する画素値 G o b s (k， i g, j g) の位置 （x， y) すべてが、 位置
(Γ, J') と、 x = ± 1または y = J ' ± lの関係となる状態ば、 極めて特 別な、 例外的な状態であり、 以下、 この関係となる状態を例外状態と称する ここで、 k枚目の撮像画像の画素の位置 （k, i， j ) を、 変換パラメータ ( a k'， b k'， c k'， d k'， T k x' , T k y' ) で基準座標系上に変換し た位置 （X , y) を、 以下、 適宜、 変換位置 （X , y) (補正位置） ともいう。 図 4 4は、 ある位置 （Γ, J') が例外状態となっている場合を示す図である。 図 44では、 位置 （ i g— 0. 5， j g - 0. 5) が変換パラメータ （a k'， b k'， c k' , d k'， T k x，， T k y ' ) で変換された点 （変換位置） G 1 1 'および点 G 1 5 '力 X = — 1の関係となる位置に、 点 G 1 2 'および G 1 6'が、 X = + 1の関係となる位置に、 それぞれ出現している。
また、 位置 （ i g— 0. 5， j g-O. 5) が変換パラメータ （ a k' , b k ，， c k'， d k，， T k x'， T k y，） で変換された点 G 1 3 'およぴ点 G 14' 力 S、 y = J'— 1の関係となる位置に、 点 G 1 7'、 点 G 1 8'、 および点 G 1 9 ，が、 y = J， + 1の関係となる位置に、 それぞれ出現している。
図 44に示す状態においては、 基準座標系上の Γ一 2≤x < I ' + 2， J，_ 2≤y < J' + 2の範囲に変換された （k， i g, j g) の組のすべての変換位 置 （x， y) Κ 位置 （1，， J' ) と χ = ± 1または y = J， ± 1の関係があ る。 この状態では、 位置 （ , J' ) を中心とした、 およそ （ ± 1, J' ± l) 内の領域 （位置 （ ， J') を中心とする横 X縦が 2 X 2の正方形の領域） には、 G信号のデータ （画素値 Go b s (k， ί g, j g) ) カ 1つも存在していない。 このような状態 （例外状態） において、 位置 （ , J') における真の緑色の 光量 L g ( ， J') を、 式 （46) によって求めた場合、 上述したように、 信頼性の低い （不安定な） 真の緑色の光量 L g ( ， J') が得られることと なる。
そこで、 位置 （ , ) の画素が、 このような例外状態である場合には、 演 算回路 24は、 例外処理を行う。
即ち、 例えば、 いま、 位置 （Γ, ) を注目位置として、 その注目位置 （ ， j') の出力画像の画素 （以下、 適宜、 注目画素という） における真の緑色の光 量 L g ( ， J') を推定するとして、 注目画素 （の注目位置 （ ， j') ) 力 s 例外状態となっている場合、 演算回路 24は、 例外状態の注目画素の注目位置 ( , J' ) における真の緑色の光量 L g ( I ' , J') を、 変換位置 （X , y) が注目位置 （ ， J') の近傍にある k枚目の撮像画像の画素の画素値 G o b s (k, i g， j g) の他に、 変換位置 （x, y) が注目画素の周辺の出力画像の 画素の位置の近傍にある k枚目の撮像画像の画素の画素値 G o b s (k, i g， j g) をも用いて求める。 ここで、 注目位置 （I'， J' ) の注目画素の周辺の画 素 （以下、 適宜、 周辺画素という） としては、 例えば、 図 45に示すような、 位 置 （1'一 1, J') , (I， + l， J') , ( , J，一 1) , J' + l) それぞ れの画素を採用することができる。
本実施の形態のデジタルカメラ 1の撮像素子 4は、 図 3を参照して説明したよ うに、 べィヤー配列となっている。 べィヤー配列では、 緑色の成分を受光する画 素は、 X方向および Y方向ともに、 1画素おきに配列されている （図 3参照） 。 なお、 第 8実施の形態では、 撮像素子 4は、 横方向 （X方向） に W画素、 縦方向 (Y方向） に H画素の、 Wx Hの画素数を有しているとする。
いま注目位置 （Γ, J' ) の近傍に G信号の観測値 （である画素値） G o b s
(k, i g， j g) が存在していない場合、 その注目位置 （ ， J') の注目画 素は、 べィヤー配列の画素のうちの、 緑色の成分を受光する画素ではないといえ る。
例えば、 注目位置 （1', J' ) の注目画素が、 図 46に示すように、 べィヤー 配列の画素のうちの、 青色の成分を受光する画素であり、 丸で囲まれている画素 B 1 2である場合、 画素 B 1 2の上下左右のいずれかには、 緑色の成分を受光す る画素が存在する。 同様に、 撮像素子 4の赤色または青色の成分のうちのいずれ かを受光する各画素に対しては、 その画素の上下左右のいずれかに、 緑色の成分 を受光する画素が存在する。
従って、 注目位置 （ , J') の近傍に G信号の観測値 G o b s (k, i g, j g) が存在していない場合 （変換位置 （X , y) が注目位置 （Γ， J' ) の近 傍にある撮像画像の緑色の画素が存在していない場合） 、 その注目位置 （Γ，
J') の'注目画素の上、 下、 左、 または右に隣接する画素 （周辺画素） の位置 J'一 1) , ( , J' + l) ， （ 一 1， J') 、 または （I' + l, J') の うちのいずれかの近傍には、 G信号の観測値 Go b s (k， i g, j g) が存在 する。 そして、 位置 （ 一 1， J，） ， (I' + l, J') , (I'， J，一 1) 、 また は （ ， J' + l) のうちのいずれかの周辺画素においては、 G信号の観測値 G o b s (k, i g， j g) が存在するので、 例外状態が発生していない。 即ち、 位置 （ 一 1， Γ) ， （ + 1, J') ， （1', J'一 1) 、 または （Γ, J' +
1 ) のうちのいずれかの周辺画素については、 式 （46) により、 信頼性のある 真の緑色の光量 L g ( I ' ， J' ) を求めることができる。
以上から、 演算回路 24は、 注目画素が例外状態である場合は、 注目位置
(1', J') における真の緑色の光量 L g ( Ι', J') を、 変換位置 （X , y) が注目位置 （Γ, J') の近傍にある画素の画素値 G o b s (k, i g, j g) の他に、 注目画素の周辺の周辺画素の位置 （ 一 1, J') , (Γ + 1 , J') ,
( , J' - 1) 、 または （I'， J' + l) の近傍にある画素の画素値 G o b s
(k, i g, j g) をも用いて求める例外処理を行う。
具体的には、 演算回路 24は、 例外処理として、 注目位置 （1', J' ) におけ る真の緑色の光量 L g ( I ' , J') を、 次式 （56) で求める。
d', J')における G信号の分子の値 、
+ ( Γ - 1 , J' )における G信号の分子の値
+ ( Γ + 1， ）における G信号の分子の値
+ ( I '， - 1 )における G信号の分子の値
+ (Γ, J' +1 )における G信号の分子の値
し g(I'， J') =
(Γ， J')における G信号の分母の値 、
+ ( Γ - 1， J，）における G信号の分母の値
+ ( Γ +1 , J，）における G信号の分母の値
+ (Γ, J' - 1)における G信号の分母の値
+ (!', J'+1 )における G信号の分母の値ノ
• · - (56)
式 （56) によれば、 注目画素の注目位置 （ , J' ) と、 その注目画素の周 辺の周辺画素の位置 （Γ一 1， J') , (I' + l, J') ， （1', J'一 1) 、 およ び （ , J' + l ) との 5点それぞれにおいて通常処理のときに演算される式
(46) の分子の総和、 即ち、 式 （47) の総和を、 注目画素の注目位置 （Ι' , J') と、 その注目画素の周辺の周辺画素の位置 （Γ— 1 , Γ) ， （ + 1 , J') , (Γ , J'一 1) 、 および （I'， J' + l) との 5点それぞれにおいて通常 処理のときに演算される式 （46) の分母の総和、 即ち、 式 （48) の総和で除 算することにより、 真の緑色の光量 L g ( , J' ) が求められる。
なお、 注目画素が例外状態である場合に、 その注目位置 （ ， Γ ) における 真の緑色の光量 L g ( I ' , J') を求めるにあたっては、 上述の式 （56) に 限定されるものではなく、 例えば、 次の式 （57) を採用してもよい。
(Γ- 1， J，）における G信号の分子の値 、
Lgd'.j') =
(Γ - 1， J')における G信号の分母の値
+ ( Γ + 1 , Πにお二ける G信号の分子 φ値
(Γ+1, J')における G信号の分母の値
+ (Γ， 1)における G信号の分子の値
(Γ, J'- 1)における G信号の分母の値
Figure imgf000147_0001
• · · (57)
式 （57) では、 注目画素の周辺の周辺画素の位置 （1'一 1， J') , ( + 1， J') , ( ， J'一 1) 、 および （ ， J' + 1) の 4点それぞれについて式 (46) で求められる真の緑色の光量 L g (Ι'— 1, J') , L g (Γ + 1， J') ， L g (Γ, J' - 1) 、 および L g ( ， J' + l) の平均値を、 注目位置 (Γ， J' ) の真の緑色の光量 Lg (Ι', J') と推定している式であるといえ る。
次に、 式 （50) の赤色の光量の重み加算式について考察する。
式 （50) の赤色の光量の重み加算式で求められる真の赤色の光量 L r ( I J') についても、 式 （46) の緑色の光量の重み加算式で求められる真の緑色 の光量 L g ( , J') と同様に、 値が不安定となる場合、 即ち、 注目画素が 例外状態となる場合がある。 具体的には、 ある注目画素の注目位置 （Γ, J') に対して、 位置 （ i r一 0. 5， j r -0. 5) を変換パラメータ （a k'， b k'， c k '， d k'， T k x ' , T k y ') で基準座標系上に変換した場合に、 I ' - 2≤ X < I ' + 2 , J '一 2≤ y < J， + 2の範囲に出現する、 すべての （k， i r , j r ) の画素値 R o b s (k , i r , j r ) の変換位置 （ x， y) 力 図 4 4に示したように、 位置 （ , J，） と
Figure imgf000148_0001
J ' ± lの関係 となることがある。 このような状態 （例外状態） においては、 位置 （Γ, r ) を中心とした、 およそ （r ± i， j' ± i) 内の領域 （位置 （ι', r ) を中心と する横 X縦が 2 X 2の正方形の領域） には、 R信号のデータ （画素値 R o b s (k, i r， j r ) ) カ 1つも存在していない。
この場合、 演算回路 2 4は、 次の例外処理を行う。
即ち、 演算回路 2 4は、 例外状態の注目画素の注目位置 （ ， Γ ) における 真の赤色の光量 L r ( I ' , J ' ) を、 変換位置 （X , y) が注目位置 （1'， J' ) の近傍にある k枚目の撮像画像の画素の画素値 R o b S (k , i r， j r ) の他に、 変換位置 （x， y) が注目画素の周辺の出力画像の画素の位置の近 傍にある k枚目の撮像画像の画素の画素値 R o b s (k， i r， j r ) をも用い て求める。 ここで、 注目位置 （ , J' ) の注目画素の周辺の周辺画素としては、 例えば、 図 4 7に示すような、 位置 （ 一 1， J'一 1 ) ， (Ι' , J' - l ) ,
(I' + l , J' - 1 ) , ( 一 1， J') , (I' + l, J') , ( 一 1 , J， + l) ， ( ， J' + l) ， （ + l, J' + l) それぞれの画素を採用することができる。 注目位置 （Γ， Γ ) の近傍に R信号の観測値 （である画素値） R o b s ( k， i r , j r ) が存在していない場合、 その注目位置 （I，， J' ) の注目画素は、 べィヤー配列の画素のうちの、 赤色の成分を受光する画素ではないといえる。 例えば、 注目位置 （Γ， J' ) の注目画素が、 図 4 8に示すように、 べィヤー 配列の画素のうちの、 緑色の成分を受光する画素であり、 丸で囲まれている画素 G 1 1である場合、 画素 G l 1の上下のいずれかには、 赤色の成分を受光する画 素が存在する。
また、 例えば、 注目位置 （I'， J') の注目画素が、 図 4 8に示すように、 ベ ィヤー配列の画素のうちの、 緑色の成分を受光する画素であり、 丸で囲まれてい る画素 G 2 2である場合、 画素 G 2 2の左右のいずれかには、 赤色の成分を受光 する画素が存在する。
さらに、 例えば、 注目位置 （ , J') の注目画素が、 図 4 8に示すように、 べィヤー配列の画素のうちの、 青色の成分を受光する画素であり、 丸で囲まれて いる画素 B 1 4である場合、 画素 B 1 4の右斜め上、 右斜め下、 左斜め上、 およ び左斜め下のいずれかには、 赤色の成分を受光する画素が存在する。
同様に、 撮像素子 4の、 赤色の成分を受光する画素ではない各画素に対しては、 その画素の上下、 左右、 右斜め上、 右斜め下、 左斜め上、 および左斜め下のいず れかには、 赤色の成分を受光する画素が存在する。
従って、 注目位置 （1' , J') の近傍に R信号の観測値 R o b s (k, i r , j r) が存在していない場合 （変換位置 （x， y) が注目位置 （Γ , Γ ) の 近傍にある撮像画像の赤色の画素が存在していない場合） 、 その注目位置 （ ,
J') の注目画素の左斜め上、 上、 右斜め上、 左、 右、 左斜め下、 下、 または右 斜め下に隣接する画素 （周辺画素） の位置 （1'一 1， J'一 1) ， （ , J'一
1) ， （Γ + 1， J，一 1 ) ， （ 一 1 , J，） ， (1' + 1 , J') , ( 一 1， Γ
+ 1) ， （ ， j' + 1) 、 または （Γ + 1， j' + 1 ) のうちのいずれかの近傍 には、 R信号の観測値 R o b s (k， i r， j r) が存在する。 そして、 位置 (1，一 1， J，一 1 ) ， （1' , J '一 1 ) ， （ + 1 , J' _ l) , (I，一 1， J，） ， ( + 1， J，） ， （Γ一 1 , J' + l) ， （Ι' , J' + 1) 、 または （ + 1， J' + 1) のうちのいずれかの周辺画素においては、 R信号の観測値 R o b s (k, i r, j r) が存在するので、 例外状態が発生していない。 即ち、 位置 （Γ一 1 , J'一 1) , (1' , J' - 1) , (I' + l, J' -l) , (1，一 1， J') , (Ι'
+ ι， j') ， (ΐ' - ι , r + 1 ) ， （Γ, j' + i) 、 または （ + i， r +
1) のうちのいずれかの周辺画素については、 式 （5 0) により、 信頼性のある 真の赤色の光量 L r ( I ' , J' ) を求めることができる。
以上から、 演算回路 2 4は、 注目画素が例外状態である場合は、 注目位置 ( , J') における真の赤色の光量 L r ( ， J') を、 変換位置 （X , y) が注目位置 （Γ， J') の近傍にある画素の画素値 R o b s (k , i r , j r) の他に、 注目画素の周辺の周辺画素の位置 （ 一 1， J，一 1) ， （ , J，一 1) , ( + 1, J'— 1) , (Γ_ 1， J') , ( + 1， J') , ( 一 1， J' + 1) , (I'， J' + l) 、 または （Γ + 1 , Γ + 1) の近傍にある画素の画素 値 R o b s (k, i r， j r) をも用いて求める。
具体的には、 演算回路 24は、 例外処理として、 注目位置 （Γ, J') におけ る真の赤色の光量 L r ( I ' , J') を、 次式 .（5 8) で求める。
J')における R信号の分子の値
+ ( r-1, 〉における R信号の分子の値
+ ( Γ, J，— 1)における R信号の分子の値
+ ( r+i,j'-i; >における R信号の分子の値
+ ( I，一 1' J，）における R信号の分子の値
+ ( r+1, j')i おける R信号の分子の値
+ ( r-i,j'+i: 二おける R信号の分子の値
+ ( I，，J'+1)における R信号の分子の値
r+1, j'+i: )における R信号の分子の値
(I '， J')における R信号の分母の値
+ ( j'-i, j'-r )における R信号の分母の値
+ ( I，，J，一 υにおける R信号の分母の値
+ ( j'-i: Uこおける R信号の分母の値
+ ( Γ— 1，J，）における R信号の分母の値
+ ( Γ+1， J，）における R信号の分母の値
+ ( )における R信号の分母の値
+ ( r， における R信号の分母の値
{+( j'+i, j'+r >における R信号の分母の値
• · · (5 8)
式 （58) によれば、 注目画素の注目位置 （Γ， J') と、 その注目画素の周 辺の周辺画素の位置 （ 一 1， J'一 1) , ( , J'一 1) , (Γ + 1 , J'— 1) , ( 一 1， J') ， （Γ + 1, J') ， （1'— 1 , J' + l) , (Γ, J' + 1) 、 および （ + 1 , J' + l) との 9点それぞれにおいて通常処理のときに 演算される式 （50) の分子の総和、 即ち、 式 （52) の総和を、 注目画素の注 目位置 （ , J') と、 その注目画素の周辺の周辺画素の位置 （Γ一 1， J'一 1) ， (ΐ', r - i) , (Ι' + 1, J' - 1) , (Γ一 1,- J'〉 ， （ + 1， J') , ( — 1, J' + l) ， （Γ， J' + 1) 、 および （Γ + 1 , J' + 1 ) との 9点それぞれにおいて通常処理のときに演算される式 （50) の分母の総和、 即 ち、 式 （53) の総和で除算することにより、 真の赤色の光量 L r ( I ' , J ' ) が求められる。
なお、 G信号の場合における式 （57) と同様に、 式 （58) の代わりに、 注 目画素の周辺の周辺画素の位置 （Γ一 1, J'一 1) , (1' , J' - 1 ) , (Ι' + 1， J，一 1) ， （Γ一 1， J') , (I' + l, J') , (Ι'一 1， J' + l) ， （I'， J' + 1) 、 および （ + 1, J' + 1) の 8点それぞれの真の赤色の光量 L r
(I，一 1， J'一 1) ， 丄 r (Ι' , J' - 1) , L r (I' + l, J' - l) , L r ( 一 1， J') , L r (I' + l, J') ， L r (Γ - 1 , J' + l) , L r (Γ， J' + l) 、 および L r (I' + l, J' + l) の平均値から、 注目位置 （I'， J' ) の真の赤色の光量 L r ( Ι', J ' ) を求めてもよい。
さらに、 式 （51) の青色の光量の重み加算式で求められる真の青色の光量 L b ( ， J ' ) についても、 式 （46) の緑色の光量の重み加算式で求められ る真の緑色の光量 L g ( Γ , J') や、 式 （50) の赤色の光量の重み加算式 で求められる真の赤色の光量 L r ( , J') と同様に、 値が不安定となる場 合、 即ち、 注目位置 （Γ, J') の注目画素が例外状態となる場合がある。
この場合、 演算回路 24は、 次の例外処理を行う。
即ち、 べィヤー配列では、 青色の成分を受光する画素は、 上述の赤色の成分を 受光する画素と同様の位置関係で配列されている。 そこで、 演算回路 24は、 例 外状態の注目画素の注目位置 （ , J') における真の青色の光量 L b ( I ' , J ') を、 式 （58) と同様の、 式 （59) で求める例外処理を行う。 ， J')における B信号の分子の値
+ Γ - 1， J' - 1 )における B信号の分子の値
+ V, J'-1 )における B信号の分子の値
+ Γ+1, J'-1 )における B信号の分子の値
+ Γ - 1， J' )における B信号の分子の値
+ Γ+1， ）における B信号の分子の値
+ Γ一 1， J'+1 )における B信号の分子の値
+ Γ， J'+1 )における B信号の分子の値
V+ Γ+1， J'+1)における B信号の分子の値
Lb(I', J') =
, J')における B信号の分母の値
+ I，- 1, - 1)における B信号の分母の値
+ Γ, 1)における B信号の分母の値
+ Γ+1, J' - 1)における B信号の分母の値
+ Γ-1, J')における B信号の分母の値
+ Γ + 1 , ）における B信号の分母の値
+ Γ-1, J'+1)における B信号の分母の値
+ Γ, J' +1 )における B信号の分母の値
Γ+1, J'+1)における B信号の分母の値
• · · (5 9)
式 （5 9) によれば、 注目画素の注目位置 （Γ， J') と、 その注目画素の周 辺画素の位置 （ 一 1， J'一 1) , (1' , J' - 1) , ( + 1, J'— 1) ,
(1，一 1， J') , (Γ + l, J') , (Γ— 1, J， + l〉 ， （Γ， J' + l) 、 お ょぴ （Γ + l, J' + l) との 9点それぞれにおいて通常処理のときに演算され る式 （5 1) の分子の総和、 即ち、 式 （54) の総和を、 注目画素の注目位置
( , J，） と、 その注目画素の周辺画素の位置 （ 一 1， J' - 1) ， （1' , J' 一 1) , ( + 1， J'一 1) ， （I，一 1， J，） ， （ + 1 , J，） ， （Γ一 1， J' + l) ， （ , J' + l) 、 および （Γ + 1, J' + l) との 9点それぞれにお いて通常処理のときに演算される式 （5 1) の分母の総和、 即ち、 式 （5 5) の 総和で除算することにより、 真の青色の光量 L b (Ι ' , J' ) が求められる。 なお、 G信号の場合における式 （5 7) と同様に、 式 （5 9) の代わりに、 注 目画素の周辺の周辺画素の位置 （I '一 1， J'_l) ， (1' , J'-l) , (Ι' + 1 , J'一 1) ， (Ι' - 1 , J') , (Γ + 1 , J，） ， （Γ一 1， J，+ l) , (Γ， J' + 1) 、 および （Γ + 1, J' + 1) の 8点それぞれの真の青色の光量 L b
( 一 1， J'一 1) ， L b ( , J'— 1) , L b ( + 1， J'一 1) ， L b (Γ一 1， J') ， L b (Γ + 1， J') ， L b (I，一 1, J' + l) , L b (Γ， J' + l) 、 および Lb ( + l, J' + l) の平均値から、 注目位置 （ ， J') の真の青色の光量 L b ( I ' , J') を求めてもよい。
次に、 図 49と図 50のフローチャートを参照して、 図 2のステップ S 4にお ける画像推定処理の第 8実施の形態について説明する。
初めに、 ステップ S 201において、 演算回路 24は、 基準座標系上の画素が ある位置 （ , J') のうちの Y方向の位置を表す変数 J'に 1をセッ トして、 ステップ S 20 2に進む。
ステップ S 202において、 演算回路 24は、 基準座標系上の画素がある位置 ( I ' , J') のうちの X方向の位置を表す変数 I 'に 1をセットして、 ステップ S 203に進む。 ここで、 変数 I 'と J'は、 それぞれ、 出力画像の画素の X方 向と Y方向の位置を表す変数でもある。
ステップ S 203において、 演算回路 24は、 位置 （I'， J') を注目位置と して、 その注目位置 （ ， J') に対して、 k枚目画像の緑色の成分を受光する 画素の中心位置 （ i g— 0. 5， j g-0. 5) を変換パラメータ （a k'， b k'， c k'， d k，， T k x' , T k y') で変換した基準座標系上の変換位置 (x， y) 力 _ 2≤x < I ' + 2， J '一 2≤ yく J ' + 2を満たす （k， i g, j g) の組を、 1乃至 N枚目画像についてすべて求め、 ステップ S 204 に進む。
ステップ S 204において、 演算回路 24は、 ステップ S 203で求めたすべ ての （k， i g, j g) の組を用いて、 式 （48) で表される、 緑色の光量の重 み加算式の分母と、 式 （47) で表される、 緑色の光量の重み加算式の分子それ ぞれを演算する。 また、 演算回路 24は、 その演算の結果それぞれを図示せぬメ モリに記憶させて、 ステップ S 205に進む。 ステップ S 2 0 5において、 演算回路 2 4は、 注目位置 （Γ , J' ) に対して、 k枚目画像の赤色の成分を受光する画素の中心位置 （ i r一 0. 5 , j r - O. 5) を変換パラメータ （a k'， b k'， c k，， d k'， T k x' , T k y，） で 変換した基準座標系上の変換位置 （x， y) 力 I ' - 2≤ x < I ' + 2, J '一 2≤y < J ' + 2を満たす （k， i r， j r ) の組を、 1乃至 N枚目画像につい てすベて求め、 ステップ S 2 0 6に進む。
ステップ S 2 0 6において、 演算回路 24は、 ステップ S 2 0 5で求めたすべ ての （k， i r , j r ) の耝を用いて、 式 （5 3) で表される、 赤色の光量の重 み加算式の分母と、 式 （5 2) で表される、 赤色の光量の重み加算式の分子それ ぞれを演算する。 また、 演算回路 24は、 その演算の結果それぞれをメモリに記 憶させて、 ステップ S 2 0 7に進む。
ステップ S 2 0 7において、 演算回路 2 4は、 注目位置 （ ， J' ) に対して、 k枚目画像の青色の成分を受光する画素の中心位置 （ i b— 0. 5， j b - 0. 5) を変換パラメータ （a k'， b k' , c k，， d k，， T k x，， T k y，） で 変換した基準座標系上の変換位置 （x， y) 力 I ' - 2≤x < I ' + 2, J，一 2≤y < J ' + 2を満たす （k， i b , j b) の組を、 1乃至 N枚目画像につい てすベて求め、 ステップ S 2 0 8に進む。
ステップ S 2 0 8において、 演算回路 24は、 ステップ S 20 7で求めたすべ ての （k, i b , j b) の組を用いて、 式 （5 5) で表される、 青色の光量の重 み加算式の分母と、 式 （54) で表される、 青色の光量の重み加算式の分子それ ぞれを演算する。 また、 演算回路 24は、 その演算の結果それぞれをメモリに記 憶させて、 ステップ S 2 0 9に進む。
ステップ S 2 0 9において、 演算回路 24は、 変数 Γが X方向の画素数 Wと 等しいか否かを判定する。 ステップ S 2 0 9で、 変数 が画素数 Wと等しくな いと判定された場合、 即ち、 現在の Y= J 'の画素列のうち、 X方向のすべての 画素についてステップ S 2 0 3乃至 S 20 8の処理が行われていない場合、 ステ ップ S 2 1 0に進み、 変数 Γを 1だけィンクリメントして、 ステップ S 2 0 3 に戻る。
一方、 ステップ S 2 0 9で、 変数 I 'が画素数 Wと等しいと判定された場合、 即ち、 現在の Y= J 'の画素列のうち、 X方向のすべての画素についてステップ S 20 3乃至 S 2 0 8の処理が行われた場合、 ステップ S 2 1 1に進む。
ステップ S 2 1 1において、 演算回路 24は、 変数 J 'が Y方向の画素数 Hと 等しいか否かを判定する。 ステップ S 2 1.1で、 変数 J 'が画素数 Hと等しくな いと判定された場合、 即ち、 撮像素子 4の Y方向のすべての列について、 ステツ プ S 2 0 3乃至 S 2 0 8の処理が行われていない場合、 ステップ S 2 1 2に進み、 変数 J 'を 1だけィンクリメントして、 ステップ S 2 0 2に戻る。
一方、 ステップ S 2 1 1で、 変数 J 'が画素数 Hと等しいと判定された場合、 即ち、 撮像素子 4の Y方向のすべての列について、 ステップ S 20 3乃至 S 20 8の処理が行われた場合、 図 5 0のステップ S 2 1 3に進む。 ここで、 画素数 W と Hは、 それぞれ、 出力画像の X方向と Y方向の画素数でもある。
ステップ S 2 1 3において、 演算回路 24は、 ステップ S 2 0 1における場合 と同様に、 変数 J'に 1をセットして、 ステップ S 2 1 4に進む。
ステップ S 2 1 4において、 演算回路 24は、 ステップ S 2 0 2における場合 と同様に、 変数 に 1をセットして、 ステップ S 2 1 5に進む。
ステップ S 2 1 5において、 演算回路 24は、 位置 （Ι' , Γ ) を注目位置 (1' ， J' ) として、 その注目位置 （ ， J' ) に対して、 真の緑色の光量 L g ( I '， J' ) を求める演算処理を行って、 ステップ S 2 1 6に進む。 即ち、 ステップ S 2 1 5では、 後述するように、 式 （4 6) の緑色の光量の重み加算式 を用いた通常処理 （第 1の演算処理） 、 または、 式 （5 6) を用いた例外処理 (第 2の演算処理） により、 注目位置 （ ， J ') に対する真の緑色の光量 L g ( , J') が求められる。
ステップ S 2 1 6において、 演算回路 24は、 位置 （Γ , J' ) を注目位置 (Γ ， J' ) として、 その注目位置 （I '， J' ) に対して、 真の赤色の光量 L r ( I ' , J ' ) を求める演算処理を行って、 ステップ S 2 1 7に進む。 即ち、 ステップ S 2 1 6では、 後述するように、 式 （5 0) の赤色の光量の重み加算式 を用いた通常処理 （第 1の演算処理） 、 または、 式 （58) を用いた例外処理 (第 2の演算処理） により、 注目位置 （I '， J') に対する真の赤色の光量 L r ( Γ , J') が求められる。
ステップ S 21 7において、 演算回路 24は、 位置 （Γ ， J' ) を注目位置 (1' ， J' ) として、 その注目位置 （ ， J') に対して、 真の青色の光量 L b ( Γ， J ' ) を求める演算処理を行って、 ステップ S 2 1 8に進む。 即ち、 ステップ S 21 7では、 後述するように、 式 （5 1) の青色の光量の重み加算式 を用いた通常処理 （第 1の演算処理） 、 または、 式 （59) を用いた例外処理 (第 2の演算処理） により、 注目位置 （ , J') に対する真の青色の光量 L g ( ， J' ) が求められる。
ステップ S 2 1 8において、 演算回路 24は、 変数 I 'が X方向の画素数 Wと 等しいか否かを判定する。 ステップ S 21 8で、 変数 I 'が画素数 Wと等しくな いと判定された場合、 即ち、 現在の Y= J 'の画素列のうち、 X方向のすべての 画素についてステップ S 21 5乃至 S 21 7の処理が行われていない場合、 ステ ップ S 2 1 9に進み、 変数 I 'を 1だけィンクリメントして、 ステップ S 2 1 5 に戻る。
一方、 ステップ S 2 1 8で、 変数 I 'が画素数 Wと等しいと判定された場合、 即ち、 現在の Y== J，の画素列のうち、 X方向のすべての画素についてステップ' S 21 5乃至 S 2 1 7の処理が行われた場合、 ステップ S 220に進む。
ステップ S 220において、 演算回路 24は、 変数 J'が Y方向の画素数 Hと 等しいか否かを判定する。 ステップ S 220で、 変数 J'が画素数 Hと等しくな いと判定された場合、 即ち、 撮像素子 4の Y方向のすべての列について、 ステツ プ S 2 1 5乃至 S 2 1 7の処理が行われていない場合、 ステップ S 22 1に進み、 変数 J 'を 1だけインクリメントして、 ステップ S 2 14に戻る。
—方、 ステップ S 220で、 変数 J，が画素数 Hと等しいと判定された場合、 即ち、 撮像素子 4の Y方向のすべての列について、 ステップ S 21 5乃至 S 21 7の処理が行われた場合、 ステップ S 2 2 2に進む。
ステップ S 2 2 2において、 演算回路 24は、 ステップ S 2 1 5 , S 2 1 6、 および S 2 1 7でそれぞれ求めた真の緑色の光量 L g (Γ， J' ) 、 真の赤色 の光量 L r (Γ， J ') 、 および真の青色の光量 L b ( ， J ' ) から、 出力 画像 （信号） を推定し、 D/Aコンバータ 9またはコーデック 1 2に供給して、 処 理を戻る。 例えば、 「 i番目、 j番目の画素」 においては、 演算回路 24は、 緑 色の値 （G信号） としてステップ S 2 1 5で求めた真の緑色の光量 L g (= L g
( I '， J，） ） と、 赤色の値 （R信号） としてステップ S 2 1 6で求めた真の 赤色の光量 L r ( i - 0. 5， j 一 0. 5) (=L r ( I，， J ') ) と、 青色 の値 （B信号） としてステップ S 2 1 7で求めた真の青色の光量 L b ( i - 0. 5， j - 0. 5) (=L b ( ， J ' ) ) と力、ら、 「 i番目、 j番目の画素」 の画像信号を推定する。 そして、 演算回路 24は、 その推定を位置 （Γ， J ，） （= ( i - 0. 5， j - 0. 5) ) を中心位置とする出力画像の画素すベて について行うことにより、 出力画像を推定する。
次に、 図 5 1のフローチヤ一トを参照して、 図 5 0のステップ S 2 1 5におけ る、 注目位置 （Γ， J') の真の緑色の光量 L g ( ， J') を求める演算処 理について説明する。
初めに、 ステップ S 2 5 1において、 演算回路 24は、 注目位置 （ ， J ' ) に対して、 図 4 9のステップ S 2 04で演算された、 式 （4 6) の緑色の光 量の重み加算式の分母の絶対値、 即ち、 式 （48) の絶対値が、 所定の閾値以上 であるか否かを判定する。 この所定の閾値は、 式 （4 8) の絶対値を 0とみなし、 例外処理を適用するかどうかを判定するための値であり、 例えば、 予め演算回路 24に設定されている。 伹し、 所定の閾値は、 その他、 ユーザの操作に応じて設 定可能とすることもできる。
ステップ S 2 5 1において、 注目位置 （ I，， J' ) に対する式 （4 8) の絶 対値が、 所定の閾値以上であると判定された場合、 即ち、 注目位置 （ , J ') に対する式 （4 8) の絶対値が 0とみなすほどの小さい値ではない場合、 ス テツプ S 252に進み、 演算回路 24は、 式 （46) の緑色の光量の重み加算式 を演算する通常処理を選択して行う。 即ち、 演算回路 24は、 ステップ S 204 で演算された、 式 （46) の緑色の光量の重み加算式の分子の値、 即ち、 式 （4
7) の値を、 ステップ S 204で演算された、 式 （46) の緑色の光量の重み加 算式の分母の値、 即ち、 式 （48) の値で除算する演算を行う。 これにより、 ス テツプ S 252では、 注目位置 （Γ , J' ) における真の緑色の光量 L g (1 '， J') が求められる。
一方、 ステップ S 25 1において、 注目位置 （ , ） に対する式 （4
8) の絶対値が、 所定の閾値未満であると判定された場合、 即ち、 式 （48) の 絶対値が 0、 または 0に近い場合、 ステップ S 253に進み、 演算回路 24は、 例外処理を選択して行う。 即ち、 演算回路 24は、 式 （56) を演算することに より、 注目位置 （I' , J' ) における真の緑色の光量 L g ( I ' , J') を求める。 次に、 図 52のフローチャートを参照して、 図 50のステップ S 216におけ る、 注目位置 （ Γ， J') の真の赤色の光量 L r (I，， J') を求める演算処 理について説明する。
初めに、 ステップ S 271において、 演算回路 24は、 注目位置 （Ι ' , J ' ) に対して、 図 49のステップ S 206で演算された、 式 （50) の赤色の 光量の重み加算式の分母の絶対値、 即ち、 式 （53) の絶対値が、 所定の閾値以 上であるか否かを判定する。 この所定の閾値は、 式 （53) の絶対値を 0とみな し、 例外処理を適用するかどうかを判定するための値であり、 例えば、 予め演算 回路 24に設定されている。 但し、 所定の閾値は、 その他、 ユーザの操作に応じ て設定可能とすることもできる。 また、 この閾値は、 図 5 1のステップ S 251 の閾値と同一でもよいし、 異なるものでもよい。
ステップ S 271において、 注目位置 （ ， J'} に対する式 （53) の絶 対値が、 所定の閾値以上であると判定された場合、 即ち、 注目位置 （Γ, J ') に対する式 （53) の絶対値が 0とみなすほどの小さい値ではない場合、 ス テツプ S 272に進み、 演算回路 24は、 式 （50) の赤色の光量の重み加算式 を演算する通常処理を選択して行う。 即ち、 演算回路 24は、 ステップ S 2 0 6 で演算された、 式 （5 0) の赤色の光量の重み加算式の分子の値、 即ち、 式 （5
2) の値を、 ステップ S 20 6で演算された、 式 （5 0) の赤色の光量の重み加 算式の分母の値、 即ち、 式 （5 3) の値で除算する演算を行う。 これにより、 ス テツプ S 2 7 2では、 注目位置 （Γ, J') における真の赤色の光量 L r ( I ' , J') が求められる。
一方、 ステップ S 2 7 1において、 注目位置 （ ， J ') に対する式 （5
3) の絶対値が、 所定の閾値未満であると判定された場合、 即ち、 式 （5 3) の 絶対値が 0、 または 0に近い場合、 ステップ S 2 7 3に進み、 演算回路 24は、 例外処理を選択して行う。 即ち、 演算回路 24は、 式 （5 8) を演算することに より、 注目位置 （ , J') における真の赤色の光量 L r ( Γ， J ' ) を求める。 次に、 図 5 3のフローチヤ一トを参照して、 図 5 0のステップ S 2 1 7におけ る、 注目位置 （ Γ , J ' ) の真の青色の光量 L b ( I ' , J ' ) を求める演算処 理について説明する。
初めに、 ステップ S 2 9 1において、 演算回路 24は、 注目位置 （1 ' ，
J ' ) に対して、 図 4 9のステップ S 2 0 8で演算された、 式 （5 1 ) の青色の 光量の重み加算式の分母の絶対値、 即ち、 式 （5 5) の絶対値が、 所定の閾値以 上であるか否かを判定する。 この所定の閾値は、 式 （5 5) の絶対値を 0とみな し、 例外処理を適用するかどうかを判定するための値であり、 例えば、 予め演算 回路 2 4に設定されている。 伹し、 所定の閾値は、 その他、 ユーザの操作に応じ て設定可能とすることもできる。 また、 この閾値は、 図 5 1のステップ S 2 5 1 および図 5 2のステップ S 2 7 1の閾値それぞれと同一でもよいし、 異なるもの でもよい。
ステップ S 2 9 1において、 注目位置 （ Γ ， J ' ) に対する式 （5 5) の絶 対値が、 所定の閾値以上であると判定された場合、 即ち、 注目位置 （ Γ ,
J ' ) に対する式 （5 5) の絶対値が 0とみなすほどの小さい値ではない場合、 ステップ S 2 9 2に進み、 演算回路 24は、 式 （5 1 ) の青色の光量の重み加算 式を演算する通常処理を選択して行う。 即ち、.演算回路 24は、 ステップ S 2 0 8で演算された、 式 （5 1) の胄色の光量の重み加算式の分子の値、 即ち、 式 (54) の値を、 ステップ S 20 8で演算された、 式 （5 1) の青色の光量の重 み加算式の分母の値、 即ち、 式 （5 5) の値で除算する演算を行う。 これにより、 ステップ S 2 9 2では、 注目位置 （Γ, J' ) における真の青色の光量 L b ( ， J' ) が求められる。
—方、 ステップ S 2 9 1において、 注目位置 （ Γ , J ' ) に対する式 （5 5) の絶対値が、 所定の閾値未満であると判定された場合、 即ち、 式 （5 5) の 絶対値が 0、 または 0に近い場合、 ステップ S 2 9 3に進み、 演算回路 24は、 例外処理を選択して行う。 即ち、 演算回路 24は、 式 （5 9) を演算することに より、 注目位置 （ , J') における真の青色の光量 L b ( Ι ' , J ' ) を求める。 以上のように、 第 8実施の形態では、 注目位置 （ι', r ) と、 注目位置 （ ，
J' ) の近傍にある変換位置 （x， y) との距離に応じた重みとして、 ローパス フィルタの特性を有するキュービック関数を用いて重み付け加算を行うことによ り、 真の緑色の光量 L g ( I ' , J ' ) , 真の赤色の光量 L r ( , J ' ) 、 および真の青色の光量 L b ( I ' , J ' ) を求めるようにしたので、 より本来の 光に忠実で鮮明な画像を求めることができる。
また、 第 8実施の形態では、 位置 （ i g— 0. 5, j g - 0. 5) を変換パラ メータ （a k，， b k'， c k'， d k'， T k x'， T k y') で基準座標系上に 変換した場合に、 注目位置 （ ， J') に対して、 Γ— 2≤χ < + 2, J' - 2≤y < J ' + 2の範囲に出現する、 すべての （k， i g, j g) の画素値 G o b s (k， i g， j g) 、 即ち、 変換位置 （x， y) 力 注目位置 （ , Γ ) の近傍にある画素値 G o b s (k， i g， j g) を用いた重み付け加算である、 式 （4 6) の緑色の光量の重み加算式で、 真の緑色の光量 L g ( I ' , J ' ) が 求められる （通常処理） 。
伹し、 注目位置 （ , J' ) の式 （4 6) の緑色の光量の重み加算式の分母の 式 （4 8) の絶対値が、 所定の閾値未満で 0とみなされる場合、 即ち、 式 （4 6) の緑色の光量の重み加算式により求められる値が不安定である場合には、 変 換位置 （X , y ) が注目位置 （Γ， J') の近傍にある画素値 G o b s (k , i g , j g) と、 注目位置 （Γ, Γ) の注目画素の周辺の周辺画素の位置の近傍 にある画素値 G o b s (k， i g , j g) とを用いた重み付け加算である、 式 (5 6) により、 真の緑色の光量 L g ( I ' , J ' ) が求められる （例外処理） 。 真の赤色の光量 L r ( , J ' ) および真の青色の光量 L b ( I ' , J ' ) も同様にして求められる。
従って、 ノィズの目立たない良好な出力画像を得ることができる。
なお、 通常処理と例外処理とは、 次のような見方をすることもできる。
即ち、 例えば、 緑色に注目すると、 上述の場合においては、 通常処理では、 変 換位置 （X , y) が注目画素の位置 （注目位置） （ , J' ) の近傍にある撮 像画像の画素の画素値 G o b s (k， i g , j g) を用いた重み付け加算を行う。 一方、 例外処理では、 変換位置 （x， y) が注目画素の位置 （I' , J' ) の近 傍にある撮像画像の画素の画素値 G o b s (k, i g , j g) と、 変換位置 （x， y) が注目画素の周辺の周辺画素の位置の近傍にある撮像画像の画素の画素値 G o b s (k, i g， j g) とを用いた重み付け加算を行う。
従って、 例外処理では、 変換位置 （x， y) が注目画素の位置 （ ， J' ) の近傍にある撮像画像の画素の他、 周辺画素の位置の近傍にある撮像画像の画素 の画素値 G o b s (k, i g , j g) をも用いて重み付け加算が行われる。
以上から、 通常処理が、 注目位置 （Γ , J' ) の近傍として、 Γ— 2≤ χ < 1 ' + 2， J ' - 2≤ y < J' + 2の領域内に観測される撮像画像の画素値 G o b s (k, i g, j g) を用いた重み付け加算により、 注目位置 （Γ， Γ ) の真の 緑色の光量 L g ( I ' , J' ) を求めるのに対し、 例外処理は、 注目位置 （Γ， J') の近傍として、 通常処理の近傍の領域より広い Γ— 3≤ X < + 3 , J ' 一 3≤yく J' + 3の領域内に観測される画素値 G o b s (k， i g , j
用いた重み付け加算により、 注目位置 （Γ， J' ) の真の緑色の光量 L g
J') を求めているということができる。 さらに、 換言すれば、 注目位置 （Γ , J' ) の真の緑色の光量 L g ( ， J ') を求める際に、 注目位置 （Γ， ΙΊ の近傍として、 予め、 Ι '— 3≤χ < Ι ' + 3， J'一 3≤y < J， + 3の領域が設定されており、 通常処理では、 その近 傍の領域のうちの I '一 2≤ χ < Γ + 2， J' - 2≤y< J' + 2以外の領域に 観測される画素値 G o b s (k， i g, j g) に対する重みが 0となる式 （4 6) の緑色の光量の重み加算式により、 注目位置 （ ， J' ) の真の緑色の光量 L g ( , J' ) が求められているということができる。 一方、 例外処理では、 l'- 2≤x< I ' + 2, J' - 2≤y < j' + 2以外の領域に観測される画素値 Go b s (k， i g, j g) 、 即ち、 周辺画素の近傍に観測される画素値 G o b s (k, i g, j g) に対する重みとして、 一定の 0の重みではなく、 その周辺 画素の位置を原点とするキュービック関数 Cubic (z) によって与えられる値を 用いて、 式 （5 6) により、 注目位置 （1'， Γ ) の真の緑色の光量 L g ( Ι ' , J') が求められていると言うことができる。
即ち、 通常処理と例外処理とでは、 異なる重み （第 1と第 2の重み） を用いた 重み付け加算により、 真の緑色の光量 L g ( I ' , J ' ) が求められるというこ とができる。
なお、 第 8実施の形態では、 注目位置 （r， r ) とその近傍にある画素値 G o b s (k， i g, j g) が観測される位置 （x， y) との距離 zに応じた重み を表す関数として、 式 （39) のキュービック関数 Cubic (z) を採用したが、 重みとしては、 その他、 例えば、 sin ( z ) Zzなどの、 ローパスフィルタの特 性を有する任意の関数を採用することができる。
ところで、 上述した実施の形態では、 1枚目の撮像画像を基準画像とするとと もに、 2乃至 N枚目の撮像画像それぞれをターゲット画像とすることとしたが、 1枚目の撮像画像以外の、 2乃至 N枚目の撮像画像のいずれを基準画像としても よい。
即ち、 図 54は、 N回の連続撮像 （高速撮像） により撮像された N枚の撮像画 像を示している。 なお、 図 54は、 N= 8の例である。 1乃至 8枚目の撮像画像 4 0 1 i乃至 4 0 1 8 ( k枚目画像 4 0 1 k) は、 時系 列に撮像された画像であり、 時間の経過とともに、 図中右上方向に、 手プレによ りずれた画像となっている。
図 5 5は、 図 5 4と同様の 8枚の撮像画像 4 0 乃至 4 0 1 8を示している。 信号処理回路 7において、 撮像画像 4 0 乃至 4 0 1 8のうちの、 1枚目画像 を基準画像とするとともに、 2乃至 8枚目画像それぞれをターゲット画像として、 出力画像を推定する場合、 出力画像は、 基準画像である 1枚目画像 4 0 の座 標系上の画像として得られる。 ここで、 図 5 5では、 1枚目画像 4 0 1い 即ち、 出力画像を、 太線で示してある。
図 5 5の太線で示される出力画像の領域において、 1乃至 8枚目の 8枚の撮像 画像 4 0 乃至 4 0 1 8のすベてのデータ （画素値） を使用して光量 （画素値） が推定される領域は、 点線で示される、 出力画像の右上部分の領域 4 1 1である。 この領域 4 1 1の画素値は、 1乃至 8枚目の 8枚すベての撮像画像 4 0 1^乃至 4 0 1 8のデータを使用して推定されるので、 より鮮明な画質となる。
しかしながら、 出力画像の推定にあたり、 図 5 5の太線で示す出力画像の領域 のうちの、 領域 4 1 1以外では、 1乃至 8枚目の撮像画像 4 0 乃至 4 0 1 8の うちの、 一部の枚数目の撮像画像のデータしか使用することができないため、 即 ち、 1乃至 8枚目の撮像画像 4 0 乃至 4 0 1 8のすベてのデータを使用するこ とができないため、 その分だけ、 領域 4 1 1に比較して画質の鮮明さが劣化する ことになる。 上述したように、 右上方向の手ブレが生じている場合には、 その反 対の左下方向の領域ほど、 出力画像を推定するのに用いることができるデータが 少なくなり、 画質の鮮明さが、 領域 4 1 1に比較して劣化する。
さらに、 ターゲット画像である 2乃至 8枚目の撮像画像 4 0 乃至 4 0 1 8の うちの、 図 5 5の太線で示す出力画像の領域上にない部分 4 1 2のデータは、 出 . 力画像の推定に使用することができず、 いわば無駄に捨てられることになる。
以上のように、 1枚目の撮像画像を基準として、 出力画像を推定すると、 ある 方向の手ブレが生じている場合には、 出力画像の中心から、 手プレと同一の方向 の領域 （例えば、 図 5 5の領域 4 1 1 ) では、 鮮明な画質が得られるが、 その反 対方向の領域では、 画質の鮮明さが劣化する。
ところで、 一般に、 ユーザが画像を見るときは、 その中心部分に注目すること が多いので、 特に、 画像の中心部分の画質は鮮明であることが望ましい。
そこで、 信号処理回路 7では、 N枚の画像が連続撮像された時間の、 中間の時 刻またはその近傍の時刻に撮像された撮像画像 （以下、 中間画像と称する） を基 準画像とするとともに、 他の撮像画像をターゲット画像として、 出力画像を推定 することができる。 .
例えば、 図 5 6に示すように、 信号処理回路 7は、 8枚の撮像画像 4 O !l^乃 至 4 0 1 8のうちの、 太線で示される 4枚目の撮像画像を基準画像として、 出力 画像を推定する。 この場合、 出力画像の推定にあたり、 その中心部分の領域 4 2 1において、 1乃至 8枚目の 8枚の撮像画像 4 0 乃至 4 0 1 8のすベてのデー タが使用される。
即ち、 時系列の複数枚の撮像画像のうちの、 中間画像を基準画像とするととも に、 他の撮像画像をターゲット画像として、 出力画像を推定することにより、 出 力画像の中心部分を、 より鮮明な画質とすることができる。
通常の撮影 （撮像） では、 撮影者は、 目的の被写体が画像 （画枠） の中心に位 置するように撮影を行う。 また、 上述したように、 人が画像を見る場合には、 画 像の中央部を視点として、 その画像を見ることが一般的である。 そういう意味で は、 画像の中心部分が、 画像の周辺部よりも、 より鮮明な画質となっている方が、 良好な画像であると言える。
従って、 図 5 6に示すように、 中間画像を基準画像とするとともに、 他の撮像 画像をターゲット画像とすることにより、 出力画像の中心部分が 1乃至 8枚目の 8枚の撮像画像 4 0 乃至 4 0 1 8のすベてのデータを使用して推定されるので、 1枚目の撮像画像を基準画像とするよりも、 中間画像を基準画像とする方が、 良 好な出力画像を得ることができる。
なお、 手ブレの周波数は、 例えば、 1 0乃至 1 5 H z程度である。 従って、 図 5 6に示した 8枚の撮像画像 4 0 乃至 4 0 1 8を、 例えば、 1 / 5 0秒以内で 撮像するようなシャツタスピードでは、 手ブレによるブレ量 （手ブレ量） は直線 近似することができる。 即ち、 手プレは、 一定方向への一定の速さでの移動とみ なすことができる。 従って、 時系列に 8枚の撮像画像 4 0 乃至 4 0 1 8を撮像 する場合には、 その撮像時間における手プレ量を直線近似することができ、 中間 画像、 即ち、 4枚目の撮像画像 4 0 1 4や、 5枚目の撮像画像 4 0 1 5を基準画像 とすることにより、 図 5 6で説明したように、 出力画像の中心部分の画質を鮮明 にすることができる。
また、 図 4で示した信号処理回路 7において、 8枚の撮像画像 4 0 乃至 4 0 1 8のうちの、 例えば、 4枚目の撮像画像 4 0 1 4を基準画像とする場合には、 フレームメモリ 2 2， 1に基準画像とする 4枚目の撮像画像 4 0 1 4を供給して 記憶させ、 1乃至 3枚目の 4 0 1^乃至 4 0 1 3、 および 5乃至 8枚目の撮像画像 4 0 1 5乃至 4 0 1 8を、 それぞれ、 フレームメモリ 2 2— 2乃至 2 2— 8に供給 して記憶させるようにすればよい。
ここで、 中間画像を基準画像とすることにより、 中心部分が鮮明な出力画像を 得ることができる他、 信号処理回路 7の設計の容易化を図ることができる。 即ち、 手ブレ量が、 上述したように、 直線近似することができるとして、 時系 列に 8枚の撮像画像 4 0 乃至 4 0 1 8を撮像した場合に、 例えば、 隣り合う撮 像画像間での手ブレ量が 1 0画素であるとする。 この場合、 1枚目の撮像画像を 基準画像としてしまうと、 1枚の画像の撮像が無限小の時間で行うことができる としても、 最大で、 7 0画素の手ブレが生じることになる。 従って、 信号処理回 路 7は、 最大で 7 0画素の手ブレに対応することができるように設計する必要が ある。
これに対して、 中間画像を基準画像とする場合、 即ち、 撮像画像 4 0 ^乃至 4 0 1 8のうちの、 例えば、 4枚目の撮像画像 4 0 1 4を基準画像とする場合、 最 大の手ブレ量は 4 0画素になる。 従って、 信号処理回路 7は、 最大で 4 0画素の 手ブレに対応することができるように設計すればよいため、 信号処理回路 7とし てのハードウエアの設計の容易化を図ることができる。
第 8実施の形態で説明した一連の処理は、 その他の実施の形態と同様に、 専用 のハードウエアにより実行させることもできるし、 ソフトウェアにより実行させ ることもできる。 第 8実施の形態で説明した一連の処理をソフトウエアにより実 行させる場合、 他の実施の形態と同様に、 例えば、 デジタルカメラ 1は、 図 4 1 で示したコンピュータにプログラムを実行させることにより実現することができ る。
なお、 本明細書において、 記録媒体に記録されるプログラムを記述するステツ プは、 記載された順序に沿って時系列的に行われる処理はもちろん、 必ずしも時 系列的に処理されなくとも、 並列的あるいは個別に実行される処理をも含むもの である。
上述した例では、 デジタルカメラ 1の撮像素子 4を、 単板センサで構成し、 撮 像素子 4が出力する 1画素につき 1個の色信号から、 1画素につき 3個の色信号 を有する画像を推定するようにしたが、 撮像素子 4は、 単板センサでなくてもよ い。 即ち、 撮像素子 4としては、 1画素につき所定の n個の色信号を出力するも のを採用し、 画像推定処理では、 1画素につき n個の色信号から、 1画素につき ( n + 1 ) 個以上の色信号を有する画像を推定するようにすることができる。 また、 上述した例では、 1枚目の撮像画像または中間画像を基準画像として、 ターゲット画像の基準画像に対する位置関係を検出したが、 1枚目の撮像画像お よび中間画像以外の、 任意の撮像画像を基準画像として、 ターゲット画像の基準 画像に対する位置関係を検出するようにすることも可能である。
さらに、 本発明は、 上述したように、 デジタルスチルカメラに採用することが できる他、 デジタルビデオカメラ等にも採用することができる。 産業上の利用可能性
本発明によれば、 より鮮明な画像を得ることができる。

Claims

請求の範囲
1 . 複数の入力画像から出力画像を推定する画像処理方法において、
1画素につき所定の n個の画素値を有する画像を撮像する撮像手段が撮像した 前記複数の入力画像どうしの位置関係を検出する検出ステップと、
前記検出ステップの処理により検出された前記位置関係に基づき、 前記出力画 像の画素位置毎に前記複数の入力画像から考慮すべき観測画素成分を特定し、 該 特定された観測画素成分に基づき、 1画素につき （n + 1 ) 個以上の画素値を有 する前記出力画像を推定する画像推定ステツプと
を含むことを特徴とする画像処理方法。
2 . 前記画像推定ステップは、 前記検出ステップの処理により検出された前記位 置関係に基づき、 前記出力画像の画素位置毎に前記複数の入力画像から考慮すベ き観測画素値を選択し、 該選択された観測画素値に基づき、 1画素につき （n + 1 ) 個以上の画素値を有する前記出力画像を推定する
ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
3 . 前記画像推定ステップは、 前記検出ステップの処理により検出された前記位 置関係に基づき、 前記複数の入力画像から、 1画素につき （n + 1 ) 個以上の色 信号を有する前記出力画像を推定する
ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
4 . 前記画像推定ステップでは、 出力画像の各画素位置および Zまたはその周辺 における色相関を考慮して、 前記出力画像が推定される
ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
5 . 前記画像推定ステップでは、 前記入力画像の画素の画素値がエッジの急峻度 合いに応じた画素値に変更され、 変更後の画素値に基づき、 前記出力画像が推定 される
ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
6 . 前記 nは 1であり、
前記画像推定ステップは、 前記検出ステップの処理により検出された前記位置 関係に基づき、 前記複数の入力画像から、 1画素につき 3個の画素値を有する前 記出力画像を推定する
ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
7 . 前記撮像手段は、 単板センサであり、 観測される色信号が前記入力画像の位 置に応じて変わる
ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
8 . 前記撮像手段は、 前記複数の入力画像を、 適正露出未満で撮像し、
前記複数の入力画像それぞれの画素値のゲインァップを行う露出補正ステツプ をさらに含む
ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
9 . 前記画像推定ステップは、
前記複数の入力画像それぞれの各画素に対して、 前記検出ステップの処理によ り検出された前記位置関係に応じた前記各画素の捕正位置を求め、
前記捕正位置を中心とする所定の領域内の前記出力画像の光の積分値と、 前記 補正位置の画素の画素値との差が、 所定の誤差の範囲内であるという光量積分条 件式を生成する光量積分条件式生成ステップと、
前記光量積分条件式を演算する演算ステップと
を有する
ことを特徴とする請求の範囲第 8項に記載の画像処理方法。
1 0 . 前記光量積分条件式を生成する際には、 複数の入力画像のゲインアップが 行われている場合に、 前記所定の誤差の値を該ゲインアップの量に依存して変化 させる
ことを特徴とする請求の範囲第 9項に記載の画像処理方法。
1 1 . 前記画像推定ステップは、
前記複数の入力画像それぞれの各画素に対して、 前記検出ステップの処理によ り検出された位置関係に応じた前記各画素の補正位置を求め、
前記補正位置が前記出力画像の各画素の位置の近傍にある前記入力画像の画素 の画素値と、 前記ゲインアップの量に依存する誤差とを考慮して、 前記出力画像 を推定する
ことを特徴とする請求の範囲第 8項に記載の画像処理方法。
1 2 . 前記画像推定ステップは、
前記複数の入力画像それぞれの各画素に対して、 前記検出ステップの処理によ り検出された位置関係に応じた前記各画素の補正位置を求め、
前記補正位置が前記出力画像の各画素の位置の近傍にある前記入力画像の画素 の画素値と、 該捕正位置と該出力画像の画素の位置との距離とを考慮して、 前記 出力画像を推定する
ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
1 3 . 前記画像推定ステップは、
前記複数の入力画像それぞれの各画素に対して、 前記検出ステップの処理によ り検出された位置関係に応じた前記各画素の補正位置を求め、
前記捕正位置が前記出力画像の各画素の位置の近傍にある前記入力画像の画素 の画素値に基づいて、 パネモデルにより、 前記出力画像を推定する
ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
1 4 . 前記画像推定ステップは、
前記複数の入力画像それぞれの各画素に対して、 前記検出ステップの処理によ り検出された位置関係に応じた前記各画素の補正位置を求め、
前記補正位置が前記出力画像の各画素の位置の近傍にある前記入力画像の画素 の画素値を用いた重み付け加算を行うことにより、 前記出力画像を推定する ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
1 5 . 前記画像推定ステップは、 前記出力画像において注目している注目画素の 位置と前記補正位置との距離に対して口一パスフィルタの特性を有する関数を用 いた重みで、 前記捕正位置が前記注目画素の位置の近傍にある前記入力画像の画 素の画素値を用いた重み付け加算を行うことにより、 前記注目画素の画素値を推 定する ことを特徴とする請求の範囲第 1 4項に記載の画像処理方法。
1 6 . 前記画像推定ステップは、
前記補正位置が前記注目画素の位置の近傍にある前記入力画像の画素の画素 値を用いた重み付け加算を行う第 1の演算処理、
または、 前記補正位置が前記注目画素の周辺の前記出力画像の画素の位置の 近傍にある前記入力画像の画素の画素値とを用いた重み付け加算を行う第 2の演 算処理
を選択して行うことにより、 前記注目画素の画素値を推定する
ことを特徴とする請求の範囲第 1 5項に記載の画像処理方法。
1 7 . 前記画像推定ステップは、
前記第 1 の演算処理における重みの総和が 0または 0に近い値である場合に、 前記第 2の演算処理を選択する
ことを特徴とする請求の範囲第 1 6項に記載の画像処理方法。
1 8 . 前記画像推定ステップは、
前記補正位置が前記注目画素の位置の第 1の近傍にある前記入力画像の画素 の画素値を用いた重み付け加算を行う第 1の演算処理、
または、 前記補正位置が前記注目画素の位置の、 前記第 1の近傍より広い範 囲の第 2の近傍にある前記入力画像の画素の画素値を用いた重み付け加算を行う 第 2の演算処理
を選択して行うことにより、 前記注目画素の画素値を推定する
ことを特徴とする請求の範囲第 1 5項に記載の画像処理方法。
1 9 . 前記画像推定ステップは、
前記第 1 の演算処理における重みの総和が 0または 0に近い値である場合に、 前記第 2の演算処理を選択する
ことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。
2 0 . 前記画像推定ステップは、
前記捕正位置が前記注目画素の位置の近傍にある前記入力画像の画素の画素 値を、 第 1の重みにより重み付けした重み付け加算を行う第 1の演算処理、 または、 前記補正位置が前記注目画素の位置の近傍にある前記入力画像の画 素の画素値を、 第 2の重みにより重み付けした重み付け加算を行う第 2の演算処 理
を選択して行うことにより、 前記注目画素の画素値を推定する
ことを特徴とする請求の範囲第 1 5項に記載の画像処理方法。
2 1 . 前記画像推定ステップは、
前記第 1 の演算処理における重みの総和が 0または 0に近い値である場合に、 前記第 2の演算処理を選択する
ことを特徴とする請求の範囲第 2 0項に記載の画像処理方法。
2 2 . 前記検出ステップは、
前記複数の入力画像が撮像された時間の、 中間の時刻またはその近傍の時刻に 撮像された入力画像を基準として、 前記複数の入力画像どうしの位置関係を検出 する
ことを特徴とする請求の範囲第 1項に記載の画像処理方法。
2 3 . 複数の入力画像から出力画像を推定する画像処理装置において、
1画素につき所定の n個の画素値を有する前記複数の入力画像を撮像する撮像 手段と、
前記複数の入力画像どうしの位置関係を検出する検出手段と、
前記検出手段により検出された前記位置関係に基づき、 前記出力画像の画素位 置毎に前記複数の入力画像から考慮すべき観測画素成分を特定し、 該特定された 観測画素成分に基づき、 1画素につき （n + 1 ) 個以上の画素値を有する前記出 力画像を推定する画像推定手段と
を備えることを特徴とする画像処理装置。
2 4 . 複数の入力画像から出力画像を推定する画像処理のプログラムにおいて、 1画素につき所定の n個の画素値を有する画像を撮像する撮像手段が撮像した 前記複数の入力画像どうしの位置関係を検出する検出ステップと、 前記検出ステップの処理により検出された前記位置関係に基づき、 前記出力画 像の画素位置毎に前記複数の入力画像から考慮すべき観測画素成分を特定し、 該 特定された観測画素成分に基づき、 1画素につき （n + 1 ) 個以上の画素値を有 する前記出力画像を推定する画像推定ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2004/007790 2003-06-23 2004-05-28 画像処理方法および装置、並びにプログラム WO2004114677A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP04735362.8A EP1638340B1 (en) 2003-06-23 2004-05-28 Image processing method and device, and program
US10/525,028 US7486318B2 (en) 2003-06-23 2004-05-28 Method, apparatus, and program for processing an image
US12/314,771 US8085313B2 (en) 2003-06-23 2008-12-16 Method, apparatus, and program for processing an image
US13/330,234 US8692901B2 (en) 2003-06-23 2011-12-19 Method, apparatus, and program for processing an image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003178404 2003-06-23
JP2003-178404 2003-06-23

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10525028 A-371-Of-International 2004-05-28
US12/314,771 Division US8085313B2 (en) 2003-06-23 2008-12-16 Method, apparatus, and program for processing an image

Publications (1)

Publication Number Publication Date
WO2004114677A1 true WO2004114677A1 (ja) 2004-12-29

Family

ID=33534986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/007790 WO2004114677A1 (ja) 2003-06-23 2004-05-28 画像処理方法および装置、並びにプログラム

Country Status (5)

Country Link
US (3) US7486318B2 (ja)
EP (1) EP1638340B1 (ja)
KR (1) KR101032233B1 (ja)
CN (4) CN100527854C (ja)
WO (1) WO2004114677A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084022A1 (ja) * 2012-11-30 2014-06-05 富士フイルム株式会社 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0212375B1 (pt) * 2001-09-07 2016-05-24 Intergraph Hardware Tech Co método para estabilizar uma imagem
JP4136793B2 (ja) * 2003-05-29 2008-08-20 キヤノン株式会社 撮像装置および撮像装置の制御方法
CN100527854C (zh) * 2003-06-23 2009-08-12 索尼株式会社 处理图像的方法、设备
JP4017578B2 (ja) * 2003-09-19 2007-12-05 三洋電機株式会社 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
US7433760B2 (en) * 2004-10-28 2008-10-07 Accelerated Pictures, Inc. Camera and animation controller, systems and methods
JP2006238188A (ja) * 2005-02-25 2006-09-07 Matsushita Electric Ind Co Ltd 補間フィルタおよび映像信号処理装置
WO2007091422A1 (ja) * 2006-02-06 2007-08-16 Nittoh Kogaku K.K 信号処理装置
JP4333685B2 (ja) * 2006-03-29 2009-09-16 セイコーエプソン株式会社 カメラ、画像表示方法及びそのプログラム
US20080170126A1 (en) * 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
KR20070119879A (ko) * 2006-06-16 2007-12-21 삼성전자주식회사 영상의 해상도 변환 방법 및 그 장치
JP2008029125A (ja) * 2006-07-21 2008-02-07 Sony Corp 電磁誘導型処理装置
JP4735978B2 (ja) * 2006-07-21 2011-07-27 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5050691B2 (ja) * 2007-07-05 2012-10-17 ソニー株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
TWI355190B (en) * 2007-11-09 2011-12-21 Altek Corp Image capturing apparatus with suppressing image b
KR101396353B1 (ko) * 2007-11-16 2014-05-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
US8494306B2 (en) * 2007-12-13 2013-07-23 Samsung Electronics Co., Ltd. Method and an apparatus for creating a combined image
US8035704B2 (en) * 2008-01-03 2011-10-11 Aptina Imaging Corporation Method and apparatus for processing a digital image having defective pixels
US7924317B2 (en) * 2008-03-12 2011-04-12 Aptina Imaging Corporation Method and apparatus for reducing motion blur in digital images
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP5493942B2 (ja) * 2009-12-15 2014-05-14 ソニー株式会社 撮像装置と撮像方法
JP5790944B2 (ja) 2010-02-26 2015-10-07 日本電気株式会社 画像処理方法、画像処理装置及びプログラム
JP5513978B2 (ja) 2010-05-14 2014-06-04 パナソニック株式会社 撮像装置、集積回路および画像処理方法
CA2824268C (en) 2011-03-30 2020-04-14 International Business Machines Corporation Discovery of a set of nodes in a network
US8760513B2 (en) 2011-09-30 2014-06-24 Siemens Industry, Inc. Methods and system for stabilizing live video in the presence of long-term image drift
US9147116B2 (en) * 2011-10-05 2015-09-29 L-3 Communications Mobilevision, Inc. Multiple resolution camera system for automated license plate recognition and event recording
US9202265B2 (en) 2012-04-30 2015-12-01 Nikon Corporation Point spread function cost function with non-uniform weights
EP2962252A4 (en) * 2013-02-28 2017-01-18 Direct Electron, LP Method of electron beam imaging of a specimen by combining images of an image sequence
EP3358820B1 (en) * 2015-09-30 2021-06-09 Nikon Corporation Imaging device, image processing device and display device
CN110132961A (zh) * 2018-02-09 2019-08-16 宝山钢铁股份有限公司 快速测定脱硫循环浆液中石膏石灰石及烟尘比例的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03502755A (ja) * 1988-10-31 1991-06-20 レンツ　ライマール 光電カラーイメージセンサ
JPH05236422A (ja) * 1992-04-21 1993-09-10 Olympus Optical Co Ltd 画像記録装置
JPH08263639A (ja) * 1995-03-09 1996-10-11 Eastman Kodak Co 一連の低解像度画像から高解像度画像を生成する方法及び装置
JPH09261526A (ja) 1996-03-19 1997-10-03 Olympus Optical Co Ltd 撮像装置
EP0869683A2 (en) 1997-03-31 1998-10-07 Ricoh Company, Ltd. Image pickup device
JPH10341367A (ja) * 1997-06-06 1998-12-22 Toshiba Corp 静止画像生成方法及び静止画像取り込みシステム
JP2000069352A (ja) * 1998-08-26 2000-03-03 Konica Corp 画像入力方法及び画像入力装置
JP2000217032A (ja) * 1999-01-21 2000-08-04 Sony Corp 画像信号処理装置および方法
JP2000244932A (ja) * 1999-02-19 2000-09-08 Mitsubishi Electric Corp 撮像装置及び撮像方法
US6359648B1 (en) 1995-06-23 2002-03-19 Canon Kabushiki Kaisha High-quality image input apparatus with motion compensation function

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877807A (en) 1988-10-31 1999-03-02 Lenz; Reimar Optoelectronic colored image converter
US5345264A (en) * 1992-02-27 1994-09-06 Sanyo Electric Co., Ltd. Video signal processing circuit for a video camera using a luminance signal
KR100188116B1 (ko) * 1995-12-28 1999-06-01 김광호 손떨림 영상 안정화 회로
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
JP3502755B2 (ja) 1997-12-22 2004-03-02 京セラ株式会社 二酸化炭素分離膜及びその製造方法
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP4164928B2 (ja) 1999-01-28 2008-10-15 ソニー株式会社 画像信号処理装置
JP4123623B2 (ja) 1999-02-23 2008-07-23 ソニー株式会社 画像信号処理装置および方法
JP2000244797A (ja) 1999-02-23 2000-09-08 Sony Corp 画像信号処理装置および方法
KR100316717B1 (ko) * 1999-10-05 2001-12-20 윤종용 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법
JP4191869B2 (ja) * 1999-12-20 2008-12-03 富士フイルム株式会社 ディジタルカメラを用いたコンピュータシステム
JP4434502B2 (ja) * 2001-01-19 2010-03-17 富士フイルム株式会社 デジタルカメラ
JP2002218328A (ja) * 2001-01-19 2002-08-02 Ricoh Co Ltd 画像入力装置、画像入力方法、およびその方法を実行するためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記録媒体
KR100906856B1 (ko) * 2001-04-06 2009-07-08 소니 가부시끼 가이샤 디지털 카메라 및 데이터 전송 방법
US6987530B2 (en) * 2001-05-29 2006-01-17 Hewlett-Packard Development Company, L.P. Method for reducing motion blur in a digital image
US7253840B2 (en) * 2001-06-11 2007-08-07 Fujifilm Corporation Cradle for digital camera
US6989862B2 (en) * 2001-08-23 2006-01-24 Agilent Technologies, Inc. System and method for concurrently demosaicing and resizing raw data images
EP1486866A4 (en) * 2002-03-01 2007-07-18 Seiko Epson Corp PICTURE DISTRIBUTION SYSTEM WITH MULTIPLE INSTALLATIONS IN COMMUNICATION CONNECTION IN MASTER-SLAVE RELATIONSHIP
US7515747B2 (en) 2003-01-31 2009-04-07 The Circle For The Promotion Of Science And Engineering Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image
JP4181923B2 (ja) * 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
CN100527854C (zh) * 2003-06-23 2009-08-12 索尼株式会社 处理图像的方法、设备
JP4164424B2 (ja) * 2003-08-29 2008-10-15 キヤノン株式会社 撮像装置及び方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03502755A (ja) * 1988-10-31 1991-06-20 レンツ　ライマール 光電カラーイメージセンサ
JPH05236422A (ja) * 1992-04-21 1993-09-10 Olympus Optical Co Ltd 画像記録装置
JPH08263639A (ja) * 1995-03-09 1996-10-11 Eastman Kodak Co 一連の低解像度画像から高解像度画像を生成する方法及び装置
US6359648B1 (en) 1995-06-23 2002-03-19 Canon Kabushiki Kaisha High-quality image input apparatus with motion compensation function
JPH09261526A (ja) 1996-03-19 1997-10-03 Olympus Optical Co Ltd 撮像装置
EP0869683A2 (en) 1997-03-31 1998-10-07 Ricoh Company, Ltd. Image pickup device
JPH10341367A (ja) * 1997-06-06 1998-12-22 Toshiba Corp 静止画像生成方法及び静止画像取り込みシステム
JP2000069352A (ja) * 1998-08-26 2000-03-03 Konica Corp 画像入力方法及び画像入力装置
JP2000217032A (ja) * 1999-01-21 2000-08-04 Sony Corp 画像信号処理装置および方法
JP2000244932A (ja) * 1999-02-19 2000-09-08 Mitsubishi Electric Corp 撮像装置及び撮像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1638340A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084022A1 (ja) * 2012-11-30 2014-06-05 富士フイルム株式会社 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置

Also Published As

Publication number Publication date
US8692901B2 (en) 2014-04-08
EP1638340B1 (en) 2013-08-07
EP1638340A1 (en) 2006-03-22
US20060140507A1 (en) 2006-06-29
CN101431683B (zh) 2010-12-22
US20120320229A1 (en) 2012-12-20
CN1701614A (zh) 2005-11-23
CN101431684B (zh) 2013-10-23
KR20060020595A (ko) 2006-03-06
EP1638340A4 (en) 2010-03-10
US20090225200A1 (en) 2009-09-10
US8085313B2 (en) 2011-12-27
CN101431683A (zh) 2009-05-13
CN101431685A (zh) 2009-05-13
CN101431684A (zh) 2009-05-13
KR101032233B1 (ko) 2011-05-02
CN101431685B (zh) 2011-05-25
US7486318B2 (en) 2009-02-03
CN100527854C (zh) 2009-08-12

Similar Documents

Publication Publication Date Title
WO2004114677A1 (ja) 画像処理方法および装置、並びにプログラム
KR101212906B1 (ko) 촬영 장치, 촬영 장치의 제어 방법, 제어 장치 및 기록 매체
US8482618B2 (en) Reduction of motion-induced blur in images
US8830363B2 (en) Method and apparatus for estimating point spread function
EP2219366B1 (en) Image capturing device, image capturing method, and image capturing program
JP6222514B2 (ja) 画像処理装置、撮像装置、およびコンピュータブログラム
JPH10341367A (ja) 静止画像生成方法及び静止画像取り込みシステム
JP2012084960A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2004343483A (ja) 手振れ補正装置および方法、手振れ検出装置
JP4613510B2 (ja) 画像処理方法および装置、並びにプログラム
JP2017118197A (ja) 画像処理装置、画像処理方法、および撮像装置
JP2018116239A (ja) 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
TW200810527A (en) Image stabilizer, system having the same and method of stabilizing an image
WO2014041845A1 (ja) 撮像装置及び信号処理方法
JP6037224B2 (ja) 画像処理装置、撮像装置、およびプログラム
JP2008177794A (ja) 撮像装置の色シェーディング補正装置、撮像装置および撮像装置の色シェーディング補正方法
JP4735978B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011171842A (ja) 画像処理装置及び画像処理プログラム
JP4703504B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2006287814A (ja) 撮像装置及び動きベクトル決定方法
JP2006135823A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP4718113B2 (ja) ホワイトバランス調整方法および画像処理装置
JP4496883B2 (ja) 画像処理方法および画像処理装置、並びにプログラムおよび記録媒体
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP2008219230A (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2004735362

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020057003004

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 20048010741

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2006140507

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10525028

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1020057003004

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004735362

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10525028

Country of ref document: US