WO2017056787A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- WO2017056787A1 WO2017056787A1 PCT/JP2016/074458 JP2016074458W WO2017056787A1 WO 2017056787 A1 WO2017056787 A1 WO 2017056787A1 JP 2016074458 W JP2016074458 W JP 2016074458W WO 2017056787 A1 WO2017056787 A1 WO 2017056787A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- unit
- resolution enhancement
- processing
- enhancement processing
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 269
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 230000003287 optical effect Effects 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 57
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 238000011161 development Methods 0.000 claims description 55
- 238000011084 recovery Methods 0.000 claims description 49
- 238000012937 correction Methods 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000001944 accentuation Effects 0.000 abstract 2
- 230000006870 function Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Definitions
- the present invention relates to an image processing device, an image processing method, and a program, and more particularly, to an image processing device, an image processing method, and a program that perform image processing on a panoramic image.
- the resolution of a captured image taken via the optical system may be reduced due to the optical system.
- there is a process for enhancing the resolution by performing image processing on the captured image (resolution enhancement process).
- processing for restoring degraded resolution using a point spread function (PSF: Point ⁇ ⁇ Spread Function), which is a function representing the response to the point light source of the optical system, and the contour of the subject image
- PSF Point ⁇ ⁇ Spread Function
- a technique for performing panoramic development by converting polar coordinates of a photographed image is known. For example, it is known to convert the composition of an image by performing panoramic development on an image taken with a fish-eye lens or wide-angle lens whose angle of view exceeds 180 ° used in security applications and medical applications. ing.
- Patent Document 2 discloses a technique for generating and displaying a planar image from an omnidirectional image.
- JP 2012-204856 A Japanese Patent Laying-Open No. 2015-46171
- the lens since the lens generally has different resolutions in the sagittal direction and the tangential direction, it is preferable to perform different resolution enhancement processing in the sagittal direction and the tangential direction of the lens.
- different resolution enhancement processing is performed between the sagittal direction and the tangential direction of the lens. Doing so places a heavy load on the arithmetic processing.
- Patent Document 2 does not mention resolution enhancement processing.
- the present invention has been made in view of such circumstances, and an object of the present invention is to perform image processing that can suppress the processing load of processing that emphasizes different resolutions for each of the sagittal direction and the tangential direction of the lens.
- An apparatus, an image processing method, and a program are provided.
- an image processing apparatus includes an image acquisition unit that acquires a first image acquired from an imaging element by capturing a subject image using an optical system, and an image acquisition A second image generation unit that generates a second image panoramicly developed by performing a polar coordinate conversion on the first image acquired by the unit, and a horizontal direction of the second image with respect to the second image, A resolution enhancement processing unit that performs resolution enhancement processing that is asymmetric with respect to the vertical direction.
- the second image obtained by panoramic development of the first image the second image in which the sagittal direction and tangential direction of the optical system are aligned with the horizontal direction and the vertical direction of the image
- Asymmetric resolution enhancement processing is performed between the horizontal direction and the vertical direction of the second image.
- the resolution enhancement process performed by the resolution enhancement processing unit is a recovery process using a recovery filter based on the point spread function of the optical system and corresponding to the second image.
- the recovery filter is designed based on the point spread function of the optical system for the second image in which the sagittal and tangential directions of the optical system and the horizontal and vertical directions of the image are aligned.
- recovery processing using a recovery filter designed according to the direction of the second image is performed.
- the resolution enhancement processing performed by the resolution enhancement processing unit is contour enhancement processing using a contour enhancement filter.
- the contour enhancement process using the contour enhancement filter is performed on the second image in which the sagittal direction and the tangential direction of the optical system are aligned with the horizontal direction and the vertical direction of the image.
- the lens constituting the optical system is a fisheye lens.
- resolution enhancement processing can be performed on an image photographed at a wide angle.
- the image processing apparatus includes a distortion correction unit that performs distortion correction on the second image, and the resolution enhancement processing unit performs second processing on the second image on which distortion correction has been performed.
- Asymmetric resolution enhancement processing is performed between the horizontal direction and the vertical direction of the image.
- panorama development is performed on an image shot using a fisheye lens, and then distortion correction and resolution enhancement processing are performed.
- the subject of interest is often captured in the periphery of a lens whose resolution generally decreases.
- the resolution emphasis process is performed after correcting distortion that frequently occurs in the periphery of the lens, an image with good image quality can be obtained even in the periphery of the lens where the resolution decreases.
- the resolution enhancement processing unit performs the resolution enhancement processing only on a partial region of the second image.
- the resolution enhancement processing unit is performed only on a partial region of the second image, for example, the resolution enhancement processing is efficiently performed only on a portion where the target subject is captured. Resolution enhancement processing can be performed.
- the resolution enhancement processing unit changes the strength of the resolution enhancement processing according to the position of the second image in the vertical direction.
- resolution enhancement processing since the strength of the resolution enhancement processing is changed according to the vertical position of the second image, for example, the portion where the main subject is captured is strong and the other portions are weak. Resolution enhancement processing can be performed efficiently, such as processing.
- the resolution enhancement processing unit weakens the strength of the resolution enhancement processing in accordance with the vertical position of the second image.
- the strength of the resolution enhancement processing is weakened according to the vertical position of the second image, for example, the resolution enhancement processing is performed strongly below the vertical direction of the second image.
- efficient resolution enhancement processing can be performed, for example, weakening the resolution enhancement processing on the upper side in the vertical direction of the second image.
- the image processing device performs reverse panorama development, which is reverse processing of panorama development performed by the second image generation unit, on the second image, and generates a third image.
- reverse panorama development which is reverse processing of panorama development performed by the second image generation unit, on the second image, and generates a third image.
- the third composition having the same composition as the first image and on which the resolution enhancement process has been performed is performed. An image can be obtained.
- An image processing method includes an image acquisition step of acquiring a first image acquired from an imaging element by photographing a subject image using an optical system, and a first acquired in the image acquisition step.
- a resolution enhancement processing step for performing enhancement processing includes an image acquisition step of acquiring a first image acquired from an imaging element by photographing a subject image using an optical system, and a first acquired in the image acquisition step.
- a second image generating step for generating a panoramic-developed second image by performing polar coordinate conversion on the image of the image, and a resolution that is asymmetric between the horizontal direction and the vertical direction of the second image with respect to the second image.
- the program according to another aspect of the present invention includes an image acquisition step of acquiring a first image acquired from an imaging element by photographing a subject image using an optical system, and a first image acquired in the image acquisition step.
- a second image generation step of generating a panoramic-developed second image by performing polar coordinate conversion on the image, and a resolution enhancement process that is asymmetric between the second image and the horizontal and vertical directions of the second image And causing the computer to execute resolution enhancement processing steps.
- the sagittal direction and tangential direction of the optical system and the horizontal direction and vertical direction of the image are aligned. Since the asymmetric resolution enhancement processing is performed between the horizontal direction and the vertical direction of the second image, the calculation load of the asymmetric resolution enhancement processing between the horizontal direction and the vertical direction of the second image can be suppressed.
- FIG. 16 is a diagram illustrating an example of a restoration processing flow by the restoration processing block illustrated in FIG. 15. It is a figure which shows the example of decompression
- the external appearance of the smart phone which is one Embodiment of the imaging device of this invention is shown. It is a block diagram which shows the structure of the smart phone shown in FIG.
- FIG. 1 is a block diagram showing a digital camera connected to a computer.
- the digital camera 10 includes a lens unit 12 and a camera body 14 including an image sensor 26, and the lens unit is input via a lens unit input / output unit 22 of the lens unit 12 and a camera body input / output unit 30 of the camera body 14. 12 and the camera body 14 are electrically connected.
- the digital camera 10 is a camera used for various purposes. For example, the digital camera 10 is used not only for general photographing purposes but also for security purposes (surveillance cameras) or medical purposes (endoscopes).
- the lens unit 12 includes an optical system such as a lens 16 and a diaphragm 17 and an optical system operation unit 18 that controls the optical system.
- the optical system operation unit 18 includes a lens unit controller 20 connected to the lens unit input / output unit 22 and an actuator (not shown) that operates the optical system.
- the lens unit controller 20 controls the optical system via an actuator based on a control signal sent from the camera body 14 via the lens unit input / output unit 22, for example, focus control or zoom control by lens movement, aperture 17 aperture amount control and the like are performed.
- the imaging element 26 of the camera body 14 includes a condensing microlens, a color filter such as R (red) G (green) B (blue), an image sensor (photodiode; CMOS (Complementary Metal Oxide Semiconductor), CCD (Charge). -Coupled (Device) etc.).
- the image sensor 26 converts the light of the subject image irradiated through the optical system (lens 16, aperture 17, etc.) of the lens unit 12 into an electrical signal, and sends the image signal (original image data) to the camera body controller 28. send. Note that the image sensor 26 can output a color image signal and a monochrome image signal.
- the image sensor 26 of this example outputs original image data by photographing a subject image using an optical system, and this original image data is transmitted to the image processing unit 35 of the camera body controller 28.
- the camera body controller 28 includes a device control unit 34 and an image processing unit (image processing apparatus) 35 as shown in FIG. 2, and controls the camera body 14 in an integrated manner.
- the device control unit 34 controls the output of an image signal (image data) from the image sensor 26, generates a control signal for controlling the lens unit 12, and the lens unit via the camera body input / output unit 30. 12 (lens unit controller 20), and image data before and after image processing (RAW data, JPEG data, etc.) is transmitted to external devices (computer 60, etc.) connected via the input / output interface 32.
- the device control unit 34 appropriately controls various devices included in the digital camera 10 such as a display unit (EVF: Electronic View Finder, rear liquid crystal display unit) (not shown).
- EMF Electronic View Finder, rear liquid crystal display unit
- the image processing unit 35 can perform arbitrary image processing on the image signal from the image sensor 26 as necessary. For example, sensor correction processing, demosaicing (synchronization) processing, pixel interpolation processing, color correction processing (offset correction processing, white balance processing, color matrix processing, tone correction processing, etc.), RGB image processing (tone correction processing, exposure correction)
- the image processing unit 35 appropriately performs various image processing such as RGB / YCrCb conversion processing and image compression processing.
- the digital camera 10 shown in FIG. 1 includes other devices (shutters and the like) necessary for shooting and the like, and the user can perform various settings for shooting and the like via a user interface 29 provided in the camera body 14.
- EV value Exposure value
- the user interface 29 is connected to the camera body controller 28 (device control unit 34 and image processing unit 35), and various settings determined and changed by the user are reflected in various processes in the camera body controller 28.
- the image data processed by the camera body controller 28 is sent to the computer 60 or the like via the input / output interface 32.
- the format of the image data sent from the digital camera 10 (camera body controller 28) to the computer 60 or the like is not particularly limited, and may be any format such as RAW, JPEG, TIFF, and the like.
- the camera body controller 28, like so-called Exif (Exchangeable Image Image File Format) includes header information (such as shooting information (shooting date and time, model, number of pixels, aperture value, etc.), main image data, thumbnail image data, etc.
- a plurality of related data may be associated with each other and configured as one image file, and the image file may be transmitted to the computer 60.
- the computer 60 is connected to the digital camera 10 via the input / output interface 32 and the computer input / output unit 62 of the camera body 14, and receives data such as image data sent from the camera body 14.
- the computer controller 64 controls the computer 60 in an integrated manner, performs image processing on image data from the digital camera 10, and communicates with a server 80 or the like connected to the computer input / output unit 62 via a network line such as the Internet 70.
- the computer 60 has a display 66, and the processing contents in the computer controller 64 are displayed on the display 66 as necessary.
- the user can input data and commands to the computer controller 64 by operating input means (not shown) such as a keyboard while confirming the display on the display 66. Accordingly, the user can control the computer 60 and the devices (digital camera 10 and server 80) connected to the computer 60.
- the server 80 includes a server input / output unit 82 and a server controller 84.
- the server input / output unit 82 constitutes a transmission / reception connection unit with external devices such as the computer 60, and is connected to the computer input / output unit 62 of the computer 60 via a network line such as the Internet 70.
- the server controller 84 cooperates with the computer controller 64 in response to a control instruction signal from the computer 60, transmits and receives data to and from the computer controller 64 as necessary, downloads the data to the computer 60, Calculation processing is performed and the calculation result is transmitted to the computer 60.
- Each controller (lens unit controller 20, camera body controller 28, computer controller 64, server controller 84) has circuits necessary for control processing, and includes, for example, an arithmetic processing circuit (CPU or the like), a memory, or the like.
- Communication between the digital camera 10, the computer 60, and the server 80 may be wired or wireless.
- the computer 60 and the server 80 may be configured integrally, and the computer 60 and / or the server 80 may be omitted.
- the digital camera 10 may be provided with a communication function with the server 80, and data may be directly transmitted and received between the digital camera 10 and the server 80.
- FIG. 3 is a functional block diagram showing a functional configuration example of the image processing unit 35.
- the image processing unit 35 provided in the camera main body controller 28 includes an image acquisition unit 40, a second image generation unit 41, a resolution enhancement processing unit 42, and a third image generation unit 43. I have.
- the image acquisition unit 40 acquires a captured image (first image) acquired from the image sensor 26 by capturing a subject image using an optical system.
- the photographed image is based on image data output from the image sensor 26 by photographing the subject image, and particularly if panoramic development performed by the second image generation unit 41 described later can be performed. It is not limited.
- the image acquisition unit 40 acquires image data that has been subjected to sensor correction processing, demosaic processing, pixel interpolation processing, color correction processing, RGB image processing, and RGB / YCrCb conversion processing as a captured image.
- a description will be given of a case where resolution restoration processing is performed on Y (luminance value) of an YCrCb converted image.
- the image acquisition unit 40 can acquire a color image or a monochrome (monochrome) image, and the present invention is effective for a color image and a monochrome (monochrome) image.
- FIG. 4 schematically shows a captured image 51 obtained by photographing the subject image (subject) 50 with the digital camera 10 and acquired by the image acquisition unit 40.
- the lens unit 12 and the lens 16 are illustrated, and other portions are omitted. Further, a case where a fisheye lens is used as the lens 16 is shown. Since the subject image 50 is photographed through the lens 16 (fisheye lens), the photographed image 51 is distorted due to the characteristics (distortion aberration) of the lens 16.
- the resolution differs between the sagittal direction and the tangential direction of the lens 16.
- the image acquisition unit 40 transmits the acquired captured image 51 to the second image generation unit 41.
- the resolution is an index indicating the degree of blur of an image, and various types are used.
- a modulation transfer function (MTF: Modulation Transfer Function) of the lens 16 may be used to represent the degree of blur of the image.
- MTF Modulation Transfer Function
- the second image generation unit 41 generates a panorama developed image 52 (second image) by performing polar coordinate conversion on the captured image 51 acquired by the image acquisition unit 40.
- FIG. 5 schematically shows a panoramic development image 52 generated from the captured image 51.
- the panorama development is to develop the captured image 51 by polar coordinate conversion to generate a panorama development image 52.
- an image obtained by performing coordinate conversion so that a concentric circle (referenced by a dotted line in the captured image 51) with respect to the center of the captured image 51 becomes a substantially straight line is a panorama.
- This is a developed image 52.
- the reason for the substantially straight line here is that distortion aberration may occur asymmetrically due to manufacturing errors or the like, and panorama development may not be performed so as to be a complete straight line.
- the vertical direction (y direction in the figure) of the panorama development image 52 corresponds to the tangential direction of the lens 16, and the horizontal direction (x direction in the figure) of the panorama development image 52 corresponds to the sagittal direction of the lens 16.
- the subject information in the captured image 51 is also carried in the panorama development image 52. 5
- the tangential direction of the lens 16 is indicated by an arrow T
- the sagittal direction of the lens 16 is indicated by an arrow S.
- the resolution enhancement processing unit 42 performs asymmetric resolution enhancement processing on the panorama development image 52 (second image) in the horizontal direction and the vertical direction of the panorama development image 52. Specifically, the resolution enhancement processing unit 42 performs different resolution enhancement processing on the x direction and the y direction shown in FIG. For example, the resolution enhancement processing unit 42 can strengthen the resolution enhancement process in the y direction and weaken the resolution enhancement process in the x direction. Thereby, the fall of the resolution in the y direction of the panoramic developed image 52 can be efficiently suppressed.
- the resolution enhancement processing unit 42 performs resolution enhancement processing on an image in which the tangential and sagittal directions of the lens 16 and the vertical and horizontal directions of the panorama development image 52 are aligned.
- the load can be reduced. That is, the resolution enhancement processing unit 42 generates an image (captured image 51) in which the positional relationship between the sagittal direction and tangential direction of the lens 16 and the horizontal direction and vertical direction of the captured image changes according to the position of the captured image 51.
- the resolution enhancement process it is necessary to change the shape of the resolution enhancement filter in accordance with the position of the captured image 51. Therefore, when the resolution enhancement process is performed on the panoramic developed image 52, the calculation load can be suppressed. Moreover, such a reduction in calculation load is particularly effective in image processing with moving images.
- the vertical direction of the panorama development image 52 corresponds to the tangential direction of the lens 16, and the horizontal direction of the panorama development image 52 (x direction in FIG. 5).
- the sagittal direction of the lens 16 are examples of the panoramic developed image 52.
- the vertical direction (y direction in FIG. 5) of the panorama developed image 52 and the sagittal direction of the lens 16 are made to correspond to each other, and the horizontal direction (x direction in FIG. 5) of the panorama developed image 52 and the lens are matched. Sixteen tangential directions may be associated.
- the resolution enhancement process performed by the resolution enhancement processing unit 42 is not particularly limited as long as it is a process that enhances the resolution of the panorama developed image 52 (suppresses blur).
- the resolution enhancement processing unit 42 performs a recovery process on the luminance value of the panoramic developed image 52 using a recovery filter designed based on the point spread function of the optical system.
- the resolution enhancement processing unit 42 performs an edge enhancement process on the luminance value of the panorama developed image 52 using an edge enhancement filter.
- the resolution enhancement processing unit 42 can perform the resolution enhancement processing on the RGB image before the demosaic processing. In that case, resolution enhancement processing is performed on the panoramic RGB image.
- FIG. 6 is a diagram showing an outline from image shooting to point image restoration processing (restoration processing).
- the subject image is received by the image sensor 26 (image sensor) via an optical system (lens 16, aperture 17, etc.), and original image data Do is output from the image sensor 26.
- the original image data Do is image data in a state where the original subject image is blurred due to a point spread phenomenon derived from the characteristics of the optical system.
- a point image restoration process P10 using the restoration filter F is performed on the original image data Do to thereby obtain the original subject image (point).
- Recovery image data Dr representing an image (recovered image) closer to the image is obtained.
- the restoration filter F used in the point image restoration processing P10 is obtained by a predetermined restoration filter calculation algorithm P20 from point image information (point spread function) of the optical system according to the photographing conditions at the time of acquiring the original image data Do.
- the point image information (point spread function) of the optical system can vary depending not only on the type of the lens 16 but also on various photographing conditions such as the aperture amount, focal length, zoom amount, image height, number of recorded pixels, pixel pitch, and the like. When calculating the recovery filter F, these imaging conditions are acquired.
- FIG. 7 is a block diagram illustrating an example of a point image restoration process.
- the point image restoration process P10 is a process of creating the restored image data Dr from the original image data Do by the filtering process using the restoration filter F as described above.
- N ⁇ M N and M are integers of 2 or more
- a recovery filter F in the real space constituted by the taps is applied to the processing target image (image data).
- the weighted average calculation (deconvolution calculation) of the filter coefficient assigned to each tap and the corresponding pixel data (processing target pixel data of the original image data Do and adjacent pixel data) is performed, so that Pixel data (recovered image data Dr) can be calculated.
- the point image restoration processing can be performed.
- a recovery filter in the real space composed of N ⁇ M taps can be derived by performing an inverse Fourier transform on the recovery filter in the frequency space. Therefore, the recovery filter in the real space can be appropriately calculated by specifying the recovery filter in the basic frequency space and designating the number of taps of the recovery filter in the real space.
- FIG. 8 is a diagram showing an example of the recovery filter.
- 8A shows a known recovery filter E
- FIG. 8B shows a recovery filter F that is used in the present invention to perform asymmetric processing between the vertical and horizontal directions. .
- FIG. 8A is a diagram illustrating an example of the recovery filter E having a kernel size of 7 ⁇ 7.
- the recovery filter E is designed to be rotationally symmetric with respect to the kernel center.
- the rotationally symmetric recovery filter E can reduce the data stored in the memory. For example, in the case of the 7 ⁇ 7 kernel shown in FIG. 4, by storing the 4 ⁇ 4 recovery filter E, the 7 ⁇ 7 recovery filter E can be obtained by utilizing the symmetry.
- FIG. 8B is a diagram illustrating an example of the recovery filter F having a kernel size of 5 ⁇ 5.
- the recovery filter F is a recovery filter in which asymmetric recovery processing is performed between the horizontal direction and the vertical direction of the panoramic development image 52.
- recovery filter F of this aspect is a recovery filter corresponding to the panoramic development image 52.
- the filter design reflecting the fact that the panorama development image 52 is aligned with the vertical and horizontal directions of the panorama development image 52 and the sagittal direction and tangential direction of the lens 16 is performed.
- the vertical direction of the panorama developed image 52 and the tangential direction of the lens 16 are aligned, and the horizontal direction of the panorama developed image 52 and the tangential direction of the lens 16 are aligned.
- the edge enhancement is performed by performing a weighted average calculation (deconvolution calculation) on the filter coefficient and the pixel data assigned to each tap of the edge enhancement filter G in the same manner as the recovery process described above. Pixel data after processing can be calculated.
- the contour enhancement processing can be performed by applying the weighted average processing using the contour enhancement filter to all pixel data constituting the image data while changing the target pixel in order.
- contour enhancement processing is a concept including processing called edge enhancement processing or sharpness enhancement processing.
- edge enhancement filter is created by a known method.
- the third image generation unit 43 performs reverse panorama development on the panorama development image 52 to generate a reverse panorama development image (third image). That is, the third image generation unit 43 performs a reverse process (reverse panorama development) of the panorama development performed by the second image generation unit 41 on the panorama development image 52 to generate a reverse panorama development image.
- the reverse panorama development image is an image having the same composition as the captured image 51 and subjected to resolution enhancement processing.
- the third image generating unit 43 can be arbitrarily installed. For example, the third image generation unit 43 does not have to be provided for an application in which the panoramic development image 52 only needs to be output.
- FIG. 9 is a flowchart showing the operation of the image processing unit 35.
- the image acquisition unit 40 of the image processing unit 35 acquires a captured image 51 (first image) acquired from the image sensor 26 by capturing a subject image 50 using an optical system (image acquisition step: step S10).
- the second image generation unit 41 performs panorama development by performing polar coordinate conversion on the acquired first image, and generates a panorama development image 52 (second image) (second image generation step). : Step S11).
- the resolution enhancement processing unit 42 performs resolution enhancement processing on the panorama developed image 52 (resolution enhancement step: step S12).
- the third image generation unit 43 performs reverse panorama development on the panorama development image 52 on which the resolution enhancement processing has been performed, and generates a reverse panorama development image (third image) (step S13).
- the above-described configurations and functions can be appropriately realized by arbitrary hardware, software, or a combination of both.
- a program that causes the computer 60 to execute the above-described processing steps (processing procedure), a recording medium (non-temporary recording medium) that can be read by the computer 60 that records such a program, or such a program can be installed.
- the present invention can also be applied to the computer 60.
- the panoramic development image 52 obtained by panoramic development of the captured image 51 and the sagittal direction and tangential direction of the optical system and the horizontal direction and vertical direction of the image are aligned.
- the asymmetric resolution enhancement processing is performed in the horizontal direction and the vertical direction of the panorama development image 52, the calculation processing load of the asymmetric resolution enhancement processing in the horizontal direction and the vertical direction of the panorama development image 52 is suppressed. can do.
- FIG. 10 is a block diagram showing a functional configuration example of the image processing unit 35 in the present embodiment.
- the image processing unit 35 according to the present embodiment includes an image acquisition unit 40, a second image generation unit 41, a distortion correction unit 44, a resolution enhancement processing unit 42, and a third image generation unit 43.
- the part already demonstrated in FIG. 3 attaches
- a distortion correction unit 44 is provided between the second image generation unit 41 and the resolution enhancement processing unit 42 as compared with the image processing unit 35 shown in FIG.
- the distortion correction unit 44 performs distortion correction on the panoramic developed image 52 generated by the second image generation unit 41.
- FIG. 11 schematically shows a panoramic developed image 52 and a panoramic developed image 53 on which distortion correction has been performed.
- the distortion correction is a coordinate conversion process for correcting distortion caused by distortion.
- the dotted line interval D in the panorama developed image 52 is not uniform, but correction is performed so that the dotted line interval D is uniform by distortion correction.
- the distortion aberration means that a straight line portion of a subject is bent and photographed in the photographed image 51, and may occur greatly when a fish-eye lens, a wide-angle lens, or the like is used.
- the panoramic developed image 52 The image can be stretched.
- the resolution enhancement processing unit 42 performs an asymmetric resolution enhancement process on the panorama development image 53 on which distortion correction has been performed in the horizontal direction and the vertical direction of the panorama development image 53 on which distortion correction has been performed.
- the resolution enhancement processing performed by the resolution enhancement processing unit 42 is the same as the processing described above.
- the resolution enhancement processing unit 42 performs resolution enhancement processing on the panoramic developed image 52 on which distortion correction has been performed, so that an image of a lens peripheral portion in which an important subject is often captured is stretched. Since the resolution enhancement process is performed, an image with better image quality can be acquired.
- the resolution enhancement processing unit 42 in this example changes the strength of the resolution enhancement processing according to the vertical position of the second image, or performs the resolution enhancement processing only on a partial region of the second image.
- FIG. 12 is a diagram schematically showing the panoramic development image 52.
- the resolution enhancement processing unit 42 of this example adjusts the strength of the resolution enhancement processing by changing the gain of the resolution enhancement processing using different filters depending on, for example, the vertical region of the panorama development image 52.
- the resolution enhancement processing unit 42 performs resolution enhancement processing using a filter A, a filter B, and a filter C according to the position in the vertical direction of the panorama development image 52.
- the magnitudes of the gains of the filters A, B, and C are filter C> filter B> filter A.
- the vertical direction of the panoramic developed image 52 is a direction parallel to the y-axis in FIG. In this way, by performing the resolution enhancement process using the filters A, B, and C from the upper side in the vertical direction of the panorama development image 52, the strength of the resolution enhancement process according to the position of the panorama development image 52 in the vertical direction. Is weakened.
- Output value a ⁇ input value (Formula 1) a: Gain When a different gain is applied for each frequency, such as recovery processing and contour enhancement processing performed by the resolution enhancement processing unit 42, it can be considered in the same way as in (Equation 1). When changing, the following (Formula 2) is established.
- Output image input image * filter (Formula 2) Note that * indicates convolution processing.
- FIG. 13 is a diagram for explaining the gain of the filter.
- FIG. 13 (A) shows the recovery filter E shown in FIG. 8 (A)
- FIG. 13 (B) shows the result of Fourier transform of the recovery filter E.
- the gain in the frequency space can be acquired by performing Fourier transform on the filter in the real space.
- gain control can be performed using the following method in addition to the method of changing the gain of the resolution enhancement processing.
- the resolution enhancement processing unit 42 performs a recovery process on the panorama developed image 52 (input image) (referred to as panorama developed image ImgA) by the recovery filter F, and the panorama developed image (referred to as panorama developed image ImgB) on which the recovery processing has been performed. ) Is generated. Thereafter, the resolution enhancement processing unit 42 multiplies the panorama development image ImgB by a magnification (1-U) to generate a panorama development image ImgC. Then, the resolution enhancement processing unit 42 adds the panorama developed image ImgA and the panorama developed image ImgC to obtain a panorama developed image ImgD.
- This panoramic developed image ImgD is a panoramic developed image 52 that has been subjected to resolution enhancement processing with a gain magnification U.
- FIG. 14 is a diagram schematically showing the panoramic development image 52.
- the resolution enhancement processing unit 42 of this example can also perform resolution enhancement processing only on a partial region of the second image.
- the main subject image target subject image
- the panorama developed image 52 is vertically below (below the y direction in FIG. 14).
- the image of the main subject exists on the side).
- the resolution enhancement processing unit 42 performs resolution enhancement processing only on the main subject and does not perform resolution processing on other portions.
- the resolution emphasis processing unit 42 can efficiently perform resolution processing.
- an image captured by an endoscope or an image captured by a surveillance camera can be cited.
- the original subject image is recovered by correcting and correcting the point spread (point image blur) according to specific shooting conditions (for example, aperture value, F value, focal length, lens type, etc.).
- the image restoration process to which the present invention can be applied is not limited to the restoration process in the above-described embodiment.
- the present invention also applies to restoration processing for image data captured and acquired by an optical system (such as a photographing lens) having an expanded depth of field (focal depth) (EDoF: Extended Depth of Field (Focus)).
- an optical system such as a photographing lens
- EDoF Extended Depth of Field
- High-resolution image data in a wide range of focus by performing restoration processing on image data of a blurred image captured and acquired with the depth of field (depth of focus) expanded by the EDoF optical system Can be restored.
- it is a restoration filter (restoration filter) based on the point spread function of the EDoF optical system, and is set so that good image restoration is possible within the range of the enlarged depth of field (depth of focus).
- a restoration process (recovery process) using a restoration filter having a filter coefficient is performed.
- restoration processing is performed on a luminance signal (Y data) obtained from image data (RGB data) after demosaic processing
- Y data luminance signal
- RGB data image data
- restoration processing may be performed on “image data before demosaic processing (mosaic image data)” or “image data after demosaic processing and before luminance signal conversion processing (demosaic image data)”.
- FIG. 15 is a block diagram illustrating an embodiment of the imaging module 101 including the EDoF optical system.
- the imaging module (digital camera or the like) 101 of this example includes an EDoF optical system (lens unit) 110, an imaging device 112, an AD (Analog-Digital) conversion unit 114, and a restoration processing block (image processing unit) 120. Including.
- FIG. 16 is a diagram illustrating an example of the EDoF optical system 110.
- the EDoF optical system 110 of this example includes a photographic lens 110A having a fixed focal point and an optical filter 111 disposed at the pupil position.
- the optical filter 111 modulates the phase, and converts the EDoF optical system 110 (the photographing lens 110A) to EDoF so that an enlarged depth of field (depth of focus) (EDoF) is obtained.
- the photographing lens 110A and the optical filter 111 constitute a lens unit that modulates the phase and expands the depth of field.
- the EDoF optical system 110 includes other components as necessary.
- a diaphragm (not shown) is disposed in the vicinity of the optical filter 111.
- the optical filter 111 may be one sheet or a combination of a plurality of sheets.
- the optical filter 111 is merely an example of an optical phase modulation unit, and the EDoF conversion of the EDoF optical system 110 (the photographing lens 110A) may be realized by other units.
- the EDoF optical system 110 may be realized as EDoF by the photographing lens 110A designed to have a function equivalent to that of the optical filter 111 of this example.
- the EDoF conversion of the EDoF optical system 110 can be realized by various means for changing the wavefront of the image formed on the light receiving surface of the image sensor 112.
- optical element whose thickness changes “optical element whose refractive index changes (refractive index distributed wavefront modulation lens, etc.)”, “optical element whose thickness and refractive index change due to coding on the lens surface (wavefront) "Modulation hybrid lens, optical element formed as a phase plane on the lens surface, etc.)” and “liquid crystal element capable of modulating light phase distribution (liquid crystal spatial phase modulation element, etc.)” into EDoF optical system 110 of EDoF It can be adopted as a means.
- the present invention can also be applied to a case that can be formed by the photographic lens 110A itself without using a modulation element.
- the EDoF optical system 110 shown in FIGS. 15 and 16 can be reduced in size because it can omit the focus adjustment mechanism that mechanically adjusts the focus, and can be suitably mounted on a camera-equipped mobile phone or a portable information terminal. It is.
- the optical image after passing through the EDoF-converted EDoF optical system 110 is formed on the image sensor 112 shown in FIG. 15, and is converted into an electrical signal here.
- the image sensor 112 is composed of a plurality of pixels arranged in a matrix with a predetermined pattern arrangement (Bayer arrangement, G stripe R / G complete checkered (honeycomb arrangement), etc.), and each pixel is a microlens, color A filter (RGB color filter in this example) and a photodiode are included.
- the optical image incident on the light receiving surface of the image sensor 112 via the EDoF optical system 110 is converted into signal charges in an amount corresponding to the amount of incident light by the photodiodes arranged on the light receiving surface.
- the R, G, and B signal charges accumulated in each photodiode are sequentially output as a voltage signal (image signal) for each pixel.
- the AD converter 114 converts an analog R / G / B image signal output from the image sensor 112 for each pixel into a digital RGB image signal.
- the digital image signal converted into a digital image signal by the AD conversion unit 114 is added to the restoration processing block 120.
- the restoration processing block 120 includes, for example, a black level adjustment unit 122, a white balance gain unit 123, a gamma processing unit 124, a demosaic processing unit 125, an RGB / YCrCb conversion unit 126, and a Y signal restoration processing unit 127. Including.
- the black level adjustment unit 122 performs black level adjustment on the digital image signal output from the AD conversion unit 114.
- a known method can be adopted for black level adjustment. For example, when attention is paid to a certain effective photoelectric conversion element, an average of dark current amount acquisition signals corresponding to each of a plurality of OB photoelectric conversion elements included in the photoelectric conversion element row including the effective photoelectric conversion element is obtained, and the effective The black level is adjusted by subtracting the average from the dark current amount acquisition signal corresponding to the photoelectric conversion element.
- the white balance gain unit 123 performs gain adjustment according to the white balance gain of each RGB color signal included in the digital image signal in which the black level data is adjusted.
- the gamma processing unit 124 performs gamma correction that performs gradation correction such as halftone so that the R, G, and B image signals that have undergone white balance adjustment have desired gamma characteristics.
- the demosaic processing unit 125 performs demosaic processing on the R, G, and B image signals after the gamma correction. Specifically, the demosaic processing unit 125 performs a color interpolation process on the R, G, and B image signals, thereby generating a set of image signals (R signal, G signal) output from each light receiving pixel of the image sensor 112. , B signal). That is, before the color demosaicing process, the pixel signal from each light receiving pixel is one of the R, G, and B image signals, but after the color demosaicing process, the R, G, B signal corresponding to each light receiving pixel is displayed. A set of three pixel signals is output.
- the RGB / YCrCb converter 126 converts the demosaic R, G, and B signals for each pixel into a luminance signal Y and color difference signals Cr and Cb, and outputs the luminance signal Y and the color difference signals Cr and Cb for each pixel. To do.
- the Y signal restoration processing unit 127 performs restoration processing on the luminance signal Y from the RGB / YCrCb conversion unit 126 based on a restoration filter stored in advance.
- the restoration filter corresponding to the optical filter 111 is stored in a memory (not shown) (for example, a memory provided with the Y signal restoration processing unit 127). Further, the kernel size of the deconvolution kernel is not limited to 7 ⁇ 7.
- FIG. 17 is a diagram showing an example of a restoration processing flow by the restoration processing block 120 shown in FIG.
- a digital image signal is added from the AD conversion unit 114 to one input of the black level adjustment unit 122, black level data is added to the other input, and the black level adjustment unit 122 receives the digital image signal.
- the black level data is subtracted from the digital image signal, and the digital image signal from which the black level data is subtracted is output to the white balance gain unit 123 (S31).
- the black level component is not included in the digital image signal, and the digital image signal indicating the black level becomes zero.
- the image data after the black level adjustment is sequentially processed by the white balance gain unit 123 and the gamma processing unit 124 (S32 and S33).
- the R, G, and B signals subjected to gamma correction are demosaiced by the demosaic processing unit 125, and then converted into the luminance signal Y and the color difference signals Cr and Cb by the RGB / YCrCb conversion unit 126 (S34).
- the Y signal restoration processing unit 127 performs a restoration process in which the luminance signal Y is subjected to a deconvolution process corresponding to the phase modulation of the optical filter 111 of the EDoF optical system 110 (S35).
- the Y signal restoration processing unit 127 stores a luminance signal (in this case, a luminance signal of 7 ⁇ 7 pixels) corresponding to a predetermined unit pixel group centered on an arbitrary pixel to be processed, and is stored in a memory or the like in advance.
- the deconvolution process (deconvolution calculation process) is performed with the restoration filter (7 ⁇ 7 deconvolution kernel and its calculation coefficient).
- the Y signal restoration processing unit 127 performs restoration processing for removing image blur of the entire image by repeating the deconvolution processing for each pixel group of a predetermined unit so as to cover the entire area of the imaging surface.
- the restoration filter is determined according to the position of the center of the pixel group to be subjected to the deconvolution process. That is, a common restoration filter is applied to adjacent pixel groups. Further, in order to simplify the restoration process, it is preferable to apply a common restoration filter to all the pixel groups.
- the point image (optical image) of the luminance signal after passing through the EDoF optical system 110 is formed on the image sensor 112 as a large point image (blurred image), but the Y signal
- a small point image (high resolution image) is restored as indicated by reference numeral 1312 in FIG.
- the restoration process As described above, by applying the restoration process to the luminance signal after the demosaic process, it is not necessary to have the parameters for the restoration process separately for RGB, and the restoration process can be speeded up. Further, R, G, B image signals corresponding to R, G, B pixels at the jumping positions are not combined into one unit and deconvolved, but the luminance signals of adjacent pixels are set to a predetermined unit. In summary, since the deconvolution process is performed by applying a common restoration filter to the unit, the accuracy of the restoration process is improved. Note that the color difference signal CrCb is acceptable in terms of image quality even if the resolution is not increased by restoration processing due to the visual characteristics of human eyes.
- the aspect to which the present invention can be applied is not limited to the digital camera 10, the computer 60, and the server 80.
- functions other than imaging (calling) It is also applicable to mobile devices having a function, a communication function, and other computer functions.
- Other modes to which the present invention can be applied include, for example, a mobile phone having a camera function, a smartphone, a PDA (Personal Digital Assistants), and a portable game machine.
- a smartphone to which the present invention can be applied will be described.
- FIG. 19 shows an appearance of a smartphone 201 that is an embodiment of the photographing apparatus of the present invention.
- a smartphone 201 illustrated in FIG. 19 includes a flat housing 202, and a display input in which a display panel 221 serving as a display unit and an operation panel 222 serving as an input unit are integrated on one surface of the housing 202. Part 220 is provided.
- the housing 202 includes a speaker 231, a microphone 232, an operation unit 240, and a camera unit 241. Note that the configuration of the housing 202 is not limited to this, and, for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure or a slide mechanism may be employed.
- FIG. 20 is a block diagram showing a configuration of the smartphone 201 shown in FIG.
- the main components of the smartphone include a wireless communication unit 210, a display input unit 220, a call unit 230, an operation unit 240, a camera unit 241, a storage unit 250, and an external input / output unit. 260, a GPS (Global Positioning System) receiving unit 270, a motion sensor unit 280, a power supply unit 290, and a main control unit 200.
- a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided as a main function of the smartphone 201.
- the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 200. Using such wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of Web data, streaming data, and the like are performed.
- the display input unit 220 displays images (still images and moving images), character information, and the like visually under the control of the main control unit 200, visually transmits information to the user, and detects a user operation on the displayed information.
- This is a so-called touch panel, and includes a display panel 221 and an operation panel 222.
- the display panel 221 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
- the operation panel 222 is a device that is placed so that an image displayed on the display surface of the display panel 221 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus.
- a detection signal generated due to the operation is output to the main control unit 200.
- the main control unit 200 detects an operation position (coordinates) on the display panel 221 based on the received detection signal.
- the display panel 221 and the operation panel 222 of the smartphone 201 exemplified as an embodiment of the photographing apparatus of the present invention integrally form a display input unit 220.
- the arrangement 222 covers the display panel 221 completely.
- the operation panel 222 may have a function of detecting a user operation even in an area outside the display panel 221.
- the operation panel 222 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 221 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 221. May be included).
- the operation panel 222 may include two sensitive regions of the outer edge portion and the other inner portion. Furthermore, the width of the outer edge portion is appropriately designed according to the size of the housing 202 and the like. Further, examples of the position detection method employed in the operation panel 222 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method, and any method is adopted. You can also.
- the call unit 230 includes a speaker 231 and a microphone 232, converts user's voice input through the microphone 232 into voice data that can be processed by the main control unit 200, and outputs the voice data to the main control unit 200, or a wireless communication unit
- the audio data received by 210 or the external input / output unit 260 is decoded and output from the speaker 231.
- the speaker 231 can be mounted on the same surface as the surface on which the display input unit 220 is provided, and the microphone 232 can be mounted on the side surface of the housing 202.
- the operation unit 240 is a hardware key using a key switch or the like, and receives an instruction from the user.
- the operation unit 240 is mounted on the side surface of the housing 202 of the smartphone 201 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
- the storage unit 250 includes a control program and control data of the main control unit 200, application software, address data that associates the name and telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
- the storage unit 250 includes an internal storage unit 251 built in the smartphone and an external storage unit 252 having a removable external memory slot.
- Each of the internal storage unit 251 and the external storage unit 252 constituting the storage unit 250 includes a flash memory type, a hard disk type, a multimedia card micro type, a multimedia card micro type, This is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
- a card type memory for example, MicroSD (registered trademark) memory
- RAM Random Access Memory
- ROM Read Only Memory
- the external input / output unit 260 serves as an interface with all external devices connected to the smartphone 201, and communicates with other external devices (for example, Universal Serial Bus (USB), IEEE 1394, etc.) or a network.
- external devices for example, Universal Serial Bus (USB), IEEE 1394, etc.
- a network for example, the Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) ZigBee) (registered trademark, etc.) for direct or indirect connection.
- an external device connected to the smartphone 201 for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, or a SIM (Subscriber).
- Identity Module Card / UIM (User Identity Module Card) card external audio / video equipment connected via audio / video I / O (Input / Output) terminal, external audio / video equipment connected wirelessly, yes / no
- the external input / output unit can transmit data received from such an external device to each component inside the smartphone 201 and can transmit data inside the smartphone 201 to the external device.
- the GPS receiving unit 270 receives GPS signals transmitted from the GPS satellites ST1 to STn according to instructions from the main control unit 200, executes positioning calculation processing based on the received plurality of GPS signals, A position consisting of longitude and altitude is detected.
- the GPS receiving unit 270 can acquire position information from the wireless communication unit 210 or the external input / output unit 260 (for example, a wireless LAN), the GPS receiving unit 270 can also detect the position using the position information.
- the motion sensor unit 280 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 201 in accordance with an instruction from the main control unit 200. By detecting the physical movement of the smartphone 201, the moving direction and acceleration of the smartphone 201 are detected. The detection result is output to the main control unit 200.
- the power supply unit 290 supplies power stored in a battery (not shown) to each unit of the smartphone 201 in accordance with an instruction from the main control unit 200.
- the main control unit 200 includes a microprocessor, operates according to a control program and control data stored in the storage unit 250, and controls each unit of the smartphone 201 in an integrated manner.
- the main control unit 200 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 210.
- the application processing function is realized by the main control unit 200 operating according to the application software stored in the storage unit 250.
- Application processing functions include, for example, an infrared communication function for controlling external input / output unit 260 to perform data communication with an opposite device, an e-mail function for sending and receiving e-mails, and a web browsing function for browsing web pages. .
- the main control unit 200 also has an image processing function such as displaying video on the display input unit 220 based on image data (still image or moving image data) such as received data or downloaded streaming data.
- the image processing function refers to a function in which the main control unit 200 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 220.
- the main control unit 200 executes display control for the display panel 221 and operation detection control for detecting a user operation through the operation unit 240 and the operation panel 222.
- the main control unit 200 By executing the display control, the main control unit 200 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
- a software key such as a scroll bar, or a window for creating an e-mail.
- the scroll bar refers to a software key for accepting an instruction to move a display portion of an image such as a large image that cannot fit in the display area of the display panel 221.
- the main control unit 200 detects a user operation through the operation unit 240, receives an operation on the icon or input of the software key through the operation panel 222, or scrolls. A request to scroll the display image through the bar is accepted.
- the main control unit 200 causes the operation position with respect to the operation panel 222 to overlap with the display panel 221 (display area) or other outer edge part (non-display area) that does not overlap the display panel 221.
- a touch panel control function for controlling the sensitive area of the operation panel 222 and the display position of the software key.
- the main control unit 200 can also detect a gesture operation on the operation panel 222 and execute a preset function according to the detected gesture operation.
- Gesture operation is not a conventional simple touch operation, but an operation of drawing a trajectory with at least one position from a plurality of positions by drawing a trajectory with a finger or the like, or simultaneously specifying a plurality of positions. means.
- the camera unit 241 is a digital camera that performs electronic photography using an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
- the camera unit 241 converts image data obtained by imaging into compressed image data such as JPEG (Joint Photographic Coding Experts Group) under the control of the main control unit 200, and records the data in the storage unit 250 or externally.
- the data can be output through the input / output unit 260 and the wireless communication unit 210.
- the camera unit 241 is mounted on the same surface as the display input unit 220, but the mounting position of the camera unit 241 is not limited to this and may be mounted on the back surface of the display input unit 220. Alternatively, a plurality of camera units 241 may be mounted. Note that in the case where a plurality of camera units 241 are mounted, the camera unit 241 used for shooting can be switched to perform shooting alone, or a plurality of camera units 241 can be used for shooting simultaneously.
- the camera unit 241 can be used for various functions of the smartphone 201.
- an image acquired by the camera unit 241 can be displayed on the display panel 221, or the image of the camera unit 241 can be used as one of operation inputs of the operation panel 222.
- the GPS receiving unit 270 detects the position, the position can also be detected with reference to an image from the camera unit 241.
- the optical axis direction of the camera unit 241 of the smartphone 201 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
- the image from the camera unit 241 can be used in the application software.
- the position information acquired by the GPS receiving unit 270 to the image data of the still image or the moving image, the voice information acquired by the microphone 232 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 280 can be added and recorded in the storage unit 250, or can be output through the external input / output unit 260 and the wireless communication unit 210.
- DESCRIPTION OF SYMBOLS 10 ... Digital camera, 12 ... Lens unit, 14 ... Camera body, 16 ... Lens, 17 ... Aperture, 26 ... Imaging device, 28 ... Camera body controller, 34 ... Device control part, 35 ... Image processing part, 40 ... Image acquisition 41, second image generation unit, 42 ... resolution enhancement processing unit, 43 ... third image generation unit, 44 ... distortion correction unit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
Abstract
本発明はレンズのサジタル方向及びタンジェンシャル方向の各々に対して互いに異なる解像度を強調する処理の演算負荷を抑制することができる画像処理装置、画像処理方法、及びプログラムを提供する。本発明の態様において、画像処理装置(35)は、光学系を用いた被写体像の撮影により撮像素子から取得される第1の画像を取得する画像取得部(40)と、画像取得部で取得された第1の画像を極座標変換することによりパノラマ展開された第2の画像を生成する第2の画像生成部(41)と、第2の画像に対して、第2の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理部(42)と、を備える。
Description
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特にパノラマ展開された画像に対して画像処理を行う画像処理装置、画像処理方法、及びプログラムに関する。
光学系を介して撮影される撮影画像は、光学系に起因して解像度が低下する場合がある。このような解像度の低下を抑制する一つの方法として、撮影画像に対して画像処理を行うことにより解像度を強調する処理(解像度強調処理)がある。
解像度強調処理としては、光学系の点光源に対する応答を表す関数である点拡がり関数(PSF:Point Spread Function)を利用して劣化した解像度を回復させる処理(回復処理)や、被写体像の輪郭を強調する輪郭強調処理が知られている。
また、撮影画像に対して極座標変換することによりパノラマ展開を行う技術が知られている。例えば、セキュリティ用途や医療用途等で使用される画角が180°を越えるような魚眼レンズ又は広角レンズで撮影された画像に対して、パノラマ展開を行うことにより画像の構図を変換することが知られている。
例えば特許文献1では、魚眼レンズを使用して撮影された撮影画像に対して、レンズの特性に基づく座標軸の歪みやレンズの個体差に起因するずれを補正し、その後に撮影画像の解像度を強調(復元)するための処理を行う技術が提案されている。
また例えば特許文献2では、全天球画像から平面画像を生成し表示する技術が開示されている。
ここで、一般的にレンズはサジタル方向とタンジェンシャル方向とで異なる解像度を有するので、レンズのサジタル方向とタンジェンシャル方向とで異なる解像度強調処理を行うことが好ましい。しかし、レンズのサジタル方向及びタンジェンシャル方向と、撮影画像の水平方向及び垂直方向との位置関係は撮影画像の位置に応じて変わるので、レンズのサジタル方向とタンジェンシャル方向とで異なる解像度強調処理を行うことは演算処理に大きな負荷がかかってしまう。
上述した特許文献1に記載された技術では、解像度強調処理を行う場合に、レンズのサジタル方向及びタンジェンシャル方向と、撮影画像の水平方向及び垂直方向との位置関係に関して言及されていない。
また特許文献2では、解像度強調処理については言及されていない。
本発明はこのような事情に鑑みてなされたもので、その目的は、レンズのサジタル方向及びタンジェンシャル方向の各々に対して互いに異なる解像度を強調する処理の演算負荷を抑制することができる画像処理装置、画像処理方法、及びプログラムを提供することである。
上記目的を達成するために本発明の一の態様である画像処理装置は、光学系を用いた被写体像の撮影により撮像素子から取得される第1の画像を取得する画像取得部と、画像取得部で取得された第1の画像を極座標変換することによりパノラマ展開された第2の画像を生成する第2の画像生成部と、第2の画像に対して、第2の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理部と、を備える。
本態様によれば、第1の画像をパノラマ展開することにより取得される、光学系のサジタル方向及びタンジェンシャル方向と画像の水平方向及び垂直方向とが揃った第2の画像に対して、第2の画像の水平方向と垂直方向とで非対称な解像度強調処理が行われる。これにより、本態様は、第2の画像の水平方向と垂直方向とで非対称な解像度強調処理の演算負荷を抑制することができる。
好ましくは、解像度強調処理部が行う解像度強調処理は、光学系の点拡がり関数に基づき且つ第2の画像に応じた回復フィルタを用いた回復処理である。
本態様によれば、光学系のサジタル方向及びタンジェンシャル方向と、画像の水平方向及び垂直方向が揃った第2の画像に対して、光学系の点拡がり関数に基づき設計された回復フィルタであって、且つ第2の画像の方向に応じて設計された回復フィルタを用いた回復処理が行われる。これにより、本態様は、回復フィルタの設計が複雑になることを抑制し且つ回復処理の演算負荷が軽減された効率的な回復処理を行うことができる。
好ましくは、解像度強調処理部が行う解像度強調処理は、輪郭強調フィルタを用いた輪郭強調処理である。
本態様によれば、光学系のサジタル方向及びタンジェンシャル方向と、画像の水平方向及び垂直方向が揃った第2の画像に対して、輪郭強調フィルタを用いた輪郭強調処理が行われる。これにより、本態様は、輪郭強調フィルタの設計が複雑になることを抑制し且つ回復処理の演算負荷が軽減された効率的な回復処理を行うことができる。
好ましくは、光学系を構成するレンズは魚眼レンズである。
本態様によれば、光学系として魚眼レンズが使用されるので広角で撮影された画像に対して解像度強調処理を行うことができる。
好ましくは、画像処理装置は、第2の画像に対して、ディストーション補正を行うディストーション補正部と、を備え、解像度強調処理部は、ディストーション補正が行われた第2の画像に対して、第2の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う。
本態様によれば、魚眼レンズを使用して撮影された画像に対してパノラマ展開が行われ、その後にディストーション補正及び解像度強調処理が行われる。一般に、魚眼レンズを使用して撮影される画像では、注目被写体が一般に解像度が低下するレンズの周辺部に写る場合が多い。本態様では、レンズの周辺部に多く発生するディストーションを補正した後に解像度強調処理が行われるので、解像度が低下するレンズの周辺部においても良好な画質の画像を得ることができる。
好ましくは、解像度強調処理部は、第2の画像の一部の領域に対してのみ解像度強調処理を行う。
本態様によれば、解像度強調処理部は第2の画像の一部の領域に対してのみ行われるので、例えば注目被写体が写っている部分に対してのみ解像度強調処理を行う等、効率的に解像度強調処理を行うことができる。
好ましくは、解像度強調処理部は、第2の画像の垂直方向の位置に応じて解像度強調処理の強度を変える。
本態様によれば、解像度強調処理は第2の画像の垂直方向の位置に応じて解像度強調処理の強度が変えられるので、例えば主要被写体が写っている部分は強く、その他の部分は弱く解像度強調処理を行う等、効率的に解像度強調処理を行うことができる。
好ましくは、解像度強調処理部は、第2の画像の垂直方向の位置に応じて解像度強調処理の強度を弱める。
本態様によれば、解像度強調処理は第2の画像の垂直方向の位置に応じて解像度強調処理の強度が弱められるので、例えば第2の画像における垂直方向の下側では解像度強調処理を強く行い、第2の画像における垂直方向の上側では解像度強調処理を弱く行う等、効率的な解像度強調処理を行うことができる。
好ましくは、画像処理装置は、第2の画像に対して、第2の画像生成部が行ったパノラマ展開の逆処理である逆パノラマ展開を行い、第3の画像を生成する第3の画像生成部と、を備える。
本態様によれば、解像度強調処理が行われた第2の画像に対して逆パノラマ展開が行われるので、第1の画像と同様の構図を有し且つ解像度強調処理が行われた第3の画像を得ることができる。
本発明の他の態様である画像処理方法は、光学系を用いた被写体像の撮影により撮像素子から取得される第1の画像を取得する画像取得ステップと、画像取得ステップで取得された第1の画像を極座標変換することによりパノラマ展開された第2の画像を生成する第2の画像生成ステップと、第2の画像に対して、第2の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理ステップと、を含む。
本発明の他の態様であるプログラムは、光学系を用いた被写体像の撮影により撮像素子から取得される第1の画像を取得する画像取得ステップと、画像取得ステップで取得された第1の画像を極座標変換することによりパノラマ展開された第2の画像を生成する第2の画像生成ステップと、第2の画像に対して、第2の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理ステップと、をコンピュータに実行させる。
本発明によれば、第1の撮影画像をパノラマ展開することにより取得される、光学系のサジタル方向及びタンジェンシャル方向と画像の水平方向及び垂直方向とが揃った第2の画像に対して、第2の画像の水平方向と垂直方向とで非対称な解像度強調処理が行われるので、第2の画像の水平方向と垂直方向とで非対称な解像度強調処理の演算負荷を抑制することができる。
添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ(PC:パーソナルコンピュータ)に接続可能なデジタルカメラ(撮像装置)に本発明を適用する場合について説明する。
図1は、コンピュータに接続されるデジタルカメラを示すブロック図である。
デジタルカメラ10は、レンズユニット12と、撮像素子26を具備するカメラ本体14とを備え、レンズユニット12のレンズユニット入出力部22とカメラ本体14のカメラ本体入出力部30とを介し、レンズユニット12とカメラ本体14とは電気的に接続される。なおデジタルカメラ10は様々な用途に使用されるカメラであり、例えばデジタルカメラ10は一般撮影用途のみならずセキュリティ用途(監視カメラ)又は医療用途(内視鏡)にも使用される。
レンズユニット12は、レンズ16や絞り17等の光学系と、この光学系を制御する光学系操作部18とを具備する。光学系操作部18は、レンズユニット入出力部22に接続されるレンズユニットコントローラ20と、光学系を操作するアクチュエータ(図示省略)とを含む。レンズユニットコントローラ20は、レンズユニット入出力部22を介してカメラ本体14から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り17の絞り量制御、等を行う。
カメラ本体14の撮像素子26は、集光用マイクロレンズ、R(赤)G(緑)B(青)等のカラーフィルタ、及びイメージセンサ(フォトダイオード;CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge-Coupled Device)等)を有する。この撮像素子26は、レンズユニット12の光学系(レンズ16、絞り17等)を介して照射される被写体像の光を電気信号に変換し、画像信号(原画像データ)をカメラ本体コントローラ28に送る。なお撮像素子26は、カラー画像の画像信号及びモノクロの画像信号を出力することが可能である。
本例の撮像素子26は、光学系を用いた被写体像の撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ28の画像処理部35に送信される。
カメラ本体コントローラ28は、図2に示すようにデバイス制御部34と画像処理部(画像処理装置)35とを有し、カメラ本体14を統括的に制御する。デバイス制御部34は、例えば、撮像素子26からの画像信号(画像データ)の出力を制御し、レンズユニット12を制御するための制御信号を生成してカメラ本体入出力部30を介してレンズユニット12(レンズユニットコントローラ20)に送信し、入出力インターフェース32を介して接続される外部機器類(コンピュータ60等)に画像処理前後の画像データ(RAWデータ、JPEGデータ等)を送信する。また、デバイス制御部34は、図示しない表示部(EVF:Electronic View Finder、背面液晶表示部)等、デジタルカメラ10が具備する各種デバイス類を適宜制御する。
一方、画像処理部35は、撮像素子26からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク(同時化)処理、画素補間処理、色補正処理(オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、階調補正処理等)、RGB画像処理(トーン補正処理、露出補正処理等)、RGB/YCrCb変換処理及び画像圧縮処理等の各種の画像処理が、画像処理部35において適宜行われる。
尚、図1に示すデジタルカメラ10は、撮影等に必要なその他の機器類(シャッター等)を具備し、ユーザは、カメラ本体14に設けられるユーザインターフェース29を介して撮影等のための各種設定(EV値(Exposure Value)等)を適宜決定及び変更することができる。ユーザインターフェース29は、カメラ本体コントローラ28(デバイス制御部34及び画像処理部35)に接続され、ユーザによって決定及び変更された各種設定がカメラ本体コントローラ28における各種処理に反映される。
カメラ本体コントローラ28において画像処理された画像データは、入出力インターフェース32を介してコンピュータ60等に送られる。デジタルカメラ10(カメラ本体コントローラ28)からコンピュータ60等に送られる画像データのフォーマットは特に限定されず、RAW、JPEG、TIFF等の任意のフォーマットとしうる。従って、カメラ本体コントローラ28は、いわゆるExif(Exchangeable Image File Format)のように、ヘッダ情報(撮影情報(撮影日時、機種、画素数、絞り値等)等)、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて1つの画像ファイルとして構成し、この画像ファイルをコンピュータ60に送信してもよい。
コンピュータ60は、カメラ本体14の入出力インターフェース32及びコンピュータ入出力部62を介してデジタルカメラ10に接続され、カメラ本体14から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ64は、コンピュータ60を統括的に制御し、デジタルカメラ10からの画像データを画像処理し、インターネット70等のネットワーク回線を介してコンピュータ入出力部62に接続されるサーバ80等との通信を制御する。コンピュータ60はディスプレイ66を有し、コンピュータコントローラ64における処理内容等が必要に応じてディスプレイ66に表示される。ユーザは、ディスプレイ66の表示を確認しながらキーボード等の入力手段(図示省略)を操作することで、コンピュータコントローラ64に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ60や、コンピュータ60に接続される機器類(デジタルカメラ10、サーバ80)を制御することができる。
サーバ80は、サーバ入出力部82及びサーバコントローラ84を有する。サーバ入出力部82は、コンピュータ60等の外部機器類との送受信接続部を構成し、インターネット70等のネットワーク回線を介してコンピュータ60のコンピュータ入出力部62に接続される。サーバコントローラ84は、コンピュータ60からの制御指示信号に応じ、コンピュータコントローラ64と協働し、コンピュータコントローラ64との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ60にダウンロードし、演算処理を行ってその演算結果をコンピュータ60に送信する。
各コントローラ(レンズユニットコントローラ20、カメラ本体コントローラ28、コンピュータコントローラ64、サーバコントローラ84)は、制御処理に必要な回路類を有し、例えば演算処理回路(CPU等)やメモリ等を具備する。また、デジタルカメラ10、コンピュータ60及びサーバ80間の通信は有線であってもよいし無線であってもよい。また、コンピュータ60及びサーバ80を一体的に構成してもよく、またコンピュータ60及び/又はサーバ80が省略されてもよい。また、デジタルカメラ10にサーバ80との通信機能を持たせ、デジタルカメラ10とサーバ80との間で直接的にデータ類の送受信が行われるようにしてもよい。
[第1の実施形態]
図3は画像処理部35の機能構成例を示した機能ブロック図である。
図3は画像処理部35の機能構成例を示した機能ブロック図である。
上述したカメラ本体コントローラ28に備えられる画像処理部35は、上述した機能の他に、画像取得部40、第2の画像生成部41、解像度強調処理部42、及び第3の画像生成部43を備えている。
画像取得部40は、光学系を用いた被写体像の撮影により撮像素子26から取得される撮影画像(第1の画像)を取得する。ここで撮影画像とは、被写体像の撮影により撮像素子26から出力された画像データに基づくものであり、後述する第2の画像生成部41で行われるパノラマ展開を行うことが可能であれば特に限定されるものではない。例えば画像取得部40は、撮影画像としてセンサ補正処理、デモザイク処理、画素補間処理、色補正処理、RGB画像処理、及びRGB/YCrCb変換処理が完了した画像データを取得する。以下では、YCrCb変換された画像のY(輝度値)に対して解像度復元処理を行う場合に説明する。また画像取得部40はカラー画像又はモノクロ(白黒)画像を取得することができ、本発明はカラー画像及びモノクロ(白黒)画像に対して効果を奏する。
図4は、被写体像(被写体)50をデジタルカメラ10により撮影し、画像取得部40により取得された撮影画像51を模式的に示す。なおデジタルカメラ10は、レンズユニット12及びレンズ16を図示しその他の部分は省略されている。また、レンズ16として魚眼レンズが使用されている場合を示している。被写体像50はレンズ16(魚眼レンズ)を介して撮影されるので、撮影画像51には、レンズ16の特性(歪曲収差)に起因して歪みが生じる。また、撮影画像51においては、レンズ16のサジタル方向とタンジェンシャル方向で解像度が異なる。画像取得部40は、取得した撮影画像51を第2の画像生成部41に送信する。ここで解像度とは、画像のボケの程度を示す指標であり様々なものが使用される。画像のボケの程度を表すのに例えばレンズ16の変調伝達関数(MTF:Modulation Transfer Function)を使用してもよい。なお図4における「FUJIFILM Value from Innovation」は登録商標である。
第2の画像生成部41は、画像取得部40で取得された撮影画像51を極座標変換することによりパノラマ展開されたパノラマ展開画像52(第2の画像)を生成する。
図5は、撮影画像51から生成されたパノラマ展開画像52が模式的に示されている。ここでパノラマ展開とは、撮影画像51を極座標変換により展開し、パノラマ展開画像52を生成することである。具体的には図5に示すように、撮影画像51の中心を基準とした同心円(撮影画像51では点線で記載されている)が、略直線になるような座標変換が行われた画像がパノラマ展開画像52である。なお、ここで略直線としたのは、製造誤差等によって歪曲収差が非対称に発生することがあり、完全な直線になるようなパノラマ展開が行われない場合もあるためである。パノラマ展開画像52の縦方向(図中のy方向)がレンズ16のタンジェンシャル方向に対応し、パノラマ展開画像52の横方向(図中のx方向)がレンズ16のサジタル方向に対応するように、撮影画像51における被写体情報がパノラマ展開画像52においても担持されている。なお、図5中の撮影画像51及びパノラマ展開画像52には、レンズ16のタンジェンシャル方向を矢印Tで、レンズ16のサジタル方向を矢印Sで示している。
解像度強調処理部42は、パノラマ展開画像52(第2の画像)に対して、パノラマ展開画像52の水平方向と垂直方向とで非対称な解像度強調処理を行う。具体的に解像度強調処理部42は、パノラマ展開画像52の図5中に示したx方向及びy方向に対して異なる解像度強調処理を行う。例えば解像度強調処理部42は、y方向に対して解像度強調処理を強くし、x方向に対して解像度強調処理を弱くすることができる。これにより、パノラマ展開画像52のy方向での解像度の低下を効率よく抑制することができる。
解像度強調処理部42は、レンズ16のタンジェンシャル方向及びサジタル方向と、パノラマ展開画像52の垂直方向と水平方向とが揃っている画像に対して、解像度強調処理を行うので、解像度強調処理の演算負荷を軽減することができる。すなわち解像度強調処理部42は、レンズ16のサジタル方向及びタンジェンシャル方向と、撮影画像の水平方向及び垂直方向との位置関係が撮影画像51の位置に応じて変わるような画像(撮影画像51)に対して解像度強調処理を行う場合は撮影画像51の位置に応じて解像度強調フィルタの形を変える必要が生じる。そのため、パノラマ展開画像52に解像度強調処理を場合では、演算負荷を抑制することができる。また、このような演算負荷の軽減は、動画での画像処理において特に効果的である。
なお、図5で示したような、パノラマ展開画像52の垂直方向(図5中のy方向)とレンズ16のタンジェンシャル方向が対応し、パノラマ展開画像52の水平方向(図5中のx方向)とレンズ16のサジタル方向が対応するパノラマ展開画像52は一例である。例えばパノラマ展開画像52において、パノラマ展開画像52の垂直方向(図5中のy方向)とレンズ16のサジタル方向とを対応させ、パノラマ展開画像52の水平方向(図5中のx方向)とレンズ16のタンジェンシャル方向を対応させてもよい。
次に解像度強調処理部42で行われる解像度強調処理について説明する。解像度強調処理部42で行われる解像度強調処理は、パノラマ展開画像52の解像度を強調する(ボケを抑制する)処理であれば特に限定されない。例えば解像度強調処理部42は、光学系の点拡がり関数に基づいて設計された回復フィルタを使用して、パノラマ展開画像52の輝度値に対して回復処理を行う。また例えば解像度強調処理部42は、パノラマ展開画像52の輝度値に対して輪郭強調フィルタを使用して輪郭強調処理を行う。なお、解像度強調処理部42は、デモザイク処理前のRGB画像に対しても解像度強調処理を行うことができる。その場合には、パノラマ展開されたRGB画像に対して解像度強調処理が行われる。
解像度強調処理部42が行う回復処理に関して説明する。
図6は、画像撮影から点像復元処理(回復処理)までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系(レンズ16、絞り17等)を介して撮像素子26(イメージセンサ)により受光され、撮像素子26から原画像データDoが出力される。この原画像データDoは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。
ボケ画像の原画像データDoから本来の被写体像(点像)を復元するため、原画像データDoに対して回復フィルタFを用いた点像復元処理P10を行うことで、本来の被写体像(点像)により近い像(回復画像)を表す回復画像データDrが得られる。
点像復元処理P10で用いられる回復フィルタFは、原画像データDo取得時の撮影条件に応じた光学系の点像情報(点拡がり関数)から、所定の回復フィルタ算出アルゴリズムP20によって得られる。光学系の点像情報(点拡がり関数)は、レンズ16の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、回復フィルタFを算出する際にはこれらの撮影条件が取得される。
図7は、点像復元処理の一例を示すブロック図である。
点像復元処理P10は、上述のように回復フィルタFを用いたフィルタリング処理によって原画像データDoから回復画像データDrを作成する処理であり、例えばN×M(N及びMは2以上の整数)のタップによって構成される実空間上の回復フィルタFが処理対象の画像(画像データ)に適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ(原画像データDoの処理対象画素データ及び隣接画素データ)とを加重平均演算(デコンボリューション演算)することで、点像復元処理後の画素データ(回復画像データDr)を算出することができる。この回復フィルタFを用いた加重平均処理を、対象画素を順番に代えながら、画像(画像データ)を構成する全画素データに適用することで、点像復元処理を行うことができる。
N×Mのタップによって構成される実空間上の回復フィルタは、周波数空間上の回復フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の回復フィルタは、基礎となる周波数空間上の回復フィルタを特定し、実空間上の回復フィルタの構成タップ数を指定することによって、適宜算出可能である。
図8は回復フィルタの例を示す図である。図8(A)は公知の回復フィルタEが示されており、図8(B)は本発明で使用される垂直方向と水平方向とで非対称な処理が行われる回復フィルタFが示されている。
図8(A)は、7×7のカーネルサイズの回復フィルタEの一例を示す図である。回復フィルタEはカーネル中心に対して回転対称となるように設計されている。回転対称の回復フィルタEは、メモリに記憶させるデータを削減することができる。例えば、図4に示した7×7のカーネルの場合、4×4の回復フィルタEを記憶させることで、その対称性を利用して7×7の回復フィルタEとすることができる。
図8(B)は、5×5のカーネルサイズの回復フィルタFの一例を示す図である。回復フィルタFはパノラマ展開画像52の水平方向と垂直方向とで非対称な回復処理が行われる回復フィルタである。
また本態様の回復フィルタFは、パノラマ展開画像52に応じた回復フィルタである。
すなわち、パノラマ展開画像52はパノラマ展開画像52の垂直方向及び水平方向とレンズ16のサジタル方向とタンジェンシャル方向とが揃っていることが反映されたフィルタ設計が行われる。
解像度強調処理が行われるパノラマ展開画像52では、パノラマ展開画像52の垂直方向とレンズ16のタンジェンシャル方向、パノラマ展開画像52の水平方向とレンズ16のタンジェンシャル方向が揃っているので、回復フィルタFのように設計されたフィルタを使用することにより、レンズ16のタンジェンシャル方向及びサジタル方向に対して演算負荷が抑制された効率的な回復処理を実現することができる。
次に、解像度強調処理部42が行う輪郭強調処理に関して説明する。
解像度強調処理部42が行う輪郭強調においても、上述した回復処理と同様に輪郭強調フィルタGの各タップに割り当てられるフィルタ係数と画素データとを加重平均演算(デコンボリューション演算)することで、輪郭強調処理後の画素データを算出することができる。
この輪郭強調フィルタを用いた加重平均処理を、対象画素を順番に代えながら、画像データを構成する全画素データに適用することで、輪郭強調処理を行うことができる。
ここで輪郭強調処理は、エッジ強調処理又はシャープネス強調処理と呼ばれる処理も含む概念である。なお、輪郭強調フィルタは公知の方法により作成される。
図3に戻って第3の画像生成部43は、パノラマ展開画像52に対して逆パノラマ展開を行い、逆パノラマ展開画像(第3の画像)を生成する。すなわち第3の画像生成部43は、パノラマ展開画像52に対して、第2の画像生成部41で行われたパノラマ展開の逆処理(逆パノラマ展開)を行って、逆パノラマ展開画像を生成する。逆パノラマ展開画像は、撮影画像51と同様の構図を有し且つ解像度強調処理が行われた画像である。なお、第3の画像生成部43は任意に設置することができる。例えば、パノラマ展開画像52が出力されれば良い用途には、第3の画像生成部43を設けなくてもよい。
図9は、画像処理部35の動作を示したフロー図である。
先ず、画像処理部35の画像取得部40は、光学系を用いた被写体像50の撮影により撮像素子26から取得される撮影画像51(第1の画像)を取得する(画像取得ステップ:ステップS10)。次に第2の画像生成部41は、取得した第1の画像に対して極座標変換することによりパノラマ展開を行い、パノラマ展開画像52(第2の画像)を生成する(第2の画像生成ステップ:ステップS11)。その後解像度強調処理部42は、パノラマ展開画像52に対して解像度強調処理を行う(解像度強調ステップ:ステップS12)。次に第3の画像生成部43は、解像度強調処理が行われたパノラマ展開画像52に対して、逆パノラマ展開を行い逆パノラマ展開画像(第3の画像)を生成する(ステップS13)。
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータ60に実行させるプログラム、そのようなプログラムを記録したコンピュータ60に読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータ60に対しても本発明を適用することが可能である。
以上で説明したように、本実施形態は、撮影画像51をパノラマ展開することにより取得される、光学系のサジタル方向及びタンジェンシャル方向と画像の水平方向及び垂直方向とが揃ったパノラマ展開画像52に対して、パノラマ展開画像52の水平方向と垂直方向とで非対称な解像度強調処理が行われるので、パノラマ展開画像52の水平方向と垂直方向とで非対称な解像度強調処理の演算処理の負荷を抑制することができる。
[第2の実施形態]
次に本発明の第2の実施形態に関して説明する。本実施形態では、ディストーション補正が行われたパノラマ展開画像52に対して解像度強調処理が行われる。
次に本発明の第2の実施形態に関して説明する。本実施形態では、ディストーション補正が行われたパノラマ展開画像52に対して解像度強調処理が行われる。
図10は、本実施形態での画像処理部35の機能構成例を示すブロック図である。本実施形態の画像処理部35は、画像取得部40、第2の画像生成部41、ディストーション補正部44、解像度強調処理部42、及び第3の画像生成部43で構成される。なお、図3で既に説明を行った箇所は同じ符号を付し説明は省略する。
本実施形態の画像処理部35は、図3に示した画像処理部35と比較すると、第2の画像生成部41と解像度強調処理部42との間にディストーション補正部44が設けられている。
ディストーション補正部44は、第2の画像生成部41により生成されたパノラマ展開画像52に対してディストーション補正を行う。図11は、パノラマ展開画像52及びディストーション補正が行われたパノラマ展開画像53を模式的に示している。
ここでディストーション補正とは、歪曲収差によって発生する歪みを補正する座標変換処理である。具体的には図11に示すようにパノラマ展開画像52における点線の間隔Dは均一ではないが、ディストーション補正により点線の間隔Dが均一になるように補正を行う。なお歪曲収差とは被写体の直線部分が撮影画像51において曲がって写されることをいい、魚眼レンズや広角レンズ等を使用した場合に、大きく発生する場合がある。
魚眼レンズ又は広角レンズで撮影された画像のようにレンズの周辺部に主要被写体像が写されている場合には、このようにディストーション補正を行うことにより、パノラマ展開画像52では歪んでいる主要被写体の画像を引き延ばすことができる。
解像度強調処理部42は、ディストーション補正が行われたパノラマ展開画像53に対して、ディストーション補正が行われたパノラマ展開画像53の水平方向と垂直方向とで非対称な解像度強調処理を行う。解像度強調処理部42が行う解像度強調処理は、上述した処理と同様である。
解像度強調処理部42がディストーション補正が行われたパノラマ展開画像52に対して、解像度強調処理を行うことにより、重要被写体が写っている場合が多いレンズ周辺部の画像が引き延ばされた状態で解像度強調処理が行われるので、より画質の良い画像を取得することができる。
[変形例]
次に、解像度強調処理部42の変形例に関して説明する。本例の解像度強調処理部42は、第2の画像の垂直方向の位置に応じて解像度強調処理の強度を変えたり、第2の画像の一部の領域に対してのみ解像度強調処理を行う。
次に、解像度強調処理部42の変形例に関して説明する。本例の解像度強調処理部42は、第2の画像の垂直方向の位置に応じて解像度強調処理の強度を変えたり、第2の画像の一部の領域に対してのみ解像度強調処理を行う。
図12は、パノラマ展開画像52を模式的に示した図である。本例の解像度強調処理部42は、例えばパノラマ展開画像52の垂直方向の領域に応じて異なるフィルタを使用して解像度強調処理のゲインを変えることにより、解像度強調処理の強度を調節している。
例えば図12に示すように、解像度強調処理部42は、パノラマ展開画像52の垂直方向の位置に応じて、フィルタA、フィルタB、及びフィルタCにより解像度強調処理を行う。フィルタA、フィルタB、及びフィルタCのゲインの大きさは、フィルタC>フィルタB>フィルタAである。ここで、パノラマ展開画像52の垂直方向とは図12中のy軸と平行な方向である。このようにパノラマ展開画像52の垂直方向上側よりフィルタA、フィルタB、及びフィルタCを使用して解像度強調処理を行うことにより、パノラマ展開画像52の垂直方向の位置に応じて解像度強調処理の強度が弱められる。
次に、解像度強調処理のゲインに関して説明する。周波数毎に同じゲインを掛ける場合には以下の(式1)が成り立つ。
出力値=a×入力値…(式1)
a:ゲイン
解像度強調処理部42で行われる回復処理や輪郭強調処理等のように周波数毎に異なるゲインを掛ける場合も(式1)と同じように考えることが可能であり、周波数毎にゲインを変える場合には、以下の(式2)が成り立つ。
a:ゲイン
解像度強調処理部42で行われる回復処理や輪郭強調処理等のように周波数毎に異なるゲインを掛ける場合も(式1)と同じように考えることが可能であり、周波数毎にゲインを変える場合には、以下の(式2)が成り立つ。
出力画像=入力画像*フィルタ…(式2)
なお*はコンボリューション処理を示す。
なお*はコンボリューション処理を示す。
そしてフィルタをフーリエ変換したものをゲインと呼ぶことができる。
図13は、フィルタのゲインに関して説明する図である。図13(A)には図8(A)で示した回復フィルタEが示されており、図13(B)には回復フィルタEをフーリエ変換した結果が示されている。このように実空間上のフィルタをフーリエ変換することにより周波数空間上のゲインを取得することができる。
また、上述したようにフィルタを変えることによって、解像度強調処理のゲインを変える手法以外に以下の手法を使用してゲインコントロールを行うこともできる。
先ず解像度強調処理部42は、パノラマ展開画像52(入力画像)(パノラマ展開画像ImgAという)に対して回復フィルタFで回復処理を行い、回復処理が行われたパノラマ展開画像(パノラマ展開画像ImgBという)を生成する。その後解像度強調処理部42は、パノラマ展開画像ImgBに対して倍率(1-U)を乗算し、パノラマ展開画像ImgCを生成する。そして解像度強調処理部42は、パノラマ展開画像ImgAとパノラマ展開画像ImgCを加算することにより、パノラマ展開画像ImgDを得る。このパノラマ展開画像ImgDは、ゲイン倍率Uの解像度強調処理が行われたパノラマ展開画像52である。
図14は、パノラマ展開画像52を模式的に示した図である。本例の解像度強調処理部42は、第2の画像の一部の領域に対してのみ解像度強調処理を行うこともできる。魚眼レンズ又は広角レンズで撮影された画像のようにレンズの周辺部に主要被写体像(注目被写体像)が写されている場合には、パノラマ展開画像52の垂直方向下側(図14のy方向下側)において主要被写体の画像が存在する。このような場合には、解像度強調処理部42は、主要被写体にのみ解像度強調処理を行い、その他の部分には解像度処理を行わない。これにより、解像度強調処理部42は、効率的に解像度処理を行うことができる。なお、レンズの周辺部に主要被写体像が写されている場合として、内視鏡での撮影画像や監視カメラでの撮影画像があげられる。
<EDoFシステムへの適用例>
上述の実施形態における復元処理は、特定の撮影条件(例えば、絞り値、F値、焦点距離、レンズ種類、など)に応じて点拡がり(点像ボケ)を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界(焦点)深度(EDoF:Extended Depth of Field(Focus))を有する光学系(撮影レンズ等)によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。EDoF光学系によって被写界深度(焦点深度)が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、EDoF光学系の点拡がり関数に基づく復元フィルタ(回復フィルタ)であって、拡大された被写界深度(焦点深度)の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理(回復処理)が行われる。
上述の実施形態における復元処理は、特定の撮影条件(例えば、絞り値、F値、焦点距離、レンズ種類、など)に応じて点拡がり(点像ボケ)を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界(焦点)深度(EDoF:Extended Depth of Field(Focus))を有する光学系(撮影レンズ等)によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。EDoF光学系によって被写界深度(焦点深度)が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、EDoF光学系の点拡がり関数に基づく復元フィルタ(回復フィルタ)であって、拡大された被写界深度(焦点深度)の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理(回復処理)が行われる。
以下に、EDoF光学系を介して撮影取得された画像データの復元に関するシステム(EDoFシステム)の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ(RGBデータ)から得られる輝度信号(Yデータ)に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ(モザイク画像データ)」や「デモザイク処理後であって輝度信号変換処理前の画像データ(デモザイク画像データ)」に対して復元処理が行われてもよい。
図15は、EDoF光学系を備える撮像モジュール101の一形態を示すブロック図である。本例の撮像モジュール(デジタルカメラ等)101は、EDoF光学系(レンズユニット)110と、撮像素子112と、AD(Analog-Digital)変換部114と、復元処理ブロック(画像処理部)120とを含む。
図16は、EDoF光学系110の一例を示す図である。本例のEDoF光学系110は、単焦点の固定された撮影レンズ110Aと、瞳位置に配置される光学フィルタ111とを有する。光学フィルタ111は、位相を変調させるもので、拡大された被写界深度(焦点深度)(EDoF)が得られるようにEDoF光学系110(撮影レンズ110A)をEDoF化する。このように、撮影レンズ110A及び光学フィルタ111は、位相を変調して被写界深度を拡大させるレンズ部を構成する。
なお、EDoF光学系110は必要に応じて他の構成要素を含み、例えば光学フィルタ111の近傍には絞り(図示省略)が配設されている。また、光学フィルタ111は、1枚でもよいし、複数枚を組合せたものでもよい。また、光学フィルタ111は、光学的位相変調手段の一例に過ぎず、EDoF光学系110(撮影レンズ110A)のEDoF化は他の手段によって実現されてもよい。例えば、光学フィルタ111を設ける代わりに、本例の光学フィルタ111と同等の機能を有するようにレンズ設計された撮影レンズ110AによってEDoF光学系110のEDoF化を実現してもよい。
すなわち、撮像素子112の受光面への結像の波面を変化させる各種の手段によって、EDoF光学系110のEDoF化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子(屈折率分布型波面変調レンズ等)」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子(波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等)」、「光の位相分布を変調可能な液晶素子(液晶空間位相変調素子等)」を、EDoF光学系110のEDoF化手段として採用しうる。このように、光波面変調素子(光学フィルタ111(位相板))によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ110A自体によって形成可能なケースに対しても、本発明は応用可能である。
図15及び図16に示すEDoF光学系110は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。
EDoF化されたEDoF光学系110を通過後の光学像は、図15に示す撮像素子112に結像され、ここで電気信号に変換される。
撮像素子112は、所定のパターン配列(ベイヤー配列、GストライプR/G完全市松(チェッカフラッグ)、ハニカム配列、等)でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ(本例ではRGBカラーフィルタ)及びフォトダイオードを含む。EDoF光学系110を介して撮像素子112の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたR・G・Bの信号電荷は、画素毎の電圧信号(画像信号)として順次出力される。
AD変換部114は、撮像素子112から画素毎に出力されるアナログのR・G・B画像信号をデジタルのRGB画像信号に変換する。AD変換部114によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック120に加えられる。
復元処理ブロック120は、例えば、黒レベル調整部122と、ホワイトバランスゲイン部123と、ガンマ処理部124と、デモザイク処理部125と、RGB/YCrCb変換部126と、Y信号復元処理部127とを含む。
黒レベル調整部122は、AD変換部114から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のOB光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から平均を減算することで、黒レベル調整が行われる。
ホワイトバランスゲイン部123は、黒レベルデータが調整されたデジタル画像信号に含まれるRGB各色信号のホワイトバランスゲインに応じたゲイン調整を行う。
ガンマ処理部124は、ホワイトバランス調整されたR、G、B画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。
デモザイク処理部125は、ガンマ補正後のR、G、B画像信号にデモザイク処理を施す。具体的には、デモザイク処理部125は、R、G、Bの画像信号に色補間処理を施すことにより、撮像素子112の各受光画素から出力される一組の画像信号(R信号、G信号、B信号)を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はR、G、Bの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するR、G、B信号の3つの画素信号の組が出力される。
RGB/YCrCb変換部126は、デモザイク処理された画素毎のR、G、B信号を、輝度信号Yと色差信号Cr、Cbに変換し、画素毎の輝度信号Y及び色差信号Cr、Cbを出力する。
Y信号復元処理部127は、予め記憶された復元フィルタに基づいて、RGB/YCrCb変換部126からの輝度信号Yに復元処理を行う。復元フィルタは、例えば、7×7のカーネルサイズを有するデコンボリューションカーネル(M=7、N=7のタップ数に対応)と、そのデコンボリューションカーネルに対応する演算係数(復元ゲインデータ、フィルタ係数に対応)とからなり、光学フィルタ111の位相変調分のデコンボリューション処理(逆畳み込み演算処理)に使用される。なお、復元フィルタは、光学フィルタ111に対応するものが図示しないメモリ(例えばY信号復元処理部127が付随的に設けられるメモリ)に記憶される。また、デコンボリューションカーネルのカーネルサイズは、7×7のものに限らない。
次に、復元処理ブロック120による復元処理について説明する。図17は、図15に示す復元処理ブロック120による復元処理フローの一例を示す図である。
黒レベル調整部122の一方の入力には、AD変換部114からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部122は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部123に出力する(S31)。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は0になる。
黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部123、ガンマ処理部124による処理が施される(S32及びS33)。
ガンマ補正されたR、G、B信号は、デモザイク処理部125でデモザイク処理された後に、RGB/YCrCb変換部126において輝度信号Yと色差信号Cr、Cbに変換される(S34)。
Y信号復元処理部127は、輝度信号Yに、EDoF光学系110の光学フィルタ111の位相変調分のデコンボリューション処理を掛ける復元処理を行う(S35)。すなわち、Y信号復元処理部127は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号(ここでは7×7画素の輝度信号)と、予めメモリなどに記憶されている復元フィルタ(7×7のデコンボリューションカーネルとその演算係数)とのデコンボリューション処理(逆畳み込み演算処理)を行う。Y信号復元処理部127は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。
図18の符号1311に示すように、EDoF光学系110を通過後の輝度信号の点像(光学像)は、大きな点像(ボケた画像)として撮像素子112に結像されるが、Y信号復元処理部127でのデコンボリューション処理により、図18の符号1312に示すように小さな点像(高解像度の画像)に復元される。
上述のようにデモザイク処理後の輝度信号に復元処理をかけることで、復元処理のパラメータをRGB別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるR・G・Bの画素に対応するR・G・Bの画像信号をそれぞれ1単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号CrCbについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、JPEGのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。
また、本発明を適用可能な態様はデジタルカメラ10、コンピュータ60及びサーバ80には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能(通話機能、通信機能、その他のコンピュータ機能)を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
<スマートフォンの構成>
図19は、本発明の撮影装置の一実施形態であるスマートフォン201の外観を示すものである。図19に示すスマートフォン201は、平板状の筐体202を有し、筐体202の一方の面に表示部としての表示パネル221と、入力部としての操作パネル222とが一体となった表示入力部220を備えている。また、係る筐体202は、スピーカ231と、マイクロホン232、操作部240と、カメラ部241とを備えている。なお、筐体202の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図19は、本発明の撮影装置の一実施形態であるスマートフォン201の外観を示すものである。図19に示すスマートフォン201は、平板状の筐体202を有し、筐体202の一方の面に表示部としての表示パネル221と、入力部としての操作パネル222とが一体となった表示入力部220を備えている。また、係る筐体202は、スピーカ231と、マイクロホン232、操作部240と、カメラ部241とを備えている。なお、筐体202の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図20は、図19に示すスマートフォン201の構成を示すブロック図である。図20に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部220と、通話部230と、操作部240と、カメラ部241と、記憶部250と、外部入出力部260と、GPS(Global Positioning System)受信部270と、モーションセンサ部280と、電源部290と、主制御部200とを備える。また、スマートフォン201の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部200の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部220は、主制御部200の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル221と、操作パネル222とを備える。
表示パネル221は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル222は、表示パネル221の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部200に出力する。次いで、主制御部200は、受信した検出信号に基づいて、表示パネル221上の操作位置(座標)を検出する。
図19に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン201の表示パネル221と操作パネル222とは一体となって表示入力部220を構成しているが、操作パネル222が表示パネル221を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル222は、表示パネル221外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル222は、表示パネル221に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル221に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル221の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル222が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体202の大きさなどに応じて適宜設計されるものである。また、操作パネル222で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部230は、スピーカ231やマイクロホン232を備え、マイクロホン232を通じて入力されたユーザの音声を主制御部200にて処理可能な音声データに変換して主制御部200に出力したり、無線通信部210あるいは外部入出力部260により受信された音声データを復号してスピーカ231から出力するものである。また、図19に示すように、例えば、スピーカ231を表示入力部220が設けられた面と同じ面に搭載し、マイクロホン232を筐体202の側面に搭載することができる。
操作部240は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図19に示すように、操作部240は、スマートフォン201の筐体202の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部250は、主制御部200の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部250は、スマートフォン内蔵の内部記憶部251と着脱自在な外部メモリスロットを有する外部記憶部252により構成される。なお、記憶部250を構成するそれぞれの内部記憶部251と外部記憶部252は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部260は、スマートフォン201に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、Universal Serial Bus(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン201に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン201の内部の各構成要素に伝達することや、スマートフォン201の内部のデータを外部機器に伝送することが可能である。
GPS受信部270は、主制御部200の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン201の緯度、経度、高度からなる位置を検出する。GPS受信部270は、無線通信部210や外部入出力部260(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部280は、例えば、3軸の加速度センサなどを備え、主制御部200の指示にしたがって、スマートフォン201の物理的な動きを検出する。スマートフォン201の物理的な動きを検出することにより、スマートフォン201の動く方向や加速度が検出される。係る検出結果は、主制御部200に出力されるものである。
電源部290は、主制御部200の指示にしたがって、スマートフォン201の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部200は、マイクロプロセッサを備え、記憶部250が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン201の各部を統括して制御するものである。また、主制御部200は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部250が記憶するアプリケーションソフトウェアにしたがって主制御部200が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部260を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部200は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部220に表示する等の画像処理機能を備える。画像処理機能とは、主制御部200が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部220に表示する機能のことをいう。
さらに、主制御部200は、表示パネル221に対する表示制御と、操作部240、操作パネル222を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部200は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル221の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部200は、操作部240を通じたユーザ操作を検出したり、操作パネル222を通じて、上記アイコンに対する操作や、上記ソフトウェアキーの入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
さらに、操作検出制御の実行により主制御部200は、操作パネル222に対する操作位置が、表示パネル221に重なる重畳部分(表示領域)か、それ以外の表示パネル221に重ならない外縁部分(非表示領域)かを判定し、操作パネル222の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部200は、操作パネル222に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部241は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部241は、主制御部200の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部250に記録したり、外部入出力部260や無線通信部210を通じて出力することができる。図19に示すにスマートフォン201において、カメラ部241は表示入力部220と同じ面に搭載されているが、カメラ部241の搭載位置はこれに限らず、表示入力部220の背面に搭載されてもよいし、或いは、複数のカメラ部241が搭載されてもよい。なお、複数のカメラ部241が搭載されている場合、撮影に供するカメラ部241を切り替えて単独にて撮影したり、或いは、複数のカメラ部241を同時に使用して撮影することもできる。
また、カメラ部241はスマートフォン201の各種機能に利用することができる。例えば、表示パネル221にカメラ部241で取得した画像を表示することや、操作パネル222の操作入力のひとつとして、カメラ部241の画像を利用することができる。また、GPS受信部270が位置を検出する際に、カメラ部241からの画像を参照して位置を検出することもできる。さらには、カメラ部241からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン201のカメラ部241の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部241からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部270により取得した位置情報、マイクロホン232により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部280により取得した姿勢情報等などを付加して記憶部250に記録したり、外部入出力部260や無線通信部210を通じて出力することもできる。
なお、上述した図3で説明を行った画像処理部35での各機能は、例えば主制御部200で実現される。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10…デジタルカメラ、12…レンズユニット、14…カメラ本体、16…レンズ、17…絞り、26…撮像素子、28…カメラ本体コントローラ、34…デバイス制御部、35…画像処理部、40…画像取得部、41…第2の画像生成部、42…解像度強調処理部、43…第3の画像生成部、44…ディストーション補正部
Claims (11)
- 光学系を用いた被写体像の撮影により撮像素子から取得される第1の画像を取得する画像取得部と、
前記画像取得部で取得された第1の画像を極座標変換することによりパノラマ展開された第2の画像を生成する第2の画像生成部と、
前記第2の画像に対して、前記第2の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理部と、
を備える画像処理装置。 - 前記解像度強調処理部が行う前記解像度強調処理は、前記光学系の点拡がり関数に基づき且つ前記第2の画像に応じた回復フィルタを用いた回復処理である請求項1に記載の画像処理装置。
- 前記解像度強調処理部が行う前記解像度強調処理は、輪郭強調フィルタを用いた輪郭強調処理である請求項1に記載の画像処理装置。
- 前記光学系を構成するレンズは魚眼レンズである請求項1から3のいずれか1項に記載の画像処理装置。
- 前記第2の画像に対して、ディストーション補正を行うディストーション補正部と、を備え、
前記解像度強調処理部は、前記ディストーション補正が行われた前記第2の画像に対して、前記第2の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う請求項4に記載の画像処理装置。 - 前記解像度強調処理部は、前記第2の画像の一部の領域に対してのみ前記解像度強調処理を行う請求項1から5のいずれか1項に記載の画像処理装置。
- 前記解像度強調処理部は、前記第2の画像の垂直方向の位置に応じて前記解像度強調処理の強度を変える請求項1から5のいずれか1項に記載の画像処理装置。
- 前記解像度強調処理部は、前記第2の画像の垂直方向の位置に応じて前記解像度強調処理の強度を弱める請求項7に記載の画像処理装置。
- 前記第2の画像に対して、前記第2の画像生成部が行った前記パノラマ展開の逆処理である逆パノラマ展開を行い、第3の画像を生成する第3の画像生成部と、を備える請求項1から8のいずれか1項に記載の画像処理装置。
- 光学系を用いた被写体像の撮影により撮像素子から取得される第1の画像を取得する画像取得ステップと、
前記画像取得ステップで取得された第1の画像を極座標変換することによりパノラマ展開された第2の画像を生成する第2の画像生成ステップと、
前記第2の画像に対して、前記第2の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理ステップと、
を含む画像処理方法。 - 光学系を用いた被写体像の撮影により撮像素子から取得される第1の画像を取得する画像取得ステップと、
前記画像取得ステップで取得された第1の画像を極座標変換することによりパノラマ展開された第2の画像を生成する第2の画像生成ステップと、
前記第2の画像に対して、前記第2の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理ステップと、
をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201680056429.XA CN108141530B (zh) | 2015-09-29 | 2016-08-23 | 图像处理装置、图像处理方法及介质 |
JP2017543015A JP6342083B2 (ja) | 2015-09-29 | 2016-08-23 | 画像処理装置、画像処理方法、及びプログラム |
US15/920,755 US10559068B2 (en) | 2015-09-29 | 2018-03-14 | Image processing device, image processing method, and program processing image which is developed as a panorama |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015191075 | 2015-09-29 | ||
JP2015-191075 | 2015-09-29 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/920,755 Continuation US10559068B2 (en) | 2015-09-29 | 2018-03-14 | Image processing device, image processing method, and program processing image which is developed as a panorama |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017056787A1 true WO2017056787A1 (ja) | 2017-04-06 |
Family
ID=58423174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/074458 WO2017056787A1 (ja) | 2015-09-29 | 2016-08-23 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10559068B2 (ja) |
JP (1) | JP6342083B2 (ja) |
CN (1) | CN108141530B (ja) |
WO (1) | WO2017056787A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10198862B2 (en) * | 2017-01-23 | 2019-02-05 | Gopro, Inc. | Methods and apparatus for providing rotated spherical viewpoints |
TWI725836B (zh) * | 2019-05-13 | 2021-04-21 | 香港商立景創新有限公司 | 影像擷取組件以及可攜式電子裝置 |
KR20220063575A (ko) * | 2020-11-10 | 2022-05-17 | 삼성전자주식회사 | 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법 |
CN116091307B (zh) * | 2023-04-06 | 2023-06-20 | 湖北易康思科技有限公司 | 鱼眼图像的矫正模型的微调方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003108998A (ja) * | 2001-09-28 | 2003-04-11 | Olympus Optical Co Ltd | 画像処理方法 |
JP2004328506A (ja) * | 2003-04-25 | 2004-11-18 | Sony Corp | 撮像装置および画像復元方法 |
JP2011044825A (ja) * | 2009-08-19 | 2011-03-03 | Canon Inc | 画像処理装置、画像処理方法、及びコンピュータプログラム |
WO2011121763A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
JP2015103971A (ja) * | 2013-11-25 | 2015-06-04 | 株式会社東芝 | 固体撮像装置及びデジタルカメラ |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0991442A (ja) * | 1995-09-27 | 1997-04-04 | Sanyo Electric Co Ltd | 部品コーナ位置検出方法および部品画像抽出方法 |
US7567274B2 (en) * | 2002-12-09 | 2009-07-28 | Frank Edughom Ekpar | Method and apparatus for creating interactive virtual tours |
US8577184B2 (en) * | 2005-01-19 | 2013-11-05 | The United States Of America As Represented By The Secretary Of The Army | System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images |
US8666196B2 (en) * | 2005-01-19 | 2014-03-04 | The United States Of America As Represented By The Secretary Of The Army | System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images |
JP2008209134A (ja) * | 2007-02-23 | 2008-09-11 | Sharp Corp | 欠陥の検出装置、検出方法およびコンピュータを当該検出装置として機能させるためのプログラム |
US9131128B2 (en) * | 2011-09-28 | 2015-09-08 | The United States Of America As Represented By The Secretary Of The Army | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles |
US8436909B2 (en) * | 2008-10-21 | 2013-05-07 | Stmicroelectronics S.R.L. | Compound camera sensor and related method of processing digital images |
JP5424835B2 (ja) | 2009-11-30 | 2014-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
WO2011122284A1 (ja) | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
JP5138734B2 (ja) * | 2010-06-15 | 2013-02-06 | シャープ株式会社 | 撮像レンズ、および撮像モジュール |
WO2011158507A1 (ja) * | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
JP5645556B2 (ja) * | 2010-09-02 | 2014-12-24 | 三菱電機株式会社 | 画像処理方法および画像処理装置 |
US9007432B2 (en) * | 2010-12-16 | 2015-04-14 | The Massachusetts Institute Of Technology | Imaging systems and methods for immersive surveillance |
JP2012204856A (ja) | 2011-03-23 | 2012-10-22 | Toshiba Corp | 画像処理方法及びカメラモジュール |
US20130027757A1 (en) * | 2011-07-29 | 2013-01-31 | Qualcomm Incorporated | Mobile fax machine with image stitching and degradation removal processing |
JP5863374B2 (ja) | 2011-10-11 | 2016-02-16 | 本田技研工業株式会社 | 画像処理方法 |
WO2013080552A1 (ja) * | 2011-11-30 | 2013-06-06 | パナソニック株式会社 | 撮像装置及び撮像システム |
US9494785B2 (en) * | 2012-12-07 | 2016-11-15 | Purdue Research Foundation | Single image super-resolution microscopy and telescope systems |
JP2014138196A (ja) | 2013-01-15 | 2014-07-28 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
US10674075B2 (en) * | 2013-04-30 | 2020-06-02 | Sony Corporation | Image processing device, image processing method, and program |
JP5743016B2 (ja) | 2014-09-29 | 2015-07-01 | 株式会社リコー | 画像を生成する装置および方法 |
US10127463B2 (en) * | 2014-11-21 | 2018-11-13 | Magna Electronics Inc. | Vehicle vision system with multiple cameras |
-
2016
- 2016-08-23 CN CN201680056429.XA patent/CN108141530B/zh active Active
- 2016-08-23 JP JP2017543015A patent/JP6342083B2/ja active Active
- 2016-08-23 WO PCT/JP2016/074458 patent/WO2017056787A1/ja active Application Filing
-
2018
- 2018-03-14 US US15/920,755 patent/US10559068B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003108998A (ja) * | 2001-09-28 | 2003-04-11 | Olympus Optical Co Ltd | 画像処理方法 |
JP2004328506A (ja) * | 2003-04-25 | 2004-11-18 | Sony Corp | 撮像装置および画像復元方法 |
JP2011044825A (ja) * | 2009-08-19 | 2011-03-03 | Canon Inc | 画像処理装置、画像処理方法、及びコンピュータプログラム |
WO2011121763A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
JP2015103971A (ja) * | 2013-11-25 | 2015-06-04 | 株式会社東芝 | 固体撮像装置及びデジタルカメラ |
Also Published As
Publication number | Publication date |
---|---|
US10559068B2 (en) | 2020-02-11 |
JPWO2017056787A1 (ja) | 2018-08-09 |
CN108141530B (zh) | 2020-06-30 |
CN108141530A (zh) | 2018-06-08 |
JP6342083B2 (ja) | 2018-06-20 |
US20180204311A1 (en) | 2018-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9633417B2 (en) | Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function | |
JP5851650B2 (ja) | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 | |
JP5830186B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5903529B2 (ja) | 撮像装置、撮像方法及び画像処理装置 | |
US9906732B2 (en) | Image processing device, image capture device, image processing method, and program | |
JP5870231B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US9799105B2 (en) | Image processing device, imaging device, image processing method, and program for restoration processing based on a point spread function and a frame after a frame to be processed | |
US9619871B2 (en) | Image processing device, imaging apparatus, image processing method, and program | |
US10559068B2 (en) | Image processing device, image processing method, and program processing image which is developed as a panorama | |
JP6042034B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2019009822A (ja) | 画像処理装置及び画像処理方法 | |
JP5897769B2 (ja) | 撮像装置、キャリブレーションシステム、及びプログラム | |
WO2014050191A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16850963 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017543015 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16850963 Country of ref document: EP Kind code of ref document: A1 |